KR20100137020A - 삼차원 영상 변환 기록 장치, 삼차원 영상 변환 기록 방법, 기록 매체, 삼차원 영상 변환 장치, 및 삼차원 영상 전송 장치 - Google Patents

삼차원 영상 변환 기록 장치, 삼차원 영상 변환 기록 방법, 기록 매체, 삼차원 영상 변환 장치, 및 삼차원 영상 전송 장치 Download PDF

Info

Publication number
KR20100137020A
KR20100137020A KR1020107026984A KR20107026984A KR20100137020A KR 20100137020 A KR20100137020 A KR 20100137020A KR 1020107026984 A KR1020107026984 A KR 1020107026984A KR 20107026984 A KR20107026984 A KR 20107026984A KR 20100137020 A KR20100137020 A KR 20100137020A
Authority
KR
South Korea
Prior art keywords
data
dimensional image
reducing
video data
video
Prior art date
Application number
KR1020107026984A
Other languages
English (en)
Other versions
KR101194480B1 (ko
Inventor
마키 유카와
마사아키 시마다
Original Assignee
미쓰비시덴키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미쓰비시덴키 가부시키가이샤 filed Critical 미쓰비시덴키 가부시키가이샤
Publication of KR20100137020A publication Critical patent/KR20100137020A/ko
Application granted granted Critical
Publication of KR101194480B1 publication Critical patent/KR101194480B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

삼차원 영상 데이터를, 그 데이터량을 감소시켜 기록 매체에 기록할 수 있는 삼차원 영상 변환 기록 장치로서, 입력된 삼차원 영상 스트림을 복수의 영상 스트림으로 분리하는 분리부(10)와, 분리된 복수의 영상 스트림 중 적어도 하나를 디코딩하는 디코딩부(11)와, 디코딩된 영상 스트림의 데이터량을 감소시키는 프레임 솎아냄부(13)와, 데이터량이 감소된 영상 스트림을 인코딩하는 인코딩부(14)와, 분리된 복수의 영상 스트림 중 디코딩부(11)에 입력된 영상 스트림 이외의 영상 스트림인 다른 영상 스트림과, 인코딩된 영상 스트림을 다중화하는 다중화부(15)와, 다중화된 영상 데이터를 기록 매체(21)에 기록하는 기록부를 갖는다.

Description

삼차원 영상 변환 기록 장치, 삼차원 영상 변환 기록 방법, 기록 매체, 삼차원 영상 변환 장치, 및 삼차원 영상 전송 장치{THREE-DIMENSIONAL VIDEO CONVERSION RECORDING DEVICE, THREE-DIMENSIONAL VIDEO CONVERSION RECORDING METHOD, RECORDING MEDIUM, THREE-DIMENSIONAL VIDEO CONVERSION DEVICE, AND THREE-DIMENSIONAL VIDEO TRANSMISSION DEVICE}
본 발명은 입체 표시용 영상 데이터(삼차원 영상 데이터)를, 그 데이터량을 감소시켜 기록 매체에 기록하는 삼차원 영상 변환 기록 장치 및 삼차원 영상 변환 기록 방법, 다중화된 영상 데이터가 기록된 기록 매체, 삼차원 영상 변환 장치, 및 삼차원 영상 전송 장치에 관한 것이다.
삼차원 영상 데이터의 전송 방법이, 예컨대, 특허 문헌 1에 개시되어 있다. 이 전송 방법에서는, 왼눈용 영상 데이터와 오른눈용 영상 데이터를, 각각 1화소마다 소정 비트수로 구성하고, 왼눈용 영상 데이터 및 오른눈용 영상 데이터 중 어느 한쪽에, 다른 쪽을 1화소 단위로 부가하여, 화소 클록에 동기한 타이밍에 전송한다.
(특허 문헌 1) 일본 특허 공개 공보 제 2007-336518 호(요약, 도 4)
그러나, 이러한 전송 방법으로 전송되는 삼차원 영상 데이터의 데이터량은, 이차원 영상 데이터의 데이터량에 비하여, 1화소당 2배이다. 이 때문에, 삼차원 영상 데이터의 기록에는, 이차원 영상 데이터의 기록에 비하여, 약 2배의 기록 용량(디스크 용량)이 필요하게 되므로, 기록 장치에 의한 녹화 가능 시간이 짧아지거나, 또는, 대용량의 기록 장치가 필요하게 된다고 하는 문제가 있었다. 특히, 수평 1920화소, 수직 1080라인 이상(「Full high vision」이라고도 한다)의 해상도가 높은 삼차원 영상 데이터를 기록하는 경우에는, 기록 장치의 디스크 용량의 부족에 의해, 많은 프로그램을 기록하여 놓을 수 없었다.
그래서, 본 발명은, 상기 종래 기술의 과제를 해결하기 위해 이루어진 것으로, 그 목적은, 삼차원 영상 데이터를, 그 데이터량을 감소시켜 기록 매체에 기록할 수 있는 삼차원 영상 변환 기록 장치 및 삼차원 영상 변환 기록 방법, 다중화된 영상 데이터가 기록된 기록 매체, 삼차원 영상 변환 장치, 및 삼차원 영상 전송 장치를 제공하는 것에 있다.
본 발명의 삼차원 영상 변환 기록 장치는, 삼차원 영상을 구성하는 복수의 영상 데이터 중 적어도 하나의 영상 데이터의 데이터량을 감소시키는 삭감 수단과, 상기 데이터량이 감소된 영상 데이터를 인코딩하고, 인코딩된 영상 데이터를 출력하는 인코딩 수단과, 삼차원 영상을 구성하는 상기 복수의 영상 데이터 중 상기 데이터량이 감소된 영상 데이터 이외의 영상 데이터와, 상기 데이터량이 감소되어 인코딩된 영상 데이터를 다중화하는 다중화 수단과, 상기 다중화 수단에 의해 다중화된 영상 데이터를 기록 매체에 기록하는 기록 수단과, 상기 삭감 수단에 의한 데이터량의 삭감의 방법을 정하기 위한 설정치를 저장하는 설정 저장 수단과, 상기 삭감 수단의 동작을 제어하는 제어 수단을 갖고, 상기 제어 수단은, 상기 설정 저장 수단에 저장된 상기 설정치에 근거한 제어 신호를 상기 삭감 수단에 출력하고, 상기 삭감 수단은, 상기 제어 신호에 근거하여 영상 데이터의 데이터량을 감소시키고, 상기 데이터량이 감소된 영상 데이터를 상기 인코딩 수단에 출력하는 것을 특징으로 한다.
또한, 본 발명의 삼차원 영상 변환 기록 방법은, 삼차원 영상을 구성하는 복수의 영상 데이터의 데이터량을 삭감하는 방법을 정하기 위한 설정치를 저장하는 설정 저장 단계와, 상기 설정치에 근거하여, 삼차원 영상을 구성하는 상기 복수의 영상 데이터 중 적어도 하나의 영상 데이터의 데이터량을 감소시키는 삭감 단계와, 상기 삭감 단계에 의해 데이터량이 감소된 영상 데이터를 인코딩하고, 인코딩된 영상 데이터를 출력하는 단계와, 삼차원 영상을 구성하는 상기 복수의 영상 데이터 중 데이터량이 감소된 영상 데이터 이외의 영상 데이터와, 상기 데이터량이 감소되고 인코딩된 영상 데이터를 다중화하는 다중화 단계와, 상기 다중화 단계에 의해 다중화된 영상 데이터를 기록 매체에 기록하는 단계를 갖는 것을 특징으로 한다.
또한, 본 발명의 기록 매체는, 상기 삼차원 영상 변환 기록 장치 또는 삼차원 영상 변환 기록 방법에 의해 다중화된 영상 데이터가 기록된 것을 특징으로 한다.
본 발명의 삼차원 영상 변환 기록 장치, 삼차원 영상 변환 기록 방법, 및 기록 매체에 의하면, 삼차원 영상 데이터로부터 분리된 복수의 영상 데이터 중 적어도 하나의 데이터량을 감소시킴으로써, 기록 수단에 의해 기록되는 삼차원 영상 데이터의 데이터량을 감소시킬 수 있어, 기록 영역을 유효하게 사용할 수 있다고 하는 효과가 있다. 또한, 본 발명의 삼차원 영상 변환 장치에 의하면, 변환에 의해 생성되는 데이터의 사이즈가 축소되는 효과가 있고, 본 발명의 삼차원 영상 전송 장치에 의하면, 전송되는 데이터의 사이즈가 축소된다고 하는 효과가 있다.
도 1은 본 발명의 실시의 형태 1에 따른 삼차원 영상 변환 기록 장치(즉, 실시의 형태 1에 따른 삼차원 영상 변환 기록 방법을 실시하는 장치)의 구성을 개략적으로 나타내는 블록도이다.
도 2는 분리부로부터 다중화부에 출력되는 왼눈용 영상의 프레임열과, 프레임 솎아냄부(frame thinning unit)로부터 출력되는 오른눈용 영상의 프레임열을 나타내는 설명도이다.
도 3은 도 1에 나타내는 장면 전환 검출부의 구성을 개략적으로 나타내는 블록도이다.
도 4는 실시의 형태 1에 따른 삼차원 영상 변환 기록 장치에 기록되는 파일과 데이터 구조의 일례를 나타내는 도면이다.
도 5(a) 및 도 5(b)는 실시의 형태 1에 따른 삼차원 영상 변환 기록 장치에 기록되는 MPEG-2 비디오 데이터의 시퀀스 헤더의 구조 및 시퀀스 디스플레이의 구조를 나타내는 도면이다.
도 6(a) 및 도 6(b)는 본 발명의 실시의 형태 2에 따른 삼차원 영상 변환 기록 장치에 있어서 분리되는 이차원 영상 프레임과 깊이 정보 프레임을 나타내는 도면이다.
도 7은 본 발명의 실시의 형태 3에 따른 삼차원 영상 변환 기록 장치(즉, 실시의 형태 3에 따른 삼차원 영상 변환 기록 방법을 실시하는 장치)의 구성을 개략적으로 나타내는 블록도이다.
도 8은 실시의 형태 3에 따른 삼차원 영상 변환 기록 장치의 트리밍부에 의해 트리밍되는 트리밍 영역을 나타내는 도면이다.
도 9는 본 발명의 실시의 형태 4에 따른 삼차원 영상 변환 기록 장치(즉, 실시의 형태 4에 따른 삼차원 영상 변환 기록 방법을 실시하는 장치)의 구성을 개략적으로 나타내는 블록도이다.
도 10은 본 발명의 실시의 형태 5에 따른 삼차원 영상 변환 기록 장치(즉, 실시의 형태 5에 따른 삼차원 영상 변환 기록 방법을 실시하는 장치)의 구성을 개략적으로 나타내는 블록도이다.
도 11(a) 및 도 11(b)는 본 발명의 실시의 형태 6에 따른 삼차원 영상 변환 기록 장치(즉, 실시의 형태 6에 따른 삼차원 영상 변환 기록 방법을 실시하는 장치)의 프레임 화소를 체크무늬로 솎아내는 패턴과 주사선을 솎아내는 패턴을 나타내는 도면이다.
도 12는 본 발명의 실시의 형태 7에 따른 삼차원 영상 변환 기록 장치(즉, 실시의 형태 7에 따른 삼차원 영상 변환 기록 방법을 실시하는 장치)의 3D_Type 구조를 나타내는 도면이다.
도 13은 본 발명의 실시의 형태 8에 따른 삼차원 영상 변환 기록 장치(즉, 실시의 형태 1에 따른 삼차원 영상 변환 기록 방법을 실시하는 장치)의 구성을 개략적으로 나타내는 블록도이다.
도 14는 실시의 형태 8에 따른 삼차원 영상 변환 기록 장치에 있어서 검출되는 오브젝트의 이동을 나타내는 도면이다.
도 15는 실시의 형태 1에 따른 삼차원 영상 전송 장치(즉, 실시의 형태 1에 따른 삼차원 영상 전송 방법을 실시하는 장치)의 구성을 개략적으로 나타내는 블록도이다.
(실시의 형태 1)
도 1은 본 발명의 실시의 형태 1에 따른 삼차원 영상 변환 기록 장치(즉, 실시의 형태 1에 따른 삼차원 영상 변환 기록 방법을 실시하는 장치)의 구성을 개략적으로 나타내는 블록도이다. 도 1에 나타내는 바와 같이, 실시의 형태 1에 따른 삼차원 영상 변환 기록 장치는, 입력된 삼차원 영상 데이터를 포함하는 입력 스트림 Sa를 복수의 영상 데이터(스트림)로 분리하는 분리부(10)와, 분리된 복수의 스트림 중 적어도 하나의 스트림(예컨대, 오른눈용 영상 데이터(오른눈용 영상 스트림) Sc)을 디코딩하고, 디코딩된 영상 데이터 Sc1을 출력하는 디코딩 수단으로서의 디코딩부(11)와, 영상 데이터 Sc1을 일시적으로 기억하는 프레임 버퍼(12)와, 프레임 버퍼(12)로부터 출력된 영상 데이터 Sc2의 데이터량을 감소시키 위해 프레임을 솎아내는 삭감 수단으로서의 프레임 솎아냄부(13)와, 데이터량이 감소된 영상 데이터 Sc3을 인코딩하고, 인코딩된 영상 데이터 Sc4를 출력하는 인코딩 수단으로서의 인코딩부(14)와, 분리부(10)의 분리에 의해 생성된 복수의 영상 데이터 중 디코딩부(11)에 입력된 영상 데이터 Sc 이외의 영상 데이터인 다른 영상 데이터(스트림)(예컨대, 왼눈용 영상 데이터(왼눈용 영상 스트림) Sb, 및, 음성 스트림 및 자막 스트림 등 Sd)와, 인코딩부(14)에 의해 인코딩된 영상 데이터 Sc4를 다중화하는 다중화 수단으로서의 다중화부(15)와, 다중화부(15)에 의해 다중화된 영상 데이터 Se를 기록 매체에 기록하는 기록 수단으로서의 기록부(storage)(16)를 갖고 있다. 또한, 실시의 형태 1에 따른 삼차원 영상 변환 기록 장치는, 미리 설정된 또는 사용자 입력에 따라 설정된 설정치를 유지하는 설정 저장 수단으로서의 설정 저장부(17)와, 장치 전체의 동작(특히, 분리부(10) 및 프레임 솎아냄부(13)의 동작)을 제어하는 제어 수단으로서의 컨트롤러(18)와, 디코딩된 영상 데이터로부터 영상의 특징의 변화점을 검출하는 특징 변화점 검출 수단으로서의 장면 전환 검출부(19)를 갖고 있다.
분리부(10)는, 예컨대, 방송 수신기(도시하지 않음), 분리성 디스크의 재생 장치(도시하지 않음), 또는 네트워크(도시하지 않음) 등으로부터, 삼차원 영상 데이터의 콘텐츠를 포함하는 입력 스트림 Sa를, 트랜스포트 스트림(TS) 또는 프로그램 스트림(PS)으로서 받는다. 분리부(10)는, 입력 스트림 Sa를, 예컨대, 영상 스트림, 음성 스트림, 자막 스트림 등으로 분리하는 처리와, 영상 스트림을 복수의 스트림으로 분리하는 처리를 행한다. 영상 스트림이 왼눈용 영상 스트림과 오른눈용 영상 스트림이 다중화된 스트림인 경우에는, 분리부(10)는, 입력 스트림 Sa로부터, 예컨대, 왼눈용 영상 스트림과 오른눈용 영상 스트림을 분리한다. 실시의 형태 1에 있어서는, 설정 저장부(17)에 저장된 설정에 의해, 분리부(10)에서 분리된 왼눈용 영상 스트림 Sb가 다중화부(15)에 입력되고, 분리부(10)에서 분리된 오른눈용 영상 스트림 Sc가 디코딩부(11)에 입력되는 경우를 설명하지만, 오른눈용 영상 스트림이 다중화부(15)에 입력되고, 왼눈용 영상 스트림이 디코딩부(11)에 입력되는 경우도 있다. 영상 스트림이 왼눈용 영상 스트림과 오른눈용 영상 스트림이 별도의 스트림으로서 다중화된 스트림인 경우에는, 분리부(10)는, 입력 스트림 Sa로부터, 예컨대, 왼눈용 영상 스트림과 오른눈용 영상 스트림을 분리한다. 영상 스트림이 왼눈용 영상 스트림과 오른눈용 영상 스트림을 별도의 스트림으로 하고 있지 않은 스트림인 경우, 예컨대, 영상 스트림이 왼눈용 영상 데이터와 오른눈용 영상 데이터를 포함하는 하나의 스트림인 경우에는, 분리부(10)는, 왼눈용 영상 스트림과 오른눈용 영상 스트림을 포함하는 스트림을 왼눈용 영상 스트림과 오른눈용 영상 스트림으로 분리하는 처리를 행한다.
실시의 형태 1에 있어서는, 왼눈용 영상을 오른눈용 영상보다 중시하거나, 또는, 오른눈용 영상을 왼눈용 영상보다 중시하는 설정 내용(예컨대, 설정치)이 설정 저장부(17)에 저장된다. 왼눈용 영상을 오른눈용 영상보다 중시하는 설정에서는, 왼눈용 영상 스트림 Sb는 가공하지 않고서 다중화부(15)에 입력시키고, 오른눈용 영상 스트림 Sc는 가공 처리(실시의 형태 1에 있어서는, 프레임 솎아냄 처리)를 실시하고 나서 다중화부(15)에 입력시킨다. 한편, 오른눈용 영상을 왼눈용 영상보다 중시하는 설정에서는, 오른눈용 영상 스트림은 가공하지 않고서 다중화부(15)에 입력시키고, 왼눈용 영상 스트림은 가공 처리를 실시하고 나서 다중화부(15)에 입력시킨다. 이를 위한 설정 내용은, 미리 또는 사용자에 의한 입력 조작에 따라 설정 저장부(17)에 저장되어 있고, 컨트롤러(18)는, 설정 저장부(17)의 설정 내용에 근거한 제어 신호를 출력하여 분리부(10) 및 프레임 솎아냄부(13)의 동작을 제어한다. 또, 실시의 형태 1에 있어서는, 왼눈용 영상을 오른눈용 영상보다 중시하는 설정이 이루어진 경우를 중심으로 설명한다.
설정 저장부(17)에는, 왼눈용 영상과 오른눈용 영상 중 어느 것을 중시하는가 하는 상술한 설정 내용과, 후술하는 화질의 설정 내용이 저장된다. 삼차원 영상 변환 기록 장치는, 설정 저장부(17)에 저장되는 이들 설정 내용에 근거하여 데이터량을 삭감한 영상 데이터를 기록 매체에 기록한다.
디코딩부(11)는, 오른눈용 영상 스트림 Sc를 디코딩하여, 프레임 버퍼(12)에 출력한다. 프레임 버퍼(12)는, 디코딩된 오른눈용 영상 스트림 Sc1을 저장한다. 프레임 솎아냄부(13)는, 컨트롤러(18)로부터의 제어 신호에 근거하여, 프레임 버퍼(12)로부터 오른눈용 영상 스트림 Sc2를 판독하고, 프레임의 솎아냄 처리를 행하여 데이터량을 삭감하고, 데이터 사이즈가 작은 스트림 Sc3을 인코딩부(14)에 출력한다. 인코딩부(14)는, 스트림 Sc3을 인코딩하여, 스트림 비트레이트가 작아진 스트림 Sc4를 다중화부(15)에 출력한다. 이를 위해, 인코딩부(14)는, 비트레이트의 계산을 행하여, 새롭게 비트레이트의 값을 부가하여 고치는 처리를 행한다.
다중화부(15)는, 가공 처리를 받고 있지 않은 왼눈용 영상 스트림 Sb 및 음성, 자막 등의 스트림 Sd와, 가공 처리를 받은 오른눈용 영상 스트림 Sc를 받아, 이들을 다중화하고, 기록부(storage)(16)는, 다중화부(15)로부터 출력된 다중화된 스트림 Se를 기록 매체에 기록한다.
다음으로, 프레임 솎아냄부(13)의 동작을 설명한다. 삼차원 영상 변환 기록 장치의 녹화 설정에는, 프로그램을 많이 녹화할 수 있도록 하기 위해(기록 가능 시간을 길게 하기 위해), 화질을 떨어뜨려 재인코딩하여 녹화하는 방식과, 화질을 가능한 한 저하시키지 않고서 높은 화질로(재인코딩하지 않고서) 녹화하는 방식이 있다. 예컨대, 설정 저장부(17)에 저장된 설정에 있어서, 사용자가 고화질로 기록하는 것을 선택하고 있는 경우에는, 입력 스트림 Sa를 분리부(10)에 입력하지 않고서, 기록부(16)에 직접 입력하는 수단(도시하지 않음)을 마련하더라도 좋다. 한편, 프로그램을 많이 녹화할 수 있도록 하는 설정이 설정 저장부(17)에 저장되어 있는 경우에는, 분리부(10)에서 오른눈용 영상 스트림 Sc이 추출되고, 디코딩부(11)에서 오른눈용 영상 스트림 Sc가 디코딩되어 프레임 버퍼(12)에 입력된다. 설정 저장부(17)로부터 판독된 화질의 설정에 따라, 컨트롤러(18)는, 프레임 버퍼(12)의 갱신 타이밍을 제어한다. 설정 저장부(17)에 기록되어 있는 설정치는, 프레임의 솎아냄 정도를 나타내는 값을 포함하고, 컨트롤러(18)의 지시에 따라 프레임 솎아냄부(13)에서, 설정치에 지정되어 있는 수만큼 같은 프레임을 받아들이도록 한다. 동화상의 압축 처리에 있어서는, 전후의 프레임의 차분이 작은 경우에는, 압축률을 높이더라도 화질에 대한 악영향이 적다. 예컨대, 같은 프레임이 계속된 영상 데이터를 인코딩하는 경우에는, 프레임 사이의 차분이 0이므로, 그 구간의 압축 후의 데이터량을 0으로 할 수 있다.
도 2는 분리부(10)로부터 다중화부(15)에 출력되는 왼눈용 영상의 프레임(1L, 2L, 3L, 4L, 5L, 6L, …)으로 이루어지는 왼눈용 영상의 프레임열(100)과, 프레임 솎아냄부(13)로부터 출력되는 오른눈용 영상의 프레임(1R, 1R, 3R, 3R, 5R, 5R, …)으로 이루어지는 오른눈용 영상의 프레임열(200)을 나타내는 설명도이다. 또, 도 2에 있어서, t는 시간축을 나타낸다. 도 2에 있어서, 왼눈용 영상의 프레임(101, 102, 103, 104, 105, 106, …)과 오른눈용 영상의 프레임(201, 202, 203, 204, 205, 206, …)은 각각 대응하는 프레임이다. 도 2에 나타내는 바와 같이, 실시의 형태 1에 있어서는, 삼차원 영상 변환 기록 장치는, 왼눈용 영상의 프레임을 솎아내지 않고서 그대로 출력하고 있고, 예컨대, 1번째의 입력 영상 프레임 1L을 1번째의 왼눈용 영상의 프레임(101)으로서 출력하고, 2번째의 입력 영상 프레임 2L을 2번째의 왼눈용 영상의 프레임(102)으로서 출력하고, 3번째의 입력 영상 프레임 3L을 3번째의 왼눈용 영상의 프레임(103)으로서 출력하고, 4번째의 입력 영상 프레임 4L을 4번째의 왼눈용 영상의 프레임(104)으로서 출력하고, 5번째의 입력 영상 프레임 5L을 5번째의 왼눈용 영상의 프레임(105)으로서 출력하고, 6번째의 입력 영상 프레임 6L을 6번째의 왼눈용 영상의 프레임(106)으로서 출력한다. 이에 비하여, 도 2에 나타내는 바와 같이, 실시의 형태 1에 있어서는, 프레임 솎아냄부(13)는, 오른눈용 영상의 프레임을 솎아내어 출력하고 있고, 예컨대, 1번째의 입력 영상 프레임 1R을 1번째의 오른눈용 영상의 프레임(201)으로서 출력하고, 같은 1번째의 입력 영상 프레임 1R을 2번째의 오른눈용 영상의 프레임(202)으로서 출력하고, 3번째의 입력 영상 프레임 3R을 3번째의 오른눈용 영상의 프레임(203)으로서 출력하고, 같은 3번째의 입력 영상 프레임 3R을 4번째의 오른눈용 영상의 프레임(204)으로서 출력하고, 5번째의 입력 영상 프레임 5R을 5번째의 오른눈용 영상의 프레임(205)으로서 출력하고, 같은 5번째의 입력 영상 프레임 5R을 6번째의 오른눈용 영상의 프레임(206)으로서 출력한다. 도 2에 나타내는 오른눈용 스트림열(200)은, 같은 프레임을 2회 반복하도록 오른눈용 영상의 프레임의 데이터를 출력하는 경우를 나타내고 있지만, 데이터량의 삭감률을 더 높이는 경우(화질을 떨어뜨리는 설정의 경우)에는, 같은 프레임의 출력 횟수를 능가시키는, 예컨대, 3회 같은 프레임을 반복하는 방법을 채용하더라도 좋다.
또한, 컨트롤러(18)는, 장면 전환 검출부(19)에 의해 특징의 변화점, 예컨대, 장면 전환이 검출된 프레임을 솎아내는 처리를, 프레임 솎아냄부(13)에 실행시키지 않도록 제어할 수 있다. 도 2에 나타내는 바와 같이, 오른눈용 영상 프레임에 대하여, 같은 프레임을 2회 반복하도록 동작시키고 있을 때, 장면 전환점 P1로서 나타내는 바와 같이 프레임 10R에 장면 전환이 검출된 경우에는, 오른눈용 영상의 프레임(210)으로서, 프레임 9R을 반복하는 것이 아니라(즉, 프레임 솎아냄 수단(13)에 의한 솎아냄 처리를 행하지 않고), 장면 전환이 검출된 프레임 10R을 표시하고, 그 후, 같은 프레임을 2회 반복하도록 동작시킨다. 동일 프레임을 반복함으로써 데이터 압축률을 높일 수 있지만, 왼눈용 영상의 프레임과 오른눈용 영상의 프레임의 영상의 차이가 커질 때에는(예컨대, 장면 전환점에서는), 시청자(사용자)는 영상에 부자연스러움을 느끼는(위화감을 기억하는) 경우가 있다. 장면 전환 검출부(19)에서 장면 전환을 검출하고, 장면 전환이 검출된 경우에는, 새로운 프레임 데이터(도 2에 있어서의 프레임 10R)를 출력하는 방식을 채용함으로써, 왼눈용 영상 데이터와 오른눈용 영상 데이터의 차이가 극단적으로 커지는 상태를 배제함으로써, 시청자가 영상의 부자연스러움을 느끼지 않도록 할 수 있다. 장면 전환 검출부(19)에 의한 특징 변화점의 검출 결과를 이용한 제어는, 프레임의 반복 표시 횟수가 많은 경우(예컨대, 도 2의 프레임열(200)에 있어서의 같은 프레임의 반복 횟수가 많은 경우)에, 특히 유효하다.
도 3은 도 1에 나타내는 장면 전환 검출부(19)의 구성을 개략적으로 나타내는 블록도이다. 도 3에 나타내는 바와 같이, 장면 전환 검출부(19)는, 디코딩된 영상 데이터의 히스토그램을 생성하는 히스토그램 생성기(191)와, 히스토그램 생성기(191)에 의해 생성된 히스토그램을 유지하는 제 1 히스토그램 버퍼(192) 및 제 2 히스토그램 버퍼(193)와, 제 1 히스토그램 버퍼(192)에 유지된 히스토그램과 제 2 히스토그램 버퍼(193)에 유지된 히스토그램의 차이를 구하는 차분 추출기(194)를 갖고 있다. 또한, 장면 전환 추출부(19)는, 차분 추출기(194)에서 구해진 차이값과 미리 설정된 임계값을 비교하는 장면 전환 판정기(195)와, 컨트롤러(18)로부터의 장면 전환 검색 개시 명령 등의 제어 신호에 근거하여 장면 전환 검출부(19)를 제어하고, 장면 전환을 검출하면, 컨트롤러(18)에 결과를 송신하는 장면 전환 커맨드 제어부(196)를 갖고 있다.
상술한 바와 같이 프레임 솎아냄부(13)에 의해 프레임을 솎아냄으로써, 예컨대, MPEG-2 비디오에 있어서, 인코딩부(14)에서는 고압축률로 오른눈용 영상 스트림을 재인코딩할 수 있다. 인코딩부(14)는, 오른눈용 영상 스트림을 재인코딩할 때에, 타임스탬프를 부가한다. 이때, 분리부(10)에서 분리된 왼눈용 영상 스트림 Sb와 변환 처리를 한 오른눈용 영상 스트림 Sc4를 동기시키기 위해, 오른눈용 영상 스트림 Sc4의 디코딩 전의 타임스탬프로서, 디코딩부(11)에서 추출한 것을 유지해 둔다. 타임스탬프는, PTS(Presentation Time Stamp)와 DTS(Decoding Time Stamp)의 2종류가 있지만, 여기서는 PTS를 유지해 둔다. DTS는, 인코딩부(14)에서 새롭게 부가한다. 인코딩부(14)에서 유지하고 있었던 타임스탬프를 사용하여 재인코딩 처리를 행한다. 이 압축한 오른눈용 영상 스트림을 다중화부(15)에서 왼눈용 영상 스트림과 그 밖의 음성, 자막 등의 데이터와 다중화함으로써 스트림 Se가 얻어지고, 기록부(16)에 의해 기록된다.
기록부(16)는, 데이터의 변환 상황을 나타내는 메타데이터를 스트림과 관련시켜 기록한다. 도 4는 실시의 형태 1에 따른 삼차원 영상 변환 기록 장치에 기록되는 파일과 데이터 구조의 일례를 나타내는 도면이다. 도 4에 나타내는 바와 같이, 기록되는 데이터는, 구조 스트림이 기록된 파일과 확장자를 바꾼 같은 파일명을 붙인 CLIPINF(클립 정보) 파일(303)을 사용하여 관련시킨다. CLIPINF 파일(303)은, CLIPINF 디렉토리(301)의 아래에 배치하는 파일이며, 스트림 파일(304)은 STREAM(스트림) 디렉토리(302)의 아래에 배치되는 파일이다. CLIPLINF 파일(303)에는, 스트림의 타입이나, 스트림의 종류가 스트림의 도중에 변화되는 경우에는 그 변화점을 기록한다. CLIPLINF 파일(303)의 구조의 일례를 파일 구조(305)로서 나타낸다. CLIPLINF 파일(303)에는, AV 스트림 파일의 어드레스 정보와 시간 정보를 관련시키는 정보인 CPI(Characteristic Point Information)가 기록되어 있다. CPI 구조(306) 내에, 삼차원 영상의 타입「3D_Type」의 플래그를 새롭게 마련함으로써, 이 스트림이 어떠한 형식의 삼차원 영상에 대응하고 있는 것인지를 나타낸다. 예컨대, CPI 구조(306)의「3D_Type」의 값이 2진수의 '0000'이면, 입력된 스트림은 통상의 이차원 영상(2D)만의 스트림이며, 2진수의 '0001'이면, 입력된 스트림은 오른눈용 영상 데이터의 데이터량을 감소시키고 있는 삼차원 영상 스트림이며, 2진수의 '0010'이면, 입력된 스트림은 왼눈용 영상 스트림의 데이터량을 감소시키고 있는 삼차원 영상 스트림이며, 2진수의 '0011'이면 왼눈용 데이터 및 오른눈용 데이터를 등가로 취급한 삼차원 영상 스트림이며, 2진수의 '1011'이면, 이차원 영상 데이터와 깊이 정보 데이터를 합친 삼차원 영상 스트림이며, 2진수의 '1010'이면, 후술하는 깊이 정보의 정보량을 감소시킨 이차원 영상 데이터와 깊이 정보 데이터를 합친 삼차원 영상 스트림이라는 정의를 한다. 기록부(16)로부터 스트림을 판독하여 재생할 때에는, CLIPLINF 파일(303)의 CPI 구조(306) 내의「3D_Type」정보를 참조함으로써, 데이터량을 감소시키기 위한 변환을 행한 삼차원 영상 데이터인지, 데이터량을 감소시킨 삼차원 영상 데이터인지를 알 수 있어, 왼눈용으로 할당하는 영상 채널과 오른눈용으로 할당하는 영상 채널을 전환함으로써, 정확하게 삼차원 영상을 구성하는 것이 가능하게 된다.
또한, 입력 스트림을, 이차원 영상으로서 표시하기 위해서는, 데이터 용량을 감소시키고 있지 않은 두 채널 중 한 채널의 스트림만을 디코딩하고, 이차원 영상 표시용 경로(도시하지 않음)에 영상 데이터를 흐르게 함에 따라, 이차원 영상으로서 표시하는 것이 가능해진다.
또, 이상의 설명에 있어서는, 스트림의 정보를 기록하기 위해 CLIPLINF 파일(303)을 사용하는 경우를 설명했지만, 본 발명은 이러한 예에 한정되지 않고, CLIPLINF 파일 이외의 파일을 사용하더라도 좋다. 예컨대, MPEG-2 비디오 스트림의 GOP(Group Of Pictures)마다 포함되어 있는 시퀀스 헤더에, 삼차원 영상의 정보를 임베딩하는 방법을 채용하더라도 좋다. 이 예의 시퀀스 헤더의 구조의 일례를 도 5(a) 및 도 5(b)에 나타낸다. 도 5(a)에 있어서, 401은 SHC(Sequence Header Code), 402는 HSV(Horizontal Size Value), 403은 VSV(Vertical Size Value), 404는 ARI(Aspect Ratio Information), 405는 FRC(Frame Rate Information), 406은 BRV(Bit Rate Value), 407은 MRK(Marker Bit), 408은 VBSV(VBV Buffer Size Value), 409는 CPF(Constrained Parameter Flag), 410은 LIQM(Load Intra Quantizer Matrix), 411은 IQM(Intra Quantizer Matrix), 412는 LNIQM(Load Non Intra Quantizer Matrix), 413은 NIQM(Non Intra Quantizer Matrix), 414는 Sequence Extension(시퀀스 익스텐션), 415는 Sequence Display(시퀀스 디스플레이), 416은 Sequence Scalable(시퀀스 스케일러블), 417은 GOP층, 418은 픽쳐층, 419는 SEC(Sequence End Code)를 나타낸다. 또한, 도 5(b)에 있어서, Sequence Display(415)를 상세하게 나타내고 있다. 도 5(b)에 있어서, 420은 ESC(Extension Start Code), 421은 UDSC(User Data Start Code), 422는 UD(User Data), 423은 ESCI(Extension Start Code Identifier), 424는 VF(Video Format), 425는 CD(Color Description), 426은 CP(Color Primaries), 427은 TC(Transfer Characteristics), 428은 MXC(Matrix Coeffients), 429는 DHS(Display Horizontal Size), 430은 MRK(Marker Bit), 431은 DVS(Display Vertical Size)를 나타낸다.
시퀀스층에는, 도 5(b)에 UDSC(421)로 표시되는 32비트 길이의 사용자 데이터의 개시 동기를 나타내는 동기 코드와, UD(3D_Type)(422)로 표시되는 8의 배수의 비트 길이의 사용자용 데이터가 추가되어 있다. 이들 데이터의 위치는, 확장 데이터를 삽입할 수 있는 위치이면 어떤 위치라도 좋지만, 도 5(b)에 있어서는, 일례로서, ESC(420)의 뒤에 배치한 경우를 나타낸다. UD(422)로서, 8비트의 3D_Type 정보를 추가함으로써, GOP 단위로 삼차원 영상인지 이차원 영상인지 스트림의 화상의 타입을 판별하는 것이 가능해진다. 이와 같이 스트림의 정보를 관련시키는 데이터를 기록하는 경우에는, 시청시에 이차원 영상으로서 시청할지, 삼차원 영상으로서 시청할지 사용자가 선택할 수 있게 된다.
이상에 설명한 바와 같이, 실시의 형태 1에 따른 삼차원 영상 변환 기록 장치 및 방법에 의하면, 삼차원 영상 데이터로부터 분리된 복수의 영상 스트림 중 적어도 하나의 데이터량을 감소시킴으로써, 기록부(16)에 의해 기록되는 삼차원 영상 데이터의 데이터량을 감소시킬 수 있다. 또한, 이 삼차원 영상 변환 기록 장치 및 방법에 의해 삼차원 영상 데이터가 기록된 기록 매체는, 그 기록 영역을 유효하게 사용할 수 있다.
정보량을 감소시킨 이차원 영상 데이터의 영상은 화질이 저하되어 보이지만, 삼차원 영상은 2개의 영상 데이터에 의해 하나의 입체 화상을 구축하므로, 2개의 영상 데이터 중 한쪽의 영상 데이터의 정보량이 감소하더라도, 다른 쪽의 정보량이 많은 영상 데이터에 의해 보정 융합되므로, 화질이 비교적 저하되어 있지 않은 것처럼 보인다. 따라서, 삼차원 영상 데이터의 영상은, 한쪽의 영상 데이터의 정보량을 감소시킴으로써, 외관상의 화질을 비교적 저하시키지 않도록 하면서, 기록 매체에 기록되는 영상 데이터의 데이터 사이즈를 작게 할 수 있다고 하는 효과가 있다.
또한, 실시의 형태 1에서 데이터량을 삭감한 스트림을 생성하는 방법은, 삼차원 영상 기록 장치 외에도, 삼차원 영상의 전송 장치(도 15의 부호 20)에 적용하더라도 좋다.
또한, 이렇게 하여 데이터량을 삭감한 스트림은, 분리부를 통해 영상, 음성, 그 밖의 데이터로 분리되고, 디코딩부에 의해 이들 데이터의 디코딩을 행함으로써 재생할 수 있다.
또, 상기 설명에 있어서는, 분리된 2개의 영상 스트림의 한쪽의 데이터 사이즈를 작게 하는 처리를 실시하고 있는 경우를 설명했지만, 양쪽의 영상 스트림에 대하여 데이터 사이즈를 작게 하는 처리를 실시하더라도 좋다. 이 경우에는, 도 1의 구성 11~19와 같은 구성을 스트림 Sb가 출력되는 쪽에도 구비할 필요가 있다.
또한, 영상 스트림을 실시간 처리할 필요가 없는 경우에는, 도 1의 다중화부(15)에 입력하기 전의 데이터를, 도시하지 않는 신호 경로를 통해, 기록부(16)에 일시적으로 유지한다. 그리고, 복수의 영상 스트림에 대한 데이터 사이즈 축소 처리를, 각 스트림에 대하여 실행하고, 다중화부(15)에 입력하기 전의 데이터를 기록부(16)에 유지한다. 삼차원 영상을 구성하기 위한 영상 스트림의 데이터 사이즈 축소 처리가 전부 종료되고 나서, 기록부(16)로부터 일시적으로 보존하고 있던 데이터를 판독하고, 다중화부(15)에 입력함으로써, 하나의 스트림으로서 구성하여, 기록부(16)에 저장한다.
또한, 입력된 삼차원 영상 데이터는, 다중화되어 있는 경우에는 분리부(10)에 입력하지만, 영상 데이터가 분리된 것이면 분리부(10)는 없더라도 좋고, 디코딩부(11)에 영상 데이터를 직접 입력하더라도 좋다. 입력된 삼차원 영상 데이터가 디코딩할 필요가 없는 형식인 경우에는, 분리부(10)와 디코딩부(11)는 모두 없더라도 좋고, 프레임 버퍼(12)에 영상 데이터를 입력하더라도 좋다.
또한, 실시의 형태 1에 따른 데이터량의 삭감 방법(즉, 삼차원 영상 변환 방법)은, 삼차원 영상 변환 장치, 또는, 이 삼차원 영상 변환 장치에 전송 장치를 추가한 삼차원 영상 전송 장치에 적용 가능하다. 도 15는 실시의 형태 1에 따른 삼차원 영상 전송 장치(즉, 실시의 형태 1에 따른 삼차원 영상 전송 방법을 실시하는 장치)의 구성을 개략적으로 나타내는 블록도이다. 도 15에 있어서, 도 1의 구성과 동일 또는 대응하는 구성에는 같은 부호를 붙인다. 도 15는 기록부(16) 대신에 삼차원 영상 변환 장치(30)가 생성한 다중화된 영상 데이터를 전송하는 전송 장치(20)를 구비하고 있는 점이, 도 1의 삼차원 영상 변환 기록 장치와 다르다. 이 경우에는, 변환에 의해 생성되는, 또는, 전송되는 데이터의 사이즈가 축소된다고 하는 효과가 있다.
(실시의 형태 2)
본 발명의 실시의 형태 2에 따른 삼차원 영상 변환 기록 장치는, 분리부(10)에 있어서 분리되는 영상 스트림이, 이차원 영상 데이터(스트림)(351)와 깊이 정보 데이터(스트림)(352)인 점이, 상기 실시의 형태 1과 다르다. 다른 점에 대해서는, 실시의 형태 2는, 상기 실시의 형태 1의 경우와 같다. 따라서, 실시의 형태 2의 설명에 있어서는, 도 1도 참조한다.
도 6(a) 및 도 6(b)는 실시의 형태 2에 따른 삼차원 영상 변환 기록 장치에 있어서 분리되는 이차원 영상 데이터(351)와 깊이 정보 데이터(352)를 나타내는 도면이다. 입체 영상을 실현하는 방식으로서, 도 6(a) 및 도 6(b)에 나타내는 바와 같이, 삼차원 영상 데이터를, 이차원 영상 데이터와 깊이 정보 데이터로 구성하는 방식이 있다. 도 6(a)에 나타내는 이차원 영상 데이터(351)는, 휘도 정보 및 색 정보가 포함된 이차원 영상 데이터이다. 도 6(b)에 나타내는 깊이 정보 데이터(352)는, 도 6(a)에 나타내는 이차원 영상 데이터에 대응하는 각 화소에 있어서의 깊이에 관한 정보를 깊이 정보로서 표현한 데이터이다. 도 6(b)에 있어서, 깊이 정보는, 값 0(흑)으로부터 값 255(백)까지의 흑색의 농도로 표현되어 있고, 가장 흰 부분(값 255)이 가장 앞쪽에 위치(가까이에 위치)하는 것을 나타내고, 가장 검은 부분(값 0)은 가장 안쪽에 위치(멀리에 위치)하는 것을 나타내고 있다. 도 6(a)에 나타내는 이차원 영상 데이터에, 도 6(b)에 나타내는 깊이 정보 데이터를 가미하여 표시함으로써, 삼차원 영상을 표현할 수 있다.
실시의 형태 2에 따른 삼차원 영상 변환 기록 장치에 있어서는, 실시의 형태 1에 따른 삼차원 영상 변환 기록 장치와 같이, 입력 스트림 Sa로부터 왼눈용 영상 스트림과 오른눈용 영상 스트림을 분리하는 것이 아니고, 입력 스트림 Sa로부터 이차원 영상 스트림과 깊이 정보 스트림을 분리한다. 또, 영상 표시에 관계하지 않고 있는 음성, 자막 등의 다른 데이터 Sd는, 분리된 영상 스트림과는 별도로 다중화부(15)에 입력되어, 디코딩 처리를 행하지 않고 다중화부(15)에 입력된다. 실시의 형태 2에 있어서는, 예컨대, 이차원 영상 데이터를 다중화부(15)에 직접 입력하고, 깊이 정보 데이터를 디코딩부(11)에 입력하여 데이터량의 삭감 처리를 실시한다. 단, 실시의 형태 2에 있어서는, 예컨대, 깊이 정보 데이터를 다중화부(15)에 직접 입력하고, 이차원 영상 데이터를 디코딩부(11)에 입력하여 데이터량의 삭감 처리를 실시하더라도 좋다.
실시의 형태 2에 따른 삼차원 영상 변환 기록 장치 및 방법에 의하면, 삼차원 영상 데이터로부터 분리된 이차원 영상 데이터 또는 깊이 정보 데이터 중 적어도 하나의 데이터량을 감소시킴으로써, 기록되는 삼차원 영상 데이터의 데이터량을 감소시킬 수 있다. 또한, 이 삼차원 영상 변환 기록 장치 및 방법에 의해 삼차원 영상 데이터기 기록된 기록 매체는, 그 기록 영역을 유효하게 사용할 수 있다.
또한, 실시의 형태 2에 따른 데이터량의 삭감 방법은, 삼차원 영상의 전송 장치에 적용할 수도 있다. 또한, 실시의 형태 2에 따른 데이터량의 삭감 방법(즉, 삼차원 영상 변환 방법)은, 삼차원 영상 변환 장치, 또는, 이 삼차원 영상 변환 장치에 전송 장치를 추가한 삼차원 영상 전송 장치에 적용 가능하다. 이 경우에는, 변환에 의해 생성되는, 또는, 전송되는 데이터의 사이즈가 축소된다고 하는 효과가 있다.
(실시의 형태 3)
도 7은 본 발명의 실시의 형태 3에 따른 삼차원 영상 변환 기록 장치(즉, 실시의 형태 1에 따른 삼차원 영상 변환 기록 방법을 실시하는 장치)의 구성을 개략적으로 나타내는 블록이다. 도 7에 있어서, 도 1의 구성과 동일 또는 대응하는 구성에는, 같은 부호를 붙인다. 실시의 형태 3에 따른 삼차원 영상 변환 기록 장치는, 도 1에 나타내는 프레임 솎아냄부(13) 대신에 도 7에 나타내는 트리밍부(33)를 구비한 점, 도 1에 나타내는 장면 전환 검출부(19)를 구비하지 않은 점, 설정 저장부(37)에 저장되는 설정치, 및 컨트롤러(38)에 의한 제어 내용이, 상기 실시의 형태 1에 따른 삼차원 영상 변환 기록 장치와 다르다. 다른 점에 있어서, 실시의 형태 3은, 상기 실시의 형태 1 또는 2의 경우와 같다.
실시의 형태 3에 따른 삼차원 영상 변환 기록 장치에 있어서는, 입력 스트림 Sa의 입력으로부터 프레임 버퍼(12)에 데이터가 입력되기까지의 순서는 실시의 형태 1의 경우와 같다. 컨트롤러(38)는, 설정 저장부(37)로부터 판독한 트리밍 범위의 설정치에 근거하여, 트리밍 처리부(33)에 의해 트리밍 처리를 실행한다. 도 8은 실시의 형태 3에 따른 삼차원 영상 변환 기록 장치의 트리밍부(33)에 의한 트리밍의 범위를 나타내는 도면이다. 도 8은 1920×1080화소의 해상도의 영상을 취급하는 경우를 나타내고 있다. 트리밍의 범위는, 예컨대, 좌측 위의 좌표 (x0, y0)과 우측 아래의 좌표 (x1, y1)로 지정한다. x0 및 x1은 각각 0 이상 1920 이하의 정수이며, y0 및 y1은 각각 0 이상 1080 이하의 정수이며, x0<x1 또한 y0<y1이다. 도 8에 있어서, 사선으로 나타낸 영역(트리밍 영역)은 영상 정보를 삭제하는 영역이며, 점 (x0, y0)과 점 (x1, y1)을 대향하는 코너로 하는 직사각형의 범위(백색)의 영상 정보를 인코딩부(14)에 보낸다. 인코딩부(14)는, 도 8에 사선으로 나타내는 트리밍 영역의 영상 정보는 변화하지 않는 정보로 간주하여, 인코딩 처리를 행한다. 이러한 처리(트리밍 영역에서의 프레임 사이의 차분을 0으로 간주하는 처리)에 의해, 압축 후의 데이터량을 감소시킬 수 있다.
실시의 형태 3에 따른 삼차원 영상 변환 기록 장치 및 방법에 의하면, 삼차원 영상 데이터로부터 분리된 영상 데이터 중 적어도 하나의 데이터량을 감소시킴으로써, 기록되는 삼차원 영상 데이터의 데이터량을 감소시킬 수 있다. 또한, 이 삼차원 영상 변환 기록 장치 및 방법에 의해 영상 데이터가 기록된 기록 매체는, 그 기록 영역을 유효하게 사용할 수 있다.
또한, 실시의 형태 3에 따른 데이터량의 삭감 방법은, 삼차원 영상의 전송 장치에 적용할 수도 있다. 또한, 실시의 형태 3에 따른 데이터량의 삭감 방법(즉, 삼차원 영상 변환 방법)은, 삼차원 영상 변환 장치, 또는, 이 삼차원 영상 변환 장치에 전송 장치를 추가한 삼차원 영상 전송 장치에 적용 가능하다. 이 경우에는, 변환에 의해 생성되는, 또는, 전송되는 데이터의 사이즈가 축소된다고 하는 효과가 있다.
(실시의 형태 4)
도 9는 본 발명의 실시의 형태 4에 따른 삼차원 영상 변환 기록 장치(즉, 실시의 형태 1에 따른 삼차원 영상 변환 기록 방법을 실시하는 장치)의 구성을 개략적으로 나타내는 블록도이다. 도 9에 있어서, 도 1의 구성과 동일 또는 대응하는 구성에는, 같은 부호를 붙인다. 실시의 형태 4에 따른 삼차원 영상 변환 기록 장치는, 도 1에 나타내는 프레임 솎아냄부(13) 대신에 도 9에 나타내는 색차 조정부(43)를 구비한 점, 도 1에 나타내는 장면 전환 검출부(19)를 구비하지 않은 점, 설정 저장부(47)에 저장되는 설정치, 및 컨트롤러(48)에 의한 제어 내용이, 상기 실시의 형태 1에 따른 삼차원 영상 변환 기록 장치와 다르다. 다른 점에 있어서, 실시의 형태 4는, 상기 실시의 형태 1~3의 모든 경우와 같다.
실시의 형태 4에 따른 삼차원 영상 변환 기록 장치에 있어서는, 입력 스트림 Sa의 입력으로부터 프레임 버퍼(12)에 데이터가 입력되기까지의 순서는 실시의 형태 1의 경우와 같다. 컨트롤러(48)는, 설정 저장부(47)로부터 판독한 색차 조정치에 따라, 색차 조정부(43)에, 색차 정보가 갖는 비트수를 감소시키는(즉, 색차 정보를 솎아내는) 처리를 실행시킨다. 예컨대, 영상 신호를, 휘도 신호만으로 하고, Y-R 및 Y-B의 2개의 색차 신호의 비트수를 0으로 감소시키면, 1화소당 정보량은 휘도 신호 8비트만이 되어 데이터량을 감소시킬 수 있다. 또, 변환 후의 색차 신호의 비트수는 0비트에 한하지 않고, 8비트로부터 0비트까지의 범위 내에서 설정 가능하다.
색차 정보를 감소시킨 상태에서, 인코딩부(14)에 영상 데이터를 보냄으로써, 색차 정보를 솎아내는 조작을 하지 않는 상태에 비하여 압축 후의 데이터를 감소시킬 수 있다. 다중화부(15)에서는, 실시의 형태 1과 같이, 입력 스트림 Sa에 다중화되어 포함되는 스트림 데이터와, 데이터량을 감소시킨 영상 스트림을 다중화하여, 스트림 Se를 생성하고, 기록부(16)는, 스트림 Se를 축적한다.
또한, 이차원 영상과 깊이 정보를 사용하여 입체 영상을 만드는 방식의 경우는, 예컨대, 이차원 영상은 솎아내지 않고서, 깊이 정보를 솎아낸다. 1화소당 8비트의 깊이 정보를 갖고 있으므로, 비트수를 감소시킴으로써 깊이 정보를 축소시켜, 데이터량을 감소시킬 수 있다. 또, 더욱 데이터 사이즈를 작게 하는 경우에는, 이차원 영상에 대해서도 1화소당 비트수를 감소시키더라도 좋다.
실시의 형태 4에 따른 삼차원 영상 변환 기록 장치 및 방법에 의하면, 삼차원 영상 데이터로부터 분리된 영상 데이터 중 적어도 하나의 데이터량을 감소시킴으로써, 기록되는 삼차원 영상 데이터의 데이터량을 감소시킬 수 있다. 또한, 이 삼차원 영상 변환 기록 장치 및 방법에 의해 영상 데이터가 기록된 기록 매체는, 그 기록 영역을 유효하게 사용할 수 있다.
또한, 실시의 형태 4에 따른 데이터량의 삭감 방법은, 삼차원 영상의 전송 장치에 적용할 수도 있다. 또한, 실시의 형태 4에 따른 데이터량의 삭감 방법(즉, 삼차원 영상 변환 방법)은, 삼차원 영상 변환 장치, 또는, 이 삼차원 영상 변환 장치에 전송 장치를 추가한 삼차원 영상 전송 장치에 적용 가능하다. 이 경우에는, 변환에 의해 생성되는, 또는, 전송되는 데이터의 사이즈가 축소된다고 하는 효과가 있다.
(실시의 형태 5)
상기 실시의 형태 1~4에 있어서는, 각각 영상 스트림의 데이터량을 감소시키는 것을 행하고 있었지만, 이들을 조합하여 실시하더라도 좋다. 도 10은 본 발명의 실시의 형태 5에 따른 삼차원 영상 변환 기록 장치(즉, 실시의 형태 1에 따른 삼차원 영상 변환 기록 방법을 실시하는 장치)의 구성을 개략적으로 나타내는 블록도이다. 도 10에 있어서, 도 1, 도 7, 또는 도 9의 구성과 동일 또는 대응하는 구성에는, 같은 부호를 붙인다. 실시의 형태 5에 따른 삼차원 영상 변환 기록 장치는, 데이터량을 삭감하는 수단으로서, 프레임 솎아냄부(13), 트리밍부(33), 및 색차 조정부(43)를 구비한 점, 설정 저장부(57)에 저장되는 설정치, 및 컨트롤러(58)에 의한 제어 내용이, 상기 실시의 형태 1~4에 따른 삼차원 영상 변환 기록 장치와 다르다. 다른 점에 있어서, 실시의 형태 5는, 상기 실시의 형태 1~4의 모든 경우와 같다.
실시의 형태 5에 따른 삼차원 영상 변환 기록 장치에 있어서는, 입력 스트림 Sa가 프레임 버퍼(12)에 보내지기까지의 처리는 실시의 형태 1과 같다. 프레임 버퍼(12)의 영상 데이터는 설정 저장부(57)에 기록되어 있는 설정치에 근거하여 변환한다. 설정 저장부(57)에 트리밍 범위가 설정되어 있는 경우에는, 컨트롤러(58)의 지령에 의해, 실시의 형태 3에 나타낸 트리밍부(23)에 의한 트리밍 처리에 의해 데이터량이 삭감된다. 설정 저장부(57)에 프레임 솎아냄 조건이 설정되어 있는 경우에는, 컨트롤러(58)의 지령에 의해, 프레임 솎아냄부(13)는, 실시의 형태 1 또는 2에 나타내는 프레임의 솎아냄 처리를 행한다. 또한, 장면 전환 검출부(19)를 구비하고 있는 경우에는, 실시의 형태 1에 나타내는 바와 같이, 장면 전환이 발생한 경우에, 새로운 프레임 데이터를 취득하도록 한다. 설정 저장부(57)에 색차 신호의 비트수를 조정하는 조건이 설정되어 있는 경우에는, 컨트롤러(58)의 지령에 의해, 색차 조정부(43)는, 실시의 형태 4에 나타내는 색차 신호의 조정 처리를 행한다. 다른 처리 내용은, 상기 실시의 형태 1~4의 모든 처리와 같다.
실시의 형태 5에 따른 삼차원 영상 변환 기록 장치 및 방법에 의하면, 삼차원 영상 데이터로부터 분리된 영상 데이터 중 적어도 하나의 데이터량을 감소시킴으로써, 기록되는 삼차원 영상 데이터의 데이터량을 감소시킬 수 있다. 또한, 이 삼차원 영상 변환 기록 장치 및 방법에 의해 영상 데이터가 기록된 기록 매체는, 그 기록 영역을 유효하게 사용할 수 있다.
또, 상기 설명에서는, 데이터량을 감소시키기 위한 처리는, 트리밍, 프레임 솎아냄, 색차 조정의 순서로 하고 있지만, 처리하는 순서를 교체하더라도 좋다.
또한, 데이터량을 삭감하는 수단으로서, 프레임 솎아냄부(13), 트리밍부(33), 및 색차 조정부(43)를 구비한 경우를 설명했지만, 이들 중 2개의 삭감 수단을 구비하는 장치라도 좋다.
또한, 실시의 형태 5에 따른 데이터량의 삭감 방법은, 삼차원 영상의 전송 장치에 적용할 수도 있다. 또한, 실시의 형태 5에 따른 데이터량의 삭감 방법(즉, 삼차원 영상 변환 방법)은, 삼차원 영상 변환 장치, 또는, 이 삼차원 영상 변환 장치에 전송 장치를 추가한 삼차원 영상 전송 장치에 적용 가능하다. 이 경우에는, 변환에 의해 생성되는, 또는, 전송되는 데이터의 사이즈가 축소된다고 하는 효과가 있다.
(실시의 형태 6)
본 발명의 실시의 형태 6에 따른 삼차원 영상 변환 기록 장치는, 데이터량을 삭감하는 수단으로서, 분리부(10)에 있어서 분리되는 영상 스트림으로부터 데이터를 삭감하는 방법이, 상기 실시의 형태 1과 다르다. 다른 점에 대해서는, 실시의 형태 6은, 상기 실시의 형태 1의 경우와 같다. 따라서, 실시의 형태 6의 설명에 있어서는, 도 1도 참조한다.
도 11(a) 및 도 11(b)는 본 발명의 실시의 형태 6에 따른 삼차원 영상 변환 기록 장치(즉, 실시의 형태 6에 따른 삼차원 영상 변환 기록 방법을 실시하는 장치)의 솎아냄 처리에 사용되는 패턴을 나타내고, 도 11(a)는 체크무늬의 솎아냄 패턴(501)을 나타내고, 도 11(b)는 주사선을 솎아내는 패턴(502)을 나타내는 도면이다. 실시의 형태 6에 따른 삼차원 영상 변환 기록 장치에 있어서는, 프레임 단위로 영상 데이터를 솎아내는 것이 아니고, 예컨대, 도 11(a)의 크로스해칭 영역과 같이 체크무늬로 구성된 영역을 삭제함으로써 데이터량을 삭감한다. 또한, 실시의 형태 6에 따른 삼차원 영상 변환 기록 장치에 있어서는, 예컨대, 도 11(b)의 크로스해칭 영역과 같이 주사선을 삭제함으로써 데이터를 삭감하더라도 좋다. 또, 데이터를 삭감하기 위해 사용되는 패턴은 도시한 패턴에 한정되지 않는다. 이와 같이, 각 프레임의 데이터량을 감소시킴으로써, 인코딩 후의 데이터량을 작게 할 수 있다. 다른 처리 내용은, 상기 실시의 형태 1~4의 모든 처리와 같다.
실시의 형태 6에 따른 삼차원 영상 변환 기록 장치 및 방법에 의하면, 삼차원 영상 데이터로부터 분리된 영상 데이터 중 적어도 하나의 데이터량을 감소시킴으로써, 기록되는 삼차원 영상 데이터의 데이터량을 감소시킬 수 있다. 또한, 이 삼차원 영상 변환 기록 장치 및 방법에 의해 영상 데이터가 기록된 기록 매체는, 그 기록 영역을 유효하게 사용할 수 있다.
또, 상기 설명에서는, 데이터량을 감소시키기 위한 처리는, 패턴에 의해 지정된 영역의 데이터를 삭제하는 처리이지만, 이 처리 대신에, 또는, 이 처리에 더하여, 인코딩 처리에 있어서, 이산 웨이브렛 변환을 이용하도록 구성하더라도 좋다. 이산 웨이브렛 변환을 행함으로써, 주파수가 높은 성분을 삭감할 수 있으므로, 데이터 사이즈를 작게 하는 효과를 얻을 수 있다.
또한, 실시의 형태 6의 처리를, 상기 실시의 형태 1~5 중 어느 것과 조합하더라도 좋다.
또한, 실시의 형태 6에 따른 데이터량의 삭감 방법은, 삼차원 영상의 전송 장치에 적용할 수도 있다. 또한, 실시의 형태 6에 따른 데이터량의 삭감 방법(즉, 삼차원 영상 변환 방법)은, 삼차원 영상 변환 장치, 또는, 이 삼차원 영상 변환 장치에 전송 장치를 추가한 삼차원 영상 전송 장치에 적용 가능하다. 이 경우에는, 변환에 의해 생성되는, 또는, 전송되는 데이터의 사이즈가 축소된다고 하는 효과가 있다.
(실시의 형태 7)
도 12는 본 발명의 실시의 형태 7에 따른 삼차원 영상 변환 기록 장치(즉, 실시의 형태 7에 따른 삼차원 영상 변환 기록 방법을 실시하는 장치)에 입력되는 스트림의 삼차원 영상의 타입을 나타내는 데이터 구조(3D_Type 구조)를 나타내는 도면이다. 시퀀스 헤더에 임베딩하는 3D_Type는, 도 5(b)에 나타내는 UD(422)에 8비트의 데이터로서 배치된다. 도 12에 나타내는 bit7은, 삼차원 영상 플래그이며, 예컨대, 그 값이 1인 경우는 삼차원 영상이며, 0인 경우는 이차원 영상이다. bit0~bit3까지는, 삼차원 영상의 타입을 나타내고 있다. 예컨대, 3D_Type의 값이 2진수의 '0000'이면 통상의 이차원 영상만의 스트림, 2진수의 '0001'이면 오른눈용 영상의 데이터량을 감소시키고 있는 삼차원 영상 스트림, 2진수의 '0010'이면 왼눈용 영상의 데이터량을 감소시키고 있는 삼차원 영상 스트림, 2진수의 '0011'이면 왼눈용, 오른눈용을 등가로 취급한 삼차원 영상 스트림, 2진수의 '1011'이면, 이차원 영상과 깊이 정보를 합친 삼차원 영상 스트림, 2진수의 '1010'이면 깊이 정보의 정보량을 감소시킨 이차원 영상과 깊이 정보를 합친 삼차원 영상 스트림이다.
영상의 히스토그램을 측정함으로써 왼눈용 영상 스트림과 오른눈용 영상 스트림의 비교를 행하여, 차분값이 소정의 임계값을 초과할 때에 대하여 bit7의 삼차원 영상 플래그를 설정함으로써, 플래그가 오프일 때에는 오른눈용 영상 데이터의 정보를 삭감하고, 재생할 때에는 왼눈용 영상을 오른눈용 영상으로서 표시하도록 한다. 재생시에 삼차원 영상 플래그가 온일 때에는, 오른눈용 영상과 왼눈용 영상을 각각 디코딩하여 표시하도록 하면, 삼차원 영상을 필요한 부분만 재현할 수 있어, 삼차원 영상이 필요하지 않은 부분에 대해서는 데이터량을 1채널분으로 감소시킬 수 있다.
실시의 형태 7에 따른 삼차원 영상 변환 기록 장치 및 방법에 의하면, 삼차원 영상 데이터로부터 분리된 영상 데이터 중 적어도 하나의 데이터량을 감소시킴으로써, 기록되는 삼차원 영상 데이터의 데이터량을 감소시킬 수 있다. 또한, 이 삼차원 영상 변환 기록 장치 및 방법에 의해 영상 데이터가 기록된 기록 매체는, 그 기록 영역을 유효하게 사용할 수 있다.
또한, 실시의 형태 7에 따른 데이터량의 삭감 방법은, 삼차원 영상의 전송 장치에 적용할 수도 있다. 또한, 실시의 형태 7에 따른 데이터량의 삭감 방법(즉, 삼차원 영상 변환 방법)은, 삼차원 영상 변환 장치, 또는, 이 삼차원 영상 변환 장치에 전송 장치를 추가한 삼차원 영상 전송 장치에 적용 가능하다. 이 경우에는, 변환에 의해 생성되는, 또는, 전송되는 데이터의 사이즈가 축소된다고 하는 효과가 있다.
(실시의 형태 8)
도 13은 본 발명의 실시의 형태 8에 따른 삼차원 영상 변환 기록 장치(즉, 실시의 형태 1에 따른 삼차원 영상 변환 기록 방법을 실시하는 장치)의 구성을 개략적으로 나타내는 블록도이다. 도 13에 있어서, 도 1의 구성과 동일 또는 대응하는 구성에는, 같은 부호를 붙인다. 실시의 형태 8에 따른 삼차원 영상 변환 기록 장치는, 도 1에 나타내는 장면 전환 검출부(19) 대신에 도 13에 나타내는 오브젝트 이동 검출부(89)를 구비한 점, 솎아냄부(83)의 처리 내용, 설정 저장부(87)에 저장되는 설정치, 및 컨트롤러(88)에 의한 제어 내용이, 상기 실시의 형태 1에 따른 삼차원 영상 변환 기록 장치와 다르다.
실시의 형태 8에 따른 삼차원 영상 변환 기록 장치에 있어서는, 오브젝트 이동 검출부(89)는, 분리부(10)에서 분리되어 디코딩부(11)에서 디코딩된 영상 데이터로부터 오브젝트의 이동을 검출한다. 설정 저장부(87)는, 미리 또는 사용자 입력에 의해, 오브젝트 이동의 검출 또는 비검출의 판단의 기준치 데이터를 저장한다. 컨트롤러(88)는, 오브젝트 이동 검출부(89)에 의해 오브젝트의 이동이 검출된 경우에, 오브젝트의 이동이 검출된 영역 이외의 영역의 정보를 솎아내는 처리를 솎아냄부(83)에 실행시킨다.
도 14는 실시의 형태 8에 따른 삼차원 영상 변환 기록 장치에 있어서 검출되는 오브젝트의 이동을 나타내는 도면이다. 도 14는 어떤 시점의 프레임(601)에 있어서의 영상 오브젝트(601a)가, 프레임(601)보다 1 또는 수 프레임 후의 프레임(602)에 있어서, 영상 오브젝트(602a)로 이동하는 것을 나타내고 있다. 영상 오브젝트(601a)로부터 영상 오브젝트(602a)로의 이동의 양과 방향을 나타내는 벡터는, 화살표(603)로 나타내고 있다. 이러한 움직임이 있는 영상 오브젝트를 포함하는 프레임의 히스토그램 분포를 구하면, 영상 오브젝트(601a 및 602a) 이외의 부분에는 히스토그램의 피크가 나타나지 않는다. 이 성질을 이용하여, 프레임 내의 움직임이 있는 범위를 추출하고, 움직임이 있는 범위의 데이터를 솎아내지 않고서, 움직임이 있는 부분 이외의 부분(움직임이 없는 부분)의 데이터량을 삭감하는 처리를 행한다.
실시의 형태 8에 따른 삼차원 영상 변환 기록 장치 또는 방법에 의하면, 삼차원 영상 데이터로부터 분리된 영상 데이터 중 적어도 하나의 데이터량을 감소시킴으로써, 기록되는 삼차원 영상 데이터의 데이터량을 감소시킬 수 있다. 또한, 이 삼차원 영상 변환 기록 장치 및 방법에 의해 영상 데이터가 기록된 기록 매체는, 그 기록 영역을 유효하게 사용할 수 있다.
또한, 실시의 형태 8에 따른 삼차원 영상 변환 기록 장치 또는 방법에 의하면, 솎아내어지는 데이터가, 움직임이 없는 범위의 데이터이므로, 솎아냄부에 의한 솎아냄 처리가 표시 영상에 주는 영향은 적어, 삼차원 영상을 보는 사람에게 부자연스러운 인상을 주지 않도록(위화감을 기억시키지 않도록) 영상을 재현할 수 있다.
또, 실시의 형태 8에 따른 삼차원 영상 변환 기록 장치의 구성을, 상기 실시의 형태 1~7에 따른 삼차원 영상 변환 기록 장치 중 어느 것과 조합하는 것도 가능하다.
또한, 실시의 형태 8에 따른 데이터량의 삭감 방법은, 삼차원 영상의 전송 장치에 적용할 수도 있다. 또한, 실시의 형태 8에 따른 데이터량의 삭감 방법(즉, 삼차원 영상 변환 방법)은, 삼차원 영상 변환 장치, 또는, 이 삼차원 영상 변환 장치에 전송 장치를 추가한 삼차원 영상 전송 장치에 적용 가능하다. 이 경우에는, 변환에 의해 생성되는, 또는, 전송되는 데이터의 사이즈가 축소된다고 하는 효과가 있다.
10 : 분리부
11 : 디코딩부
12 : 프레임 버퍼
13 : 프레임 솎아냄부
14 : 인코딩부
15 : 다중화부
16 : 기록부
17, 37, 47, 57, 87 : 설정 저장부
18, 38, 48, 58, 88 : 컨트롤러
19 : 장면 전환 검출부
20 : 전송부
21 : 기록 매체
30 : 삼차원 영상 변환 장치
33 : 트리밍부
43 : 색차 조정부
83 : 솎아냄부
89 : 오브젝트 이동 검출부
100 : 왼눈용 영상의 프레임열
101~110 : 왼눈용 영상의 프레임
200 : 오른눈용 영상의 프레임열
201~210 : 오른눈용 영상의 프레임
191 : 히스토그램 생성기
192 : 제 1 히스토그램 버퍼
193 : 제 2 히스토그램 버퍼
194 : 차분 추출기
195 : 장면 전환 판정기
196 : 장면 전환 커맨드 제어부
401~416 : 시퀀스 헤더
417 : GOP층
418 : 픽쳐층
419 : SEC
420~431 : 시퀀스 디스플레이의 구조
501 : 체크무늬로 솎아내는 패턴
502 : 주사선을 솎아내는 패턴
601, 602 : 프레임
601a : 오브젝트
602a : 이동한 오브젝트
603 : 오브젝트의 이동 벡터
Sa : 입력 스트림
Sb : 왼눈용 영상 스트림
Sc : 오른눈용 영상 스트림
Sd : 스트림
Se : 다중화된 스트림
P1 : 장면 전환점

Claims (16)

  1. 삼차원 영상을 구성하는 복수의 영상 데이터 중 적어도 하나의 영상 데이터의 데이터량을 감소시키는 삭감 수단과,
    상기 데이터량이 감소된 영상 데이터를 인코딩하고, 인코딩된 영상 데이터를 출력하는 인코딩 수단과,
    삼차원 영상을 구성하는 상기 복수의 영상 데이터 중 상기 데이터량이 감소된 영상 데이터 이외의 영상 데이터와, 상기 데이터량이 감소되고 인코딩된 영상 데이터를 다중화하는 다중화 수단과,
    상기 다중화 수단에 의해 다중화된 영상 데이터를 기록 매체에 기록하는 기록 수단과,
    상기 삭감 수단에 의한 데이터량의 삭감의 방법을 정하기 위한 설정치를 저장하는 설정 저장 수단과,
    상기 삭감 수단의 동작을 제어하는 제어 수단
    을 갖고,
    상기 제어 수단은, 상기 설정 저장 수단에 저장된 상기 설정치에 근거한 제어 신호를 상기 삭감 수단에 출력하고,
    상기 삭감 수단은, 상기 제어 신호에 근거하여 영상 데이터의 데이터량을 감소시키고, 상기 데이터량이 감소된 영상 데이터를 상기 인코딩 수단에 출력하는
    것을 특징으로 하는 삼차원 영상 변환 기록 장치.
  2. 제 1 항에 있어서,
    상기 복수의 영상 데이터는, 왼눈용 영상 데이터와 오른눈용 영상 데이터를 포함하고,
    상기 삭감 수단에 의해 데이터량이 삭감되는 영상 데이터는, 상기 왼눈용 영상 데이터 또는 상기 오른눈용 영상 데이터인 것
    을 특징으로 하는 삼차원 영상 변환 기록 장치.
  3. 제 1 항에 있어서,
    상기 복수의 영상 데이터는, 이차원 영상 데이터와 깊이 정보 영상 데이터를 포함하고,
    상기 삭감 수단에 의해 데이터량이 삭감되는 영상 데이터는, 상기 이차원 영상 데이터 또는 상기 깊이 정보 영상 데이터인 것
    을 특징으로 하는 삼차원 영상 변환 기록 장치.
  4. 제 1 항에 있어서,
    상기 삭감 수단은, 상기 제어 신호에 근거하여 상기 영상 데이터의 데이터량의 삭감 처리를 결정하는 것을 특징으로 하는 삼차원 영상 변환 기록 장치.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 삭감 수단은, 상기 영상 데이터의 프레임을 솎아내는 프레임 솎아냄 수단을 갖는 것을 특징으로 하는 삼차원 영상 변환 기록 장치.
  6. 제 5 항에 있어서,
    상기 영상 데이터로부터 영상의 특징의 변화점을 검출하는 특징 변화점 검출 수단을 더 갖고,
    상기 제어 수단은, 상기 특징 변화점 검출 수단에 의해 특징의 변화점이 검출된 프레임을 솎아내는 처리를, 상기 프레임 솎아냄 수단이 실행하지 않도록 하는 것
    을 특징으로 하는 삼차원 영상 변환 기록 장치.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 삭감 수단은, 상기 영상 데이터의 프레임 내의 지정 범위 이외의 정보를 삭제하는 트리밍 수단을 갖는 것을 특징으로 하는 삼차원 영상 변환 기록 장치.
  8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
    상기 삭감 수단은, 상기 영상 데이터의 색차 성분을 삭감하는 색차 조정 수단을 갖는 것을 특징으로 하는 삼차원 영상 변환 기록 장치.
  9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 삭감 수단은, 상기 영상 데이터로부터 프레임 내의 지정 패턴의 공간 정보를 솎아내는 패턴 솎아냄 수단을 갖는 것을 특징으로 하는 삼차원 영상 변환 기록 장치.
  10. 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
    상기 영상 데이터로부터 오브젝트의 이동을 검출하는 오브젝트 이동 검출 수단을 더 갖고,
    상기 삭감 수단은, 상기 오브젝트의 이동이 검출된 영역 이외의 영역의 정보를 솎아내는 것
    을 특징으로 하는 삼차원 영상 변환 기록 장치.
  11. 제 1 항 내지 제 10 항 중 어느 한 항에 있어서,
    입력 스트림에 포함되는 영상 스트림이 삼차원 영상 스트림인 것을 나타내는, 상기 입력 스트림에 포함되는 정보를 검출하는 삼차원 영상 검출 수단과,
    상기 삼차원 영상 검출 수단이 삼차원 영상 스트림인 것을 나타내는 상기 정보를 검출했을 때에, 상기 삼차원 영상 스트림을, 삼차원 영상을 구성하는 상기 복수의 영상 데이터로 분리하는 분리 수단
    을 갖는 것을 특징으로 하는 삼차원 영상 변환 기록 장치.
  12. 삼차원 영상을 구성하는 복수의 영상 데이터의 데이터량을 삭감하는 방법을 정하기 위한 설정치를 저장하는 설정 저장 단계와,
    상기 설정치에 근거하여, 삼차원 영상을 구성하는 상기 복수의 영상 데이터 중 적어도 하나의 영상 데이터의 데이터량을 감소시키는 삭감 단계와,
    상기 삭감 단계에 의해 데이터량이 감소된 영상 데이터를 인코딩하고, 인코딩된 영상 데이터를 출력하는 단계와,
    삼차원 영상을 구성하는 상기 복수의 영상 데이터 중 데이터량이 감소된 영상 데이터 이외의 영상 데이터와, 상기 데이터량이 감소되고 인코딩된 영상 데이터를 다중화하는 다중화 단계와,
    상기 다중화 단계에 의해 다중화된 영상 데이터를 기록 매체에 기록하는 단계
    를 갖는 것을 특징으로 하는 삼차원 영상 변환 기록 방법.
  13. 청구항 1에 기재된 삼차원 영상 변환 기록 장치에 의해 상기 다중화된 영상 데이터가 기록된 것을 특징으로 하는 기록 매체.
  14. 청구항 12에 기재된 삼차원 영상 변환 기록 방법에 의해 상기 다중화된 영상 데이터가 기록된 것을 특징으로 하는 기록 매체.
  15. 삼차원 영상을 구성하는 복수의 영상 데이터 중 적어도 하나의 영상 데이터의 데이터량을 감소시키는 삭감 수단과,
    상기 데이터량이 감소된 영상 데이터를 인코딩하고, 인코딩된 영상 데이터를 출력하는 인코딩 수단과,
    삼차원 영상을 구성하는 상기 복수의 영상 데이터 중 상기 데이터량이 감소된 영상 데이터 이외의 영상 데이터와, 상기 데이터량이 감소되고 인코딩된 영상 데이터를 다중화하여, 다중화된 영상 데이터를 출력하는 다중화 수단과,
    상기 삭감 수단에 의한 데이터량의 삭감의 방법을 정하기 위한 설정치를 저장하는 설정 저장 수단과,
    상기 삭감 수단의 동작을 제어하는 제어 수단
    을 갖고,
    상기 제어 수단은, 상기 설정 저장 수단에 저장된 상기 설정치에 근거한 제어 신호를 상기 삭감 수단에 출력하고,
    상기 삭감 수단은, 상기 제어 신호에 근거하여 영상 데이터의 데이터량을 감소시키고, 상기 데이터량이 감소된 영상 데이터를 상기 인코딩 수단에 출력하는 것
    을 특징으로 하는 삼차원 영상 변환 장치.
  16. 삼차원 영상을 구성하는 복수의 영상 데이터 중 적어도 하나의 영상 데이터의 데이터량을 감소시키는 삭감 수단과,
    상기 데이터량이 감소된 영상 데이터를 인코딩하고, 인코딩된 영상 데이터를 출력하는 인코딩 수단과,
    삼차원 영상을 구성하는 상기 복수의 영상 데이터 중 상기 데이터량이 감소된 영상 데이터 이외의 영상 데이터와, 상기 데이터량이 감소되고 인코딩된 영상 데이터를 다중화하는 다중화 수단과,
    상기 다중화 수단에 의해 다중화된 영상 데이터를 전송하는 전송 수단과,
    상기 삭감 수단에 의한 데이터량의 삭감의 방법을 정하기 위한 설정치를 저장하는 설정 저장 수단과,
    상기 삭감 수단의 동작을 제어하는 제어 수단
    을 갖고,
    상기 제어 수단은, 상기 설정 저장 수단에 저장된 상기 설정치에 근거한 제어 신호를 상기 삭감 수단에 출력하고,
    상기 삭감 수단은, 상기 제어 신호에 근거하여 영상 데이터의 데이터량을 감소시키고, 상기 데이터량이 감소된 영상 데이터를 상기 인코딩 수단에 출력하는 것
    을 특징으로 하는 삼차원 영상 전송 장치.
KR1020107026984A 2008-06-18 2009-03-30 삼차원 영상 변환 기록 장치, 삼차원 영상 변환 기록 방법, 기록 매체, 삼차원 영상 변환 장치, 및 삼차원 영상 전송 장치 KR101194480B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008158825 2008-06-18
JPJP-P-2008-158825 2008-06-18
PCT/JP2009/056456 WO2009154033A1 (ja) 2008-06-18 2009-03-30 三次元映像変換記録装置、三次元映像変換記録方法、記録媒体、三次元映像変換装置、及び三次元映像伝送装置

Publications (2)

Publication Number Publication Date
KR20100137020A true KR20100137020A (ko) 2010-12-29
KR101194480B1 KR101194480B1 (ko) 2012-10-24

Family

ID=41433950

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107026984A KR101194480B1 (ko) 2008-06-18 2009-03-30 삼차원 영상 변환 기록 장치, 삼차원 영상 변환 기록 방법, 기록 매체, 삼차원 영상 변환 장치, 및 삼차원 영상 전송 장치

Country Status (6)

Country Link
US (1) US20110044664A1 (ko)
EP (1) EP2288148A4 (ko)
JP (1) JP5295236B2 (ko)
KR (1) KR101194480B1 (ko)
CN (1) CN102047656B (ko)
WO (1) WO2009154033A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4548493B2 (ja) * 2008-02-19 2010-09-22 カシオ計算機株式会社 撮像装置、動画生成方法及びプログラム
EP2540075A1 (en) * 2010-02-24 2013-01-02 Thomson Licensing Split screen for 3d
JP5601006B2 (ja) * 2010-04-08 2014-10-08 ソニー株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP2011223247A (ja) * 2010-04-08 2011-11-04 Sony Corp 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP5577805B2 (ja) * 2010-04-08 2014-08-27 ソニー株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP2011223248A (ja) * 2010-04-08 2011-11-04 Sony Corp 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
US20120127266A1 (en) * 2010-11-24 2012-05-24 Electronics And Telecommunications Research Institute Method and apparatus for providing stereoscopic 3d broadcasting service compatible with hd broadcasting service
JP2012134893A (ja) * 2010-12-24 2012-07-12 Hitachi Consumer Electronics Co Ltd 受信装置
JP2013026943A (ja) * 2011-07-25 2013-02-04 Sharp Corp 立体画像処理装置および立体画像処理方法
JP2013131928A (ja) * 2011-12-21 2013-07-04 Toshiba Corp 画像符号化装置および画像符号化方法
TWI533663B (zh) * 2012-01-17 2016-05-11 晨星半導體股份有限公司 立體影像處理裝置及立體影像處理方法
US9013549B2 (en) * 2012-05-24 2015-04-21 Silicon Integrated Systems Corp. Depth map generation for conversion of two-dimensional image data into three-dimensional image data
EP2680219A1 (en) * 2012-06-29 2014-01-01 Thomson Licensing Method for reframing images of a video sequence, and apparatus for reframing images of a video sequence
JP7320352B2 (ja) * 2016-12-28 2023-08-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル送信方法、三次元モデル受信方法、三次元モデル送信装置及び三次元モデル受信装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3231618B2 (ja) * 1996-04-23 2001-11-26 日本電気株式会社 ３次元画像符号化復号方式
US6154493A (en) * 1998-05-21 2000-11-28 Intel Corporation Compression of color images based on a 2-dimensional discrete wavelet transform yielding a perceptually lossless image
US6137912A (en) * 1998-08-19 2000-10-24 Physical Optics Corporation Method of multichannel data compression
JP2001094980A (ja) * 1999-09-21 2001-04-06 Sharp Corp データ処理装置
JP2001186543A (ja) 1999-12-24 2001-07-06 Sanyo Electric Co Ltd データ符号化装置及び復号化装置
US20020009137A1 (en) * 2000-02-01 2002-01-24 Nelson John E. Three-dimensional video broadcasting system
JP2001344905A (ja) * 2000-05-26 2001-12-14 Fujitsu Ltd データ再生装置、その方法及び記録媒体
JP3841630B2 (ja) * 2000-08-29 2006-11-01 オリンパス株式会社 画像取り扱い装置
KR100397511B1 (ko) * 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
JP4104895B2 (ja) * 2002-04-25 2008-06-18 シャープ株式会社 立体画像符号化装置および立体画像復号装置
JP4614612B2 (ja) * 2002-06-25 2011-01-19 ソニー株式会社 画像表示システム
JP4154569B2 (ja) * 2002-07-10 2008-09-24 日本電気株式会社 画像圧縮伸長装置
US7136417B2 (en) * 2002-07-15 2006-11-14 Scientific-Atlanta, Inc. Chroma conversion optimization
WO2004093467A1 (ja) * 2003-04-17 2004-10-28 Sharp Kabushiki Kaisha ３次元画像作成装置、３次元画像再生装置、３次元画像処理装置、３次元画像処理プログラムおよびそのプログラムを記録した記録媒体
KR100556826B1 (ko) * 2003-04-17 2006-03-10 한국전자통신연구원 Ｍｐｅｇ-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 시스템 및 그 방법
EP1727090A1 (en) * 2004-02-27 2006-11-29 Tdvision Corporation S.A. DE C.V. Method and system for digital decoding 3d stereoscopic video images
JP2005269022A (ja) * 2004-03-17 2005-09-29 Ricoh Co Ltd 符号化装置およびその方法、符号データ編集装置およびその方法、並びに、プログラムおよび記録媒体
KR100782811B1 (ko) * 2005-02-04 2007-12-06 삼성전자주식회사 영상의 주파수 특성에 따라 포맷을 달리하는 스테레오 영상 합성 방법 및 장치와, 그 영상의 송신 및 수신 방법과, 그 영상의 재생 방법 및 장치
JP2006246008A (ja) * 2005-03-03 2006-09-14 Ntt Docomo Inc 映像トランスコードシステム、映像取得装置、トランスコーダ装置、及び、映像トランスコーディング方法
KR100657322B1 (ko) * 2005-07-02 2006-12-14 삼성전자주식회사 로컬 3차원 비디오를 구현하기 위한 인코딩/디코딩 방법 및장치
JP5587552B2 (ja) * 2005-10-19 2014-09-10 トムソン ライセンシング スケーラブル映像符号化を用いた多視点映像符号化
KR100747550B1 (ko) * 2005-12-09 2007-08-08 한국전자통신연구원 Ｄｍｂ 기반의 3차원 입체영상 서비스 제공 방법과, ｄｍｂ기반의 3차원 입체영상 서비스를 위한 복호화 장치 및 그방법
JP4499693B2 (ja) * 2006-05-08 2010-07-07 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP4179387B2 (ja) * 2006-05-16 2008-11-12 ソニー株式会社 伝送方法、伝送システム、送信方法、送信装置、受信方法及び受信装置
US8300086B2 (en) * 2007-12-20 2012-10-30 Nokia Corporation Image processing for supporting a stereoscopic presentation

Also Published As

Publication number Publication date
CN102047656B (zh) 2012-07-18
EP2288148A4 (en) 2012-04-04
EP2288148A1 (en) 2011-02-23
JPWO2009154033A1 (ja) 2011-11-24
CN102047656A (zh) 2011-05-04
JP5295236B2 (ja) 2013-09-18
WO2009154033A1 (ja) 2009-12-23
US20110044664A1 (en) 2011-02-24
KR101194480B1 (ko) 2012-10-24

Similar Documents

Publication Publication Date Title
KR101194480B1 (ko) 삼차원 영상 변환 기록 장치, 삼차원 영상 변환 기록 방법, 기록 매체, 삼차원 영상 변환 장치, 및 삼차원 영상 전송 장치
KR101768857B1 (ko) 다시야 비디오 코딩에서 로우 다이내믹 레인지 이미지들로부터 하이 다이내믹 레인지 이미지들의 생성
KR101619450B1 (ko) 뎁스 정보를 이용한 비디오 신호 처리 방법 및 장치
US8570360B2 (en) Stereoscopic parameter embedding device and stereoscopic image reproducer
JP6229962B2 (ja) 符号化装置及び符号化方法
KR101812612B1 (ko) 3ｄ 비디오 신호를 생성하는 방법
RU2517402C2 (ru) Обработка 3d отображения субтитров
WO2012111320A1 (ja) 映像符号化装置、映像符号化方法、映像符号化プログラム、映像再生装置、映像再生方法及び映像再生プログラム
US20130083160A1 (en) Method for decoding 2d-compatible stereoscopic video flows
JP2011124941A (ja) ３次元映像生成装置及び３次元映像生成方法
JPH1023407A (ja) 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、画像伝送方法、並びに記録媒体
US20140002621A1 (en) Video processing device and video processing method
EP2526689B1 (en) Method for transporting information and/or application data inside a digital video stream, and relative devices for generating and playing such video stream
US20100079483A1 (en) Image processing apparatus, image processing method, and program
KR20130138156A (ko) 영상 제공 장치 및 방법, 그리고 영상 재생 장치 및 방법
US20110205336A1 (en) Three-dimensional image reproducing apparatus
JP2012019329A (ja) 記録装置、記録方法、再生装置、再生方法、プログラム、および記録再生装置
JP2006129463A (ja) 立体視化パラメータ記憶媒体
KR101609798B1 (ko) 동영상 판독 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee