WO2011083625A1 - 画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム - Google Patents
画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム Download PDFInfo
- Publication number
- WO2011083625A1 WO2011083625A1 PCT/JP2010/070104 JP2010070104W WO2011083625A1 WO 2011083625 A1 WO2011083625 A1 WO 2011083625A1 JP 2010070104 W JP2010070104 W JP 2010070104W WO 2011083625 A1 WO2011083625 A1 WO 2011083625A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- file
- image
- information
- data
- box
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
- G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
- G11B27/309—Table of contents
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/178—Metadata, e.g. disparity information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Library & Information Science (AREA)
- Television Signal Processing For Recording (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
MP4は、MPEG(Moving Picture Experts Group)4形式の圧縮動画データの格納ファイル形式である。MP4はISO/IEC14496に規定された規格である。MP4はMPEG-4形式の動画のみならず、MPEG-2やMPEG-1の動画、AACやMP3などの音声、JPEGやPNGなどの静止画など、様々な形式の画像および音声データを格納可能としたフォーマットである。
すなわち、現行のMP4ファイルの管理情報のみでは、画像データを取得してデータ構成を確認するか、あるいは、実際に再生や表示処理を実行してみないと、自装置が処理可能なデータであるか否かについて確認できないといった問題がある。
画像データの符号化処理を実行するエンコード部と、
前記エンコード部の生成した符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを生成するファイル生成部を有し、
前記ファイル生成部は、
ファイルに格納する画像データに3次元画像データが含まれるか否かを示す3次元画像識別情報を前記管理情報に記録したファイルの生成処理を行う画像処理装置にある。
(a)ファイルに格納する画像データが3次元画像データのみからなるか、
(b)ファイルに格納する画像データが2次元画像データのみからなるか、
(c)ファイルに格納する画像データが3次元画像データと2次元画像データの混在データであるか、
上記(a)~(c)のいずれであるかを識別可能とした3次元画像識別情報を前記管理情報に記録したファイルを生成する。
(a)フレームシーケンシャル方式、
(b)サイドバイサイド方式、
(c)トップアンドボトム方式、
上記(a)~(c)のいずれの方式に従った3次元画像データかを判別する情報を記録する。
画像データの符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを解析するファイル解析部と、
画像データの復号処理を実行するデコード部と、
データ処理制御を実行する制御部を有し、
前記ファイル解析部は、前記管理情報内に記録された3次元画像管理情報を取得し、
前記制御部は、前記3次元画像管理情報を適用して自装置における再生可能性を判定し、再生可能と判定した後に前記デコード部における画像データの復号処理を開始させる制御を行う画像処理装置にある。
(a)ファイルに格納された画像データが3次元画像データのみからなるか、
(b)ファイルに格納された画像データが2次元画像データのみからなるか、
(c)ファイルに格納された画像データが3次元画像データと2次元画像データの混在データであるか、
上記(a)~(c)のいずれであるかを識別する。
(a)フレームシーケンシャル方式、
(b)サイドバイサイド方式、
(c)トップアンドボトム方式、
上記(a)~(c)のいずれの方式に従った3次元画像データかを判別する。
画像データの符号化データと、該符号化データの管理情報を含むMP4ファイルを記録した情報記録媒体であり、
前記管理情報は、前記画像データに3次元画像データが含まれるか否かを示す3次元画像管理情報を含み、
MP4ファイルを読み取り再生する装置において、前記3次元画像管理情報を参照して自装置における再生可能性を判定可能としたことを特徴とする情報記録媒体にある。
画像処理装置において実行する画像処理方法であり、
エンコード部が、画像データの符号化処理を実行するエンコード処理ステップと、
ファイル生成部が、前記エンコード部の生成した符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを生成するファイル生成ステップを有し、
前記ファイル生成ステップは、
ファイルに格納する画像データに3次元画像データが含まれるか否かを示す3次元画像識別情報を前記管理情報に記録したファイルの生成処理を行う画像処理方法にある。
画像処理装置において実行する画像処理方法であり、
ファイル解析部が、画像データの符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを解析し、前記管理情報内に記録された3次元画像管理情報を取得するファイル解析ステップと、
制御部が、前記3次元画像管理情報を適用して自装置における再生可能性を判定し、再生可能と判定した後にデコード部における画像データの復号処理を開始させる制御を行う制御ステップを実行する画像処理方法にある。
画像処理装置において画像処理を実行させるプログラムであり、
エンコード部に、画像データの符号化処理を実行させるエンコード処理ステップと、
ファイル生成部に、前記エンコード部の生成した符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを生成させるファイル生成ステップを実行させ、
前記ファイル生成ステップは、
ファイルに格納する画像データに3次元画像データが含まれるか否かを示す3次元画像識別情報を前記管理情報に記録したファイルの生成処理を行わせるステップであるプログラムにある。
画像処理装置において画像処理を実行させるプログラムであり、
ファイル解析部に、画像データの符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを解析し、前記管理情報内に記録された3次元画像管理情報を取得させるファイル解析ステップと、
制御部に、前記3次元画像管理情報を適用して自装置における再生可能性を判定させ、再生可能と判定した後にデコード部における画像データの復号処理を開始させる制御ステップを実行させるプログラムにある。
1.MP4ファイルフォーマットの基本構成について
2.3次元画像管理情報をMP4ファイルの管理情報中に記録する構成について
2A.(1)プロファイルボックス(uuid(PROF))に3次元画像識別情報を記録する実施例(実施例1)
2B.(2)AVコーデックボックス(avc1)に3次元画像詳細情報を記録する実施例(実施例2)
2C.(3)AVコーデックボックス(avc1)の拡張構成として規定されるスキーム情報ボックス(sinf)を利用して3次元画像詳細情報を記録する実施例(実施例3)
3.画像処理装置の実行する画像処理シーケンスについて
4.本発明の画像処理装置の構成例について
まず、図1を参照して現行のMP4ファイルフォーマットの基本構成について説明する。前述したように、MP4は、MPEG(Moving Picture Experts Group)4形式の符号化データの格納ファイル形式であり、ISO/IEC14496に規定されている。MP4はMPEG-4形式の動画のみならず、MPEG-2やMPEG-1の動画、AACやMP3などの音声、JPEGやPNGなどの静止画など、様々な形式の画像および音声データを格納可能な構成を持つ。
(1)ファイルタイプボックス(ftyp)101、
(2)プロファイルボックス(uuid(PROF))102、
(3)ムービーボックス(moov)103、
(4)実データボックス(mdat)104、
これらのボックスを有する。
(2)プロファイルボックス(uuid(PROF))102には、例えば、フレームレートなどのファイル情報が記録される。
(3)ムービーボックス(moov)103には、格納データの管理情報(メタデータ)が記録される。
(4)実データボックス(mdat)104には、符号化された(圧縮)画像や音声データなど実データが記録される。
トラックは、例えば、画像データに対応するビデオトラック、音声データに対応するオーディオトラック等がある。なお、日本語対応の第1オーディオトラック、英語対応の第2オーディオトラックなどの設定も可能である。また、異なる画像に対応する第1ビデオトラック、第2ビデオトラック等、細分化したトラック設定も可能である。
トラックボックス111内には、サンプルディスクリプションボックス(stsd)112、さらにその下位にAVコーデックボックス(avc1)113が格納される。
すなわち実データは1以上のトラックによって構成され、1トラックはさらに1以上のサンプルによって構成される。
以下では、上述した問題を解決する構成として、3次元画像についての管理情報をMP4ファイルの管理情報中に記録する複数の実施例について、以下説明する。
以下に示す3つの実施例について、順次説明する。
(1)プロファイルボックス(uuid(PROF))に3次元画像識別情報を記録する実施例(実施例1)
(2)AVコーデックボックス(avc1)に3次元画像識別情報を記録する実施例(実施例2)
(3)AVコーデックボックス(avc1)の拡張構成として規定されるスキーム情報ボックス(sinf)を利用して3次元画像識別情報を記録する実施例(実施例3)
なお、これらの各実施例は単独の構成としても実施可能であるが、複数の実施例を組み合わせて利用する構成も可能である。
まず、図2を参照してプロファイルボックス(uuid(PROF))に3次元画像識別情報を記録する実施例について説明する。
0001h:IDR(Instantaneous Decoder Refresh)フレーム間隔情報、
0002h:リカバリポイントSEIメッセージの有無情報、
これらはMP4の復号に適用する情報である。
0004h~はリザーブ領域である。
0008h:ステレオビデオフラグ(stereo video flag)201、
0010h:ミックスステレオビデオフラグ(Mixed stereo video flag)202、
これらの各フラグを3次元画像識別情報として設定する。
MP4ファイルに格納される画像データの態様としては、図3に示すように3パターンある。
(a)MP4ファイルに格納された画像データが全て3次元画像(ステレオ画像)
(b)MP4ファイルに格納された画像データが全て2次元画像
(c)MP4ファイルに格納された画像データが3次元画像(ステレオ画像)と2次元画像の混在データ
これらの3パターンである。
従って、図3に示す
(a)MP4ファイルに格納された画像データが全て3次元画像(ステレオ画像)
この(a)の場合にのみ、ビット値=1となる。
また、
(b)MP4ファイルに格納された画像データが全て2次元画像
(c)MP4ファイルに格納された画像データが3次元画像(ステレオ画像)と2次元画像の混在データ
これら(b),(c)の場合はビット値=0となる。
従って、図3に示す
(c)MP4ファイルに格納された画像データが3次元画像(ステレオ画像)と2次元画像の混在データ
この(c)の場合にのみビット値=1となる。
また、
(a)MP4ファイルに格納された画像データが全て3次元画像(ステレオ画像)
(b)MP4ファイルに格納された画像データが全て2次元画像
これら(a),(b)の場合には、ビット値=0となる。
(ケース1)
ステレオビデオフラグ=1、ミックスステレオビデオフラグ=0、
この場合は、
(a)MP4ファイルに格納された画像データが全て3次元画像(ステレオ画像)
であると判定する。
ステレオビデオフラグ=0、ミックスステレオビデオフラグ=0、
この場合は、
(b)MP4ファイルに格納された画像データが全て2次元画像
であると判定する。
ステレオビデオフラグ=0、ミックスステレオビデオフラグ=1、
この場合は、
(c)MP4ファイルに格納された画像データが3次元画像(ステレオ画像)と2次元画像の混在データ
であると判定する。
(タイプa)3次元画像のみから構成されている、
(タイプb)2次元画像のみから構成されている、
(タイプc)3次元画像と2次元画像の混在データである、
これらの各タイプを判別することが可能となる。
次に、図4を参照してAVコーデックボックス(avc1)に3次元画像詳細情報を記録する実施例について説明する。
AVコーデックボックス(avc1)は、先に説明したように、実データボックス(mdat)に格納される実データを区分した区分データであるサンプルのコーデック情報等が記録されるボックスである。
AVCConfigurationBox
MPEG4BitRateBox
MPEG4ExtentionDescriptorBox
これらのボックスにはMP4符号化データの復号処理に必要となる情報、すなわちコーデック情報が記録される。これらのコーデック情報は2次元画像にも3次元画像に共通に利用される。
ステレオビデオ情報ボックス(Stereo Video Description Box)302
を追加する。
ステレオビデオ情報ボックス302には、MP4ファイルの実データボックス(mdat)(図1参照)に格納された画像データに3次元画像が含まれるか否かの情報や、3次元画像が含まれる場合、その3次元画像データに関する詳細情報を記録する。詳細情報には例えば3次元画像の表示方式情報などが含まれる。
ステレオビデオ情報ボックス302には、MP4ファイルの実データボックス(mdat)(図1参照)に格納された画像データがいずれの方式に対応した記録データであるかについての情報も含まれる。
フレームシーケンシャル(Frame Sequential)方式、
サイドバイサイド(Side by Side)方式、
トップアンドボトム(Top&Bottom)方式、
などがある。
サイドバイサイド(Side by Side)方式は、LR画像を1フレーム画像中の左右に分割して記録した方式である。
トップアンドボトム(Top&Bottom)方式は、LR画像を1フレーム画像中の上下に分割して記録した方式である。
これらの画像記録方式など、3次元画像の再生や表示処理に利用される3次元画像詳細情報がステレオビデオ情報ボックス302に記録される。
Advanced Video Coding(MPEG4-AVC)を規定したISO/IEC14496においては、既に通常のコーデック情報として、再生用の各画像フレームを構築するためのフレーム構成情報(Frame Packing Arangement SEI)を規定している。
なお、以下の例では、3次元画像の以下の記録方式、すなわち、
(a)フレームシーケンシャル方式[FS]、
(b)サイドバイサイド方式[SbS]、
(c)トップアンドボトム方式[T&B]、
これら、異なる3次元画像の記録方式に対応するフレーム構成情報の設定例について説明する。
(a)フレームシーケンシャル方式[FS]、
(b)サイドバイサイド方式[SbS]、
(c)トップアンドボトム方式[T&B]、
図5にはMP4のデコード結果として得られるデコード画像フレーム321と、表示画像フレーム322を示している。
フレームシーケンシャル方式では左目用画像(L画像)と、右目用画像(R画像)がLRLRLR・・・と交互に記録される。従って、MP4デコード結果から得られる画像は。表示画像フレーム322としてのL画像、R画像として利用される。
図6には、
MP4デコード結果画像331、
アンパックL画像(フレーム0)332、
アンパックR画像(フレーム1)333、
表示用L画像(フレーム0)334、
表示用R画像(フレーム1)335、
これらの画像データを示している。
この画像から、まず、アンパック処理を実行して、アンパックL画像(フレーム0)332、アンパックR画像(フレーム1)333を生成する。さらに、伸張処理(アップコンバート)を実行して表示用L画像(フレーム0)334と、表示用R画像(フレーム1)335を生成する。
このようにフレーム0,フレーム1が1組の画像フレームとして設定される、
図7には、
MP4デコード結果画像341、
アンパックL画像(フレーム0)342、
アンパックR画像(フレーム1)343、
表示用L画像(フレーム0)344、
表示用R画像(フレーム1)345、
これらの画像データを示している。
この画像から、まず、アンパック処理を実行して、アンパックL画像(フレーム0)342、アンパックR画像(フレーム1)343を生成する。さらに、伸張処理(アップコンバート)を実行して表示用L画像(フレーム0)344と、表示用R画像(フレーム1)345を生成する。
トップアンドボトム方式でも、フレーム0,フレーム1が1組の画像フレームとして設定される、
図8、図9は、MP4ファイルに格納された3次元画像が以下の3種類の方式に対応する場合のデータ設定例を示す図である。
(a)フレームシーケンシャル方式[FS]、
(b)サイドバイサイド方式[SbS]、
(c)トップアンドボトム方式[T&B]、
これらの各方式に対応するフレーム構成(Frame Packing Arrangement SEI)情報のデータ設定例である。
フレームパッキングアレンジメントキャンセルフラグ
(frame_packing_arrangement_cancel_flag)
このフラグが1の場合、フレーム構成情報を使用しないことを示す。
ステレオビデオ情報ボックス302内に記録する3次元画像情報としてのフレーム構成情報の場合、フレームシーケンシャル方式[FS]、サイドバイサイド方式[SbS]、トップアンドボトム方式[T&B]、いずれの方式においても、このフレーム構成情報を使用することを示す0を設定する。なお、[0b]の(b)は、2進数の表記であることを意味している。
(quincux_sampling_flag)
このフラグが1の場合、画像フレームのサンプリングポイントが3×3画素の5点に設定されていることを示す。
このフラグは主に復号処理におけるサンプリング位置を示す情報として用いられる。
ステレオビデオ情報ボックス302内に記録する3次元画像情報としてのフレーム構成情報の場合、フレームシーケンシャル方式[FS]、サイドバイサイド方式[SbS]、トップアンドボトム方式[T&B]、いずれの方式においても、このフラグは0に設定する。
(content_interpretation_type)
このフィールドの値としては例えば0~2の各値をとり、
0=フレーム相互の関係がない場合の設定値、
1=3次元(ステレオ)画像用のフレーム構成情報であり、フレーム0が左目用フレーム、フレーム1が右目用フレームである場合の設定値、
2=3次元(ステレオ)画像用のフレーム構成情報であり、フレーム0が右目用フレーム、フレーム1が左目用フレームである場合の設定値、
これらのコンテンツ説明タイプ情報が記録される。
ステレオビデオ情報ボックス302内に記録する3次元画像情報としてのフレーム構成情報の場合、フレームシーケンシャル方式[FS]、サイドバイサイド方式[SbS]、トップアンドボトム方式[T&B]、いずれの方式においても、このフラグは1に設定する。
(spatial_fliping_flag)
スペーシャルフリップフラグ
(frame0_flipped_flag)
これらのフラグは、画像フレームの構成方向、例えば水平方向または垂直方向に連結してフレームを構成するかの情報を格納する。
このフラグ設定は2次元画像のアップコンバート(伸張処理)の態様を決定するために用いられる。
ステレオビデオ情報ボックス302内に記録する3次元画像情報としてのフレーム構成情報の場合、これらのフラグは利用せず、これらのフラグ値は0に設定する。
(field_views_flag)
フレームのインターリービング処理の態様についての情報が記録される。
ステレオビデオ情報ボックス302内に記録する3次元画像情報としてのフレーム構成情報の場合、このフラグは利用せず、このフラグ値は0に設定する。
(frame_packing_arrangement_reserved_byte)
フレームパッキングアレンジメントリピテーションバイト
(frame_packing_arrangement_repetition_period)
フレームパッキングアレンジメントエクステンションバイト
(frame_packing_arrangement_extension_flag)
これらのフィールドは、リザーブ、繰り返しデータ、拡張データの記録フィールドである。
ステレオビデオ情報ボックス302内に記録する3次元画像情報としてのフレーム構成情報の場合、これらのフラグは利用せず、これらのフラグ値は0に設定する。
(a)フレームシーケンシャル方式[FS]、
(b)サイドバイサイド方式[SbS]、
(c)トップアンドボトム方式[T&B]、
これらの3つの形式に対応するフレーム構成(Frame Packing Arrangement SEI)情報の設定例を示す図である。
(frame_packing_arrangement_type)
このフィールドには、3次元画像のタイプによって異なる値を設定する。
例えば、
(a)フレームシーケンシャル方式[FS]=000101b(5)、
(b)サイドバイサイド方式[SbS]=0000011b(3)、
(c)トップアンドボトム方式[T&B]=0000100b(4)、
再生装置は、このフィールドの設定値に基づいて、トラックに格納された3次元画像が、どの方式の3次元画像データであるかを判別することができる。すなわち、トラックに格納された3次元画像が、フレームシーケンシャル方式[FS]、サイバイサイド方式[SbS]、トップアンドボトム方式[T&B]、いずれの方式の3次元画像データであるかについて判別することが可能となる。
(current_frame_is_frame0_flag)
このフィールドにはMP4デコード結果として得られる現フレームがフレーム0に対応するフレームであるか否かの情報が記録される。
3次元画像がL画像,R画像,L画像,R画像フレームの繰り返しとして記録される「(a)フレームシーケンシャル方式[FS]」の場合は、デコード結果として得られるフレーム単位で左目用画像(L画像)であるか右目用画像(R画像)であるかを判別することが必要となる。
従って、(a)フレームシーケンシャル方式[FS]の場合は、このフィールドに、
右目用画像(R画像)=0、
左目用画像(L画像)=1、
例えば上記の値を設定する。
(frame0_self_contained_flag)
フレーム1セルフコンテインドフラグ
(frame1_self_contained_flag)
これらはフレーム0,1の設定されたフレーム間で相互のフレームを参照すべきである場合にフラグの値として1を設定する。
ステレオビデオ情報ボックス302内に記録する3次元画像情報としてのフレーム構成情報の場合、フレームシーケンシャル方式[FS]、サイドバイサイド方式[SbS]、トップアンドボトム方式[T&B]、いずれの方式においてもこの情報は不要であり、このフラグの値は0に設定する。
(frame0_grid_position_x)
フレーム0グリッドポジションY
(frame0_grid_position_y)
フレーム1グリッドポジションX
(frame1_grid_position_x)
フレーム1グリッドポジションY
(frame1_grid_position_y)
これらは画像フレームの構成処理に際して参照する画素位置を示すためのデータフィールドである。
例えば、図6、図7を参照して説明したサイドバイサイド方式[SbS]、トップアンドボトム方式[T&B]ではすべてフラグ値=0を設定する。これは、フレーム0,1とも(X,Y)=(0,0)で指定される左上端の座標位置に参照位置が設定されていることを示している。
(a)フレームシーケンシャル方式[FS]、
(b)サイドバイサイド方式[SbS]、
(c)トップアンドボトム方式[T&B]、
これらの各方式に対応するフレーム構成情報(Frame Packing Arrangement SEI)の設定値がそれぞれ設定される。
すなわち、例えば図8、図9を参照して説明したフレーム構成情報(Frame Packing Arrangement SEI)の設定値を参照することで、MP4ファイルに格納された画像がどの方式に従った3次元画像であるかを識別可能となり、格納画像の方式に対応した復元処理を実行して正しい3次元画像表示用データを生成して再生、表示することが可能となる。
また、自装置の実行可能な3次元画像表示処理に応じたデータが記録されているかについても予め知ることが可能となり、自装置において処理可能であると判断された場合にのみ、実データボックス(mdat)104(図1参照)に格納された実データを取得してエンコード等の処理を開始することができ、無駄な処理を実行してしまう事態を避けることが可能となる。
(a)フレームシーケンシャル方式[FS]、
(b)サイドバイサイド方式[SbS]、
(c)トップアンドボトム方式[T&B]、
これらの各方式に対応する3次元画像詳細情報を記録した例について説明したが、その他の方式に従った情報を記録する構成としてもよい。また、図8、図9を参照して説明したフレーム構成情報(Frame Packing Arrangement SEI)に限らず、その他の形式で3次元画像詳細情報を作成してAVコーデックボックス(avc1)に記録する構成としてもよい。
次に、図10以下を参照してMP4ファイルのAVコーデックボックス(avc1)の拡張構成として規定されるスキーム情報ボックス(sinf)を利用して3次元画像詳細情報を記録する実施例について説明する。
AVコーデックボックス(avc1)は、先に説明したように、実データボックス(mdat)に格納される実データを区分したデータであるサンプルのコーデック情報等が記録されるボックスである。
例えばMP4格納データが暗号化データである場合、再生装置はAVコーデックボックス(avc1)内に設定されたスキーム情報ボックス(sinf)を参照することで、暗号化データの復号に必要となる情報を得ることが可能となる。
図10を参照して、3次元(ステレオ)画像についてのデータ構成情報、すなわち3次元画像詳細情報をスキーム情報ボックス(sinf)に格納する例について説明する。
(a)MP4ファイル400、
(b)AVコーデックボックス(avc1)401、
(c)3次元画像情報スキーム情報ボックス410を含むAVコーデックボックス405、
これらのデータ構成を示している。
図10(c)に示す3次元画像情報スキーム情報ボックス410を含むAVコーデックボックス405は、ボックス名に相当するコード(4CC:four-character-code)をステレオビデオデータに関する情報を含むことを示す[stev]に変更する。すなわち、ボックス名(4CC)から3次元画像情報スキーム情報ボックス410を含むAVコーデックボックス405であることが判別可能となる。なお、ボックス名(4CC)はAVコーデックボックス405のファイル名に対応しており、再生装置は、ファイル名から3次元画像情報スキーム情報ボックスを含むAVコーデックボックスであることを判別できる。
フォーマット情報ボックス(frma)411、
スキームタイプボックス(SchemeTypeBox)412、
スキーム詳細情報ボックス(SchemeInformationBox)413、
これらの各ボックスを有する。
data_format='avc1'
このようなフォーマット情報が記録される。
具体的には、例えば、
(a)フレームシーケンシャル方式[FS]、
(b)サイドバイサイド方式[SbS]、
(c)トップアンドボトム方式[T&B]、
これらの各方式に対応する3次元画像詳細情報が記録される。
また、自装置の実行可能な3次元画像表示処理に応じたデータが記録されているかについても予め知ることが可能となり、自装置において処理可能であると判断された場合にのみ、実データボックス(mdat)104(図1参照)に格納された実データを取得してエンコード等の処理を開始することができ、無駄な処理を実行してしまう事態を避けることが可能となる。
(c)3次元画像情報スキーム情報ボックス410を含むAVコーデックボックス405、
(d)3次元画像情報スキーム情報ボックス410を入れ子として階層化して設定した暗号化情報スキーム情報ボックス420を持つAVコーデックボックス407、
これらのデータ構成を示している。
(c)のデータは、図10(c)のデータと同じ構成を持つAVコーデックボックス405である。
図11に示す例では、これらの個別のデータ構成情報を個別のスキーム情報ボックスとして設定して、これらを階層化して記録する構成としている。
すなわち、図11(d)に示すAVコーデックボックス(encv)407に示すように、
(1)3次元(ステレオ)画像についてのデータ構成情報(3次元画像詳細情報)を格納する第1のスキーム情報ボックス(sinf)410、
(2)暗号化処理についてのデータ構成情報(暗号化態様情報)を格納する第2のスキーム情報ボックス(sinf)420、
これら2つのスキーム情報ボックスを階層化、すなわち入れ子状態に設定してAVコーデックボックスに格納している。
第1のスキーム情報ボックス(sinf)410は、先に図10を参照して説明したと同様のボックス、すなわち、
フォーマット情報ボックス(frma)411、
スキームタイプボックス(SchemeTypeBox)412、
スキーム詳細情報ボックス(SchemeInformationBox)413、
これらの各ボックスを有する。
data_format='avc1'
このようなフォーマット情報が記録される。
すなわち、例えば、
(a)フレームシーケンシャル方式[FS]、
(b)サイドバイサイド方式[SbS]、
(c)トップアンドボトム方式[T&B]、
これらの各方式に対応する3次元画像詳細情報を記録する。
第2のスキーム情報ボックス(sinf)420は、
フォーマット情報ボックス(frma)421、
スキームタイプボックス(SchemeTypeBox)422、
スキーム詳細情報ボックス(SchemeInformationBox)423、
これらの各ボックスを有する。
さらに、フォーマット情報を記録している。この例では、3次元(ステレオ)画像についてのデータ構成情報(3次元画像詳細情報)を格納した第1のスキーム情報ボックス(sinf)410を格納していることを示すフォーマットデータとして、
data_format='stev'
このようなフォーマット情報が記録される。
このようなデータ構成情報記録処理を行うことで、MP4ファイルに格納された実データの再生、表示処理に必要となる全ての情報をAVコーデックボックスから取得することが可能となる。
(1)3次元(ステレオ)画像についてのデータ構成情報(3次元画像詳細情報)を格納する第1のスキーム情報ボックス(sinf)410、
(2)暗号化処理についてのデータ構成情報(暗号化態様情報)を格納する第2のスキーム情報ボックス(sinf)420、
これら2つの異なるデータ構成情報に対応するスキーム情報ボックスを階層化、すなわち入れ子状態に設定してAVコーデックボックスに格納した例である。
次に、本発明の一実施例に係る画像処理装置の実行する画像処理シーケンスについて、図12、図13に示すフローチャートを参照して説明する。
図12は、画像データの記録処理シーケンスを説明するフローチャートである。
図13は、画像データの再生処理シーケンスを説明するフローチャートである。
この図12に示すフローチャートに従った処理は、例えば画像を撮影し記録メディアに記録する処理を実行するカメラ等の撮像装置において実行される。例えば撮像装置に備えられたCPU等の制御部の制御の下で実行される処理である。
図12に示すフローチャートの各ステップの処理について説明する。
ステップS101において、メディアへの記録予定データに3次元画像データが含まれる場合は、ステップS101の判定はYesとなり、ステップS102に進む。
この処理は、先に説明した[[3-1.(1)プロファイルボックス(uuid(PROF))に3次元画像識別情報を記録する実施例(実施例1)]に対応する処理である。すなわち、図2、図3を参照して説明した処理である。
ステレオビデオフラグ(stereo video flag)201、
ミックスステレオビデオフラグ(Mixed stereo video flag)202、
これらの各フラグの値として、記録予定データの種類に応じて図3に示すフラグの値を設定する。
(a)フレームシーケンシャル方式[FS]、
(b)サイドバイサイド方式[SbS]、
(c)トップアンドボトム方式[T&B]、
これらの各方式に対応する。
また、ステップS103の判定が方式Bと判定された場合は、ステップS105に進み、MP4ファイルのAVコーデックボックスに方式Bに対応する3次元画像詳細情報を記録する。
また、ステップS103の判定が方式Cと判定された場合は、ステップS106に進み、MP4ファイルのAVコーデックボックスに方式Cに対応する3次元画像詳細情報を記録する。
すなわち、前述の[3-2.(2)AVコーデックボックス(avc1)に3次元画像詳細情報を記録する実施例(実施例2)]、または、[3-3.(3)AVコーデックボックス(avc1)の拡張構成として規定されるスキーム情報ボックス(sinf)を利用して3次元画像詳細情報を記録する実施例(実施例3)]、これらの処理に対応する。
なお、実施例2の処理または実施例3の処理のいずれかを実行する構成としてもよいし、両者を実行する構成としてもよい。
ステレオビデオフラグ(stereo video flag)201、
ミックスステレオビデオフラグ(Mixed stereo video flag)202、
これらの各フラグの値として、記録予定データが2次元画像データのみであることを示すフラグの値を設定する。その後、ステップS107に進み、MP4ファイルを完成させて、メディアに対する記録処理を実行する。
この図13に示すフローチャートに従った処理は、例えば記録メディアから読み取ったMP4ファイル、あるいは通信データとして受信したMP4ファイルに対する処理を実行する再生装置において実行される。例えば再生装置に備えられたCPU等の制御部の制御の下に実行される処理である。
図13に示すフローチャートの各ステップの処理について説明する。
この処理は、先に説明した[[3-1.(1)プロファイルボックス(uuid(PROF))に3次元画像識別情報を記録する実施例(実施例1)]に対応する処理である。すなわち、図2、図3を参照して説明したMP4ファイルのプロファイルボックス(PROF)の情報を取得する処理である。
ステレオビデオフラグ(stereo video flag)201、
ミックスステレオビデオフラグ(Mixed stereo video flag)202、
これらの各フラグの値を読み取る。
(ケース1)
ステレオビデオフラグ=1、ミックスステレオビデオフラグ=0、
この場合は、
(a)MP4ファイルに格納された画像データが全て3次元画像(ステレオ画像)
であると判定する。
ステレオビデオフラグ=0、ミックスステレオビデオフラグ=0、
この場合は、
(b)MP4ファイルに格納された画像データが全て2次元画像
であると判定する。
ステレオビデオフラグ=0、ミックスステレオビデオフラグ=1、
この場合は、
(c)MP4ファイルに格納された画像データが3次元画像(ステレオ画像)と2次元画像の混在データ
であると判定する。
ステップS203では、MP4ファイルのAVコーデックボックスの情報を取得する。
この処理は、前述の[3-2.(2)AVコーデックボックス(avc1)に3次元画像詳細情報を記録する実施例(実施例2)]、または、[3-3.(3)AVコーデックボックス(avc1)の拡張構成として規定されるスキーム情報ボックス(sinf)を利用して3次元画像詳細情報を記録する実施例(実施例3)]、これらの記録データを読み取る処理に対応する。
(a)フレームシーケンシャル方式[FS]、
(b)サイドバイサイド方式[SbS]、
(c)トップアンドボトム方式[T&B]、
これらのいずれの方式に従ったデータであるかを判別することが可能となる。
方式Bに対応する3次元画像データであると判定した場合は、ステップS206に進み、方式Bに対応する画像のデコード(復号、復元処理)を行い、再生、表示処理を実行する。
方式Cに対応する3次元画像データであると判定した場合は、ステップS207に進み、方式Cに対応する画像のデコード(復号、復元処理)を行い、再生、表示処理を実行する。
従って、MP4ファイルの実データを取得して解析、あるいは再生処理を実行する前に、自装置の再生可能な3次元画像データであるか否かを確認することが可能となり、再生可能であると判定した場合にのみ実データを取得し、方式に応じた処理に従って、正しいデコード、再生処理を実行することが可能となる。
次に、本発明の画像処理装置の構成例について図14を参照して説明する。図14に示すのは本発明の画像処理装置の一実施例としての撮像装置500の構成例である。撮像装置500は、3次元画像表示に適用する異なる視点からの画像を撮影する機能を持ち、ユーザのモード設定により、2次元画像と3次元画像の撮影を切り替え可能な構成を持つ。
データ符号化部503は、MP4ファイルを生成する。入力データが3次元画像である場合は、前処理部511において各方式に従って前処理を実行する。具体的には、例えば図5~図7を参照して説明した各方式、すなわち、
(a)フレームシーケンシャル方式[FS]、
(b)サイドバイサイド方式[SbS]、
(c)トップアンドボトム方式[T&B]、
これらの各方式に従って、撮影画像からMP4デコード用画像を生成する。例えば、図6に示すサイドバイサイド方式[SbS]に従って記録データを生成する場合、撮影画像は図6の右側に示す表示用L画像(フレーム0)334と、表示用R画像(フレーム1)335に対応する2つの画像であり、これらの画像を適用して図6の左側に示すMP4デコード結果画像331に対応する画像フレームを生成する。
ファイル生成部513は、MP4ファイル生成に際して、ファイルに格納する画像データに3次元画像データが含まれるか否かを示す3次元画像識別情報をMP4ファイルのプロファイルボックスに記録する。
3次元画像識別情報をMP4ファイルのプロファイルボックスに記録する処理は先に実施例1を参照して説明した処理に対応する。
3次元画像詳細情報をAVコーデックボックスに記録する処理は先に実施例2,3を参照して説明した処理に対応する。
なお、ファイル生成部513は、MP4ファイルに格納する画像データの区分データであるトラック単位またはサンプル単位の区分データ単位で3次元画像詳細情報を記録する処理を行う
あるいは、データ符号化部503において生成したMP4ファイルは、通信部505に提供され、パケット化されて送信処理が行われる。
(a)フレームシーケンシャル方式[FS]、
(b)サイドバイサイド方式[SbS]、
(c)トップアンドボトム方式[T&B]、
これらの各方式に従って、左目用画像(L画像)、右目用画像(R画像)をせいせいする。
データ復号部507の生成した表示用画像は表示部550に提供されて、画像表示が行われる。
101 ファイルタイプボックス(ftyp)
102 プロファイルボックス(uuid(PROF))
103 ムービーボックス(moov)
104 実データボックス(mdat)
111 トラックボックス(trak)
112 サンプルディスクリプションボックス(stsd)
113 AVコーデックボックス
201 ステレオビデオフラグ(stereo video flag)
202 ミックスステレオビデオフラグ(Mixed stereo video flag)
301 データ領域
302 ステレオビデオ情報ボックス(Stereo Video Description Box)
321 デコード画像フレーム
322 表示画像フレーム
331 MP4デコード結果画像
332 アンパックL画像(フレーム0)
333 アンパックR画像(フレーム1)
334 表示用L画像(フレーム0)
335 表示用R画像(フレーム1)
341 MP4デコード結果画像
342 アンパックL画像(フレーム0)
343 アンパックR画像(フレーム1)
344 表示用L画像(フレーム0)
345 表示用R画像(フレーム1)
400 MP4ファイル
401 AVコーデックボックス(avc1)
402 AVCデータ構成情報ボックス[AVCConfigurationBox]
405 AVコーデックボックス
407 AVコーデックボックス(encv)
410 3次元画像情報スキーム情報ボックス
411 フォーマット情報ボックス(frma)
412 スキームタイプボックス(SchemeTypeBox)
413 スキーム詳細情報ボックス(SchemeInformationBox)
420 暗号化情報スキーム情報ボックス
421 フォーマット情報ボックス(frma)
422 スキームタイプボックス(SchemeTypeBox)
423 スキーム詳細情報ボックス(SchemeInformationBox)
500 撮像装置
501 撮像部
502 画像信号処理部
503 データ符号化部
504 記録部
505 通信部
506 再生部
507 データ復号部
511 前処理部
512 エンコード部
513 ファイル生成部
521 ファイル解析部
522 デコード部
523 表示情報生成部
530 記録メディア
550 表示部
570 制御部
571 メモリ
Claims (19)
- 画像データの符号化処理を実行するエンコード部と、
前記エンコード部の生成した符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを生成するファイル生成部を有し、
前記ファイル生成部は、
ファイルに格納する画像データに3次元画像データが含まれるか否かを示す3次元画像識別情報を前記管理情報に記録したファイルの生成処理を行う画像処理装置。 - 前記ファイル生成部は、
(a)ファイルに格納する画像データが3次元画像データのみからなるか、
(b)ファイルに格納する画像データが2次元画像データのみからなるか、
(c)ファイルに格納する画像データが3次元画像データと2次元画像データの混在データであるか、
上記(a)~(c)のいずれであるかを識別可能とした3次元画像識別情報を前記管理情報に記録したファイルを生成する請求項1に記載の画像処理装置。 - 前記ファイル生成部は、
MP4ファイルの生成を実行する構成であり、MP4ファイルのプロファイルボックスに前記3次元画像識別情報を記録したファイルを生成する請求項1または2に記載の画像処理装置。 - 前記ファイル生成部は、
前記ファイル格納画像データに3次元画像データが含まれる場合、3次元画像の方式を判別可能とする3次元画像詳細情報を前記管理情報に含めたファイルを生成する請求項1~3いずれかに記載の画像処理装置。 - 前記ファイル生成部は、
前記3次元画像詳細情報として、前記ファイル格納画像データが、
(a)フレームシーケンシャル方式、
(b)サイドバイサイド方式、
(c)トップアンドボトム方式、
上記(a)~(c)のいずれの方式に従った3次元画像データかを判別する情報を記録する請求項4に記載の画像処理装置。 - 前記ファイル生成部は、
MP4ファイルの生成を実行する構成であり、MP4ファイルのAVコーデックボックスに前記3次元画像詳細情報を記録したファイルを生成する請求項4または5に記載の画像処理装置。 - 前記ファイル生成部は、
MP4ファイルのAVコーデックボックスの下位に3次元画像詳細情報を記録したスキーム情報ボックスを設定したファイルを生成する請求項6に記載の画像処理装置。 - 前記ファイル生成部は、
MP4ファイルのAVコーデックボックスの下位に3次元画像詳細情報を記録した第1のスキーム情報ボックスと、
MP4ファイルに格納する画像データに対応するデータ構成情報であり、3次元画像詳細情報と異なるデータ構成情報を記録した第2のスキーム情報ボックスとを階層化して記録したファイルを生成する請求項7に記載の画像処理装置。 - 前記ファイル生成部は、
MP4ファイルに格納する画像データの区分データであるトラック単位またはサンプル単位の区分データ単位で前記3次元画像詳細情報を記録する処理を行う請求項6~8いずれかに記載の画像処理装置。 - 画像データの符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを解析するファイル解析部と、
画像データの復号処理を実行するデコード部と、
データ処理制御を実行する制御部を有し、
前記ファイル解析部は、前記管理情報内に記録された3次元画像管理情報を取得し、
前記制御部は、前記3次元画像管理情報を適用して自装置における再生可能性を判定し、再生可能と判定した後に前記デコード部における画像データの復号処理を開始させる制御を行う画像処理装置。 - 前記符号化データ格納ファイルはMP4ファイルであり、
前記ファイル解析部は、MP4ファイルのプロファイルボックスに記録された3次元画像管理情報を取得し、
(a)ファイルに格納された画像データが3次元画像データのみからなるか、
(b)ファイルに格納された画像データが2次元画像データのみからなるか、
(c)ファイルに格納された画像データが3次元画像データと2次元画像データの混在データであるか、
上記(a)~(c)のいずれであるかを識別する請求項10に記載の画像処理装置。 - 前記符号化データ格納ファイルはMP4ファイルであり、
前記ファイル解析部は、
MP4ファイルのAVコーデックボックスに記録された3次元画像管理情報を取得し、前記ファイル格納画像データに含まれる3次元画像データの記録方式の判別処理を行う請求項10または11に記載の画像処理装置。 - 前記ファイル解析部は、
MP4ファイルのAVコーデックボックスに記録された3次元画像管理情報を取得し、前記ファイル格納画像データに含まれる3次元画像データの方式を判別する請求項12に記載の画像処理装置。 - 前記ファイル解析部は、
MP4ファイルのAVコーデックボックスに記録された3次元画像管理情報を取得し、前記ファイル格納画像データに含まれる3次元画像データが、
(a)フレームシーケンシャル方式、
(b)サイドバイサイド方式、
(c)トップアンドボトム方式、
上記(a)~(c)のいずれの方式に従った3次元画像データかを判別する請求項13に記載の画像処理装置。 - 画像データの符号化データと、該符号化データの管理情報を含むMP4ファイルを記録した情報記録媒体であり、
前記管理情報は、前記画像データに3次元画像データが含まれるか否かを示す3次元画像管理情報を含み、
MP4ファイルを読み取り再生する装置において、前記3次元画像管理情報を参照して自装置における再生可能性を判定可能としたことを特徴とする情報記録媒体。 - 画像処理装置において実行する画像処理方法であり、
エンコード部が、画像データの符号化処理を実行するエンコード処理ステップと、
ファイル生成部が、前記エンコード部の生成した符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを生成するファイル生成ステップを有し、
前記ファイル生成ステップは、
ファイルに格納する画像データに3次元画像データが含まれるか否かを示す3次元画像識別情報を前記管理情報に記録したファイルの生成処理を行う画像処理方法。 - 画像処理装置において実行する画像処理方法であり、
ファイル解析部が、画像データの符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを解析し、前記管理情報内に記録された3次元画像管理情報を取得するファイル解析ステップと、
制御部が、前記3次元画像管理情報を適用して自装置における再生可能性を判定し、再生可能と判定した後にデコード部における画像データの復号処理を開始させる制御を行う制御ステップを実行する画像処理方法。 - 画像処理装置において画像処理を実行させるプログラムであり、
エンコード部に、画像データの符号化処理を実行させるエンコード処理ステップと、
ファイル生成部に、前記エンコード部の生成した符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを生成させるファイル生成ステップを実行させ、
前記ファイル生成ステップは、
ファイルに格納する画像データに3次元画像データが含まれるか否かを示す3次元画像識別情報を前記管理情報に記録したファイルの生成処理を行わせるステップであるプログラム。 - 画像処理装置において画像処理を実行させるプログラムであり、
ファイル解析部に、画像データの符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを解析し、前記管理情報内に記録された3次元画像管理情報を取得させるファイル解析ステップと、
制御部に、前記3次元画像管理情報を適用して自装置における再生可能性を判定させ、再生可能と判定した後にデコード部における画像データの復号処理を開始させる制御ステップを実行させるプログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/519,851 US20120288208A1 (en) | 2010-01-08 | 2010-11-11 | Image processing device, information recording medium, image processing method, and program |
RU2012127413/08A RU2012127413A (ru) | 2010-01-08 | 2010-11-11 | Устройство обработки изображений, носитель информации, способ обработки изображений и программа |
BR112012016307A BR112012016307A2 (pt) | 2010-01-08 | 2010-11-11 | dispositivo e método de processamento de imagem, mídia de gravação de informação, e, programa |
EP10842140A EP2523460A1 (en) | 2010-01-08 | 2010-11-11 | Image processing device, information recording medium, image processing medium, and program |
CN2010800633165A CN102754444A (zh) | 2010-01-08 | 2010-11-11 | 图像处理装置、信息记录介质、图像处理方法和程序 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010-003274 | 2010-01-08 | ||
JP2010003274A JP2011142585A (ja) | 2010-01-08 | 2010-01-08 | 画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2011083625A1 true WO2011083625A1 (ja) | 2011-07-14 |
Family
ID=44305365
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2010/070104 WO2011083625A1 (ja) | 2010-01-08 | 2010-11-11 | 画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム |
Country Status (7)
Country | Link |
---|---|
US (1) | US20120288208A1 (ja) |
EP (1) | EP2523460A1 (ja) |
JP (1) | JP2011142585A (ja) |
CN (1) | CN102754444A (ja) |
BR (1) | BR112012016307A2 (ja) |
RU (1) | RU2012127413A (ja) |
WO (1) | WO2011083625A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013174181A1 (zh) * | 2012-05-19 | 2013-11-28 | 腾讯科技(深圳)有限公司 | 3d视频源存储方法和装置及3d视频播放方法和装置 |
US10741211B2 (en) | 2014-12-22 | 2020-08-11 | Sony Corporation | Information processing device, information recording medium, and information processing method |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2904424C (en) * | 2013-07-19 | 2018-05-22 | Mediatek Inc. | Method and apparatus of camera parameter signaling in 3d video coding |
JP6576122B2 (ja) * | 2015-06-29 | 2019-09-18 | キヤノン株式会社 | データ記録装置およびその制御方法、撮像装置 |
CN107872716B (zh) * | 2016-09-23 | 2019-12-06 | 杭州海康威视数字技术股份有限公司 | 一种后置封装的流式数据解析方法、装置及电子设备 |
CN107979783B (zh) * | 2016-10-25 | 2020-03-24 | 杭州海康威视数字技术股份有限公司 | 一种流式数据解析方法、装置及电子设备 |
US10951871B2 (en) * | 2016-12-28 | 2021-03-16 | Sony Corporation | Generation device, identification information generation method, reproduction device, and image reproduction related to stereo packing of projected frames |
US10536721B2 (en) * | 2017-01-09 | 2020-01-14 | Qualcomm Incorporated | Restricted scheme design for video |
US11849249B2 (en) * | 2019-03-28 | 2023-12-19 | Sony Group Corporation | File generation device, file generation method, file reproduction device, file reproduction method, and program |
JP7239732B2 (ja) | 2019-04-02 | 2023-03-14 | 北京字節跳動網絡技術有限公司 | 双方向オプティカルフローに基づく映像符号化及び復号化 |
CN113728630B (zh) * | 2019-04-19 | 2023-11-17 | 北京字节跳动网络技术有限公司 | 不同运动矢量细化中的基于区域的梯度计算 |
CN113711609B (zh) | 2019-04-19 | 2023-12-01 | 北京字节跳动网络技术有限公司 | 利用光流的预测细化过程中的增量运动矢量 |
CN110781037B (zh) * | 2020-01-02 | 2020-04-17 | 成都易我科技开发有限责任公司 | 恢复存储介质中视频文件的方法、系统及可读存储介质 |
CN114007112B (zh) * | 2021-11-30 | 2023-06-02 | 四川效率源信息安全技术股份有限公司 | 一种针对MP4视频文件中mdat box数据错误的修复方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004295091A (ja) * | 2003-03-07 | 2004-10-21 | Matsushita Electric Ind Co Ltd | 暗号化装置、逆暗号化装置およびデータ再生装置 |
JP2008022532A (ja) * | 2006-06-16 | 2008-01-31 | Casio Comput Co Ltd | 動画符号化装置および動画符号化方法と、動画復号化装置および動画復号化方法と、動画記録装置 |
WO2008054100A1 (en) * | 2006-11-01 | 2008-05-08 | Electronics And Telecommunications Research Institute | Method and apparatus for decoding metadata used for playing stereoscopic contents |
WO2009048216A1 (en) * | 2007-10-10 | 2009-04-16 | Electronics And Telecommunications Research Institute | Metadata structure for storing and playing stereoscopic data, and method for storing stereoscopic content file using this metadata |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100828358B1 (ko) * | 2005-06-14 | 2008-05-08 | 삼성전자주식회사 | 영상 디스플레이 모드 전환 방법, 장치, 및 그 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체 |
JP4755565B2 (ja) * | 2006-10-17 | 2011-08-24 | シャープ株式会社 | 立体画像処理装置 |
US20080252719A1 (en) * | 2007-04-13 | 2008-10-16 | Samsung Electronics Co., Ltd. | Apparatus, method, and system for generating stereo-scopic image file based on media standards |
KR101450670B1 (ko) * | 2007-06-11 | 2014-10-15 | 삼성전자 주식회사 | 블록 기반의 양안식 영상 포맷 생성 방법과 장치 및 양안식영상 복원 방법과 장치 |
KR101388265B1 (ko) * | 2007-06-11 | 2014-04-22 | 삼성전자주식회사 | 2d 영상 미디어 표준을 기반으로 3d 입체영상 파일을생성 및 재생하기 위한 시스템 및 방법 |
KR101257386B1 (ko) * | 2007-10-08 | 2013-04-23 | 에스케이플래닛 주식회사 | 통합 멀티미디어 파일 구조를 이용한 3d 멀티미디어콘텐츠 서비스 시스템 및 방법 |
CN102804785A (zh) * | 2009-04-13 | 2012-11-28 | 瑞尔D股份有限公司 | 编码、解码和发布增强分辨率的立体视频 |
US9131279B2 (en) * | 2009-08-06 | 2015-09-08 | Qualcomm Incorporated | Preparing video data in accordance with a wireless display protocol |
US8665968B2 (en) * | 2009-09-30 | 2014-03-04 | Broadcom Corporation | Method and system for 3D video coding using SVC spatial scalability |
JP5577823B2 (ja) * | 2010-04-27 | 2014-08-27 | ソニー株式会社 | 送信装置、送信方法、受信装置および受信方法 |
US8483271B2 (en) * | 2010-05-06 | 2013-07-09 | Broadcom Corporation | Method and system for 3D video pre-processing and post-processing |
-
2010
- 2010-01-08 JP JP2010003274A patent/JP2011142585A/ja active Pending
- 2010-11-11 CN CN2010800633165A patent/CN102754444A/zh active Pending
- 2010-11-11 US US13/519,851 patent/US20120288208A1/en not_active Abandoned
- 2010-11-11 RU RU2012127413/08A patent/RU2012127413A/ru unknown
- 2010-11-11 BR BR112012016307A patent/BR112012016307A2/pt not_active IP Right Cessation
- 2010-11-11 EP EP10842140A patent/EP2523460A1/en not_active Withdrawn
- 2010-11-11 WO PCT/JP2010/070104 patent/WO2011083625A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004295091A (ja) * | 2003-03-07 | 2004-10-21 | Matsushita Electric Ind Co Ltd | 暗号化装置、逆暗号化装置およびデータ再生装置 |
JP2008022532A (ja) * | 2006-06-16 | 2008-01-31 | Casio Comput Co Ltd | 動画符号化装置および動画符号化方法と、動画復号化装置および動画復号化方法と、動画記録装置 |
WO2008054100A1 (en) * | 2006-11-01 | 2008-05-08 | Electronics And Telecommunications Research Institute | Method and apparatus for decoding metadata used for playing stereoscopic contents |
WO2009048216A1 (en) * | 2007-10-10 | 2009-04-16 | Electronics And Telecommunications Research Institute | Metadata structure for storing and playing stereoscopic data, and method for storing stereoscopic content file using this metadata |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013174181A1 (zh) * | 2012-05-19 | 2013-11-28 | 腾讯科技(深圳)有限公司 | 3d视频源存储方法和装置及3d视频播放方法和装置 |
US10741211B2 (en) | 2014-12-22 | 2020-08-11 | Sony Corporation | Information processing device, information recording medium, and information processing method |
Also Published As
Publication number | Publication date |
---|---|
JP2011142585A (ja) | 2011-07-21 |
CN102754444A (zh) | 2012-10-24 |
BR112012016307A2 (pt) | 2017-03-21 |
US20120288208A1 (en) | 2012-11-15 |
RU2012127413A (ru) | 2014-01-10 |
EP2523460A1 (en) | 2012-11-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2011083626A1 (ja) | 画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム | |
WO2011083625A1 (ja) | 画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム | |
US8259162B2 (en) | Method and apparatus for generating stereoscopic image data stream for temporally partial three-dimensional (3D) data, and method and apparatus for displaying temporally partial 3D data of stereoscopic image | |
US20230421794A1 (en) | Description of image composition with hevc still image file format | |
CN102047668B (zh) | 通过使用照相机参数产生立体图像数据流的方法和设备以及通过使用照相机参数恢复立体图像的方法和设备 | |
US8400497B2 (en) | Method and apparatus for generating stereoscopic file | |
TWI727180B (zh) | 用於傳輸媒體內容之方法、裝置及電腦程式 | |
US8878836B2 (en) | Method and apparatus for encoding datastream including additional information on multiview image and method and apparatus for decoding datastream by using the same | |
JP5483205B2 (ja) | メディアデータフィールドと前記メディアデータヘッダーとを分析してビデオを生成するための装置、方法及び記録媒体 | |
US9007434B2 (en) | Entry points for 3D trickplay | |
WO2003092304A1 (en) | Image data creation device, image data reproduction device, and image data recording medium | |
US20090199100A1 (en) | Apparatus and method for generating and displaying media files | |
JP5158727B2 (ja) | 2d映像及び3d立体映像を含む映像ファイルの生成及び再生を行うためのコンピュータ読み取り可能な記録媒体及び方法並びに装置 | |
KR101591085B1 (ko) | 영상 파일 생성 및 재생 장치 및 방법 | |
KR101390810B1 (ko) | 로컬 3차원 영상을 재생하기 위한 파라미터를 포함하는영상 데이터스트림을 수신하는 방법 및 장치, 그리고 로컬3차원 영상을 재생하기 위한 파라미터를 포함하는 영상데이터스트림을 생성하는 방법 및 장치 | |
KR101396350B1 (ko) | 다시점 영상 데이터스트림 생성 방법 및 장치와 다시점영상 데이터스트림 복호화 방법 및 장치 | |
JP2010028456A (ja) | データ構造、再生装置および方法、並びにプログラム | |
KR101630720B1 (ko) | 3d 비디오 소스 저장 방법 및 장치와 3d 비디오 재생 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WWE | Wipo information: entry into national phase |
Ref document number: 201080063316.5 Country of ref document: CN |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 10842140 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 13519851 Country of ref document: US Ref document number: 2010842140 Country of ref document: EP |
|
WWE | Wipo information: entry into national phase |
Ref document number: 5807/DELNP/2012 Country of ref document: IN Ref document number: 2012127413 Country of ref document: RU |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
REG | Reference to national code |
Ref country code: BR Ref legal event code: B01A Ref document number: 112012016307 Country of ref document: BR |
|
ENP | Entry into the national phase |
Ref document number: 112012016307 Country of ref document: BR Kind code of ref document: A2 Effective date: 20120629 |