JP5300258B2 - 3次元ライトフィールドを取得、符号化、復号、表示するための方法およびシステム - Google Patents
3次元ライトフィールドを取得、符号化、復号、表示するための方法およびシステム Download PDFInfo
- Publication number
- JP5300258B2 JP5300258B2 JP2007324982A JP2007324982A JP5300258B2 JP 5300258 B2 JP5300258 B2 JP 5300258B2 JP 2007324982 A JP2007324982 A JP 2007324982A JP 2007324982 A JP2007324982 A JP 2007324982A JP 5300258 B2 JP5300258 B2 JP 5300258B2
- Authority
- JP
- Japan
- Prior art keywords
- light field
- display
- generate
- view
- decoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/005—Aspects relating to the "3D+depth" image format
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
この出願は、Matusik他により2006年4月4日に出願された、「3次元ライトフィールドを取得、表示するための方法およびシステム」という名称の米国特許出願第11/397,227号の一部継続である。
放送および映画産業における写真家、ビデオ撮影家、および専門家は3次元画像を記録するのに必要とされる複雑なセットアップ(構成装備)になじみがない。現在、従来の2次元テレビに対して有るような、マルチカメラパラメータ、配置、および制作後の処理に対するガイドライン(指針)もスタンダード(標準)も無い。
再構成フィルタを広い開口フィルタにより改善することができる。これにより、焦点面上でシャープネス(鮮明度)を犠牲にすることなく、より大きな被写界深度で3次元画像を生成することができる。
この発明は、テレビおよびデジタルエンターテインメントに対して使用できる3次元ディスプレイ(表示)システムおよび方法を提供する。そのような表示システムは、高品質のライトフィールドデータを必要とする。カメラアレイを使用して入力ライトフィールドを取得し、離散的自動多視点ディスプレイ上に出力ライトフィールドをレンダリングする。しかし、ほとんどいつも、取得装置とディスプレイ装置とは、異なるサンプリングパターンを有する。
図1は、この発明の実施の形態1によるライトフィールド取得システム100を示している。複数のカメラ115は、シーン110の一連のイメージ101、たとえば、ビデオ(映像)、を取得する。それらのカメラは、水平な線形アレイとして配置され得る。好ましくは、カメラは互いに同期を取られている。入力画像系列は、この発明の方法105により処理される。その処理は、一連の出力画像102を生成するために、再構成、再サンプリング、プリ(前置)フィルタリング、およびサンプリングの各工程を含む。そして、出力画像が、複数のプロジェクタ125により自動多視点表示装置120に表示される。また、それらのプロジェクタは、互いに同期され、且つ水平な線形アレイとして配置されうる。表示装置120は、プロジェクタとビューイングゾーン(視聴域)130とに対面する側で、上下方向に指向されたレンズ状スクリーン122の上に設けられたパララックスバリア121を含む。
図1Bに示されているように、本方法105は3つの工程で進む。一般に、我々は信号およびフィルタを周波数ドメイン(領域)で表す。まず最初に、連続信号152が入力画像101から再構成150される。我々は公知の再構成フィルタを適用する。次に、我々は、信号を表示座標へ再パラメータ化160して、再パラメータ化されたライトフィールド161を生成する。その後、最後の工程170では、信号は、ディスプレイ(表示)ピクセル格子のナイキスト限界に適合させるために、プレ(前置)フィルタにかけられて、出力画像として表示ピクセル格子に抽出される。
図2は、マルチビューオートマルティスコーピック(多視点自動立体)表示装置120に対するパラメータ化を示している。このパラメータ化は、あらゆる配置場所と方向に対してビューイングゾーン130でライトアレイ(光配列)を再生させることを試みる。
我々は2つの平面の交差部で光線をパラメータ化する。表示装置120に対して、我々は、パララックスバリア面121をt座標として、および高解像スクリーン122をv座標として使用する。尚、光線のv座標はt平面との交差部に対すものである。スクリーン122のピクセル間隔はΔv、バリア121の空隙の間隔はΔt、スクリーンとバリアの間の分離はfであり、また、深度は、一般的に、zで示される。
図4に示されているように、図3のサンプリング格子はディスプレイで表すことができるバンド幅に厳しい限界値を課す。これはナイキスト限界として知られている。私たちは、角度的および空間的な周波数をφ およびθ」で表し、サンプル間隔をΔvおよびΔtで表す。
そして、表示バンド幅Hは次式(1)で与えられる。
ディスプレイの被写界深度は、φおよびθ軸の任意の相対的なスケーリングを有する、四角形状のバンド幅の対角線により与えられる。我々は、通常、空間的方向(θ軸)において、角度的方向(φ軸)におけるよりも2桁大きな、それら2軸の相対的な分解能を反映するスケーリング(尺度)を選択した。
連続信号をサンプリングするとき、エイリアシングを避けるために、信号をバンド制限する必要がある。式1から、これが、3次元ディスプレイに対して、四角形状の表示バンド幅の外側の入力の全ての部分を捨てる表示プレフィルタHのスペクトルに入力スペクトルを掛けるという簡単な事柄であることが分かる(図4の右を参照)。尚、このプレフィルタは、表示格子によるエイリアシングだけを扱い、ライトフィールド取得の間に起こり得るエイリアシングを考慮しないことに注意すべきである。
以上で、自動多視点ディスプレイのバンド幅を分析し、エイリアシングを避けるために連続入力信号をどのようにプレフィルタリングする必要があるかについて分析した。しかし、実際には、ライトフィールドはサンプル信号として表わされ、通常、それらサンプル信号は、カメラアレイを使用して取得される。サンプリングされたライトフィールドを自動多視点ディスプレイ上に示すために、入力ライトフィールドのサンプル101が、そのディスプレイのサンプル102すなわちピクセルにマップされる必要がある。
我々の結合された再サンプリングフィルタを導き出す前に、我々は、入力ライトフィールドおよび3次元ディスプレイに対する共通のパラメータ化を確立する必要がある。我々は、以後の説明を、ライトフィールドパラメータ化がディスプレイに平行である最も一般的な場合に制限する。
自動多視点ディスプレイは、通常、高い空間分解能、たとえば1走査線当たり数百のマルチビュー(多視点)ピクセル、および低い角度分解能、たとえば、約10の視点依存サブピクセル、を有する。対照的に、取得されたライトフィールドは、低い空間分解能、たとえば数十のカメラ、および高い角度分解能、たとえば1走査線当たり数百のピクセル、を有する。
図6は、再サンプリング方法をさらに詳細に示す。左側が入力パラメータ化であり、右側が出力パラメータ化であり、下側が取得空間から表示空間までの再パラメータ化である。図6は、象徴的に入力スペクトル611、レプリカ612、およびフィルタ613を示している。
式(2)を使用して、我々は、次式(4)により、再構成されたライトフィールド152をディスプレイ座標161へ再パラメータ化160する。
上述したような、入力ライトフィールドと出力ライトフィールドとの関係は、ディスプレイが均等にスケーリングされたシーンに対するバーチャル(仮想)ウィンドウとして働くことを含意する。ディスプレイは、異なった、通常はより小さな、スケール(縮尺)でシーンのライトフィールドを再生させる。しかし、これを実現するのは、しばしば、望ましくないし、実際に可能でもない。
図7に示されるように、取得の間にカメラベースラインtin701を変更することは、表示された構成を変換することに対応する。図7では、実線は取得ジオメトリを示しており、また点線はディスプレイしジオメトリを示している。
実際的な適用では、ユーザは、シーンにおける所与の深度範囲がディスプレイの被写界深度にマッピングされて、シャープ(鮮明)に見えることが保証されることを望んでいる。限定された深度範囲内のシーン要素のバンド幅が2つのスペクトル線で制限されていることを想起すべきである。さらに、ディスプレイの被写界深度は、四角形状のバンド幅の対角線により与えられる。式(9)の2つのフリー(自由)パラメータ、カメラベースラインをスケーリング(拡大、縮小)するためのs、およびシーンに対してディスプレイのゼロ視差平面を位置決めするためのfin、を使用して、我々はこれらの2組の線を配列して、期待される効果を発揮するマッピングを決定する。
3次元ディスプレイ上に示されるライトフィールドのスペクトルとエイリアシングは、カメラの数、それらの間隔、それらの開口、シーン深度範囲、およびディスプレイ解像度等の多くの取得パラメータ(取得パラメータ化)およびディスプレイパラメータ(ディスプレイパラメータ化)に依存する。3次元映写技師の決定は、芸術的な選択、物理的制約、および取得バンド幅とディスプレイバンド幅との最適利用の願望、の組合せによって行われる。したがって、我々は、これらの要素がどのように相互作用して、3次元ディスプレイに対する最終的なスペクトルおよびエイリアシングにどのように影響を及ぼすかを分析する。
上述したチャイ外は、理想化されたピンホールカメラで取得されたライトフィールドのスペクトルについて述べた。ここで、我々は、現実のカメラの有限開口がピンホールライトフィールドのスペクトルにバンド(帯域)制限効果を持つことを示す。我々の導出は、図2、3、5および7に示したものと若干異なるパラメータ化に基づいている。
実際的応用では、利用可能なカメラの数は制限される。また、カメラの配置も制約されうる。したがって、制限され且つ制約された資源に対する最適な装置構成を決定することが望まれる。我々の再サンプリング技術で、セットアップを推測することができる。我々は、取得パラメータを考慮して、再サンプリングフィルタの最適な「形状」を決定し、ディスプレイバンド幅に対するその再サンプリングフィルタのバンド幅を分析することができる。
再構成工程150および再パラメータ化工程160に代わるものとして、サンプリングされた入力ライトフィールド101から再パラメータ化されたライトフィールド161を決定するために、ビュー補間を使用することもできる。深度マップが利用可能であれば、再投影を使用して、たとえば、ブーラ(Buehler)外の非構造化ルミグラフレンダリングプロセス、「Unstructured Lumigraph Rendering」、 Proceedings of ACM SIGGRAPH, pp. 425−432, Aug. 2001、(本明細書中に引用により援用される)を使用して、ビュー補間を実現することができる。
そのエンコーダ901の出力は圧縮されたビットストリーム902である。その圧縮されたビットストリームは、後で再生するために、コンピュータで読取り可能な媒体910に保管(記憶)されたり、或いは、以下に詳述するように、スケーラブルなマルチビュービデオデコーダ1001に伝送されることができる。
圧縮前にディスプレイ装置のパラメータにアクセスする手段を持っていない、コンシューマブロードキャスト(消費者放送)およびビデオ会議アプリケーション等のアプリケーションに対して、圧縮フォーマットは、様々なデコーディング(復号化)およびディスプレイ能力に適応するように設計される。そのようなシステムでは、圧縮フォーマットがデコーディング(復号化)リソースを最小にすることを可能にすることが重要である。
効率的な圧縮を行うことは、良い予測子を持つことに依存する。
時間的に隣接する画像間の相関関係はしばしば非常に強いが、空間的に隣接する画像を含むことは幾つかの利点を提供する。たとえば、速い物体動きの間、すなわち互いに隣接するビューに同時に既に存在する複数の物体が1つのビューに現れるとき、空間的に隣接する画像はシーンの非遮蔽領域で有用な予測子である。一例の予測構造が図11に示されており、そこでは、概ね水平な実線が時間的予測と依存関係を示し、概ね垂直な点線が空間的予測と依存関係を示す。8つの時刻(t0−t7)に、5つのビュー(v0−v4)がある。尚、ビューは水平な時間次元で時間的に隣接しており、且つ垂直なビュー(視野)次元で空間的に隣接している。
上述したように、各ビューの空間分解能は入力信号のスペクトルに影響する。入力スペクトルのレプリカの最もタイトなパッキングを見い出すことによって、非中心レプリカのいずれもがディスプレイプレフィルタと重なり合わないように、最小のサンプリングレートを導き出す。復号されるべきビューの数が前述のように決められ、カメラ開口等の取得パラメータ(取得パラメータ化)が固定されるならば、唯一の残りの自由度は空間分解能である。
このようにして、高解像ビデオを完全に復号して、そのビデオをディスプレイの分解能にサンプリングする必要性は避けられる。その結果、スケーラブルなマルチビュービデオデコーダ1001は、ディスプレイパラメータ903で示したディスプレイ分解能を超えてマルチ−ビュービデオの復号化をサポートする必要が無く、また、デコーダは必要なメモリおよび処理を最小にすることができる。
オーバサンプリング率は2つの空間的に隣接するビュー間の最大視差に依存する。最大視差を得る1つの方法は、復号されたライトフィールド1003に基づいて、受信システム1000における視差を決定することである。これは、相当の複雑さを要求するので、リアルタイム受信器の実装のための好ましい解決策ではない。
図12は、この発明の実施の形態1によるライトフィールド取得システム1200を示している。複数のカメラ115は、シーン110のサンプリングされたライトフィールド、すなわち一連のビデオの画像、を取得する。それらのカメラは、水平な線形アレイとして配置され得る。好ましくは、カメラは互いに同期を取られている。シーン表示1202は、サンプリングされた入力ライトフィールド101と深度マップ1201とを含む。深度マップは、当該分野で知られているように、特殊カメラ或いは取得ハードウェアにより、またはサンプリングされた入力ライトフィールド101で計算により、取得できる。深度マップビットストリームを生成するために、深度マップを符号化できる。
この発明は、3次元ディスプレイ装置に対して、ライトフィールドをサンプリングしてエイリアス化するための方法およびシステムを提供する。この方法は、問題を信号処理方法で処理できるようにする光線空間分析に基づいている。この発明は、3次元ディスプレイのバンド幅を決定し、浅い被写界深度の挙動について説明し、線形フィルタリング光線空間によりアンチエイリアシングを実現することができることを示した。この発明は、3次元ディスプレイ上でエイリアス化せずに、制限された分解能で取得された高品質のシーンをレンダリングすることを可能にする再サンプリングアルゴリズムを提供する。
Claims (16)
- 3次元ライトフィールドを取得、符号化、復号、表示するための方法であって、
入力ライトフィールドの入力サンプルを補間して再パラメータ化されたライトフィールドを生成する工程であって、前記入力サンプルが複数のカメラによって取得された3次元シーンの異なるビューであり、前記補間が取得パラメータ化および表示パラメータ化によって行われる工程と、
前記再パラメータ化されたライトフィールドに対して、光線空間での直線的な操作であるプレフィルタリングを行い、プレフィルタリングされたライトフィールドを生成する工程と、
前記プレフィルタリングされたライトフィールドをサンプリングして、3次元表示装置上に出力ライトフィールドとして表示するための、前記表示パラメータ化を有する出力サンプルを生成する工程と、
前記出力ライトフィールドを符号化して、圧縮されたスケーラブルなビットストリームを生成する工程と、
前記表示パラメータ化により、デコーダの前記スケーラブルなビットストリームを復号して、復号されたライトフィールドを生成する工程と、
前記表示パラメータ化により前記復号ライトフィールドを再サンプリングして、前記3次元表示装置に対する、サンプリングされたライトフィールドを生成する工程と、
前記復号化の間、前記圧縮されたビットストリームの、目標空間分解能より高い空間分解能に対応する部分を捨てる工程と、
を備え、
前記スケーラブルなビットストリームを復号するスケーラブルなデコーダは、目標ビュー、および前記復号されたライトフィールドの各目標ビューに対する目標空間分解能を決定し、
前記目標ビューは時間的な依存関係および空間的な依存関係を有し、
前記補間は前記シーンについて取得された深度マップを使用して前記3次元シーンの追加のビューを生成し、前記深度マップは、前記プレフィルタリングされたライトフィールドを生成する工程でのビュー補間のために使用され、
前記サンプリングは、オーバサンプリングされたライトフィールドにおけるインターパースペクティブエイリアシングを減少させる前記3次元表示装置の平面におけるオーバサンプリングであり、前記オーバサンプリングされたライトフィールドは、前記出力サンプルを表示するために前記表示パラメータ化によりサブサンプリングされ、
前記3次元表示装置のバンド幅は、前記3次元表示装置の角度的な周波数および空間的な周波数にしたがってパラメータ化される、
ライトフィールドを取得して表示するためのコンピュータにより実行される方法。 - 前記補間は非構造化光線空間プロセスを使用して前記入力サンプルを再投影することからなる、請求項1に記載の方法。
- 前記オーバサンプリングは(d+1)/2の比率で行われ、ここで、dは前記異なるビューの最大視差である、
前記オーバサンプリングは、前記シーンのスペクトルの傾きの水平距離を示す(d+1)/2の比率で行われ、ここで、dは前記異なるビューの最大視差である、請求項1に記載の方法。 - 前記目標ビューは前記カメラビュー間の最小ベースライン距離を有する1組のビューである、請求項1に記載の方法。
- 前記目標ビューは空間的に隣接するビュー間の等しいベースライン距離を有する、請求項1に記載の方法。
- 前記復号されたライトフィールドは前記3次元表示装置の空間分解能よりも高い空間分解能を有する、請求項1に記載の方法。
- 前記符号化は前記目標ビュー間の最大視差を決定し、
前記方法は、
前記最大視差を前記デコーダへ送信する工程、
をさらに備え、
前記最大視差情報は、H.264/AVCビデオ符号化規格にしたがって、補足エンハンスメント情報メッセージで送信される、
請求項1に記載の方法。 - 前記最大視差はピクセル分解能で表される、請求項7に記載の方法。
- 前記最大視差はサブピクセル分解能で表される、請求項7に記載の方法。
- 前記補間は前記シーンについて取得された深度マップを使用し、
前記方法は、
前記出力ライトフィールドを符号化して、圧縮されたビットストリームを生成する工程と、
前記深度マップを符号化して、深度マップビットストリームを生成する工程と、
をさらに備える、請求項1に記載の方法。 - 前記圧縮されたビットストリームをスケーラブルなデコーダに供給して、復号された出力ライトフィールドを生成し、また前記深度ビットストリームを深度デコーダに供給して、復号された深度マップを生成する工程、
をさらに備える、請求項10に記載の方法。 - 前記圧縮されたビットストリームおよび深度ビットストリームが多重化されて、多重化されたビットストリームを生成する、請求項10に記載の方法。
- 前記多重化されたビットストリームをスケーラブルなデコーダに供給して、復号された出力ライトフィールドおよび復号された深度マップを生成する工程、
をさらに備える、請求項12に記載の方法。 - 前記復号された出力ライトフィールドは追加のビューを含む、請求項13に記載の方法。
- 前記追加のビューは、前記復号化の間、前記復号された深度マップおよびビュー補間を使用して生成される、請求項14に記載の方法。
- 3次元ライトフィールドを取得、符号化、復号、表示するためのシステムであって、
入力ライトフィールドの入力サンプルを補間して再パラメータ化されたライトフィールドを生成する手段であって、前記入力サンプルが複数のカメラによって取得された3次元シーンの異なるビューであり、前記補間が取得パラメータ化および表示パラメータ化によって行われる手段と、
前記再パラメータ化されたライトフィールドに対して、光線空間での直線的な操作であるプレフィルタリングを行い、プレフィルタリングされたライトフィールドを生成する手段と、
前記プレフィルタリングされたライトフィールドをサンプリングして、3次元表示装置上に出力ライトフィールドとして表示するための、表示パラメータ化を有する出力サンプルを生成する手段と、
前記出力ライトフィールドを符号化して、圧縮されたスケーラブルなビットストリームを生成する手段と、
前記表示パラメータ化により、デコーダの前記スケーラブルなビットストリームを復号して、復号されたライトフィールドを生成する手段と、
前記表示パラメータ化により前記復号ライトフィールドを再サンプリングして、前記3次元表示装置に対する、サンプリングされたライトフィールドを生成する手段と、
前記復号化の間、前記圧縮されたビットストリームの、目標空間分解能より高い空間分解能に対応する部分を捨てる手段と、
を備え、
前記スケーラブルなビットストリームを復号するスケーラブルなデコーダは、目標ビュー、および前記復号されたライトフィールドの各目標ビューに対する目標空間分解能を決定し、
前記目標ビューは時間的な依存関係および空間的な依存関係を有し、
前記補間は前記シーンについて取得された深度マップを使用して前記3次元シーンの追加のビューを生成し、前記深度マップは、前記プレフィルタリングされたライトフィールドを生成する手段でのビュー補間のために使用され、
前記サンプリングは、オーバサンプリングされたライトフィールドにおけるインターパースペクティブエイリアシングを減少させる前記3次元表示装置の平面におけるオーバサンプリングであり、前記オーバサンプリングされたライトフィールドは、前記出力サンプルを生成するために、前記表示パラメータ化によりサブサンプリングされ、
前記3次元表示装置のバンド幅は、前記3次元表示装置の角度的な周波数および空間的な周波数にしたがってパラメータ化される、
ライトフィールドを取得して表示するシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/696,562 | 2007-04-04 | ||
US11/696,562 US7916934B2 (en) | 2006-04-04 | 2007-04-04 | Method and system for acquiring, encoding, decoding and displaying 3D light fields |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008259171A JP2008259171A (ja) | 2008-10-23 |
JP5300258B2 true JP5300258B2 (ja) | 2013-09-25 |
Family
ID=39598181
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007324982A Expired - Fee Related JP5300258B2 (ja) | 2007-04-04 | 2007-12-17 | 3次元ライトフィールドを取得、符号化、復号、表示するための方法およびシステム |
Country Status (3)
Country | Link |
---|---|
US (1) | US7916934B2 (ja) |
EP (1) | EP1978755A3 (ja) |
JP (1) | JP5300258B2 (ja) |
Families Citing this family (119)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ATE480106T1 (de) * | 2005-11-04 | 2010-09-15 | Koninkl Philips Electronics Nv | Wiedergabe von bilddaten für mehrfachansicht- anzeige |
WO2009011492A1 (en) * | 2007-07-13 | 2009-01-22 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding and decoding stereoscopic image format including both information of base view image and information of additional view image |
EP2289235A4 (en) | 2008-05-20 | 2011-12-28 | Pelican Imaging Corp | RECORDING AND PROCESSING IMAGES BY MONOLITHIC CAMERA ARRANGEMENT WITH HETEROGENIC IMAGE TRANSFORMER |
US8866920B2 (en) | 2008-05-20 | 2014-10-21 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
US11792538B2 (en) | 2008-05-20 | 2023-10-17 | Adeia Imaging Llc | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
JP5792064B2 (ja) * | 2008-07-25 | 2015-10-07 | コーニンクレッカ フィリップス エヌ ヴェ | 字幕の三次元表示処理 |
KR101206895B1 (ko) * | 2008-12-22 | 2012-11-30 | 한국전자통신연구원 | 렌더링 시스템 및 이를 이용한 데이터 처리 방법 |
US8189089B1 (en) | 2009-01-20 | 2012-05-29 | Adobe Systems Incorporated | Methods and apparatus for reducing plenoptic camera artifacts |
JP5388032B2 (ja) * | 2009-05-11 | 2014-01-15 | 独立行政法人情報通信研究機構 | 遠隔コミュニケーションシステム、制御装置、制御方法およびプログラム |
KR20100128233A (ko) * | 2009-05-27 | 2010-12-07 | 삼성전자주식회사 | 영상 처리 방법 및 장치 |
CN102474638B (zh) * | 2009-07-27 | 2015-07-01 | 皇家飞利浦电子股份有限公司 | 组合3d视频与辅助数据 |
WO2011063347A2 (en) | 2009-11-20 | 2011-05-26 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
US8860833B2 (en) | 2010-03-03 | 2014-10-14 | Adobe Systems Incorporated | Blended rendering of focused plenoptic camera data |
CN106131531B (zh) | 2010-03-31 | 2019-04-26 | 汤姆森特许公司 | 视频处理方法和装置 |
CN106454370B (zh) | 2010-04-13 | 2019-11-01 | Ge视频压缩有限责任公司 | 解码器、重建数组的方法、编码器、编码方法及数据流 |
ES2907203T3 (es) | 2010-04-13 | 2022-04-22 | Ge Video Compression Llc | Codificación de vídeo que usa subdivisiones multiárbol de imágenes |
JP5718453B2 (ja) | 2010-04-13 | 2015-05-13 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | 復号化方法 |
CN102939750B (zh) | 2010-04-13 | 2016-07-06 | Ge视频压缩有限责任公司 | 跨平面预测 |
SG10201503516VA (en) | 2010-05-12 | 2015-06-29 | Pelican Imaging Corp | Architectures for imager arrays and array cameras |
CN102474647B (zh) * | 2010-05-25 | 2015-08-19 | 松下电器(美国)知识产权公司 | 图像编码装置、图像编码方法以及集成电路 |
US8134786B2 (en) * | 2010-06-30 | 2012-03-13 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for determining projections in non-central catadioptric optical systems |
HUE026534T2 (en) * | 2010-07-15 | 2016-06-28 | Ge Video Compression Llc | Hybrid video encoding to support intermediate view synthesis |
US8749694B2 (en) * | 2010-08-27 | 2014-06-10 | Adobe Systems Incorporated | Methods and apparatus for rendering focused plenoptic camera data using super-resolved demosaicing |
US8665341B2 (en) | 2010-08-27 | 2014-03-04 | Adobe Systems Incorporated | Methods and apparatus for rendering output images with simulated artistic effects from focused plenoptic camera data |
US8803918B2 (en) | 2010-08-27 | 2014-08-12 | Adobe Systems Incorporated | Methods and apparatus for calibrating focused plenoptic camera data |
US8724000B2 (en) | 2010-08-27 | 2014-05-13 | Adobe Systems Incorporated | Methods and apparatus for super-resolution in integral photography |
JP5837606B2 (ja) | 2010-11-15 | 2015-12-24 | エルジー エレクトロニクス インコーポレイティド | フレームフォーマット変換方法及びその方法を使用する装置 |
US8878950B2 (en) | 2010-12-14 | 2014-11-04 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using super-resolution processes |
FR2969457A1 (fr) * | 2010-12-15 | 2012-06-22 | France Telecom | Procede et dispositif d'evaluation d'une chaine de production et de visualisation d'images stereoscopiques |
US9641823B2 (en) * | 2011-01-31 | 2017-05-02 | Hewlett-Packard Development Company, L.P. | Embedded light field display architecture to process and display three-dimensional light field data |
US9030550B2 (en) | 2011-03-25 | 2015-05-12 | Adobe Systems Incorporated | Thin plenoptic cameras using solid immersion lenses |
WO2012155119A1 (en) | 2011-05-11 | 2012-11-15 | Pelican Imaging Corporation | Systems and methods for transmitting and receiving array camera image data |
AU2011368712A1 (en) | 2011-05-26 | 2013-12-05 | Thomson Licensing | Scale-independent maps |
EP2726930A4 (en) | 2011-06-28 | 2015-03-04 | Pelican Imaging Corp | OPTICAL ARRANGEMENTS FOR USE WITH AN ARRAY CAMERA |
US20130265459A1 (en) | 2011-06-28 | 2013-10-10 | Pelican Imaging Corporation | Optical arrangements for use with an array camera |
TWI470338B (zh) * | 2011-07-07 | 2015-01-21 | Era Optoelectronics Inc | 物體輪廓的偵測裝置及方法 |
WO2013043761A1 (en) | 2011-09-19 | 2013-03-28 | Pelican Imaging Corporation | Determining depth from multiple views of a scene that include aliasing using hypothesized fusion |
KR102002165B1 (ko) | 2011-09-28 | 2019-07-25 | 포토내이션 리미티드 | 라이트 필드 이미지 파일의 인코딩 및 디코딩을 위한 시스템 및 방법 |
WO2013081576A1 (en) * | 2011-11-28 | 2013-06-06 | Hewlett-Packard Development Company, L.P. | Capturing a perspective-flexible, viewpoint-synthesizing panoramic 3d image with a multi-view 3d camera |
US8854724B2 (en) | 2012-03-27 | 2014-10-07 | Ostendo Technologies, Inc. | Spatio-temporal directional light modulator |
US8928969B2 (en) | 2011-12-06 | 2015-01-06 | Ostendo Technologies, Inc. | Spatio-optical directional light modulator |
WO2013114887A1 (en) * | 2012-02-02 | 2013-08-08 | Panasonic Corporation | Methods and apparatuses for 3d media data generation, encoding, decoding and display using disparity information |
EP2817955B1 (en) | 2012-02-21 | 2018-04-11 | FotoNation Cayman Limited | Systems and methods for the manipulation of captured light field image data |
CN111031302A (zh) * | 2012-04-25 | 2020-04-17 | 浙江大学 | 三维视频序列辅助信息的解码方法、编码方法及装置 |
US9210392B2 (en) | 2012-05-01 | 2015-12-08 | Pelican Imaging Coporation | Camera modules patterned with pi filter groups |
US9179126B2 (en) | 2012-06-01 | 2015-11-03 | Ostendo Technologies, Inc. | Spatio-temporal light field cameras |
KR20150023907A (ko) | 2012-06-28 | 2015-03-05 | 펠리칸 이매징 코포레이션 | 결함있는 카메라 어레이들, 광학 어레이들 및 센서들을 검출하기 위한 시스템들 및 방법들 |
US20140002674A1 (en) | 2012-06-30 | 2014-01-02 | Pelican Imaging Corporation | Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors |
US8754829B2 (en) * | 2012-08-04 | 2014-06-17 | Paul Lapstun | Scanning light field camera and display |
US9681072B2 (en) | 2012-08-07 | 2017-06-13 | National University Corporation Shizuoka Univeristy | Solid-state image pickup device with averaging of signals from individual pixels |
CN107346061B (zh) | 2012-08-21 | 2020-04-24 | 快图有限公司 | 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法 |
WO2014032020A2 (en) | 2012-08-23 | 2014-02-27 | Pelican Imaging Corporation | Feature based high resolution motion estimation from low resolution images captured using an array source |
US9214013B2 (en) | 2012-09-14 | 2015-12-15 | Pelican Imaging Corporation | Systems and methods for correcting user identified artifacts in light field images |
EP2901671A4 (en) | 2012-09-28 | 2016-08-24 | Pelican Imaging Corp | CREATING IMAGES FROM LIGHT FIELDS USING VIRTUAL POINTS OF VIEW |
US9207759B1 (en) | 2012-10-08 | 2015-12-08 | Edge3 Technologies, Inc. | Method and apparatus for generating depth map from monochrome microlens and imager arrays |
US9143711B2 (en) | 2012-11-13 | 2015-09-22 | Pelican Imaging Corporation | Systems and methods for array camera focal plane control |
US9497380B1 (en) | 2013-02-15 | 2016-11-15 | Red.Com, Inc. | Dense field imaging |
WO2014130849A1 (en) | 2013-02-21 | 2014-08-28 | Pelican Imaging Corporation | Generating compressed light field representation data |
US9374512B2 (en) | 2013-02-24 | 2016-06-21 | Pelican Imaging Corporation | Thin form factor computational array cameras and modular array cameras |
US9638883B1 (en) | 2013-03-04 | 2017-05-02 | Fotonation Cayman Limited | Passive alignment of array camera modules constructed from lens stack arrays and sensors based upon alignment information obtained during manufacture of array camera modules using an active alignment process |
WO2014138697A1 (en) | 2013-03-08 | 2014-09-12 | Pelican Imaging Corporation | Systems and methods for high dynamic range imaging using array cameras |
US8866912B2 (en) | 2013-03-10 | 2014-10-21 | Pelican Imaging Corporation | System and methods for calibration of an array camera using a single captured image |
US9521416B1 (en) | 2013-03-11 | 2016-12-13 | Kip Peli P1 Lp | Systems and methods for image data compression |
WO2014165244A1 (en) | 2013-03-13 | 2014-10-09 | Pelican Imaging Corporation | Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies |
US9124831B2 (en) | 2013-03-13 | 2015-09-01 | Pelican Imaging Corporation | System and methods for calibration of an array camera |
WO2014164909A1 (en) | 2013-03-13 | 2014-10-09 | Pelican Imaging Corporation | Array camera architecture implementing quantum film sensors |
US9106784B2 (en) | 2013-03-13 | 2015-08-11 | Pelican Imaging Corporation | Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing |
US9578259B2 (en) | 2013-03-14 | 2017-02-21 | Fotonation Cayman Limited | Systems and methods for reducing motion blur in images or video in ultra low light with array cameras |
US9100586B2 (en) | 2013-03-14 | 2015-08-04 | Pelican Imaging Corporation | Systems and methods for photometric normalization in array cameras |
US9497429B2 (en) | 2013-03-15 | 2016-11-15 | Pelican Imaging Corporation | Extended color processing on pelican array cameras |
US9445003B1 (en) | 2013-03-15 | 2016-09-13 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information |
US9633442B2 (en) | 2013-03-15 | 2017-04-25 | Fotonation Cayman Limited | Array cameras including an array camera module augmented with a separate camera |
US10122993B2 (en) | 2013-03-15 | 2018-11-06 | Fotonation Limited | Autofocus system for a conventional camera that uses depth information from an array camera |
US9497370B2 (en) | 2013-03-15 | 2016-11-15 | Pelican Imaging Corporation | Array camera architecture implementing quantum dot color filters |
WO2014145856A1 (en) | 2013-03-15 | 2014-09-18 | Pelican Imaging Corporation | Systems and methods for stereo imaging with camera arrays |
KR101852669B1 (ko) | 2013-04-08 | 2018-04-26 | 소니 주식회사 | Shvc를 이용한 관심 영역 확장성 |
US9898856B2 (en) | 2013-09-27 | 2018-02-20 | Fotonation Cayman Limited | Systems and methods for depth-assisted perspective distortion correction |
US9756316B2 (en) | 2013-11-04 | 2017-09-05 | Massachusetts Institute Of Technology | Joint view expansion and filtering for automultiscopic 3D displays |
US9967538B2 (en) * | 2013-11-04 | 2018-05-08 | Massachussetts Institute Of Technology | Reducing view transitions artifacts in automultiscopic displays |
KR102156402B1 (ko) * | 2013-11-05 | 2020-09-16 | 삼성전자주식회사 | 영상 처리 방법 및 장치 |
WO2015070105A1 (en) | 2013-11-07 | 2015-05-14 | Pelican Imaging Corporation | Methods of manufacturing array camera modules incorporating independently aligned lens stacks |
WO2015074078A1 (en) | 2013-11-18 | 2015-05-21 | Pelican Imaging Corporation | Estimating depth from projected texture using camera arrays |
EP3075140B1 (en) | 2013-11-26 | 2018-06-13 | FotoNation Cayman Limited | Array camera configurations incorporating multiple constituent array cameras |
US10244223B2 (en) | 2014-01-10 | 2019-03-26 | Ostendo Technologies, Inc. | Methods for full parallax compressed light field 3D imaging systems |
WO2015115946A1 (en) * | 2014-01-30 | 2015-08-06 | Telefonaktiebolaget L M Ericsson (Publ) | Methods for encoding and decoding three-dimensional video content |
US10089740B2 (en) | 2014-03-07 | 2018-10-02 | Fotonation Limited | System and methods for depth regularization and semiautomatic interactive matting using RGB-D images |
US9247117B2 (en) | 2014-04-07 | 2016-01-26 | Pelican Imaging Corporation | Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array |
US9521319B2 (en) | 2014-06-18 | 2016-12-13 | Pelican Imaging Corporation | Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor |
CN113256730B (zh) | 2014-09-29 | 2023-09-05 | 快图有限公司 | 用于阵列相机的动态校准的系统和方法 |
US9942474B2 (en) | 2015-04-17 | 2018-04-10 | Fotonation Cayman Limited | Systems and methods for performing high speed video capture and depth estimation using array cameras |
CN107431797B (zh) | 2015-04-23 | 2019-10-11 | 奥斯坦多科技公司 | 用于全视差光场显示系统的方法和装置 |
KR20170140187A (ko) | 2015-04-23 | 2017-12-20 | 오스텐도 테크놀로지스 인코포레이티드 | 깊이 정보를 이용한 완전 시차 압축 광 필드 합성을 위한 방법 |
FR3036016B1 (fr) * | 2015-05-07 | 2018-10-12 | Orange | Codage/decodage predictif d'images comportant un artefact, utilisant une extrapolation |
CA2994239A1 (en) | 2015-07-31 | 2017-02-09 | Hsni, Llc | Virtual three dimensional video creation and management system and method |
US10448030B2 (en) | 2015-11-16 | 2019-10-15 | Ostendo Technologies, Inc. | Content adaptive light field compression |
CA3214444A1 (en) | 2016-04-12 | 2017-10-19 | Quidient, Llc | Quotidian scene reconstruction engine |
US10453431B2 (en) | 2016-04-28 | 2019-10-22 | Ostendo Technologies, Inc. | Integrated near-far light field display systems |
US11051039B2 (en) | 2017-06-02 | 2021-06-29 | Ostendo Technologies, Inc. | Methods for full parallax light field compression |
US20180350038A1 (en) | 2017-06-02 | 2018-12-06 | Ostendo Technologies, Inc. | Methods and Systems for Light Field Compression With Residuals |
US10482618B2 (en) | 2017-08-21 | 2019-11-19 | Fotonation Limited | Systems and methods for hybrid depth regularization |
US10931956B2 (en) | 2018-04-12 | 2021-02-23 | Ostendo Technologies, Inc. | Methods for MR-DIBR disparity map merging and disparity threshold determination |
WO2019213450A1 (en) | 2018-05-02 | 2019-11-07 | Quidient, Llc | A codec for processing scenes of almost unlimited detail |
US11172222B2 (en) | 2018-06-26 | 2021-11-09 | Ostendo Technologies, Inc. | Random access in encoded full parallax light field images |
EP3949422A1 (en) * | 2019-03-26 | 2022-02-09 | PCMS Holdings, Inc. | System and method for multiplexed rendering of light fields |
KR102646521B1 (ko) | 2019-09-17 | 2024-03-21 | 인트린식 이노베이션 엘엘씨 | 편광 큐를 이용한 표면 모델링 시스템 및 방법 |
EP4042101A4 (en) | 2019-10-07 | 2023-11-22 | Boston Polarimetrics, Inc. | SYSTEMS AND METHODS FOR DETECTING SURFACE NORMALS USING POLARIZATION |
WO2021077078A1 (en) * | 2019-10-18 | 2021-04-22 | Looking Glass Factory, Inc. | System and method for lightfield capture |
EP4066001A4 (en) | 2019-11-30 | 2024-01-24 | Boston Polarimetrics, Inc. | SYSTEMS AND METHODS FOR TRANSPARENT OBJECT SEGMENTATION USING POLARIZATION GUIDES |
JP7462769B2 (ja) | 2020-01-29 | 2024-04-05 | イントリンジック イノベーション エルエルシー | 物体の姿勢の検出および測定システムを特徴付けるためのシステムおよび方法 |
WO2021154459A1 (en) | 2020-01-30 | 2021-08-05 | Boston Polarimetrics, Inc. | Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images |
US11240465B2 (en) | 2020-02-21 | 2022-02-01 | Alibaba Group Holding Limited | System and method to use decoder information in video super resolution |
US11449004B2 (en) | 2020-05-21 | 2022-09-20 | Looking Glass Factory, Inc. | System and method for holographic image display |
US11953700B2 (en) | 2020-05-27 | 2024-04-09 | Intrinsic Innovation Llc | Multi-aperture polarization optical systems using beam splitters |
US11415935B2 (en) | 2020-06-23 | 2022-08-16 | Looking Glass Factory, Inc. | System and method for holographic communication |
US11388388B2 (en) | 2020-12-01 | 2022-07-12 | Looking Glass Factory, Inc. | System and method for processing three dimensional images |
US12020455B2 (en) | 2021-03-10 | 2024-06-25 | Intrinsic Innovation Llc | Systems and methods for high dynamic range image reconstruction |
US11954886B2 (en) | 2021-04-15 | 2024-04-09 | Intrinsic Innovation Llc | Systems and methods for six-degree of freedom pose estimation of deformable objects |
US11290658B1 (en) | 2021-04-15 | 2022-03-29 | Boston Polarimetrics, Inc. | Systems and methods for camera exposure control |
US11689813B2 (en) | 2021-07-01 | 2023-06-27 | Intrinsic Innovation Llc | Systems and methods for high dynamic range imaging using crossed polarizers |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5617334A (en) * | 1995-07-21 | 1997-04-01 | The Trustees Of Columbia University In The City Of New York | Multi-viewpoint digital video coder/decoder and method |
US6055012A (en) * | 1995-12-29 | 2000-04-25 | Lucent Technologies Inc. | Digital multi-view video compression with complexity and compatibility constraints |
JPH09245195A (ja) * | 1996-03-08 | 1997-09-19 | Canon Inc | 画像処理方法およびその装置 |
JP3958493B2 (ja) * | 2000-03-16 | 2007-08-15 | 日本放送協会 | 符号化装置及び復号化装置 |
AU2002227428A1 (en) * | 2000-12-13 | 2002-06-24 | Zograph, Llc | Resolution modulation in microlens image reproduction |
JP4222817B2 (ja) * | 2002-09-27 | 2009-02-12 | シャープ株式会社 | 立体画像表示装置、記録方法、及び伝送方法 |
JP4174001B2 (ja) * | 2002-09-27 | 2008-10-29 | シャープ株式会社 | 立体画像表示装置、記録方法、及び伝送方法 |
US20050185711A1 (en) * | 2004-02-20 | 2005-08-25 | Hanspeter Pfister | 3D television system and method |
JP4652727B2 (ja) * | 2004-06-14 | 2011-03-16 | キヤノン株式会社 | 立体画像生成システムおよびその制御方法 |
US7324687B2 (en) * | 2004-06-28 | 2008-01-29 | Microsoft Corporation | Color segmentation-based stereo 3D reconstruction system and process |
WO2007026440A1 (ja) * | 2005-08-29 | 2007-03-08 | National University Corporation Nagoya University | 画像情報圧縮方法、画像情報圧縮装置、及び自由視点テレビシステム |
KR100667810B1 (ko) * | 2005-08-31 | 2007-01-11 | 삼성전자주식회사 | 3d 영상의 깊이감 조정 장치 및 방법 |
US8044994B2 (en) * | 2006-04-04 | 2011-10-25 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for decoding and displaying 3D light fields |
-
2007
- 2007-04-04 US US11/696,562 patent/US7916934B2/en not_active Expired - Fee Related
- 2007-12-17 JP JP2007324982A patent/JP5300258B2/ja not_active Expired - Fee Related
-
2008
- 2008-03-06 EP EP08004200A patent/EP1978755A3/en not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
US20080043095A1 (en) | 2008-02-21 |
EP1978755A2 (en) | 2008-10-08 |
EP1978755A3 (en) | 2009-12-09 |
JP2008259171A (ja) | 2008-10-23 |
US7916934B2 (en) | 2011-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5300258B2 (ja) | 3次元ライトフィールドを取得、符号化、復号、表示するための方法およびシステム | |
US8044994B2 (en) | Method and system for decoding and displaying 3D light fields | |
US7609906B2 (en) | Method and system for acquiring and displaying 3D light fields | |
US11968372B2 (en) | Layered scene decomposition CODEC method | |
TWI807286B (zh) | 用於全視差壓縮光場三維成像系統之方法 | |
Matusik et al. | 3D TV: a scalable system for real-time acquisition, transmission, and autostereoscopic display of dynamic scenes | |
JP7036599B2 (ja) | 奥行き情報を用いて全方向視差を圧縮したライトフィールドを合成する方法 | |
US20050185711A1 (en) | 3D television system and method | |
US20140198182A1 (en) | Representation and Coding of Multi-View Images Using Tapestry Encoding | |
US20080205791A1 (en) | Methods and systems for use in 3d video generation, storage and compression | |
Graziosi et al. | Depth assisted compression of full parallax light fields | |
Graziosi et al. | Compression for full-parallax light field displays | |
Zwicker et al. | Resampling, antialiasing, and compression in multiview 3-D displays | |
EP2822279B1 (en) | Autostereo tapestry representation | |
JP2019004271A (ja) | 画像符号化装置および画像復号化装置、並びに、画像符号化プログラムおよび画像復号化プログラム | |
Stone | Omnidirectional Stereoscopic Projections for VR. | |
Alfaqheri et al. | Low-delay single holoscopic 3D computer-generated image to multiview images | |
Suehiro et al. | Integral 3D imaging system using monocular 2D video and depth data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101109 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120806 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120925 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130521 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130618 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5300258 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |