JP5366547B2 - 立体視表示装置 - Google Patents

立体視表示装置 Download PDF

Info

Publication number
JP5366547B2
JP5366547B2 JP2008526601A JP2008526601A JP5366547B2 JP 5366547 B2 JP5366547 B2 JP 5366547B2 JP 2008526601 A JP2008526601 A JP 2008526601A JP 2008526601 A JP2008526601 A JP 2008526601A JP 5366547 B2 JP5366547 B2 JP 5366547B2
Authority
JP
Japan
Prior art keywords
intermediate value
angular direction
image element
image
angular
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008526601A
Other languages
English (en)
Other versions
JP2009505149A (ja
Inventor
ズワルト シーベ ティー デ
オスカル エイチ ウィルムセン
マルティン ジー エイチ ヒディング
ロベルト‐パウル エム ベレッティー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2009505149A publication Critical patent/JP2009505149A/ja
Application granted granted Critical
Publication of JP5366547B2 publication Critical patent/JP5366547B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/317Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using slanted parallax optics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Description

本発明は、表示を生成するための手段を有する立体視表示装置であって、前記立体視表示装置は、第1の平面における横方向に分離された画像要素と、それぞれが前記画像要素のそれぞれの群と関連する光ディレクトリ素子の群を有する光ディレクトリ手段とを有し、前記光ディレクトリ手段は、前記画像要素の出力を前記第1の平面に対して相互に異なる角度方向へと方向付けるために、前記第1の平面における前記画像要素と重畳する立体視表示装置に関する。
本発明は更に、斯かる立体視表示装置に供給されるべき表示値を計算する方法に関する。
本発明は更に、斯かる立体視表示装置に供給されるべき表示値を計算するための命令を有する、コンピュータ装置によりロードされるコンピュータプログラムに関する。
最初のパラグラフに記載された種類の立体視表示装置は、複数のビューが利用される電話のようなハンドヘルド型装置及び(TV)モニタの双方において、ますます利用されている。
画像要素は、モノクロ装置におけるように単一の画素に対応し得るが、一般にはカラーの画像要素のサブ画素に対応する。
上述した種類の立体視表示装置は、米国特許US6,064,424に記載されている。該米国特許US6,064,424は、画像要素の群に配列された画素を持つアクティブマトリクス型液晶ディスプレイパネルと、該ディスプレイパネルに重畳された光ディレクトリ(directory)素子として(円筒形の)レンチキュラ素子(レンチキュラ)を持つレンチキュラ画面とを提示している。各画像要素の光は、該画像要素のレンズに対する位置に依存して、種々の明確な方向に送られる。このようにして、典型的には6つの異なる視角に対応して、6つの独立したビューが生成される。適切な画像コンテンツを利用すると、観測者はそれぞれの眼において異なるビューを受像し、3次元の画像を観測する。
米国特許US6,064,424における各レンチキュラは、画像要素の群と関連する。レンチキュラは垂直列方向に対して傾けられ、このことは知覚される3次元画素構造に対して好適である。
しかしながら、観測者にとっては、ディスプレイの異なる部分が異なる角度で観測者の眼に到達するという事実のため、「暗帯(dark band)」と呼ばれる、ディスプレイにおける強度変調が依然として発生する。観測者がディスプレイに対して平行に移動すると該帯はディスプレイ上を「シフト」し、観測者がディスプレイに向かって又はディスプレイから離れる方向に移動すると該帯のピッチが変化する。小さな変調深度(例えば1%)であっても、この影響は非常に不快なものとなる。
本出願人は、前記強度変調を少なくとも部分的に克服するための発明を開示した出願を2005年4月29日に欧州特許庁に出願した(出願番号05103555.8、整理番号PH000443)。基本的に該出願は、暗帯は特定の傾斜角度とレンズのピッチとの組み合わせにより防止されることを開示している。提供される方法は「断片ビュー(fractional view)」と呼ばれる。該発明は、特定の(それ故暗い)方向へと「投影」される、(LCD)画像要素の周囲の発光していない領域(黒マトリクス)の存在により引き起こされる、視角の関数としての上述の変調が、相互に位相がシフトされた(例えばk=2について180度)「全体の」(仮想的な)サブ画素と「部分的な」(仮想的な)サブ画素との両方が同時に投影され強度変調に導くような設計を選択することによって克服されるという理解に基づくものである。結果として、全体の強度の第1高調波が相殺され、かなり強度の小さい第2高調波(及び第3高調波、等)のみが残る。これに伴い、暗帯効果が低減される。
しかしながら、比較的大きな奥行き又は視差を持つオブジェクトが単純な方法で描画される場合、ディスプレイは所謂ギザギザのエッジ(jagged edges)に悩まされることとなる。これらの反復的なパターンは例えば、通常は幾分ぼけている(blurred)背景における遠くのオブジェクトに対して、不自然に鮮明な外観に帰着する。
本発明の目的は、これらの所謂ギザギザのエッジが少なくとも部分的に防止される、最初のパラグラフにおいて記載した種類の方法を提供することにある。
本発明の目的は、前記方法が
第1の角度方向及び第1の画像要素の座標に基づいて、3次元表現から第1の中間値を決定するステップと、
前記第1の平面に対する更なる角度方向及び前記第1の画像要素の座標に基づいて、前記3次元表現から第2の中間値を決定するステップと、
前記第1の中間値と前記第2の中間値とを組み合わせて前記表示値とするステップであって、前記表示値は前記第1の画像要素の特定の出力に関連するステップと、
を有することにより達成される。
本発明者は、描画の間即ち表示値の計算の間に、3次元表現からの第1の中間値、第1の角度方向、及び第1の画像要素の座標の間に、厳密な対応が維持されている場合に、アーティファクトが発生することを認識した。換言すれば、殆どの描画方法について正しい手法であるような、表示値の計算が第1の中間値にのみ基づいている場合に、アーティファクトが発生する。基本的に、本発明による方法は、3次元表現におけるローパスフィルタリングに基づく。各々がそれぞれの角度方向に基づくものでありながら、全てが画像要素のうち第1のものの同一の座標に関連する複数の中間値のため、フィルタリングの量は、表示されるべきオブジェクトの奥行き(視差)に依存する。第1の平面において(又は第1の平面に対して比較的近くに)表示されるべきオブジェクトはぼけないか又は殆どぼけず、当該第1の平面から離れて表示されるべき3次元表現の他のオブジェクトについては、ぼけの量が大きい。
ローパスフィルタリング自体は既知の手法であるが、本発明による方法は、当業者がとるであろう手法とは明らかに区別される。当業者は、複数のビュー即ち異なる画像を、相互に異なる種々の角度方向に向けられるように描画し、次いでその後、これら種々のビューをローパスフィルタリングするであろう。このことは簡単で単純であり、コンピュータフレンドリな手法である。しかしながら、画質、特に種々のビューの鮮明度は、本発明による方法に比べて低くなる。この場合には、フィルタリングは奥行きに依存しない。このことは、第1の平面において(又は第1の平面に対して比較的近くに)表示されるべきオブジェクトであっても、ぼけてしまうことを意味する。
本発明による方法の実施例においては、前記第1の角度方向と前記更なる角度方向との第1の差は、前記第1の角度方向と第2の角度方向との第2の差に略等しい。好ましくは前記第2の差は、前記角度方向間の相互の差のセットのうち最小の相互の差に対応する。換言すれば、前記更なる角度方向は好ましくは、前記第2の角度方向に対応し、それにより全ての前記角度方向のうち、表示装置が出力を向けるように設計された前記第2の角度方向が、前記第1の角度方向から最小限しか逸脱しない。前記第1の差が前記第2の差よりも小さい場合にも、優れた結果が達成される。
本発明による方法の一実施例においては、前記第1の中間値を決定するステップのため、前記第1の角度方向が適用される。前記第1の中間値が前記第1の角度方向「に基づいて」決定されるという事実は、前記第1の角度方向が正確に適用されることを意味しない。即ち、適用される角度方向は、例えばレンズのような光ディレクトリ素子の物理的な大きさと前記光ディレクトリ素子の光軸に対する前記第1の画像要素の位置とにより直接決定される、前記第1の角度方向から逸脱し得る。
本発明による方法の一実施例においては、前記更なる角度方向は第2の角度方向に対応し、前記第1の角度方向は、関連する第1の光ディレクトリ素子に対する第1の画像要素の第1の空間位置により決定され、前記第2の角度方向は、関連する第2の光ディレクトリ素子に対する第2の画像要素の第2の空間位置により決定される。上述したように、本立体視表示装置は、画像要素の出力を、第1の平面に対して相互に異なる角度方向に向けるように構成される。例えば14個の異なる角度方向がある。該立体視表示装置のレイアウト、即ち横方向に分離された画像要素と光ディレクトリ素子を有する光ディレクトリ手段との配置が、14個の異なる角度方向を決定する。14個の異なる角度方向のセットの一部は、第1の光ディレクトリ素子に関連する。14個の異なる角度方向のセットの第2の一部は、第2の光ディレクトリ素子に関連し、14個の異なる角度方向のセットの第3の一部は、第3の光ディレクトリ素子に関連する。好ましくは、表示値を計算するために利用される異なる角度方向は、14個の異なる角度方向のセットの異なる部分に対応する。
本発明による方法の一実施例は、
前記第1の平面に対する第2の更なる角度方向及び前記第1の画像要素の座標に基づいて、前記3次元表現から第3の中間値を決定するステップと、
前記第1の中間値、前記第2の中間値及び前記第3の中間値を組み合わせて前記表示値とするステップと、
を有する。好ましくは、表示値は2個より多い(例えば3個)中間値に基づく。しかしながら、3個よりも多い中間値を用いても、優れた結果が達成される。例えば角度方向と角度方向のセットの一部との間の差に関する、以上に規定された条件は、中間値の数が2よりも多い場合にも当てはまる。
本発明による方法の一実施例においては、前記組み合わせるステップは、前記表示値を計算するため、前記第1の中間値と前記第2の中間値と任意に前記第3の中間値との平均を計算するステップを有する。好ましくは、前記平均を計算するステップは、加重平均を計算するステップを有する。前記第1の中間値は、好ましくは最も大きな重みベクトルを持つ。
本発明の他の目的は、前記所謂ギザギザのエッジが少なくとも部分的に防止される、最初のパラグラフにおいて記載した種類の立体視表示装置を提供することにある。
本発明の本目的は、前記表示装置が更に、
第1の角度方向及び第1の画像要素の座標に基づいて、3次元表現から第1の中間値を決定するための第1の決定手段と、
前記第1の平面に対する更なる角度方向及び第1の画像要素の座標に基づいて、前記3次元表現から第2の中間値を決定するための第2の決定手段と、
前記第1の中間値と前記第2の中間値とを組み合わせて前記表示値とするための組み合わせ手段と、
前記第1の画像要素に前記表示値を供給し前記第1の画像要素の出力を生成するための供給手段と、
を有することにより達成される。
本発明の他の目的は、前記所謂ギザギザのエッジが少なくとも部分的に防止される、最初のパラグラフにおいて記載した種類のコンピュータプログラムを提供することにある。
本発明の本目的は、コンピュータプログラムが、ロードされた後、前記処理手段に、
第1の角度方向及び第1の画像要素の座標に基づいて、3次元表現から第1の中間値を決定するステップと、
前記第1の平面に対する更なる角度方向及び前記第1の画像要素の座標に基づいて、前記3次元表現から第2の中間値を決定するステップと、
前記第1の中間値と前記第2の中間値とを組み合わせて前記表示値とするステップであって、前記表示値は前記第1の画像要素の特定の出力に関連するステップと、
を実行する機能を提供することにより達成される。
本方法の変更及び変形は、記載される立体視表示装置及びコンピュータプログラムの変更及び変形に対応し得る。
本発明による立体視表示装置、方法、及びコンピュータプログラムのこれらの及びその他の態様は、以下に記載される実装及び実施例に関連して、並びに添付図面を参照しながら、説明され明らかとなるであろう。
図面は図式的なものであり定縮尺で描かれていない。図面を通して、類似部分を示すために同一の参照番号が利用されている。
図1は、第1の平面103において横方向に分離された画像要素102を持つ、表示素子100の一部の模式的な断面図を示す。素子100は、それぞれが画像要素102の群に関連する、光ディレクトリ手段(本例においてはレンズ(レンチキュラ)601乃至603の群)を持つ。レンズ601乃至603は、画像要素の出力を、相互に異なる角度方向に向けるため、第1の平面103における画像要素102をカバーしている。本例においては、レンズは表示素子100の前にある別個のプレート105に備えられ、画像要素に面する曲面を持つ。角度方向は、矢印107乃至109によって示される。レンチキュラ(補助線208により示される)の軸が垂直軸209となす角αの正接は1/6である(表示素子に対して垂直な方向における図を示す図2を参照されたい)。それ故、本例においては、α=atan(1/6)であり、正又は負であり得る。レンチキュラは、知覚される画像要素構造を改善するため、斜めになっている。レンズのピッチpは原則として、水平方向のレンズ間の距離が、サブ画素要素のピッチAの4.5倍となるように、即ちp=4.5*A/cos(α)となるようなものである。このことは、2*4.5=9個のビューのディスプレイに帰着する。領域210は、サブ画素の反復領域を示し、それぞれが独立したビューに起因する。
ディスプレイの前面パネル106の屈折率及びレンズの屈折率は、n=1.5と選択される。更に、本例におけるレンズ本体は円柱(の一部)である。
ディスプレイの前で移動すると、変調(暗帯)が明らかに可視となるが、変調深度は1%(rms)のオーダーに過ぎない。該変調は、ディスプレイ上の異なる位置が、異なる視角に対応するという事実により引き起こされる。これら異なる位置は、例えば特定の(液晶)ディスプレイにおける黒色マトリクスにより引き起こされる、光出力における異なる黒色マトリクス成分により、僅かに異なる強度に対応する。該帯は、ディスプレイの前で観測者が移動すると移動し、ピッチを変化させる。
図3は、本発明による立体視表示装置の表示素子を模式的に示す。図3は、2005年4月29日に欧州特許庁に出願した出願(出願番号05103555.8、整理番号PH000443)に開示された発明の実施例において、画素ビューの画素マッピングが同時に3つの異なるタイプの仮想サブ画素を含む、4と2/3個のビューのレイアウトを持つものを示す。前記3つの異なるタイプは、「完全な」(仮想的な)サブ画素102及び318、「1/3の不完全な」(仮想的な)サブ画素318'、並びに「2/3の不完全な」(仮想的な)サブ画素318''である。領域210はここでは14個のサブ画素の繰り返し領域を示し、ここではそれぞれが14個の独立したビューに起因する。本例においては、第1高調波のみならず、第2高調波も全体の強度において相殺される。一般に、大きな分母は対応して大きな高調波の相殺に帰着するが、列毎の変調の大きな「波長」にも帰着する。長過ぎる波長は、好ましくは回避されるべき可視構造に帰着し、従って分母は好ましくは5又は6より小さく抑えられる。光軸311の補助線と中心線315とは、常に異なる位置で交点を持つことに留意されたい。即ち、交点314は常にサブ画素2及び18の中心にあり、交点314'は常にサブ画素の高さの1/3においてサブ画素2及び18の中心にあり、交点314' 'は常にサブ画素の高さの2/3においてサブ画素2及び18の中心にある。特定の表示領域について、交点314の数と交点314'の数とは略等しい。
図4は、図3の4と2/3個のビューのレイアウトの所謂ビューマッピングを示す。サブ画素中の数字は、水平方向のサブ画素のピッチの単位で、サブ画素の中心から最も近いレンズ軸までの水平距離に対応する。これらの数字は、対応するビューの発光角度即ち角度方向の尺度である。ディスプレイの垂線に近いビューについては、これら数字は概ね発光角度に比例する。本レイアウトにおける4と2/3個のビューは実際には、14個(
)の異なるビュー又は視角、即ち発光角度に対応する。見易さのため、該レイアウトの一部210(囲い枠により示されている)が、図4の底部に拡大されて示されている。
図5は、図3の4と2/3個のビューのレイアウトの対応するビュー番号を模式的に示す。例えば、ビュー番号1は、サブ画素の中心から最も近い−2のレンズ軸までの水平距離に対応し、ビュー番号4は、サブ画素の中心から最も近い−1のレンズ軸までの水平距離に対応し、ビュー番号7は、サブ画素の中心から最も近い0のレンズ軸までの水平距離に対応する、等である。後続するビューは、隣接する画像要素にマッピングされないことが直接的に明らかである。更なる精査は、サブ画素の中心から最も近いレンズ軸までの距離の増大が、後続するビュー番号に対応することを明らかにする。即ち、ビュー番号1は距離−2にマッピングされ、ビュー番号2は距離−1と2/3にマッピングされ、ビュー番号3は距離−1と1/3にマッピングされ、ビュー番号4は距離−1にマッピングされ、ビュー番号5は距離−2/3にマッピングされる、等である。これら距離は、種々の光ディレクトリ素子(レンズ)に関連することに留意されたい。
図6は、ビュー1乃至14が角度ドメインにおいてどのように配置されるか及びレンズ/画素構造にどのように対応するかを模式的に示す。図6の左上部は、表示素子100が、画像要素102の出力を、表示素子100の円錐605を併せて形成する角度方向のセットの角度方向に向けるように構成されることを、模式的に示す。角度方向は、矢印107乃至110により示される。図6の下部は、角度方向の画像要素に対するマッピングを示す。
第1の光ディレクトリ素子601に関連付けられたビュー1、4、7、10及び13(併せて第1の群と呼ばれる)に対応する角度方向を有する角度方向のセットの部分は、併せて第1のサブ円錐を形成する。第2の光ディレクトリ素子602に関連付けられたビュー2、5、8、11及び14(併せて第2の群と呼ばれる)に対応する角度方向を有する角度方向のセットの部分は、併せて第2のサブ円錐を形成する。第3の光ディレクトリ素子603に関連付けられたビュー3、6、9及び12(併せて第3の群と呼ばれる)に対応する角度方向を有する角度方向のセットの部分は、併せて第3のサブ円錐を形成する。隣接する光ディレクトリ素子601乃至603に属するサブ円錐は、光ディレクトリ素子毎に僅かに回転させられることに留意されたい。
図7は、ビュー1乃至14の角度的な光強度分布を模式的に示す。図7の横軸701は、表示素子100の垂線に対する角度を表す。図7の縦軸は、関連する画像要素によって生成される光に基づいて、光ディレクトリ素子によって方向付けられた光の強度を表す。各分布、即ち角度の関数としての光の量は、ガウス分布の形状を持つ。ビューのそれぞれについての最大の光強度は、対応する角度方向に対応する。連続するビュー間で非常に著しいオーバラップが存在し、特定のビューに対応する光が後続するビューに対応する光と混合することを意味している。
図8は、本発明による立体視表示装置によるオブジェクト800の復元を模式的に示す。換言すれば、図8は、3次元表現に含まれるオブジェクト800が、立体視表示装置によってどのように描画されるかを模式的に示す。オブジェクト800の種々の部分801乃至805がそれぞれの画像要素及び関連する光ディレクトリ601乃至603によって可視化される。例えば、参照番号801により示されるオブジェクト800の部分はビュー13に対応する画像要素により可視化され、参照番号802により示されるオブジェクト800の部分はビュー10に対応する画像要素により可視化され、参照番号803により示されるオブジェクト800の部分はビュー8に対応する画像要素により可視化され、参照番号804により示されるオブジェクト800の部分はビュー2に対応する画像要素により可視化され、参照番号805により示されるオブジェクト800の部分はビュー3に対応する画像要素により可視化される。
図9は、中央のレンチキュラ、即ち第2の光ディレクトリ素子602から発せられる光線を模式的に示す。図8と図9との差異は、図9は隣接する光ディレクトリ素子601及び603から発せられる光線を示していない点である。ビュー2、5、8、11及び14(即ち前記第2の群に属するもの)のみが、第2のサブ円錐(表示素子100の垂線を中心とされている)によって観測者に対して表示される。各サブ円錐は、特定の角度オフセットを伴って、僅かに垂線から離れるように回転させられる。該角度オフセットは、図8に示される3つのディレクトリ素子601乃至603について異なる。当該位置に依存する角度オフセットはギザギザのエッジというアーティファクトを引き起こすが、本発明による方法によって略防止される。
ギザギザのエッジというアーティファクトは、図10に示される。図10は、「入力画像」と示された図10の右上図に示された傾いた白色のバーに基づいた、シミュレートされた出力を示す。下部の画像は、先行技術の描画が適用された場合に、観測者が図3及び図4に関連して説明されたような表示素子100上に知覚する画像を示す。それぞれ、バーが表示素子の第1の平面に位置する場合(視差=0)、及びバーがビュー毎に2及び4個の(RGBトリプレット)画素の視差を伴ってディスプレイの前部に位置する場合について、表示素子100に対して垂直に単一の眼によって表示素子100を見た場合に、観測者が下部の画像を知覚することになる。後者の2つの画像は、明らかにギザギザのエッジというアーティファクトを示している。この「ギザギザの度合い」は、オブジェクトの深度/視差に伴って線形に増大する。
図11は、本発明の方法による、角度ドメインにおける3次元表現のフィルタリングの例を模式的に示す。コンテンツ即ち3次元表現の専用のフィルタリング/サンプリングを適用することにより、ギザギザのエッジというアーティファクトは略防止される。本発明による方法は好ましくは、
−第1の角度方向108及び第1の画像要素102の座標に基づいて、3次元表現から第1の中間値811を決定するステップと、
−第2の角度方向109及び前記第1の画像要素102の座標に基づいて、前記3次元表現から第2の中間値810を決定するステップと、
−第3の角度方向110及び前記第1の画像要素102の座標に基づいて、前記3次元表現から第3の中間値812を決定するステップと、
−前記第1の中間値811、前記第2の中間値810及び前記第3の中間値812を組み合わせて前記表示値とするステップであって、前記表示値は前記第1の画像要素102の特定の出力に関連するステップと、
を有する。
図11において、第1の画像要素102に適用されるべき表示値の計算の例が模式的に示されている。第1の画像要素102はビュー5に属し、即ち第1の画像要素102の出力は、ビュー5に対応する特定の角度方向において、関連する第2の光ディレクトリ素子602により方向付けられる。第1の画像要素102についての表示値の計算のため、第1のフェッチ(fetch)角は、ビュー5に対応する特定の角度方向に略等しい。換言すれば、3次元表現から第1の中間値をフェッチするため、第1の中間値811をフェッチするための第1のフェッチ角即ち3次元表現の座標系に対する角度は、第1の画像要素102による最終的な発光の角度に略等しい。適切な第1のフェッチ角に加えて、3次元表現における正確な始点が重要である。該始点は、第1の画像要素102の座標に基づく。好ましくは、該始点は、第1の画像要素102に関連する光ディレクトリ素子、即ち第2の光ディレクトリ素子602の光軸により決定される。
しかしながら、表示値は、(本例においては)2つの更なる中間値、即ち第2の中間値810及び第3の中間値812にも基づく。第2の中間値810及び第3の中間値812は、それぞれ第2のフェッチ角及び第3のフェッチ角を適用することにより、3次元表現からフェッチされる。好ましくは、第2のフェッチ角は、ビュー6に対応する第2の角度方向109と略等しい。好ましくは、第3のフェッチ角は、ビュー4に対応する第3の角度方向110と略等しい。ビュー4及び6は数の上でビュー5に連接しており、図5に関連して示されたような水平距離の差が最小であり、図6及び7に関連して示されたような角度方向間の相互の差も最小であることに留意されたい。ビュー4及び6は、ビュー5が関連するもの以外の光ディレクトリ素子と関連することに留意されたい。ビュー4は第1の光ディレクトリ素子601に関連し、ビュー6は第3の光ディレクトリ素子603に関連する。
第2の中間値810及び第3の中間値812を決定するため、第1の中間値811を決定するために適用されたものと同一の始点が適用される。
第1の中間値811、第2の中間値810及び第3の中間値812を決定した後、これら3つの値が表示値へと組み合わせられる。好ましくは、組み合わせるとは、3つの中間値810乃至812の平均を計算することを意味する。好ましくは、加重平均が計算され、それにより第1の中間値811の寄与が、第2の中間値810及び第3の中間値812よりも大きくなる。
図12は、第2の光ディレクトリ素子601と関連する幾つかの画像要素についての表示値の計算を模式的に示す。図12は、第2の光ディレクトリ素子601に関連する5個(実際には4と2/3個)の画素についての14個の異なる角度方向の全てに基づいて情報がフェッチされることを模式的に示している。本発明による方法を適用することにより、各個別の光ディレクトリ素子が、表示素子100の全ての異なる角度方向の情報を発し、それにより視角と(3次元)画像要素位置とのもつれを効果的に除去するという効果が得られる。
図13は、本発明の方法による3次元表現のフィルタリングにより、個々の光ディレクトリ素子即ちレンズが、表示素子100が光を発するように構成された全ての異なる角度方向の情報を発することを模式的に示す。
図14は、先行技術による描画と、本発明による改善された描画とを用いた、傾いた白色のバーのシミュレーションを示す(図10も参照されたい)。上の行における画像は、先行技術による描画に対応する。これらの画像は、図10に示された画像と等しい。下の行における画像は、本発明による描画に対応する。それぞれのフェッチ角を適用することにより複数の中間値を考慮に入れることによるフィルタリング即ち表示値の計算が、ギザギザのエッジというアーティファクトを明らかに除去している。
図15は、本発明による立体視表示装置を模式的に示す。本立体視表示装置は、以下を有する:
−入力コネクタ151において該立体視表示装置に供給される3次元表現を有する信号を受信するための受信手段152。該受信手段は好ましくは、該信号の一部の一時的な記憶のための記憶装置を有する。該信号は、アンテナ又はケーブルを介して受信される放送信号であっても良いが、VCR(Video Cassette Recorder)又はDVD(Digital Versatile Disk)のような光ディスクのような記憶装置からの信号であっても良い。
−図1乃至7に関連して説明されたような、表示を生成するための表示素子100。
−3次元表現に基づいて表示値を計算するための処理装置153乃至156。
−表示素子100の光ディレクトリ手段160により相互に異なる角度方向に向けられた光を生成するため、表示素子100の画像要素102に表示値を供給するための供給手段157。該供給手段157は典型的には、表示素子100の画像要素の全体のセットのための表示値の一時的な記憶のための記憶装置を有する。任意に、該供給手段は、増幅ユニット及び同期ユニットを有する。
前記処理手段は、3次元表現からのそれぞれの数の中間値を決定するための幾つかの決定手段153乃至155と、中間値810乃至812を組み合わせ表示値とするための組み合わせ手段156とを有する。図15において、3つの当該決定手段153乃至155が示されている。ここで、
−第1の決定手段153は、第1のフェッチ角及び第1の画像要素102の座標に基づいて、3次元表現から第1の中間値811を決定するように構成され、
−第2の決定手段154は、第2のフェッチ角及び第1の画像要素102の座標に基づいて、3次元表現から第2の中間値810を決定するように構成され、
−第3の決定手段155は、第3のフェッチ角及び第1の画像要素102の座標に基づいて、3次元表現から第3の中間値812を決定するように構成される。
好ましくは、第1のフェッチ角、第2のフェッチ角及び第3のフェッチ角は、表示素子100の物理的なレイアウトに基づく。表示素子100のレイアウト、とりわけ関連する光ディレクトリ素子601乃至603に対する画像要素102の位置は、画像要素により生成される光が主に所定の角度方向に向けられるようなものである。第1のフェッチ角、第2のフェッチ角及び第3のフェッチ角は、表示素子100のそれぞれの所定の角度方向に略等しいことが好ましい。
画像要素の座標は、図11と関連して説明されたような、3次元表現からの中間値をフェッチするための始点として利用される。
第1の決定手段153、第2の決定手段154、第3の決定手段155及び組み合わせ手段156は、1つのプロセッサを利用して実装されても良い。通常、これらの機能は、ソフトウェアプログラムの制御下で実行される。実行の間、通常はソフトウェアプログラムがRAMのようなメモリにロードされ、該メモリから実行される。該プログラムは、ROM、ハードディスク、又は磁気及び/又は光記憶装置のようなバックグラウンドメモリからロードされても良いし、インターネットのようなネットワークを介してロードされても良い。任意に、特定用途向け集積回路が、開示された機能を提供する。
本発明によるコンピュータプログラムは、本発明による方法の処理を実行する機能を前記処理手段に提供するため、処理手段及びメモリを有する計算機にロードされても良い。本発明による結果を達成するため、コンピュータプログラムにより単一の処理ユニットが制御されても良いし、複数の処理ユニットが制御されても良い。
該コンピュータプログラムは、例えばフラッシュメモリ又はコンパクトディスク若しくはハードディスクのような、標準的な内蔵される又は着脱可能な記憶装置において取り扱われ得る。該コンピュータプログラムは、組み込みソフトウェアとして計算機に組み込まれても良いし、標準的なメモリ装置の1つから予めロードされる又はロードされるようにしても良い。該コンピュータプログラムは、機械語コード又はアセンブリ語コードのような既知のいずれのコードで設計されても良く、パーソナルコンピュータ又はサーバのような市販のいずれのプラットフォームで実行させられても良い。
該コンピュータプログラムは、前記装置の内部に保存されても良いし、光記憶ディスクのような着脱可能な記憶媒体に担持され前記装置に転送されても良い。該コンピュータプログラムは、例えばセットトップボックス、ビデオ受信器、ビデオレコーダ/プレイヤ、ハンドヘルド型モバイル通信又はエンターテインメント装置のような、種々の形態の消費者向け装置において利用され得る。該コンピュータプログラムは、パーソナルコンピュータ又は信号プロセッサのような種々のプラットフォームにおいて実装され得る。
本明細書においては、3次元表現なる語が利用されている。典型的には3次元表現は、3次元モデルに基づく特定の3次元表現フォーマットに従うデータ要素を用いて(ディジタル的に)保存される。以下、3次元データフォーマットのタイプの網羅的ではないリストが示される:
−例えばVRMLのために規定されたワイヤフレーム。これらのモデルは、線と面との構造を有する。
−体積データ構造又はボクセル(voxel)マップ(ボクセルは体積要素を意味する)。これらの体積データ構造は、要素の3次元のアレイを有する。各要素は3つの次元を持ち、プロパティの値を表現する。例えばCT(Computer tomography)データは、各要素がそれぞれのハウンズフィールド値に対応する体積データ構造として記憶される。
−例えばRGBD値を持つ2次元画像のような、奥行きマップを持つ2次元画像。このことは、各値が輝度、色及び奥行き情報を有することを意味する。
−例えばステレオ画像対又は複数ビュー画像のような、画像ベースモデル。これらのタイプの画像は、「light fields」とも呼ばれる。
本発明による方法、コンピュータプログラム及び立体視表示装置は、以上に列記した3次元データフォーマットのいずれかを用いて記述された3次元表現を用いて適用され得、またこれら3次元表現を適用するように構成される。
本例においては液晶ディスプレイが示されているが、本発明はプラズマやLEDディスプレイ等のような他の種類のディスプレイにおいても利用され得る。
レンチキュラ素子の代わりに、バリアのような他の光ディレクトリ素子が代わりに選択されても良い。
本例においては4と2/3個のビューの所謂ビューマッピングが示されたが、本発明は他の種類のマッピングにおいても利用され得る。
上述の実施例は本発明を限定するものではなく説明するものであって、当業者は添付する請求項の範囲から逸脱することなく多くの代替実施例を設計することが可能であろうことは留意されるべきである。請求項において、括弧に挟まれたいずれの参照記号も、請求の範囲を限定するものとして解釈されるべきではない。「有する(comprise)」なる語は、請求項に記載されていない要素又はステップの存在を除外するものではない。要素に先行する「1つの(a又はan)」なる語は、複数の斯かる要素の存在を除外するものではない。本発明は、幾つかの別個の要素を有するハードウェアによって、及び適切にプログラムされたコンピュータによって実装されても良い。幾つかの手段を列記したユニット請求項において、これら手段の幾つかは同一のハードウェア又はソフトウェアのアイテムによって実施化されても良い。「第1の(first)」、「第2の(second)」及び「第3の(third)」等といった語の使用はいずれの順序をも示すものではない。これらの語は名前として解釈されるべきである。
表示素子の一部を模式的に示す。 図1の表示素子の一部の平面図を模式的に示す。 4と2/3個のビューのレイアウトを持つ、本発明による立体視表示装置の表示素子を模式的に示す。 図3の4と2/3個のビューのレイアウトの所謂ビューマッピングを模式的に示す。 図3の4と2/3個のビューのレイアウトの対応するビュー番号を模式的に示す。 ビューが角度ドメインにおいてどのように配置されるか及びレンズ/画素構造にどのように対応するかを模式的に示す。 円錐の角度強度分布を模式的に示す。 本発明による立体視表示装置によるオブジェクトの復元を模式的に示す。 中央のレンチキュラから発せられる光線を模式的に示す。 入力画像として示される、傾いた白色のバーのシミュレートされた画像を示す。 本発明の方法による、角度ドメインにおける3次元表現のフィルタリングの例を模式的に示す。 光ディレクトリ素子の1つと関連する幾つかの画像要素についての表示値の計算を模式的に示す。 本発明の方法による3次元表現のフィルタリングにより、個々のレンズが全ての視角の情報を発することを模式的に示す。 先行技術による描画と、本発明による改善された描画とを用いた、傾いた白色のバーのシミュレーションを示す。 本発明による立体視表示装置を模式的に示す。

Claims (5)

  1. 表示を生成するための手段を有する立体視表示装置に供給されるべき表示値を計算する方法であって、前記立体視表示装置は、第1の平面における横方向に分離された画像要素と、それぞれが前記画像要素のそれぞれの群と関連する光ディレクトリ素子の群を有する光ディレクトリ手段とを有し、前記光ディレクトリ手段は、前記画像要素の出力を前記第1の平面に対して相互に異なる角度方向へと方向付けるために、前記第1の平面における前記画像要素上に配置され、それぞれの光ディレクトリ素子に関連付けられた前記画像要素のそれぞれの群により形成されるそれぞれのサブ円錐が互いに異なる角度オフセットを有する方法において、前記方法は、
    第1の画像要素の座標及び前記第1の画像要素により放射される光が前記第1の画像要素に関連付けられた光ディレクトリ手段によって方向付けられる角度に対応する第1の角度方向に基づいて、3次元表現から第1の中間値を決定するステップと、
    前記相互に異なる角度方向のうち前記第1の角度方向の隣の角度方向に対応する第2の角度方向及び前記第1の画像要素の座標に基づいて、前記3次元表現から第2の中間値を決定するステップと、
    前記相互に異なる角度方向のうち前記第1の角度方向の隣であって前記第2の角度方向とは逆側の角度方向に対応する第3の角度方向及び前記第1の画像要素の座標に基づいて、前記3次元表現から第3の中間値を決定するステップと、
    前記第1の中間値、前記第2の中間値及び前記第3の中間値を組み合わせて、前記第1の画像要素の出力に関する前記表示値とするステップと、
    を有する方法。
  2. 前記組み合わせるステップは、前記表示値を計算するため、前記第1の中間値と前記第2の中間値と前記第3の中間値との平均を計算するステップを有する、請求項1に記載の方法。
  3. 前記平均を計算するステップは、加重平均を計算するステップを有する、請求項2に記載の方法。
  4. 表示を生成するための手段を有する立体視表示装置であって、前記立体視表示装置は、第1の平面における横方向に分離された画像要素と、それぞれが前記画像要素のそれぞれの群と関連する光ディレクトリ素子の群を有する光ディレクトリ手段とを有し、前記光ディレクトリ手段は、前記画像要素の出力を前記第1の平面に対して相互に異なる角度方向へと方向付けるために、前記第1の平面における前記画像要素上に配置され、それぞれの光ディレクトリ素子に関連付けられた前記画像要素のそれぞれの群により形成されるそれぞれのサブ円錐が互いに異なる角度オフセットを有する立体視表示装置において、前記立体視表示装置は更に、
    第1の画像要素の座標及び前記第1の画像要素により放射される光が前記第1の画像要素に関連付けられた光ディレクトリ手段によって方向付けられる角度に対応する第1の角度方向に基づいて、3次元表現から第1の中間値を決定するための第1の決定手段と、
    前記相互に異なる角度方向のうち前記第1の角度方向の隣の角度方向に対応する第2の角度方向及び第1の画像要素の座標に基づいて、前記3次元表現から第2の中間値を決定するための第2の決定手段と、
    前記相互に異なる角度方向のうち前記第1の角度方向の隣であって前記第2の角度方向とは逆側の角度方向に対応する第3の角度方向及び前記第1の画像要素の座標に基づいて、前記3次元表現から第3の中間値を決定する第3の決定手段と、
    前記第1の中間値、前記第2の中間値及び前記第3の中間値を組み合わせて前記表示値とするための組み合わせ手段と、
    前記第1の画像要素に前記表示値を供給し前記第1の画像要素の出力を生成するための供給手段と、
    を有する立体視表示装置。
  5. 表示を生成するための手段を有する立体視表示装置に供給されるべき表示値を計算するための命令を有する、コンピュータ装置によりロードされるコンピュータプログラムであって、前記立体視表示装置は、第1の平面における横方向に分離された画像要素と、それぞれが前記画像要素のそれぞれの群と関連する光ディレクトリ素子の群を有する光ディレクトリ手段とを有し、前記光ディレクトリ手段は、前記画像要素の出力を前記第1の平面に対して相互に異なる角度方向へと方向付けるために、前記第1の平面における前記画像要素上に配置され、それぞれの光ディレクトリ素子に関連付けられた前記画像要素のそれぞれの群により形成されるそれぞれのサブ円錐が互いに異なる角度オフセットを有し、前記コンピュータ装置は処理手段及びメモリを有し、前記コンピュータプログラムは、ロードされた後、前記処理手段に、
    第1の画像要素の座標及び前記第1の画像要素により放射される光が前記第1の画像要素に関連付けられた光ディレクトリ手段によって方向付けられる角度に対応する第1の角度方向に基づいて、3次元表現から第1の中間値を決定するステップと、
    前記相互に異なる角度方向のうち前記第1の角度方向の隣の角度方向に対応する第2の角度方向及び前記第1の画像要素の座標に基づいて、前記3次元表現から第2の中間値を決定するステップと、
    前記相互に異なる角度方向のうち前記第1の角度方向の隣であって前記第2の角度方向とは逆側の角度方向に対応する第3の角度方向及び前記第1の画像要素の座標に基づいて、前記3次元表現から第3の中間値を決定するステップと、
    前記第1の中間値、前記第2の中間値及び前記第3の中間値を組み合わせて、前記第1の画像要素の出力に関する前記表示値とするステップと、
    を実行する機能を提供するコンピュータプログラム。
JP2008526601A 2005-08-19 2006-08-17 立体視表示装置 Active JP5366547B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP05107636.2 2005-08-19
EP05107636 2005-08-19
PCT/IB2006/052840 WO2007020600A2 (en) 2005-08-19 2006-08-17 A stereoscopic display apparatus

Publications (2)

Publication Number Publication Date
JP2009505149A JP2009505149A (ja) 2009-02-05
JP5366547B2 true JP5366547B2 (ja) 2013-12-11

Family

ID=37735147

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008526601A Active JP5366547B2 (ja) 2005-08-19 2006-08-17 立体視表示装置

Country Status (7)

Country Link
US (1) US8208011B2 (ja)
EP (1) EP1922882B1 (ja)
JP (1) JP5366547B2 (ja)
CN (1) CN101243694B (ja)
AT (1) ATE551839T1 (ja)
RU (1) RU2424631C2 (ja)
WO (1) WO2007020600A2 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101387366B1 (ko) * 2007-06-27 2014-04-21 삼성전자주식회사 다시점 입체 영상 표시 장치 및 영상 표시 방법
EP2250820A2 (en) * 2008-02-08 2010-11-17 Koninklijke Philips Electronics N.V. Autostereoscopic display device
JP5514219B2 (ja) * 2008-10-28 2014-06-04 コーニンクレッカ フィリップス エヌ ヴェ 三次元表示システム
CN102224737B (zh) * 2008-11-24 2014-12-03 皇家飞利浦电子股份有限公司 组合三维视频和辅助数据
KR101531391B1 (ko) * 2008-12-18 2015-06-25 코닌클리케 필립스 엔.브이. 자동입체 디스플레이 디바이스
JP2011030179A (ja) * 2009-06-29 2011-02-10 Sony Corp 画像データ送信装置、制御方法およびプログラム
JP5791818B2 (ja) * 2011-11-01 2015-10-07 コーニンクレッカ フィリップス エヌ ヴェ 突出ベース視差マッピング
JP5752638B2 (ja) * 2012-04-26 2015-07-22 株式会社東芝 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置
CN104272171A (zh) * 2012-04-30 2015-01-07 惠普发展公司,有限责任合伙企业 为显示器呈现3d图像的系统和方法
US9967546B2 (en) 2013-10-29 2018-05-08 Vefxi Corporation Method and apparatus for converting 2D-images and videos to 3D for consumer, commercial and professional applications
US20150116458A1 (en) 2013-10-30 2015-04-30 Barkatech Consulting, LLC Method and apparatus for generating enhanced 3d-effects for real-time and offline appplications
US10158847B2 (en) 2014-06-19 2018-12-18 Vefxi Corporation Real—time stereo 3D and autostereoscopic 3D video and image editing
US10375379B2 (en) * 2015-09-17 2019-08-06 Innolux Corporation 3D display device
CN106254753B (zh) 2015-12-31 2019-03-12 北京智谷睿拓技术服务有限公司 光场显示控制方法和装置、光场显示设备
RU2729166C1 (ru) * 2019-11-29 2020-08-04 Самсунг Электроникс Ко., Лтд. Нейронная точечная графика

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6392689B1 (en) * 1991-02-21 2002-05-21 Eugene Dolgoff System for displaying moving images pseudostereoscopically
GB9513658D0 (en) * 1995-07-05 1995-09-06 Philips Electronics Uk Ltd Autostereoscopic display apparatus
JPH09139829A (ja) * 1995-11-16 1997-05-27 Matsushita Electric Ind Co Ltd 3次元画像ファクシミリ装置
US6064424A (en) 1996-02-23 2000-05-16 U.S. Philips Corporation Autostereoscopic display apparatus
JP3769850B2 (ja) * 1996-12-26 2006-04-26 松下電器産業株式会社 中間視点画像生成方法および視差推定方法および画像伝送方法
GB9623682D0 (en) * 1996-11-14 1997-01-08 Philips Electronics Nv Autostereoscopic display apparatus
US6859240B1 (en) 2000-01-27 2005-02-22 Mems Optical Inc. Autostereoscopic display
GB0003311D0 (en) * 2000-02-15 2000-04-05 Koninkl Philips Electronics Nv Autostereoscopic display driver
JP4174001B2 (ja) * 2002-09-27 2008-10-29 シャープ株式会社 立体画像表示装置、記録方法、及び伝送方法
AU2002952872A0 (en) * 2002-11-25 2002-12-12 Dynamic Digital Depth Research Pty Ltd Image generation
JP3955002B2 (ja) * 2003-09-09 2007-08-08 三洋電機株式会社 映像表示装置
PL3522529T3 (pl) 2005-04-29 2021-09-20 Koninklijke Philips N.V. Stereoskopowe urządzenie wyświetlające

Also Published As

Publication number Publication date
EP1922882B1 (en) 2012-03-28
WO2007020600A2 (en) 2007-02-22
RU2008110492A (ru) 2009-09-27
ATE551839T1 (de) 2012-04-15
CN101243694B (zh) 2010-12-22
JP2009505149A (ja) 2009-02-05
CN101243694A (zh) 2008-08-13
EP1922882A2 (en) 2008-05-21
RU2424631C2 (ru) 2011-07-20
US8208011B2 (en) 2012-06-26
WO2007020600A3 (en) 2007-06-21
US20080225114A1 (en) 2008-09-18

Similar Documents

Publication Publication Date Title
JP5366547B2 (ja) 立体視表示装置
JP4764305B2 (ja) 立体画像生成装置、方法およびプログラム
US9183669B2 (en) Method and apparatus for virtual viewpoint synthesis in multi-viewpoint video
US9595128B2 (en) Depth dependent filtering of image signal
KR101675961B1 (ko) 적응적 부화소 렌더링 장치 및 방법
KR100596686B1 (ko) 화상생성장치 및 방법
US7652674B2 (en) On the fly hardware based interdigitation
US10237539B2 (en) 3D display apparatus and control method thereof
US20130127861A1 (en) Display apparatuses and methods for simulating an autostereoscopic display device
KR101732836B1 (ko) 셰이더 기반의 그래픽스 콘텐츠에 대한 뷰잉 배향에 의한 입체 변환
RU2562759C2 (ru) Морфологическое сглаживание (мс) при повторном проецировании двухмерного изображения
JP2009528587A (ja) 出力画像のレンダリング
KR20160021968A (ko) 영상 처리 방법 및 장치
CN103562963A (zh) 用于角切片真3d显示器的对准、校准和渲染的系统和方法
TW201618042A (zh) 用於產生三維影像之方法及裝置
Berning et al. A study of depth perception in hand-held augmented reality using autostereoscopic displays
WO2019050038A1 (ja) 画像生成方法および画像生成装置
CN111047709A (zh) 一种双目视觉裸眼3d图像生成方法
KR101975246B1 (ko) 다시점 영상 디스플레이 장치 및 그 제어 방법
WO2014119555A1 (ja) 画像処理装置、表示装置及びプログラム
CN112801921B (zh) 3d图像处理优化方法、装置、存储介质和电子设备
US20230306676A1 (en) Image generation device and image generation method
JP2014150402A (ja) 表示装置及びプログラム
US11172190B2 (en) Stereo weaving for head-tracked autostereoscopic displays
US20230350344A1 (en) Information processing device, information processing method, program, and hologram display system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090814

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110922

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120419

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120718

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120912

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130226

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130524

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130531

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20130719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130724

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130815

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130910

R150 Certificate of patent or registration of utility model

Ref document number: 5366547

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350