JP6242818B2 - 裸眼立体ディスプレイ装置及び駆動方法 - Google Patents

裸眼立体ディスプレイ装置及び駆動方法 Download PDF

Info

Publication number
JP6242818B2
JP6242818B2 JP2014556996A JP2014556996A JP6242818B2 JP 6242818 B2 JP6242818 B2 JP 6242818B2 JP 2014556996 A JP2014556996 A JP 2014556996A JP 2014556996 A JP2014556996 A JP 2014556996A JP 6242818 B2 JP6242818 B2 JP 6242818B2
Authority
JP
Japan
Prior art keywords
display
views
viewer
view
different
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014556996A
Other languages
English (en)
Other versions
JP2015515165A (ja
Inventor
デル ホルスト,ジャン ファン
デル ホルスト,ジャン ファン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DIMENCO BV
Original Assignee
DIMENCO BV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DIMENCO BV filed Critical DIMENCO BV
Publication of JP2015515165A publication Critical patent/JP2015515165A/ja
Application granted granted Critical
Publication of JP6242818B2 publication Critical patent/JP6242818B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/349Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/351Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/356Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359Switching between monoscopic and stereoscopic modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/368Image reproducers using viewer tracking for two or more viewers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/373Image reproducers using viewer tracking for tracking forward-backward translational head movements, i.e. longitudinal movements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/376Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers

Description

本発明は、ディスプレイを作成するために表示画素のアレイを有する表示パネルと、異なるビューを異なる空間位置に向けるイメージング配置(imaging arrangement)とを備えるタイプの裸眼立体ディスプレイ装置に関する。
上記のタイプのディスプレイに使用するイメージング配置の最初の例は、例えば、表示の基礎となる画素に関連させた大きさ及び位置にあるスリットを有するバリアである。ツービュー(two-view)設計においては、閲覧者は、頭部が固定位置にある場合に三次元画像を認識することができる。バリアは、表示パネルの前に位置付けられ、奇数及び偶数の画素列からの光が、閲覧者の左右の目それぞれに向けられるように設計される。
このタイプのツービューディスプレイ設計の欠点は、閲覧者が固定位置にいなければならず、また、約3cmしか左右に移動できないことである。さらに好適な実施形態においては、各スリットの真下に、二つではないが、幾つかの副画素列がある。それにより閲覧者は、左右に動くことができ、常に閲覧者の目でステレオ画像を認識できる。
バリア配置は、容易に作成できるが、光の効率が悪い。したがって、好適な代替案は、レンズ配置をイメージング配置として使用することである。例えば、細長いレンズ状要素のアレイは、互いに平行に延在し、表示画素アレイを覆いながら設けられ、表示画素は、これらのレンズ状要素を通って観察される。
レンズ状要素は、一枚の要素として設けられ、各要素は、それぞれ細長い半円筒状のレンズ要素を備えている。レンズ状要素は、それぞれのレンズ状要素が、表示画素の二つ以上の隣接する列のそれぞれのグループに覆い被さる状態で、表示パネルの列方向に延在する。
各レンチキュラーが表示画素の二つの列と関連付けられている配置においては、各列における表示画素は、それぞれの二次元の副画像の垂直スライスをもたらす。レンチキュラーシートは、これらの二つのスライス及び対応するスライスを、その他のレンチキュラーと関連する各表示画素列から、シートの前方に位置するユーザの左右の目に向け、それによりユーザは、一つの立体画像を見る。したがって、レンズ状要素のシートは、光出力配向機能を提供する。
別の配置において、レンチキュラーは、それぞれ行方向の四つ以上の隣接する表示画素のグループに関連付けられる。各グループの表示画素の対応する列は、それぞれの二次元の副画像から垂直スライスを設けるように適宜配置される。ユーザの頭部が左から右に移動すると、一連の連続する異なる立体ビューは、例えば、辺りを見回す印象を作り出すように認識される。
上述の装置は、効果的な三次元表示を提供する。しかしながら、立体視を提供するために、装置の水平解像度を犠牲にするのは避けられないことが理解されるであろう。垂直レンチキュラーレンズを用いたn個のビューの三次元表示の場合、水平方向に沿った各ビューの認識される解像度は、二次元の場合と比較すると、1/nに縮小される。垂直方向においては、解像度は同じ状態のままである。傾斜させたバリア又はレンチキュラーの使用によって、水平方向の解像度と垂直方向の解像度との間のこの視差を低減することができる。その場合、解像度の低下は、水平方向と垂直方向の間で均等に分配され得る。
個々のビューは、それぞれいわゆる視円錐内にあり、これらの視円錐は、一般的に視野を横切って繰り返す。
視聴体験は、閲覧者が三次元モニタ又は三次元テレビの視聴場所の選定に対して、完全に自由ではないという事実によって阻害される。視円錐間の境界においては、三次元効果が無くなり、煩わしいゴースト画像が現れるからである。
これらのいわゆる円錐移行(cone transitions)は、既知の裸眼立体ディスプレイに対する第一の問題を示している。閲覧者の目の位置を追跡する、頭部追跡法を使用することが知られている。表示された映像は、次に閲覧者の位置により制御でき、それにより視円錐移行を回避できる。
別の問題は、ステレオ画像コンテンツ用にさまざまなフォーマットが存在することである。ほとんどのコンテンツは、現在のところ、ツービューストリームにおいて二つの別々の画像として設けられる。ほとんどのマルチビュー(multi-view)ディスプレイは、奥行推定に基づくデジタル変換を新しいビューの補間に使用しない限り、ツービューストリームには適していない。同様に、ツービューディスプレイは、ツービューストリームを用いてのみ使用でき、複数の閲覧者用に構成できない。それゆえ、3D認識は、非常に狭い範囲の視聴距離内でのみ可能である。
従って、より柔軟なシステムが必要である。
本発明によると、独立請求項において請求するように、裸眼立体ディスプレイ装置及び方法を提供する。
一態様においては、本発明は、
裸眼立体ディスプレイ装置であって、
画素化した表示パネルと、
異なる画像を同時に表示できる少なくとも三つの表示領域が定義されるように、前記表示パネルの異なる表示画素と関連している光を異なる方向に向けるイメージング配置と、
閲覧者を追跡し、前記表示パネルに対する閲覧者の位置を求める閲覧者追跡システムと、
画像内容を処理して前記表示パネルを駆動するプロセッサと
を備え、
前記プロセッサは、前記表示パネルを駆動して、少なくとも前記表示パネルからの前記閲覧者の距離に応じて複数の異なるビューを表示する、裸眼立体ディスプレイ装置を提供する。
この配置は、ビューが異なる視聴位置に(ディスプレイの物理的/光学的設計によって定義されるように)割り当てられる方法を、閲覧者の位置によって動的に制御できるようにする。これにより、画像鮮鋭度を向上させることができ、円錐の境界移行を回避できるようにする。ビューの重なりが高い場合、例えば、対象物が元の表示面のずっと前方で又はずっと後方で撮像されると、鮮鋭度は低下する。
円錐内の異なるビューの数を削減することは、ビューの重なりを軽減する。
第一の視聴距離に対しては、第一の数のビューを表示することができ、第二のより離れた視聴距離に対しては、第二のより多くの数のビューが表示される。
これにより、例えば、間近で見ている一人の閲覧者用のツービュー(two view)モード(一つの裸眼立体視モード)から、複数の閲覧者又は離れている閲覧者のための複数ビューモード(すなわち、複数の裸眼立体ビュー)に、表示を切り替えることができる。閾値未満の視聴距離に対しては、合計で二つのビューが表示される。
各ビューは、複数の表示出力円錐として繰り返すことができ、距離の閾値は、円錐幅が当該距離において、15cmから40cmの範囲内の閾値未満になるような値であってもよい。これは、円錐幅が閲覧者の眼の間隔よりも数倍、例えば3〜4倍大きいことを意味する。
プロセッサは、閲覧者の移動速度を導き出すように構成することもでき、前記速度が第一の閾値を超える場合、異なるビューの数は、1に設定される。これは、閲覧者が複数のビューに対して速く動き過ぎて確実に位置付けできない場合、二次元モードが可能になることを意味する。また、速度が閾値(同一又は異なる)を超える場合、例えば、追跡システムが追跡できるよりも速く閲覧者が動いていることが検知されると、異なるビューの順序は、円錐移行の可視性を弱めるように変更可能である。円錐移行の問題は、例えば、国際公開第2005/091050号で議論されている。
各視円錐内では、第一組のビューは、それぞれの一つの表示領域にのみ表示でき、第二組のビューは、それぞれ少なくとも二つの隣り合う表示領域に表示される。ユーザに見えないビュー(閲覧者の位置に基づいて分かる)には、閲覧者が見ることができるビューの繰り返しである画像を備えることでき、これが、ビューの数を再び削減し、それによってクロストークを軽減して鮮鋭度を向上させる。
別の態様において、本発明は、
異なる画像を同時に表示できる少なくとも三つの表示領域が定義されるように、画素化した表示パネルの異なる表示画素と関連している光を異なる方向に向けることと、
閲覧者を追跡し、前記表示パネルに対する前記閲覧者の位置を求めることと、
画像内容を処理し、少なくとも前記表示パネルからの前記閲覧者の距離に応じて複数の異なるビューを表示するように前記表示パネルを駆動することと
を備える、裸眼立体ディスプレイ装置を駆動する方法を提供する。
本発明は、表示パネルを駆動する前に画像データを処理するように構成されたコンピュータプログラムとして実装可能である。
添付の図面を参照しながら、純粋に実施例を用いて本発明の実施形態をこれから説明する。
既知の裸眼立体ディスプレイ装置の概略斜視図である。 レンズ状のアレイがどのようにして異なるビューを異なる空間位置に提供するかを示している。 バリア配置がどのようにして異なるビューを異なる空間位置に提供するかを示している。 マルチビュー裸眼立体ディスプレイのレイアウトの断面を示している。 図4を拡大した図である。 一連の円錐のそれぞれにおいて生成されるビューは同一のものである、9個のビューシステムを示している。 本発明のディスプレイ装置の一実施例を示している。 本発明のディスプレイ装置がどのようにして表示出力を制御できるかの第一実施例を示している。 本発明のディスプレイ装置がどのようにして表示出力を制御できるかの第二実施例を示している。 本発明のディスプレイ装置がどのようにして表示出力を制御できるかの第三実施例を示している。
本発明は、閲覧者追跡システムが表示パネルに対する閲覧者の位置を求める裸眼立体ディスプレイ装置を提供する。表示パネルは、少なくとも表示パネルからの閲覧者の距離に応じて複数の異なるビューを表示するように制御される。これにより、閲覧者の位置に対して、また必要に応じて閲覧者の移動速度に対して、ビューの数を最適化できる。
既知の裸眼立体ディスプレイ設計についてまず説明を行う。
図1は、既知の直視式裸眼立体ディスプレイ装置1の概略斜視図である。当該装置1は、ディスプレイを作成するために、空間光変調器として機能するアクティブマトリックス型の液晶表示パネル3を備える。
表示パネル3は、行及び列に配置された直交配列の表示画素5を有する。明確にするために、少数の表示画素5だけを図に示している。実際には、表示パネル3は、約千個の行と数千個の列の表示画素5を備えていてもよい。
液晶表示パネル3の構造は、全面的に従来のものである。特に、パネル3は、一組の間隔をあけた透明ガラス基板を備え、その間隔の間には、ねじられて配列されたネマチック液晶材料又は他の液晶材料が設けられる。各基板は、それらの対向面上の透明な酸化インジウムスズ(ITO:indium tin oxide)電極のパターンを保持する。各基板の外面には、偏光層も設けられる。
各表示画素5は、基板上に対向電極を備え、対向電極の間に液晶材料を介在させている。表示画素5の形状及びレイアウトは、各電極の形状やレイアウトによって決定される。表示画素5は、ギャップによって規則正しく互いに間隔をあけている。
各表示画素5は、薄膜トランジスタ(TFT:thin film transistor)又は薄膜ダイオード(TFD:thin film diode)などのスイッチング要素に関連している。表示画素は、アドレス指定信号をスイッチング要素に与えることによってディスプレイを作成するように操作され、適切なアドレス指定方式は、当業者に既知である。
表示パネル3は、光源7によって照明され、光源7は、ここでは、表示画素アレイの領域上に延在する平面バックライトを備えている。光を変調してディスプレイを作成するように個々の表示画素5を駆動させながら、光源7からの光は、表示パネル3を通って向けられる。
ディスプレイ装置1は、表示パネル3の表示側の上に配置されたレンチキュラーシート9も備え、該レンチキュラーシートは、ビュー形成機能を実行する。レンチキュラーシート9は、互いに平行に延在するレンズ状要素11の行を備え、明確にするために、誇張した寸法で一つだけ示されている。
レンズ状要素11は、凸状の円筒形レンズの形状であり、光出力配向手段として機能して、ディスプレイ装置1の前に位置するユーザの目に、表示パネル3から異なる画像又はビューを提供する。
図1に示される裸眼立体ディスプレイ装置1は、異なる方向に幾つかの異なる透視図を提供することができる。特に、各レンズ状要素11は、それぞれの行の少数グループの表示画素5の上に覆い被さる。レンズ状要素11は、幾つかの異なるビューを形成するように、異なる方向に一つのグループの各表示画素5を投影する。ユーザの頭部が左から右に移動すると、ユーザの目は、順に、幾つかのビューのうちの異なるビューを受け取る。
図2は、上述したようなレンチキュラータイプのイメージング配置の操作の原理を示し、さらに、バックライト20、液晶ディスプレイなどのディスプレイ装置24、及びレンチキュラーアレイ28を示している。図2は、レンチキュラー配置28がどのようにして異なる画素出力を三つの異なる空間位置に向けるのかを示している。
図3は、バックライト20、バリア装置22及び液晶ディスプレイなどのディスプレイ装置24を示すバリアタイプのイメージング配置の操作の原理を示している。図3は、バリア装置22がどのようにしてパターン化された光出力を行うのかを示している。これは、異なる画素が、断続的な光源領域によって照明されることを意味し、光配向機能が実行されるという効果を伴うものである。図示するように、一つのビュー用の各画素29aは、一方向から照明され、別のビュー用の各画素29bは、別の方向から照明される。
閲覧者の両眼は、ディスプレイの異なる画素によって変調された光を受ける。
本発明は、以下に説明するビューの繰り返しの問題に一部関係している。
図4は、マルチビュー裸眼立体ディスプレイのレイアウトの断面を示している。ある特定のレンチキュラーレンズの下にある各画素は、特定のビューに寄与する。このレンズの下の全ての画素は、共にビューの円錐に寄与する。この円錐の幅は、幾つかのパラメータの組み合わせによって決定され、該幅は、画素平面からレンチキュラーレンズの平面までの距離Dによっても決まる。また、該幅は、レンズピッチPLによっても決まる。
図5は、図4を拡大した図であり、ディスプレイ装置24の画素によって放射された光が、該画素に最も近いレンチキュラーレンズによってだけでなく、レンチキュラー配置のうちの近接するレンズによっても集光されることを示している。これが、繰り返されるビュー円錐の発生の根拠である。
これらのパラメータに対する円錐の角度の大きさΦの依存性は、以下の関係によって(近似によって)左右される。
Figure 0006242818
この数式において、nは、画素平面とレンチキュラーレンズの平面との間にある物質の屈折の平均指数である(一般的に、nは、1.0(空気)から1.6の範囲にある)。PLは、純粋な平面方向のピッチであり、Dは、レンズベースから画素構造までの距離である。
なお、二つのビューの間の角度間隔が小さければ小さいほど、三次元効果はより高くなるが、移動の自由度はより低くなる。
それぞれの円錐で生成された対応するビューは、同じものである。この効果は、図6において、9個のビューシステム(すなわち、各円錐において9個のビュー)として概略的に示されている。
三次元効果と解像度の犠牲との間で許容できる妥協点を得るために、ビューの合計数を通常9個または15個に制限する。これらのビューの角度幅は、一般に1°から2°である。各ビュー及び各円錐は、周期的なものであるという特性を有する。ユーザがディスプレイ装置の周りを歩く場合、ユーザは隣接する各視円錐との間の境界を横切ることとなる。ある特定の領域では、両目における各画像は、図6の右側に示される閲覧者に関しては、適切にマッチしない。例えば9個のビューシステムの場合、左目は、例えば9番目の画像を受け取り、右目は、例えば1番目の画像を受け取ることとなる。まず、左右の画像が反対になり、つまり画像が逆視(pseudoscopic)であることを意味する。次に、さらに深刻なことは、各画像間に非常に大きな視差が存在することである。これは、「超逆視(super pseudoscopic)」として見なされる。閲覧者が円錐の境界を横切って移動すると、非常に煩わしい断続的な飛越し(jumps)が見られる。
閲覧者の左右の目に向けられるビューは、わずかに異なるので(例えば、左目にビュー4、右目にビュー5をそれぞれ向ける)、ある特定の円錐内に完全に位置する閲覧者(例えば、図6で左側にいる閲覧者)だけは、三次元効果を体験することとなる。
本発明は、閲覧者追跡システムを使用して、少なくとも閲覧者の位置を追跡し(それによって表示画面からの距離を導き出す)、また、閲覧者の特に横方向の移動速度も必要に応じて追跡する。
図7に本発明のシステムを概略方式で示す。
裸眼立体ディスプレイ70は、(例えば、図6に示すように)画像円錐を繰り返して複数のビューを表示するように設計される。
画像データ72が受信される。該画像データは、ツービュー(two view)画像データを備えていてもよく、その場合、ディスプレイをツービューモードで起動できる。代わりに、画像処理技術によって、追加のビューを補間することができる。
しかしながら、画像データは、ディスプレイ70が設計される視円錐ごとのビューの数に対応するいくつかの異なるビューの形式で提供されるのが好ましい。
閲覧者追跡システム74が設けられる。該システムによって、少なくとも表示パネルからの閲覧者76の距離dを求めることができるだけでなく、必要に応じて閲覧者の移動速度vや図で横方向に示された少なくとも該速度の成分も求めることが可能である。
画像データは、取得した閲覧者追跡情報を利用して、ディスプレイ70を駆動させる前にプロセッサ78によって処理される。
本発明のシステムは、閲覧者の位置及び/又は移動速度に基づいて、表示されるビューの数や順序を変更できる。
閲覧者追跡システム74は、記録された画像又は映像内の顔の位置及び大きさを測定できる顔又は人追跡システムであってもよい。追跡システムは、例えば目の距離を測定することによって、或はステレオカメラを使用して閲覧者の顔を分析することによって、閲覧者の距離dを導き出すことができる。閲覧者追跡システムは、例えば、画像処理顔追跡アルゴリズム、レーダーシステム、着用可能な表示器に基づくシステム、赤外線赤目発生器及び検出器に基づくことができる。
いかなる既知の顔追跡システム、身体追跡システム、又は距離測定システムも使用可能であり、それにより少なくとも閲覧者に対する距離dを求めることが可能になる。
ディスプレイ70の物理的設計は、本発明のシステムによって変更されない。従って、本発明によって実行され得る各方法は、画像処理及び表示駆動に基づいている。
本発明のシステムは、ディスプレイ70の物理的設計によって定義される異なる表示領域への画像の割り当てを制御する。例えば最大数のビューが表示される場合には、異なる画像が適用されたであろう二つの表示領域に同一の画像内容を与えることによって、表示するビューの数をより少なくできる。
一般に、ある特定の表示設計によって表示されるビューの数を少なくすることは、移動の自由度と可能な閲覧者数を犠牲にして、三次元画像の鮮明さを向上させる。ディスプレイのユーザ、特に閲覧者の距離を追跡することによって、ユーザにとって最適な数の異なる画像を決定することができる。
裸眼立体ディスプレイの円錐幅Wcは、ディスプレイが設計される光学構成と視聴距離Dvによって決まる。上記に説明したように、光学構成は、円錐の角度の大きさを定義する。視円錐の幅は、以下の式によって求められる。
C=2*VtanΦ/2
この関係は、角度の大きさを視聴距離DVにおける実際の幅に結び付ける。
本発明のシステムは、以下に説明されるさまざまな実行可能な方法を実施するように制御可能である。
第一の実施例について図8及び図9を参照して説明する。当該実施例においては、観測者がディスプレイに近ければ近いほど、ディスプレイによって表示される画像の数が少なくなる。
図8は、ディスプレイに近い閲覧者を示しており、ディスプレイは、二つのビュー(右「R」と左「L」)だけを表示するように構成される。二つのビューを表示するために、当該二つのビューは、各円錐内のさまざまな表示領域に繰り返される。例えば、ディスプレイの光学構成が9個のビューのシステムとして設計される場合、5個/4個の左ビューと及び4個/5個の右ビューを表示することができる。これは、ビューの解像度を上げないが、クロストークを軽減し、それにより画像ブレを軽減する。
視聴距離が閾値未満の場合に、ディスプレイは、ツービュー(two view)モードに切り替え可能である。例えば、モード切替は、両眼の間隔が円錐幅の0.25倍より大きくなるような視聴距離dの場合に行うことができる。比率が0.25未満になる場合、二つのビューより多いビューを有する裸眼立体モードにディスプレイを切り替えることができる。0.25の閾値は、例えば0.2から0.3の間、或いは0.1から0.5の間などの別の値でもよい。
0.25の閾値に基づいて、以下の関係が保持される。
E/Wc>0.25の場合、NV=2
E/Wc<=0.25の場合、NV>2
ここで、Nvはビューの数であり、Eは、両眼の間隔である。
固定された両眼の間隔は、例えば6cmに想定することができる。この場合、円錐幅の閾値Wcは、24cmである。この閾値は、例えば、15cmから40cmの間のどこでもよい。
図9は、閲覧者がディスプレイから離れた状態であり、その結果複数ビューのモードで作動するディスプレイを示している。9つの異なる(−4から+4までの番号が振られた)ビューが示されている。
システムは、閲覧者の移動速度の検知にも使用できる。閲覧者が、追跡装置が追える速度よりも速い速度で動く場合、ディスプレイは、円錐の境界を越える際に、ユーザが左右反転画像を見ないように、シングルビューモード(二次元モード)に再び切り替えることができる。
速度追跡の別の使用法は、追跡装置が追える速度よりも移動が速い場合、円錐幅を横切る視点の順序を非線形順序に変更することである。これは、円錐移行の可視性を弱めるために実行させることができる。例えば、円錐内の(9つのビューシステムの)ビューの順序は、図9に示す−4、−3、−2、−1、0、1、2、3、4の代わりに、−1、−3、−2、−1、0、1、2、3、1でもあってもよい。
このように、ビュー4及びビュー−4を見る可能性は、円錐の境界で回避される。上記の9つの異なるビューの代わりに、ビュー番号の最大差は、2である(視円錐内のビュー3とビュー1、或いは、円錐境界におけるビュー1とビュー−1)。
したがって、隣接して表示されるビューのビュー番号の最大差は、2に設定可能である。
ディスプレイは、視聴距離補正が最も効果的になるように設計可能である。例えば、(ディスプレイが設計される)既定の視聴距離において、円錐幅が、目の距離Eの4倍未満、例えば30cm未満になるように、ディスプレイを設計できる。円錐幅は、おおよそ20cmに相当する、目の距離Eの3倍未満の大きさになるように設計されてもよい。既定の視聴距離は、例えば、ディスプレイ幅の2倍に等しい距離でもよい。
このように、距離システムは、閲覧者がディスプレイから設計された距離にある場合はツービューモードに切り替わり、閲覧者が更に離れている場合はより多くのビューを提供するだけである。したがって、既定の距離は、ディスプレイをモニタとして使用する単一のクローズアップビューのためのものであるが、ディスプレイは、複数のユーザによってより離れた視聴距離で使用することもできる。
図10を参照して、本発明のシステムを使用する更なる方法を説明する。
この場合、ビューの数は二つよりも多いが、可能な最大数(図示の実施例においては9つ)未満である。目に見えるクロストーク(crosstalk)の量は、閲覧者には見えないビューを(たとえビューがわずかに動くとしても)閲覧者に見えるビューと同様に円錐内に設定することによって軽減される。このように、第一組のビュー(ビュー1、0及び−1)は、それぞれ一つの表示領域にのみ表示され、第二組のビュー(ビュー2及び−2)は、それぞれ少なくとも二つの隣り合う表示領域に表示される。
図示の実施例において、中央のビューは一度表示され、側端部のビューは、三回表示される。
しかしながら、これは閲覧者の位置によって決まる。例えば、閲覧者(限られた範囲で移動可能)に向けられる画像は、全て一度表示することができ、また、残りの視聴位置には、同一のビューを提供することができる。これは、通常、二つ又は三つの画像を一度に表示させ(図示の実施例では、−1、0、−1の3つ)、他の二つの画像だけを他の全てのビュー(2、−2)に使用する。
このように、円錐内に表示される各画像は、円錐内の閲覧者の相対位置によって選択される。
本発明は、特にモニタサイズディスプレイに適用可能であり、該ディスプレイは、より離れた距離にいる複数の閲覧者用のモードと、一人の閲覧者がすぐ近くからディスプレイを使用している構成との間で切り替えが可能であり、近くから使用する場合、ディスプレイは、最も鮮明なモードであるツービューシステムに切り替えることができる。
複数の閲覧者がいる場合、閲覧者追跡システムは、ディスプレイに最も近い閲覧者を探すことができ、また、この最も近い閲覧者を利用して、表示モードを切り替えるかどうかを判断できる。代わりに、ディスプレイは、二人以上の閲覧者が検知されるときはいつでも複数ビューモードのままにすることが可能であり、追跡される閲覧者が一人である場合、また、その一人の閲覧者が表示パネルに近い場合に限って、ツービューモードに切り替えができる。
本発明は、バリアシステム又はレンチキュラーシステムに使用でき、或いは、例えばマイクロレンズを使用する全く他の光学システムに使用できる。
ユーザがツービューモードと複数ビューモードとの間で選択できる手動オーバーライドがあってもよい。
本発明は、液晶ディスプレイに関連して説明されてきたが、有機発光ダイオード(OLED)ディスプレイなどの他の表示技術に適用することができる。
システムに対する入力データが(二次元及び奥行き情報、又はマルチビュー画像ではなく)二つのビューしか含まない場合、システムは、ステレオからマルチビュー変換することを含むことができる。
システムに対する入力データが二次元及び奥行き情報の場合、ディスプレイが少数のビュー又はステレオ(ツービュー)モードに切り替わるときに、奥行き情報をスケール変更することができる。例えば、生成された視差を少なくとも20%拡大させて、奥行き効果を向上させることができる。
システムに対する入力データがマルチビュー画像である場合、どの組のビューをステレオ(ツービュー)モードに使用するかを選択できる。例えば、通常の構成よりもさらに離れたビューを選択することができる。例えば、ビュー0とビュー1は、通常、左右に投影される。代わりに、ビュー0とビュー2、又はビュー0とビュー3を選択してもよい。ビュー−3及びビュー3でも使用可能である。各ビュー内のクロストークはもはや制限要因ではないため、上記各ビューは選択肢となる。
開示された実施形態に対する他の変形は、請求された本発明を実行する際に、各図面、開示、及び添付の請求項の検討から、当業者によって理解され、実施され得る。請求項では、「備える」という用語は、他の要素や段階を除外するものではなく、また、単数は複数を除外するものではない。ある特定の各方法が、互いに異なる従属項に引用されるという事実は、単に、これらの方法の組み合わせは、利益をもたらす為に使用することができないということを示すのではない。請求項のいかなる引用符号も範囲を制限するものとして解釈されるべきではない。

Claims (10)

  1. 裸眼立体ディスプレイ装置であって、
    画素化した表示パネルと、
    異なる画像を同時に表示できる少なくとも三つの表示領域が定義されるように、前記表示パネルの異なる表示画素と関連している光を異なる方向に向けるイメージング配置と、
    閲覧者を追跡し、前記表示パネルに対する閲覧者の位置を求める閲覧者追跡システムと、
    ビュー数を調整するように画像内容を処理して前記表示パネルを駆動するプロセッサと
    を備え、
    前記表示領域は、それぞれが円錐幅を有する複数の表示出力円錐内に形成され、前記表示出力円錐は視野を横切って繰り返され、
    前記プロセッサは、前記表示パネルを駆動して、少なくとも前記表示パネルからの前記閲覧者の距離に応じて、各表示出力円錐内で複数の異なる数のビューを表示
    距離の閾値を下回る第一の視聴距離に対して合計2つのビューが表示され、第二のより離れた視聴距離に対して第二のより多くの数のビューが表示され、
    前記距離の閾値は、当該距離における前記円錐幅が13cmから40cmの範囲になるような値である、裸眼立体ディスプレイ装置
  2. 前記プロセッサは、前記閲覧者の移動速度を導き出すように構成され、前記速度が第一の閾値を超える場合、前記異なるビューの数は、1に設定される、請求項に記載の装置。
  3. 前記プロセッサは、前記閲覧者の移動速度を導き出すように構成され、前記速度が第二の閾値を超える場合、前記異なるビューの順序は変更される、請求項1または請求項2記載の装置。
  4. 各表示出力円錐内には、異なる画像を同時に表示できる複数の表示領域があり、第一組のビューは、それぞれ一つの表示領域にのみ表示され、第二組のビューは、それぞれ少なくとも二つの隣り合う表示領域に表示される、請求項1から請求項のいずれかに記載の装置。
  5. 前記ビューは、表示パネル幅の二倍に等しい視聴距離における前記円錐幅は、30cm未満である、請求項1から請求項のいずれかに記載の装置。
  6. 異なる画像を同時に表示できる少なくとも三つの表示領域が定義され、前記表示領域は、複数の表示出力円錐内に形成され、前記表示出力円錐は視野を横切って繰り返されるように、画素化した表示パネルの異なる表示画素と関連している光を異なる方向に向けることと、
    閲覧者を追跡し、前記表示パネルに対する前記閲覧者の位置を求めることと、
    画像内容を処理し、少なくとも前記表示パネルからの前記閲覧者の距離に応じて、各表示出力円錐内で複数の異なる数のビューを表示するように前記表示パネルを駆動することと
    を備え
    距離の閾値を下回る第一の視聴距離に対して合計2つのビューが表示され、第二のより離れた視聴距離に対して第二のより多くの数のビューが表示され
    前記距離の閾値は、当該距離における円錐幅が13cmから40cmの範囲になるような値である、
    裸眼立体ディスプレイ装置を駆動する方法。
  7. 前記閲覧者の移動速度を導き出すことを備え、前記速度が第一の閾値を超える場合、前記異なるビューの数は、1に設定される、請求項に記載の方法。
  8. 前記閲覧者の移動速度を導き出すことを備え、前記速度が第二の閾値を超える場合、前記異なるビューの順序は変更される、請求項6または請求項7に記載の方法。
  9. 円錐内には、異なる画像を同時に表示できる複数の表示領域があり、
    前記方法は、第一組のビューをそれぞれ一つの表示領域にのみ表示することと、第二組のビューをそれぞれ少なくとも二つの隣り合う表示領域に表示することとを備える、請求項から請求項のいずれか一項に記載の方法。
  10. プログラムがコンピュータ上で実行されるときに、請求項から請求項のいずれか一項に記載の方法を実行するように構成されたコンピュータプログラム。
JP2014556996A 2012-02-16 2013-02-08 裸眼立体ディスプレイ装置及び駆動方法 Active JP6242818B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1202691.0A GB2499426A (en) 2012-02-16 2012-02-16 Autostereoscopic display device with viewer tracking system
GB1202691.0 2012-02-16
PCT/EP2013/052599 WO2013120785A2 (en) 2012-02-16 2013-02-08 Autostereoscopic display device and drive method

Publications (2)

Publication Number Publication Date
JP2015515165A JP2015515165A (ja) 2015-05-21
JP6242818B2 true JP6242818B2 (ja) 2017-12-06

Family

ID=45939739

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014556996A Active JP6242818B2 (ja) 2012-02-16 2013-02-08 裸眼立体ディスプレイ装置及び駆動方法

Country Status (7)

Country Link
US (1) US9479767B2 (ja)
EP (1) EP2815577B1 (ja)
JP (1) JP6242818B2 (ja)
KR (1) KR20150004323A (ja)
CN (1) CN104272733B (ja)
GB (1) GB2499426A (ja)
WO (1) WO2013120785A2 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160295200A1 (en) * 2013-11-20 2016-10-06 Koninklijke Philips N.V. Generaton of images for an autostereoscopic multi-view display
US10291907B2 (en) 2014-01-23 2019-05-14 Telefonaktiebolaget Lm Ericsson (Publ) Multi-view display control for channel selection
DE102014205519A1 (de) * 2014-03-25 2015-10-01 Robert Bosch Gmbh Verfahren und Vorrichtung zum Anpassen einer Anzeige eines autostereoskopischen Displays für ein Fahrzeug
GB2527548A (en) * 2014-06-25 2015-12-30 Sharp Kk Variable barrier pitch correction
WO2016072518A1 (ja) * 2014-11-07 2016-05-12 ソニー株式会社 表示装置及び表示制御方法
US11468639B2 (en) * 2015-02-20 2022-10-11 Microsoft Technology Licensing, Llc Selective occlusion system for augmented reality devices
WO2016177585A1 (en) * 2015-05-05 2016-11-10 Koninklijke Philips N.V. Generation of image for an autostereoscopic display
KR102415502B1 (ko) * 2015-08-07 2022-07-01 삼성전자주식회사 복수의 사용자를 위한 라이트 필드 렌더링 방법 및 장치
EP3406077A1 (en) * 2015-12-29 2018-11-28 Koninklijke Philips N.V. Autostereoscopic display device and display method
CN105739707B (zh) * 2016-03-04 2018-10-02 京东方科技集团股份有限公司 电子设备、脸部识别跟踪方法和三维显示方法
FR3071625B1 (fr) * 2017-09-26 2019-09-27 Alioscopy Systeme et procede d'affichage d'une image autostereoscopique a 2 points de vue sur un ecran d'affichage autostereoscopique a n points de vue et procede de controle d'affichage sur un tel ecran d'affichage
US10298921B1 (en) 2018-02-27 2019-05-21 Looking Glass Factory, Inc. Superstereoscopic display with enhanced off-angle separation
CN109188700B (zh) * 2018-10-30 2021-05-11 京东方科技集团股份有限公司 光学显示系统及ar/vr显示装置
EP3687168A1 (en) * 2019-01-24 2020-07-29 Ultra-D Coöperatief U.A. Assigning view numbers to display elements of an autostereoscopic display
CN111722400B (zh) 2019-03-21 2022-08-16 信泰光学(深圳)有限公司 光学装置及其照明模块
TWI683131B (zh) * 2019-03-21 2020-01-21 大陸商信泰光學(深圳)有限公司 光學裝置及其照明模組
JP2021141423A (ja) * 2020-03-04 2021-09-16 富士フイルムビジネスイノベーション株式会社 表示システム、表示制御装置及びプログラム
WO2021237065A1 (en) 2020-05-21 2021-11-25 Looking Glass Factory, Inc. System and method for holographic image display
US11415728B2 (en) 2020-05-27 2022-08-16 Looking Glass Factory, Inc. System and method for holographic displays
US11415935B2 (en) 2020-06-23 2022-08-16 Looking Glass Factory, Inc. System and method for holographic communication
CN116325720A (zh) * 2020-10-21 2023-06-23 谷歌有限责任公司 远程呈现中的深度冲突的动态消解
WO2022119940A1 (en) 2020-12-01 2022-06-09 Looking Glass Factory, Inc. System and method for processing three dimensional images
TWI800959B (zh) 2021-10-22 2023-05-01 宏碁股份有限公司 眼球追蹤方法及眼球追蹤裝置
NL2030186B1 (en) 2021-12-17 2023-06-28 Dimenco Holding B V Autostereoscopic display device presenting 3d-view and 3d-sound
NL2030187B1 (en) 2021-12-18 2023-06-28 Dimenco Holding B V Method and device for cancelling distortion and displacement of a displayed three dimensional image
NL2030325B1 (en) 2021-12-28 2023-07-03 Dimenco Holding B V Scaling of three-dimensional content for an autostereoscopic display device
NL2030326B1 (en) 2021-12-29 2023-07-04 Dimenco Holding B V Autostereoscopic display device having a remote body tracking system
TWI806379B (zh) 2022-01-24 2023-06-21 宏碁股份有限公司 特徵點位置偵測方法及電子裝置
NL2032281B1 (en) 2022-06-25 2024-01-09 Dimenco Holding B V Autostereoscopic display system comprising a plurality of autostereoscopic display devices

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2297876A (en) * 1995-02-09 1996-08-14 Sharp Kk Observer tracking autostereoscopic display
JP3229824B2 (ja) * 1995-11-15 2001-11-19 三洋電機株式会社 立体映像表示装置
US7190518B1 (en) * 1996-01-22 2007-03-13 3Ality, Inc. Systems for and methods of three dimensional viewing
GB2324428A (en) * 1997-04-17 1998-10-21 Sharp Kk Image tracking; observer tracking stereoscopic display
JP2000098299A (ja) * 1998-09-18 2000-04-07 Sanyo Electric Co Ltd 立体映像表示装置
JP3802474B2 (ja) * 2002-10-21 2006-07-26 三洋電機株式会社 立体映像表示装置
US7692640B2 (en) * 2003-09-30 2010-04-06 Koninklijke Philips Electronics N.V. Motion control for image rendering
WO2005091050A1 (en) 2004-03-12 2005-09-29 Koninklijke Philips Electronics N.V. Multiview display device
EP1932053A4 (en) * 2005-09-16 2010-06-02 Stereographics Corp METHOD AND DEVICE FOR OPTIMIZING THE LIGHTING OF A LENS STEREOGRAM
JP2009077234A (ja) * 2007-09-21 2009-04-09 Toshiba Corp 三次元画像処理装置、方法及びプログラム
KR20100102523A (ko) * 2008-01-31 2010-09-24 가부시키 가이샤 켄우드 광디스크의 판별 방법, 광디스크 장치 및 프로그램
WO2009095862A1 (en) 2008-02-01 2009-08-06 Koninklijke Philips Electronics N.V. Autostereoscopic display device
BRPI0914482A2 (pt) * 2008-10-28 2015-10-27 Koninkl Philips Electronics Nv sistema de exibição tridimensional, método de operação para um sistema de exibição tridimensional e produto de programa de computador
DE102009009443B3 (de) * 2009-02-14 2010-09-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Monitor und Verfahren zum Darstellen autostereoskopisch wahrnehmbarer Bilder
EP2436189A2 (en) * 2009-05-28 2012-04-04 Koninklijke Philips Electronics N.V. Autostereoscopic display device
KR101615111B1 (ko) * 2009-06-16 2016-04-25 삼성전자주식회사 다시점 영상 표시 장치 및 방법
KR101057098B1 (ko) * 2009-07-10 2011-08-16 (주)엔디스 광시야각 입체 디스플레이의 휘도 플리커 제어장치 및 그 방법
JP5356952B2 (ja) * 2009-08-31 2013-12-04 レムセン イノベーション、リミティッド ライアビリティー カンパニー 表示装置
KR101629479B1 (ko) * 2009-11-04 2016-06-10 삼성전자주식회사 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법
US8633972B2 (en) * 2010-03-03 2014-01-21 Fraunhofer-Geselschaft zur Foerderung der angewandten Forschung e.V. Method for displaying image information and autostereoscopic screen
JP2011205358A (ja) * 2010-03-25 2011-10-13 Fujifilm Corp ヘッドマウントディスプレイ装置
US9225975B2 (en) * 2010-06-21 2015-12-29 Microsoft Technology Licensing, Llc Optimization of a multi-view display
WO2012057774A1 (en) * 2010-10-29 2012-05-03 Hewlett-Packard Development Company, L.P. A three-dimensional image based on a distance of a viewer
TWI462568B (zh) * 2010-10-29 2014-11-21 Au Optronics Corp 立體顯示器之影像顯示方法
JP5849811B2 (ja) * 2011-05-27 2016-02-03 株式会社Jvcケンウッド 裸眼立体視用映像データ生成方法
EP2805517A1 (en) * 2012-01-17 2014-11-26 Sony Ericsson Mobile Communications AB Portable electronic equipment and method of controlling an autostereoscopic display

Also Published As

Publication number Publication date
WO2013120785A2 (en) 2013-08-22
EP2815577B1 (en) 2019-07-03
CN104272733B (zh) 2017-03-08
KR20150004323A (ko) 2015-01-12
US9479767B2 (en) 2016-10-25
JP2015515165A (ja) 2015-05-21
US20150281682A1 (en) 2015-10-01
GB201202691D0 (en) 2012-04-04
EP2815577A2 (en) 2014-12-24
GB2499426A (en) 2013-08-21
CN104272733A (zh) 2015-01-07
WO2013120785A3 (en) 2013-10-24

Similar Documents

Publication Publication Date Title
JP6242818B2 (ja) 裸眼立体ディスプレイ装置及び駆動方法
US8780013B2 (en) Display device and method
JP5173830B2 (ja) 表示装置及び方法
US9088790B2 (en) Display device and method of controlling the same
JP6154323B2 (ja) 映像表示装置
KR102199610B1 (ko) 영상 표시 장치
KR20120052236A (ko) 다중-뷰 자동입체 디스플레이 디바이스
JP2009540381A (ja) マルチビュー表示装置
KR20120119982A (ko) 3d 디스플레이 장치 및 그 방법
US9167233B2 (en) Naked-eye stereoscopic display apparatus
KR102197536B1 (ko) 이동 플리커가 감소된 입체영상 표시장치
US20170127050A1 (en) Image data redundancy for high quality 3d
KR20160062312A (ko) 입체 영상 표시 장치
KR101975246B1 (ko) 다시점 영상 디스플레이 장치 및 그 제어 방법
US20180217391A1 (en) 3D Display Device and Driving Method Thereof
US10715792B2 (en) Display device and method of controlling the same
KR101852819B1 (ko) 입체영상 디스플레이 장치 및 방법
KR20150080354A (ko) 입체 영상 디스플레이 장치와 이의 구동 방법
KR101190050B1 (ko) 입체영상 표시장치 및 그 구동 방법
KR101239230B1 (ko) 입체영상 표시장치 및 그 구동 방법
US20140028812A1 (en) Three-dimensional video display apparatus
KR101305376B1 (ko) 영상 디스플레이 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161129

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171010

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171108

R150 Certificate of patent or registration of utility model

Ref document number: 6242818

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250