JP6224068B2 - 複数の観視者用の3dディスプレイ - Google Patents

複数の観視者用の3dディスプレイ Download PDF

Info

Publication number
JP6224068B2
JP6224068B2 JP2015502492A JP2015502492A JP6224068B2 JP 6224068 B2 JP6224068 B2 JP 6224068B2 JP 2015502492 A JP2015502492 A JP 2015502492A JP 2015502492 A JP2015502492 A JP 2015502492A JP 6224068 B2 JP6224068 B2 JP 6224068B2
Authority
JP
Japan
Prior art keywords
viewer
view
views
display
conflict
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015502492A
Other languages
English (en)
Other versions
JP2015519772A (ja
Inventor
ヨハネス ヘルハルデュス ヒネン,カレル
ヨハネス ヘルハルデュス ヒネン,カレル
ヘルマニュス アントニウス ランヘンダイク,エルノ
ヘルマニュス アントニウス ランヘンダイク,エルノ
ファレカンプ,クリスティアーン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2015519772A publication Critical patent/JP2015519772A/ja
Application granted granted Critical
Publication of JP6224068B2 publication Critical patent/JP6224068B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183On-screen display [OSD] information, e.g. subtitles or menus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/32Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using arrays of controllable light sources; using moving apertures or moving light sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/349Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/351Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/349Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/354Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying sequentially
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/356Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359Switching between monoscopic and stereoscopic modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/368Image reproducers using viewer tracking for two or more viewers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/376Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/373Image reproducers using viewer tracking for tracking forward-backward translational head movements, i.e. longitudinal movements

Description

本発明は、3次元(3D)画像データを処理する装置及び方法に関する。本発明は更に、3D画像データの少なくとも2つのビューを発し、該ビューは、3D効果をもたらすよう、左眼を介して当該少なくとも2つのビューのうちの第1のビューを、及び右眼を介して当該少なくとも2つのビューのうちの第2のビューを知覚する観視者による複数のビューイング位置での前記3D画像データの自動立体視を可能にする、3Dディスプレイと、該3Dディスプレイでの表示のために前記少なくとも2つのビューを生成するよう前記3D画像データを処理するプロセッサと、前記3Dディスプレイの前で観視者の観視者位置を検出する観視者検出器とを有するディスプレイ装置に関する。
3Dディスプレイ及び、特に、3Dディスプレイを備えたテレビ受像機は、それらが奥行きの立体認知を観視者に与えるので、消費者の間でますます人気である。通常はゴーグルが必要とされるが、観視者は、付加的なメガネ類を伴わないシステムを好む傾向がある。そのため、所謂自動立体3Dディスプレイは、場面の少なくとも左ビュー及び右ビューを提供するための光学部品、例えば、レンチキュラレンズアレイ又は指向性ビームを有する。これは、観視者が、異なる画像を、正確に位置付けられる場合に、夫々の目により見ることを可能にする。
時々自動マルチスコピック(automultiscopic)ディスプレイと呼ばれる特定の自動立体(autostereoscopic)ディスプレイは、左右のビューのみよりむしろ、同じ場面の複数のビューを提供する。これは、観視者が、場面の立体認知を依然として取得しながら、円錐視野において複数の位置につくこと、すなわち、ディスプレイの前で左右に動くこと、を可能にする。
しかし、観視者がつく全ての位置が同じように場面の立体認知を得るのに適するわけではない。特に、ディスプレイが一連の円錐視野として円錐視野を繰り返すよう配置される場合に、観視者は、例えば、左眼が所与の円錐視野の最外の右側ビューを認知し、且つ、右眼が隣接する円錐視野の最外の左側ビューを認知するように、位置付けられることがある。そこで観視者は円錐の変わり目に位置付けられる。そのようなビューイング位置で、観視者は、場面がしばしば奥行きを有するように見えるが不正確であるところの場面の所謂逆視(pseudoscopic)認知を取得する。逆視認知は、頭痛及び視覚疲労の他の症状を引き起こすことが知られている。
逆視認知によって引き起こされる上記の視覚疲労にかかわらず、観視者が逆視位置に位置付けられることは、観視者にとって常に自明でない。
米国特許第6055013号明細書(特許文献1)は、夫々のローブにおいて、すなわち、夫々の円錐視野において、4つのビューを提供する自動立体ディスプレイを開示する。観察者は、逆視位置が隣接するローブの間の境界に存在する状態で、広範な観視自由度を有するといわれている。技術は、逆視位置の視覚的なインジケーションを観察者に提供するよう表されている。そのために、視差オプティックは、暗い中央のローブにおけるインジケーションを提供するよう配置され、一方、隣接するローブにおけるインジケーションは明るい。隣のローブは次いで再び暗くなり、以降同様に続く。このように、逆視位置で、観察者の少なくとも一方の目は、黒ではない位置インジケーションを見る。このように、特許文献1の技術は、観察者が、所望の立体視位置と望まない逆視位置とを区別することを可能にする。
米国特許出願公開第2004/0252187号明細書(特許文献2)は、時間順次的な多重化を用いることによって観視者空間をセグメントに分けることができる前面投影ディスプレイを記載する。セグメントの夫々は、異なるフルレゾ画像ストリームを受け取る。システムは、ピクセル生成メカニズムを、自動立体3Dのための動作モードを提供するようユーザ空間にわたってピクセルをスイープする回転マイクロミラーのアレイと組み合わせる。システムは、画面に対するユーザの位置を決定する観視者検出器を備え、その位置は頭部追跡により獲得される。位置データは、夫々の特定のユーザについてカスタマイズされたビューをレンダリングするために使用される。従って、システムは、画面に対するユーザの位置に基づき多数のシーケンシャルビューの奥行きを生成する。加えて、“フォールバック”シナリオが、ユーザが識別されない場合について記載される。
米国特許出願公開第2011/0316987号明細書(特許文献3)は、観視者に、3D効果が存在する所謂正視領域(orthoscopic area)に彼らが位置するどうかを示すよう、グラフィカルシンボルが表示される自動立体ディスプレイシステムを記載する。観視者の位置に応じて、シンボルは、観視者に、彼/彼女が正確な3D効果を受けていないことを示すことができる。
米国特許第6055013号明細書 米国特許出願公開第2004/0252187号明細書 米国特許出願公開第2011/0316987号明細書
上記の技術の問題は、それが任意のビューイング位置で観視者に複数のビューを提供するのに適さないことである。
本発明の目的は、技術分野の項で記載されるディスプレイ装置であって、前記観視者検出器を介して第1の観視者の少なくとも第1の観視者位置を取得し、前記第1のビュー及び前記第2のビューが前記第1の観視者に前記3D効果をもたらさない前記第1の観視者位置での観視者位置コンフリクトを検出し、前記第1の観視者によって受け取られる前記少なくとも2つのビューのうちの少なくとも1つを変更することで、前記検出された観視者位置コンフリクトに依存して前記ビューの生成を制御するよう配置される観視者コンフリクト検出器を更に有するディスプレイ装置を提供することである。
前記観視者コンフリクト検出器は、前記ディスプレイの前で少なくとも第1及び第2の観視者を検出するために前記観視者検出器を使用する。その後に、前記観視者コンフリクト検出器は、観視者位置で、第1の観視者に提供されるビューが正確な3D効果をもたらすかどうかを決定する。前記観視者コンフリクト検出器により、必要とされる3D効果がもたらされないことが決定されるときはいつでも、前記観視者コンフリクト検出器は、前記プロセッサに、第1の観視者に該第1の観視者が3D効果を受けないことを示すよう、第1の観視者によって受け取られるビューの1つ選択的に変更するよう指示し、その1つの選択されたビューが第2の観視者によって認知されないビューであるようにする。例えば、警告が、前記第1の観視者によって認知される1つのビューにおいて動的に挿入され得る。有利に、前記観視者コンフリクト検出器は、1又はそれ以上の観視者が夫々の位置に存在することを決定し、更に、観視者の夫々が3D効果を認知するかどうかを決定する。そうでない場合は、前記観視者コンフリクト検出器は、例えば、夫々の観視者に、その観視者に3D効果がもたらされないことを示すようビューの1つを選択的に変更する。
任意に、前記プロセッサは、前記3D効果がもたらされないことを示すために前記少なくとも2つのビューのうちの1つを変えることで前記変更を行うよう配置される。これは、前記少なくとも2つのビューのうちの他の1つのみを受け取る他の観視者が前記変更によって邪魔されないという効果を有する。
任意に、前記3Dディスプレイは、円錐視野において前記3D画像データの一連の2よりも多いビューを隣接して発するよう配置される多重ビューディスプレイであり、前記一連のビューは、前記円錐視野における複数のビューイング位置で前記3D画像データの自動立体視を可能にし、前記観視者コンフリクト検出器は、前記第1のビューが第1円錐からの第1の円錐視野であり且つ前記第2のビューが第2円錐からの第2の円錐視野である前記第1の観視者位置で観視者位置円錐コンフリクトを検出するよう配置される。そのような円錐視野は、通常は、上記の円錐を生成するメカニズム、すなわち、上記のレンチキュラレンズアレイにより、更なる円錐視野に隣接することが知られる。境界上で、観視者は、前記第1のビューが第1円錐からの第1の円錐視野であり、且つ、前記第2のビューが第2円錐から第2の円錐視野である場合に、逆視効果を認知する。有利に、当該ディスプレイ装置は、ユーザがそのような位置にあることを検出し、ビューを変更する。
任意に、前記観視者コンフリクト検出器は、前記観視者位置円錐コンフリクトを検出する場合に、
夫々の円錐視野にグラフィカル要素をオーバレイすること、
夫々の円錐視野にテキストメッセージをオーバレイすること、
夫々の円錐視野を反転させること、
夫々の円錐視野の画像コンテンツを変えること
のうちの少なくとも1つによって前記第1の円錐視野及び前記第2の円錐視野のうちの1つを変更するように前記プロセッサを制御するよう配置される。
有利に、上記の変更は、3D効果が正確にもたらされないコンフリクト位置に観視者がいることをその観視者に示す実際的な方法を提供する。
任意に、前記観視者コンフリクト検出器は、前記観視者位置円錐コンフリクトを検出する場合に、前記観視者に2D効果を生成するよう前記第1の円錐視野及び前記第2の円錐視野の両方に同じ画像コンテンツを提供することによって前記第1の円錐視野及び前記第2の円錐視野のうちの少なくとも1つを変更するように前記プロセッサを制御するよう配置される。有利に、観視者位置円錐コンフリクトを有する観視者は、もはや逆視効果を認知せず、2D効果を認知する。3D効果がないことが、まさに観視者に受け入れられ得るか、あるいは、観視者は、別の位置へ移動してよい。
任意に、前記観視者コンフリクト検出器は、前記観視者位置円錐コンフリクトを検出する場合に、
夫々の円錐視野の輝度を変えること、
夫々の円錐視野の色を変えること
のうちの少なくとも1つによって前記第1の円錐視野及び前記第2の円錐視野のうちの少なくとも1つを変更するように前記プロセッサを制御するよう配置される。
有利に、そのような変化は、コンフリクト位置で観視者にとって明らかに可視的である。
任意に、前記観視者コンフリクト検出器は、
前記観視者検出器を介して第2の観視者の少なくとも第2の観視者位置を取得し、
前記観視者位置円錐コンフリクトを検出する場合に、前記第1の円錐視野及び前記第2の円錐視野のうちの1つを選択して、該選択された円錐視野が前記第2の観視者によって認知されるビューでないようにし、前記選択された円錐視野のみを変更するように前記プロセッサを制御する
よう配置される。
有利に、前記第2の観視者は、前記ビューの変更によって影響を及ぼされない。
任意に、前記3Dディスプレイは、観視者の左眼への夫々の第1の指向性ビーム及び右眼への夫々の第2の指向性ビームを介して左ビュー及び右ビューを連続して発するよう配置されるシーケンシャルビューディスプレイであり、前記ビューは、夫々の指向性ビームを組み合わせることで夫々のビューイング位置で前記3D画像データの自動立体視を可能にし、前記観視者コンフリクト検出器は、
前記観視者検出器を介して第2の観視者の少なくとも第2の観視者位置を取得し、
前記第1の観視者位置での1つのビューが前記第2の観視者位置での1つのビューと一致する観視者位置ビームコンフリクトを検出する
よう配置される。
夫々が観視者の夫々の目に向けられているシーケンシャルビューの効果は、観視者が如何なるメガネも用いずに、且つ、ディスプレイの最大解像度で、3D効果を認知することである。このとき、前記観視者コンフリクト検出器は、第1及び第2の観視者位置を決定し、第1のユーザの左眼が、第2のユーザの右眼と同じビューを受け取る位置にある場合に、前記シーケンシャルビューディスプレイは、それらの目に異なるビューを向けることができない。よって、観視者位置ビームコンフリクトは、1つの指向性ビームによって生成される特定のビューが2つの異なる夫々の目に到達する場合に検出される。
任意に、前記観視者コンフリクト検出器は、前記観視者位置ビームコンフリクトを検出する場合に、前記第1の観視者及び前記第2の観視者のうちの他方の観視者に前記3D効果をもたらしながら、前記第1の観視者又は前記第2の観視者のいずれか一方に2D効果をもたらすよう前記第1のビュー及び前記第2のビューの両方に同じ画像コンテンツを提供するように前記プロセッサを制御するよう配置される。
任意に、前記プロセッサは、
3D又は2Dモードのために前記第1の観視者又は前記第2の観視者によって設定される好み、
前記第1の観視者又は前記第2の観視者の夫々の動き、
前記第1の観視者又は前記第2の観視者の夫々の前記3Dディスプレイからの距離
のうちの少なくとも1つに基づき、前記第1の観視者又は前記第2の観視者のいずれか一方に前記2D効果をもたらすよう配置される。
有利に、好み若しくは好ましい位置を有するか、又は3D効果に注意している可能性がある観視者は3D効果を認知し、一方、他のユーザは(例えば、一時的に)2D効果を認知する。
任意に、前記プロセッサは、
夫々の観視者及び夫々の観視者データの識別
顔特徴の検出、
目間距離の検出、
前記観視者検出器を介して検出される前記第1の観視者の顔及び前記第2の観視者の顔の夫々のサイズの検出
のうちの少なくとも1つに基づく前記第1の観視者又は前記第2の観視者の年齢に基づき、前記第1の観視者又は前記第2の観視者のいずれか一方に前記2D効果をもたらすよう配置される。
3D効果は、通常は、成人の観視者のために最適化される。子供は、あまり最適でないか又はゆがめられた3D効果を有することがあり、一部の保護者は、自身の子供に3D効果を見せないことを選ぶ。有利に、システムは、観視者の年齢を検出し、選択的に3D効果を提供する。
任意に、前記プロセッサは、少なくとも3つの異なるシーケンシャルビューを生成するよう配置され、前記シーケンシャルビューディスプレイは、前記3つのシーケンシャルビューを連続して発するよう配置され、第1及び第2のシーケンシャルビューは両方で左ビュー及び右ビューの対を構成し、第2及び第3のシーケンシャルビューは左ビュー及び右ビューの更なる対を構成し、
前記観視者コンフリクト検出器は、前記第2のシーケンシャルビューを前記一致するビューとして提供するように前記プロセッサを制御して、前記第1の観視者及び前記第2の観視者が前記3D効果を認知するようにするよう配置される。前記シーケンシャルビューディスプレイは、2つのビューしか適用せず、より柔軟な構成が、前記ビューの対が構成されるように少なくとも第3のビューを加えることによって、達成される。有利に、システムは、夫々の左右の目により第2のビューを共有しながら、ビューの夫々の異なる対をビームコンフリクト位置にある観視者に提供してよい。よって、いずれの観視者も3D効果を経験する。
任意に、前記観視者検出器は、
カメラからのビデオ画像における顔検出、
距離センサからの距離情報、
観視者位置で観視者によって操作されるリモートコントロールユニットからのユーザ入力、
前記観視者位置で前記観視者によって位置付けられる観視者タグ付けオブジェクトの検出
のうちの少なくとも1つに基づき、前記3Dディスプレイの前で観視者の観視者位置を検出するよう配置される。
前記観視者検出器は、観視者の夫々の目に到達するビューを決定するために、水平方向、すなわち、角度方向において、更には距離において、観視者の位置を決定してよい。前記観視者検出器は、例えば、音響又は赤外光に基づく距離センサを有してよい。そのようなセンサはまた、観視者の距離及び角度データの両方を提供してよい。また、ユーザは、自身のビューイング位置でリモートコントロールユニットを作動させるか又は位置付けてよく、あるいは、ユーザは、予め決定された所望のビューイング位置を定義してよい。また、観視者は、前記観視者検出器がその観視者の目の位置を正確に且つ容易に検出することを可能にするよう、タグ付けオブジェクトを位置付けてよい。例えば、自身の首の回りに視覚的に検出可能なオブジェクトを身につけてよい。
本発明の更なる態様において、ディスプレイ装置のための3D画像データの処理方法であって、前記ディスプレイ装置は、3D画像データの少なくとも2つのビューを発し、該ビューは、3D効果をもたらすよう、左眼を介して当該少なくとも2つのビューのうちの第1のビューを、及び右眼を介して当該少なくとも2つのビューのうちの第2のビューを知覚する観視者による複数のビューイング位置での前記3D画像データの自動立体視を可能にする、3Dディスプレイと、該3Dディスプレイの前で観視者の観視者位置を検出する観視者検出器とを有し、当該方法は、前記3Dディスプレイでの表示のために前記少なくとも2つのビューを生成するよう前記3D画像データを処理するステップを有し、当該方法は、
前記観視者検出器を介して第1の観視者の少なくとも第1の観視者位置を取得し、
前記第1のビュー及び前記第2のビューが前記第1の観視者に前記3D効果をもたらさない前記第1の観視者位置での観視者位置コンフリクトを検出し、
前記観視者検出器を介して第2の観視者の少なくとも第2の観視者位置を取得し、
前記第1の観視者に該第1の観視者が前記3D効果を受けないことを示すよう、前記第1の観視者によって受け取られる前記少なくとも2つのビューのうちの1つ選択的に変更して、該1つの選択されたビューが前記第2の観視者によって認知されるビューでないようにすることで、前記検出された観視者位置コンフリクトに依存して前記ビューの生成を制御する
ことによって観視者コンフリクトを検出するステップを更に有する、方法が提供される。
本発明の更なる態様において、プロセッサシステムに、上記の方法を実行させる命令を有するコンピュータプログラムが提供される。当該コンピュータプログラムは、コンピュータ可読媒体において具現されてよい。
本発明に従って、処理される3D画像データは、3D画像データの一連のビューを発する3Dディスプレイ、例えば、自動立体マルチビュー3Dディスプレイにおいて表示可能である。そのようなものとして、3D画像データは、ビューごとに画像データを含む所謂マルチビュー画像データであってよい。そのような3D画像データは、自動立体マルチビューディスプレイにおいて直接に表示されてよい。代替的に、3D画像データは、左ビュー及び右ビューのための画像データを含む立体画像データ、又は2D画像データに奥行きデータを加えたものであってよい。そのような3D画像データは、一連のビューを取得するよう処理される必要がある。そのために、3Dディスプレイは、立体画像データの場合には所謂ビュー補間、又は2D画像データに奥行きデータを加えたものの場合には所謂ビューレンダリングを用いてよい。上記の技術は、3D画像/ビデオ処理の分野及び、特に、3D画像/ビデオ変換の分野から知られることが認識されるであろう。
そのような3Dディスプレイは、順次的に、又は空間的な円錐視野の形で、すなわち、指向性ビームを用いて、又は3Dディスプレイの表示面から、すなわち、3Dディスプレイの光放射面によって形成される面から円錐形状で現れるビューのシーケンスとして、一連のビューを発する。例えば、5ビュー自動立体3Dディスプレイの円錐視野は、最外の左ビュー、中間の左ビュー、中央のビュー、中間の右ビュー、最外の右ビューを有してよい。観視者は、一連のビューのうちの2つの異なるビューを認知するビューイング位置に位置する場合に、例えば、左眼で最外の左ビューを及び右眼で中間の左ビューを、又は左眼で中央のビューを右眼で中間の右ビューを認知する場合に、3D画像データの立体視を得る。このように、3Dディスプレイは、複数のビューイング位置で立体表示を提供する。
本発明の上記の実施形態、実施、及び/又は態様のうちの2又はそれ以上は、有用と考えられるあらゆる方法において組み合わされてよいことが当業者によって認識されるであろう。
装置及び/又は3D画像データの記載される変更及び変形に対応する装置、3D画像データ、方法、及び/又はコンピュータプログラムの変更及び変形は、本明細書に基づき当業者によって実施可能である。本発明に従う装置及び方法の更なる好ましい実施形態は、添付の特許請求の範囲において与えられる。なお、特許請求の範囲の開示は、参照によりここに援用される。
本発明のこれら及び他の態様は、以降で記載される実施形態から明らかであり、それらを参照して説明される。
3D画像データを処理する装置及び3D画像データを表示する3Dディスプレイ及び観視者コンフリクト検出器を示す。 上面図において3Dディスプレイ及び2人の観視者を示す。 観視者位置コンフリクトのインジケーションを示す。 複数の光源を備えるライトステアリング・バックライトに基づく自動立体ディスプレイを示す。 観視者位置ビームコンフリクトを検出するコリジョン区間を示す。 3Dディスプレイ装置及び観視者メニューを示す。 3Dディスプレイ、ブロードキャスト受信部、インターネット受信部、記憶媒体及び記憶媒体読取部を有する装置を示す。 観視者コンフリクトを検出する方法を示す。
図は、単に図表であり、実寸通りではない。図中、既に記載されている要素に対応する要素は、同じ参照符号を付される。
図1は、3D画像データ122を処理する装置120を示す。装置は、3D画像データの少なくとも2つのビューを発する3Dディスプレイ160を有する。それらのビューは、3D効果をもたらすよう、左眼を介してそれら少なくとも2つのビューのうちの第1のビューを、及び右眼を介してそれら少なくとも2つのビューのうちの第2のビューを知覚する観視者による複数のビューイング位置182,184での3D画像データの自動立体視を可能にする。好ましくない位置で、ビューは重なり合うことがあり、目は、所謂クロストークと呼ばれる、異なるビューからの寄与を受け得ることが知られる。
3D画像データ122は、左ビュー及び右ビューを有する立体画像データ、又は所謂マルチビュー画像データであってよく、すなわち、一連のビュー100の夫々又はサブセットについて画像データを有する。図1には示されていないが、装置120は、そのために、例えば、2D画像データ及び奥行きデータから、又は立体画像データから、3D画像データ122を生成するビューレンダラを有してよい。ビューレンダラは、国際公開第1997/023097(A3)号に記載されるようなビューレンダラであってよい。
3Dディスプレイ160は、自動立体3Dディスプレイであってよく、図1ではディスプレイ層162及びオプティカル層164の組み合わせとして示されている。ディスプレイ層162は、例えば、液晶ディスプレイ(LCD)層、又は有機発光ダイオード(OLED)層であってよい。オプティカル層164、例えば、レンチキュラレンズは、少なくとも1つの円錐視野で複数のビューを提供する。
オプティカル層164は、所謂レンチキュラレンズアレイ層、又はパララックスバリア層であってよい。オプティカル層のそのような及び他の例は、自動立体3Dディスプレイの分野において知られている。ディスプレイ層162及びオプティカル層164は、円錐視野180において、3D画像データ122の一連のビュー100を隣接して発するよう協調する。図1は、3Dディスプレイ160の中央から発せられている単一の円錐視野180を示す。なお、ディスプレイ層162及びオプティカル層164は、3Dディスプレイ160の表示面にわたって位置する複数の場所から円錐視野を発するよう協調することが認識されるであろう。例えば、オプティカル層164が複数のマイクロレンズを有する場合に、複数のマイクロレンズの夫々は、円錐視野180と同じ又は同様である円錐視野を発してよい。しかし、説明のために、図1は、単一の円錐視野しか示さない。
円錐視野180は、一連のビュー100を有する。図1は、3Dディスプレイ160及び円錐視野180の上視図を示す。このように、一連のビュー100は、最右ビュー10から最左ビュー90までを有する。一連のビュー100の各ビューは、円錐視野180内で略等しく分布されている、すなわち、円錐視野180の原点に対して略等しい立体角で発せられている、よう示されている。なお、円錐視野180内の一連のビュー100の他の適切な分布が同じく可能であり得ることが認識されるであろう。何が最左ビューであるのかの割り当ては選択である点に留意されたい。そのようなものとして、円錐の変わり目の位置は、対応するピクセルにおける夫々のビューレンダリングに依存する。
3Dディスプレイ160の前の空間に位置付けられた観視者は、観視者の左眼が一連のビュー100のうちのいずれか2つの異なるビューのうちの左ビューを観測し且つ観視者の右眼がそれら2つのビューのうちの右ビューを観測することでそれら2つの異なるビューを観測することによって、3D画像データ122の自動立体視を得ることができる。これは、自動立体視が提供される円錐視野180内の複数のビューイング位置を提供する。なお、3Dディスプレイ160は、いずれか2つの異なるビューに代えて、一連のビューのうちの2つの隣接するビューを認知する観視者に自動立体視を提供するよう最適化されてよいことが認識されるであろう。
代替的に、3Dディスプレイは、後に説明されるように、観視者の夫々の目へ光ビームを向ける、ライトステアリング(light steering)・ディスプレイとしても知られているシーケンシャルディスプレイであってよい。ライトステアリング・システムのために、バックユニット162は、光の指向性ビームを生成するライトステアリング・バックライトを構成し、フロントパネル164は、LCDパネルである。そのような装置において、オプティクスは、LCD層の後ろにある。
よって、説明のために、本発明は、一連のビューの上記の2つの隣接するビュー、すなわち、夫々のシーケンシャルビューを観視者が認知するビューイング位置について、これからは説明される。
図1は、ビューイング位置の2つの例、すなわち、円錐視野180の中心軸の近くにある中央ビューイング位置182、及び円錐視野180の側部又は境界の近くにある最外ビューイング位置184を示す。それら両方のビューイング位置で、観視者は、一連のビューのうちの2つの隣接するビューを認知する。
語「ビューイング位置」は、一連のビューのうちの2つの隣接するビューが認知され得る全ての位置を指すと理解されることが知られる。よって、例えば、中央ビューイング位置182は、左眼が一連のビュー100のうちのビュー50を認知し且つ右眼が一連のビュー100のうちのビュー40を認知する円錐視野180内で観視者がとることができる全ての位置を指すと理解される。
装置は、3Dディスプレイでの表示のための上記の少なくとも2つのビューを生成するために3D画像データを処理するプロセッサ140を備える。装置は、3Dディスプレイの前で観視者の観視者位置を検出する観視者検出器130を更に備える。観視者検出器130は、3Dディスプレイの前の空間の画像を取得するカメラを含んでよく、画像を処理して観視者の顔を検出する検出器ソフトウェアを含んでよい。他の頭部追跡システムがまた使用されてよく、そのようなものとして知られる。
プロセッサ140は、観視者コンフリクトを検出し解決するよう配置された観視者コンフリクト検出器141を更に有する。最初に、ユニットは、観視者検出器130を介して第1の観視者の少なくとも第1の観視者位置を取得する。次いで、ユニットは、第1のビュー及び第2のビューが第1の観視者に3D効果をもたらさない第1の観視者位置で観視者位置コンフリクトを検出する。最後に、ユニットは、検出された観視者位置コンフリクトに応じてプロセッサ140によってビューの生成を制御する。それに加え、ユニットは、第1の観視者によって認知される上記の少なくとも2つのビューのうちの少なくとも1つを変更する。
図2は、上面図において3Dディスプレイ及び2人の観視者を示す。3Dディスプレイ200は、ピクセルのアレイ、例えば、円錐視野において5つのビューを提供するよう5つの協調するサブピクセルを備えるLCDであり、ここでは、サブピクセル及びビューは1〜5の番号を付されている。円錐視野は繰り返され、第2の円錐視野は、繰り返されるビュー5(番号“5”の字体が異なる。)によって第1の円錐視野の下部に示されている。よって、観視者の両眼が単一円錐内にある場合は、観視者は良好な立体3Dを見る。片眼が主円錐の外にあり、別の円錐内にある場合は、観視者は不良の3D(逆視、アンチステレオ(anti-stereo)とも呼ばれる。)を見る。
故に、観視者が水平方向において動く場合に、その観視者は、異なる組の隣接するビューを認知する。観視者の位置は、観視者検出器(図示せず。)によって検出され、円錐視野の位置に対してシステムにおいて知られていると推定される。第1の観視者210は、正確な3D効果をもたらす第1の円錐視野のビュー3及び4を受け取ると検出される。第2の観視者220は、逆視の不正確な3D効果をもたらす、第1の円錐視野のビュー1及び第2の円錐視野のビュー5を受け取ると検出される。
自動立体3DTVを見る場合に、TVの前には、良好な3D(ステレオ)及び、逆視又は不正確な3D効果とも呼ばれる不良の3D(アンチステレオ)をもたらす位置が存在する。映画を見ている間、観視者は幾らか動く傾向があり、(部分的に)アンチステレオ領域に入ることがある。観視者にとって、ビューイング位置が完璧でないことは常には自明でなく、これは眼精疲労又は更に悪いものを引き起こし得る。従って、ビューイング位置が不適切である場合に観視者へアクティブフィードバックを提供することが提案される。しかし、正しいビューイング位置にある他の観視者は、このフィードバックを得るべきでない。1人の観視者がアンチステレオ領域にいるか又はそのような領域に入る場合を検出し、フィードバックキューを画像において供給して、観視者に、その観視者が正確な3D効果を受け取ることができない旨を知らせることが提案される。例では、第2の観視者220の位置は、第2の観視者220が2つの異なる円錐視野からの外側の2つのビューを受け取っているために、コンフリクトを有する。円錐視野の境界にいる観視者にのみ作用し、円錐視野の中央に既に座っている観視者には作用しないインジケーションが提案される。
図3は、観視者位置コンフリクトのインジケーションを示す。図は、図2に示されているような3Dディスプレイを有する。第1の観視者310は、正確な3D効果をもたらす第1の円錐視野のビュー4及び5を受け取ると検出される。第2の観視者320は、逆視の不正確な3D効果をもたらす、第1の円錐視野のビュー1及び第2の円錐視野のビュー5を受け取ると検出される。よって、第2の観視者320は、観視者位置コンフリクトを有する。このとき、システムは、警告メッセージ330、例えば、テキスト「不良位置」若しくは同様の警告、又はグラフィカルな警告シンボルを生成する。警告メッセージは、第2の観視者320がコンフリクト位置にいる限り、ビュー1に挿入される。任意に、システムはまた、第2の警告メッセージ、例えば、第2の警告テキスト340を、認知される第2のビュー5に挿入してよい。なお、システムは、最初に、コンフリクト位置で認知されるビュー1、5のいずれかが少なくとも1人の他の観視者によっても認知されるかどうかを検出する。例では、第1の観視者310もビュー5を認知する。故に、システムは、ビュー1における第1の警告メッセージ330のみを生成し挿入する。しかし、図2に示されるように第1の観視者がビュー3及び4を受け取る場合は、両方の警告メッセージが夫々ビュー1及び5において挿入される。
よって、観視者がアンチステレオ領域に入る場合に、テキストメッセージは、その観視者が認知する画像、例ではビュー1及び5、のうちの少なくとも1つに重ね合わされる。警告はこの観視者320にのみ可視的であり、観視者320に、観視者320が円錐視野の中央領域(ビュー2−3−4)に入るまで、アンチステレオから出るよう訴える。観視者320が円錐視野の中央領域に入った時点で、テキストメッセージはオフされ、観視者320は、観視者320が円錐境界を再びまたぐまで、ビュー1乃至5の間を完全に自由に動くことができる。
先に説明されたように、テキストメッセージ又はグラフィカルシンボルは、片方の目にのみ与えられ得る。例えば、第1の観視者がビュー4、5を介して正確なステレオを見、第2の観視者がビュー5、1を介してアンチステレオを見る場合に、テキストメッセージはビュー1にのみ表示されてよく、それにより、第1の観視者を邪魔しない。
画像に重ね合わされるテキストメッセージに代えて、アンチステレオ区間から出るよう観視者へフィードバックを与えるための他のオプションも存在する。実施形態において、画像の色が変更、例えば、反転される。カラー画像はまた、白黒画像によって置換されてよい。更なる実施形態において、画像コンテンツが変えられてよい。例えば、観視者が観視者コンフリクト位置にいる限り、黒色画面又は赤色画面が一時的に表示されてよい。更なる代替案は、明滅するテキスト又はシンボルを示して最も注目を引くことである。例えば、シンボルは、コンフリクトから逃れるための好ましい移動方向を示す矢印のオーバレイであってよい。
実施形態において、コンフリクト位置にいる観視者は、同じコンテンツを有する2つのビューを生成することによって、3D画像に代えて2D画像を提供されてよい。例えば、図3に示される例では、ビュー1は、第2の観視者320の右眼によってのみ使用される。故に、ビュー1のコンテンツはビュー5からコピーされてよい。故に、第2の観視者320の両眼は同じ画像を受け取るので、2D(モノ)効果が認知される。第1の観視者310は、ビュー4及び5が影響を及ぼされないので、依然として3D効果を受け取る。
図4は、複数の光源を備えたライトステアリング・バックライトに基づく自動立体ディスプレイを示す。ディスプレイにおいて、バックライトユニット410内で光源411、421はレンズ403の後ろに配置され、夫々の光源は特定の方向に対応する。レンズの前には、LCDディスプレイ405がある。単一のレンズがLCDにおける多数のピクセルを照射してよく、一方、指向性ビームは観視者の特定の左又は右眼に向かって生成される点が留意されるべきである。LCDは、左ビュー及び右ビューを順次的に表示する。幾つかの光源は、左ビューが観視者の左眼へ夫々のビームを向けるよう表示されている時間の間、作動されてよい。対応する光源は、ディスプレイが次の時点で右ビューを表示する場合に作動される。
図4は、2人の同時に存在する観視者410、420とともにシーケンシャル型のライトステアリング・システムを表す。いずれの観視者も、時間順次的に左右の画像を提示することによって立体様の3D画像を提供される。ここで、LCDは240Hzのリフレッシュレートを有するとする。その場合に、LCDは、光源から目への実線によって示されるように、120分の1秒の間、左眼画像を表示する。このインターバルの間、観視者410及び420の左眼方向に対応する光源が点灯される。次の120分の1秒において、右眼画像は、光源から目への破線によって示されるように、左眼方向に対応する光源がオンされることで表示される。時間順次的にこのプロセスを繰り返すことによって、観視者は、左眼におけるブラックフレーム及び右眼における画像と120分の1秒で交互にされる左眼における画像及び右眼におけるブラックフレームを見る。
図4におけるディスプレイは、異なるビューイング方向に対処するようバックライトにおける光源の空間多重化を使用する。例では、ビューイング方向間の空間的分離は、両方の観視者に立体様品質の3Dを提供するのに十分である。なお、第1の観視者410の右眼が第2の観視者420の左眼と同じ角度にある場合に、観視者の1人しかステレオを供給され得ない。この状況に近い角度では、クロストークがいずれか一方又は両方の観視者によって可視的であり得る。結果として、両方の観視者に同時に良好なステレオ品質を提供することは、事実上不可能である。2人の観視者のそのような位置は、観視者位置ビームコンフリクトと呼ばれる。
この状況を扱うための種々の方法が存在する。如何なる予防措置も取らなければ、両方の観視者が、好ましくないクロストークの増大を経験するであろう。悪い品質を回避するよう、少なくとも1人の観視者を立体視から平面視へ切り替えることが提案される。これは、ステレオコンテンツの左画像のみ又は右画像のみを提示することによって達成され得る。つまり、両方の観視者の両方の左右の目の位置に対応する全てのバックライト光源が、左(又は右)画像を示すときにオンされ、一方、次のフィールドでは、対応する右(又は左)画像は、バックライト光源をオフすることによって示されない。
図5は、観視者位置ビームコンフリクトを検出するコリジョン区間を示す。図は、図4と同様のシーケンシャルタイプのディスプレイを示す。光源411、421の組を用いて、特定のビューイング位置にある夫々の観視者の特定の方向のための夫々の指向性光ビームは、生成され得る。図において、夫々のビューイング区間515、525は、対応する指向性ビームが所望の3D効果を達成することができるビューイング位置を表すよう示されている。この実施形態に対応するシステムにおいて、観視者コンフリクト検出器は、観視者検出器を介して第2の観視者の第1及び少なくとも第2の観視者位置を取得するよう配置される。それらの位置は、ビューイング区間515、525によって表され得る。その後に、観視者コンフリクト検出器は、第1の観視者位置での1つのビューが第2の観視者位置での1つのビューと一致する観視者位置ビームコンフリクトを検出するよう配置される。図において、そのような衝突するビューイング位置での観視者のビューイング区間は、部分的に重なり合う。
立体視から平面視へ切り替えるべきか否かを決定する方法は、固定範囲であるビューイング区間515、525、又はコリジョン区間を観視者の周りに定義することである。図5は、V字形のコリジョン区間の使用を表す。考えは、コリジョン範囲が重なり合わない限りは両方の観視者にステレオコンテンツを提示することである。それらの範囲が重なり合う場合に、少なくとも一方又は両方の観視者は平面視モードにより提示される。
この実施形態の拡張は、観視者の動きを考慮することである。人物Bがカウチに座っており動いていないと仮定する。他方で、人物Aは左右に歩いており、特定の動きは人物Bのビューイング方向を通り過ぎる。この場合に、良好な画像品質を受け取ることにおいて、より高い優先度を人物Bに与えることは当然である。その理由は、人物Aに比べてずっと大きな変動が、人物Bが見ている画面に現れるためである。加えて、移動中の画像品質の劣化は、高い確実性で受け入れられると考えられる。最後に、動いている人物を追跡することは技術的により困難であり、これは、立体視への後退(フォールバック)シナリオをとにかく魅力的なものとする。同様に、留意のための他の糸口が使用され得る。座りながら動いている人物の場合に、垂直方向の位置のセグメンテーション、すなわち、座位対立位、に優先順位をつけることは当然である。
更なる実施形態において、人物Aが人物Bに近づくが、急に再び人物Bのコリジョン区間から離れないと決める場合に、両方の観視者が平面視へ切り替えられる。ここで、人物Aは人物Bの隣に着席したと考えられ得る。この場合に、観視者Aがクロストークによりゆがんだ画像を依然として受け取ることは、望ましくない。この問題は、コリジョン区間の間に重なり合いが存在する時間を記録するタイマに閾値を設定することによって解消され得る。この時間遅延はまた、システムをノイズに対して鈍感にする点で優れている。さもなければ、それは、人物が互いに近い場合に無作為の頻繁な切り替えを導入し得る。人物が離れていき、コリジョン区間に重なり合いがない場合に、再び立体視モードを有効にすることは当然である。切り替えにより導入されるイライラを最小限とするよう、場面遷移を待つことが提案される。タイマに加えて、場面遷移はまた、平面視モードへの、又は立体視モードへ戻る遷移をトリガするために使用されてよい。
図6は、3Dディスプレイ装置及び観視者メニューを示す。3Dディスプレイ装置610は、3Dテレビジョンユニットの例を与える。ディスプレイ画面上にはメニューが示されている。メニューの左側は、3Dモードにおいて画像データを受け取ると現在選択されている2人の観視者を図解的に示す。メニューの右側は、画像データの2Dバージョンを受け取ると現在設定されている観視者を示す。メニューは、観視者ごとの設定を変えることを可能にすることができる。メニューの図解表示は、観視者固有の2D/3D設定を制御することを可能にする。TVは、全ての観視者のクローズアップを示す。リモートコントロールにより、観視者は2つのグループに分けられ得る。
実施形態は、3Dを選好する観視者間の他のタイプのインタラクションを可能にする。頭部追跡ユニットを顔認識と組み合わせることによって、異なる観視者を区別することが可能である。このように、例えば、他の観視者が立体コンテンツを受け取る間、特定の観視者に平面画像を提示することが可能である。図6は、検出された観視者を平面視グループ及び立体視グループにおいてグループ分けするために使用され得るオンスクリーン・メニューの例を示す。同じアプローチは、例えば、子供が立体3Dモードにおいて見ないようにするために使用され得る。ステレオ様コンテンツのための観測される奥行きは画面からの距離とともに小さくなるので、画面に近すぎる観視者について平面視モードへ切り替えることは当然である。これはまた、観視者が遠すぎる場合にも使用されてよい。この場合に、目と目の間の角距離は、クロストークが回避され得ないほど小さくなる。任意に、より遠いディスプレイを用いることによって、異なる奥行きでレンダリングされる更なるビューを含むことも可能である。異なるビューについて夫々の対をなすビューを選択することによって、異なる観視者について異なる量の奥行きを提供することが可能である。例えば、システムは、個々の観視者ごとに適切な組をなすビューを選択してよい。
上述されたように、複数の観視者がディスプレイに対して同じ外側角に位置する状況が検討され改善される。顔認識に基づく更なるユーザ固有の3D設定が記載されてきた。
提案されるシステムは、観視者の左右の目へ画像を供給するために頭部又は瞳追跡を使用する自動立体ディスプレイの類に適用する。より具体的に、実施形態は、光を目の夫々に向けるためにバックライト・ライトステアリングを使用する自動立体ディスプレイの類である。例となる構成は、光を導くようレンズアレイの後ろで複数の切り替え可能な光源を使用することである。そのようなディスプレイの例は、http://www.seereal.biz/en/autostereoscopy/papers/EI08%206803-24%20Web.pdfで入手可能な文献:Hagen Stolle,Jean-Christophe Olaya,Steffen Buschbeck,Hagen Sahm,Dr. Armin Schwerdtner,有限会社シーリアルテクノロジ(ドイツ),“Technical solutions for a full-resolution auto-stereoscopic 2D/3D display technology”において論じられている。頭部追跡器は、画面に対する観視者の1又は方法を定めるために使用される。適切な光源をアドレッシングすることによって、光は左右いずれかの目へ導かれる。このように、時間順次的に立体様の3D画像を観視者に提供することが可能である。ビューシーケンシャル3Dディスプレイの更なる例は、http://download.microsoft.com/download/D/2/E/D2E425F8-CF3C-4C71-A4A2-70F9D4081007/Backlightforviewsequentialautostereo.docxで入手可能な文献:Travis, N. Emerton,T. Large,S. Bathiche,“The design of backlights for view-sequential 3D”において記載されている。
光源の空間多重化によって、ライトステアリングは、ステレオ様の3D画像を同時に複数の観視者に提供するために使用され得る。これは、観視者が画面に対して明らかに別々の方向において位置する場合に少なくとも可能である。しかし、観視者への方向が同じようになりすぎる場合は、もはや左右の目を個別的にアドレッシングすることは不可能である。より具体的に、1人の観視者の右眼に向けられた光は、他の観視者の左眼の光と部分的に重なり始める。あるいは、逆も同様である。これは、“クロストーク”、ひいては、3D性能の劣化を生じさせる。最悪の場合に、観視者の1人はアンチステレオを見る。
複数の観視者の場合について特定されている他のタイプのインタラクションは、2D又は3Dいずれかの鑑賞の選好である。立体視は、現実世界で利用可能な全ての視覚的刺激を扱わない。異なる奥行き手がかりの間のコンフリクトは、視覚的な不快症状をもたらすことがある。一部の人々は他者よりもこれに敏感であるから、3Dに対する彼らの選好は異なることがある。また、システムによって導入されるアーティファクトは、異なる選好を生じさせることがある。最後に、個人ごとの奥行き認知は、画面までの彼らの距離に依存する。画面に近い観視者は、意図されるよりも奥行きを認知することがある。
同じ投影によって全ての任意の位置にいる観視者にとって良好な3D性能を達成することは不可能であるから、上記のシステムは、衝突する位置を検出し、その後に、同じ方向における観視者の一部に平面視又は警告信号を提供する。2D又は3Dにおいてコンテンツを見るとの異なる選好の間のコンフリクトは、頭部追跡を顔認識スキームに結合することによって解消され得る。
図7は、3D画像データ122を表示する3Dディスプレイ160と、3D画像データをブロードキャスト送信712から受信するブロードキャスト受信部710と、3D画像データをインターネット716から受信するインターネット受信部714と、3D画像データを記憶媒体720から読み出し記憶媒体読取部718とを有する装置700を示す。なお、装置700は、上記の構成要素の全てを有することに代えて、それらの構成要素の一部のみを有してよいことが認識されるであろう。装置700は、例えば、レンチキュラに基づくマルチビュー3Dディスプレイ160を有する3Dテレビジョンであってよい。装置700は、例えば、ブルーレイプレーヤ、ブルーレイレコーダ、セットトップボックス、パーソナルコンピュータ、ハードディスクレコーダ等を更に有してよい。図7に示されていないが、装置700は、ユーザが、観視者コンフリクト検出器140に観視者コンフリクトの検出をオン又はオフするよう指示すること、又は何らかのユーザ好みを設定することを可能にするユーザ入力手段を有してよい。ユーザ入力手段は、ユーザがリモートコントロールを用いて観視者コンフリクト検出器140に指示することを可能にするリモートコントロール信号受信器であってよい。
ブロードキャスト受信部710は、例えば、地上、衛星又はケーブル放送を受信するための、何らかの適切なタイプのものであってよい。インターネット受信部714は、やはり何らかの適切なタイプのものであってよく、例えば、ADSL、イーサネット(登録商標)、WLAN、UMTS等によって必要とされるモデム機能性を有するか、あるいは、インターフェースプロトコル、例えば、TCP/IPであってよい。記憶媒体読取部718は、3D画像データ122を記憶媒体720から読み出すための何らかの適切なタイプのものであってよい。記憶媒体720は、何らかの適切なタイプのもの、例えば、ブルーレイ、DVD、フラッシュメモリ、ROM、RAM等である。記憶媒体は、装置にロードされる場合に、上述されたような観視者コンフリクト検出のための方法を実行するコンピュータプログラムを記憶してよい。
図8は、観視者コンフリクトを検出する方法を示す。方法は、STARTから開始し、上述されたように3Dディスプレイ装置のために3D画像データを処理する。装置は、3Dディスプレイの前で観視者の観視者位置を検出する観視者検出器を備える。方法は、続いて、3Dディスプレイでの表示のために少なくとも2つのビューを生成するよう3D画像データを処理する。方法は、観視者コンフリクトを検出するステップを更に有する。検出は、観視者検出器を介して第1の観視者の少なくとも第1の観視者位置を取得するステップOBTVPから始まる。次に、ステップDETVCは、第1のビュー及び第2のビューが第1の観視者に3D効果をもたらさない第1の観視者位置での観視者位置コンフリクトを検出する。観視者コンフリクトが決定ステップVCで検出されない場合は、方法は、ステップOBTVPで観視者の位置を取得することを続ける。観視者コンフリクトが決定ステップVCで検出される場合は、方法は、第1の観視者によって受け取られる少なくとも2つのビューのうちの少なくとも1つを変更することでステップMODVにおいてビューの少なくとも1つを変更することによって、続く。更なる3D画像が供給される必要がない場合に、方法はステップENDで終了する。ビューが以前に変更されており、以前の観視者コンフリクトがもはや存在しないと方法により検出される場合に、以前の変更は除去されることが知られる。
明りょうさのために、上記の説明は、異なる機能ユニットを参照して本発明の様々な実施形態を記載してきたことが認識されるであろう。しかし、異なる機能ユニット又はプロセッサの間での機能性の如何なる適切な分布も本発明から逸脱することなしに使用され得ることは明らかである。例えば、別個のプロセッサ又はコントローラによって実行されるよう表されている機能性は、同じプロセッサ又はコントローラによって実行されてよい。よって、具体的な機能ユニットへの言及は、厳密な論理的又は物理的構造又は体系を示すのではなく、単に、記載される機能性を提供する適切な手段への言及として見なされるべきである。
本発明は、ハードウェア、ソフトウェア、ファームウェア又はそれらのあらゆる組み合わせを含む如何なる適切な形態においても実施可能である。本発明は、任意に、1又はそれ以上のデータプロセッサ及び/又はデジタル信号プロセッサを実行するコンピュータソフトウェアとして少なくとも部分的に実施されてよい。本発明の実施形態の要素及びコンポーネントは、如何なる適切な方法においても物理的、機能的、及び論理的に実施されてよい。実際には、機能性は、単一のユニットにおいて、複数のユニットにおいて、又は他の機能ユニットの部分として、実施されてよい。そのようなものとして、本発明は、単一のユニットにおいて実施されてよく、あるいは、異なるユニット及びプロセッサの間で物理的及び機能的に分配されてよい。
本発明は、幾つかの実施形態に関連して記載されてきたが、ここで説明されている具体的な形態に制限されるよう意図されない。むしろ、本発明の適用範囲は、添付の特許請求の範囲によってのみ制限される。加えて、特徴は特定の実施形態に関連して記載されるように見えることがあるが、当業者であれば、記載される実施形態の様々な特徴が本発明に従って組み合わされ得ると認識するであろう。特許請求の範囲において、語「有する」は、他の要素又はステップの存在を除外しない。
加えて、個々に挙げられているとしても、複数の手段、要素又は方法ステップは、例えば、単一のユニット又はプロセッサによって実施されてよい。加えて、個々の特徴は異なる請求項に含まれることがあるが、それらは場合により有利に組み合わされてよく、異なる請求項における包含は、特徴の組み合わせが実行可能及び/又は有利でないことを暗示するものでない。また、1つのカテゴリの請求項における特徴の包含は、このカテゴリへの制限を暗示せず、むしろ、特徴が必要に応じて他の請求項カテゴリに同じく適用可能であることを示す。加えて、特許請求の範囲における特徴の順序は、特徴が機能すべき如何なる具体的な順序も暗示せず、特に、方法請求項における個々のステップの順序は、ステップがこの順序で実行されるべきことを暗示するものではない。むしろ、ステップは、あらゆる適切な順序においても実行されてよい。加えて、単数参照は複数個を除外しない。よって、「1つの」、「第1の」、「第2の」等への言及は、複数個を排除しない。特許請求の範囲における参照符号は、単に、明確な例として与えられており、決して特許請求の範囲の適用範囲を制限するよう解釈されるべきでない。

Claims (8)

  1. 3次元画像データの2つよりも多い複数のビューを発し、該ビューは、3次元効果をもたらすよう、左眼を介して当該複数のビューのうちの第1のビューを、及び右眼を介して当該複数のビューのうちの第2のビューを知覚する観視者による複数のビューイング位置での前記3次元画像データの自動立体視を可能にする、3次元ディスプレイと、
    前記3次元ディスプレイでの表示のために前記複数のビューを生成するよう前記3次元画像データを処理するプロセッサと、
    前記3次元ディスプレイの前で観視者の観視者位置を検出する観視者検出器と
    を有し、
    前記プロセッサは、
    前記観視者検出器を介して第1の観視者の少なくとも第1の観視者位置を取得し、
    前記第1のビュー及び前記第2のビューが前記第1の観視者に前記3次元効果をもたらさない前記第1の観視者位置での観視者位置コンフリクトを検出し、
    前記観視者検出器を介して第2の観視者の少なくとも第2の観視者位置を取得し、
    前記第1の観視者に該第1の観視者が前記3次元効果を受けないことを示すよう、前記第1の観視者によって受け取られる前記複数のビューのうちの1つを選択的に変更して、該1つの選択されたビューが前記第2の観視者によって認知されるビューでないようにすることで、前記検出された観視者位置コンフリクトに依存して前記ビューの生成を制御する
    よう配置される観視者コンフリクト検出器を更に有する、ディスプレイ装置。
  2. 前記3次元ディスプレイは、円錐視野において前記3次元画像データの一連の2よりも多いビューを隣接して発するよう配置される多重ビューディスプレイであり、前記一連のビューは、前記円錐視野における複数のビューイング位置で前記3次元画像データの自動立体視を可能にし、前記観視者コンフリクト検出器は、
    前記第1のビューが第1円錐からの第1の円錐視野であり且つ前記第2のビューが第2円錐からの第2の円錐視野である前記第1の観視者位置で観視者位置円錐コンフリクトを検出するよう配置される、
    請求項1に記載のディスプレイ装置。
  3. 前記観視者コンフリクト検出器は、前記観視者位置円錐コンフリクトを検出する場合に、
    夫々の円錐視野にグラフィカル要素をオーバレイすること、
    夫々の円錐視野にテキストメッセージをオーバレイすること、
    黒色画面又は赤色画面を一時的に示すことで夫々の円錐視野の画像コンテンツを変えること
    のうちの少なくとも1つによって前記第1の円錐視野及び前記第2の円錐視野のうちの1つを変更するように前記プロセッサを制御するよう配置される、
    請求項2に記載のディスプレイ装置。
  4. 前記観視者コンフリクト検出器は、前記観視者位置円錐コンフリクトを検出する場合に、
    夫々の円錐視野の輝度を変えること、
    夫々の円錐視野の色を変えること
    のうちの少なくとも1つによって前記第1の円錐視野及び前記第2の円錐視野のうちの1つを変更するように前記プロセッサを制御するよう配置される、
    請求項2に記載のディスプレイ装置。
  5. 前記3次元ディスプレイは、観視者の左眼への夫々の第1の指向性ビーム及び右眼への夫々の第2の指向性ビームを介して左ビュー及び右ビューを連続して発するよう配置されるシーケンシャルビューディスプレイであり、前記ビューは、夫々の指向性ビームを組み合わせることで夫々のビューイング位置で前記3次元画像データの自動立体視を可能にし、前記観視者コンフリクト検出器は、
    前記第1の観視者位置での1つのビューが前記第2の観視者位置での1つのビューと一致する観視者位置ビームコンフリクトを検出する
    よう配置される、請求項1に記載のディスプレイ装置。
  6. 前記観視者検出器は、
    カメラからのビデオ画像における顔検出、
    距離センサからの距離情報、
    観視者位置で観視者によって操作されるリモートコントロールユニットからのユーザ入力、
    前記観視者位置で前記観視者によって位置付けられる観視者タグ付けオブジェクトの検出
    のうちの少なくとも1つに基づき、前記3次元ディスプレイの前で観視者の観視者位置を検出するよう配置される、
    請求項1に記載のディスプレイ装置。
  7. ディスプレイ装置のための3次元画像データの処理方法であって、
    前記ディスプレイ装置は、
    3次元画像データの2つよりも多い複数のビューを発し、該ビューは、3次元効果をもたらすよう、左眼を介して当該複数のビューのうちの第1のビューを、及び右眼を介して当該複数のビューのうちの第2のビューを知覚する観視者による複数のビューイング位置での前記3次元画像データの自動立体視を可能にする、3次元ディスプレイと、
    前記3次元ディスプレイの前で観視者の観視者位置を検出する観視者検出器と
    を有し、
    当該方法は、前記3次元ディスプレイでの表示のために前記複数のビューを生成するよう前記3次元画像データを処理するステップを有し、
    当該方法は、
    前記観視者検出器を介して第1の観視者の少なくとも第1の観視者位置を取得し、
    前記第1のビュー及び前記第2のビューが前記第1の観視者に前記3次元効果をもたらさない前記第1の観視者位置での観視者位置コンフリクトを検出し、
    前記観視者検出器を介して第2の観視者の少なくとも第2の観視者位置を取得し、
    前記第1の観視者に該第1の観視者が前記3次元効果を受けないことを示すよう、前記第1の観視者によって受け取られる前記複数のビューのうちの1つを選択的に変更して、該1つの選択されたビューが前記第2の観視者によって認知されるビューでないようにすることで、前記検出された観視者位置コンフリクトに依存して前記ビューの生成を制御する
    ことによって観視者コンフリクトを検出するステップを更に有する、方法。
  8. プロセッサシステムに、請求項7に記載の方法を実行させる命令を有する
    コンピュータプログラム。
JP2015502492A 2012-03-27 2013-03-19 複数の観視者用の3dディスプレイ Expired - Fee Related JP6224068B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261615947P 2012-03-27 2012-03-27
US61/615,947 2012-03-27
PCT/IB2013/052161 WO2013144773A2 (en) 2012-03-27 2013-03-19 Multiple viewer 3d display

Publications (2)

Publication Number Publication Date
JP2015519772A JP2015519772A (ja) 2015-07-09
JP6224068B2 true JP6224068B2 (ja) 2017-11-01

Family

ID=48446415

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015502492A Expired - Fee Related JP6224068B2 (ja) 2012-03-27 2013-03-19 複数の観視者用の3dディスプレイ

Country Status (7)

Country Link
US (1) US9648308B2 (ja)
EP (1) EP2832100B1 (ja)
JP (1) JP6224068B2 (ja)
CN (1) CN104185987B (ja)
RU (1) RU2014143033A (ja)
TR (1) TR201903727T4 (ja)
WO (1) WO2013144773A2 (ja)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150295923A1 (en) * 2007-03-28 2015-10-15 Autodesk, Inc. Environment based switching between two dimensions and three dimensions
US9674510B2 (en) * 2012-11-21 2017-06-06 Elwha Llc Pulsed projection system for 3D video
KR102232621B1 (ko) * 2013-07-30 2021-03-29 삼성디스플레이 주식회사 광 테라피 표시 장치
WO2015074807A2 (en) * 2013-11-20 2015-05-28 Koninklijke Philips N.V. Generation of images for an autosteroscopic multi-view display
KR20150093014A (ko) * 2014-02-06 2015-08-17 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US20150228226A1 (en) * 2014-02-13 2015-08-13 Nvidia Corporation Power-efficient steerable displays
US9843792B2 (en) * 2014-04-02 2017-12-12 Telefonaktiebolaget L M Ericsson (Publ) Multi-view display control
US9716879B2 (en) * 2014-07-15 2017-07-25 Shenzhen China Star Optoelectronics Technology Co., Ltd Image display method and device for multi-view stereoscopic display
US11099798B2 (en) 2015-01-20 2021-08-24 Misapplied Sciences, Inc. Differentiated content delivery system and method therefor
US10701349B2 (en) 2015-01-20 2020-06-30 Misapplied Sciences, Inc. Method for calibrating a multi-view display
US10955924B2 (en) 2015-01-29 2021-03-23 Misapplied Sciences, Inc. Individually interactive multi-view display system and methods therefor
US10928914B2 (en) 2015-01-29 2021-02-23 Misapplied Sciences, Inc. Individually interactive multi-view display system for non-stationary viewing locations and methods therefor
US10264247B2 (en) 2015-02-03 2019-04-16 Misapplied Sciences, Inc. Multi-view displays
EP3266200B1 (en) * 2015-03-03 2021-05-05 Misapplied Sciences, Inc. System and method for displaying location dependent content
US10362301B2 (en) 2015-03-05 2019-07-23 Misapplied Sciences, Inc. Designing content for multi-view display
WO2016154711A1 (en) * 2015-03-31 2016-10-06 Cae Inc. Multifactor eye position identification in a display system
US9715827B2 (en) 2015-04-01 2017-07-25 Misapplied Sciences, Inc. Multi-view traffic signage
US10638119B2 (en) 2015-05-05 2020-04-28 Koninklijke Philips N.V. Generation of image for an autostereoscopic display
WO2016201412A1 (en) 2015-06-11 2016-12-15 Misapplied Sciences, Inc. Multi-view architectural lighting system
US9792712B2 (en) 2015-06-16 2017-10-17 Misapplied Sciences, Inc. Computational pipeline and architecture for multi-view displays
KR102415502B1 (ko) * 2015-08-07 2022-07-01 삼성전자주식회사 복수의 사용자를 위한 라이트 필드 렌더링 방법 및 장치
JP6865212B2 (ja) 2015-09-05 2021-04-28 レイア、インコーポレイテッドLeia Inc. 向上した角度分解能を有するスーパーサンプリングされた3dディスプレイ
KR102447099B1 (ko) * 2015-09-23 2022-09-26 삼성전자주식회사 광원 디바이스, 이를 포함하는 디스플레이 장치, 디스플레이 방법
EP3406077A1 (en) 2015-12-29 2018-11-28 Koninklijke Philips N.V. Autostereoscopic display device and display method
US10602131B2 (en) 2016-10-20 2020-03-24 Misapplied Sciences, Inc. System and methods for wayfinding and navigation via multi-view displays, signage, and lights
CN110073363B (zh) * 2016-12-14 2023-11-14 皇家飞利浦有限公司 追踪对象的头部
US10757401B2 (en) 2017-03-15 2020-08-25 Sony Corporation Display system and method for display control of a video based on different view positions
US10269279B2 (en) 2017-03-24 2019-04-23 Misapplied Sciences, Inc. Display system and method for delivering multi-view content
US10427045B2 (en) 2017-07-12 2019-10-01 Misapplied Sciences, Inc. Multi-view (MV) display systems and methods for quest experiences, challenges, scavenger hunts, treasure hunts and alternate reality games
US10565616B2 (en) 2017-07-13 2020-02-18 Misapplied Sciences, Inc. Multi-view advertising system and method
US10404974B2 (en) 2017-07-21 2019-09-03 Misapplied Sciences, Inc. Personalized audio-visual systems
CN107396087B (zh) * 2017-07-31 2019-03-12 京东方科技集团股份有限公司 裸眼三维显示装置及其控制方法
KR102512629B1 (ko) * 2017-08-29 2023-03-23 삼성디스플레이 주식회사 입체영상 표시 장치
US20190124313A1 (en) * 2017-10-19 2019-04-25 Intel Corporation Three dimensional glasses free light field display using eye location
US10778962B2 (en) 2017-11-10 2020-09-15 Misapplied Sciences, Inc. Precision multi-view display
CN108364354A (zh) * 2018-01-02 2018-08-03 广东鸿威国际会展集团有限公司 基于人工智能的显示系统和方法
US11025892B1 (en) 2018-04-04 2021-06-01 James Andrew Aman System and method for simultaneously providing public and private images
CN108540791B (zh) * 2018-04-25 2020-01-24 京东方科技集团股份有限公司 一种双视显示方法和装置
EP4094243A4 (en) * 2020-01-20 2024-02-21 Leia Inc MULTI-USER MULTIPLE VIEW DISPLAY, SYSTEM AND METHOD
CN114390267A (zh) * 2022-01-11 2022-04-22 宁波视睿迪光电有限公司 立体图像数据合成方法、装置、电子设备及存储介质

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2296617A (en) * 1994-12-29 1996-07-03 Sharp Kk Observer tracking autosteroscopic display
EP0809913B1 (en) 1995-12-19 2002-06-12 Koninklijke Philips Electronics N.V. Parallactic depth-dependent pixel shifts
JP3096639B2 (ja) 1996-07-22 2000-10-10 三洋電機株式会社 立体映像表示装置
GB2321815A (en) * 1997-02-04 1998-08-05 Sharp Kk Autostereoscopic display with viewer position indicator
JP3443271B2 (ja) * 1997-03-24 2003-09-02 三洋電機株式会社 立体映像表示装置
ATE492989T1 (de) 2001-08-21 2011-01-15 Koninkl Philips Electronics Nv Autostereoskopische bildanzeigevorrichtung mit benutzernachfolgesystem
US20040252187A1 (en) 2001-09-10 2004-12-16 Alden Ray M. Processes and apparatuses for efficient multiple program and 3D display
US7843449B2 (en) 2006-09-20 2010-11-30 Apple Inc. Three-dimensional display system
CN101473262A (zh) * 2006-06-16 2009-07-01 皇家飞利浦电子股份有限公司 多视图显示设备
JP2008170841A (ja) * 2007-01-15 2008-07-24 Epson Imaging Devices Corp 電気光学装置及び電子機器
EP2394195A4 (en) 2009-02-03 2013-05-08 Bit Cauldron Corp METHOD FOR CAPTURING AND VISUALIZING STEREOSCOPIC 3D IMAGES
US20100194857A1 (en) * 2009-02-03 2010-08-05 Bit Cauldron Corporation Method of stereoscopic 3d viewing using wireless or multiple protocol capable shutter glasses
US20110199463A1 (en) * 2010-02-15 2011-08-18 Gallagher Andrew C Display with integrated camera
CN102449534B (zh) * 2010-04-21 2014-07-02 松下电器产业株式会社 立体影像显示装置、立体影像显示方法
JP5494284B2 (ja) * 2010-06-24 2014-05-14 ソニー株式会社 立体表示装置及び立体表示装置の制御方法
US8605136B2 (en) * 2010-08-10 2013-12-10 Sony Corporation 2D to 3D user interface content data conversion
JP5011431B2 (ja) 2010-12-21 2012-08-29 株式会社東芝 映像信号処理装置および処理方法ならびに映像表示装置
JP2015039064A (ja) * 2010-12-21 2015-02-26 株式会社東芝 画像処理装置
EP2703874B1 (en) * 2011-04-28 2019-09-18 Panasonic Intellectual Property Corporation of America Video display device
US20120300046A1 (en) * 2011-05-24 2012-11-29 Ilya Blayvas Method and System for Directed Light Stereo Display
US20130093752A1 (en) * 2011-10-13 2013-04-18 Sharp Laboratories Of America, Inc. Viewer reactive auto stereoscopic display
US9648310B2 (en) * 2011-11-09 2017-05-09 Qualcomm Incorporated Systems and methods for mask adjustment in 3D display
KR101924058B1 (ko) * 2012-04-03 2018-11-30 엘지전자 주식회사 영상표시장치 및 그 동작방법
CN104247415A (zh) 2012-04-24 2014-12-24 皇家飞利浦有限公司 自动立体显示设备和驱动方法

Also Published As

Publication number Publication date
CN104185987B (zh) 2017-03-08
EP2832100B1 (en) 2019-01-02
TR201903727T4 (tr) 2019-04-22
EP2832100A2 (en) 2015-02-04
US20150049176A1 (en) 2015-02-19
CN104185987A (zh) 2014-12-03
JP2015519772A (ja) 2015-07-09
WO2013144773A3 (en) 2013-12-05
RU2014143033A (ru) 2016-05-20
WO2013144773A2 (en) 2013-10-03
US9648308B2 (en) 2017-05-09

Similar Documents

Publication Publication Date Title
JP6224068B2 (ja) 複数の観視者用の3dディスプレイ
TWI527429B (zh) 三維顯示系統
KR101095392B1 (ko) 3-d 영상 디스플레이 스크린상에 3-d 영상들을렌더링하는 시스템 및 방법
JP5427035B2 (ja) 複数の個別設定を用いた画像観察
KR101569150B1 (ko) 3차원 영상기기 및 이에 적용되는 osd 제공방법
KR20110044573A (ko) 디스플레이장치 및 그 영상표시방법
JP5444848B2 (ja) 画像表示装置、画像観察用眼鏡、および画像表示制御方法、並びにプログラム
CN102970569B (zh) 视域调整装置、视频处理装置以及视域调整方法
CN103477646B (zh) 用于3d显示的位置指示器
CN102170577A (zh) 用于处理视频图像的方法和系统
KR102141520B1 (ko) 무안경 다시점 영상 디스플레이 장치
US20130044939A1 (en) Method and system for modifying binocular images
KR101309705B1 (ko) 안경 및 이를 채용한 3d 영상표시 시스템
US20130050416A1 (en) Video processing apparatus and video processing method
JP2010113161A (ja) 映像表示装置
KR20130123526A (ko) 입체 영상 디스플레이 장치 및 입체 영상 디스플레이 방법
JP5132804B1 (ja) 映像処理装置および映像処理方法
US20140268324A1 (en) Method of displaying 3d images from 2d source images using a barrier grid
JP2004282217A (ja) 多眼式立体映像表示装置
US20130044104A1 (en) Methods and Apparatus for Displaying an Image with Enhanced Depth Effect
Yamamoto et al. Development of 480-fps LED display by use of spatiotemporal mapping
KR20130079044A (ko) 디스플레이 장치 및 그 제어 방법
KR101979196B1 (ko) 입체 영상 표시 장치 및 그 구동 방법
GB2495969A (en) Displaying dual-view three dimensional images using active shutter glasses.
TW201312545A (zh) 顯示系統、其影像處理器,及其立體影像產生方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160316

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161220

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170317

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171004

R150 Certificate of patent or registration of utility model

Ref document number: 6224068

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees