JP7141300B2 - ライトフィールド表示装置及びそのライトフィールド画像の表示方法 - Google Patents

ライトフィールド表示装置及びそのライトフィールド画像の表示方法 Download PDF

Info

Publication number
JP7141300B2
JP7141300B2 JP2018192247A JP2018192247A JP7141300B2 JP 7141300 B2 JP7141300 B2 JP 7141300B2 JP 2018192247 A JP2018192247 A JP 2018192247A JP 2018192247 A JP2018192247 A JP 2018192247A JP 7141300 B2 JP7141300 B2 JP 7141300B2
Authority
JP
Japan
Prior art keywords
depth value
light field
range
image
layered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018192247A
Other languages
English (en)
Other versions
JP2019075784A (ja
Inventor
函萱 林
瑞翊 ▲呉▼
Original Assignee
中強光電股▲ふん▼有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中強光電股▲ふん▼有限公司 filed Critical 中強光電股▲ふん▼有限公司
Publication of JP2019075784A publication Critical patent/JP2019075784A/ja
Application granted granted Critical
Publication of JP7141300B2 publication Critical patent/JP7141300B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/139Format conversion, e.g. of frame-rate or size
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/52Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels the 3D volume being constructed from a stack or sequence of 2D planes, e.g. depth sampling systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/307Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using fly-eye lenses, e.g. arrangements of circular lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は表示装置及びその画像の表示方法に関し、特にライトフィールド表示装置及びそのライトフィールド画像の表示方法に関する。
一般的に、ライトフィールドニアアイディスプレイ技術は、ディスプレイを利用してライトフィールドアレイ画像を表示するとともに、レンズアレイを組み合わせることで、ユーザの目の中に像を形成する。ライトフィールドアレイ画像光束がレンズアレイを透過してユーザに伝達された時に、ユーザはレンズアレイを介してディスプレイの後に、奥行のある立体的虚像を見ることができる。しかし、一つのライトフィールドアレイ画像の形成は莫大のデータ演算を必要とするため、ライトフィールドアレイ画像を生成する情報がディスプレイに伝達された時に、演算を減らして画像処理を簡潔化するプロセスとして、例えば、奥行情報を有する立体画像をデジタル化の階層にして、画像処理を簡潔化することはよくある。しかし、画像を階層にする処理方法では、ライトフィールドアレイ画像の階層により奥行が分断された部分に欠陥が発生し、さらに画像にノイズが発生し、ユーザに不明確な立体的虚像が見えることがある。
「背景技術」部分は本発明の内容に対する理解を促すものであり、「背景技術」部分で開示された内容に、当業者に知られている従来技術を構成しないものが含まれている可能性もある。「背景技術」部分で開示された内容は、当該内容又は本発明の一つ若しくは複数の実施例で解決しようとする課題が本発明の出願前に既に当業者に把握又は認識されていたことを意味するものではない。
本発明はライトフィールド表示装置及びそのライトフィールド画像の表示方法を提供し、画像中の奥行の違いによる欠陥を改善し、観察者に立体的奥行のある高品質の画像を提供することができる。
本発明のその他の目的と利点について、本発明が開示する技術的特徴からさらに理解を深めることができる。
上記一つ、一部又は全ての目的、及びその他の目的を達成するために、本発明の一実施例はライトフィールド表示装置に適用されるライトフィールド画像の表示方法を提供し、ライトフィールド画像の表示方法が以下のステップを含む。複数の奥行値を有する画像を提供するステップ、奥行値が画像の遠近程度を表す。複数の異なる拡張奥行値範囲に基づいて、画像中の複数の奥行値に対応する複数の画素をそれぞれ取り出して、複数の階層化画像を形成するステップ、複数の奥行値がそれぞれ複数の拡張奥行値範囲内にあり、拡張奥行値範囲が互いに異なり且つ順に部分的に重なる。階層化画像に基づいてライトフィールド画像を形成するステップ。ライトフィールド画像に対応する信号をライトフィールド表示装置のディスプレイに提供するステップ。
上記一つ、一部又は全ての目的、及びその他の目的を達成するために、本発明の別の実施例はライトフィールド表示装置を提供し、ライトフィールド表示装置がディスプレイ、レンズアレイ及びプロセッサーを含む。ディスプレイはライトフィールド画像を提供する。レンズアレイはディスプレイの一方側に配置され、ライトフィールド画像を透過させる。プロセッサーはディスプレイに電気的に接続され、プロセッサーは複数の異なる拡張奥行値範囲に基づいて、画像中の複数の奥行値に対応する複数の画素をそれぞれ取り出して、複数の階層化画像を形成し、且つ、階層化画像に基づいてライトフィールド画像を形成し、ライトフィールド画像に対応する信号をディスプレイに提供する。複数の奥行値がそれぞれ複数の拡張奥行値範囲内にあり、奥行値が画像の遠近程度を表し、拡張奥行値範囲が互いに異なり且つ順に部分的に重なる。
以上により、本発明の実施例は少なくとも以下の利点又は効果のうちの一つを有する。本発明の実施例において、複数の奥行値を有する画像をプロセッサーに提供し、プロセッサーが複数の異なる拡張奥行値範囲に基づいて、画像中の複数の奥行値に対応する複数の画素をそれぞれ取り出して、互いに異なり且つ順に部分的に重なる複数の階層化画像を形成し、さらに、これらの階層化画像に基づいてライトフィールド画像を形成し、複数の奥行値がそれぞれ複数の拡張奥行値範囲内にある。従って、ライトフィールド画像を形成する時に、階層化画像が部分的に重なるため、階層化画像の奥行が分断された部分に発生する欠陥を改善し、観察者に立体的奥行のある高品質な観察画像を提供する。
本発明の上記特徴及び利点をより明確に、わかり易く示すべく、以下は実施例を挙げて、図面を参照しながら詳しく説明する。
本発明の一実施例のライトフィールド表示装置の概略図である。 本発明の一実施例中の複数の奥行値を有する画像の概略図である。 図2の画像を奥行値に基づいてグレースケール化した概略図である。 図2の画像中の異なる拡張奥行値範囲の階層化画像の概略図である。 図2の画像中の異なる拡張奥行値範囲の階層化画像の概略図である。 図2の画像中の異なる拡張奥行値範囲の階層化画像の概略図である。 図2の画像中の異なる拡張奥行値範囲の階層化画像の概略図である。 図2の画像中の異なる拡張奥行値範囲の階層化画像の概略図である。 図2の画像中の異なる拡張奥行値範囲の階層化画像の概略図である。 図1のライトフィールド表示装置が階層化画像に基づいてライトフィールド画像を形成する概略図である。 図5Aのライトフィールド画像のディスプレイにおける概略図である。 比較実施例のライトフィールド表示装置が階層化画像に基づいてライトフィールド画像を形成する概略図である。 図6Aのライトフィールド画像のディスプレイにおける概略図である。
本発明の上記及びその他の技術内容、特徴及び効果は、以下図面に基づいて行われる好ましい実施例の詳細説明において明確に示されている。以下の実施例において言及される方向用語、例えば、上、下、左、右、前又は後などは図面を参照するための方向のみである。従って、これらの方向用語は説明目的のものであり、本発明を制限するものではない。
図1は本発明の一実施例のライトフィールド表示装置の概略図である。図2は本発明の一実施例中の複数の奥行値を有する画像の概略図である。図1及び図2を参照すると、本実施例において、ライトフィールド表示装置100はディスプレイ120、レンズアレイ110及びプロセッサー130を含む。ディスプレイ120はライトフィールド画像光束F1を提供する。レンズアレイ110は、ディスプレイ120の一方側に配置され、ライトフィールド画像光束F1を透過させる。プロセッサー130は、ディスプレイ120に電気的に接続され、ライトフィールド画像に対応する信号をディスプレイ120に提供し、且つ、ディスプレイ120によってライトフィールド画像光束F1が投射目標P、例えば人の目の瞳孔まで投射される。また、レンズアレイ110はディスプレイ120と投射目標Pとの間に配置される。使用上、外部画像源、例えばパーソナルコンピュータ又はその他の携帯式装置から、表示する必要がある画像であって奥行値を有する画像DIがプロセッサー130に伝達され、なお、伝達方式として有線方式でも無線方式でもよい。プロセッサー130は奥行値を有する画像DIをライトフィールド画像光束F1に変調し、ライトフィールド画像光束F1がディスプレイ120によって射出され、且つレンズアレイ110を通った後に投射目標Pに入り、投射目標Pにおいて像を形成する(例えば、ユーザの目の網膜において像を形成する)。なお、投射目標Pは、ユーザの目の瞳孔であっても、又は画像獲得装置(例えば、撮影機)の絞りであってもよく、本発明はこれに限定されない。このように、レンズアレイ110の視差特性によって、観察者は奥行値を有する仮想画像、つまり立体的奥行のある観察画像を見ることができる。
図3は図2の画像を奥行値に基づいてグレースケール化した概略図である。図1から図3を参照すると、本実施例において、ライトフィールド画像F1の表示方法はライトフィールド表示装置100に適用され、ライトフィールド画像V1の表示方法は以下のステップを含む。複数の奥行値を有する画像DIを提供するステップ、これらの奥行値が画像の遠近程度を表す。言い換えれば、画像DI中の各領域の遠近程度を奥行値で示すことができる。詳しく言うと、上記ステップにおいて提供される画像DIは、例えば複数の画素によって構成され、これらの画素がそれぞれ一つの奥行値情報を有するため、これら異なる奥行値情報を有する画素の組み合わせによって、図2が示すように、複数の奥行値を有する画像DIが形成される。さらに例を挙げると、グレースケール値で説明すると明確に理解できるように、奥行値の範囲が例えば0から255に定義され、異なるグレースケールレベルによって、対応する奥行値の変化を表示し、即ち、図3が示すように、256種の異なるグレースケールレベルのグレースケール化画像DI’を表示することができる。
図4Aから図4Fはそれぞれ、図2の画像の異なる拡張奥行値範囲の階層化画像の概略図である。図1、図2、図4Aから図4Fを同時に参照すると、上記ステップの後に続き、複数の異なる拡張奥行値範囲に基づいて、画像DI中の複数の奥行値に対応する複数の画素をそれぞれ取り出し、かつ、複数の奥行値がそれぞれ複数の拡張奥行値範囲内にあって、複数の階層化画像PI1、PI2、PI3、PI4、PI5、PI6を形成し、図4Aから図4Fがそれぞれ示すように、これらの拡張奥行値範囲は互いに異なり、且つ順に部分的に重なる。具体的に言うと、本実施例において、プロセッサー130は、予め設定された複数の異なる拡張奥行値範囲に基づいて、複数の奥行値を有する画像中の複数の奥行値に対応する複数の画素をそれぞれ取り出し、且つ、複数の奥行値がそれぞれ複数の拡張奥行値範囲内にあり、これらの階層化画像PI1、PI2、PI3、PI4、PI5、PI6を形成する。
詳しく言うと、本実施例では、上記の複数の階層化画像を形成するステップにおいてさらに、画像DIの奥行値範囲を順に複数のサブ奥行値範囲に分けて、複数のサブ奥行値範囲が一部の同じ範囲長さ値を有し、範囲長さ値は複数のサブ奥行値範囲の上限と下限の差である。例を挙げると、画像DIの奥行値範囲は例えば0から255であり、従って、奥行値範囲0から255を順に複数のサブ奥行値範囲に分けることが可能であり、例えば6階層に分ける場合、順に0から41、42から84、85から127、128から170、171から212、及び213から255に分けて、且つ、それぞれ同じ又は近い範囲長さ値41~42を有する。なお、本実施例における「近い」範囲長さ値とは、できるだけ均一に分けて複数のサブ奥行値範囲にする場合、奥行値範囲の合計範囲長さをサブ奥行値範囲の数で割った時に整数が得られず、一部の範囲長さ値が1多く又は1少なくなることを意味する。
続いて、上記ステップの後、プロセッサー130はこれらのサブ奥行値範囲をそれぞれ複数の拡張奥行値範囲に修正し、各拡張奥行値範囲はその対応する各サブ奥行値範囲以上である。言い換えれば、拡張奥行値範囲はこれらのサブ奥行値範囲をそれぞれ修正して得られたものである。詳しく言うと、本実施例において、上記ステップではさらに、複数のサブ奥行値範囲の数に基づいて複数の範囲拡張値を決定し、範囲拡張値が0以上であり、及び、これらの範囲拡張値がそれぞれ対応するサブ奥行値範囲に加えられて、拡張奥行値範囲を形成する。言い換えれば、サブ奥行値範囲の数に基づいて範囲拡張値を調整することが可能であり、さらにこれらの範囲拡張値をそれぞれサブ奥行値範囲に加えて、サブ奥行値範囲を増大させて、カバーする範囲が比較的に広い拡張奥行値範囲を形成する。一般的に、サブ奥行値範囲の数が大きい程、範囲拡張値が小さくなるが、サブ奥行値範囲の数が小さい程、範囲拡張値が大きくなる。
本実施例において、上記のステップではさらに、これらの範囲拡張値をそれぞれ対応するサブ奥行値範囲の上限及び下限に加えて、各拡張奥行値範囲を形成し、及び、各拡張奥行値範囲がそれぞれ対応する各サブ奥行値範囲に取って代わる。例を挙げると、本実施例において、プロセッサー130は6つの異なるサブ奥行値範囲に基づいて、範囲拡張値が4であると決定し、そして範囲が0から41のサブ奥行値範囲を0から45に修正し、範囲が42から84のサブ奥行値範囲を38から88に修正し、範囲が85から127のサブ奥行値範囲を81から131に修正し、このように、修正後の範囲は対応する拡張奥行値範囲であり、さらに対応するサブ奥行値範囲に取って代わる。言い換えれば、拡張奥行値範囲中の最も小さい範囲下限に対応する範囲拡張値は0であり、奥行値範囲の上下限(即ち、範囲が0又は255)以外のその他のサブ奥行値範囲の範囲値はいずれも外へ4つ拡張され、即ち、上限に4を足し、下限から4を引く。
別の実施例において、上記の範囲拡張値はサブ奥行値範囲中の範囲長さ値の八分の一以下であり、又は、範囲拡張値が奥行値範囲の全体の長さ値の百二十八分の一以下である。例を挙げると、奥行値範囲が0から255であり、且つサブ奥行値範囲の数が16である場合、範囲拡張値が2以下であるが、別の実施例において、範囲拡張値を必要に応じて変更することも可能であり、本発明はこれに限定されない。
本実施例において、上記のように複数のサブ奥行値範囲をそれぞれ複数の拡張奥行値範囲に修正した後、さらに、各拡張奥行値範囲に基づいて、画像を対応する各階層化画像PI1、PI2、PI3、PI4、PI5、PI6に形成し、画像DIから複数の階層化画像を形成するステップを完了する。言い換えれば、プロセッサー130が各拡張奥行値範囲に基づいて画像DIを修正することによって、階層化画像PI、PI2、PI3、PI4、PI5、PI6が形成される。詳しく言うと、本実施例において、各階層化画像PI1、PI2、PI3、PI4、PI5、PI6はそれぞれ階層化奥行値を有し、且つ各階層化奥行値が各階層化画像中の対応する拡張奥行値範囲中にあり、階層化奥行値は階層化画像の奥行値を示す。例を挙げると、本実施例において、階層化画像PI1の階層化奥行値は階層化画像PI1の拡張奥行値範囲の平均値であり、即ち、階層化奥行値が21であって、その拡張奥行値範囲0から41の中にあり、階層化画像PI2の階層化奥行値は階層化画像PI2の拡張奥行値範囲の平均値であり、即ち、階層化奥行値が63であって、その拡張奥行値範囲42から84の中にある。別の実施例において、階層化画像の階層化奥行値は、例えば階層化画像の拡張奥行値範囲の中央値等とすることも可能であり、本発明はこれに限定されない。
図5Aは図1のライトフィールド表示装置が階層化画像に基づいてライトフィールド画像を形成する概略図である。図5Bは図5Aのライトフィールド画像がディスプレイにおける概略図である。図5A及び図5Bを参照すると、便利の見地から、図5Aには一部の階層化画像及び画素のみが示されている。本実施例において、上記ステップの後に続いて、複数の階層化画像PI1、PI2に基づいて、ライトフィールド画像VIを形成し、及び、プロセッサー130がライトフィールド画像VIに対応する信号をライトフィールド表示装置100のディスプレイ120に提供する。言い換えれば、プロセッサー130はこれらの階層化画像PI1、PI2に基づいてライトフィールド画像VIを形成し、且つディスプレイ120に提供し、レンズアレイ110によって、ユーザに立体的奥行のある高品質な観察画像HIを見せて、提供する。また、ライトフィールド画像VIは奥行値を有する画像DIが重なって表示されることで構成され、且つレンズアレイ110のレンズ位置に対応して、奥行値を有する画像DIをシフトさせて(shifting)、ディスプレイ120の提供するライトフィールド画像VIがレンズアレイ110を介して、観察者に一つの完全かつ立体的奥行のある観察画像HIとして見えるようにする。
具体的に言うと、本実施例において、上記のステップではさらに、これらの階層化画像PI1、PI2及びそのそれぞれに対応する階層化奥行値に基づいて、ライトフィールド画像VIを形成する。具体的に言うと、本実施例において、プロセッサー130は階層化奥行値12に対応する階層化画像PI1と階層化奥行値31に対応する階層化画像PI2、及びその他の階層化画像を合成してライトフィールド画像VIを形成し、且つ、合成されたライトフィールド画像VIに対応する信号がプロセッサー130によってディスプレイ120に提供され、レンズアレイ110によって投射目標Pに表示される。階層化画像PI1、PI2及びその他の階層化画像の拡張奥行値範囲が互いに異なり、且つ順に部分的に重なるため、ライトフィールド画像VIを形成する時に、階層化画像PI1、PI2及びその他の階層化画像が部分的に重なることによって、階層化画像の奥行が分断された部分に発生する欠陥を改善し(つまり、階層の境界において画像の奥行がないことを改善し)、さらに観察画像HIにノイズが発生することを防止し、観察画像HI中の奥行の違いによる欠陥を改善することができて、観察者に立体的奥行のある高品質な観察画像HIを提供することができる。
一実施例において、プロセッサー130は例えば中央処理装置(central processing unit、CPU)、マイクロプロセッサー(microprocessor)、デジタルシグナルプロセッサー(digital signal processor、DSP)、プログラマブルコントローラー、プログラマブルロジックデバイス(programmable logic device、PLD)又はその他の類似する装置、及びこれらの装置の組み合わせであってもよいが、本発明はこれに限定されない。その他、一実施例において、プロセッサー130の各機能は複数のプログラムコードとして実現されてもよい。これらのプログラムコードはメモリに記憶され、プロセッサー130がこれらのプログラムコードを実行する。また、一実施例において、プロセッサー130の各機能は一つ又は複数の回路として実現されてもよい。本発明は、ソフトウエア又はハードウエアの方式を用いてプロセッサー130の各機能を実施することについて制限しない。
図6Aは比較実施例のライトフィールド表示装置が階層化画像に基づいてライトフィールド画像を形成する概略図である。図6Bは図6Aのライトフィールド画像がディスプレイにおける概略図である。図6A及び図6Bを参照すると、比較実施例のライトフィールド表示装置50において、ライトフィールド画像VI’は互いに重なる部分を有しない階層化画像PI1’、PI2’及びその他の階層化画像によって形成されたため、階層化画像の奥行が分断された部分に欠陥が発生し、さらに観察画像HI’においてノイズNが発生し、観察者に見えるのはノイズを含む画像HI’である。
以上をまとめると、本発明の実施例は少なくとも以下のうち一つの利点又は効果を有する。本発明の実施例において、プロセッサーに複数の奥行値を有する画像を提供し、且つプロセッサーが複数の異なる拡張奥行値範囲に基づき、画像中の複数の奥行値に対応する複数の画素をそれぞれ取り出し、複数の奥行値がそれぞれ前記複数の拡張奥行値範囲内にあって、互いに異なり且つ順に部分的に重なる複数の階層化画像を形成し、さらに、これらの階層化画像に基づいてライトフィールド画像を形成する。従って、ライトフィールド画像を形成する時に、階層化画像が部分的に重なるため、階層化画像の奥行が分断された部分に発生する欠陥を改善し、さらに観察画像にノイズが発生することを防止し、観察画像における奥行の違いによる欠陥を改善し、観察者に立体的奥行のある高品質な観察画像を提供できる。
以上に記載したのは本発明の好ましい実施例であり、本発明の実施範囲がこれに限定されるべきではない。即ち、本発明の請求の範囲及び発明の詳細な説明を基に行った簡単な等価変更及び修正も本発明の請求範囲内に属する。また、本発明の実施例又は請求項のいずれかが必ずしも本発明の開示した目的又は利点又は特徴を全て満たすとは限らない。その他、要約書と発明の名称は特許文献の検索のために用いられるものであり、本発明の権利範囲を制限するものではない。また、明細書又は請求の範囲に言及された「第一」、「第二」などの用語は、素子(element)を示す名称であり、素子の数量の上限又は下限を制限するものではない。
50、100 ライトフィールド表示装置
110 レンズアレイ
120 ディスプレイ
130 プロセッサー
DI 奥行値を有する画像
DI’ グレースケール化画像
F1 ライトフィールド画像光束
HI、HI’ 観察画像
N ノイズ
P 投射目標
PI1、PI2、PI1’、PI2’、PI3、PI4、PI5、PI6 階層化画像
VI、VI’ ライトフィールド画像

Claims (21)

  1. ライトフィールド表示装置に用いられるライトフィールド画像の表示方法であって、
    複数の奥行値を有する画像を提供するステップと、
    互いに異なり且つ順に部分的に重なる複数の異なる拡張奥行値範囲に基づいて、前記画像中の前記複数の奥行値に対応する複数の画素をそれぞれ取り出して、複数の階層化画像を形成するステップと、
    前記複数の階層化画像に基づいて、ライトフィールド画像を形成するステップと、
    前記ライトフィールド画像に対応する信号を前記ライトフィールド表示装置のディスプレイに提供するステップとを含み、
    前記複数の奥行値が前記画像の遠近程度を表し、且つ、前記複数の奥行値がそれぞれ前記複数の拡張奥行値範囲内にあり、
    前記ライトフィールド表示装置は奥行値範囲を有し、前記画像の前記複数の奥行値が前記奥行値範囲中にあり、
    前記画像から前記複数の階層化画像を形成する方法は、
    前記奥行値範囲を順に複数のサブ奥行値範囲に分けるステップと、
    前記複数のサブ奥行値範囲をそれぞれ前記複数の異なる拡張奥行値範囲に修正するステップと、
    各拡張奥行値範囲に基づいて、前記画像から対応する各階層化画像を形成するステップとを含み、
    前記複数のサブ奥行値範囲は範囲長さ値を有し、前記範囲長さ値が前記複数のサブ奥行値範囲の上限と下限の差であり、
    各拡張奥行値範囲がその対応する各サブ奥行値範囲以上であることを特徴とする、ライトフィールド画像の表示方法。
  2. 前記複数のサブ奥行値範囲を前記複数の異なる拡張奥行値範囲に修正する方法は、
    前記複数のサブ奥行値範囲の数に基づいて、複数の範囲拡張値を決定するステップと、
    前記複数の範囲拡張値をそれぞれ対応する前記複数のサブ奥行値範囲に加えて、前記複数の異なる拡張奥行値範囲を形成するステップとを含み、
    前記複数の範囲拡張値が0以上であることを特徴とする請求項に記載のライトフィールド画像の表示方法。
  3. 前記複数の異なる拡張奥行値範囲中の最も小さい範囲下限に対応する前記範囲拡張値は0であることを特徴とする、請求項に記載のライトフィールド画像の表示方法。
  4. 前記複数の範囲拡張値が前記範囲長さ値の八分の一以下であることを特徴とする、請求項記載のライトフィールド画像の表示方法。
  5. 前記複数の範囲拡張値が前記奥行値範囲の全体長さ値の百二十八分の一以下であることを特徴とする、請求項に記載のライトフィールド画像の表示方法。
  6. 前記複数の範囲拡張値を前記複数のサブ奥行値範囲に加えて、前記複数の異なる拡張奥行値範囲を形成する方法は、
    前記複数の範囲拡張値をそれぞれ前記複数のサブ奥行値範囲の上限及び下限に加えて、各拡張奥行値範囲を形成するステップと、
    各拡張奥行値範囲がそれぞれ対応する各サブ奥行値範囲に取って代わるステップとを含むことを特徴とする、請求項に記載のライトフィールド画像の表示方法。
  7. 前記階層化画像はそれぞれ階層化奥行値を有し、
    前記階層化奥行値は前記階層化画像が反映する拡張奥行値範囲中にあり、且つ、前記階層化奥行値を前記階層化画像の奥行値と見なすことを特徴とする、請求項1に記載のライトフィールド画像の表示方法。
  8. 前記複数の階層化画像に基づいて前記ライトフィールド画像を形成するステップは、
    前記複数の階層化画像及びそのそれぞれ対応する複数の前記階層化奥行値に基づいて、前記ライトフィールド画像を形成するステップを含むことを特徴とする、請求項に記載のライトフィールド画像の表示方法。
  9. 前記階層化画像それぞれが有する前記階層化奥行値は、その対応する各拡張奥行値範囲の平均値又は中央値であることを特徴とする、請求項に記載のライトフィールド画像の表示方法。
  10. ライトフィールド表示装置であって、
    ディスプレイ、レンズアレイ及びプロセッサーを含み、
    前記ディスプレイはライトフィールド画像を提供し、且つ前記ライトフィールド画像が投射目標まで伝達され、
    前記レンズアレイは前記ディスプレイの一方側に配置されて、前記ライトフィールド画像を前記投射目標まで伝達し、前記レンズアレイが前記ディスプレイと前記投射目標との間に位置し、
    前記プロセッサーは前記ディスプレイに電気的に接続され、前記プロセッサーは複数の異なる拡張奥行値範囲に基づいて、画像中の複数の奥行値に対応する複数の画素をそれぞれ取り出して、複数の階層化画像を形成し、且つ前記複数の階層化画像に基づいて前記ライトフィールド画像を形成し、前記ライトフィールド画像に対応する信号を前記ディスプレイに提供し、
    前記複数の奥行値はそれぞれ前記複数の拡張奥行値範囲内にあり、前記奥行値は前記画像の遠近程度を表し、前記複数の異なる拡張奥行値範囲は互いに異なり且つ順に部分的に重なり、
    前記ライトフィールド表示装置は奥行値範囲を含み、且つ前記画像の前記複数の奥行値が前記奥行値範囲中にあり、
    前記奥行値範囲は複数のサブ奥行値範囲を順に含み、前記複数のサブ奥行値範囲が範囲長さ値を有し、
    前記範囲長さ値は前記複数のサブ奥行値範囲の上限と下限の差であることを特徴とする、ライトフィールド表示装置。
  11. 前記複数の異なる拡張奥行値範囲は前記複数のサブ奥行値範囲がそれぞれ修正されることで形成され、且つ、各拡張奥行値範囲がその対応する各サブ奥行値範囲以上であることを特徴とする、請求項10に記載のライトフィールド表示装置。
  12. 各階層化画像は前記プロセッサーが各拡張奥行値範囲に基づいて前記画像を修正することで形成されることを特徴とする、請求項11に記載のライトフィールド表示装置。
  13. 前記プロセッサーは前記複数のサブ奥行値範囲の数に基づいて複数の範囲拡張値を決定し、前記複数の範囲拡張値が0以上であることを特徴とする、請求項11に記載のライトフィールド表示装置。
  14. 前記複数の異なる拡張奥行値範囲は、前記複数の範囲拡張値がそれぞれ対応する前記複数のサブ奥行値範囲に加えられることで形成されることを特徴とする、請求項13に記載のライトフィールド表示装置。
  15. 前記複数の異なる拡張奥行値範囲中の最も小さい範囲下限に対応する前記範囲拡張値が0であることを特徴とする、請求項14に記載のライトフィールド表示装置。
  16. 前記複数の範囲拡張値が前記範囲長さ値の八分の一以下であることを特徴とする、請求項15に記載のライトフィールド表示装置。
  17. 前記範囲拡張値が前記奥行値範囲の全体長さ値の百二十八分の一であることを特徴とする、請求項15に記載のライトフィールド表示装置。
  18. 各拡張奥行値範囲は、前記複数の範囲拡張値がそれぞれ前記複数のサブ奥行値範囲の範囲上限と下限に加えられることで形成されることを特徴とする、請求項14に記載のライトフィールド表示装置。
  19. 前記階層化画像はそれぞれ階層化奥行値を有し、前記階層化奥行値がそれぞれ前記階層化画像の反映する拡張奥行値範囲中にあり、且つ前記階層化奥行値を前記階層化画像の奥行値と見なすことを特徴とする、請求項10に記載のライトフィールド表示装置。
  20. 前記ライトフィールド画像は、前記プロセッサーによって前記複数の階層化画像及びそのそれぞれ対応する複数の前記階層化奥行値に基づいて形成されることを特徴とする、請求項19に記載のライトフィールド表示装置。
  21. 前記階層化画像それぞれが有する前記階層化奥行値は、その対応する各拡張奥行値範囲の平均値又は中央値であることを特徴とする、請求項19に記載のライトフィールド表示装置。
JP2018192247A 2017-10-13 2018-10-11 ライトフィールド表示装置及びそのライトフィールド画像の表示方法 Active JP7141300B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710952001.XA CN109672873B (zh) 2017-10-13 2017-10-13 光场显示设备及其光场影像的显示方法
CN201710952001.X 2017-10-13

Publications (2)

Publication Number Publication Date
JP2019075784A JP2019075784A (ja) 2019-05-16
JP7141300B2 true JP7141300B2 (ja) 2022-09-22

Family

ID=64048670

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018192247A Active JP7141300B2 (ja) 2017-10-13 2018-10-11 ライトフィールド表示装置及びそのライトフィールド画像の表示方法

Country Status (5)

Country Link
US (1) US10571706B2 (ja)
EP (1) EP3471411B1 (ja)
JP (1) JP7141300B2 (ja)
CN (1) CN109672873B (ja)
TW (1) TWI635323B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111427166B (zh) * 2020-03-31 2022-07-05 京东方科技集团股份有限公司 一种光场显示方法及系统、存储介质和显示面板
EP4207009A4 (en) * 2020-12-24 2024-04-24 Samsung Electronics Co Ltd ELECTRONIC DEVICE AND ITS CONTROL METHOD

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100271467A1 (en) 2009-04-28 2010-10-28 Microsoft Corporation Light-field display
JP2015521298A (ja) 2012-04-25 2015-07-27 マイクロソフト コーポレーション ヘッドマウントディスプレイに用いるための可動式ledアレイ及びマイクロレンズアレイに基づくライトフィールドプロジェクタ
US20160142615A1 (en) 2014-11-13 2016-05-19 Lytro, Inc. Robust layered light-field rendering
US20170208317A1 (en) 2016-01-18 2017-07-20 Beijing Zhigu Rui Tuo Tech Co., Ltd. Light field display control method and apparatus, and light field display device

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2814898T3 (es) * 2012-04-25 2021-03-29 Visual Physics Llc Dispositivo de seguridad para proyectar una colección de imágenes sintéticas
TWI467237B (zh) * 2012-08-03 2015-01-01 Au Optronics Corp 立體影像顯示器及立體影像顯示裝置
CN105359518B (zh) * 2013-02-18 2017-03-08 株式会社匹突匹银行 图像处理装置和图像处理方法
US9519144B2 (en) 2013-05-17 2016-12-13 Nvidia Corporation System, method, and computer program product to produce images for a near-eye light field display having a defect
CN104361870B (zh) * 2014-11-05 2017-07-28 深圳市华星光电技术有限公司 液晶面板及其像素单元设定方法
TWI541761B (zh) * 2014-12-17 2016-07-11 光寶電子(廣州)有限公司 影像處理方法及其電子裝置
CN105791793A (zh) 2014-12-17 2016-07-20 光宝电子(广州)有限公司 图像处理方法及其电子装置
CN105989574A (zh) * 2015-02-25 2016-10-05 光宝科技股份有限公司 图像处理装置及图像景深处理方法
CN107024337B (zh) * 2016-02-01 2019-09-24 京东方科技集团股份有限公司 测量方法及其测量系统
CN107018323B (zh) * 2017-03-09 2019-07-12 Oppo广东移动通信有限公司 控制方法、控制装置和电子装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100271467A1 (en) 2009-04-28 2010-10-28 Microsoft Corporation Light-field display
JP2015521298A (ja) 2012-04-25 2015-07-27 マイクロソフト コーポレーション ヘッドマウントディスプレイに用いるための可動式ledアレイ及びマイクロレンズアレイに基づくライトフィールドプロジェクタ
US20160142615A1 (en) 2014-11-13 2016-05-19 Lytro, Inc. Robust layered light-field rendering
US20170208317A1 (en) 2016-01-18 2017-07-20 Beijing Zhigu Rui Tuo Tech Co., Ltd. Light field display control method and apparatus, and light field display device

Also Published As

Publication number Publication date
EP3471411A1 (en) 2019-04-17
TWI635323B (zh) 2018-09-11
US20190113766A1 (en) 2019-04-18
US10571706B2 (en) 2020-02-25
CN109672873A (zh) 2019-04-23
JP2019075784A (ja) 2019-05-16
EP3471411B1 (en) 2023-11-22
CN109672873B (zh) 2021-06-29
TW201915551A (zh) 2019-04-16

Similar Documents

Publication Publication Date Title
US8456485B2 (en) Image processing apparatus and method, head mounted display, program, and recording medium
KR102342668B1 (ko) 화상 처리장치, 화상 처리방법 및 기억매체
US10715791B2 (en) Virtual eyeglass set for viewing actual scene that corrects for different location of lenses than eyes
CN103546736B (zh) 图像处理设备和方法
JP2017038367A (ja) 複数のユーザのためのレンダリング方法及び装置
JP5818531B2 (ja) 画像処理システム、装置及び方法
JPWO2012176431A1 (ja) 多視点画像生成装置、多視点画像生成方法
CN109991751B (zh) 光场显示装置与方法
JP2015119203A (ja) 画像処理装置、立体画像表示装置および画像処理方法
US9760263B2 (en) Image processing device, image processing method, and stereoscopic image display device
JP7141300B2 (ja) ライトフィールド表示装置及びそのライトフィールド画像の表示方法
CN103348360A (zh) 二维图像的再投影的形态学反混叠(mlaa)
EP3001681B1 (en) Device, method and computer program for 3d rendering
JP6585938B2 (ja) 立体像奥行き変換装置およびそのプログラム
JP2011082829A (ja) 画像生成装置、画像生成方法、および、プログラム
KR20160009487A (ko) 3d 영상 디스플레이 장치 및 방법
JP5921102B2 (ja) 画像処理システム、装置、方法及びプログラム
JP5752638B2 (ja) 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置
TWI602145B (zh) 包裝圖框之解包裝方法、裝置及系統
WO2013027773A1 (ja) 画像処理装置、画像処理方法、および記録媒体
JP2013009864A (ja) 3次元画像処理装置
US8817081B2 (en) Image processing apparatus, image processing method, and program
JP6647150B2 (ja) 情報表示装置
KR20190050737A (ko) 표시 장치와 방법
TWI503788B (zh) 還原尺寸重調景深圖框爲原始景深圖框的方法、裝置及系統

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210205

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220830

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220909

R150 Certificate of patent or registration of utility model

Ref document number: 7141300

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150