JP7179164B2 - 画像対の修正方法及び装置 - Google Patents

画像対の修正方法及び装置 Download PDF

Info

Publication number
JP7179164B2
JP7179164B2 JP2021515619A JP2021515619A JP7179164B2 JP 7179164 B2 JP7179164 B2 JP 7179164B2 JP 2021515619 A JP2021515619 A JP 2021515619A JP 2021515619 A JP2021515619 A JP 2021515619A JP 7179164 B2 JP7179164 B2 JP 7179164B2
Authority
JP
Japan
Prior art keywords
image
angle
incidence
images
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021515619A
Other languages
English (en)
Other versions
JP2022504023A (ja
Inventor
エズテキン,ギュネール
エヴレン ユルマズ,ギョクハン
Original Assignee
ベステル エレクトロニク サナイー ベ ティカレト エー.エス.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ベステル エレクトロニク サナイー ベ ティカレト エー.エス. filed Critical ベステル エレクトロニク サナイー ベ ティカレト エー.エス.
Publication of JP2022504023A publication Critical patent/JP2022504023A/ja
Application granted granted Critical
Publication of JP7179164B2 publication Critical patent/JP7179164B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/133Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)

Description

本発明は、3次元表示を改善するために対の画像を修正する方法に関する。さらに、本発明はそれぞれの装置に関する。
本発明は任意のタイプの3次元表示に適用可能であるが、主に3次元ビデオに関連して説明される。
今日、映画館やコンピュータゲームなどにおける映像は、例えばそれぞれの3Dヘッドセットまたは3Dメガネを用いて、ユーザに3次元ビデオとして提供されている。したがって、視覚は、人間の脳によっても3次元画像として知覚され得る3次元画像を表すことができる。例えば、3Dヘッドセットを用いると、人間の脳はユーザの身体が動いていることを示す視覚的情報(3次元ビデオに示されるように)を受け取ることができる。しかし、実際の身体は着座しているか、または静止しており、ユーザの脳は身体の他のセンサからそれに対応する情報を受信しない。
提供される視覚と他のセンサによって提供される情報との間のこの不一致は、多くのユーザが頭痛、倦怠感などの症状を患うことにつながる。そのような症状はコンテンツの不自然さ、すなわち、ユーザが画面を介して見るものとユーザの脳が期待するものとの間の不一致によって引き起こされる。
例えば特にユーザが椅子に座っている場合には、通常、他のセンサが脳に提供する情報は、直接影響を与えない。しかしながら、視覚は引き起こされ得る悪影響を最小限に抑えるように適合させることができる。
従って、3次元映像の表示を改善する必要がある。
上記課題は、独立請求項の特徴により解決できる。クレームカテゴリーの独立クレームは、他のクレームカテゴリーの従属クレームに類推して形成できることが確認される。
従って、3次元表示を改善するために対の画像を修正する方法であって、画像における入射光の入射角を検出するために画像を分析し、入射角および人の顔の解剖学的詳細に基づいて、各対の画像のうちの少なくとも1つの画像の少なくとも一部の輝度値を修正すること、を含む方法が提供される。
さらに、3次元表示を改善するために対の画像を修正する装置であって、各対の画像を分析し、画像における入射光の入射角を検出するように構成された画像解析装置と、入射角および人の顔の解剖学的詳細に基づいて、各対の画像のうちの少なくとも1つの画像の少なくとも一部の輝度値を修正するように構成された画像処理装置と、を含む装置が提供される。
対の画像とは、3次元視覚の錯覚を与えるためにユーザの片方の目にそれぞれ提供される同じシーンの2つの画像とする。
本発明は、3次元視覚が通常立体カメラによって記録されるという発見に基づく。しかしながら、本発明はさらに、カメラが人間の顔の解剖学的構造を考慮せず、対の画像が通常、正面からユーザの目に提供されることを認識している。これは例えば、コンピュータゲームにおけるコンピュータ生成画像にも当てはまる。
人間の目は、見えている物の例えば色の情報よりも、輝度に対してより敏感である。従って画像内の輝度情報は、画像の情報において最も重要である。
さらに、人間の顔は鼻を持っているので、人間の目はそれぞれ異なる輝度値を受け取る。例えば、鼻は片方の目に影を投影するが他方の目には投影しない。さらに、例えば、現実の場面における光が右から発生する場合、右の瞳孔は狭くなり、左の瞳孔は右目に比べて広がる。したがって、右目はより暗い画像を受け取り、左目はより明るい画像を受け取る。対照的に、現実の場面における光が左から発生する場合、左の瞳孔は狭くなり、右の瞳孔は左目に比べて広くなる。したがって、左目はより暗い画像を受け取り、右目はより明るい画像を受け取る。
人間の脳は、両目で記録された2つの単一画像から最終的な3D画像を構築する。さらに、人間の脳は、両方の画像のシーンから同じ輝度を受け取る立体カメラとは違い、異なる輝度分布を有する2つの異なる画像を受け取ることができる。
したがって、本発明は、3次元表示を改善するために対の画像を修正する方法を提供する。当該方法は特に、人間の顔の解剖学的詳細を考慮し、人間の顔の解剖学的詳細に基づいて、各対の画像の少なくとも1つにおける少なくとも一部の輝度を修正する。
「人間の顔の解剖学的詳細」という用語は、人間の目が受け取る視覚の輝度を変更する、鼻や眼窩などの人間の顔における全ての解剖学的詳細を指してもよい。したがって、本発明では、実際の人間の顔に存在する照明条件を模擬する。
例えば、光がユーザの顔面の左側から発せられる場合、鼻は、現実には反対の右目の像に影を投影する。従って、画像のそれぞれの部位の輝度値を正しく修正するために、当該方法は、画像内の入射光の入射角を決定することを含む。
決定した入射角を用いて、輝度値がどのように修正される必要があるかを決定してもよく、輝度値は、入射角及び人間の顔の解剖学的詳細に基づいて修正してもよい。
既に上述したように、必ずしも各対の両方の画像を修正する必要はなく、各場合に完全な画像を修正する必要はない。
処理された対の画像は、ユーザの目に提示されると、未処理の画像の対よりもより現実味が増す。そのため特に、映画やゲームのような動画では、ユーザに対する悪影響を最小限に抑えることができる。
本発明のさらなる実施形態は、図面を参照して、さらなる従属請求項および以下の説明を主題とする。
一実施形態では、各対の画像のうちの1つの画像の分析し、それぞれの画像の輝度分布および/または輝度ヒストグラムに基づいて入射角を決定することを含んでもよい。
画像中の対象物の照明の状況は、画像が記録されている間に対象物から反射される光によって決定される。したがって、輝度分布および/またはヒストグラムを決定することによって、単一の対象物が光をどのように反射するか、それにより光がどこで発生するかを測定してもよい。
各対両方の画像について照明の状況は同じであるため、入射の天使を決定するために、各対の画像のうち1つ、すなわち、左画像または右画像のいずれかのみを分析すればよい。
さらなる実施形態では、当該方法は、それぞれの画像における主光源を決定することを含み、主光源の光に対して入射角を決定してもよい。
主光源は画像中の全ての照明状況を定義するため、主光源の光に対する入射角のみを使用しても、3次元再生に関して画像の対の質を改善することができる。
それにもかかわらず、別の実施形態では、複数の光源が画像内で検出される場合、画像の異なる部分が異なる入射光角に従って修正されてもよい。
例えば、画像内の異なる光源に対する入射角の全てまたは複数を測定し、優勢な光源、即ち、決定された角度の全ての中でどの角度が優勢であるかを選択することによって、主光源を決定してもよい。またこれは、例えば、抽出された全ての対象物に対して入射角を決定することによって実行してもよい(以下を参照)。
他の実施態様では、それぞれの画像内から対象物を抽出し、抽出された対象物内の輝度分布を決定することで、入射角を決定することを含んでもよい。
対象物を抽出することは、画像内の端を検出し、検出された端に基づいて対象物を抽出することを含んでもよい。しかしながら、それぞれの画像内の対象物を検出するための他の適切な方法も有効であると考える。
上で説明したように、シーン内の各対象物は特定の方向から照らされ、それに応じて光を反射する。したがって、対象物が右から照らされている場合、輝度値は左よりも右の方が高くなる。対照的に、対象物が左から照らされる場合は、輝度値は右よりも左の方が高くなる。対象物が前面または背面から照らされている場合、対象物の輝度は対象物の表面全体にほぼ均等に分散される。対象物がユーザの頭部またはカメラの右隣から照らされる場合、対象物の輝度は、左から右にかけて上昇する。対象物がユーザの頭部またはカメラの左隣から照らされる場合、対象物の輝度は、右から左にかけて上昇する。
輝度の分布について、対象物のどこに最大の明るさの勾配が存在するかを分析することによって、入射光の角度を算出してもよい。例えば、画像中心の各側面に対して0°、30°、60°、90°のような4つの入射角を設けるとすると、0°は対象物の側面上の光源を指し、90°は対象物の直前または背面上の光源を指す。
またこれは、より大きいまたは小さい角度が可能であり、例えば、0°から360°の間の全ての角度が可能である。
一実施態様において、入射角を決定することは、抽出された対象物の周囲空間に関するそれぞれの画像内の輝度分布を決定することを含んでもよい。例えば、検出された対象物の表面上の輝度分布がほぼ均一に分布している場合には、その入射光は対象物の表または裏に発生していると仮定してもよい。入射光が正面から発生する場合、対象物によって投影される影は、幾何学的配置に従って対象物の背面、すなわち像の平面に投影される。対照的に、入射光が対象物の背面から発生する場合、対象物によって投影される影は幾何学的配置に従って対象物の正面、すなわち、ユーザに向かって、または像の平面外に投影される。
例えば、影が対象物の右側の、少しでも下に投影されている場合、対象物の左後から入射光が発生すると仮定してもよい。また、影が対象物の左側に投影され、対象物の少しでも下に投影されている場合には、対象物の右後から入射光が発生すると仮定してもよい。
したがって、光源が対象物の前に配置されているか、または対象物の後ろに配置されているかを識別してもよい。
他の実施態様において、輝度値を修正することは、入射角が画像の中心左右の入射光の光源の位置を示す場合にのみ、輝度値を修正することを含んでもよい。
実際の状況で、光源が画像内の対象物の背面、または画像内の対象物の前面(光の高さとは関係なく)の中心にある場合、両目はそれぞれのシーンでほぼ同じ輝度分布を受け取る。この時の角度は約90°であるため、光源が画像中心の右側にも左側にも配置されない場合には、いずれも画像を修正する必要がない。
しかしながら、現実の状況における光源が画像中心の左側または右側である場合には、2つの目はシーンに対して異なった輝度値及び輝度分布を受け取ることになる。従って、入射の天使が画像の中心左右の入射光の光源の位置を示す場合には、少なくとも1つの画像の輝度をそれに応じて修正される。
光源が対象物の右後ろ、すなわち対象物およびカメラまたはユーザの頭部の後ろにあると判定された場合、左目の像は少なくとも部分的に暗くなることがある。この場合、反射光は右から左に進み、右からユーザの顔に到達する、すなわち、鼻が左目に影を投影する。
光源が対象物の左後ろ、すなわち対象物およびカメラまたはユーザの頭部の後ろにあると判定された場合、右目の像は少なくとも部分的に暗くなることがある。この場合、反射光は左から右に進み、左からユーザの顔に到達する、すなわち、鼻が右目に影を投影する。
光源が対象物の右側正面、すなわち対象物とカメラまたはユーザとの間にあると判定された場合、右目の像は少なくとも部分的に暗くなることがある。この場合、光源は右側だが、ユーザと対象物との間に位置すると仮定できる。この場合、ユーザの瞳孔が反応する。太陽光といった元の光源からの光に対し、右の瞳孔は左の瞳孔よりもより反応するため、右目の像がより暗くなる。このとき、右目の映像が暗くなる理由は、反射光ではなく、元の光源であってもよい。
光源が対象物の左側正面、すなわち対象物とカメラまたはユーザとの間にあると判定された場合、左目の像は少なくとも部分的に暗くなることがある。上記の説明は、左目についても同様である。
さらなる実施形態において、輝度値を修正することは、画像の右上隅から始まる画像を分割する線の下で左画像を暗くすること、または画像の左上隅から始まる画像を分割する線の下で右画像を暗くすることを含んでもよく、また、このとき線の角度は入射角により規定されてもよい。
鼻は、入射角に応じてユーザの顔の両側に影を投影するので、影のサイズは入射角に依存する。したがって、光源が鼻の左または右にあるとき、すなわち、光が右または左から対象物を照らす場合、影は最大となり、光が前または後から対象物を直接的に照らすとき、影は最小となる。
本発明に係る方法の一実施形態のフロー図を示す。 本発明に係る装置の一実施形態のブロック図を示す。 本発明で使用するためのシーンを含む画像を示す。 本発明で使用するためのシーンを含む別の画像を示す。 本発明で使用するための人間の顔の断面を示す。
本発明およびその利点のより完全な理解のために、添付の図面と併せて以下に説明する。本発明は、図面の概略図において特定される例示的な実施形態を用いて、以下により詳細に説明する。
図面において、特に断らない限り、同様の参照符号は同様の要素を示す。
以下の方法ベースの図1の説明を明確にするために、図3~図5の説明において上記で使用した参照符号を維持する。
図1は、3次元表示を改善するために対の画像101を修正する方法のフロー図を示す。
この方法は、画像523、524における入射光211、311、525、526、527、528の入射角を検出するための画像523、524の分析S1と、入射角および人間の顔の解剖学的詳細に基づく、各対の画像523、524のうちの少なくとも1つの画像の少なくとも一部の輝度値の修正S2とを含む。
分析S1のステップは、例えば、画像523、524の各対の1つの画像523、524を分析し、それぞれの画像523、524に対する輝度分布および/または輝度ヒストグラムに基づいて入射角を決定すること、とを含む。
さらに、当該方法はそれぞれの画像523、524における主光源を決定することを含んでもよく、入射角は、主光源の光211、311、525、526、527、528について決定される。入射角を決定することは、それぞれの画像523、524内の対象物を抽出すること、および抽出された対象物内の輝度分布を決定することを含んでもよい。さらに、入射角を決定することは、抽出された対象物の周囲空間に対するそれぞれの画像523、524内の輝度分布を決定することを含んでもよい。
輝度値の修正S2は、入射角が画像中心の左側または右側である入射光211、311、525、526、527、528の光源の位置を示す場合にのみ、輝度値を修正することを含んでもよい。さらに、輝度値の修正S2は、画像523の右上隅から始まって左画像523を分割する線の下で左画像523を暗くすること、また画像524の左上隅から始まって画像524を分割する線の下で右画像524を暗くすることを含んでもよく、線の角度は入射角によって規定される。
図2は、装置100のブロック図を示す。装置100は対の画像101を受け取り、画像処理装置103に接続される画像解析装置102を備える。
画像解析装置102は画像を解析し、画像内の照明光の入射角を検出する。次いで、この情報は、画像の対101と共に画像処理装置103に提供される。画像処理装置103は入射角および人間の顔の解剖学的詳細に基づいて、各対の画像のうちの少なくとも1つの画像の少なくとも一部の輝度値を修正し、修正された画像を出力する。
画像解析装置102は、例えば、各対の画像のうちの1つの画像を解析し、それぞれの画像の輝度分布及び/又は輝度ヒストグラムに基づいて入射角を決定してもよい。さらに、画像解析装置102は、それぞれの画像内の主光源を決定し、決定された主光源の光に対する入射角を決定してもよい。
画像解析装置102は、入射角を決定するために、それぞれの画像内の対象物を抽出し、抽出された対象物内の輝度分布を決定して入射角を決定してもよい。画像解析装置102は、また、入射角を決定するために、抽出された対象物の周囲空間についてそれぞれの画像における輝度分布を決定してもよい。

画像処理装置103は、例えば、入射角が画像中心の左右の入射光の光源の位置を示す場合にのみ、輝度値を修正してもよい。
画像処理装置103は画像の右上隅から始まる画像を分割する線の下で左画像を暗くし、また画像の左上隅から始まる画像を分割する線の下で右画像を暗くしてもよい。線の角度は入射角によって定義される。
図3は、右側からの入射光211を有する樹木210を示すシーンを伴う画像を示す。光211によって直接的に照明されていない暗い領域または影212が樹木210の左側部分に形成されていることが分かる。
図3では、シーン内の単一の対象物の検出に基づいて、入射光211の入射角がどのように決定され得るかを示す。樹木210は、シーンから適切なアルゴリズムを用いて抽出されてもよく、抽出された樹木210内の輝度分布が分析されてもよい。
樹木210の場合、樹木210の暗い部分は樹木の左側にあることから、光源211は樹木の右側になければならないことが分かる。
影212の範囲は、角度に関する尺度として使用することができる。影212が大きくなればなるほど、光211の光源は、樹木のより後に配置されなければならない。例えば、影212が樹木の約半分を覆う場合、光源211は、樹木210に対して0°の角度にあると仮定することができる。樹木210上に影が見えない場合、入射光211は、樹木210に対して90°の角度で配置されていると仮定することができる。
図4は、樹木310を示すシーンを伴う別の画像を示す。図4は、検出された対象物の周囲が、入射光311の光源がどこに配置されているかを決定するのにどのように役立つかを説明している。図4では、影が、樹木310上の影を示すのではなく、樹木310によって投影されてる影を指す。
対象物、この場合樹木310が検出された場合、シーンまたは画像内の対象物の周囲を分析して、それぞれの対象物によって投影された影312を検出することができる。次に、影312の位置およびサイズを使用して、光源311の位置を決定することができる。とりわけ、光源が対象物と並行であるか、対象物の前方または後方にあるかを決定することが可能である。
影312が樹木310またはそれぞれの対象物からシーンまたは画像の下端に向けられている場合、光源311は、樹木310またはそれぞれの対象物の背後にあると仮定することができる。影312が樹木310またはそれぞれの対象物からシーンまたは画像の上端に向けられている場合、光源311は、樹木310またはそれぞれの対象物の前にあると仮定することができる。影312が樹木310またはそれぞれの対象物から側方に向けられる場合、光源311は、樹木310またはそれぞれの対象物と一直線上にあると仮定することができる。
図5は、鼻520が左目521と右目522との間に位置する人間の顔の断面を示す。各目521、522の前には、対応する画像と入射光525、526、527、528が示されている。左側から発生した入射光525は、像の面またはユーザの目の面と比較して、かなり小さな角度を有し、左側で発生した入射光525は、より大きな角度を含む。右側から発生する入射光527は、入射光527と同じ角度を有するが、他方からである。入射光528は右側から発生し、入射光525と同じ角度を有するが、反対方向からである。
画像523、524において、鼻520の影によって影響を受ける画像523、524の部分が、入射光525、526、527、528の入射角に従ってどのように変化するかが分かる。
なお、暗くする部分を規定する破線の先端は、左画像523の右端、右画像524の左端、または上端の任意の点に設けることができる。
線の先端は、例えば、鼻のサイズに依存し得る。したがって、この方法は、例えば、ユーザが選択できるいくつかの標準モデルを提供する。そのような標準モデルは例えば、小さい鼻、中程度の鼻、および大きな鼻を示してもよい。
例示的に、小さい鼻が選択されると、上述のように、線の先端は右端または左端で低くなることがある。中程度の鼻が選択されると、線の先端は、画像523、524のそれぞれの端の上半分にあり得る。大きな鼻が選択されると、線の先端は、画像のそれぞれの上隅にあり得る。
本明細書では特定の実施形態を図示し、説明したが、様々な代替および/または同等の実装が存在することが当業者には理解される。例示的な実施形態または例示的な実施形態は、例に過ぎず、範囲、適用可能性、または構成を何らかの形で限定することを意図しない。むしろ、前述の概要および詳細な説明は当業者に、1つの例示的な実施形態を実施するための便利なロードマップを提供し、添付の特許請求の範囲およびそれらの法的な均等物に記載される範囲から逸脱することなく、例示的な実施形態に記載される素子の機能および配置に様々な変更を行うことを可能にする。本出願は、本明細書で論じられる特定の実施形態の任意の適合または変形を包含することを意図する。
本発明は3次元表示を改善するために対の画像101を修正する方法を提供し、この方法は、画像523、524における入射光211、311、525、526、527、528の入射角を検出するために画像523、524を分析することと、入射角および人間の顔の解剖学的詳細に基づいて、各対の画像523、524の少なくとも1つの画像の少なくとも一部の輝度値を修正することとを含む。さらに、本発明は、それぞれの装置100を提供する。
100 装置、101 対の画像、102 画像解析装置、103 画像処理装置、104 修正画像、210、310 樹木、211、311 入射光、212、312 影、520 鼻、521 左目、522 右目、523 左画像、524 右画像、525,526,527,528 入射光、S1、S2 方法のステップ

Claims (14)

  1. 3次元表示を改善するために対の画像(101)を修正する方法であって、
    画像(523、524)における入射光(211、311、525、526、527、528)の入射角を検出するために前記画像(523、524)を分析し(S1)、
    前記入射角および人間の顔の解剖学的詳細に基づいて、各対の前記画像(523、524)のうちの少なくとも1つの画像の少なくとも一部の輝度値を修正する(S2)ことを含む方法。
  2. 前記分析(S1)することは、各対の前記画像(523、524)のうちの1つの画像(523、524)を分析することと、それぞれの画像(523、524)の輝度分布および/または輝度ヒストグラムに基づいて前記入射角を決定することとを含む、請求項1に記載の方法。
  3. それぞれの前記画像(523、524)において主光源を決定することを含み、前記入射角が前記主光源の光(211、311、525、526、527、528)に対して決定される、請求項2に記載の方法。
  4. 前記入射角を決定することは、それぞれの前記画像(523、524)内の対象物を抽出することと、抽出された前記対象物内の輝度分布を決定することとを含む、請求項2および3のいずれか1項に記載の方法。
  5. 前記入射角を決定することは、抽出された前記対象物の周囲空間についてそれぞれの前記画像(523、524)における前記輝度分布を決定することを含む、請求項4に記載の方法。
  6. 前記輝度値を修正する(S2)ことは、前記入射角が画像中心の左側または右側である前記入射光(211、311、525、526、527、528)の光源の位置を示す場合にのみ、前記輝度値を修正することを含む、請求項1乃至のいずれか1項に記載の方法。
  7. 前記輝度値を修正する(S2)ことは、画像(523)の右上隅から始まる前記画像(523)を分割する線の下で左画像(523)を暗くすること、または画像(524)の左上隅から始まる画像(524)を分割する線の下で右画像(524)を暗くすることを含み、線の角度は前記入射角によって定義される、請求項1乃至のいずれか1項に記載の方法。
  8. 3次元表示を改善するために対の画像(101)を修正する装置(100)であって、
    画像(523、524)を分析し、前記画像(523、524)における入射光(211、311、525、526、527、528)の入射角を検出するように構成された画像解析装置(102)と、
    前記入射角および人間の顔の解剖学的詳細に基づいて、各対の前記画像(523、524)のうちの少なくとも1つの画像の少なくとも一部の輝度値を修正するように構成された画像処理装置(103)と、を含む装置(100)。
  9. 前記画像解析装置(102)は、各対の前記画像(523、524)のうちの1つの画像(523、524)を分析し、それぞれの画像(523、524)の輝度分布および/または輝度ヒストグラムに基づいて前記入射角を決定するように構成される、請求項8に記載の装置(100)。
  10. 前記画像解析装置(102)は、それぞれの前記画像(523、524)において主光源を決定し、前記主光源の光(211、311、525、526、527、528)に対する前記入射角を決定するように構成される、請求項9に記載の装置(100)。
  11. 前記画像解析装置(102)は、前記入射角を決定するために、それぞれの前記画像(523、524)内の対象物を抽出し、抽出された前記対象物内の輝度分布を決定するように構成される、請求項9および10のいずれか一項に記載の装置(100)。
  12. 前記画像解析装置(102)は、前記入射角を決定するために、抽出された前記対象物の周囲空間についてそれぞれの前記画像(523、524)における輝度分布を決定するように構成される、請求項11に記載の装置(100)。
  13. 前記画像処理装置(103)は、前記入射角が画像中心の左側または右側である前記入射光(211、311、525、526、527、528)の光源の位置を示す場合にのみ、前記輝度値を修正するように構成される、請求項8乃至12のいずれか1項に記載の装置(100)。
  14. 前記画像処理装置(103)は、画像(523)の右上隅から始まる前記画像(523)を分割する線の下で左画像(523)を暗くする、または画像(524)の左上隅から始まる画像(524)を分割する線の下で右画像(524)を暗くするように構成され、線の角度は前記入射角によって定義される、請求項8乃至13のいずれか1項に記載の装置(100)。
JP2021515619A 2018-10-05 2018-10-05 画像対の修正方法及び装置 Active JP7179164B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2018/077118 WO2020069752A1 (en) 2018-10-05 2018-10-05 Method for modifying stereoscopic pairs of images and apparatus

Publications (2)

Publication Number Publication Date
JP2022504023A JP2022504023A (ja) 2022-01-13
JP7179164B2 true JP7179164B2 (ja) 2022-11-28

Family

ID=63794497

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021515619A Active JP7179164B2 (ja) 2018-10-05 2018-10-05 画像対の修正方法及び装置

Country Status (6)

Country Link
US (1) US11595629B2 (ja)
EP (1) EP3861721B1 (ja)
JP (1) JP7179164B2 (ja)
KR (1) KR102508788B1 (ja)
CN (1) CN112789849B (ja)
WO (1) WO2020069752A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120229650A1 (en) 2011-03-09 2012-09-13 Alcatel-Lucent Usa Inc. Method And Apparatus For Image Production
JP2012199736A (ja) 2011-03-22 2012-10-18 Sony Corp 画像処理装置、画像処理方法およびプログラム
WO2013080439A1 (ja) 2011-11-28 2013-06-06 パナソニック株式会社 立体画像処理装置及び立体画像処理方法
JP2015119277A (ja) 2013-12-17 2015-06-25 オリンパスイメージング株式会社 表示機器、表示方法及び表示プログラム
JP2015185176A (ja) 2014-03-25 2015-10-22 メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツングmetaio GmbH 現実環境の視野におけるバーチャルオブジェクトを表現方法及びシステム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9626825D0 (en) * 1996-12-24 1997-02-12 Crampton Stephen J Avatar kiosk
JP2003215533A (ja) 2002-01-18 2003-07-30 Sony Corp 情報表示装置
WO2006049237A1 (ja) * 2004-11-08 2006-05-11 Matsushita Electric Industrial Co., Ltd. 法線情報推定装置、登録画像群作成装置および画像照合装置ならびに法線情報推定方法
JP2009053748A (ja) * 2007-08-23 2009-03-12 Nikon Corp 画像処理装置、画像処理プログラムおよびカメラ
CN102461192B (zh) * 2009-06-15 2014-07-16 株式会社Ntt都科摩 三维显示器的光学特性评价装置和光学特性评价方法
JP5451302B2 (ja) * 2009-10-19 2014-03-26 キヤノン株式会社 画像処理装置及び方法、プログラム及び記憶媒体
KR101282957B1 (ko) * 2010-10-29 2013-07-08 엘지디스플레이 주식회사 입체 디스플레이의 광학 측정 장치 및 방법
KR101283079B1 (ko) 2011-08-17 2013-07-05 엘지이노텍 주식회사 적외선 엘이디 조명을 갖는 네트워크 카메라
WO2013031807A1 (ja) * 2011-09-02 2013-03-07 シャープ株式会社 立体画像生成方法、立体画像生成装置、およびそれを備える表示装置
JP2014022867A (ja) * 2012-07-17 2014-02-03 Sony Corp 画像処理装置および方法、並びにプログラム
WO2014073642A1 (ja) * 2012-11-09 2014-05-15 富士フイルム株式会社 カメラシステム、これに用いられる色変換装置及び方法並びに色変換プログラム
JP6984261B2 (ja) * 2017-09-14 2021-12-17 セイコーエプソン株式会社 虚像表示装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120229650A1 (en) 2011-03-09 2012-09-13 Alcatel-Lucent Usa Inc. Method And Apparatus For Image Production
JP2012199736A (ja) 2011-03-22 2012-10-18 Sony Corp 画像処理装置、画像処理方法およびプログラム
WO2013080439A1 (ja) 2011-11-28 2013-06-06 パナソニック株式会社 立体画像処理装置及び立体画像処理方法
JP2015119277A (ja) 2013-12-17 2015-06-25 オリンパスイメージング株式会社 表示機器、表示方法及び表示プログラム
JP2015185176A (ja) 2014-03-25 2015-10-22 メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツングmetaio GmbH 現実環境の視野におけるバーチャルオブジェクトを表現方法及びシステム

Also Published As

Publication number Publication date
EP3861721B1 (en) 2023-05-03
US20210392315A1 (en) 2021-12-16
KR20210076931A (ko) 2021-06-24
EP3861721A1 (en) 2021-08-11
US11595629B2 (en) 2023-02-28
WO2020069752A1 (en) 2020-04-09
CN112789849A (zh) 2021-05-11
CN112789849B (zh) 2023-09-05
JP2022504023A (ja) 2022-01-13
KR102508788B1 (ko) 2023-03-10

Similar Documents

Publication Publication Date Title
US10380421B2 (en) Iris recognition via plenoptic imaging
AU2017246304B2 (en) Transition between binocular and monocular views
US10403036B2 (en) Rendering glasses shadows
KR20180102637A (ko) 바이오메트릭 분석의 시스템 및 방법
US11336880B2 (en) Eyewear and control method thereof
Zhong et al. Reproducing reality with a high-dynamic-range multi-focal stereo display
Templin et al. Highlight microdisparity for improved gloss depiction
JP7179164B2 (ja) 画像対の修正方法及び装置
Wang et al. Separating reflections in human iris images for illumination estimation
Vangorp et al. Depth from HDR: depth induction or increased realism?
US9058605B2 (en) Systems and methods for simulating accessory display on a subject
US10928894B2 (en) Eye tracking
Wang et al. Separating corneal reflections for illumination estimation
CN115867238A (zh) 视觉辅助
Bouchard Perception and detection of occlusion-stereopsis conflicts in stereoscopic imagery
AU2008283765A1 (en) Method and software for transforming images
Liu Plenoptic Modeling and Measurements of Novel Displays
Hasic et al. Saliency in motion: selective rendering of dynamic virtual environments
Bevilacqua et al. A visual perception approach for accurate segmentation of light profiles
CN109151433A (zh) 具有对比查看功能的影像处理装置及方法
CN115937959A (zh) 注视信息的确定方法、装置、眼动追踪设备
CN116560089A (zh) 一种视觉辅助方法及ar眼镜
Ritschel et al. Highlight Microdisparity for Improved Gloss Depiction

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210903

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221012

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221025

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221115

R150 Certificate of patent or registration of utility model

Ref document number: 7179164

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150