JP4535954B2 - 2眼式立体表示装置およびプログラム - Google Patents
2眼式立体表示装置およびプログラム Download PDFInfo
- Publication number
- JP4535954B2 JP4535954B2 JP2005203783A JP2005203783A JP4535954B2 JP 4535954 B2 JP4535954 B2 JP 4535954B2 JP 2005203783 A JP2005203783 A JP 2005203783A JP 2005203783 A JP2005203783 A JP 2005203783A JP 4535954 B2 JP4535954 B2 JP 4535954B2
- Authority
- JP
- Japan
- Prior art keywords
- luminance
- image
- pixel
- calculation
- brightness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Generation (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
このため、2眼式立体表示装置を用いた場合には、図12(a)に示すように、視差は画像の1画素の大きさで決定されるので、図12(b)に示すように、より高い奥行き分解能で表示することができず、奥行き方向への滑らかな動きが表現できなかった。
他方、一般的なCG(Computer Graphics)では、正方形で表された画素の輝度を計算する際、図13の黒丸に示すように、ある1つのサンプル点を想定し、その点に集まる光線を計算することにより、その点の輝度を求めていた。
しかしながら、このような方法では、2眼立体視における視差が画素周期単位となり離散化してしまい、そのため、奥行きも離散化されてしまうという問題点があった。
これを回避する方法の一つに、2眼式立体表示装置とは異なる方式として、2枚、またはそれ以上の画像を奥行き方向に重ねて配置し、重なるように表示した各画像間の輝度比を変化させることで連続的な奥行きを表現する方式がある(下記、特許文献1参照)。
この方式は画像間の輝度の比により奥行きが表現できるので、画像の階調数(例えば、8ビットの画像なら256段階)まで奥行きの表現が可能である。しかし、この方式は画像を2枚以上重ねる特殊な装置が必要となり、通常の2眼式立体表示装置とは異なる。
さらに、画像処理の観点で比較的近い技術に、液晶画面などに表示される文字のエッジの輝度をコントロールして、可読性を向上させる技術があるが(下記、非特許文献2参照)、これらは字を読みやすくするなどが目的であり、2眼式立体表示に用いられた例はなく、また、1画素未満の視差を表現した例もない。
このため、これまで物理的に1画素未満の視差を表現することはできないと考えられ、奥行き方向に滑らかな動きが表現できないという問題があった。
本発明は、前記従来技術の問題点を解決するためになされたものであり、本発明の目的は、従来1画素の大きさにより決定された奥行きの分解能を大幅に向上させ、奥行き方向に滑らかな動きを表現可能とする2眼式立体表示装置を提供することにある。
また、本発明の他の目的は、前述の2眼式立体表示装置をコンピュータに実行させるためのプログラムを提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。
(1)画像処理部と、前記画像処理部から出力される左眼用画像および右眼用画像を観察者の左眼と右眼にそれぞれ提示する立体画像出力部とを備え、観察者の左眼と右眼にそれぞれ左眼用画像と右眼用画像とを提示して立体視させる2眼式立体表示装置であって、前記画像処理部は、左眼用画像と右眼用画像の各々で、画像中に表示される物体の左右のエッジ部分の少なくとも一方の領域において前記立体画像出力部よりも高い空間密度で画像の輝度の計算を行い、画像中に表示される物体の左右のエッジ部分の少なくとも一方の領域における前記立体画像出力部の画素に表示する輝度を、当該画素の領域に含まれる輝度の計算値の平均値となし、画像中に表示される物体の左右のエッジ部分の少なくとも一方の領域の輝度値を、当該物体の輝度値とその背景の輝度値との間の輝度値に変換することを特徴とする。
(2)(1)において、前記画像処理部は、前記画素輝度の計算において、計算場所の左右方向の密度をそれと垂直方向の密度に比べ大きくして輝度の計算値の平均値を求めることを特徴とする。
(3)(1)において、前記画像処理部は、前記画素輝度の計算において、計算場所の左右方向の密度が不均一な場合に、計算場所の間隔に比例した重み付けを行い輝度の計算値の平均値を求めることを特徴とする。
(4)(1)において、前記画像処理部は、前記画素輝度の計算において、画素境界に近い場所の重みを中央部の重みより大きくして輝度の計算値の平均値を求めることを特徴とする。
(6)(5)において、コンピュータに実行させる前記処理の前記画素輝度の計算において、計算場所の左右方向の密度をそれと垂直方向の密度に比べ大きくして輝度の計算値の平均値を求めさせることを特徴とする。
(7)(5)において、コンピュータに実行させる前記処理の前記画素輝度の計算において、計算場所の左右方向の密度が不均一な場合に、計算場所の間隔に比例した重み付けを行い輝度の計算値の平均値を求めさせることを特徴とする。
(8)(5)において、コンピュータに実行させる前記処理の前記画素輝度の計算において、画素境界に近い場所の重みを中央部の重みより大きくして輝度の計算値の平均値を求めさせることを特徴とする。
本発明によれば、立体表示される物体のエッジ部を僅かに加工することにより、1画素未満の視差に相当する奥行き表示が可能となるため、従来問題となっていた奥行き方向の不連続感を大幅に減少させることが可能となる。
なお、実施例を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
[本発明の2眼式立体表示装置の構成]
本発明は、左眼および右眼に独立に画像を提示して立体視させる2眼式立体表示装置に関する。
図1は、本発明の2眼式立体表示装置の概略構成を示すブロック図である。
図1に示すように、本発明の2眼式立体表示装置100は、3次元データ出力部101と、画像処理部102と、立体画像出力部103とを有する。また、画像処理部102は、左眼用画像処理部102Lと、右眼用画像処理部102Rとから構成され、それぞれの画像処理部(102L,102R)は、対応点抽出部111と、画素変換部112とで構成される。
3次元データ出力部101は、既存の3次元データから2眼式立体表示用に生成される従来の左右眼用画像に加え、奥行き情報を意味する視差情報(画素数+α、ここでαは、1画素未満の視差)を出力する。
本発明の中心的機能となる画像処理部102の各眼用画像処理部(102L,102R)において、対応点抽出部111で、視差データから左眼用画像と右眼用画像の対応点が抽出され、抽出された対応点情報を元に、画素変換部112で、以下に説明する方法で対応点の画素変換を行い、出力された左右眼用画像を、立体画像出力部103に表示する。
以下、本発明の原理について、図2を用いて説明する。
本発明は、2眼式立体表示装置で表示される物体に、各眼用画像処理部(102L,102R)において、表示輝度に応じた画像処理を施すことにより、1画素未満の視差に相当する奥行きを表現可能とするものである。
ここでは、簡単のため黒い四角のエッジ部分に画像処理を施し、画面に対して手前に、視差を1画素+α分、浮き出させる例を説明する。
まず、黒い四角は、図2の左上の元画像の左眼用画像および右眼用画像に示すように、1画素分の視差がつけられ(1画素分相対的に内側によっている)、表示面に対して手前に飛び出すように表示されている。
この場合の左眼用画像および右眼用画像の輝度分布は、図2の右上のグラフのようになる。通常の2眼式立体表示装置では、このような輝度分布となっており、視差は1画素の整数倍で表現される。
本発明では、図2の四角のエッジ部を加工することにより、+α分を手前に飛び出させるように変化させる。
まず、図2の四角の外側のエッジ(左眼用画像は四角の左側、右眼用画像は四角の右側)について四角の領域内の1画素分の領域を、元画像(黒)より明るくなるように輝度を変更する。
次に、四角の内側のエッジ(左眼用画像は四角の右側、右眼用画像は四角の左側)について四角の領域外の1画素分の領域に元画像(白)より暗くなるように輝度を変更する。
この場合の左眼用画像および右眼用画像各々の輝度分布は、図2の左下の2つのグラフのようになり、これらを重ねると図2の右下のグラフのようになる。
この場合のαは、エッジ部の輝度を変化させない(画像処理を施さない)ものから、最大に変化させる(エッジ部を無くす、あるいは追加する)ことで、視差αを0≦α≦1の範囲で変化させることが可能となる。
以下にエッジ部の輝度の与え方に関する典型的な例を示す。
図2の例で説明すると、四角のエッジ部の輝度は、例えば、下記(1)式のようになる。
左眼用画像の左側のエッジ輝度+右眼用画像の左側のエッジ輝度=四角の輝度
左眼用画像の右側のエッジ輝度+右眼用画像の右側のエッジ輝度=四角の輝度
・・・・・・・・・・・・・・ (1)
また、1画素未満の視差αを指定した場合、左眼用画像および右眼用画像の輝度値は、例えば、下記(2)式で決定できる。
左眼用画像の右側のエッジ輝度=四角の輝度×α
右眼用画像の左側のエッジ輝度=四角の輝度×α
左眼用画像の左側のエッジ輝度=四角の輝度−右眼用画像の左側のエッジ輝度
右眼用画像の右側のエッジ輝度=四角の輝度−左眼用画像の右側のエッジ輝度
・・・・・・・・・・・・・・ (2)
前述の(2)式は、あくまでもエッジの輝度部の変化と知覚される奥行き変化が線形な場合である。しかしながら、知覚現象には当然のことながら非線形性が含まれる場合もあり、この場合にはαがその関数であるf(α) と置き換わることは明らかである。特に、エッジ部の大きさや観察距離などが変化するとこの関数も変化する。
前述の(1)式は、典型的な例を示しており、必ずしもこれに限定されるものではない。
但し、計算の容易さや自然さなどから便利あるいは有利な場合が多い。また、これらの和が四角の輝度よりも低い場合には1画素分の視差を全て表現できない欠点を有するが、輝度階調数が少ない場合などに一定の奥行き範囲を詳細に表現できる。
次に、これらの和が四角の輝度より大きい場合には1画素分の視差以上に表現できるが、輝度が高いエッジ部のために違和感がある欠点がある。
これらの但書きから考えて、1画素未満の視差を表現できるエッジ部の輝度の与え方にはかなりの自由度があるが、あくまでもこれが1画素未満の視差を与えるために行われていることが重要である。また、これらの但書きは以下の実施例にも当然適用される。
また、前述までの説明では、1画素未満の視差αを画面に対して手前(+)方向に変化させる場合の例を説明したが、逆に画面の奥方向に1画素未満の視差α分だけ変化させる場合も、同様に四角の外側のエッジ(左眼用画像は四角の左側、右眼用画像は四角の右側)について四角の外側の領域を追加し、内側のエッジについて四角の内側をより明るくするように処理を施すことで実現可能である。
前述したような輝度分布を生じさせ、観察者に左右眼で融合させることにより、1画素未満の視差を表現することが可能となる。
なお、図1では、従来の左右視差画像を対応点抽出部111に入力し、各画像の対応点を求めた上で、画素変換部112で、視差を1画素サイズ未満の分解能で微調整する画像処理を行っているが、通常の2次元画像を直接、画素変換部112に入力し、表示に必要な視差を1画素サイズ未満の分解能で付与する画像処理を行うことも可能である。
その場合には、入力された2次元画像における任意の画素の対応点は、同一画像の同一画素とすればよく、対応点抽出部111は不要となる。
また、従来の左右視差像を原画にする場合には、3次元データ出力部がなくなり、対応点抽出後に、例えば周辺の視差との変化を例えばゆるやかに内挿する形で1画素未満の視差αを求めて、後の画像処理を行うことも可能である。
本実施例では、前述した[本発明の原理]において、元画像の四角の外側と内側の両方に画像処理を施したのに対して、元の画像のエッジの内側のみを加工する場合を示す。
具体的には、図2の四角について、左眼用画像の四角の右側のエッジに領域を追加、また右眼用画像の四角の左側のエッジに領域を追加していたものを、図3の[実施例1]に示すように、四角の内側(左眼用画像の四角の右側のエッジの内側、右眼用画像の四角の左側のエッジの内側)に画像処理を施す実施例である。
この方法でも、1画素未満の視差を表現するという基本的な発明の効果は同じであり、各エッジの領域の明るさの計算方法は、前述の[本発明の原理]と同じである。但し、本実施例を用いた場合は全体として四角が横方向に小さくなったように知覚される。
本実施例では、図3の[実施例2]に示すように、前述の実施例1において元画像の四角の内側のみに画像処理を施したものと逆に、四角の内側については画像処理を施さず、外側にのみ領域を追加し、この領域の明るさを変化させることで1画素未満の視差を表現するものである。
この方法でも1画素未満の視差を表現するという基本的な発明の効果は同じであり、エッジ領域の明るさの計算方法は上記実施の形態と同じである。ただし、全体として四角が横方向に大きくなったように知覚される。
本実施例では、前述の実施例1、2において、元画像の四角の左右エッジにおける領域の追加と、四角の内側の輝度の変更を同時に行っていたものを、図3の[実施例3]に示すように、左眼用画像の右側と右眼用画像の左側の四角の内側のみに追加することで実現するものである。
同様に左眼用画像の左側と右眼用画像の右側の四角の外側にのみ領域を追加することでも実現可能である。
この方法においては、四角の片方のエッジが固定されるため、1画素未満の視差の表現範囲が半分になり、0≦α≦1/2となる。
1/2画素未満の視差αが指定された場合、エッジ部の輝度は、下記(3)式で決定できる。
エッジ部の輝度=四角の輝度×α ・・・・・・・・・・・・・・・・ (3)
本実施例では、図3の[実施例4]に示すように、前述の実施例3において、四角の外側に領域を追加することのみで1画素未満の視差を表現する方法に対して、四角の内側の領域の輝度を変更することのみで1画素未満の視差を表現するものである。
この方法においても、実施例3と同様に、四角の片方のエッジが固定されるため、1画素未満の視差の表現範囲が半分になり、0≦α≦1/2となる。
1/2画素未満の視差αが指定された場合、エッジ部の輝度は、下記(4)式で決定できる。
エッジ部の輝度=四角の輝度×α ・・・・・・・・・・・・・・・・ (4)
本実施例では、前述の実施例1〜4において四角の外側に1画素分の領域を追加、あるいは四角の内側に1画素分の領域の輝度を変化させた方法に対して、1画素分ではなく複数画素の領域を追加/画像処理したものである。
エッジ部の領域に複数画素を用いた場合は、その画素数に応じてαの範囲が決定される。
例えば、図3の[実施例5]に示すように、2画素のエッジ部を使用する場合、αの範囲は0≦α≦2となる。
この範囲で視差αを指定した場合のエッジ部の輝度は、下記(5)式で決定できる。
エッジ部の輝度=四角の輝度×α/(αの最大値) ・・・・・・・・・ (5)
この時、前述の実施例4に示すように、四角の左右片方のエッジのみ画像処理を施す場合等の(αの最大値)は、エッジを物体の左右に適用する場合は下記(6)式、エッジを物体の左右片方に適用する場合は、下記(7)式となる。
αの最大値=エッジに使用する画素数/1 ・・・・・・・・・・・・・ (6)
αの最大値=エッジに使用する画素数/2 ・・・・・・・・・・・・・ (7)
本実施例では、前述のエッジの処理方法について、元画像の四角のエッジの外側に領域を付加した上で四角の同じエッジの内側も輝度を変更する場合について説明する。
本実施例の基本は、前述の[本発明の原理]と同じであるが、エッジの画像処理方法が異なる。
前述の[本発明の原理]では、エッジの外側、あるいは内側の1画素の領域について処理を施しているが、エッジの外側の領域と内側の領域について同時に処理を施しても、1画素未満の視差の表現は可能である。
エッジの外側と内側の輝度を同じとした場合は、1画素未満の視差αに対するエッジの輝度の決定方法は、前述の[本発明の原理]で説明した方法と同じである。
ただし、エッジが1画素の場合に比べ、本実施例のように複数画素処理する場合は、元画像のエッジ部が空間的により劣化し、シャープなエッジを表現し難くなる。
さらに、エッジの外側と内側で異なる輝度を設定することも可能であるが、この場合はαに対する輝度の決定方法はより複雑化する。
前述の[本発明の原理]および各実施例では、簡単のため背景を白、四角を黒と2値を使用した例を示したが、本実施例では、より実際に使用しやすい例として、図4の実施例7に示すように、背景が薄いグレーで、四角が濃いグレーの場合について説明する。
これまでの例と同様に視差を1画素+α(αは1画素未満の視差)を付けて、四角を画面に対して手前に飛び出して知覚させる場合について説明する。
濃いグレーの四角は、図4の元画像と同様に、1画素分左右画像間で相対的に内側に寄っており、画面に対して視差1画素分だけ手前に飛び出している。
ここで、前述の[本発明の原理]で示したように、左眼用画像の四角の右側と右眼用画像の四角の左側にエッジの領域を追加し、さらに、左眼用画像の四角の左エッジの内側と右眼用画像の四角の右エッジの内側の領域に画像処理を施す。
この場合のエッジ領域の輝度の決定方法は、1画素未満の視差αに対し、下記(8)式で決定される。
左眼用画像の右側のエッジ輝度=(四角の輝度−背景の輝度)×α+背景の輝度
右眼用画像の左側のエッジ輝度=(四角の輝度−背景の輝度)×α+背景の輝度
左眼用画像の左側のエッジ輝度=四角の輝度−(四角の輝度−背景の輝度)×α
右眼用画像の右側のエッジ輝度=四角の輝度−(四角の輝度−背景の輝度)×α
・・・・・・・・・・・・・・ (8)
前述の[本発明の原理]および各実施例では、簡単のため、背景を白、四角を黒と2値を使用した画像、あるいは、グレースケールの画像について説明した。本実施例では、カラー画像を用いた場合について説明する。
図4の実施例8は、赤い背景に青い四角を上記と同様に視差1画素+α(αは1画素未満の視差)を付ける例である。
人間は両眼視差の検出に輝度情報を用いているため、カラー画像を用いた場合のエッジ部分の輝度の決定方法は、前述の[本発明の原理]および各実施例と同じでよい。
ただし、同じ輝度であっても色は無数に変化させることが可能であるため、αの値に応じて背景と四角の色の中間値を用いる方法や、四角あるいは背景と同じ色にするという方法がある。
αの値に応じて背景と四角の色(赤青緑の三原色)の輝度を用い計算する方法として、前述の実施例7で説明した式を拡張した、下記(9)式のような計算が可能である。
=(四角の赤成分の輝度−背景の赤成分の輝度)×α+背景の赤成分の輝度
左眼用画像の右側のエッジ輝度(青成分)
=(四角の青成分の輝度−背景の青成分の輝度)×α+背景の青成分の輝度
左眼用画像の右側のエッジ輝度(緑成分)
=(四角の緑成分の輝度−背景の緑成分の輝度)×α+背景の緑成分の輝度
右眼用画像の左側のエッジ輝度(赤成分)
=(四角の赤成分の輝度−背景の赤成分の輝度)×α+背景の赤成分の輝度
右眼用画像の左側のエッジ輝度(青成分)
=(四角の青成分の輝度−背景の青成分の輝度)×α+背景の青成分の輝度
右眼用画像の左側のエッジ輝度(緑成分)
=(四角の緑成分の輝度−背景の緑成分の輝度)×α+背景の緑成分の輝度
左眼用画像の左側のエッジ輝度(赤成分)
=四角の赤成分の輝度−(四角の赤成分の輝度−背景の赤成分の輝度)×α
左眼用画像の左側のエッジ輝度(青成分)
=四角の青成分の輝度−(四角の青成分の輝度−背景の青成分の輝度)×α
左眼用画像の左側のエッジ輝度(緑成分)
=四角の緑成分の輝度−(四角の緑成分の輝度−背景の緑成分の輝度)×α
右眼用画像の右側のエッジ輝度(赤成分)
=四角の赤成分の輝度−(四角の赤成分の輝度−背景の赤成分の輝度)×α
右眼用画像の右側のエッジ輝度(青成分)
=四角の青成分の輝度−(四角の青成分の輝度−背景の青成分の輝度)×α
右眼用画像の右側のエッジ輝度(緑成分)
=四角の緑成分の輝度−(四角の緑成分の輝度−背景の緑成分の輝度)×α
・・・・・・・・・・・・・・ (9)
なお、図3〜5では、説明の便宜上、一様な背景上に一様な物体を表示する場合に、表示物体の左右エッジ部分のみにおいて画素値を変換する例を示しているが、一様でない背景上に一様でない物体を表示する一般的な場合には、左右視差画像のすべて画素の各々を表示物体と見なし、前述実施例7あるいは実施例8で示した式に基づき、対応点ごとに画素値を変換すればよい。
前述したように、一般的なCGでは、正方形で表された画素の輝度を計算する際、図13の黒丸で示すように、ある1つのサンプル点131を想定し、その点に集まる光線を計算することにより、その点の輝度を求めていたが、このような方法では、2眼立体視における視差が画素周期単位となり離散化してしまい、そのため、奥行きも離散化されてしまうという問題点があった。
本実施例は、この問題点を解決するための実施例であり、図5は、本実施例を説明するための概略図である。
図5に示すように、本実施例では、画素中に複数のサンプル点131を設け、それらの輝度を平均したものを画素の輝度として用いる。
本方法では、画素内にオブジェクトの端があった場合、その位置に応じて平均値が変化する。得られた平均値は、前述の実施例1〜8のエッジ領域の輝度に相当する。
しかしながら、前述の図5に示す方法では、サンプル点131の数だけ計算量が増大するという問題があった。本実施例では、この問題を解決するための実施例である。
図6は、本実施例を説明するための概略図であり、本実施例では、サンプル点131を横方向(または、左右方向)にだけ並べるものである。このサンプル点131で平均輝度を計算することにより同様の効果が得られる。
なお、図6では、一直線にサンプル点131を並べたが、蛇行していてもよい。2列や千鳥であってもよく、斜めでもよい。また、横方向の位置が等間隔でもなくてもよいが、その場合に、間隔で重み付けすると等間隔の場合とほぼ同様の計算結果となる。
以上では、CGにおいて、表示画素数より多いサンプル点について輝度値を算出する例について説明したが、これらの実施例は、被写体を撮影した自然画像において、撮影時の画素数よりも少ない画素数で表示を行う際に、撮影時の画素の輝度値から表示画素の輝度値を求める場合にも適用可能である。
前述の実施例9、10では、サンプル点131を増やす方法を述べたが、図13に示す方法であっても、CGの画素演算における仮想カメラをピンボケの設定にしたり、可動的なアンジュレーターを仮想カメラの前面に設けることにより、仮想カメラの画像を画素程度にぼかしても良い。
また、図5、図6に示す方法で、サンプル点131の間隔程度ぼかすことにより、サンプル点131の数を減らしても同様の効果を得ることができる。
図7は、本実施例を説明するための概略図であり、仮想カメラの画像をぼかす場合を説明した図である。なお、図7において、132は仮想カメラの撮像素子、133はレンズであり、また、同図において、点線、破線は物体上の異なる場所から発せられた光線を示す。
ピントが合った状態では、仮想カメラの撮像素子132上の1点に物体上の1点が対応して結像するとして演算を行う。すなわち、仮想的な撮像素子132の画素の1点をサンプル点とした場合は、物体上のある1点から到達した光だけを計算する。そのため、これまでに述べたように画素内で複数のサンプル点131を設けて計算する必要がある。
しかし、仮想的な撮像素子132の位置を、図7の「ぼけた条件での撮像素子の位置」にずらすことにより、画素内の1点に物体上の複数の点からの光が集まるとして演算を行うことができる。
すなわち、サンプル点131が1点であっても、ピントが合った状態において複数のサンプル点131を使用した場合と同等な計算上の効果を得ることができる。したがって、サンプル点131が少ない分、演算の高速化が可能となる。
図8は、アンジュレーター135を設けない場合、図9は、アンジュレーター135を設けた場合である。
アンジュレーター135を設けない場合には、図8に示すように、撮像素子上の1点が物体の1点に対応して求められる。
これに対し、アンジュレーター135を設けた場合には、図9に示すように、光線の方向が乱されるとするため、撮像素子上の1点に物体の複数の点からの光が収束するとして演算を行うことができる。
すなわち、サンプル点131が1点であっても、ピントが合った状態において複数のサンプル点131を使用した場合と同等な計算上の効果を得ることができる。したがって、サンプル点が少ない分、演算の高速化が可能となる。
なお、本実施例ではアンジュレーター135の設置場所をレンズ133と物体の間とした図を示したが、レンズ133と撮像素子132の間に設けてもよいことは言うまでもない。
ぼかし方は任意であるが、ボケの広がりに画素が外接する条件から、内接する条件程度の範囲が好適である。また、仮想カメラの開口を矩形とすることで、矩形状のボケとし、画素に画素形状とボケの形状を類似させても良いことはいうまでもない。
エッジ幅が狭い場合には、物体の輝度に対するエッジの輝度の比と奥行き感は、破線のように比例関係にあるが、エッジ幅を大きくすると実線のように非線形な関係になる。
実施例の平均演算において、エッジの左右端に、中央部より大きな重みを持たせることにより、この非線形を解消できる。また、サンプル点の密度を、エッジの左右端で、中央部より高くすることにより同等の効果を得てもよい。
この非線形の影響は、図11のように、前述の方法で計算された当該画素の輝度をX、左右に隣接する画素の輝度をA,Bとすると、以下のようにして補正できる。
図10において、輝度比(β)と奥行き(d)の関係が、d=g(β)、β=G(d)の関係にあるとする(ここでは、関数d=g(β)を特性曲線と呼ぶことにする)。但し、Gはgの逆関数である。
まず、A>Bの場合について説明する。このときの輝度比は、当該画素の輝度の周辺がその輝度に対する内分比なので、β=(X−B)/(A−B)であり、また、この画像で表現しようとしている奥行きは、表示しようとした規格化奥行きと輝度比の関係が線形な場合の規格化奥行きであり、d=βである。
このときの当該画素の輝度X’は、下記(10)式で表される。
X’=B+G(β)
=B+G((X−B)/(A−B)) ・・・・・・・・・・・・ (10)
同様にして、B>Aの場合における、当該画素の輝度X’は、下記(11)式で表される。
X’=A+G((X−A)/(B−A)) ・・・・・・・・・・・・ (11)
また、XがAとBの間にない場合は、X’=Xとすればよい。
これにより、エッジ幅が大きくても奥行きの歪みはなく、自然な立体像を表示することができる。
なお、関数dは、特性曲線そのものではなく、例えば、複数の直線により折れ線近似を行った式など、dの近似式であってもよいことはいうまでもない。
また、表示装置の画素の配置は、実施例であげた正方配列だけでなく、デルタ配列などでもよく、また、画素配置や、画素ピッチが異なる表示装置を用いてもよい。
さらに、本発明の2眼式立体表示装置は、コンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。
以上、本発明者によってなされた発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
101 3次元データ出力部
102 画像処理部
102L 左眼用画像処理部
102R 右眼用画像処理部
103 立体画像出力部
111 対応点抽出部
112 画素変換部
131 サンプル点
132 撮像素子
133 レンズ
135 アンジュレーター
Claims (8)
- 画像処理部と、
前記画像処理部から出力される左眼用画像および右眼用画像を観察者の左眼と右眼にそれぞれ提示する立体画像出力部とを備え、
観察者の左眼と右眼にそれぞれ左眼用画像と右眼用画像とを提示して立体視させる2眼式立体表示装置であって、
前記画像処理部は、左眼用画像と右眼用画像の各々で、画像中に表示される物体の左右のエッジ部分の少なくとも一方の領域において前記立体画像出力部よりも高い空間密度で画像の輝度の計算を行い、画像中に表示される物体の左右のエッジ部分の少なくとも一方の領域における前記立体画像出力部の画素に表示する輝度を、当該画素の領域に含まれる輝度の計算値の平均値となし、画像中に表示される物体の左右のエッジ部分の少なくとも一方の領域の輝度値を、当該物体の輝度値とその背景の輝度値との間の輝度値に変換することを特徴とする2眼式立体表示装置。 - 前記画像処理部は、前記画素輝度の計算において、計算場所の左右方向の密度をそれと垂直方向の密度に比べ大きくして輝度の計算値の平均値を求めることを特徴とする請求項1に記載の2眼式立体表示装置。
- 前記画像処理部は、前記画素輝度の計算において、計算場所の左右方向の密度が不均一な場合に、計算場所の間隔に比例した重み付けを行い輝度の計算値の平均値を求めることを特徴とする請求項1に記載の2眼式立体表示装置。
- 前記画像処理部は、前記画素輝度の計算において、画素境界に近い場所の重みを中央部の重みより大きくして輝度の計算値の平均値を求めることを特徴とする請求項1に記載の2眼式立体表示装置。
- 画像処理部と、
前記画像処理部から出力される左眼用画像および右眼用画像を観察者の左眼と右眼にそれぞれ提示する立体画像出力部とを備え、
観察者の左眼と右眼にそれぞれ左眼用画像と右眼用画像とを提示して立体視させる2眼式立体表示装置における前記画像処理部の処理をコンピュータに実行させるためのプログラムであって、
左眼用画像と右眼用画像の各々で、画像中に表示される物体の左右のエッジ部分の少なくとも一方の領域において前記立体画像出力部よりも高い空間密度で画像の輝度の計算を行い、画像中に表示される物体の左右のエッジ部分の少なくとも一方の領域における前記立体画像出力部の画素に表示する輝度を、当該画素の領域に含まれる輝度の計算値の平均値となし、画像中に表示される物体の左右のエッジ部分の少なくとも一方の領域の輝度値を、当該物体の輝度値とその背景の輝度値との間の輝度値に変換する処理をコンピュータに実行させることを特徴とするプログラム。 - コンピュータに実行させる前記処理の前記画素輝度の計算において、計算場所の左右方向の密度をそれと垂直方向の密度に比べ大きくして輝度の計算値の平均値を求めさせることを特徴とする請求項5に記載のプログラム。
- コンピュータに実行させる前記処理の前記画素輝度の計算において、計算場所の左右方向の密度が不均一な場合に、計算場所の間隔に比例した重み付けを行い輝度の計算値の平均値を求めさせることを特徴とする請求項5に記載のプログラム。
- コンピュータに実行させる前記処理の前記画素輝度の計算において、画素境界に近い場所の重みを中央部の重みより大きくして輝度の計算値の平均値を求めさせることを特徴とする請求項5に記載のプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005203783A JP4535954B2 (ja) | 2005-04-18 | 2005-07-13 | 2眼式立体表示装置およびプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005119446 | 2005-04-18 | ||
JP2005203783A JP4535954B2 (ja) | 2005-04-18 | 2005-07-13 | 2眼式立体表示装置およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006325173A JP2006325173A (ja) | 2006-11-30 |
JP4535954B2 true JP4535954B2 (ja) | 2010-09-01 |
Family
ID=37544471
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005203783A Expired - Fee Related JP4535954B2 (ja) | 2005-04-18 | 2005-07-13 | 2眼式立体表示装置およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4535954B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5407957B2 (ja) | 2009-06-29 | 2014-02-05 | ソニー株式会社 | 立体画像データ送信装置および立体画像データ受信装置 |
JP5429034B2 (ja) | 2009-06-29 | 2014-02-26 | ソニー株式会社 | 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法 |
JP5402715B2 (ja) | 2009-06-29 | 2014-01-29 | ソニー株式会社 | 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法 |
JP5407968B2 (ja) | 2009-06-29 | 2014-02-05 | ソニー株式会社 | 立体画像データ送信装置および立体画像データ受信装置 |
JP2011010255A (ja) * | 2009-10-29 | 2011-01-13 | Sony Corp | 立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法 |
JP5521608B2 (ja) * | 2010-02-12 | 2014-06-18 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
WO2011132404A1 (ja) * | 2010-04-20 | 2011-10-27 | パナソニック株式会社 | 3d映像記録装置及び3d映像信号処理装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1051811A (ja) * | 1996-08-07 | 1998-02-20 | Sanyo Electric Co Ltd | 立体感調整方法および立体感調整装置 |
JP2001118074A (ja) * | 1999-10-20 | 2001-04-27 | Matsushita Electric Ind Co Ltd | 3次元画像作成方法、3次元画像作成装置及びプログラム記録媒体 |
-
2005
- 2005-07-13 JP JP2005203783A patent/JP4535954B2/ja not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1051811A (ja) * | 1996-08-07 | 1998-02-20 | Sanyo Electric Co Ltd | 立体感調整方法および立体感調整装置 |
JP2001118074A (ja) * | 1999-10-20 | 2001-04-27 | Matsushita Electric Ind Co Ltd | 3次元画像作成方法、3次元画像作成装置及びプログラム記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP2006325173A (ja) | 2006-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5615136B2 (ja) | 立体画像補正方法、立体表示装置、および立体画像生成装置 | |
JP4950293B2 (ja) | 自動立体システム | |
US8860790B2 (en) | Rendering improvement for 3D display | |
JP6027026B2 (ja) | レンチキュラ印刷および表示におけるぼけアーチファクトを低減する方法およびシステム | |
JP4535954B2 (ja) | 2眼式立体表示装置およびプログラム | |
JP6147275B2 (ja) | 立体画像処理装置、立体画像処理方法、及びプログラム | |
US20130127861A1 (en) | Display apparatuses and methods for simulating an autostereoscopic display device | |
JP5289416B2 (ja) | 立体画像表示装置、方法およびプログラム | |
US8675045B2 (en) | Method of simulating blur in digitally processed images | |
WO2013094192A1 (ja) | 表示装置 | |
JP2015162718A (ja) | 画像処理方法、画像処理装置及び電子機器 | |
US10547832B2 (en) | Image processing apparatus, method, and storage medium for executing gradation on stereoscopic images | |
JP2015156607A (ja) | 画像処理装置、画像処理装置、及び電子機器 | |
WO2019198570A1 (ja) | 映像生成装置、映像生成方法、プログラム、およびデータ構造 | |
KR20120114145A (ko) | 화상 표시 장치, 화상 표시 시스템 및 화상 표시 방법 | |
KR20120101881A (ko) | 영상 디스플레이 방법 및 장치 | |
KR20120054182A (ko) | 입체 디스플레이의 화질 측정 장치 및 방법, 이를 이용한 화질 분석 방법 | |
KR20210108370A (ko) | 디스플레이 장치를 위한 이미지 프로세싱 시스템 및 방법 | |
JP7387029B2 (ja) | ソフトレイヤ化および深度認識インペインティングを用いた単画像3d写真技術 | |
JP6615818B2 (ja) | 映像生成装置、映像生成方法、およびプログラム | |
EP3984214B1 (en) | Multifocal display device and method | |
US11350065B2 (en) | Video generation device, video generation method, and program | |
JP6823984B2 (ja) | 画像生成装置及びプログラム | |
JP2009237310A (ja) | 疑似3次元表示方法および疑似3次元表示装置 | |
KR20220157147A (ko) | 이미지를 처리하기 위한 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070807 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100311 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100316 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100517 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100615 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100615 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130625 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4535954 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140625 Year of fee payment: 4 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |