JP4098235B2 - ステレオスコピック画像処理機器および方法 - Google Patents

ステレオスコピック画像処理機器および方法 Download PDF

Info

Publication number
JP4098235B2
JP4098235B2 JP2003516228A JP2003516228A JP4098235B2 JP 4098235 B2 JP4098235 B2 JP 4098235B2 JP 2003516228 A JP2003516228 A JP 2003516228A JP 2003516228 A JP2003516228 A JP 2003516228A JP 4098235 B2 JP4098235 B2 JP 4098235B2
Authority
JP
Japan
Prior art keywords
image
input
offset
output
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003516228A
Other languages
English (en)
Other versions
JP2004522382A (ja
Inventor
ペーター−アンドレ レデルト
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2004522382A publication Critical patent/JP2004522382A/ja
Application granted granted Critical
Publication of JP4098235B2 publication Critical patent/JP4098235B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/334—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using spectral multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/337—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using polarisation multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image

Description

【０００１】
【発明の属する技術分野】
本発明は、ステレオスコピック表示デバイス(stereoscopic display device)に表示される第一出力画像と第二出力画像とを、複数の入力画像に基づいて生成するための画像処理ユニットであって、
- 前記第一出力画像と前記第二出力画像とを左目と右目とで実質的に別々に知覚する第一観察者には、ステレオスコピック画像を提供し、かつ、
- 前記第一出力画像と前記第二出力画像とを実質的に両方とも両目で知覚する第二観察者には、モノスコピック画像(monoscopic image)を提供する、画像処理ユニットに関する。
【０００２】
本発明は、更に、ステレオスコピック表示デバイスに表示される第一出力画像と第二出力画像とを、複数の入力画像に基づいて生成するための方法であって、
- 前記第一出力画像と前記第二出力画像とを左目と右目とで実質的に別々に知覚する第一観察者には、ステレオスコピック画像を提供し、かつ、
- 前記第一出力画像と前記第二出力画像とを実質的に両方とも両目で知覚する第二観察者には、モノスコピック画像を提供する方法にも関する。
【０００３】
本発明は、更に、
- ステレオスコピック表示デバイスに表示される第一出力画像と第二出力画像とを、複数の入力画像に基づいて生成するための画像処理ユニットであって、
- 前記第一出力画像と前記第二出力画像とを左目と右目とで実質的に別々に知覚する第一観察者には、ステレオスコピック画像を提供し、かつ、
- 前記第一出力画像と前記第二出力画像とを実質的に両方とも両目で知覚する第二観察者には、モノスコピック画像を提供する、
画像処理ユニットと、
- 前記ステレオスコピック表示デバイスと、
を有する画像表示機器にも関する。
【０００４】
【従来の技術】
冒頭の段落で説明した種類の画像処理ユニットの実施例は、論文「まさに十分なリアリティ：マイクロステレオプシスによる快適な三次元視覚 (Just enough reality: Comfortable 3-D viewing via microstereopsis)」IEEE Transactions on Circuits and Systems for Video Technology （映像技術用の回路とシステムに関するIEEE）論文集、第10巻、第3号、387〜396頁、2000年から知られている。
【０００５】
従来の、眼鏡を使用したステレオスコピック・システムでは、適切な眼鏡をかけている観察者が、ステレオスコピック画像を観察することが出来た。観察者は、眼鏡により、左右の画像を実質上左右別々に知覚する。眼鏡にフィルタ効果がない場合、クロス-トークが発生する。観察者は、二重画像、すなわち、左右の画像が混合し、どちらの目でも見えてしまう像、を知覚する。
【０００６】
この引用論文では、眼間分離の下限、すなわちマイクロステレオプシスが利用されており、意外な程小さい差異が、正確でかつ心地良い奥行感覚を刺激することが、示されている。このような「軽い」3Dによっては、奥行の知覚は不変のままであることが、述べられている。これによって、3Dを長時間視覚している間の視覚快適度を向上させることが可能になる。ここで説明されている状況では、クロス-トークは、ゴースト(ghosting)ではなく、焦点深度(depth-of-focus)として知覚される。言い換えると、カメラ間の基線(base-line)が小さい場合、クロス-トークは、二重化ではなくぼけとして知覚される。すなわち、眼鏡をかけていない観察者が見る画像は、画質は許容可能であるが不鮮明なモノスコピック画像となる。カメラ間の基線を規定することによって、モノスコピック画像の画質と3D効果の量とをトレードオフの関係にすることが出来る。カメラ間の基線を低くすると、眼鏡をかけている観察者に対する奥行効果は、低下する。極端な3D効果は、もはや不可能となる。一方、眼鏡をかけていない観察者に対しては、クロス-トークによって発生するアーチファクトも低下する。しかしながら、カメラ間の基線が相対的に小さい場合であっても、モノスコピック画像がこれらのアーチファクトを示すことは、問題である。
【０００７】
【課題を解決するための手段】
本発明の第一目的は、モノスコピック画像の画質が相対的に高い、冒頭の段落で説明した種類の画像処理ユニットを提供することである。
【０００８】
本発明の第二目的は、モノスコピック画像の画質が相対的に高い、冒頭の段落で説明した種類の方法を提供することである。
【０００９】
本発明の第三目的は、モノスコピック画像の画質が相対的に高い、冒頭の段落で説明した種類の画像表示機器を提供することである。
【００１０】
本発明の第一目的は、
- 入力画像の第一画像に基づいてオフセット画像を計算するように設計されているオフセット計算器と、
- 入力画像の第二画像にオフセット画像を加算することによって、第一出力画像を計算するように設計されている加算ユニットと、かつ、
- 入力画像の第二画像からオフセット画像を減算することによって、第二出力画像を計算するように設計されている減算ユニットと、
を有する画像処理ユニットによって達成される。
説明を簡単にするために、画像処理ユニットに入力画像を提供する、一線上に正確に配置されている3台の（トリプル）カメラを挙げる。図1Aを参照されたい。真中のカメラは、標準的な表示デバイスに表示されると、観察者は、モノスコピック画像を観察することが出来る、モノスコピック入力画像Iを提供する。左右のカメラは、ステレオスコピック表示デバイスに共に表示されると、観察者は、ステレオスコピック画像を観察することが出来る、入力画像ILと入力画像IRとを提供する。
【００１１】
画像処理ユニットは、これらの入力画像の内の少なくとも1つを受信する。この／これらの画像を処理することによって、第一出力画像
Figure 0004098235
と第二出力画像
Figure 0004098235
とが得られる。これらの2つの出力画像が、適切なステレオスコピック表示デバイスに表示されると、ステレオスコピック画像とモノスコピック画像とを観察することが出来る。これは、観察者が眼鏡をかけているか否かに依る。すなわち、
- 観察者が眼鏡を使用する場合には、ステレオスコピック画像が観察される。これは、すなわち、
Figure 0004098235
と
Figure 0004098235
とを意味する。
- 観察者が眼鏡を使用しない場合には、モノスコピック画像が観察される。これは、すなわち、
Figure 0004098235
（I*は、観察されるモノスコピック出力画像）を意味する。画像処理ユニットは、入力画像を処理して、モノスコピック入力画像Iよりも、あるオフセット画像△I分だけ大きく、または小さくしたものに等しい、第一出力画像
Figure 0004098235
と第二出力画像
Figure 0004098235
とを生じる。式で表すと、以下のようになる。
Figure 0004098235
Figure 0004098235
第一出力画像
Figure 0004098235
と第二出力画像
Figure 0004098235
とを、適切な眼鏡と組み合わされたステレオスコピック表示デバイスによって分離することによって、観察者は、ステレオスコピック画像を見ることが出来る。この観察者は、2つの出力画像を識別することが出来、これによって3D効果すなわちステレオスコピック画像を得ることが出来る。眼鏡をかけていない観察者には、これらの2つの出力画像は混合される。この観察者は、これらの2つの出力画像を識別することが出来ない。この観察者が見る画像は、実質的にモノスコピック入力画像Iと等しく知覚されるモノスコピック画像である。
Figure 0004098235
この画像処理ユニットの利点は、モノスコピック画像の画質が、3D効果の量とは実質的に無関係であることである。これは、眼鏡をかけたくない観察者が、画質が相対的に高いモノスコピック画像を得ることが出来ることを意味する。しかしながら、同時に、眼鏡をかけたい観察者も、画質が相対的に高いステレオスコピック画像を観察することが出来る。
【００１２】
本発明による画像処理ユニットの実施例では、オフセット計算器は、入力画像の内の第一画像から入力画像の内の第三画像を減算し、かつ、実質的に2に等しい定数で除算することによって、オフセット画像を計算するように設計されている。入力画像の第一画像と、入力画像の第二画像と、入力画像の第三画像とは、3台のカメラにより取り込むことが出来る。1台のカメラを、取り込む瞬間と瞬間との間に移動させることによって、これらの画像を取り込むことも出来る。更に、グラフィックスシステムによって画像を生成することも出来る。△Iは、入力画像の第一画像と入力画像の第三画像との差の半分として選択される。ILを、入力画像の内の第一画像とし、かつIRを、入力画像の内の第三画像と仮定する。すると、以下の式が得られる。
Figure 0004098235
この利点は、出力画像
Figure 0004098235
と
Figure 0004098235
とが、各々、入力画像ILとILとに非常に類似していることである。輝度を、例えば、[0,255]に固定した場合、△Iの加算と減算との後に、
Figure 0004098235
と
Figure 0004098235
とに有効な輝度値が含まれていることを確認するためにクリッピングを行うことが好ましい。この代替方法には、入力画像のスケーリングがある。
【００１３】
本発明による画像処理ユニットの他の実施例では、オフセット計算器は、入力画像の内の第一画像から入力画像の内の第二画像を減算することによって、オフセット画像を計算するように設計されている。入力画像の第一画像と、入力画像の第二画像とは、ステレオカメラによって取り込むことが出来る。1台のカメラを、取り込む時点の間に移動させることによって、これらの画像を取り込むことも出来る。更に、グラフィックスシステムによって画像を生成することも出来る。△Iは、入力画像の第一画像と入力画像の第三画像との差として選択される。ILは、入力画像の第一画像であり、かつIは、入力画像の第二画像であるとする。すると、以下の式が得られる。
Figure 0004098235
この利点は、画像を取り込むために標準的なステレオカメラを使用しても、相対的に良好かつ簡単なステレオスコピック画像とモノスコピック画像とを達成することが出来ることである。
【００１４】
本発明による画像処理ユニットの他の実施例では、オフセット計算器は、入力画像の第一画像を微分することによって、オフセット画像を計算するように設計されている。この場合、入力画像は1つしかない。すなわち、入力画像の第二画像は、入力画像の第一画像に等しい。オフセット画像は、この入力画像から直接計算される。これの利点は、オフセット画像の計算が容易であり、かつ非常に強固なことである。オフセット画像は、軽い3D効果をもたらすが、これは、必ずしもその場面の実際の奥行に関連している訳ではない。画像中の輝度の遷移は、奥行の遷移に対応すると仮定する。入力画像の第一画像は、モノラルカメラによって取り込む、または、グラフィックスシステムから生成することが出来る。オフセット画像の計算方法の例を、式6に示す。
Figure 0004098235
【００１５】
本発明による画像処理ユニットの実施例は、取り込まれた画像と奥行マップとに基づいて入力画像をレンダリングするように設計されているレンダリングユニットを、更に有する。画像が、トリプルカメラ構成またはステレオカメラ構成から生成されたかのように、画像をレンダリングすることが出来ることは、利点である。この点から、この処理を、これらの構成により上述したように使用することが出来る。
【００１６】
レンダリングユニットを有する本発明による画像処理ユニットの実施例では、奥行マップは、奥行カメラによって提供される。奥行カメラを使用することによって、奥行マップを直接使用することが可能になる。一つ以上の画像から奥行を推定することは、相対的に複雑な問題である。従って、奥行カメラによって奥行マップを提供すれば、有利である。
【００１７】
レンダリングユニットを有する本発明による画像処理ユニットの実施例は、更に、取り込まれた画像に基づいて奥行マップを生成するように設計されている奥行推定ユニットを有する。この考え方は、例えば、論文「信頼に基づくブロック整合化を用いた運動による奥行(Depth from motion using confidence based block matching)」（P. WilinskiとK. van Overveld、画像信号と多次元信号の処理手順に関する研究会(Proceedings of Image and Multidimensional Signal Processing Workshop)、159〜162頁、Alphbach, Austria, 1998年）に説明されている。本発明によるこの実施例の利点は、標準的なモノラルカメラによって取り込まれた映像シーケンスからでも、3D-効果を有する画像を作成することが可能なことである。
【００１８】
本発明の第二目的は、
- 前記入力画像の第一画像に基づいてオフセット画像を計算するステップと、
- 前記入力画像の第二画像に前記オフセット画像を加算することによって、前記第一出力画像を計算するステップと、かつ、
- 前記入力画像の前記第二画像から前記オフセット画像を減算することによって、前記第二出力画像を計算するステップと、
を有する方法によって達成される。
【００１９】
本発明の第三目的は、画像表示機器の画像処理ユニットが、
- 前記入力画像の第一画像に基づいてオフセット画像を計算するように設計されているオフセット計算器と、
- 前記入力画像の第二画像に前記オフセット画像を加算することによって、前記第一出力画像を計算するように設計されている加算ユニットと、
- 前記入力画像の前記第二画像から前記オフセット画像を減算することによって、前記第二出力画像を計算するように設計されている減算ユニットと、
を有することによって達成される。
この画像表示機器は、受信手段、復号器、かつ格納手段のようなコンポーネントを有することも出来る。画像処理ユニットの変更態様とその変形態様とは、ここで記載されている方法と画像表示機器とのその変更態様と変形態様とに対応する。
【００２０】
【発明を実施するための形態】
本発明による画像処理ユニットと、方法と、画像表示機器との、これらの態様と他の態様は、以下に説明する実施態様と実施例から、かつ添付の図面を参照して、明らかになり、かつ解明されるであろう。対応する参照番号は、全ての図で同じ意味を有する。
【００２１】
図1Aは、画像IL, 画像I, 画像IRを各々取り込むカメラ114〜118を有するトリプルカメラに接続されている画像処理ユニット100の実施例を、線図的に示す。これらの画像は、その入力コネクタ108〜112を介して、画像処理ユニット100に提供される。画像処理ユニット100は、第一出力画像
Figure 0004098235
と第二出力画像
Figure 0004098235
とを生成するように設計されている。画像処理ユニット100は、
- 式4によって、入力画像ILと入力画像IRとに基づいてオフセット画像△Iを計算するように設計されているオフセット計算器102と、
- 式1によって、入力画像Iにオフセット画像△Iを加算することによって第一出力画像
Figure 0004098235
を計算するように設計されている加算ユニット104と、
- 式2によって入力画像Iからオフセット画像△Iを減算することによって、第二出力画像
Figure 0004098235
を計算するように設計されている減算ユニット106と、
を有する。
【００２２】
図1Bは、画像ILと画像Iとを各々取り込むカメラ114とカメラ116とを有するステレオカメラに接続されている画像処理ユニット101の実施例を、線図的に示す。これらの画像は、その入力コネクタ108と入力コネクタ112とを介して、画像処理ユニット101に提供される。この画像処理ユニット101は、第一出力画像
Figure 0004098235
と第二出力画像
Figure 0004098235
とを生成するように設計されている。画像処理ユニット101は、式5によって入力画像ILとIとに基づいてオフセット画像△Iを計算するように設計されているオフセット計算器102を有する。
【００２３】
図1Cは、画像Iを取り込むモノラルカメラ116に接続されている画像処理ユニット103の実施例を線図的に示す。この画像は、その入力コネクタ108を介して画像処理ユニット103に提供される。この画像処理ユニット103は、第一出力画像
Figure 0004098235
と第二出力画像
Figure 0004098235
とを生成するように設計されている。画像処理ユニット103は、方程式6によって入力画像Iに基づいてオフセット画像△Iを計算するように設計されているオフセット計算器102を有する。
【００２４】
図2Aは、レンダリング装置202を有する画像処理ユニット105の実施例を線図的に示す。画像処理ユニット105は、入力コネクタ108と入力コネクタ208とを介して、その入力を受信する。カメラ116は、輝度値を表すピクセルを有する画像Iを取り込む。カメラ216は、奥行値を表すピクセルを有する奥行マップを取り込む。入力画像ILとIRとは、画像の視差変換によって作成される。これは、入力画像ILと入力画像IRとを実現するために使用される、奥行に依存したピクセルシフトが計算されることを意味する。この種の処理は、例えば、米国特許第5,929,859号に開示されている。この米国特許には、シフトによって発生する不要な穴または重複を防止出来ることが明記されている。画像処理ユニット105は、式4によって入力画像ILと入力画像IRとに基づいて、および／または、式5によって入力画像ILと入力画像Iとに基づいて、オフセット画像△Iを計算するように設計されているオフセット計算器102を有する。
【００２５】
図2Bは、レンダリング装置202と奥行推定ユニット204とを有する画像処理ユニット107の実施例を線図的に示す。この画像処理ユニット107は、入力コネクタ108を介して、その入力を受信する。カメラ116は、輝度値を表すピクセルを有する画像を取り込む。入力画像ILと入力画像IRは、画像Iの視差変換と、奥行推定ユニット204によって作成される奥行マップとによって作成される。奥行推定ユニット204は、例えば、論文「信頼に基づくブロック整合化を用いた運動による奥行(Depth from motion using confidence based block matching)」（P. WilinskiとK. van Overveld、画像信号と多次元信号の処理手順に関する研究会(Proceedings of Image and Multidimensional Signal Processing Workshop)、159〜162頁、Alpbach, Austria, 1998年）に記載されているように設計されている。画像処理ユニット107は、方程式4によって入力画像ILとIRとに基づいて、および／または、方程式5によって入力画像ILとIに基づいて、オフセット画像を計算するように設計されているオフセット計算器102を有する。
【００２６】
図3は、この明細書における画像表示機器300の実施例を線図的に示す。図3には、カメラ114〜118に接続されているマルチプレクサ309が示されている。カメラ114〜118は、画像IL, 画像I, 画像IRを各々取り込み、かつこの画像を、その入力コネクタ312〜316を介してこのマルチプレクサに提供する。このマルチプレクサ309は、取り込まれた画像を表すデータを符号化し、かつ、この符号化されたデータを転送するように設計されている。この符合化されたデータは、入力コネクタ310を介して画像表示機器300に提供される。画像表示機器300は、
- 符合化されたデータを受信し、かつ、このデータを復号化して画像ILと、画像Iと、画像IRとを提供するための受信手段308と、
- 図1Aとの関連で説明されている画像処理機器100と、
- 例えば、時間のマルチプレクシングによって、出力画像
Figure 0004098235
と出力画像
Figure 0004098235
とを本質的に別々に表示するように設計されているステレオスコピック表示デバイス306と、
を有する。この結果、
- 第一出力画像
Figure 0004098235
と第二出力画像
Figure 0004098235
とを左目と右目とで実質的に別々に知覚する第一観察者302には、ステレオスコピック画像が提供され、かつ、
- 第一出力画像
Figure 0004098235
と第二出力画像
Figure 0004098235
とを実質的に両方とも両目で知覚する第二観察者304には、モノスコピック画像が提供される。
ステレオスコピック画像を表示するための多くの表示技術が、知られている。時間-並列技術(time-parallel technique)を使用することによって、両方の出力画像が、1つまたは2つの画面に同時に表示される。例えば、両方の出力画像を補色によってフィルタリングし、かつ1つの画面上で混合させることが出来る。観察者は、投射フィルタに整合したフィルタを有する眼鏡をかける。他の例として、2つの画面を使用して、2つの別々に偏光された画像を表示させ、これらを対応する偏光眼鏡をによって見ることも出来る。時間-多重化技術の場合、左の画像と右の画像とが、2者択一的に1つの画面に表示される。一例として、1つの画像が、偶数番のスキャンラインに書き込まれ、かつ他の画像が、奇数番のスキャン線に書き込まれる。左目用の画像が表示されている際には、右目を塞ぐために、シャッタシステムが使用される。このシャッタシステムは、観察者がかける眼鏡への取り付けが可能である。これに代えて、制御可能な偏光子を有するシャッタを画面の前に配置し、かつ観察者が、偏光眼鏡を有するヘッドマウント式のデバイスを着用することも出来る。
【００２７】
上述した実施例は、本発明を制限するものではなく明示するのであり、かつ当業者が、添付の請求項の範囲内で別の実施例を設計することが可能であることは、留意すべきである。請求項において、括弧の間に配置されているいかなる引用符号も、請求項を制限するものと解釈すべきではない。「有する」という語は、請求項に示されていない要素またはステップの存在を除外するものではない。ある要素の前の「1つの」という語は、そのような要素が複数存在することを除外するものではない。本発明は、複数の別個の要素を有するハードウエアと、適切にプログラムされたコンピュータとによって、実現可能である。複数の手段を列挙しているユニットに関する請求項の場合、これらの手段の幾つかを、同一のハードウエア部材によって実施することも可能である。
【図面の簡単な説明】
【図１Ａ】 トリプルカメラに接続されている画像処理ユニットの実施例を線図的に示す。
【図１Ｂ】 ステレオカメラに接続されている画像処理ユニットの実施例を線図的に示す。
【図１Ｃ】 モノラルカメラに接続されている画像処理ユニットの実施例を線図的に示す。
【図２Ａ】 レンダリング装置を有する画像処理ユニットの実施例を線図的に示す。
【図２Ｂ】 奥行推定ユニットを有する画像処理ユニットの実施例を線図的に示す。
【図３】 本明細書における画像表示機器の実施例を線図的に示す。
【符号の説明】
100…画像処理ユニット
101…画像処理ユニット
102…オフセット計算器
103…画像処理ユニット
104…加算ユニット
105…画像処理ユニット
106…減算ユニット
107…画像処理ユニット
108…入力コネクタ
110…入力コネクタ
112…入力コネクタ
114…カメラ
116…カメラ
118…カメラ
202…レンダリングユニット
204…奥行推定ユニット
300…画像表示機器
302…第一観察者
304…第二観察者
306…ステレオスコピック表示デバイス
308…受信手段
309…マルチプレクサ
310…入力コネクタ
312…入力コネクタ
314…入力コネクタ
316…入力コネクタ

Claims (10)

  1. ステレオスコピック表示デバイスに表示される第一出力画像と第二出力画像とを、複数の入力画像に基づいて生成するための画像処理ユニットであって、
    - 前記第一出力画像と前記第二出力画像とを左目と右目とで実質的に別々に知覚する第一観察者には、ステレオスコピック画像を提供し、かつ、
    - 前記第一出力画像と前記第二出力画像とを実質的に両方とも両目で知覚する第二観察者には、モノスコピック画像を提供する、
    画像処理ユニットにおいて、
    - 前記入力画像の第一画像に基づいてオフセット画像を計算するように設計されているオフセット計算器と、
    - 前記入力画像の第二画像に前記オフセット画像を加算することによって、前記第一出力画像を計算するように設計されている加算ユニットと、
    - 前記入力画像の前記第二画像から前記オフセット画像を減算することによって、前記第二出力画像を計算するように設計されている減算ユニット と、
    を有することを特徴とする、画像処理ユニット。
  2. 前記オフセット計算器が、前記入力画像の前記第一画像から前記入力画像の第三画像を減算し、かつ、実質的に2に等しい定数で除算することによって、前記オフセット画像を計算するように設計されていることを特徴とする、請求項1に記載の画像処理ユニット。
  3. 前記オフセット計算器が、前記入力画像の前記第一画像から前記入力画像の前記第二画像を減算することによって、前記オフセット画像を計算するように設計されていることを特徴とする、請求項1に記載の画像処理ユニット。
  4. 前記オフセット計算器が、前記入力画像の前記第一画像を微分することによって、前記オフセット画像を計算するように設計されていることを特徴とする、請求項1に記載の画像処理ユニット。
  5. 取り込まれた画像と奥行マップとに基づいて、前記入力画像をレンダリングするように設計されているレンダリングユニットを更に有することを特徴とする、請求項1に記載の画像処理ユニット。
  6. 前記奥行マップが奥行カメラによって提供されることを特徴とする、請求項5に記載の画像処理ユニット。
  7. 前記取り込まれた画像に基づいて前記奥行マップを生成するように設計されている奥行推定ユニットを更に有することを特徴とする、請求項5に記載の画像処理ユニット。
  8. ステレオスコピック表示デバイスに表示される第一出力画像と第二出力画像とを、複数の入力画像に基づいて生成するための方法であって、
    - 前記第一出力画像と前記第二出力画像とを左目と右目とで実質的に別々に知覚する第一観察者には、ステレオスコピック画像を提供し、かつ、
    - 前記第一出力画像と前記第二出力画像とを実質的に両方とも両目で知覚する第二観察者には、モノスコピック画像を提供する方法において、
    - 前記入力画像の第一画像に基づいてオフセット画像を計算するステップと、
    - 前記入力画像の第二画像に前記オフセット画像を加算することによって、前記第一出力画像を計算するステップと、
    - 前記入力画像の前記第二画像から前記オフセット画像を減算することによって、前記第二出力画像を計算するステップと、
    を有することを特徴とする方法。
  9. 前記入力画像の前記第一画像から前記入力画像の前記第二画像を減算することによって、前記オフセット画像を計算することを特徴とする、請求項8に記載の方法。
  10. - ステレオスコピック表示デバイスに表示される第一出力画像と第二出力画像とを、複数の入力画像に基づいて生成するための画像処理ユニットであって、
    - 前記第一出力画像と前記第二出力画像とを左目と右目とで実質的に別々に知覚する第一観察者には、ステレオスコピック画像を提供し、かつ、
    - 前記第一出力画像と前記第二出力画像とを実質的に両方とも両目で知覚する第二観察者には、モノスコピック画像を提供する、
    画像処理ユニットと、
    - 前記ステレオスコピック表示デバイスと、
    を有する画像表示機器において、
    前記画像処理ユニットが、
    - 前記入力画像の第一画像に基づいてオフセット画像を計算するように設計されているオフセット計算器と、
    - 前記入力画像の第二画像に前記オフセット画像を加算することによって、前記第一出力画像を計算するように設計されている加算ユニットと、
    - 前記入力画像の前記第二画像から前記オフセット画像を減算することによって、前記第二出力画像を計算するように設計されている減算ユニットと、
    を有することを特徴とする、画像表示機器。
JP2003516228A 2001-07-23 2002-06-25 ステレオスコピック画像処理機器および方法 Expired - Fee Related JP4098235B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP01202818 2001-07-23
PCT/IB2002/002566 WO2003010976A1 (en) 2001-07-23 2002-06-25 Stereoscopic image processing apparatus and method

Publications (2)

Publication Number Publication Date
JP2004522382A JP2004522382A (ja) 2004-07-22
JP4098235B2 true JP4098235B2 (ja) 2008-06-11

Family

ID=8180690

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003516228A Expired - Fee Related JP4098235B2 (ja) 2001-07-23 2002-06-25 ステレオスコピック画像処理機器および方法

Country Status (9)

Country Link
US (1) US7085410B2 (ja)
EP (1) EP1413148B1 (ja)
JP (1) JP4098235B2 (ja)
KR (1) KR100912418B1 (ja)
CN (1) CN100366096C (ja)
AT (1) ATE447298T1 (ja)
DE (1) DE60234187D1 (ja)
ES (1) ES2332708T3 (ja)
WO (1) WO2003010976A1 (ja)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE382919T1 (de) * 2004-02-17 2008-01-15 Koninkl Philips Electronics Nv Erzeugen einer tiefenkarte
KR101454208B1 (ko) * 2007-12-28 2014-10-24 삼성전자주식회사 하프톤 영상 인코딩 및 디코딩 방법 및 장치
US20090252398A1 (en) * 2008-04-07 2009-10-08 Compucyte Corporation Method and System for Creating a Three-Dimensionally-Perceived Image of a Biological Sample
JP5347717B2 (ja) * 2008-08-06 2013-11-20 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP4636149B2 (ja) * 2008-09-09 2011-02-23 ソニー株式会社 画像データ解析装置、および画像データ解析方法、並びにプログラム
USRE45394E1 (en) 2008-10-20 2015-03-03 X6D Limited 3D glasses
USD603445S1 (en) 2009-03-13 2009-11-03 X6D Limited 3D glasses
USD624952S1 (en) 2008-10-20 2010-10-05 X6D Ltd. 3D glasses
USD666663S1 (en) 2008-10-20 2012-09-04 X6D Limited 3D glasses
US8542326B2 (en) 2008-11-17 2013-09-24 X6D Limited 3D shutter glasses for use with LCD displays
CA2684513A1 (en) 2008-11-17 2010-05-17 X6D Limited Improved performance 3d glasses
JP5532588B2 (ja) * 2008-11-18 2014-06-25 ソニー株式会社 画像表示装置および画像表示方法
USD646451S1 (en) 2009-03-30 2011-10-04 X6D Limited Cart for 3D glasses
USD650956S1 (en) 2009-05-13 2011-12-20 X6D Limited Cart for 3D glasses
USD672804S1 (en) 2009-05-13 2012-12-18 X6D Limited 3D glasses
JP5521913B2 (ja) 2009-10-28 2014-06-18 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP5794335B2 (ja) * 2009-10-28 2015-10-14 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
USD669522S1 (en) 2010-08-27 2012-10-23 X6D Limited 3D glasses
USD692941S1 (en) 2009-11-16 2013-11-05 X6D Limited 3D glasses
USD671590S1 (en) 2010-09-10 2012-11-27 X6D Limited 3D glasses
IT1397294B1 (it) * 2010-01-07 2013-01-04 3Dswitch S R L Dispositivo e metodo per il riconoscimento di occhiali per visione stereoscopica, e relativometodo di controllo della visualizzazione di un flusso video stereoscopico.
USD662965S1 (en) 2010-02-04 2012-07-03 X6D Limited 3D glasses
US8885890B2 (en) * 2010-05-07 2014-11-11 Microsoft Corporation Depth map confidence filtering
USD664183S1 (en) 2010-08-27 2012-07-24 X6D Limited 3D glasses
JP5454424B2 (ja) 2010-09-03 2014-03-26 ソニー株式会社 撮像方法
JP5831105B2 (ja) * 2011-09-30 2015-12-09 ソニー株式会社 撮像装置及び撮像方法
US9129436B2 (en) 2012-08-01 2015-09-08 Dreamworks Animation Llc Techniques for smoothing scripted stereo curves for stereoscopic computer animation
USD711959S1 (en) 2012-08-10 2014-08-26 X6D Limited Glasses for amblyopia treatment
US9532032B2 (en) * 2013-04-18 2016-12-27 Ellis Amalgamated, LLC Astigmatic depth from defocus imaging using intermediate images and a merit function map
TW201528775A (zh) 2014-01-02 2015-07-16 Ind Tech Res Inst 景深圖校正方法及系統
JP6615824B2 (ja) * 2016-09-23 2019-12-04 日本電信電話株式会社 画像生成装置、画像生成方法、およびプログラム
JP6759347B2 (ja) * 2016-09-23 2020-09-23 日本電信電話株式会社 画像生成装置、画像生成方法、およびプログラム
CN108520232B (zh) 2017-08-16 2020-07-24 威盛电子股份有限公司 立体环景影片产生方法及装置
TWI683280B (zh) * 2017-08-16 2020-01-21 威盛電子股份有限公司 立體環景影片產生方法及裝置
CA3086592A1 (en) 2017-08-30 2019-03-07 Innovations Mindtrick Inc. Viewer-adjusted stereoscopic image display
JP2023508342A (ja) * 2019-12-19 2023-03-02 エーワイイースリーディー・インコーポレイテッド 立体視画像を見せるための方法およびディスプレイシステム
WO2023042266A1 (ja) * 2021-09-14 2023-03-23 日本電信電話株式会社 映像処理装置、映像処理方法、及び映像処理プログラム
WO2024013850A1 (ja) * 2022-07-12 2024-01-18 日本電信電話株式会社 ステレオ映像生成装置、ステレオ映像生成方法、及びプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3712199A (en) * 1970-09-23 1973-01-23 Video West Inc Three-dimensional color photographic process, apparatus and product
US4761066A (en) * 1986-01-14 1988-08-02 Carter William J Stereoscopic optical system
CA1326082C (en) * 1989-09-06 1994-01-11 Peter D. Macdonald Full resolution stereoscopic display
US5258833A (en) * 1991-04-08 1993-11-02 Schenk Alan G Sterescopic television/video system
US6005607A (en) * 1995-06-29 1999-12-21 Matsushita Electric Industrial Co., Ltd. Stereoscopic computer graphics image generating apparatus and stereoscopic TV apparatus
US6111596A (en) 1995-12-29 2000-08-29 Lucent Technologies Inc. Gain and offset correction for efficient stereoscopic coding and improved display
JP3931392B2 (ja) * 1997-08-25 2007-06-13 ソニー株式会社 立体画像用ビデオ信号生成装置、立体画像用ビデオ信号送出装置および立体画像用ビデオ信号受信装置
US6055274A (en) 1997-12-30 2000-04-25 Intel Corporation Method and apparatus for compressing multi-view video
GB2336963A (en) * 1998-05-02 1999-11-03 Sharp Kk Controller for three dimensional display and method of reducing crosstalk
DE19843296A1 (de) * 1998-09-22 2000-04-13 Alf Holger Tschersich Vorrichtung zur Erzeugung dreidimensionaler Bilder
US6703988B1 (en) * 1999-07-08 2004-03-09 Fergason Patent Properties, Llc Monitor for showing high-resolution and three-dimensional images and method

Also Published As

Publication number Publication date
KR100912418B1 (ko) 2009-08-14
CN100366096C (zh) 2008-01-30
EP1413148A1 (en) 2004-04-28
KR20040017333A (ko) 2004-02-26
US20030020708A1 (en) 2003-01-30
US7085410B2 (en) 2006-08-01
ES2332708T3 (es) 2010-02-11
ATE447298T1 (de) 2009-11-15
EP1413148B1 (en) 2009-10-28
JP2004522382A (ja) 2004-07-22
DE60234187D1 (de) 2009-12-10
CN1476729A (zh) 2004-02-18
WO2003010976A1 (en) 2003-02-06

Similar Documents

Publication Publication Date Title
JP4098235B2 (ja) ステレオスコピック画像処理機器および方法
JP5347717B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US7092003B1 (en) 3-D imaging arrangements
RU2519433C2 (ru) Способ и система для обработки входного трехмерного видеосигнала
TWI508519B (zh) An image processing apparatus, a program, an image processing method, a recording method, and a recording medium
EP2259601B1 (en) Image processing method, image processing device, and recording medium
US6956964B2 (en) Apparatus for producing real-time anaglyphs
US20110199465A1 (en) Method of processing parallax information comprised in a signal
JP2007110360A (ja) 立体画像処理装置およびプログラム
Bosc et al. A quality assessment protocol for free-viewpoint video sequences synthesized from decompressed depth data
JP5396877B2 (ja) 画像処理装置、プログラム、画像処理方法、および記録方法
JP2012120057A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP4214529B2 (ja) 奥行き信号生成装置、奥行き信号生成プログラム、擬似立体画像生成装置、及び擬似立体画像生成プログラム
Ideses et al. New methods to produce high quality color anaglyphs for 3-D visualization
US8400493B2 (en) Virtual stereoscopic camera
JP2004102526A (ja) 立体画像表示装置、表示処理方法及び処理プログラム
CN113014902B (zh) 3d-2d同步显示方法及系统
CN109151434B (zh) 3d显示控制方法、系统、存储介质及3d显示系统
Smit et al. Three Extensions to Subtractive Crosstalk Reduction.
Siegel Just enough reality: A kinder gentler approach to stereo
KR100939080B1 (ko) 합성 영상 생성 방법 및 장치, 합성 영상을 이용한 디스플레이 방법 및 장치
JP2006320002A (ja) ３次元映像情報の伝送方法
CN115190284A (zh) 一种图像处理方法
JP5569635B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
Chen et al. Global quality of assessment and optimization for the backward-compatible stereoscopic display system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050609

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20060710

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080312

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110321

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120321

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130321

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140321

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees