JP4424299B2 - 画像処理方法、画像処理装置およびこれを用いた画像表示装置 - Google Patents
画像処理方法、画像処理装置およびこれを用いた画像表示装置 Download PDFInfo
- Publication number
- JP4424299B2 JP4424299B2 JP2005319728A JP2005319728A JP4424299B2 JP 4424299 B2 JP4424299 B2 JP 4424299B2 JP 2005319728 A JP2005319728 A JP 2005319728A JP 2005319728 A JP2005319728 A JP 2005319728A JP 4424299 B2 JP4424299 B2 JP 4424299B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- distance
- pixel
- image processing
- imagers
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Description
また視差を抽出して利用する技術もあるが、それも左画像と右画像を観測者の右目・左目各々に結像させるディスプレイが必要とされている。
例えば、眼鏡を用いた例として、左眼用と右眼用の画像データを交互に表示装置に出力し、観測者は画像データの切り替えタイミングに同期させてシャッターを切り替えることができる眼鏡を介して画像データを再生することにより、立体画像を観測できる。
特許文献1には、眼鏡を用いずに立体画像を再生する方法とその装置が開示されている。視差に基く立体画像表示装置が開示されていて、左眼用画像と右眼用画像をドット毎に短冊状に交互に並べて立体画像データを生成し、この2視点の画像データをパララックスバリア方式又はレンチキュラ方式により立体画像を表示する。
このパララックス方式において、表示装置はスリットとディスプレイで構成され、スリットがディスプレイの前に設置されている。観測者はディスプレイに表示された立体画像データをスリットを介して観察する。このとき、観測者の左眼は左眼用の画像データのみを観測し、右眼は右眼用の画像データのみを観測することにより、立体画像データを、立体感を感じた状態で観測することができる。
このように、立体画像を表示するには、表示装置にスリットなどを特別に設ける必要がある。
また特許文献2には、携帯情報端末に3D(3次元)画像の表示機能を備えた例が開示されている。3D表示可能な液晶モジュールは、バックライトと偏光角の切り替え可能な切替用液晶素子と、スリット状にパターン化した位相差板とTFT液晶で構成されている。3D画像の表示は、切替液晶素子の偏光角を切り替えることによりパターン化位相板との位相関係を変化して、左目用画像に左画素を透過し右目に投影されないように遮断する。また、右目用画像に右画素を透過し左目に投影されないように遮断する。すると、右目には右目用画像のみが映し出され、左目には左目用画像のみが映し出され、観察者の右目と左目には異なる映像が与えられる。その結果、観察者は奥行きのある3次元立体画像を知覚できる。
この場合、表示装置に位相差板と偏光角を切り替え可能とする切替液晶素子などの特別な装置が必要である。
この様なイメージャと画像処理装置を備えたLSIを搭載して、画像データと共に、視差・距離情報も記録し、擬似立体画像を形成するカムコーダ(ソニーの登録商標)やディジタルスティルカメラを実現することである。
本発明の画像処理装置は、被写体までの距離に応じた視差の異なる画像データを抽出する一対のイメージャと、前記一対のイメージャ間で各々対応する画素もしくはそれに準ずる画像ブロックの、前記一対のイメージャ間での位置ズレから求め、当該位置ズレした画像の画像データのそれぞれに前記一対のイメージャから被写体の距離に応じた距離係数を付与する演算回路と、視差の異なる画像データを、前記付与された距離係数に基いて、前記画素が前記イメージャから読み出された方向と同じ方向に交互にシフトして画像処理する画像処理回路とを有し、前記一対のイメージャと前記演算回路は同一の集積回路上に形成されたことを特徴とする。
本発明の画像表示装置は、被写体までの距離に応じた視差の異なる画像データを抽出する一対のイメージャと、前記一対のイメージャから導出された視差の異なる画像データが供給され、前記一対のイメージャ間で各々対応する画素もしくはそれに準ずる画像ブロックの、前記一対のイメージャ間での位置ズレに応じて視差を抽出し、当該視差を有するそれぞれの画素データに対して前記一対のイメージャから被写体までの距離に応じた距離係数を付与する演算回路と、前記付与された距離係数に対応する前記画素もしくはそれに準ずる画像ブロックの画像データを、前記付与された距離係数に基いて、前記画素が前記イメージャから読み出された方向と同じ方向に交互にシフトして擬似立体画像を形成する画像処理回路と、前記画像処理回路から出力された擬似立体画像を表示する表示装置とを有する。
この様なイメージャLSIを搭載すれば、画像データと共に、視差・距離情報も記録できるカムコーダ(ソニーの登録商標)やディジタルスティルカメラが実現できる。
また本発明による画像処理方法では、視差に基く距離係数を用いて、単眼でも立体的な擬似効果を得るので、視野角の制限は無くなり、両眼立体視の様な特別なディスプレイを必要としない。
よって、多人数での単一ディスプレイの視聴、両眼の視力が揃っていない視聴者などに対しても、擬似的ではあるが画像表示の立体効果を提供できる。
この様な画像処理方法を用いれば、家庭で撮影したプライベートな映像や映画などの娯楽コンテンツが立体的に強調され、またゲーム画像での立体的臨場感・スピード感が強調される。
レンズ11,13は、レンズ位置から第1の距離にある被写体15と第2の距離にある被写体16の画像(光信号)をイメージャ(センサ)LSI12,14の撮像面上に投写する。
イメージャLSI12,14は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などからなり、多画素で構成され、主眼用レンズ11、副眼用レンズ13を透過した画像光信号を電気信号に変換する。
図1(B)にイメージャ12,14が例えばCMOSで構成された例を示す。垂直方向にRGB画素が繰り返し配列されて1列を形成し、この列方向の画素列21は行方向に垂直レジスタ22と交互に繰り返し、所望数設けられ、いわゆる画素がマトリックス状に配列される。画素に入力された光信号は電気信号に変換され、タイミングジェネレータから送られてくるクロックに同期して垂直レジスタ22に転送される。
垂直レジスタ22からの出力信号はAD(アナログ・ディジタル)変換器でディジタル信号に変換され、水平レジスタ23に供給され、所定のタイミングで出力される。
イメージャLSI(12,14)から夫々出力されたディジタル信号が、主眼画像データと副眼画像データとして不図示の演算回路に供給され、そこで演算処理されて擬似立体画像が生成される。この演算処理方法と装置については後述する。
本発明では、"主眼"イメージャLSI12からのシリアルな画像信号と、"副眼"イメージャLSI14からの同信号を比較して視差を抽出し、後述の画像処理を行う。
尚、本図では主眼(イメージャ)を左側、副眼(イメージャ)を右側として、以下説明を続けるが、この左右の関係は逆でも構わない。
図2(A)に示す視差抽出の撮像システム50は、レンズ51,55の位置に対して前方に第1の被写体58があり、また後方に第2の被写体59がある。これらの被写体がレンズ51,55を介して撮像される。レンズ51に入力された被写体58,59の画像は反射板(ミラー)52,53で反射して一体化されたイメージャLSI54内の主眼イメージャ54Aに入力される。また、レンズ55を介して入力された被写体58,59の画像は反射板56,57で反射し、(イメージャ)LSI54内の副眼イメージャ54Bに入力される。
すなわち、一対のイメージャを1個のLSI内に構成するために、主眼と副眼イメージャ54(54A,54B)が離れていても、反射板52,53,56,57を利用して、チップサイズの小さいLSI内の受光領域に被写体を投写できるように構成している。
主眼、副眼イメージャ(54A,54B)は水平方向に画素行61A,61A',・・・,61C,61C'が配置され、それぞれの画素行に対応して水平レジスタ62A,62A',・・・,62C,62C'が備えられている。
主眼用水平レジスタ62Aと副眼用水平レジスタ62Bの出力は並列演算回路63Aに接続され、主眼用水平レジスタ62Bと副眼用水平レジスタ62B'の出力は並列演算回路63Bに接続され、以下同様に主眼用水平レジスタ62Cと副眼用水平レジスタ62C'の出力は並列演算回路63Cに接続されている。
並列演算回路63A〜63Cの出力は垂直レジスタ64に接続され、並列演算回路からの演算結果を順次出力する。ここでは画素行とそれに対応するする水平レジスタは6個しか示していないが、実際は必要な解像度が得られる個数の行が設けられている。
画素行は、例えばR,G,Bと繰り返し配置され、各R,G,B画素がそれに対応する水平レジスタに接続される。これらの画素は、行選択トランジスタ、リセット用トランジスタ、アンプ用トランジスタ及びフォトダイオードで構成されている。
各画素を駆動し、各画素(の素子)からの出力信号を取り出すため、ノイズキャンセラ、信号読み出し用トランジスタ、水平レジスタ及びAD(アナログ・ディジタル)変換器が配置されている。そして、AD変換器の出力は水平レジスタに接続される。
垂直走査回路からは垂直走査パルスが順次出力され、行選択線に供給されて、垂直方向の画素行が順次選択される。
ADC回路から出力されたディジタル画素データ(信号)が水平レジスタ62A,62A'〜62C,62C'へ出力される。この水平レジスタ62A,62A'〜62C,62C'に供給された画素データは順次、並列演算回路63A〜63Cに出力され、視差による画素ズレの検出、その他の演算処理を行う。
水平方向に視差を抽出し、その後、垂直レジスタでデータをシリアル出力する方式の方が、前述した図1の視差抽出の撮像システム10の構成よりも速い画像処理が可能であり、高精細・高レイトな動画に適している。
この様な、主眼・副眼イメージャ、並列比較演算回路を一体化したLSI構成も、以下に述べる画像処理と並んでシステム構成上、また製造上、利点がある。
尚、視差を抽出するためのレンズの間隔は、一体化された主眼・副眼イメージャの(LSI内での)間隔よりも通常大きく取らねばならず、その為に、両者の間隔を整合させる光学系が明らかに望まれる。
以後、水平レジスタ毎に並列比較する構成で説明するが、撮像系は前記図1の構成でもよく、図2の構成に限定されない。
ここで、寸法設定は図3、図4に示す値に限定されないが、説明の都合上例えば図3(A)の通りに設定する。主眼レンズ51と副眼レンズ55との間隔を4d、レンズ対51及び55とイメージャ対74及び75との距離を5d、主眼レンズ51に対する第1の被写体71との距離を10d、同第2の被写体72との距離を20d、同第3の被写体73との距離を40dとする。
さらに第1の被写体71は2d四方に「甲乙丙丁」と記載されたプレートである。第2の被写体72は8d四方に「あ〜た」と平仮名記載されたプレートとし、第3の被写体73は24d四方に「ア〜ヤ」と片仮名記載されたプレートとする。ここで、記号「d」の値は任意(の距離)単位であり、特定の数値に限定されない。
各々4d×3dのサイズのイメージャ74,75に対し、各被写体はレンズ51,55を介して反転して結像するので、主眼と副眼イメージャ(74,75)の撮像は図3(B),図3(C)の様になる。ただし、文字は180度回転して見易いように表示している。
図3(B)の座標認識図の主眼イメージャ74では、第3の被写体73が座標ブロックA2〜A7に「ヤ〜マ」と撮像され、以下同様に座標ブロックF2〜F7に「カ〜ア」が撮像されている。またこれと重複して第2の被写体72が座標ブロックB3〜B6に「た〜す」が、以下同様に座標ブロックE3〜E6に「え〜あ」が撮像されている。さらに第1の被写体71が座標ブロックC4,C5に「丁丙」、D4,D5に「乙甲」と撮像されている。このように、主眼イメージャ74には、図3(A)のプレートに表示された文字の配列に対して180度回転した画像が表示されている。しかし、主眼イメージャ74は被写体の距離によるズレは生じない。
図3(C)に副眼イメージャ75に撮像された文字列を示す。この横座標ブロックは+1オフセットされている。副眼イメージャ75から見た第3の被写体73が座標ブロックA3〜A8に「ヤ〜マ」と撮像され、以下同様にF3〜F8に「カ〜ア」と撮像されている。
またこれと重複して第2の被写体72が座標ブロックB5〜B8に「た〜す」が、E5〜E8に「え〜あ」が撮像されている。第1の被写体71は、座標ブロックC8,C9に「丁丙」、D8,D9に「乙甲」と撮像されている。このズレ量と画像データは、主眼イメージャ74においては、レンズ51による180度の画像回転のみであるが、副眼イメージャ75においては、さらに横座標ブロックに+1オフセットされているため、視差による画像ズレが加わり、図3(B)の各プレートの文字位置に対して更に位置が異なっている(図3(C))。
尚、上記の座標ブロック単位は極力小さい方が視差認識精度は上がるので、実際には該座標ブロックは画素単位が好ましい。
この平面図において、主眼イメージャ74について、レンズ51を介して主眼イメージャ74に被写体が結像する作像ラインを実線で示し、副眼イメージャ75については、破線で示す。
主眼イメージャ74の中心線がレンズ51のセンターを介して第1の被写体71の中心、第2の被写体72、第3の被写体73の中心に位置するように設定されている。これに対して、副眼イメージャ75は主眼イメージャ74から4dの距離だけ左右にズレているので、副眼イメージャ75またはレンズ55の中心ラインに対して、第1、第2と第3の被写体71,72,73の中心はズレてくる。特に、被写体がレンズ55の位置に近くなるに伴い中心ラインのズレは大きくなっている。
すなわち、この平面図からも解るように、主眼イメージャ74に対して、副眼イメージャ75で観察する第1の被写体71が大きく左にズレている。また、副眼イメージャ75またはレンズ55の中心ラインに対して、第1の被写体71のズレが第3の被写体73と比較して大きいことも解り、そのズレが距離に関係することが解る。
前記図3の原理的な説明に対し、図5(A)は、d=12mmとし、主眼レンズ51から距離240mmのミニカー(前景)71と、距離480mmの本2冊(Book A,Book B;図では斜線で表示)と衝立(背景)73を撮影した例である。
横1〜8×縦A〜Fの座標ブロックにおいて、ミニカーの撮像は実線枠内、背景は破線枠内となる。
図5(B)に示す主眼イメージャ74において、ミニカー71の画像は座標ブロックA3〜A7とB5,B6で表示される領域である。これに対して、副眼イメージャ75において、ミニカー71の画像は、A5〜A9とB7,B8の領域であり、主眼イメージャ74の画像に対して+1プリオフセットを含めて右側に2シフトしている。このように、ミニカーの主眼・副眼イメージャ(74,75)での水平方向への座標ブロックのズレが認められる。またこのとき、本2冊の背景73は副眼イメージャ75では180度回転した座標で右方向に若干ズレ、プリオフセット+1を考慮しても約1ブロックで、ミニカー71のズレに対して小さい。
図6(B)に示す主眼イメージャ74Aにおいて、ミニカー71の画像は座標ブロックA2〜A6とB4,B5で表示される領域である。これに対して、副眼イメージャ75Aにおいて、ミニカー71の画像は、A4〜A8とB6,B7の領域であり、図6(B)の画像に対して右に2座標ブロックシフトしている。またこのとき、本2冊の背景73は約1ブロック変化している。
図7(B)に示す主眼イメージャ74Bにおいて、ミニカー71の画像は座標ブロックA1〜A4とB2〜B4で表示される領域である。一方、図7(C)に示す副眼イメージャ75Bにおいて、ミニカー71の画像は、A5〜A8とB6〜B8の領域に存在し、主眼イメージャ74Bの座標ブロックA1〜A4とB2〜B4に対して右に4ブロックシフトしている。この図7(B),図7(C)を図5(A),図5(B),図6(B),図6(C)と比較すると、ミニカー71(前景)がレンズ51,55へ接近するに伴いミニカーの主眼・副眼イメージャ(74A,75A,74B,75B)での水平方向への座標ブロックズレの増大が認められる。
主眼イメージャ74Cにおいて、主眼イメージャ74Cの座標ブロックA2〜A7の「ヤ,・・・,マ」のデータを水平レジスタ351Aに転送する。B2〜B7の「ホ,た,・・・,す,ノ」のデータを水平レジスタ351Bに転送する。以後同様に、F2〜F7の「カ,・・・,ア」のデータを水平レジスタ351Fに転送する。
また副眼イメージャ75Cにおいても同様に、各座標データをそれぞれ対応する水平レジスタ352A〜352Fに転送する。
比較回路(視差検出)353A〜353Fは、主眼イメージャ74Cと副眼イメージャ75Cの画像データが、水平レジスタ毎に並列に入力され、ブロック単位で視差が検出される。
例えば、主眼イメージャ74CのC2「ネ」は副眼イメージャ75CではC3にあり、ブロックズレ「I」として視差が検出される。主眼イメージャ74CのC3「し」は副眼イメージャ75CではC5にあり、ブロックズレ「II」として視差が検出される。主眼イメージャ74CのC4「丁」は副眼イメージャ75CではC8にあり、ブロックズレ「IV」として視差が検出される。主眼イメージャ74CのC5「丙」は副眼イメージャ75CではC9にあり、ブロックズレ「IV」として視差が検出される。主眼イメージャ74CのC6「け」は副眼イメージャ75CではC10(不図示)にあり、ブロックズレ「II」として視差が検出される。主眼イメージャ74CのC7「テ」は副眼イメージャ75CではC11(不図示)にあり、ブロックズレ「I」として視差が検出される。
他の水平レジスタ(A1〜A8,B1〜B8,D1〜D8,E1〜E8,F1〜F8)についても同様に、主眼イメージャ74Cとそれに対応する副眼イメージャ75Cの水平方向の画像データを夫々比較し、ブロックズレを検出する。
またこれ以外に、比較回路(視差検出)353A〜353Fで検出された「I」,「II」,「IV」は、被写体の距離に逆比例しており、そのまま視差の係数として主眼イメージャ74Cの各ブロックに付与しても良く、あるいは変換して、距離に正比例した係数に規格化し直して各ブロックに付与しても良い。
図中では、「I」,「II」,「IV」をそのまま各ブロックに付与し、垂直レジスタを経て、視差・距離係数の付与されたシリアルな画像信号として出力される。
レジスタ356A〜356Fでは、主眼イメージャ74Cの画像データとその画像データに対する副眼イメージャ75Cの画像データとの位置ズレの関係を示す視差・距離係数を各レジスタの下に便宜的に表示している。実際は各レジスタに対応するメモリにこのブロック(位置)ズレの値を記憶している。またこの記憶方法と手段はこれに限定するものではない。
レジスタ356Aのレジスタ2に「ヤ」が、3に「モ」が、・・・、7に「マ」が記憶され、夫々の画像データに対応してブロックズレのデータ(係数)が「I」,「I」,・・・,「I」と記憶される。
これを繰り返し、レジスタ356Cのレジスタ2に「ネ」が、レジスタ3に「し」が、レジスタ4に「丁」が、レジスタ5に「丙」が、レジスタ6に「け」が、そしてレジスタ7に「マ」が記憶され、夫々に対応してブロックズレのデータが「I」,「II」,「IV」,「IV」,「II」,「I」と記憶される。これを最後まで繰り返す。
図8においては画素数が少ない例であり、例えば、レジスタ356Cのレジスタ6,7と356Dのレジスタ6,7に対応する副眼イメージャ75CのレジスタC10,11、レジスタC10,11が存在しないので、Cレジスタの画像データ「け」,「テ」と、Dレジスタの「お」と「ス」に対応する係数「II」と「I」は補完している。
各レジスタ356A〜356Fのデータは垂直レジスタ357に供給され、レジスタ361〜366にシリアル転送されて、ディスプレイ、記憶装置、ネットワークなどに出力される。
主眼イメージャ74Dの画像データに関する座標ブロックA1〜A8には、本2冊と背景のデータとミニカーのデータが存在し、A1,A2は本(と背景)の画像データ、A3〜A7はミニカーの画像データが、またA8は本の一部と衝立の画像データが撮像される。B1〜B4は衝立と本の画像データ、B5,B6はミニカーの画像データが、またB7,B8は衝立と本の画像データが夫々撮像される。以後、主眼イメージャ(74D)用水平レジスタには全て本(と衝立)の画像データが撮像されている。
しかしミニカーの移動はオフセットを除くと1ブロック、オフセットを考慮すると2ブロック移動している。
座標ブロックA2〜A4は本(と衝立)の画像データが、A5〜A9はミニカーの画像データが撮像される。B2〜B6は衝立と本の画像データが、B7,B8はミニカーの画像データが、B9は衝立と本の画像データが、またC2〜C9,D2〜D9,E2〜E9とF2〜F9は全て本(と衝立)の画像データがそれぞれ撮像される。
これらの主眼と副眼イメージャ(74D,75D)のそれぞれに対応する水平レジスタ351A,352Aから画像データが比較回路(視差検出)353A〜353Fに入力され、画像データのズレが検出される。このズレに対する視差規格係数化回路354A〜354Fと視差・距離係数付与回路355A〜355Fで規格化した後、その規格化した値に対して係数を付与する。この場合は、本2冊と衝立(背景)の画像データに対して「I」の係数を、ミニカーの画像データに対しては「II」の係数が付与される。レジスタ356A〜356Fには主眼イメージャ74Dの画像データが記憶され、またこれに対応して係数が記憶装置などに記憶される。
そして、これらの画像データと係数(データ)がディスプレイ、記憶装置、ネットワークに出力される。
ミニカーが移動して、主眼イメージャ74Eでは画像が図9に示すミニカーの位置に対して、横方向に左へ1ブロックシフトしている。副眼イメージャ75Eでは画像が主眼イメージャ74Eの位置に対して右へ1ブロックシフトしている。この場合、ミニカーは水平方向に移動して、レンズからの距離の変化は少ないので、主眼、副眼イメージャ(74E,75E)の視差による変化も少なく、図9と同様係数を「II」とする。また本2冊と衝立(背景)のレンズに対する距離の変化はなく、係数は「I」としている。
その結果、レジスタ356Aではレジスタ1,7,8の画像データに対して係数「I」が記憶装置に記憶され、レジスタ2〜6の画像データに対して係数「II」が記憶装置に記憶される。レジスタ1〜3,6〜8の画像データに対して係数「II」が、さらにそれ以外のレジスタ(356C〜356F)の画像データに対しては全て係数「I」が記憶装置に記憶される。
これらのレジスタの画像データとそれに対応する係数は次段のレジスタ361E〜366Eに出力され、その後ディスプレイ、記憶装置やネットワークに出力される。
主眼イメージャ74Fの座標ブロックA1〜A4にはミニカーの画像データが撮像され、A5〜A8は本(または背景)の画像データが撮像される。座標ブロックB1とB5〜B8は本と衝立の画像データが、B2〜B4はミニカーの画像データが撮像され、それ以外の座標ブロックは全て本と衝立の画像データが撮像される。
一方、副眼イメージャ75Fの座標ブロックA2〜A4、A9は本(または衝立)の画像データが、A5〜A8はミニカーの画像データが撮像される。座標ブロックB1〜B5、B9は本と衝立の画像データが、B6〜B8はミニカーの画像データが撮像され、それ以外の座標ブロックC2〜F9は本と衝立の画像データが撮像される。
その結果レジスタ356Aのレジスタ1〜4の画像データに対して係数「IV」が、レジスタ5〜8の画像データに対して係数「I」が記憶装置に記憶される。レジスタ356Bのレジスタ1,5〜8の画像データに対して係数「I」が、レジスタ2〜4の画像データに対して係数「IV」のデータが記憶装置に記憶される。以後レジスタ356Cのレジスタ1〜8,・・・,レジスタ356Fのレジスタ1〜8の画像データ全てに対して係数「I」のデータが記憶装置に記憶される。
そして、これらの画像データと係数(データ)がディスプレイ、記憶装置、ネットワークに出力される。
この場合、両眼立体視の様な特別なディスプレイを必要とせず、通常のディスプレイで当該の擬似効果が得られる。再生画像データに付与されている係数「I」,「II」,「IV」は、逆に距離比4:2:1を示している。
ここで距離に比して座標ブロックの画像を、同一水平座標のブロック(集団)毎に、交互に左右にシフトさせる画像処理を行う。両眼で前景にフォーカスすると、背景は遠いほど2重に離れて見える効果を、単眼の画像上で再現する。
図12(A)に再生画像データを示す。この再生画像データには係数を付けている。例えばアI,イI,・・・,ヤIと片仮名(データ)に係数「I」を付け、あII,いII,・・・,たIIと平仮名(データ)には係数「II」を付け、更に、甲IV,乙IV,丙IV,丁IVと甲乙丙丁(データ)の漢字には係数「IV」を付けている。各データに設けられた係数は視差に基いて得られた値であり、この値を用いて擬似立体画像を形成する。
例えば、図12(A)の第1行で係数「I」の付与された距離比4の「ア〜カ」画像を、左へ1座標ブロックシフトさせる。第2行で係数「I」の付与された「キ,シ」を右へ1座標ブロック、係数「II」の「あ〜え」を右へ1/2座標ブロックシフトさせる。
第3行で係数「I」の付与された「ス,ツ」を左へ1座標ブロック、係数「II」の「お,く」を左へ1/2座標ブロック、係数「IV」の「甲,乙」を左へ0座標ブロックシフトさせる。
第4〜6行も同様にして、係数に応じて、行毎に左又は右方向に所定ブロックシフトする。この1連の動作を例えば1フレームで行うことにより、単眼でも立体的な擬似効果を生む画像処理が為される。その結果を図12(B)に示す。
この例では、視差の小さい係数「I」の画像データを大きくシフトし、視差の大きい係数「IV」の画像データのシフトを小さく設定している。これとは逆に、係数「I」の画像データのシフトを小さく、係数「IV」の画像データのシフトを大きくしても良い。
更に図12(C)に示すように、図12(B)に示すシフトの左右方向を逆にして、上記"正相"に対して"逆相"の処理画像を得られる。この正相・逆相を動画フレーム毎に交互に出力すると、当該擬似効果が一層増す。これらに加えて、視差・距離係数に応じて輝度・コントラストを調整して、更に当該擬似効果を増すこともできる。
但し、この3Dエフェクトの画像例は図9〜11に示した8×6の座標ブロック単位よりも更に細かく、係数付与と画像処理が為されている。
例えば、8×6の座標ブロックにて「I」,「II」,「IV」の視差・距離係数が付与されるという説明に対し、実際に、2000×1500=3M(メガ)画素のイメージャでは、座標ブロックズレ「I」,「II」,「IV」は画素ズレ250/500/1000に対応し、よって画素単位ならば“250”,“500”,“1000”の係数が付与され、そこから画素単位の画像処理が為される。
その結果を、図13(A)〜図13(C)にエフェクト前とエフェクト後の模式化した画像を示す。このように、画像データに対応する係数によって画像の後景がラインごとに移動すると、前景のミニカーが立体的に見える。この画像は、普通のディスプレイで表示でき、特殊のディスプレイを用いる必要は無い。また、画像データを画像処理回路で演算処理して擬似立体画像データを生成し、その処理結果を普通のディスプレイ上に表示するので、複眼,単眼のいずれでも擬似的に立体画像を観察できる。
尚、図9〜11の説明では、付与された係数に基き、前景を固定して後景(背景)を左右にシフトして擬似3Dエフェクトとしているが、逆に、後景を固定して前景を距離に逆に比して左右にシフトするエフェクトもある。両眼で後景にフォーカスすると、前景は近いほど2重に離れて見える効果を、単眼の画像上で再現する。
前記の様な効果の他に、近距離の画像をズームイン(Zoom In)、遠距離の画像をズームアウト(Zoom Out)して、近距離の画像を際立たせてズームアップ(Zoom Up)する効果、又、その逆のズームダウン(Zoom Down)する効果、更に、特定の付与係数の画素(像)、即ち特定の距離に位置する被写体の画像を全体画像から切り出して、クロマキーよりも簡便に画像処理を行うことができる。
図14(A)の再生画像には、係数が付与されているので、例えば係数「IV」に対応する画像データを取り出し拡大する。一方、係数「I」,「II」に対応する画像データは処理せず、そのままにしておく。その結果得られた再生画像を図14(B)に示す。「甲乙丙丁」の画像は拡大され、それ以外の平仮名と片仮名の画像は元の大きさのままである。このようにしてズームインした画像が得られる。
また図14(C)において、図14(A)に示す再生画像データから例えば係数「IV」の付与されたデータのみを抜き出し、それ以外の係数「I」,「II」に対応するデータを消去してその結果得られた画像を示す。係数「IV」の漢字「甲乙丙丁」の画像データのみを抜き出した画像を表示している。このように、被写体の画像データに係数を付与することにより、任意被写体を切り出した画像を得ることもできる。
図15(A)〜(C)は、ミニカーの画像データに対応する係数を用いてズームインし、かつこのズームインした画像を切り出した例である。このように、画像データに視差により得られた係数が付与されていると、その係数を用いて画像処理できるので、従来のクロマキー処理と異なり、撮影後に表示画像の一分領域の画像抜き取りや画像合成などの処理が容易にできる。
この様なイメージャLSIを搭載すれば、画像データと共に、視差・距離情報も記録できる、カムコーダ(ソニーの登録商標)やディジタルスティルカメラが実現できる。
又、本発明による画像処理方法では、視差に基く距離係数を用いて、単眼でも立体的な擬似効果を得るので、両眼立体視の様な特別なディスプレイを必要とせず、その際の視野角の制限が生じない。
よって、多人数での単一ディスプレイの視聴ができ、また両眼の視力が揃っていない場合でも、擬似的な立体画像を見ることができる。
この様な画像処理方法、画像処理装置およびこれを用いた画像表示装置は、家庭で撮影したプライベートな映像や、映画などの娯楽コンテンツの立体感を強調でき、またゲーム画像での立体的臨場感・スピード感を強調することができる。
Claims (10)
- 一対のイメージャによる被写体の距離に応じた視差の抽出を、前記一対のイメージャ間で各々対応する画素もしくはそれに準ずる画像ブロックの、前記一対のイメージャ間での位置ズレから求め、当該位置ズレした画像の画像データのそれぞれに前記一対のイメージャから被写体の距離に応じた距離係数を付与し、当該付与された距離係数に対応する前記画素もしくはそれに準ずる画像ブロックの画像データを、前記付与された距離係数に基いて、前記画素が前記イメージャから読み出された方向と同じ方向に交互にシフトして画像処理する
画像処理方法。 - 前記画像処理方法は、付与された距離係数に基づき、距離が遠いと認識される画素もしくはそれに準ずる画像ブロックほど、同一水平座標の画素もしくは画素ブロック毎に、距離に比して交互に左右にシフトさせて、擬似的に立体画像が形成される
請求項1記載の画像処理方法。 - 前記画像処理方法は、付与された距離係数に基づき、距離が近いと認識される画素もしくはそれに準ずる画像ブロックほど、同一水平座標の画素もしくは画素ブロック毎に、距離の逆数に応じて交互に左右にシフトさせて、擬似的に立体画像が形成される
請求項1記載の画像処理方法。 - 被写体までの距離に応じた視差の異なる画像データを抽出する一対のイメージャと、
前記一対のイメージャ間で各々対応する画素もしくはそれに準ずる画像ブロックの、前記一対のイメージャ間での位置ズレから求め、当該位置ズレした画像の画像データのそれぞれに前記一対のイメージャから被写体の距離に応じた距離係数を付与する演算回路と、
視差の異なる画像データを、前記付与された距離係数に基いて、前記画素が前記イメージャから読み出された方向と同じ方向に交互にシフトして画像処理する画像処理回路と
を有し、
前記一対のイメージャと前記演算回路は同一の集積回路上に形成された
画像処理装置。 - 前記画像処理回路は、付与された距離係数に基づき、距離が遠いと認識される画素もしくはそれに準ずる画像ブロックほど、同一水平座標の画素もしくは画素ブロック毎に、距離に比して交互に左右にシフトさせて、擬似的に立体画像を形成する
請求項4記載の画像処理装置。 - 前記画像処理回路は、付与された距離係数に基づき、距離が近いと認識される画素もしくはそれに準ずる画像ブロックほど、同一水平座標の画素もしくは画素ブロック毎に、距離の逆数に応じて交互に左右にシフトさせて、擬似的に立体画像を形成する
請求項4記載の画像処理装置。 - 被写体までの距離に応じた視差の異なる画像データを抽出する一対のイメージャと、
前記一対のイメージャから導出された視差の異なる画像データが供給され、前記一対のイメージャ間で各々対応する画素もしくはそれに準ずる画像ブロックの、前記一対のイメ
ージャ間での位置ズレに応じて視差を抽出し、当該視差を有するそれぞれの画素データに対して前記一対のイメージャから被写体までの距離に応じた距離係数を付与する演算回路と、
前記付与された距離係数に対応する前記画素もしくはそれに準ずる画像ブロックの画像データを、前記付与された距離係数に基いて、前記画素が前記イメージャから読み出された方向と同じ方向に交互にシフトして擬似立体画像を形成する画像処理回路と、
前記画像処理回路から出力された擬似立体画像を表示する表示装置と
を有する画像表示装置。 - 前記一対のイメージャと演算回路は同一の集積回路上に形成された
請求項7記載の画像表示装置。 - 前記画像処理回路は、付与された前記距離係数に基づき、距離が遠いと認識される画素もしくはそれに準ずる画像ブロックほど、同一水平座標の画素もしくは画素ブロック毎に、距離に比して交互に左右にシフトさせて、ディスプレイで擬似的に立体画像を表示する 請求項7記載の画像表示装置。
- 前記画像処理回路は、付与された前記距離係数に基づき、距離が近いと認識される画素もしくはそれに準ずる画像ブロックほど、同一水平座標の画素もしくは画素ブロック毎に、距離の逆数に応じて交互に左右にシフトさせて、ディスプレイで擬似的に立体画像を表示する
請求項7記載の画像表示装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005319728A JP4424299B2 (ja) | 2005-11-02 | 2005-11-02 | 画像処理方法、画像処理装置およびこれを用いた画像表示装置 |
US11/553,345 US8106939B2 (en) | 2005-11-02 | 2006-10-26 | Image processing method, image processing device and image display apparatus employing the image processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005319728A JP4424299B2 (ja) | 2005-11-02 | 2005-11-02 | 画像処理方法、画像処理装置およびこれを用いた画像表示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007129436A JP2007129436A (ja) | 2007-05-24 |
JP4424299B2 true JP4424299B2 (ja) | 2010-03-03 |
Family
ID=37995731
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005319728A Expired - Fee Related JP4424299B2 (ja) | 2005-11-02 | 2005-11-02 | 画像処理方法、画像処理装置およびこれを用いた画像表示装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8106939B2 (ja) |
JP (1) | JP4424299B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9609303B2 (en) | 2014-05-20 | 2017-03-28 | Canon Kabushiki Kaisha | Image generation apparatus and method for controlling the same |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090051790A1 (en) * | 2007-08-21 | 2009-02-26 | Micron Technology, Inc. | De-parallax methods and apparatuses for lateral sensor arrays |
JP5540942B2 (ja) | 2010-06-29 | 2014-07-02 | 富士通セミコンダクター株式会社 | 処理装置 |
JP5175910B2 (ja) * | 2010-09-16 | 2013-04-03 | 株式会社東芝 | 画像処理装置、画像処理方法およびプログラム |
KR102025544B1 (ko) * | 2013-01-02 | 2019-11-04 | 삼성전자주식회사 | 착용식 비디오 장치 및 이를 구비하는 비디오 시스템 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3244798B2 (ja) * | 1992-09-08 | 2002-01-07 | 株式会社東芝 | 動画像処理装置 |
JPH0715748A (ja) | 1993-06-24 | 1995-01-17 | Canon Inc | 画像記録再生装置 |
DE69417824D1 (de) * | 1993-08-26 | 1999-05-20 | Matsushita Electric Ind Co Ltd | Stereoskopischer Abtastapparat |
JPH07220113A (ja) | 1994-01-28 | 1995-08-18 | Canon Inc | 画像記録再生装置 |
JPH0955959A (ja) | 1995-08-11 | 1997-02-25 | Yamaha Corp | 画像表示装置 |
JP3276931B2 (ja) | 1996-08-07 | 2002-04-22 | 三洋電機株式会社 | 3次元映像の立体感調整方法及び立体感調整装置 |
US6157733A (en) | 1997-04-18 | 2000-12-05 | At&T Corp. | Integration of monocular cues to improve depth perception |
JP3471262B2 (ja) | 1999-07-30 | 2003-12-02 | 日本電信電話株式会社 | 三次元画像処理装置 |
JP2003143459A (ja) | 2001-11-02 | 2003-05-16 | Canon Inc | 複眼撮像系およびこれを備えた装置 |
JP2003281503A (ja) | 2002-03-20 | 2003-10-03 | Fuji Heavy Ind Ltd | 立体物の画像認識装置 |
JP2003304562A (ja) | 2002-04-10 | 2003-10-24 | Victor Co Of Japan Ltd | オブジェクト符号化方法、オブジェクト符号化装置、及びオブジェクト符号化用プログラム |
JP2004040445A (ja) | 2002-07-03 | 2004-02-05 | Sharp Corp | 3d表示機能を備える携帯機器、及び3d変換プログラム |
JP2004242000A (ja) | 2003-02-05 | 2004-08-26 | Sony Corp | 符号化装置および方法、並びに復号装置および方法 |
JP4181446B2 (ja) | 2003-05-14 | 2008-11-12 | シャープ株式会社 | 立体画像表示装置 |
-
2005
- 2005-11-02 JP JP2005319728A patent/JP4424299B2/ja not_active Expired - Fee Related
-
2006
- 2006-10-26 US US11/553,345 patent/US8106939B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9609303B2 (en) | 2014-05-20 | 2017-03-28 | Canon Kabushiki Kaisha | Image generation apparatus and method for controlling the same |
Also Published As
Publication number | Publication date |
---|---|
US20070097207A1 (en) | 2007-05-03 |
US8106939B2 (en) | 2012-01-31 |
JP2007129436A (ja) | 2007-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5468482B2 (ja) | 画像撮像装置 | |
US9341935B2 (en) | Image capturing device | |
CN101995758B (zh) | 成像装置和视频记录/播放系统 | |
CN103260045A (zh) | 摄像装置及图像传感器阵列 | |
CN102860019A (zh) | 立体图像再生装置及方法、立体摄像装置、立体显示器装置 | |
CN102917235A (zh) | 图像处理装置、图像处理方法和程序 | |
JP2002077943A (ja) | 画像取り扱い装置 | |
JPWO2011083543A1 (ja) | 3次元撮像装置 | |
CN102860015A (zh) | 立体成像装置、图像再现装置和编辑软件 | |
JP3112485B2 (ja) | 立体電子スチルカメラ | |
CN103019021A (zh) | 一种3d光场相机及其拍摄图像的处理方法 | |
JP4424299B2 (ja) | 画像処理方法、画像処理装置およびこれを用いた画像表示装置 | |
JP2013201466A (ja) | 立体画像撮像装置 | |
JP2011145343A (ja) | 鏡筒装置及び立体撮像装置 | |
CN103037235A (zh) | 摄像装置及其控制方法 | |
CN102860017A (zh) | 立体摄像装置及其制造方法 | |
JP2000227332A (ja) | 三次元撮像装置とステレオカメラ記録再生システム | |
CN103329549B (zh) | 立体视频处理器、立体成像装置和立体视频处理方法 | |
CN103339948B (zh) | 3d视频再现装置、3d成像装置和3d视频再现方法 | |
CN102081294B (zh) | 摄像装置 | |
JP2004297540A (ja) | 立体映像記録再生装置 | |
JP3676916B2 (ja) | 立体撮像装置および立体表示装置 | |
CN104041026B (zh) | 图像输出装置、方法以及程序及其记录介质 | |
JPH11187425A (ja) | 立体映像装置及び方法 | |
JP4217182B2 (ja) | 撮影装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090831 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090908 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091029 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091117 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091130 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4424299 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121218 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121218 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131218 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |