JP3720747B2 - 画像形成システム及び画像形成装置、及び画像形成方法 - Google Patents
画像形成システム及び画像形成装置、及び画像形成方法 Download PDFInfo
- Publication number
- JP3720747B2 JP3720747B2 JP2001301217A JP2001301217A JP3720747B2 JP 3720747 B2 JP3720747 B2 JP 3720747B2 JP 2001301217 A JP2001301217 A JP 2001301217A JP 2001301217 A JP2001301217 A JP 2001301217A JP 3720747 B2 JP3720747 B2 JP 3720747B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- image forming
- optical member
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K15/00—Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
- G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
Description
【０００１】
【発明の属する技術分野】
本発明は、画像形成装置による形成画像に対してレンチキュラ板等を重ね合わせることによって立体像を観察可能とする画像形成システム及び画像形成装置、及び画像形成方法に関する。
【０００２】
【従来の技術】
従来、立体画像を形成する方法として、インテグラルフォトグラフィやレンチキュラ板三次元画像が知られている（大越孝敬：“三次元画像工学”，産業図書，1972）。しかしながら、このような従来の立体画像の形成方法は写真的方法によるものであり、例えば、レンチキュラ板三次元画像は、被写体を多くの視点から撮影した画像を取得し、これらの画像を、片面に極小の半円柱形状の凸レンズ（円柱レンズ要素）を平行に配したレンチキュラ板を介して１つの写真乾板に焼き付けるものである。しかしながらこの方法には、以下に示す▲１▼〜▲３▼の問題点がある。
【０００３】
▲１▼ 被写体の多視点からの画像を必要とするため、多眼式カメラ等、撮影装置が大掛かりなものとなる。
【０００４】
▲２▼ 同様に立体画像形成に関しても、焼き付け装置が大掛かりなものとなる。
【０００５】
▲３▼ 以上のような装置を用いても、撮影や焼付けに調整や熟練を要する。
【０００６】
以上の問題点に鑑み、立体画像形成を簡便な構成で実現するために、近年のデジタル写真術を利用した種々の提案がなされている。
【０００７】
例えば、本出願人によって、立体写真アダプタをデジタルカメラに装着することによってステレオ撮影を簡便なものにし、撮影したステレオ画像から多視点画像シーケンスを生成して三次元画像を印刷し、レンチキュラ板を重ねて観察するようにすることで、立体画像の形成を簡便なものにするシステムが提案されている。また本出願人によって、一枚の被写体画像から被写体領域を取得し、被写体領域を用いて被写体画像を変形することで複数視点からの被写体の多視点画像シーケンスを生成し、立体画像形成を行うシステムが提案されている。しかしながらこれらの提案においては、実際の印刷の際に、２値の階調制御を行う２値プリンタを画像出力手段として使用する場合の具体的な処理については特に示されていなかった。
【０００８】
本出願人はまた、特開平9-102968において、複数の視差を有する映像信号を誤差拡散処理回路で２値映像信号に変換する等によって、２値プリンタに出力可能とする技術を提案している。しかしながら、多視点画像シーケンスから生成されるような三次元画像は、画像データとして通常の画像より膨大なデータが必要であり、このような多値画像に対して誤差拡散法による２値画像変換を施すと、処理時間が長くなってしまう。
【０００９】
本出願人は特開平7-38766において、多値画像を２値画像に変換する際、誤差拡散法と濃度パターン法を併用することによって、誤差拡散法の高い階調表現と濃度パターン法の高速な処理を両立させる技術を提案している。本出願人はまた、特開平8-142411、特開平9-233337において、濃度パターンを複数用意し、選択的に切り替えて使用することによって、さらなる画質向上を可能とする技術を提案している。これらの手法を三次元画像の２値化処理に適用すれば、高画質と高速処理の両立が期待できる。
【００１０】
【発明が解決しようとする課題】
しかしながら、上記従来の三次元画像の２値化処理において、上述したような誤差拡散法や濃度パターン法を単純に適用した場合には、以下のような問題点が生じてしまう。
【００１１】
レンチキュラ板の円柱レンズ要素の繰り返しピッチに相当する空間周波数をｆL、プリンタの白黒の濃度パターンにおける、レンチキュラ板の円柱レンズ要素の繰り返し方向（以下、円柱レンズ配置方向）に相当する空間周波数をｆPとすると、それぞれの空間周波数の整数倍の差分周波数｜ｎ・ｆP−ｍ・ｆL｜（ｎ，ｍは正の整数）に相当する縞が、円柱レンズ配置方向に発生してしまう。
【００１２】
このとき、縞のコントラストはｎ，ｍが小さいほど高くなる。ｆP＞ｆLであるため、ｆPがｆLにできるだけ近い、すなわち、プリンタの白黒濃度パターンにおいて円柱レンズ配置方向に相当する空間周波数が低い方が、縞のコントラストが高く、縞が目立ち易くなる。従って、縞の発生を低減するには、プリンタの白黒濃度パターンを、円柱レンズ配置方向を考慮して制御する必要がある。
【００１３】
本発明は上記問題点を解決するために、２値出力を行う画像形成装置により出力された形成画像について、レンチキュラ板等の光学部材を重ね合わせることにより立体視を可能とする画像形成システム及び画像形成装置、及び画像形成方法を提供することを目的とする。
【００１４】
また、光学部材を重ね合わせたときに発生する縞を低減し、高画質の立体画像を得ることを目的とする。
【００１５】
また、被写体の時系列画像シーケンスに基づき、該被写体のアニメーションが観察できる画像形成システムを提供することを目的とする。
【００１６】
【課題を解決するための手段】
上記目的を達成するための一手段として、本発明の画像形成システムは以下の構成を備える。
【００１７】
すなわち、記録媒体上に形成された被写体画像に対し、一次元の周期的構造を有する光学部材を重ね合わせることによって被写体像を観察する画像形成システムであって、前記被写体画像の画像シーケンスを取得する画像取得手段と、前記画像シーケンスの各画像における同一座標の画素を隣接画素として配列するようにストライプ画像を合成する画像合成手段と、前記ストライプ画像を誤差拡散法により階調数を低減して多値画像に変換する誤差拡散量子化手段と、前記多値画像を濃度パターン法により２値のドットパターンに変換する２値化手段と、前記２値のドットパターンを記録媒体上に形成する画像形成手段と、を有し、前記２値化手段は、前記多値画像における、前記光学部材の周期的構造の繰り返し方向に垂直な方向の画素位置に応じて、所定の複数ドットパターンのいずれかを選択することによって、該多値画像を２値のドットパターンに変換することを特徴とする。
【００１８】
例えば、前記２値化手段は、前記多値画像における、前記光学部材の周期的構造の繰り返し方向に垂直な方向の画素位置に応じて、前記複数ドットパターンを順次切り替えることを特徴とする。
【００１９】
例えば、前記光学部材はレンチキュラ板であることを特徴とする。
【００２０】
【発明の実施の形態】
以下、本発明に係る一実施形態について、図面を参照して詳細に説明する。
【００２１】
＜第１実施形態＞
図２は、本実施形態における立体画像形成システムの概要構成を示す図である。同図において、１は被写体、２はカメラである。カメラ２としては例えば、キヤノン社製デジタルカメラPowerShot S20を用いるとする。３は画像処理部であり、例えば、汎用のＰＣ（Personal Computer）により構成される。４は画像処理部３に接続され、画像処理部３において処理対象となる画像および処理情報を表示するＣＲＴディスプレイ等の表示部、５は画像処理部３に接続され、画像処理部３により生成された画像データ等を印刷するキヤノン社製プリンタＢＪＦ850等の印刷部である。画像処理部３とカメラ２、印刷部５との接続は、ＵＳＢ（Universal Serial Bus）等により行われる。
【００２２】
撮影は、カメラ２を水平方向にスライド可能な台に取り付けて行う。撮影する多視点画像シーケンスの画像数Ｎは、レンチキュラ板の円柱レンズ要素のピッチをＲLインチ、プリンタの濃淡カラー画像が表現できる最小画素ピッチ（解像度）をＲP dpi（dot per inch）とすると、Ｎ＝ＲP×ＲLとなるように決定される。Ｎは整数であるから、実際にはＲP×ＲLに近い整数を画像数Ｎとする。例えば、プリンタの解像度が600dpi、レンチキュラ板の円柱レンズ要素ピッチが1/50.8インチの場合には、Ｎ＝１２像が望ましい。それぞれの画像は、被写体１の大きさ、撮影条件、印刷する画像サイズによって、視点の移動量を決定し、カメラ２を水平方向に等間隔にずらしながら撮影する。撮影した画像（多視点画像）は、例えばＪＰＥＧ形式でＣＦ（Compact Flash）カード等に記録される。
【００２３】
次に、このようにして撮影した多視点画像を画像処理部３に取り込む。例えば、画像処理部３であるＰＣ内でカメラ２のドライバソフトを起動して所定の操作を行うことにより、カメラ２で記録された画像データを、ＵＳＢインターフェースを介してＰＣ内のハードディスクに画像データとして一旦記録する。画像処理部３がＰＣカードスロットを有する場合には、カメラ２と画像処理部３を接続しなくても、一旦カメラ２からＣＦカードをはずし、これをＰＣカードスロットに装着可能なＣＦカードアダプタに装着し、該ＣＦカードアダプタを画像処理部３のＰＣカードスロットに装着することで、ＣＦカードに記録された画像データをＰＣ内のハードディスクに記録された画像データと同等に扱うことができる。
【００２４】
画像処理部３においては、このようにして取り込んだ多視点画像に対し、三次元ストライプ画像を合成して印刷部５に出力する。この一連の処理は例えば、ＰＣのアプリケーションソフトウェアとして実行される。以下、画像処理部３における三次元画像の印刷処理プログラムの内容について説明する。
【００２５】
図１は、本実施形態の立体画像形成システムにおける３次元画像印刷処理プログラムのアルゴリズムを示すフローチャートである。
【００２６】
まずステップＳ１において、撮影したそれぞれの画像を処理プログラムで扱えるデータにするために、画像処理部３であるＰＣのメモリに取り込み、さらに後述するステップＳ２において３次元ストライプ画像の合成処理が行えるように、画像データを変換する。
【００２７】
このとき、処理対象となる多視点画像のファイルの指示は、不図示のキーボード等の入力手段によって行い、該指定されたファイルをプログラムが読み込む。このとき、画像データをＲＧＢ３チャンネルの２次元配列データやビットマップに変換しておく。特に、入力画像データがＪＰＥＧ画像フォーマットである場合には、ＪＰＥＧ画像の解凍処理のようなデータ変換を行う必要がある。
【００２８】
但し、画像処理部３に取り込んだ画像をそのまま多視点画像シーケンスとして利用すると、無限遠被写体に対して視差が０となっているので、観察時に最も画質を良くしたい主被写体の視差が０になるように、各画像を水平方向に所定量だけずらした位置で、画像シーケンスの各画像から同じ大きさの所定サイズの矩形領域を切り出しておく。この切り出し処理は例えば、表示部４等を用いて行えばよい。そして、後述する三次元ストライプ画像を構成する各画像の画像サイズを、印刷時の解像度及びサイズに基づいて求め、画像シーケンスの各画像から切り出した矩形領域を変倍する。特に、後処理として水平方向に対する合成処理が行われるので、水平方向への圧縮が行われる。
【００２９】
例えば、印刷部５の解像度をＲPdpi、印刷サイズをＸP×ＹPインチとすると、印刷する画像のサイズはＸ（＝ＲP×ＸP）×Ｙ（＝ＲP×ＹP）画素となる。従って、シーケンス内の画像数をＮとすると、各視点の画像のサイズはＨ（＝Ｘ/Ｎ）×Ｖ（＝Ｙ）となる。ここで、実際にはＨ，Ｖが整数になるように印刷サイズが決定される。例えば、Ｈ＝200、Ｖ＝1800画素であればＸ＝2400、Ｙ＝1800画素となり、600dpiの解像度で印刷すると印刷サイズは４×３インチとなる。なお、レンチキュラ板の円柱レンズ要素ピッチと画像周期を合わせる必要があるので、実際のサイズは多少変わるが、このサイズ対応については次のステップＳ２において行われる。
【００３０】
ステップＳ２においては、多視点画像シーケンスから３次元ストライプ画像を合成する。このとき、多視点画像シーケンスの各画像の同一座標の画素を画像の視点配列に従って隣接画素として配列するように、３次元画像を合成する。ｊ番目視点の画素値をＰjmn（但し、m、nはそれぞれ水平、垂直方向の画素配列のインデックス）としたとき、ｊ番目の画像データは以下のような２次元配列として表される。
【００３１】
Ｐj00 Ｐj10 Ｐj20 Ｐj30 ……
Ｐj01 Ｐj11 Ｐj21 Ｐj31 ……
Ｐj02 Ｐj12 Ｐj22 Ｐj32 ……
………
それぞれの視点の画像を垂直方向に１ラインごとに短冊状に分解し、視点位置の逆順に視点数分だけ合成する。したがって、合成後の画像は、以下に示すような画素配列のストライプ画像となる。但し、視点ｊ＝１が左端、ｊ＝Ｎが右端の画像をあらわす。
【００３２】
ＰN00…Ｐ200Ｐ100 ＰN10…Ｐ210Ｐ110 ＰN20…Ｐ220Ｐ120 ……
ＰN01…Ｐ201Ｐ101 ＰN11…Ｐ211Ｐ111 ＰN21…Ｐ221Ｐ121 ……
ＰN02…Ｐ202Ｐ102 ＰN12…Ｐ212Ｐ112 ＰN22…Ｐ222Ｐ122 ……
………
ここで、視点位置の配列順を逆にするのは、レンチキュラ板により観察する際に、円柱レンズ要素の１ピッチ内で画像が左右逆に観察されるためである。この三次元ストライプ画像は元の多視点画像がＨ×ＶのサイズのＮ視点画像である場合、Ｘ（＝Ｎ×Ｈ）×Ｖのサイズとなる。
【００３３】
次に、この３次元ストライプ画像において、レンチキュラ板とピッチを合わせる必要がある。１ピッチにＲPdpiの画素がＮ画素分あるので１ピッチはＮ/ＲPインチとなるが、レンチキュラ板の円柱レンズ要素ピッチがＲLインチであるので、画像を水平方向にＲL×ＲP/Ｎ倍することによって、互いのピッチを合わせる。このとき、垂直方向の画素数は（ＲL×ＲP/Ｎ）×Ｙ画素となる必要があるので、垂直方向に（ＲL×ＲP×Ｙ）/（Ｎ×Ｖ）倍して倍率を合わせる。
【００３４】
本実施形態においては、三次元ストライプ画像に対して以上のような水平、垂直方向に変倍処理を行うことによって、印刷用の画像データを生成する。なお、変倍処理としては例えば、双線形補間等を行えば良い。
【００３５】
次にステップＳ３においては、合成した三次元ストライプ画像のＲＧＢ各成分の画像データをプリンタの各インクの色成分に合わせるように色変換を行う。
【００３６】
例えば、印刷をイエロー（Ｙ）、マゼンタ（Ｍ）、シアン（Ｃ）、ブラック（Ｋ）の４色のインクで行う場合には、ＲＧＢからＹＭＣＫの各色成分への変換をルックアップテーブル（ＬＵＴ）を用いて行う（ＬＵＴを用いた色変換に関しては、田島譲二：“カラー画像複製論”，pp.97-102，丸善，1996、を参照されたい）。また、ＬＵＴで変換する代わりに、以下のような変換式を用いた変換を行っても良い。
【００３７】
Ｙ0 ＝ −αy・log(Ｂ)
Ｍ0 ＝ −αm・log(Ｇ)
Ｃ0 ＝ −αc・log(Ｒ)
Ｋ0 ＝ MIN（Ｙ0,Ｍ0,Ｃ0）
Ｙ ＝ Ａyy・Ｙ0＋Ａym・Ｍ0＋Ａyc・Ｃ0＋Ａyk・Ｋ0
Ｍ ＝ Ａmy・Ｙ0＋Ａmm・Ｍ0＋Ａmc・Ｃ0＋Ａmk・Ｋ0
Ｃ ＝ Ａcy・Ｙ0＋Ａcm・Ｍ0＋Ａcc・Ｃ0＋Ａck・Ｋ0
Ｋ ＝ Ａky・Ｙ0＋Ａkm・Ｍ0＋Ａkc・Ｃ0＋Ａkk・Ｋ0
ここで、MIN（）は最小値、αa(a=y,m,c),Ａab(a=y,m,c,k；b=y,m,c,k)は補正定数である。また、印刷をイエロー（Ｙ）、マゼンタ（Ｍ）、シアン（Ｃ）、ブラック（Ｋ）、淡マゼンタ（ｍ）、淡シアン（ｃ）の６色のインクで行う場合には、ＲＧＢからＹＭＣＫｍｃの各色成分への変換をルックアップテーブル（ＬＵＴ）を用いて行う。
【００３８】
次にステップＳ４において、各色成分の濃淡画像を誤差拡散法によって多値画像データに変換する。
【００３９】
まず、各色成分の画像データの各濃淡画素値に対して、すでに処理した画素から振り分けられた誤差成分と、雑音成分を加算する。そして、加算後の濃淡画素値を所定の閾値により所定の多値レベルに量子化する。例えば本実施形態においては、濃淡２５６階調を５つのレベルに５値化するため、４つの閾値との比較を行い、濃淡画素値に対する多値レベルを決定する。そして、加算後の濃淡画素値と決定した多値レベルとの量子化誤差を、所定の重みに従って、近傍画素に振り分ける。
【００４０】
図３に、誤差拡散における重みの例を示す。同図において、＊で示される画素が注目画素であり、該注目画素の量子化誤差が、ｗ１〜ｗ５の重みが付された他の画素に振り分けられる。例えば、注目画素における量子化前の濃淡画素値をｇ、量子化後の多値レベルをＧとすると、注目画素の右側の画素にはｗ１×（ｇ−Ｇ）の分だけ誤差が振り分けられ、注目画素の下側の画素にはｗ４×（ｇ−Ｇ）の分だけ誤差が振り分けられる。ここで、ｗ１＋ｗ２＋ｗ３＋ｗ４＋ｗ５＝１である。
【００４１】
以上の誤差拡散処理が、各色成分について所定の方向に全画素分、順次行われる。このとき、注目画素の画素値に応じて誤差拡散処理における雑音成分や誤差振り分け重みとして最適な値を選択すれば、より高画質な多値画像が得られる。
【００４２】
次にステップＳ５において、各色成分の量子化後の多値画像に対して、濃度パターン法により印刷パターンを決定する。図４に、多値レベルに応じた濃度パターンの例を示す。同図においては、５レベルに量子化された多値画像について、各レベルのパターンを白黒２値の２×２画素マトリクスで表している。この例では、レベル毎に４つのパターンを有している（但し、レベル０、２、４についてはパターンの表現上、同一パターンの重複がある）。なお、図４において白で示される画素がインクを打たない画素（白ドット）であり、黒で示される画素がインクを打つ画素（黒ドット）である。また、レベル０が最も明るいレベルに対応するパターンである。
【００４３】
ステップＳ５においては、量子化後の多値画像の各画素に対して、各レベルに応じて図４に示す複数のパターンから１つを選択し、２×２のマトリクスとして２値化を行う。このとき、観察時の画像方向に対するレンチキュラ板の円柱レンズ要素の繰り返し方向（円柱レンズ配置方向）に応じて、該配置方向と直交する方向に沿って順次、上記複数パターンから選択する濃度パターンを切り替える。一般に立体像を観察する際には、画像の水平方向で左右の画像を別々に観察するので、レンチキュラ板の円柱レンズ配置方向は水平方向となる。従って本実施形態では、画像の垂直方向の位置に応じて順次濃度パターンを切り替えるようにする。
【００４４】
以上の処理により、もとの多値画像の水平、垂直方向それぞれに２倍の画素数である２値画像が得られる。この濃度パターン法による２値化を各色成分の画像に対して行う。このとき、色成分毎に最適な濃度パターンを用いた方が、より画質のよい２値画像が得られる。
【００４５】
ここで一般に、レンチキュラ板を画像に重ねた際に縞が発生する典型的な場合は、画像中の画素値に変化がなく、その量子化レベルが１か３の場合である。しかしながら本実施形態において、量子化後にレベル１となる画素が一様に広がっている多値画像領域を想定すると、上述した２値化によって得られる２値画像のパターンは図５のようになる。図５によれば、水平方向のドットパターン周期は２ドット分、垂直方向のドットパターン周期は８ドット分である。従って、本実施形態においてレンチキュラ板を円柱レンズ配置方向を水平に置いた場合には、ドットパターンにおいて水平方向のピッチが低く抑えらているため、縞の発生を低減することができる。
【００４６】
次にステップＳ６において、ステップＳ５で生成した２値画像を印刷する。すなわち色成分毎に、２値画像の画素が黒ドットに対応する画素についてインクを打つように、プリンタ（印刷部５）の制御を行う。
【００４７】
以上説明したように本実施形態によれば、上記ステップＳ１からＳ６の処理によって画像出力部５で印刷出力した２値画像に対して、レンチキュラ板等の光学部材を重ね合わせることにより、被写体の立体像が観察できる。また、該観察時に発生する縞を低減し、高画質の立体像を得ることができる。
【００４８】
なお本実施形態においては、立体像を得るための多視点画像シーケンスを、カメラを水平方向に等間隔ずつずらして撮影するとして説明したが、例えば、上記従来例で説明したような、立体写真アダプタをデジタルカメラに装着してステレオ画像を撮影するシステムにおいて、撮影したステレオ画像から被写体の奥行き分布を表す視差マップを抽出し、ステレオ画像と視差マップとから複数視点からの被写体の多視点画像シーケンスを生成するようにしてもよい。また同様に、上記従来例で説明したように、一枚の被写体画像から被写体領域を取得し、被写体領域から被写体の奥行き分布を表す視差マップを抽出し、被写体画像と視差マップとから複数視点からの被写体の多視点画像シーケンスを生成するようにしてもよい。
【００４９】
また、本実施形態においては、レンチキュラ板三次元画像の方式を用いた立体写真プリントシステムについて説明したが、本発明はバリア方式を用いた立体写真プリントシステムにも適用できる。バリア方式を用いた場合には、バリアの繰り返し方向に対して垂直方向の画素位置に応じて、複数の濃度パターンを切り替えて２値画像を生成すればよい。
【００５０】
また、本実施形態ではレンチキュラ板三次元画像を形成するシステムについて説明したが、例えば、多視点画像シーケンスの代わりにビデオカムコーダ等で撮影した動画像から複数時点での画像を選択し、時系列画像シーケンスを取得して、前述したＰＣでの処理プログラムへの入力としてもよい。この場合、印刷画像にレンチキュラ板を重ね合わせることで、被写体のアニメーションを観察することができる。動画像の場合には、左右の眼で同じ画像を観察した方が見易いため、画像の垂直方向で観察位置をずらしたときに別々の画像が観察できるよう、レンチキュラ板の円柱レンズ要素の繰り返し方向を垂直にする。従ってこの場合、上記図１のステップＳ５における濃度パターンの切り替えを、画像の水平方向の位置に沿って行うようにすればよい。
【００５１】
＜他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、立体画像プリンタなど）に適用してもよい。
【００５２】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５３】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５４】
【発明の効果】
以上説明したように本発明によれば、２値出力を行う画像形成装置より出力された画像について、レンチキュラ板等の光学部材を重ね合わせることにより立体視が可能となる。
【００５５】
また、光学部材を重ね合わせたときに発生する縞を低減し、高画質の立体画像を得ることができる。
【００５６】
また、本発明を時系列画像シーケンスに適用することによって、被写体のアニメーションが観察できる。
【図面の簡単な説明】
【図１】本発明に係る一実施形態の立体画像形成システムにおける処理アルゴリズムを示すフローチャートである。
【図２】本実施形態における立体画像形成システムの構成を示すブロック図である。
【図３】誤差拡散処理を説明する図である。
【図４】画素レベル毎の濃度パターンの一例を示す図である。
【図５】画素レベル１の領域に対して得られる２値画像のドットパターン例を示す図である。
【符号の説明】
１ 被写体
２ カメラ
３ 画像処理部
４ 表示部
５ 印刷部
【発明の属する技術分野】
本発明は、画像形成装置による形成画像に対してレンチキュラ板等を重ね合わせることによって立体像を観察可能とする画像形成システム及び画像形成装置、及び画像形成方法に関する。
【０００２】
【従来の技術】
従来、立体画像を形成する方法として、インテグラルフォトグラフィやレンチキュラ板三次元画像が知られている（大越孝敬：“三次元画像工学”，産業図書，1972）。しかしながら、このような従来の立体画像の形成方法は写真的方法によるものであり、例えば、レンチキュラ板三次元画像は、被写体を多くの視点から撮影した画像を取得し、これらの画像を、片面に極小の半円柱形状の凸レンズ（円柱レンズ要素）を平行に配したレンチキュラ板を介して１つの写真乾板に焼き付けるものである。しかしながらこの方法には、以下に示す▲１▼〜▲３▼の問題点がある。
【０００３】
▲１▼ 被写体の多視点からの画像を必要とするため、多眼式カメラ等、撮影装置が大掛かりなものとなる。
【０００４】
▲２▼ 同様に立体画像形成に関しても、焼き付け装置が大掛かりなものとなる。
【０００５】
▲３▼ 以上のような装置を用いても、撮影や焼付けに調整や熟練を要する。
【０００６】
以上の問題点に鑑み、立体画像形成を簡便な構成で実現するために、近年のデジタル写真術を利用した種々の提案がなされている。
【０００７】
例えば、本出願人によって、立体写真アダプタをデジタルカメラに装着することによってステレオ撮影を簡便なものにし、撮影したステレオ画像から多視点画像シーケンスを生成して三次元画像を印刷し、レンチキュラ板を重ねて観察するようにすることで、立体画像の形成を簡便なものにするシステムが提案されている。また本出願人によって、一枚の被写体画像から被写体領域を取得し、被写体領域を用いて被写体画像を変形することで複数視点からの被写体の多視点画像シーケンスを生成し、立体画像形成を行うシステムが提案されている。しかしながらこれらの提案においては、実際の印刷の際に、２値の階調制御を行う２値プリンタを画像出力手段として使用する場合の具体的な処理については特に示されていなかった。
【０００８】
本出願人はまた、特開平9-102968において、複数の視差を有する映像信号を誤差拡散処理回路で２値映像信号に変換する等によって、２値プリンタに出力可能とする技術を提案している。しかしながら、多視点画像シーケンスから生成されるような三次元画像は、画像データとして通常の画像より膨大なデータが必要であり、このような多値画像に対して誤差拡散法による２値画像変換を施すと、処理時間が長くなってしまう。
【０００９】
本出願人は特開平7-38766において、多値画像を２値画像に変換する際、誤差拡散法と濃度パターン法を併用することによって、誤差拡散法の高い階調表現と濃度パターン法の高速な処理を両立させる技術を提案している。本出願人はまた、特開平8-142411、特開平9-233337において、濃度パターンを複数用意し、選択的に切り替えて使用することによって、さらなる画質向上を可能とする技術を提案している。これらの手法を三次元画像の２値化処理に適用すれば、高画質と高速処理の両立が期待できる。
【００１０】
【発明が解決しようとする課題】
しかしながら、上記従来の三次元画像の２値化処理において、上述したような誤差拡散法や濃度パターン法を単純に適用した場合には、以下のような問題点が生じてしまう。
【００１１】
レンチキュラ板の円柱レンズ要素の繰り返しピッチに相当する空間周波数をｆL、プリンタの白黒の濃度パターンにおける、レンチキュラ板の円柱レンズ要素の繰り返し方向（以下、円柱レンズ配置方向）に相当する空間周波数をｆPとすると、それぞれの空間周波数の整数倍の差分周波数｜ｎ・ｆP−ｍ・ｆL｜（ｎ，ｍは正の整数）に相当する縞が、円柱レンズ配置方向に発生してしまう。
【００１２】
このとき、縞のコントラストはｎ，ｍが小さいほど高くなる。ｆP＞ｆLであるため、ｆPがｆLにできるだけ近い、すなわち、プリンタの白黒濃度パターンにおいて円柱レンズ配置方向に相当する空間周波数が低い方が、縞のコントラストが高く、縞が目立ち易くなる。従って、縞の発生を低減するには、プリンタの白黒濃度パターンを、円柱レンズ配置方向を考慮して制御する必要がある。
【００１３】
本発明は上記問題点を解決するために、２値出力を行う画像形成装置により出力された形成画像について、レンチキュラ板等の光学部材を重ね合わせることにより立体視を可能とする画像形成システム及び画像形成装置、及び画像形成方法を提供することを目的とする。
【００１４】
また、光学部材を重ね合わせたときに発生する縞を低減し、高画質の立体画像を得ることを目的とする。
【００１５】
また、被写体の時系列画像シーケンスに基づき、該被写体のアニメーションが観察できる画像形成システムを提供することを目的とする。
【００１６】
【課題を解決するための手段】
上記目的を達成するための一手段として、本発明の画像形成システムは以下の構成を備える。
【００１７】
すなわち、記録媒体上に形成された被写体画像に対し、一次元の周期的構造を有する光学部材を重ね合わせることによって被写体像を観察する画像形成システムであって、前記被写体画像の画像シーケンスを取得する画像取得手段と、前記画像シーケンスの各画像における同一座標の画素を隣接画素として配列するようにストライプ画像を合成する画像合成手段と、前記ストライプ画像を誤差拡散法により階調数を低減して多値画像に変換する誤差拡散量子化手段と、前記多値画像を濃度パターン法により２値のドットパターンに変換する２値化手段と、前記２値のドットパターンを記録媒体上に形成する画像形成手段と、を有し、前記２値化手段は、前記多値画像における、前記光学部材の周期的構造の繰り返し方向に垂直な方向の画素位置に応じて、所定の複数ドットパターンのいずれかを選択することによって、該多値画像を２値のドットパターンに変換することを特徴とする。
【００１８】
例えば、前記２値化手段は、前記多値画像における、前記光学部材の周期的構造の繰り返し方向に垂直な方向の画素位置に応じて、前記複数ドットパターンを順次切り替えることを特徴とする。
【００１９】
例えば、前記光学部材はレンチキュラ板であることを特徴とする。
【００２０】
【発明の実施の形態】
以下、本発明に係る一実施形態について、図面を参照して詳細に説明する。
【００２１】
＜第１実施形態＞
図２は、本実施形態における立体画像形成システムの概要構成を示す図である。同図において、１は被写体、２はカメラである。カメラ２としては例えば、キヤノン社製デジタルカメラPowerShot S20を用いるとする。３は画像処理部であり、例えば、汎用のＰＣ（Personal Computer）により構成される。４は画像処理部３に接続され、画像処理部３において処理対象となる画像および処理情報を表示するＣＲＴディスプレイ等の表示部、５は画像処理部３に接続され、画像処理部３により生成された画像データ等を印刷するキヤノン社製プリンタＢＪＦ850等の印刷部である。画像処理部３とカメラ２、印刷部５との接続は、ＵＳＢ（Universal Serial Bus）等により行われる。
【００２２】
撮影は、カメラ２を水平方向にスライド可能な台に取り付けて行う。撮影する多視点画像シーケンスの画像数Ｎは、レンチキュラ板の円柱レンズ要素のピッチをＲLインチ、プリンタの濃淡カラー画像が表現できる最小画素ピッチ（解像度）をＲP dpi（dot per inch）とすると、Ｎ＝ＲP×ＲLとなるように決定される。Ｎは整数であるから、実際にはＲP×ＲLに近い整数を画像数Ｎとする。例えば、プリンタの解像度が600dpi、レンチキュラ板の円柱レンズ要素ピッチが1/50.8インチの場合には、Ｎ＝１２像が望ましい。それぞれの画像は、被写体１の大きさ、撮影条件、印刷する画像サイズによって、視点の移動量を決定し、カメラ２を水平方向に等間隔にずらしながら撮影する。撮影した画像（多視点画像）は、例えばＪＰＥＧ形式でＣＦ（Compact Flash）カード等に記録される。
【００２３】
次に、このようにして撮影した多視点画像を画像処理部３に取り込む。例えば、画像処理部３であるＰＣ内でカメラ２のドライバソフトを起動して所定の操作を行うことにより、カメラ２で記録された画像データを、ＵＳＢインターフェースを介してＰＣ内のハードディスクに画像データとして一旦記録する。画像処理部３がＰＣカードスロットを有する場合には、カメラ２と画像処理部３を接続しなくても、一旦カメラ２からＣＦカードをはずし、これをＰＣカードスロットに装着可能なＣＦカードアダプタに装着し、該ＣＦカードアダプタを画像処理部３のＰＣカードスロットに装着することで、ＣＦカードに記録された画像データをＰＣ内のハードディスクに記録された画像データと同等に扱うことができる。
【００２４】
画像処理部３においては、このようにして取り込んだ多視点画像に対し、三次元ストライプ画像を合成して印刷部５に出力する。この一連の処理は例えば、ＰＣのアプリケーションソフトウェアとして実行される。以下、画像処理部３における三次元画像の印刷処理プログラムの内容について説明する。
【００２５】
図１は、本実施形態の立体画像形成システムにおける３次元画像印刷処理プログラムのアルゴリズムを示すフローチャートである。
【００２６】
まずステップＳ１において、撮影したそれぞれの画像を処理プログラムで扱えるデータにするために、画像処理部３であるＰＣのメモリに取り込み、さらに後述するステップＳ２において３次元ストライプ画像の合成処理が行えるように、画像データを変換する。
【００２７】
このとき、処理対象となる多視点画像のファイルの指示は、不図示のキーボード等の入力手段によって行い、該指定されたファイルをプログラムが読み込む。このとき、画像データをＲＧＢ３チャンネルの２次元配列データやビットマップに変換しておく。特に、入力画像データがＪＰＥＧ画像フォーマットである場合には、ＪＰＥＧ画像の解凍処理のようなデータ変換を行う必要がある。
【００２８】
但し、画像処理部３に取り込んだ画像をそのまま多視点画像シーケンスとして利用すると、無限遠被写体に対して視差が０となっているので、観察時に最も画質を良くしたい主被写体の視差が０になるように、各画像を水平方向に所定量だけずらした位置で、画像シーケンスの各画像から同じ大きさの所定サイズの矩形領域を切り出しておく。この切り出し処理は例えば、表示部４等を用いて行えばよい。そして、後述する三次元ストライプ画像を構成する各画像の画像サイズを、印刷時の解像度及びサイズに基づいて求め、画像シーケンスの各画像から切り出した矩形領域を変倍する。特に、後処理として水平方向に対する合成処理が行われるので、水平方向への圧縮が行われる。
【００２９】
例えば、印刷部５の解像度をＲPdpi、印刷サイズをＸP×ＹPインチとすると、印刷する画像のサイズはＸ（＝ＲP×ＸP）×Ｙ（＝ＲP×ＹP）画素となる。従って、シーケンス内の画像数をＮとすると、各視点の画像のサイズはＨ（＝Ｘ/Ｎ）×Ｖ（＝Ｙ）となる。ここで、実際にはＨ，Ｖが整数になるように印刷サイズが決定される。例えば、Ｈ＝200、Ｖ＝1800画素であればＸ＝2400、Ｙ＝1800画素となり、600dpiの解像度で印刷すると印刷サイズは４×３インチとなる。なお、レンチキュラ板の円柱レンズ要素ピッチと画像周期を合わせる必要があるので、実際のサイズは多少変わるが、このサイズ対応については次のステップＳ２において行われる。
【００３０】
ステップＳ２においては、多視点画像シーケンスから３次元ストライプ画像を合成する。このとき、多視点画像シーケンスの各画像の同一座標の画素を画像の視点配列に従って隣接画素として配列するように、３次元画像を合成する。ｊ番目視点の画素値をＰjmn（但し、m、nはそれぞれ水平、垂直方向の画素配列のインデックス）としたとき、ｊ番目の画像データは以下のような２次元配列として表される。
【００３１】
Ｐj00 Ｐj10 Ｐj20 Ｐj30 ……
Ｐj01 Ｐj11 Ｐj21 Ｐj31 ……
Ｐj02 Ｐj12 Ｐj22 Ｐj32 ……
………
それぞれの視点の画像を垂直方向に１ラインごとに短冊状に分解し、視点位置の逆順に視点数分だけ合成する。したがって、合成後の画像は、以下に示すような画素配列のストライプ画像となる。但し、視点ｊ＝１が左端、ｊ＝Ｎが右端の画像をあらわす。
【００３２】
ＰN00…Ｐ200Ｐ100 ＰN10…Ｐ210Ｐ110 ＰN20…Ｐ220Ｐ120 ……
ＰN01…Ｐ201Ｐ101 ＰN11…Ｐ211Ｐ111 ＰN21…Ｐ221Ｐ121 ……
ＰN02…Ｐ202Ｐ102 ＰN12…Ｐ212Ｐ112 ＰN22…Ｐ222Ｐ122 ……
………
ここで、視点位置の配列順を逆にするのは、レンチキュラ板により観察する際に、円柱レンズ要素の１ピッチ内で画像が左右逆に観察されるためである。この三次元ストライプ画像は元の多視点画像がＨ×ＶのサイズのＮ視点画像である場合、Ｘ（＝Ｎ×Ｈ）×Ｖのサイズとなる。
【００３３】
次に、この３次元ストライプ画像において、レンチキュラ板とピッチを合わせる必要がある。１ピッチにＲPdpiの画素がＮ画素分あるので１ピッチはＮ/ＲPインチとなるが、レンチキュラ板の円柱レンズ要素ピッチがＲLインチであるので、画像を水平方向にＲL×ＲP/Ｎ倍することによって、互いのピッチを合わせる。このとき、垂直方向の画素数は（ＲL×ＲP/Ｎ）×Ｙ画素となる必要があるので、垂直方向に（ＲL×ＲP×Ｙ）/（Ｎ×Ｖ）倍して倍率を合わせる。
【００３４】
本実施形態においては、三次元ストライプ画像に対して以上のような水平、垂直方向に変倍処理を行うことによって、印刷用の画像データを生成する。なお、変倍処理としては例えば、双線形補間等を行えば良い。
【００３５】
次にステップＳ３においては、合成した三次元ストライプ画像のＲＧＢ各成分の画像データをプリンタの各インクの色成分に合わせるように色変換を行う。
【００３６】
例えば、印刷をイエロー（Ｙ）、マゼンタ（Ｍ）、シアン（Ｃ）、ブラック（Ｋ）の４色のインクで行う場合には、ＲＧＢからＹＭＣＫの各色成分への変換をルックアップテーブル（ＬＵＴ）を用いて行う（ＬＵＴを用いた色変換に関しては、田島譲二：“カラー画像複製論”，pp.97-102，丸善，1996、を参照されたい）。また、ＬＵＴで変換する代わりに、以下のような変換式を用いた変換を行っても良い。
【００３７】
Ｙ0 ＝ −αy・log(Ｂ)
Ｍ0 ＝ −αm・log(Ｇ)
Ｃ0 ＝ −αc・log(Ｒ)
Ｋ0 ＝ MIN（Ｙ0,Ｍ0,Ｃ0）
Ｙ ＝ Ａyy・Ｙ0＋Ａym・Ｍ0＋Ａyc・Ｃ0＋Ａyk・Ｋ0
Ｍ ＝ Ａmy・Ｙ0＋Ａmm・Ｍ0＋Ａmc・Ｃ0＋Ａmk・Ｋ0
Ｃ ＝ Ａcy・Ｙ0＋Ａcm・Ｍ0＋Ａcc・Ｃ0＋Ａck・Ｋ0
Ｋ ＝ Ａky・Ｙ0＋Ａkm・Ｍ0＋Ａkc・Ｃ0＋Ａkk・Ｋ0
ここで、MIN（）は最小値、αa(a=y,m,c),Ａab(a=y,m,c,k；b=y,m,c,k)は補正定数である。また、印刷をイエロー（Ｙ）、マゼンタ（Ｍ）、シアン（Ｃ）、ブラック（Ｋ）、淡マゼンタ（ｍ）、淡シアン（ｃ）の６色のインクで行う場合には、ＲＧＢからＹＭＣＫｍｃの各色成分への変換をルックアップテーブル（ＬＵＴ）を用いて行う。
【００３８】
次にステップＳ４において、各色成分の濃淡画像を誤差拡散法によって多値画像データに変換する。
【００３９】
まず、各色成分の画像データの各濃淡画素値に対して、すでに処理した画素から振り分けられた誤差成分と、雑音成分を加算する。そして、加算後の濃淡画素値を所定の閾値により所定の多値レベルに量子化する。例えば本実施形態においては、濃淡２５６階調を５つのレベルに５値化するため、４つの閾値との比較を行い、濃淡画素値に対する多値レベルを決定する。そして、加算後の濃淡画素値と決定した多値レベルとの量子化誤差を、所定の重みに従って、近傍画素に振り分ける。
【００４０】
図３に、誤差拡散における重みの例を示す。同図において、＊で示される画素が注目画素であり、該注目画素の量子化誤差が、ｗ１〜ｗ５の重みが付された他の画素に振り分けられる。例えば、注目画素における量子化前の濃淡画素値をｇ、量子化後の多値レベルをＧとすると、注目画素の右側の画素にはｗ１×（ｇ−Ｇ）の分だけ誤差が振り分けられ、注目画素の下側の画素にはｗ４×（ｇ−Ｇ）の分だけ誤差が振り分けられる。ここで、ｗ１＋ｗ２＋ｗ３＋ｗ４＋ｗ５＝１である。
【００４１】
以上の誤差拡散処理が、各色成分について所定の方向に全画素分、順次行われる。このとき、注目画素の画素値に応じて誤差拡散処理における雑音成分や誤差振り分け重みとして最適な値を選択すれば、より高画質な多値画像が得られる。
【００４２】
次にステップＳ５において、各色成分の量子化後の多値画像に対して、濃度パターン法により印刷パターンを決定する。図４に、多値レベルに応じた濃度パターンの例を示す。同図においては、５レベルに量子化された多値画像について、各レベルのパターンを白黒２値の２×２画素マトリクスで表している。この例では、レベル毎に４つのパターンを有している（但し、レベル０、２、４についてはパターンの表現上、同一パターンの重複がある）。なお、図４において白で示される画素がインクを打たない画素（白ドット）であり、黒で示される画素がインクを打つ画素（黒ドット）である。また、レベル０が最も明るいレベルに対応するパターンである。
【００４３】
ステップＳ５においては、量子化後の多値画像の各画素に対して、各レベルに応じて図４に示す複数のパターンから１つを選択し、２×２のマトリクスとして２値化を行う。このとき、観察時の画像方向に対するレンチキュラ板の円柱レンズ要素の繰り返し方向（円柱レンズ配置方向）に応じて、該配置方向と直交する方向に沿って順次、上記複数パターンから選択する濃度パターンを切り替える。一般に立体像を観察する際には、画像の水平方向で左右の画像を別々に観察するので、レンチキュラ板の円柱レンズ配置方向は水平方向となる。従って本実施形態では、画像の垂直方向の位置に応じて順次濃度パターンを切り替えるようにする。
【００４４】
以上の処理により、もとの多値画像の水平、垂直方向それぞれに２倍の画素数である２値画像が得られる。この濃度パターン法による２値化を各色成分の画像に対して行う。このとき、色成分毎に最適な濃度パターンを用いた方が、より画質のよい２値画像が得られる。
【００４５】
ここで一般に、レンチキュラ板を画像に重ねた際に縞が発生する典型的な場合は、画像中の画素値に変化がなく、その量子化レベルが１か３の場合である。しかしながら本実施形態において、量子化後にレベル１となる画素が一様に広がっている多値画像領域を想定すると、上述した２値化によって得られる２値画像のパターンは図５のようになる。図５によれば、水平方向のドットパターン周期は２ドット分、垂直方向のドットパターン周期は８ドット分である。従って、本実施形態においてレンチキュラ板を円柱レンズ配置方向を水平に置いた場合には、ドットパターンにおいて水平方向のピッチが低く抑えらているため、縞の発生を低減することができる。
【００４６】
次にステップＳ６において、ステップＳ５で生成した２値画像を印刷する。すなわち色成分毎に、２値画像の画素が黒ドットに対応する画素についてインクを打つように、プリンタ（印刷部５）の制御を行う。
【００４７】
以上説明したように本実施形態によれば、上記ステップＳ１からＳ６の処理によって画像出力部５で印刷出力した２値画像に対して、レンチキュラ板等の光学部材を重ね合わせることにより、被写体の立体像が観察できる。また、該観察時に発生する縞を低減し、高画質の立体像を得ることができる。
【００４８】
なお本実施形態においては、立体像を得るための多視点画像シーケンスを、カメラを水平方向に等間隔ずつずらして撮影するとして説明したが、例えば、上記従来例で説明したような、立体写真アダプタをデジタルカメラに装着してステレオ画像を撮影するシステムにおいて、撮影したステレオ画像から被写体の奥行き分布を表す視差マップを抽出し、ステレオ画像と視差マップとから複数視点からの被写体の多視点画像シーケンスを生成するようにしてもよい。また同様に、上記従来例で説明したように、一枚の被写体画像から被写体領域を取得し、被写体領域から被写体の奥行き分布を表す視差マップを抽出し、被写体画像と視差マップとから複数視点からの被写体の多視点画像シーケンスを生成するようにしてもよい。
【００４９】
また、本実施形態においては、レンチキュラ板三次元画像の方式を用いた立体写真プリントシステムについて説明したが、本発明はバリア方式を用いた立体写真プリントシステムにも適用できる。バリア方式を用いた場合には、バリアの繰り返し方向に対して垂直方向の画素位置に応じて、複数の濃度パターンを切り替えて２値画像を生成すればよい。
【００５０】
また、本実施形態ではレンチキュラ板三次元画像を形成するシステムについて説明したが、例えば、多視点画像シーケンスの代わりにビデオカムコーダ等で撮影した動画像から複数時点での画像を選択し、時系列画像シーケンスを取得して、前述したＰＣでの処理プログラムへの入力としてもよい。この場合、印刷画像にレンチキュラ板を重ね合わせることで、被写体のアニメーションを観察することができる。動画像の場合には、左右の眼で同じ画像を観察した方が見易いため、画像の垂直方向で観察位置をずらしたときに別々の画像が観察できるよう、レンチキュラ板の円柱レンズ要素の繰り返し方向を垂直にする。従ってこの場合、上記図１のステップＳ５における濃度パターンの切り替えを、画像の水平方向の位置に沿って行うようにすればよい。
【００５１】
＜他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、立体画像プリンタなど）に適用してもよい。
【００５２】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５３】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５４】
【発明の効果】
以上説明したように本発明によれば、２値出力を行う画像形成装置より出力された画像について、レンチキュラ板等の光学部材を重ね合わせることにより立体視が可能となる。
【００５５】
また、光学部材を重ね合わせたときに発生する縞を低減し、高画質の立体画像を得ることができる。
【００５６】
また、本発明を時系列画像シーケンスに適用することによって、被写体のアニメーションが観察できる。
【図面の簡単な説明】
【図１】本発明に係る一実施形態の立体画像形成システムにおける処理アルゴリズムを示すフローチャートである。
【図２】本実施形態における立体画像形成システムの構成を示すブロック図である。
【図３】誤差拡散処理を説明する図である。
【図４】画素レベル毎の濃度パターンの一例を示す図である。
【図５】画素レベル１の領域に対して得られる２値画像のドットパターン例を示す図である。
【符号の説明】
１ 被写体
２ カメラ
３ 画像処理部
４ 表示部
５ 印刷部
Claims (16)
- 記録媒体上に形成された被写体画像に対し、一次元の周期的構造を有する光学部材を重ね合わせることによって被写体像を観察する画像形成システムであって、
前記被写体画像の画像シーケンスを取得する画像取得手段と、
前記画像シーケンスの各画像における同一座標の画素を隣接画素として配列するようにストライプ画像を合成する画像合成手段と、
前記ストライプ画像を誤差拡散法により階調数を低減して多値画像に変換する誤差拡散量子化手段と、
前記多値画像を濃度パターン法により２値のドットパターンに変換する２値化手段と、
前記２値のドットパターンを記録媒体上に形成する画像形成手段と、を有し、前記２値化手段は、前記多値画像における、前記光学部材の周期的構造の繰り返し方向に垂直な方向の画素位置に応じて、所定の複数ドットパターンのいずれかを選択することによって、該多値画像を２値のドットパターンに変換することを特徴とする画像形成システム。 - 前記２値化手段は、前記多値画像における、前記光学部材の周期的構造の繰り返し方向に垂直な方向の画素位置に応じて、前記複数ドットパターンを順次切り替えることを特徴とする請求項１記載の画像形成システム。
- 前記光学部材はレンチキュラ板であることを特徴とする請求項１または２記載の画像形成システム。
- 前記画像取得手段は、前記画像シーケンスとして複数視点からの被写体画像を取得し、
前記画像形成手段で形成された画像を前記光学部材を重ね合わせることによって被写体の立体像を観察可能とすることを特徴とする請求項１乃至３のいずれかに記載の画像形成システム。 - 前記画像取得手段は、
カメラを移動して撮影することによって前記複数視点からの被写体画像を前記画像シーケンスとして取得し、
前記画像シーケンスの各画像から、主被写体の視差をなくすように所定サイズの領域を切り出し、
該切り出した各領域を、前記画像形成手段における形成画像のサイズに応じて変倍する
ことを特徴とする請求項４に記載の画像形成システム。 - 前記画像取得手段は、
異なる２視点から被写体のステレオ画像を撮影し、
前記被写体の奥行き分布を表す視差マップを抽出し、
前記ステレオ画像と前記視差マップに基づいて前記被写体の複数視点からの多視点画像シーケンスを生成する
ことを特徴とする請求項４に記載の画像形成システム。 - 前記画像取得手段は、
一枚の被写体画像から被写体領域を取得し、
前記被写体領域から被写体の奥行き分布を表す視差マップを抽出し、
前記被写体画像と前記視差マップに基づいて前記被写体の複数視点からの多視点画像シーケンスを生成する
ことを特徴とする請求項４に記載の画像形成システム。 - 前記画像取得手段は、動画像から複数時点の画像を選択して時系列の画像シーケンスを取得し、
前記画像形成手段で形成された画像に前記光学部材を重ね合わせることによって、被写体のアニメーションを観察可能とすることを特徴とする請求項１乃至３のいずれかに記載の画像形成システム。 - 記録媒体上に形成された被写体画像に対し、一次元の周期的構造を有する光学部材を重ね合わせることによって被写体像を観察する画像形成装置であって、
前記被写体画像の画像シーケンスを取得する画像取得手段と、
前記画像シーケンスの各画像における同一座標の画素を隣接画素として配列するようにストライプ画像を合成する画像合成手段と、
前記ストライプ画像を誤差拡散法により階調数を低減して多値画像に変換する誤差拡散量子化手段と、
前記多値画像を濃度パターン法により２値のドットパターンに変換する２値化手段と、
前記２値のドットパターンを記録媒体上に形成する画像形成手段と、を有し、前記２値化手段は、前記多値画像における、前記光学部材の周期的構造の繰り返し方向に垂直な方向の画素位置に応じて、所定の複数ドットパターンのいずれかを選択することによって、該多値画像を２値のドットパターンに変換することを特徴とする画像形成装置。 - 前記２値化手段は、前記多値画像における、前記光学部材の周期的構造の繰り返し方向に垂直な方向の画素位置に応じて、前記複数ドットパターンを順次切り替えることを特徴とする請求項９記載の画像形成装置。
- 前記光学部材はレンチキュラ板であることを特徴とする請求項９または１０記載の画像形成装置。
- 記録媒体上に形成された被写体画像に対し、一次元の周期的構造を有する光学部材を重ね合わせることによって被写体像を観察する画像形成方法であって、
前記被写体画像の画像シーケンスを取得する画像取得工程と、
前記画像シーケンスの各画像における同一座標の画素を隣接画素として配列するようにストライプ画像を合成する画像合成工程と、
前記ストライプ画像を誤差拡散法により階調数を低減して多値画像に変換する誤差拡散量子化工程と、
前記多値画像を濃度パターン法により２値のドットパターンに変換する２値化工程と、
前記２値のドットパターンを記録媒体上に形成する画像形成工程と、を有し、前記２値化工程においては、前記多値画像における、前記光学部材の周期的構造の繰り返し方向に垂直な方向の画素位置に応じて、所定の複数ドットパターンのいずれかを選択することによって、該多値画像を２値のドットパターンに変換することを特徴とする画像形成方法。 - 前記２値化工程においては、前記多値画像における、前記光学部材の周期的構造の繰り返し方向に垂直な方向の画素位置に応じて、前記複数ドットパターンを順次切り替えることを特徴とする請求項１２記載の画像形成方法。
- 前記光学部材はレンチキュラ板であることを特徴とする請求項１２または１３記載の画像形成方法。
- コンピュータ上で実行されることによって、請求項１２乃至１４のいずれかに記載の画像形成方法を実現するプログラム。
- 請求項１５記載のプログラムを記録した記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001301217A JP3720747B2 (ja) | 2001-09-28 | 2001-09-28 | 画像形成システム及び画像形成装置、及び画像形成方法 |
| US10/247,282 US7532361B2 (en) | 2001-09-28 | 2002-09-20 | Image forming system, apparatus, and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001301217A JP3720747B2 (ja) | 2001-09-28 | 2001-09-28 | 画像形成システム及び画像形成装置、及び画像形成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003111104A JP2003111104A (ja) | 2003-04-11 |
| JP3720747B2 true JP3720747B2 (ja) | 2005-11-30 |
Family
ID=19121663
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001301217A Expired - Fee Related JP3720747B2 (ja) | 2001-09-28 | 2001-09-28 | 画像形成システム及び画像形成装置、及び画像形成方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7532361B2 (ja) |
| JP (1) | JP3720747B2 (ja) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4507392B2 (ja) * | 2000-11-15 | 2010-07-21 | 株式会社ニコン | 電子カメラ |
| CN1241106C (zh) * | 2001-10-09 | 2006-02-08 | 佳能株式会社 | 打印装置及其控制方法 |
| US7561288B2 (en) | 2002-07-05 | 2009-07-14 | Canon Kabushiki Kaisha | Recording system and controlling method therefor |
| JP4307167B2 (ja) | 2002-08-05 | 2009-08-05 | キヤノン株式会社 | デジタルカメラおよびプリンタ |
| JP4136817B2 (ja) * | 2002-08-05 | 2008-08-20 | キヤノン株式会社 | デジタルカメラ及びプリンタ |
| JP4227464B2 (ja) * | 2003-06-04 | 2009-02-18 | キヤノン株式会社 | 画像供給デバイスと記録システム及びその記録制御方法 |
| JP4639037B2 (ja) | 2003-07-18 | 2011-02-23 | キヤノン株式会社 | 画像処理方法および装置 |
| US7469072B2 (en) | 2003-07-18 | 2008-12-23 | Canon Kabushiki Kaisha | Image processing apparatus and method |
| US7409083B2 (en) * | 2003-07-18 | 2008-08-05 | Canon Kabushiki Kaisha | Image processing method and apparatus |
| US7111404B2 (en) * | 2003-07-30 | 2006-09-26 | Honda Motor Co., Ltd. | Shield apparatus for power trimmer |
| US7599348B2 (en) * | 2003-11-04 | 2009-10-06 | Lg Electronics Inc. | Digital E8-VSB reception system and E8-VSB data demultiplexing method |
| JP4208767B2 (ja) * | 2004-06-03 | 2009-01-14 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| WO2006041812A2 (en) * | 2004-10-05 | 2006-04-20 | Threeflow, Inc. | Method of producing improved lenticular images |
| US7924459B2 (en) * | 2006-04-11 | 2011-04-12 | Canon Kabushiki Kaisha | Data processing apparatus and method of expanding dot arrangement patterns |
| US8085292B2 (en) * | 2007-02-26 | 2011-12-27 | Joshua Bodinet | Process and system used to discover and exploit the illusory depth properties inherent in an autostereoscopic image |
| JP5040858B2 (ja) | 2008-01-08 | 2012-10-03 | 大日本印刷株式会社 | 立体画像印刷物 |
| JP4817130B2 (ja) * | 2008-01-08 | 2011-11-16 | 大日本印刷株式会社 | 立体画像印刷物 |
| WO2009087810A1 (ja) * | 2008-01-08 | 2009-07-16 | Dai Nippon Printing Co., Ltd. | 立体画像印刷物 |
| JP5246013B2 (ja) * | 2009-04-21 | 2013-07-24 | 大日本印刷株式会社 | 立体画像印刷表示装置 |
| JP5366756B2 (ja) * | 2009-10-19 | 2013-12-11 | キヤノン株式会社 | 情報処理装置及び情報処理方法 |
| JP5068391B2 (ja) * | 2009-10-30 | 2012-11-07 | 富士フイルム株式会社 | 画像処理装置 |
| US9124881B2 (en) | 2010-12-03 | 2015-09-01 | Fly's Eye Imaging LLC | Method of displaying an enhanced three-dimensional images |
| JP5777349B2 (ja) * | 2011-02-04 | 2015-09-09 | キヤノン株式会社 | 記録データ生成装置および記録データ生成方法 |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW221312B (ja) * | 1991-06-27 | 1994-02-21 | Eastman Kodak Co | |
| US5436738A (en) * | 1992-01-22 | 1995-07-25 | Eastman Kodak Company | Three dimensional thermal internegative photographic printing apparatus and method |
| JP3262414B2 (ja) | 1993-07-19 | 2002-03-04 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| JP2935009B2 (ja) | 1994-11-11 | 1999-08-16 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
| JPH08205199A (ja) * | 1995-01-27 | 1996-08-09 | Sanyo Electric Co Ltd | 立体画像変換方法および立体画像表示装置 |
| JPH08242469A (ja) * | 1995-03-06 | 1996-09-17 | Nippon Telegr & Teleph Corp <Ntt> | 撮像カメラ装置 |
| JP3653790B2 (ja) * | 1995-05-23 | 2005-06-02 | 松下電器産業株式会社 | 立体電子ズーム装置及び立体画質制御装置 |
| US5963664A (en) * | 1995-06-22 | 1999-10-05 | Sarnoff Corporation | Method and system for image combination using a parallax-based technique |
| JP3423491B2 (ja) * | 1995-07-28 | 2003-07-07 | キヤノン株式会社 | 画像処理方法、プリント方法、画像処理装置、プリント装置および表示装置 |
| JPH09102968A (ja) | 1995-10-03 | 1997-04-15 | Canon Inc | 立体画像表示装置 |
| JP3877080B2 (ja) * | 1996-05-24 | 2007-02-07 | オリンパス株式会社 | 立体視ディスプレイ装置 |
| US6389179B1 (en) * | 1996-05-28 | 2002-05-14 | Canon Kabushiki Kaisha | Image combining apparatus using a combining algorithm selected based on an image sensing condition corresponding to each stored image |
| US6133943A (en) * | 1996-09-30 | 2000-10-17 | Intel Corporation | Method and apparatus for producing a composite image |
| JP3436074B2 (ja) * | 1997-06-10 | 2003-08-11 | トヨタ自動車株式会社 | 車載ステレオカメラ |
| JPH114375A (ja) * | 1997-06-13 | 1999-01-06 | Olympus Optical Co Ltd | 電子的撮像装置 |
| JP3773011B2 (ja) * | 1997-06-20 | 2006-05-10 | シャープ株式会社 | 画像合成処理方法 |
| JPH11168754A (ja) * | 1997-12-03 | 1999-06-22 | Mr System Kenkyusho:Kk | 画像の記録方法、画像データベースシステム、画像記録装置及びコンピュータプログラムの記憶媒体 |
| US6304284B1 (en) * | 1998-03-31 | 2001-10-16 | Intel Corporation | Method of and apparatus for creating panoramic or surround images using a motion sensor equipped camera |
| US6771304B1 (en) * | 1999-12-31 | 2004-08-03 | Stmicroelectronics, Inc. | Perspective correction device for panoramic digital camera |
-
2001
- 2001-09-28 JP JP2001301217A patent/JP3720747B2/ja not_active Expired - Fee Related
-
2002
- 2002-09-20 US US10/247,282 patent/US7532361B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20030067638A1 (en) | 2003-04-10 |
| JP2003111104A (ja) | 2003-04-11 |
| US7532361B2 (en) | 2009-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3720747B2 (ja) | 画像形成システム及び画像形成装置、及び画像形成方法 | |
| KR100378911B1 (ko) | 정보 처리 방법 | |
| US7113634B2 (en) | Stereoscopic image forming apparatus, stereoscopic image forming method, stereoscopic image forming system and stereoscopic image forming program | |
| CA2097508C (en) | Method and apparatus for halftone rendering of a gray scale image using a blue noise mask | |
| JP3813387B2 (ja) | 情報埋込方法および装置並びに記録媒体 | |
| DE60213657T2 (de) | Erzeugung von graphischen kodes durch halbtonrasterung mit eingefügter graphischer kodierung | |
| US7072522B2 (en) | Image processing apparatus and method | |
| JP2020010146A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP4844331B2 (ja) | 画像データの処理方法および装置 | |
| JP2019144606A (ja) | 出力装置、制御方法およびプログラム | |
| JP3547892B2 (ja) | 画像記録装置及び画像記録方法 | |
| JP2003047027A (ja) | 立体画像形成システム、立体画像形成方法、プログラムおよび記憶媒体 | |
| JP2007013516A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、画像処理プログラムを記録した機械読取可能な記録媒体および印刷物 | |
| CN101846879B (zh) | 光栅图像分色的加网方法和承印物上的光栅图像制造方法 | |
| CN103929565B (zh) | 图像处理装置以及图像处理方法 | |
| JP2004078697A (ja) | 画像処理方法、画像形成方法、画像処理装置、及び画像形成装置 | |
| CN110163789B (zh) | 基于莫尔效应的半色调复印脆弱水印技术方法 | |
| KR20120022642A (ko) | 화상 처리 장치, 및 화상 처리 장치의 제어 방법 | |
| JP2004350240A (ja) | 画像処理装置及び画像処理方法 | |
| JP2003346188A (ja) | 立体画像形成システム | |
| US11120315B2 (en) | Image processing apparatus, image processing method, and non-transitory computer readable storage medium, with image processing using distance information equivalent to distance from focal plane at time of image-capturing and image processing condition | |
| EP0361538A1 (en) | Method and system for edge enhancement in reproducing multi-level digital images on a bi-level printer of fixed dot size | |
| JP7356218B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| CN107567709A (zh) | 图像压缩 | |
| JP7325751B2 (ja) | 印判用画像処理装置および印判加工機 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050818 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050826 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050908 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090916 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090916 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100916 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100916 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110916 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110916 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120916 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120916 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130916 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |