JP4075418B2 - 画像処理装置及び画像処理方法、印刷物製造装置及び印刷物製造方法、並びに印刷物製造システム - Google Patents
画像処理装置及び画像処理方法、印刷物製造装置及び印刷物製造方法、並びに印刷物製造システム Download PDFInfo
- Publication number
- JP4075418B2 JP4075418B2 JP2002071420A JP2002071420A JP4075418B2 JP 4075418 B2 JP4075418 B2 JP 4075418B2 JP 2002071420 A JP2002071420 A JP 2002071420A JP 2002071420 A JP2002071420 A JP 2002071420A JP 4075418 B2 JP4075418 B2 JP 4075418B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- gazing point
- moving image
- motion correction
- parallax image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 225
- 239000000463 material Substances 0.000 title claims description 123
- 238000004519 manufacturing process Methods 0.000 title claims description 111
- 238000003672 processing method Methods 0.000 title claims description 13
- 230000033001 locomotion Effects 0.000 claims description 340
- 238000012937 correction Methods 0.000 claims description 225
- 238000000034 method Methods 0.000 claims description 145
- 230000008569 process Effects 0.000 claims description 110
- 238000006243 chemical reaction Methods 0.000 claims description 93
- 238000007639 printing Methods 0.000 claims description 77
- 238000004891 communication Methods 0.000 claims description 56
- 238000003384 imaging method Methods 0.000 claims description 18
- 230000009467 reduction Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000009499 grossing Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 22
- 238000013500 data storage Methods 0.000 description 18
- 230000000694 effects Effects 0.000 description 10
- 238000001514 detection method Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 235000006481 Colocasia esculenta Nutrition 0.000 description 1
- 240000004270 Colocasia esculenta var. antiquorum Species 0.000 description 1
- 206010015535 Euphoric mood Diseases 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012840 feeding operation Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000001093 holography Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
- G03H1/268—Holographic stereogram
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2210/00—Object characteristics
- G03H2210/62—Moving object
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Holo Graphy (AREA)
- Television Signal Processing For Recording (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、視差画像印刷物に適した動画像データを生成するための画像処理装置及び画像処理方法、一般的に撮影された動画像データを用いて視差画像印刷物を印刷する印刷物製造装置及び印刷物製造方法、並びに印刷物製造システム、さらにはこの印刷物製造システムを構成する通信端末装置及びプリント装置を提供することを目的とする。
【０００２】
【従来の技術】
近年、静止画像だけではなく、動画像や視差画像を撮影して印刷するシステムが開発されており、視認する方向を変化させることで、視認される画像が変化する印刷物を得ることができる。以下、本明細書では、このような見る方向によって視認される画像が変化する印刷物を視差画像印刷物又は本願の印刷物と称する。
【０００３】
視差画像印刷物を用いた事業が展開されている例としては、レンチキュラ技術を利用して印刷物としての視差画像写真を作成するものがあり、例えば、コニカ株式会社による３眼式レンズ付きフィルム「撮りっきりコニカ３Ｄ（登録商標）」とその印刷サービス、コダック株式会社による３眼式レンズ付きフィルム「Ｋｏｄａｋスナップキッズ３Ｄ（登録商標）」とその印刷サービス、松下電器産業株式会社により開発されたものであり、６枚の画像を合成した商品名「ＭＩＰ（Motion Image Print）カード」と、このカードを作成する装置である「うごい太郎（登録商標）」、株式会社ちきゅう屋によるサービスであり、上述した「うごい太郎（登録商標）」により作成されるカードの注文をいわゆるインターネットで受け付けるサービス、松下電器産業株式会社による業務用アミューズメント機器の受注販売であり、撮影した連続写真を視認する角度によって被写体が動いているように見える１枚のカードとして提供する動画カードの自動販売機、といったものが挙げられる。
【０００４】
また、同様に視差画像印刷物のシステムとしては、ホログラフィ技術を利用して印刷物を作成するものがあり、このような技術としては、例えば「Akira Shirakura, Nobuhiro Kihara and Shigeyuki Baba, "Instant holographic portrait printing system", Proceeding of SPIE, Vol. 3293, pp. 246-253, Jan. 1998」や「木原、白倉、馬場："高速ホログラムポートレイトプリントシステム"、３次元画像コンファレンス１９９８、１９９８年７月」に記載されているように、横方向のみの視差を表現可能とする印刷物を作製するシステムの他、「山口、本田、大山："リップマンホログラフィックステレオグラムを用いたホログラフィック３Ｄプリンタ"、第２０回画像工学コンファレンス、１９８９年１２月」や「遠藤、山口、本田、大山："ホログラフィック・３−Ｄプリンタの高密度記録"、第２３回画像工学コンファレンス、１９９２年１２月」に記載されているように、縦横両方向の視差を表現可能とする印刷物を作製するシステムが挙げられる。
【０００５】
上述したように視差画像を印刷物として得るシステムにあっては、印刷の対象となる動画像や視差画像を、複数の画像を動画像のように表示したり、専用のカメラによって異なる視点からの視差のある画像を撮影したり、コンピュータグラフィックス（computer graphics：以下、ＣＧと称する。）によって異なる視点からの視差のある画像を生成したりすることによって得ている。
【０００６】
例えば、被写体をカメラによって撮影する場合には、図２２（ａ）に示すように、カメラＣを円弧等の曲線状や直線状の軌道に沿って移動させるレール１００や、同図（ｂ）に示すように、載置したカメラＣを回転させる撮影台１１０等、従来は専用の器材や、この器材に取り付ける専用のカメラを用いて視差画像の撮影を行っていた。また、撮影するカメラ自体ではなく、被写体を回転する撮影台に乗せて回転させる等して撮影する場合もあるが、この場合でも被写体を回転させる撮影台という専用の器材が必要であった。
【０００７】
そして、上述したレールや撮影台を使用した撮影では、その並進移動速度や回転速度を、時間変化として定められた速度量や一定量の速度（一定速度）として撮影し、得られた画像を視差画像印刷物に適した画像へと変換するための画像処理に用いるパラメータとして、この速度量を利用していた。
【０００８】
また、複数の画像を動画像のように表示する場合にあっても、上述したレールや撮影台等の専用の器材や専用のカメラ等に相当する設備を用いた視差画像印刷物の製造を前提とする撮影が行われていた。
【０００９】
一方、近年においては、デジタルスチルカメラ（Digital Still Camera）やデジタルビデオカムコーダ（Digital Video Camcorder）の普及が進んでいる。そして、これらの普及にともない、被写体を撮影した後、動画像を画像データとしてコンピュータに取り込み、画像処理を行う環境も普及している。
【００１０】
上述したようなデジタルスチルカメラやデジタルビデオカムコーダ等を使用した撮影に限らず、被写体や風景の映像に遠近感や奥行感、立体感を与えるために、カメラを被写体に対して横走りさせて撮影したり、被写体の周囲を回り込むようにして撮影したり、ズームの時間的な変化や被写体の動きに合わせたフレームワークやカメラワーク等の撮影技法を用いて動画像の撮影が行われている。
【００１１】
このような撮影技法、例えば基本的なカメラワークとしては、カメラ位置を固定して向きを左右に振るパン（pan）、カメラ位置を固定して向きを上下に振るチルト（tilt）、カメラの位置を左右又は上下に平行に動かすトラック（track）、カメラの位置を上下に動かすクレーン（crane）、カメラの位置を前後に動かして被写体を大きく又は小さく写すドリー（dolly：トラックアップ、トラックバックともいう。）、レンズにより被写体を大きく又は小さく写すズーム（zoom）、注視点を固定して回り込むようにカメラの位置と向きを動かすタンブル（tumble）等がある。
【００１２】
また、動画像の撮影技法での代表的な例としては、映画「The Matrix」（１９９９年３月米国公開、配給：Warner Bros.、邦題「マトリックス」、１９９９年９月日本公開、配給：タイムワーナーエンタテインメントジャパン株式会社）で使用されたブレットタイム撮影、又はマシンガン撮影と呼ばれる技法がある。この技法は、まず演技をする人物たる被写体の周囲にリモートコントロール可能な数十台から数百台のスチルカメラを配置する。そして、被写体となる人物が演技をしているところを、これら多数台のスチルカメラのシャッターを僅かな時間差で切って撮影する。このように撮影した画像を用いることによって、被写体に対する視点の変化と人物の演技の動きとが連動して、スローモーションのように再生される動画像の撮影が可能となるというものである。
【００１３】
上述した撮影技法における動画像に対して、映像信号処理やコンピュータ画像処理等によって動画像の立体感を増す処理を行い、その処理結果を動画像として表示する、いわゆる動画像の疑似立体化技術においては、いくつかの研究開発がなされている。例えば、特公昭５５−３６２４０号公報（発明の名称：立体画像表示装置）や特開平７−５９１１９号公報（発明の名称：疑似立体映像表示装置）、特開平９−３７３０３号公報（発明の名称：符号化画像処理方法、符号化画像処理装置および符号化画像処理回路）等に動画像の疑似立体化技術が記載されている。
【００１４】
【発明が解決しようとする課題】
以上述べたような撮影技法や疑似立体化技術等は、撮影した動画像を、動画像として表示する、すなわち時系列で表示する場合における技法である。これに対し、視差画像印刷物の如く、動画像を空間的に、角度方向として表示する場合は、これら時系列で表示させるための技法によって撮影された動画像データをそのまま視差画像印刷物として印刷すると、画像内容が動きすぎてぶれた感じになってしまい、実用的ではなかった。
【００１５】
したがって、視差画像印刷物のように、動画像を空間的に表示する場合は、前述のようなレールや回転台等の専用のカメラや器材等で視差画像印刷物の製造を前提とした撮影手法が行われていた。
【００１６】
しかしながら、一般のユーザがデジタルスチルカメラ等で行う撮影は、このような専用のカメラや器材を用いるものではなく、被写体の映像に遠近感や奥行感や立体感を与えるために、カメラを横走りさせて撮影したり、被写体の周囲を回り込むように撮影したり、時間的な変化のあるズームや被写体の動きに合わせたフレームワークなどの時系列で表示するための撮影技法を用いる場合が普通である。すなわち逆に言うと、視差画像印刷物の製造を意識して行う撮影は、通常ほとんど見られない。
【００１７】
そこで、本発明は、特に視差画像印刷物にすることを目的とせずに、一般的に撮影された動画像データを、視差画像印刷物に適した動画像データへと変換する画像処理装置及び画像処理方法、一般的に撮影された動画像データを用いて視差画像印刷物を印刷する印刷物製造装置及び印刷物製造方法、並びに印刷物製造システム、さらにはこの印刷物製造システムを構成する通信端末装置及び印刷物製造装置を提供することを目的とする。
【００１８】
【課題を解決するための手段】
上述した目的を達成する本発明に係る画像処理装置は、動画像データを構成する複数のフレームから基準となる少なくとも一のフレームを設定するとともに、該基準となるフレームにおける被写体に注視点を設定する注視点設定手段と、この注視点設定手段によって設定された基準となるフレームにおける注視点と、他のフレームにおける注視点への対応点との関係から注視点の移動量を算出するとともに、この移動量に基づいて各フレームについての動き補正量を算出し、動き補正量に基づいて動画像データに対する動き補正処理を行い、動画像データの中にある所定の位置の被写体を視差画像印刷物の面上に再生像として定位させて、視認する方向によって視認される画像が変化する視差画像印刷物として印刷可能な視差画像データに動画像データを変換する動き補正処理手段とを備えることを特徴とする。
【００１９】
また、本発明に係る他の画像処理方法は、動画像データを構成する複数のフレームから基準となる少なくとも一のフレームを設定するとともに、該基準となるフレームにおける被写体に注視点を設定する工程と、基準となるフレームにおける注視点と、他のフレームにおける注視点への対応点との関係から注視点の移動量を算出するとともに、移動量に基づいて各フレームについての動き補正量を算出し、動き補正量に基づいて動画像データに対する動き補正処理を行い、動画像データの中にある所定の位置の被写体を視差画像印刷物の面上に再生像として定位させて、視認する方向によって視認される画像が変化する視差画像印刷物として印刷可能な視差画像データに動画像データを変換する工程とを備えることを特徴とする。
【００２０】
上述した本発明に係る画像処理装置及び画像処理方法は、ユーザが普通に、すなわち視差画像印刷物の製造を意識しないで撮影した動画像データを、視差画像印刷物の製造に適した視差画像データに変換する。したがって、本発明によれば、専用のカメラや器材を用いることなく、簡易に視差画像印刷物に適した動画像データを得ることが可能とされる。
【００２１】
本発明に係る画像処理装置は、動画像データを構成する複数のフレームから基準となる少なくとも一のフレームを設定するとともに、該基準となるフレームにおける被写体に注視点を設定する注視点設定手段と、注視点設定手段によって設定された基準となるフレームにおける注視点と、他のフレームにおける注視点への対応点との関係から注視点の移動量を算出するするとともに、移動量に基づいて各フレームについての動き補正量を算出する補正量算出手段と、動き補正量算出手段によって算出された動き補正量が加算された画像変換に関するパラメータを生成し、該パラメータに基づいて、動画像データの中にある所定の位置の被写体を視差画像印刷物の面上に再生像として定位させて、動画像データを視認する方向によって視認される画像が変化する視差画像印刷物として印刷可能なデータに変換する画像変換処理手段とを備えることを特徴とする。
【００２２】
また、本発明に係る他の画像処理方法は、動画像データを構成する複数のフレームから基準となる少なくとも一のフレームを設定するとともに、該基準となるフレームにおける被写体に注視点を設定する工程と、基準となるフレームにおける注視点と、他のフレームにおける注視点への対応点との関係から注視点の移動量を算出するするとともに、移動量に基づいて各フレームについての動き補正量を算出する工程と、動き補正量が加算された画像変換に関するパラメータを生成し、該パラメータに基づいて、動画像データの中にある所定の位置の被写体を視差画像印刷物の面上に再生像として定位させて、動画像データを視認する方向によって視認される画像が変化する視差画像印刷物として印刷可能なデータに変換する工程とを備えることを特徴とする。
【００２３】
上述した本発明に係る画像処理装置及び画像処理方法は、ユーザが普通に、すなわち視差画像印刷物の製造を意識しないで撮影した動画像データを、動画像データを視差画像印刷物として印刷可能なデータに変換する。したがって、本発明によれば、専用のカメラや器材を用いることなく、簡易に視差画像印刷物に適した動画像データを得ることが可能とされる。
【００２４】
本発明に係る印刷物製造装置は、動画像データを構成する複数のフレームから基準となる少なくとも一のフレームを設定するとともに、該基準となるフレームにおける被写体に注視点を設定する注視点設定手段と、注視点設定手段によって設定された基準となるフレームにおける注視点と、他のフレームにおける注視点への対応点との関係から注視点の移動量を算出するとともに、移動量に基づいて各フレームについての動き補正量を算出し、動き補正量に基づいて動画像データに対する動き補正処理を行い、動画像データの中にある所定の位置の被写体を視差画像印刷物の面上に再生像として定位させて、視認する方向によって視認される画像が変化する視差画像印刷物として印刷可能な視差画像データに動画像データを変換する動き補正処理手段と、視差画像データに基づいて視差画像印刷物を印刷する印刷手段とを備えることを特徴とする。
【００２５】
また、本発明に係る印刷物製造方法は、動画像データを構成する複数のフレームから基準となる少なくとも一のフレームを設定するとともに、該基準となるフレームにおける被写体に注視点を設定する工程と、基準となるフレームにおける注視点と、他のフレームにおける注視点への対応点との関係から注視点の移動量を算出するとともに、移動量に基づいて各フレームについての動き補正量を算出し、動き補正量に基づいて動画像データに対する動き補正処理を行い、動画像データの中にある所定の位置の被写体を視差画像印刷物の面上に再生像として定位させて、視認する方向によって視認される画像が変化する視差画像印刷物として印刷可能な視差画像データに動画像データを変換する工程と、視差画像データに基づいて視差画像印刷物を印刷する工程とを備えることを特徴とする。
【００２６】
本発明に係る印刷物製造装置は、動画像データを構成する複数のフレームから基準となる少なくとも一のフレームを設定するとともに、該基準となるフレームにおける被写体に注視点を設定する注視点設定手段と、注視点設定手段によって設定された基準となるフレームにおける注視点と、他のフレームにおける注視点への対応点との関係から注視点の移動量を算出するとともに、移動量に基づいて各フレームについての動き補正量を算出する動き補正量算出手段と、動き補正量算出手段によって算出された動き補正量が加算された画像変換に関するパラメータを生成し、該パラメータに基づいて、動画像データの中にある所定の位置の被写体を視差画像印刷物の面上に再生像として定位させて、動画像データを視認する方向によって視認される画像が変化する視差画像印刷物として印刷可能なデータに変換する画像変換処理手段と、視差画像印刷物として印刷可能なデータに基づいて視差画像印刷物を印刷する印刷手段とを備えることを特徴とする。
【００２７】
また、本発明に係る印刷物製造方法は、動画像データを構成する複数のフレームから基準となる少なくとも一のフレームを設定するとともに、該基準となるフレームにおける被写体に注視点を設定する工程と、基準となるフレームにおける注視点と、他のフレームにおける注視点への対応点との関係から注視点の移動量を算出するとともに、移動量に基づいて各フレームについての動き補正量を算出する工程と、動き補正量が加算された画像変換に関するパラメータを生成し、該パラメータに基づいて、動画像データの中にある所定の位置の被写体を視差画像印刷物の面上に再生像として定位させて、動画像データを視認する方向によって視認される画像が変化する視差画像印刷物として印刷可能なデータに変換する工程と、視差画像印刷物として印刷可能なデータに基づいて視差画像印刷物を印刷する工程とを備えることを特徴とする。
【００２８】
本発明に係る印刷物製造システムは、動画像データが入力される動画像入力手段と、動画像データを構成する複数のフレームから基準となる少なくとも一のフレームを設定するとともに、該基準となるフレームにおける被写体に注視点を設定する注視点設定手段と、動画像データと注視点に関するデータとを送信する第１の通信手段とを備える通信端末装置と、第１の通信手段からのデータを受信する第２の通信手段と、基準となるフレームにおける注視点と、他のフレームにおける注視点への対応点との関係から注視点の移動量を算出するとともに、移動量に基づいて各フレームについての動き補正量を算出し、動き補正量に基づいて動画像データに対する動き補正処理を行い、動画像データの中にある所定の位置の被写体を視差画像印刷物の面上に再生像として定位させて、視認する方向によって視認される画像が変化する視差画像印刷物として印刷可能な視差画像データに動画像データを変換する動き補正処理手段と、視差画像データに基づいて視差画像印刷物を印刷する印刷手段とを有するプリント装置からなることを特徴とする。
【００２９】
また、本発明に係る印刷物製造システムは、動画像データが入力される動画像入力手段と、動画像データを構成する複数のフレームから基準となる少なくとも一のフレームを設定するとともに、該基準となるフレームにおける被写体に注視点を設定する注視点設定手段と、基準となるフレームにおける注視点と、他のフレームにおける注視点への対応点との関係から注視点の移動量を算出するとともに、移動量に基づいて各フレームについての動き補正量を算出し、動き補正量に基づいて動画像データに対する動き補正処理を行い、動画像データの中にある所定の位置の被写体を視差画像印刷物の面上に再生像として定位させて、視認する方向によって視認される画像が変化する視差画像印刷物として印刷可能な視差画像データに動画像データを変換する動き補正処理手段と、動画像データに関するデータを送信する第１の通信手段とを備える通信端末装置と、第１の通信手段からのデータを受信する第２の通信手段と、第１の通信手段からの動画像データに関するデータに基づいて視差画像印刷物を印刷する印刷手段とを有するプリント装置からなることを特徴とする。
【００３０】
上述した本発明に係る印刷物製造装置及び印刷物製造方法、並びに印刷物製造システム、このシステムを構成する情報端末装置及び印刷物製造装置は、上述した画像処理方法を適用しての視差画像印刷物の製造が簡易に実施可能とされる。したがって、本発明によれば、ユーザが普通に撮影した動画像データを基にして、種々の視差画像印刷物が製造可能とされ、娯楽性の高いホログラフィックステレオグラム等の視差画像印刷物が簡易に入手可能とされる。
【００３１】
【発明の実施の形態】
本発明は、一般的に撮影された動画像データ、具体的には視差画像印刷物の製造を前提とせず、専用のカメラや撮影台等の専用の器材を使用しないで撮影された動画像データ（以下、単に一般的な動画像データと称して説明する。）を利用して、視差画像印刷物の製造を可能とするものである。以下、本発明の具体的な実施に形態について図面を参照しながら詳細に説明する。なお、本明細書における一般的な動画像データとは、フレームレートが３０フレーム等とされる狭義の動画像データはもちろん、フレームレートが１５フレーム等とされる疑似動画像データ、及び、複数枚の連続したスチル画像データなどを含む、いわゆる広義の動画像データを意味するものである。また、以下の説明においては、視差画像印刷物としてホログラフィックステレオグラムを製造するものとして説明し、視差画像印刷物に適した動画像データ（以下、視差画像データと称して説明する。）がホログラフィックステレオグラムに印刷（露光）可能な画像データであるものとして説明する。
【００３２】
まず、本発明の説明に先立ち、視差画像印刷物としてのホログラフィックステレオグラムの製造に用いる動画像データの一般的な撮影手法の一例について説明する。従来からの専用の器材やカメラ等を用いた視差画像印刷物の製造を前提とする視差画像データの撮影では、例えば図１に示すように、カメラＣを円弧状の軌道に沿って、同図中におけるカメラ位置Ｃ−１からカメラ位置Ｃ−５へ移動させながら撮影を行うことによって生成される。その後、生成された視差画像データに対しては、これを視差画像印刷物として記録するために、露光や印刷等の当該視差画像印刷物の製造方式ごとに定められた、表示される再生像との幾何的又は空間的な関係に基づいて、視点変換等の変換処理が施される。したがって、視差画像印刷物としては、この変換処理が施された動画像データが記録されることになる。
【００３３】
ここで、一般的に、視差画像印刷物にて表示される再生像の位置は、図２に示すように、視差画像印刷物Ｘの面を中心として配置されることが多く、視差画像印刷物Ｘの面の前後に表示される像によって奥行感が表現される。このような再生像の配置は、視差画像印刷物において「表示される像を面上に定位させる」と表現される。
【００３４】
この視差画像印刷物の製造を前提とする視差画像データに対して、再生像となる被写体の中の点を視差画像印刷物の面上に定位させることを考える。
【００３５】
例えば、上述した図１に示すカメラＣのように、円弧状の軌道に沿って移動して撮影する場合を考えると、通常図２に示すように、その円弧の中心を含む直線上に視差画像印刷物の面があると想定される。そして、図１に示した撮影手法においては、この円弧の中心との距離を等距離に保ちつつ、角度を変えて移動しながら撮影される。このように撮影された動画像データの中では、円弧の中心に対応する画素位置は、被写体の中のある一点、すなわち円弧の中心点を捕らえて、角度を変えながら撮影していることになる。
【００３６】
したがって、撮影された動画像データの中で、被写体のある一点を捕らえて、同じ画素位置で角度を変えながら撮影している状況を作り出せれば、その点を視差画像印刷物の面上に定位させることができる。
【００３７】
つまり、被写体のある一点を注視点として設定し、この被写体に設定する注視点を常に同じ画素位置に保つことができれば、一般的な動画像データであっても、表示される像を視差画像印刷物の面上に定位させることができる視差画像印刷物に適した視差画像データへと変換することができる。
【００３８】
そこで、本発明においては、視差画像印刷物の面上に再生像を定位させるために、上述したように被写体に設定する注視点を一定画素位置に保つようにすることにより、一般的な動画像データを視差画像データへと変換する。この処理について以下に説明する。
【００３９】
まず、一般的な動画像データを撮影する。図３は、一般的な動画像データの撮影手法の一例として、注視点を固定して回り込むようにカメラＣの位置と向きとを動かす、いわゆるタンブルして被写体である人物Ｈを撮影する状態を示す図であり、図４は、この撮影にて得られた動画像データを構成するフレームの一部を示す図である。
【００４０】
同図中一点鎖線にて示す円弧状の軌道Ａに沿って撮影されたならば、図１と同じ状態になり、本発明の変換処理は必要としない。一方、撮影者が一般的な動画像の撮影方法としてのタンブルを行おうとするが、実際には、同図中実線にて示す軌道Ｂのように移動して撮影が行われる。このように、実際の撮影においては、カメラＣの移動速度や移動方向、具体的には被写体たる人物Ｈに対するカメラＣの前後左右及び上下の位置、さらにはレンズの方向（撮影の視線方向）に誤差やムラが生じてしまうことになる。したがって、軌道Ｂに沿って移動して撮影された一般的な動画像データは、軌道Ａに沿って撮影された視差画像データたる動画像データとは異なり、各フレームにおける人物Ｈの位置が一定ではないものとなる。特に、上述した撮影を手持ちのカメラＣによって行った場合においても、得られる動画像データは、時系列で表示する動画像として見た場合には表現力のある映像となるが、視差画像印刷物用の動画像データとするには動きすぎる画像となり、視差画像印刷物に適さないデータとなる。そこで、本発明においては、このような一般的な動画像データを視差画像データに変換するために、以下に示す動き補正処理を施す。
【００４１】
一般的な動画像データに対する動き補正処理においては、まず、視差画像印刷物の面上に定位させる被写体の中の一点、すなわち注視点が一般的な動画像データのある画素位置に設定される。この注視点の設定は、撮影された一般的な動画像データを構成する複数のフレームのうちの少なくとも一つを基準となるフレームとし、この基準となるフレームに映し出されている被写体に対して行われる。本例においては、１２０フレームで構成された一般的な動画像データの６０フレーム目にあたる図４に示すフレームｆ３を基準フレームとし、このフレームｆ３における人物Ｈの鼻の付け根の位置を注視点として設定した。なお、上述した基準となるフレームは、任意に定めることができるが、被写体をなるべく大きな割合で含むフレームを基準として選択することが好ましい。
【００４２】
なお、通常は、１つの基準となるフレームにおいて注視点を設定すれば十分であるが、被写体に対する角度を変えながら撮影しているので、注視点近傍の画像データにおける被写体の形状や色情報が大きく変化する場合がある。このような場合、後述する注視点の移動量の測定において、誤差が大きくなったり、誤検出する現象が生じる虞がある。このような現象を予防するために、注視点が被写体中の同一の場所であることをユーザが認識した上で、基準となるフレームを２つ以上設け、それぞれのフレームで被写体中の同一の場所となる注視点を設定するようにしても良い。
【００４３】
そして、動き補正処理においては、人物Ｈの鼻の付け根の位置を注視点として設定した後に、基準となるフレームｆ３に映し出されている注視点たる鼻の付け根の位置に対する、全てのフレームに映し出されている鼻の付け根の位置の画素位置の移動量を算出する。本例における注視点の移動量の測定結果を図５に示す。なお、この注視点の移動量は、各フレームの間で相関処理を行うことによって測定することができる。このような各フレーム間での相関処理には、例えばＭＰＥＧ（Moving Picture Experts Group）−１、ＭＰＥＧ−２等の動画圧縮処理において動き検出や動き補償に用いられている技術や、コンピュータ等の画像処理分野におけるオプティカルフロー検出の技術を応用することができる。
【００４４】
図５は、６０フレーム目、すなわち図４に示すフレームｆ３の注視点の位置を原点と定め、このフレームｆ３の注視点に対して他の各フレームの注視点が、水平方向及び垂直方向にどれだけ移動しているかを、上記ほかの動き検出方法によって検出した結果を示している。この図５に示す測定結果から、各フレームの注視点の位置は一定ではなく、撮影時のカメラの移動速度や移動方向、レンズの方向の変化に応じて様々な位置に移動していることがわかる。
【００４５】
次に、動き補正処理においては、算出した移動量に基づいて各フレームについての動き補正量を算出し、この動き補正量を用いて、各フレームの注視点の位置を、基準となるフレームｆ３の注視点と同じ座標上に位置させるような処理を行う。動き補正処理においては、上述した動き補正量に基づいて、フレームｆ１、ｆ２、ｆ４、ｆ５、及び図示を省略している他の各フレームの画像を水平方向及び垂直方向に移動させる平行移動処理が行われる。具体的には、動き補正処理においては、図６（ａ）に示すように、算出した動き補正量だけフレームｆ１における画像を右方向及び下方向に平行移動し、算出した動き補正量だけフレームｆ２における画像を右方向及び下方向に平行移動し、算出した動き補正量だけフレームｆ４における画像を左方向及び下方向に平行移動し、算出した動き補正量だけフレームｆ５における画像を左方向及び下方向に平行移動する。なお、ここでは、フレームｆ３を原点として注視点の移動量を算出したため、フレームｆ３については移動させることはない。動き補正処理においては、このような平行移動処理を行うことによって、注視点である各フレームの人物Ｈの鼻の付け根位置が、水平方向において全て同図（ａ）に示す基準線Ｌ１上に位置し、また垂直方向において特に基準線は示さないが同一座標に位置するようになり、同図（ｂ）に示すように、カメラＣの向きを同図中矢印方向に移動させ円弧状の軌道Ａに沿って撮影したかのような画像に近づけることができ、一般的な動画像データから視差画像データに変換することができる。実際に、変換後の視差画像データを用いて視差画像印刷物を作製したところ、画像内容が動きすぎてぶれた感じになることもなく、立体感のある良好な視差画像印刷物を得ることができた。
【００４６】
ところで、本来、視差画像印刷物の製造を前提とする撮影、すなわちカメラや被写体を回転又は平行移動させる撮影台やレール等の専用の器材を用いた撮影においては、印刷や露光等の視差画像印刷物の製造方式と表示再生条件とにおける幾何的及び空間的な関係を忠実に再現するために、カメラや被写体の並進移動速度や回転速度を規定した撮影が行われている。
【００４７】
一方で、本発明において一般的な動画像データから変換された視差画像データでは、視差画像印刷物の製造方式と表示再生条件との幾何的及び空間的な関係が、視差画像印刷物の製造を前提とする撮影で再現しようとしている関係に忠実ではない。しかしながら、人間が視差画像印刷物を観察する場合において、視差画像印刷物と人間の両眼との相対的な移動における幾何的及び空間的な関係は、それほど厳密な関係が求められているわけではない。したがって、上述した動き補正処理によって変換された視差画像データは、人間の認識可能範囲内における幾何的及び空間的な関係を保つことで、遠近感や奥行感、立体感を与える再生像を観察し得る視差画像印刷物の作製が可能とされる。
【００４８】
なお、注視点を視差画像印刷物の面上に定位させるようにする、すなわち全てのフレームの注視点を同一画素位置に位置させるには、上述した平行移動処理を行うだけでなく、注視点を中心とした画像の回転処理や拡大縮小処理を行うことが望ましい。動き補正処理においては、これらの処理を平行移動処理と併せて行うことにより、撮影時の不要なパン、チルト、トラック、クレーン、ドリーなどの効果、すなわち視差画像印刷物における人間の認識範囲に幾何的及び空間的な関係を損なうようなカメラの移動速度や移動方向、レンズの方向の誤差やムラを低減することができる。
【００４９】
このような回転処理や拡大縮小処理を行う場合、上述した視差画像印刷物の面上に定位させる位置である注視点のほかに、回転量や拡大縮小量を検出するための複数の注視点（以下、補助的な注視点と称し、先に述べた視差画像印刷物の面上に定位させるための注視点を単に注視点と称して説明する。）をさらに設定することが望ましい。
【００５０】
例えば、図４に示す一般的な動画像データにおいて、人物Ｈの鼻の付け根の位置に注視点を設定した場合に、補助的な注視点としては、注視点の存在する面上に近いことが望ましく、例えば人物Ｈの鼻の頭の位置や額の上部の位置、或いは肩の位置等に設定する。補助的な注視点をこのような位置に設定するのは、補助的な注視点が注視点と異なる面上に存在するということは、撮影したカメラからの距離が異なるということ、すなわち撮影画像内での見かけの大きさが異なってしまうということになり、回転量や拡大縮小量を検出する上で誤差が生じやすいからである。
【００５１】
一方、撮影画像内で注視点との距離が遠い位置に補助的な注視点を設定する場合であっても、注視点の位置から視差画像印刷物における非視差方向（図４における画像の垂直方向）、撮影時のカメラの移動方向に垂直な方向（図４における画像の垂直方向）、又は注視点の主たる移動方向に垂直な方向（後述する図８に示す例における画像の垂直方向）に補助的な注視点を設定すると、撮影するカメラからの距離が一定になる傾向があり、その結果、回転量や拡大縮小量を検出する上で、検出誤差を少なくすることができる。
【００５２】
またなお、上述したように動画像データを構成する各フレームに対して平行移動処理や回転処理、拡大縮小処理を行った場合には、図６に示すように、フレーム内で画像情報を移動させたことにより、各フレームに画像情報のない領域（同図中、黒塗りされた領域）が生じてしまう。このため、本発明では、各フレーム画像への平行移動処理や回転処理、拡大縮小処理を行った後に、各フレームに対して、画像情報の存在する共通の領域を取り出す、いわゆるクリップ処理を行うことが望ましい。このようなクリップ処理を行うことによって、視差画像印刷物を観察した場合に、画像情報のない領域が観察者の目に入り、再生像の遠近感や奥行感、立体感を損なうといったことが低減される。また、本発明では、クリップ処理とともに、クリップ処理によって取り出した領域の大きさを元のフレームの大きさに復元するための拡大処理を行うことによって、相対的に視差画像印刷物の中での被写体の大きさが大きく表示されることになり、より見やすい再生像を得ることができる。このようなクリップ処理と拡大処理の例について説明する。例えば６４０［pixel］×４８０［pixel］の一般的な動画像データに対して、平行移動処理や回転処理、拡大縮小処理等の動き補正を行った結果、全フレームを通して画像情報が存在する共通領域として、６００［pixel］×５４０［pixel］の画像が得られたとする。そこで、動き補正処理においては、クリップ処理として、この共通領域である６００［pixel］×５４０［pixel］の画像を各フレームから取り出す。次に、動き補正処理においては、取り出した６００［pixel］×５４０［pixel］の画像に対して、バイリニア補間やバイキュービック補間などの画像処理手法を用いて、動き補正処理前と同じ画素数である６４０［pixel］×４８０［pixel］へと拡大する拡大処理を行う。そして、動き補正処理においては、クリップ処理と拡大処理とを行って得られた動画像データを、クリップ処理と拡大処理とを行う前の、動き補正された動画像データに代えて使用する。動き補正処理においては、このような処理を行うことによって、例えば実際に撮影された元の動画像データよりも、人物の顔が大きくなった動画像データを視差画像データとして得ることができ、この視差画像データを用いて視差画像印刷物を作製することにより大きく見やすい再生像を得ることもできる。
【００５３】
なお、上述した例においては、注視点の移動量をそのまま動き補正量として動き補正処理を施しているが、注視点の移動量に対して各フレームの時系列方向に移動平均処理や多項式近似等の平滑化処理、又は近似曲線処理を施して得られる数値を動き補正量としても良い。注視点の移動量の測定においては、画像に生じたノイズの影響や動き検出処理の誤差によって、各フレームでの移動量に誤差が含まれていることが多い。一方、動画像データの中の注視点の動きは滑らかな場合が多いため、平滑化処理や近似曲線処理等の処理を実際の測定結果に施し、それによって得た数値を動き補正量とすることで、より適切な動き補正処理を行うことができる。
【００５４】
次に、他の撮影手法によって得られる一般的な動画像データを視差画像データに変換する方法について説明する。本例においては、図７に示す撮影手法、具体的には、固定したカメラＣによって、自らの動作で振り返る人物Ｈを被写体として撮影することにより、一般的な動画像データを得ている。このような場合、カメラＣが三脚等で固定されていたとしても、視差画像印刷物の製造を前提にしたような被写体が回転する撮影台での撮影とは異なり、被写体が自ら動いているので、被写体の移動速度及び移動方向は一定ではない。このため、この動画像データのままでは、視差画像印刷物に用いるデータとしては動きすぎる画像となり、良好な再生像を得ることができない。そこで、視差画像印刷物の面上に定位させるために、以下の如き動き補正処理を施す。
【００５５】
まず、動き補正処理においては、一般的な動画像データを構成する各フレームから基準となるフレームを定め、このフレーム内の被写体に設定する注視点として、被写体である人物の鼻の付け根の位置を設定する。そして、動き補正処理においては、基準フレームにおける注視点の位置に対する他の各フレームの注視点の位置の移動量を測定する。本例では、６０フレームある動画像データの３０フレーム目にあたる図８に示すフレームｆ８を基準フレームとし、このフレームｆ８における人物Ｈの注視点の位置を基準として、他の各フレームにおける注視点の移動量を測定した。この結果を図９に示す。
【００５６】
図９は、３０フレーム目、すなわち図８に示すフレームｆ８の注視点の位置を原点と定め、このフレームｆ８の注視点に対して他の各フレームの注視点が、水平方向及び垂直方向にどれだけ移動しているかを示している。この図９に示す測定結果から、各フレームの注視点が被写体自らの動作によって細かく様々な方向に移動していることがわかる。
【００５７】
動き補正処理においては、このような注視点の移動量に基づいて、各フレームの注視点の位置を基準となるフレームｆ８の注視点と同じ座標上に位置させるような処理を行う。ここで、この動き補正量は、以下のように算出される。本例においては、被写体である人物Ｈが、振り返り以外の時間的な変化のある動作である首の垂直方向の動き、すなわちうつむいた状態から顔を上げた状態へ移行する動作を行っているが、この動作は視差画像データを得るべく全方位から被写体を撮影するために行われた被写体の振り返り動作とは異なり、被写体の意志で行った動作の一部、すなわち被写体の演技であるため、再生像として残すことが望ましい。したがって、本例では、視差画像印刷物での注視点の動きとして被写体自体の回転、すなわち水平方向の移動量のみを抽出して動き補正量とするようにする。図１０は、図９に示した注視点の移動量の水平方向の成分のみ抽出した上で、移動平均処理により平滑化処理を行って計算した動き補正量を表す図である。
【００５８】
さらに、注視点の移動量から算出された図１０の動き補正量に基づいて、基準フレームｆ８以外のフレームｆ６、ｆ７、ｆ９、ｆ１０及び図示を省略している他の各フレームの画像に平行移動処理を行った。図１１（ａ）は、各フレームｆ６、ｆ７、ｆ９、ｆ１０の画像に平行移動処理を行ったものである。なお、上述したように、本例においては、水平方向の移動量のみに基づいて動き補正量が算出されているため、水平方向のみの平行移動となる。具体的には、動き補正処理においては、算出した動き補正量だけフレームｆ６における画像を左方向に平行移動し、算出した動き補正量だけフレームｆ７における画像を左方向に平行移動し、算出した動き補正量だけフレームｆ９における画像を右方向に平行移動し、算出した動き補正量だけフレームｆ１０における画像を右方向に平行移動する。なお、ここでは、フレームｆ８を原点として注視点の移動量を算出したため、フレームｆ８については移動させることはない。動き補正処理においては、このような平行移動処理を行うことにより、注視点である各フレームの人物Ｈの鼻の付け根位置が、水平方向において全て同図（ａ）に示す基準線Ｌ２上に、すなわち同一座標に位置するようになり、同図（ｂ）に示すように、カメラＣの向きを同図中矢印方向に移動させ円弧状の軌道Ａに沿って撮影したかのような画像に近づけることができ、一般的な動画像データから視差画像データに変換することができる。実際に、変換後の視差画像データを用いて視差画像印刷物を作製したところ、画像内容が動きすぎてぶれた感じになることもなく、遠近感や奥行感、立体感のある良好な視差画像印刷物を得ることができた。
【００５９】
なお、注視点の移動量から動き補正量を算出する場合、移動量の水平成分のみや垂直成分のみ、又は直交座標表示だけではなく極座標表示での各成分等から被写体の動作に応じた適切な関数を適用し、注視点の移動量を関数変換することができる。このような関数変換を行うことで、注視点の移動量を動き補正量として変換する際に、動画像データの内容、すなわち被写体の動作に応じた処理を行うことができ、視差画像印刷物としてより遠近感や奥行感や立体感の高いものを得ることができる。例えば、図１０に示す注視点の水平成分のみの移動量の推移は、コサイン関数に類似していることから、移動量の推移をコサイン関数に変換して動き補正量を換算することで、遠近感や奥行感、立体感の高い良好な視差画像印刷物を得ることができる。
【００６０】
このように、本発明においては、上述した動き補正処理を一般的な動画像データに対して施すことによって、一般ユーザが視差画像印刷物の製造を何ら意識することなく撮影した一般的な動画像データであっても、娯楽性の高い視差画像印刷物を得るための視差画像データに容易に変換することができる。
【００６１】
このように、一般的な動画像データから変換した視差画像データは、以下に示す視点変換処理が施されることによってホログラフィックステレオグラムとしてプリント可能なデータであるホログラム画像データに変換され、視差画像印刷物の製造に用いられる。ここでは、この視差画像印刷物の製造方法について説明する。
【００６２】
まず、視差画像印刷物としてのホログラフィックステレオグラムを製造するにあたっては、上述したようにして得た視差画像データを、ホログラフィックステレオグラムとしてプリント可能なデータに変換する所定の画像処理が行われる。この画像処理においては、視差画像データをホログラム画像データに変換するための視点変換処理が行われる。
【００６３】
視点変換処理は、撮影位置や撮影角度が定められて撮影された視差画像データを、再生像の表示再生時に幾何的又は空間的に整合性を取ることができるように、実際にホログラム用記録媒体の要素部分や要素位置に印刷、露光するための要素ホログラム画像データを生成するものである。このような視点変換処理を行う方法の一つとしては、スライスアンドダイス（Slice and Dice）と呼ばれる方法がある。これは、視差画像データを構成するｍ枚の要素視差画像を入れ替えることにより、ｎ枚の要素ホログラム画像を生成し、新たな要素ホログラム画像データを再構成する画像処理である。
【００６４】
そして、上述したような視点変換処理が行われて要素ホログラム画像データに変換された動画像データをホログラム用記録媒体に対して露光記録した後に、プリントアウトすることによって、娯楽性の高い視差画像印刷物を製造することができる。
【００６５】
なお、ここでは、上述した視差画像印刷物を製造するにあたって、一般的な動画像データに対して動き補正処理を施すことによって視差画像データを生成し、その後視差画像データに対して視点変換処理を施すことによってホログラム用記録媒体に露光記録するための要素ホログラム画像データを生成するものとして説明しているが、本発明はこのような方法に限定されるものではない。本発明においては、上述した一般的な動画像データに対する動き補正処理で行うべき幾何的又は空間的な変換処理を、視差画像印刷物の製造の際に行う視点変換処理と統合して行ってもよい。このような方法にあっては、視点変換処理にて使用される再生像の整合性を取るための幾何的又は空間的パラメータに、注視点の移動量に基づいて算出された動き補正量を幾何的又は空間的に加算することで、一般的な動画像データ毎の動き補正量を含む視点変換処理のパラメータを作成することができる。そして、このようなパラメータを適用して視点変換処理を一般的な動画像データに対して施すことにより、上述した動き補正処理を視点変換処理の一部として行うことができるようになる。
【００６６】
さて、以下では、以上説明した動き補正処理及び視点変換処理を施すことにより、一般的な動画像データからホログラム画像データを生成して、視差画像印刷物としてのホログラフィックステレオグラムを製造する具体的な構成について説明する。
【００６７】
まず、視差画像印刷物であるホログラフィックステレオグラムを製造する第１の具体例としてのプリント装置について、図１２及び図１３を用いて説明する。
【００６８】
プリント装置１は、図１２に示すように、一般的な動画像データが入力される動画像入力部２と、一般的な動画像データから視差画像データに変換する動き補正処理を行う動き補正処理部３と、動き補正処理にて使用する基準フレームの設定と注視点の設定とが行われる注視点入力部４と、ホログラフィックステレオグラムの印刷を行う視差画像印刷部５と、各部を統括的に制御する制御部６と、動画像入力部２を介して入力された一般的な動画像データや動き補正処理部３によって生成された視差画像データなどの各種データを蓄積するデータ蓄積部７と、このデータ蓄積部７から読み出された各種画像データを表示する表示部８とを備える。
【００６９】
動画像入力部２には、ユーザによって同図に示すビデオカメラレコーダやデジタルスチルカメラ等の撮像装置ＣＡで撮影された一般的な動画像データが入力される。動画像入力部２は、入力された一般的な動画像データを動き補正処理部３に供給するとともに、必要に応じて、データ蓄積部７に供給して蓄積させる。
【００７０】
動き補正処理部３は、注視点入力部４から供給された動き補正処理の基準となるフレームと注視点とに関する情報からなる注視点データに基づいて、動画像入力部２から供給された一般的な動画像データ、又はデータ蓄積部７から読み出した一般的な動画像データに対して動き補正処理を施す。なお、動き補正処理部３には、動き補正処理として、平行移動処理とともに、回転処理や拡大縮小処理を行う場合には、補助的な注視点に関する情報も注視点入力部４から注視点データとして供給される。具体的には、動き補正処理部３は、各フレームについての注視点の移動量の算出、この移動量に基づく動き補正量の算出、及び一般的な動画像データに対する平行移動処理や回転処理等の各種処理を行うことにより、動画像入力部２又はデータ蓄積部７から供給された一般的な動画像データを視差画像データに変換する。動き補正処理部３は、生成した視差画像データを、視差画像印刷部５に供給するとともに、必要に応じて、データ蓄積部７に供給して蓄積させる。
【００７１】
注視点入力部４には、ユーザによって設定された注視点データが入力される。注視点入力部４は、設定された注視点データを動き補正処理部３に供給する。
【００７２】
視差画像印刷部５は、視点変換処理を行うことによって要素ホログラム画像データを生成する視点変換処理部９と、当該視差画像印刷部５の動作を制御するプリンタ制御部１０と、視差画像印刷物であるホログラフィックステレオグラムを作製してプリントアウトするプリンタ部１１とを備える。
【００７３】
視点変換処理部９には、上述した動き補正処理部３又はデータ蓄積部７から視差画像データが供給される。また、視点変換処理部９には、パラメータ入力部１２から例えば撮影距離や撮影方向を示す情報といった視点変換処理を行うために必要となる各種パラメータが供給される。視点変換処理部９は、プリンタ制御部１０の制御のもとに、パラメータ入力部１２から供給された各種パラメータに基づいて、視差画像データに対して視点変換処理を施すことによって、要素ホログラム画像データを生成する。視点変換処理部９は、生成した要素ホログラム画像データをプリンタ部１１に供給する。
【００７４】
プリンタ制御部１０は、視点変換処理部９を制御して、視差画像データから要素ホログラム画像データへの適切な視点変換処理を行わせるとともに、要素ホログラム画像データのプリンタ部１１への供給動作を制御する。
【００７５】
プリンタ部１１は、視点変換処理部９から供給された要素ホログラム画像データを図示しないホログラム用記録媒体に露光記録し、ホログラフィックステレオグラム画像が記録された部分を切り離して外部に排出することにより、１枚のホログラフィックステレオグラムを作製する。
【００７６】
このような視差画像印刷部５は、視差画像データに対して視点変換処理を施し、得られた要素ホログラム画像データをホログラム用記録媒体に露光記録することにより、視差画像印刷物としてのホログラフィックステレオグラムを製造する。
【００７７】
データ蓄積部７は、動画像入力部２から供給された一般的な動画像データを蓄積するとともに、動き補正処理部３から供給された視差画像データを蓄積する。このデータ蓄積部７に蓄積された各種動画像データは、制御部６の制御のもとに読み出され、表示部８に供給される。
【００７８】
表示部８は、制御部６の制御のもとに、データ蓄積部７に蓄積されている一般的な動画像データや視差画像データを表示する。特に、プリンタ装置１においては、視差画像データを表示部８に表示することにより、視差画像印刷部５による印刷前にユーザの最終的な判断をあおぐためのプレビュー処理を行うことができる。プリンタ装置１においては、このようなプレビュー処理を行うことによって、ユーザの意図する視差画像データの生成を確実に行うことができる。
【００７９】
このような各部を備えるプリンタ装置１は、図１３に示す一連の工程を経ることにより、一般的な動画像データに基づいて、視差画像印刷物としてのホログラフィックステレオグラムを製造する。
【００８０】
まず、プリンタ装置１においては、同図に示すように、ユーザによって一般的な動画像データが撮像装置ＣＡ等を用いて撮影される（ステップＳ１−１）。次に、プリンタ装置１においては、ステップＳ１−１にて撮影された一般的な動画像データが動画像入力部２に入力される（ステップＳ１−２）。続いて、プリンタ装置１においては、この動画像入力部２に入力された一般的な動画像データの被写体に対して、ユーザによって注視点入力部４を介して注視点が設定される（ステップＳ１−３）。なお、この注視点の設定は、例えば表示部８に一般的な動画像データを表示させ、この表示画像の任意の一点をマウス等のポインティングデバイスを用いて指定し、その情報を注視点データとして注視点入力部４に供給することにより行われる。
【００８１】
そして、プリンタ装置１においては、動画像入力部２から直接、又はデータ蓄積部７を介して一般的な動画像データが動き補正処理部３に供給されるとともに、注視点入力部１２から注視点データが動き補正処理部３に供給され、動き補正処理が行われる（ステップＳ１−４）。
【００８２】
続いて、プリンタ装置１においては、ステップＳ１−４にて動き補正処理が施されて一般的な動画像データから変換された視差画像データを表示部８に表示させることによってプレビュー処理が行われる（ステップＳ１−５）。ここで、プリンタ装置１においては、ユーザが表示部８に表示された画像を確認し、意図通りの画像であった場合には、次のステップＳ１−６へと処理が移行する一方、意図と異なる画像であった場合には、ステップＳ１−４に処理が戻され再度動き補正処理が行われる。
【００８３】
プリンタ装置１においては、プレビュー処理の後、視差画像データが動き補正処理部３又はデータ蓄積部７から視差画像印刷部５における視点変換処理部９に供給され、視差画像データに対する視点変換処理が行われる（ステップＳ１−６）。これにより、視差画像データは、ホログラム用記録媒体に露光記録される要素ホログラム画像データに変換される。
【００８４】
そして、プリンタ装置１においては、要素ホログラム画像データが視点変換処理部９からプリンタ部１１に供給され、このプリンタ部１１によってホログラム用記録媒体に対する要素ホログラム画像データの露光記録が行われる（ステップＳ１−７）。なお、このプリンタ部１１における露光記録は以下のようにして行われる。まず、プリント部１１においては、図示しない表示装置に要素ホログラム画像データの１画像を表示させ、この表示装置を含む物体光用光学系を通過したレーザ光、すなわち物体光と、参照光用光学系を通過したレーザ光、すなわち参照光とをホログラム用記録媒体に入射させる。これにより、プリンタ部１１においては、表示装置に表示された１画像が、ホログラム用記録媒体に短冊状の要素ホログラムとして記録される。そして、プリンタ部１１においては、ホログラム用記録媒体が１要素ホログラム分だけ送り出されることにより、次の画像の記録が行われる。このように、プリンタ部１１においては、１画像毎に短冊状にホログラム用記録媒体が記録されることによって、横方向の視差情報を有する連続した複数の要素ホログラムとしてホログラム用記録媒体に記録される。その後、プリンタ部１１においては、紫外線の照射やヒートローラによる加熱等が行われ、ホログラフィックステレオグラム画像が記録された部分がカッター等によって切り離されることにより１枚のホログラフィックステレオグラムが作製される。なお、この露光記録に際してのプリント部１１の動作、具体的にはプリンタ部１１に設けられる表示装置等の動作、記録媒体送り送り動作又は裁断動作は、プリンタ制御部１０により制御される。
【００８５】
最後に、プリンタ装置１においては、裁断された１枚毎のホログラフィックステレオグラムがプリントアウトされ（ステップＳ１−８）、一連の処理が終了する。
【００８６】
このように、第１の具体例としてのプリント装置１によれば、ユーザが視差画像印刷物の製造を意図しないで撮影した一般的な動画像データであっても、容易に視差画像印刷物に適した視差画像データに変換することができ、ホログラフィックステレオグラム等の娯楽性の高い視差画像印刷物を手軽に手に入れることができるようになる。
【００８７】
つぎに、視差画像印刷物であるホログラフィックステレオグラムを製造する第２の具体例としてのプリント装置について、図１４及び図１５を用いて説明する。
【００８８】
図１４に示すプリンタ装置１は、図１２に示したプリント装置１のように、動き補正処理部３にて動き補正処理を行い、一般的な動画像データを視差画像データに変換した後に、視差画像データを視差画像印刷部５に供給するのではなく、一般的な動画像データを視差画像印刷部５に供給し、この一般的な動画像データに対する動き補正処理を視点変換処理の一部として視差画像印刷部５において行うものである。
【００８９】
すなわち、図１４に示すプリント装置１においては、動画像入力部２に入力された一般的な動画像データが、動画像入力部２から直接、又はデータ蓄積部７を介して、動き補正処理部３及び視点変換処理部９に供給される。一般的な動画像データが供給された動き補正処理部３においては、注視点入力部４から供給された注視点データに基づく注視点の移動量の測定と、動き補正量の算出とが行われる。そして、動き補正処理部３は、動き補正量に関するデータをパラメータ入力部１２に供給する。パラメータ入力部１２は、動き補正処理部３から供給された動き補正量に関するデータを幾何的又は空間的に視点変換処理のためのパラメータに加算することで、一般的な動画像データに対して動き補正処理を含む視点変換処理を行うことを可能とするパラメータを生成し、このパラメータを視点変換処理部９に供給する。視点変換処理部９は、動画像入力部２から一般的な動画像データが供給されると、パラメータ入力部１２から供給されたパラメータに基づいて、一般的な動画像データに対する動き補正処理を含む視点変換処理を行い、一般的な動画像データを要素ホログラム画像データに変換する。
【００９０】
このようなプリント装置１は、図１５に示す一連の工程を経ることにより、一般的な動画像データに基づいて、視差画像印刷物としてのホログラフィックステレオグラムを製造する。
【００９１】
まず、プリンタ装置１においては、同図に示すように、ユーザによって撮像装置ＣＡでの一般的な動画像データの撮影が行われ（ステップＳ２−１）、この一般的な動画像データが当該プリント装置１における動画像入力部２に入力される（ステップＳ２−２）。その後、プリンタ装置１においては、この動画像入力部２に入力された一般的な動画像データの被写体に対する注視点の設定がユーザによって注視点入力部４を介して行われる（ステップＳ２−３）。
【００９２】
そして、プリンタ装置１においては、動画像入力部２から直接、又はデータ蓄積部７を介して一般的な動画像データが供給されるとともに、注視点入力部１２から注視点データが動き補正処理部３に供給され、注視点データを基に一般的な動画像データにおける注視点の移動量の測定と、この注視点の移動量に基づく動き補正量の算出が行われる（ステップＳ２−４）。この動き補正量に関するデータは、動き補正処理部３からパラメータ入力部１２に供給される。プリンタ装置１においては、パラメータ入力部１２において、視点変換処理の一部として動き補正処理を行うべく、動き補正量に関するデータを視点変換処理のためのパラメータに対して幾何的又は空間的に加算した視点変換処理のためのパラメータが生成される（ステップＳ２−５）。
【００９３】
プリンタ装置１においては、このパラメータがパラメータ入力部１２から視点変換処理部９に供給されると、この視点変換処理部９において、動画像入力部２から供給される一般的な動画像データに対する視点変換処理が行われ（ステップＳ２−６）、一般的な動画像データが要素ホログラム画像データに変換される。動き補正処理は、この視点変換処理の一部として行われる。
【００９４】
そして、プリンタ装置１においては、要素ホログラム画像データが視点変換処理部９からプリンタ部１１に供給され、このプリンタ部１１によってホログラム用記録媒体に対する要素ホログラム画像データの露光記録が行われる（ステップＳ２−７）。
【００９５】
最後に、プリンタ装置１においては、裁断された１枚毎のホログラフィックステレオグラムがプリントアウトされ（ステップＳ２−８）、一連の処理が終了する。
【００９６】
このように、第２の具体例としてのプリント装置１によれば、動き補正処理を視点変換処理と統合して行うことができ、ユーザが視差画像印刷物の製造を意図しないで撮影した一般的な動画像データであっても、容易に視差画像印刷物に適した要素ホログラム画像データに変換することができる。
【００９７】
さて、以上では、このような画像処理と視差画像印刷物の製造とを同一装置にて行うプリント装置１について説明したが、以下では、このプリント装置１を応用した印刷物製造システムについて説明する。この印刷物製造システムは、以下に示すような通信端末装置とプリント装置との如き複数の装置からなるものである。
【００９８】
まず、図１２に示した第１の具体例としてのプリント装置１を応用した印刷物製造システムについて図１６及び図１７を用いて説明する。
【００９９】
印刷物製造システム２１は、図１６に示すように、撮像装置ＣＡにより撮影された一般的な動画像データが入力される通信端末装置３１と、この通信端末装置３１と動画像データの授受が可能なプリント装置４１とからなる。
【０１００】
通信端末装置３１は、例えばパーソナルコンピュータや携帯電話等、有線、無線を問わず他の電子機器とのデータの授受が可能な電子機器であり、動画像入力部３２と、外部電子機器とのインターフェースとなる通信端末部３３と、表示部３４と、注視点入力部３５とを備える。この通信端末装置３１において、動画像入力部３２には、撮像装置ＣＡにて撮影された一般的な動画像データが入力される。また、通信端末部３３には、一般的な動画像データが動画像入力部３２から供給されるとともに、ユーザによって設定された注視点データが注視点入力部３５から供給される。そして、通信端末装置３１は、通信端末部３３から一般的な動画像データと注視点データとを外部電子機器、本例ではプリント装置４１に送信する。
【０１０１】
プリント装置４１は、データを受信する通信部４２と、データ蓄積部４３と、動き補正処理部４４と、視差画像印刷部４５と、動き補正処理部４４における処理及び装置全体の動作の制御を行う制御部４６とを備える。通信部４２は、他の外部電子機器とのインターフェースとなるものであり、外部電子機器から送信されたデータ、本例では通信端末装置３１から送信された一般的な動画像データと注視点データとを受信する。動き補正処理部４４は、通信端末装置３１から送信された一般的な動画像データと注視点データとを基に動き補正処理、具体的には動き補正量の算出、及び一般的な動画像データに対する平行移動処理、回転処理等の処理が行われる。視差画像印刷物４５は、視点変換処理部４７と、プリンタ制御部４８と、プリンタ部４９とを備え、動き補正処理４４にて動き補正処理されて一般的な動画像データから変換された視差画像データの視点変換処理を視点変換処理部４７にて行い、ホログラフィックステレオグラムの製造をプリンタ部４９にて行う。なお、視点変換処理部４７における視点変換処理に必要なパラメータは、パラメータ入力部５０から供給される。
【０１０２】
このような印刷物製造システム２１においては、図１７に示す一連の工程を経ることにより、一般的な動画像データに基づいて、視差画像印刷物としてのホログラフィックステレオグラムを製造する。
【０１０３】
まず、印刷物製造システム２１においては、同図に示すように、ユーザによって一般的な動画像データが撮像装置ＣＡ等を用いて撮影され（ステップＳ３−１）、この一般的な動画像データが通信端末装置３１における動画像入力部３２に入力される（ステップＳ３−２）。その後、印刷物製造システム２１においては、この動画像入力部３２に入力された一般的な動画像データの被写体に対して、ユーザによって注視点入力部３５を介して注視点が設定される（ステップＳ３−３）。そして、印刷物製造システム２１においては、動画像入力部３２に入力された一般的な動画像データと、注視点入力部３５にて設定された注視点データとが通信端末部３３に供給され、この通信端末部３３からプリント装置４１における通信部４２に対して、これらの一般的な動画像データと注視点データとが送信される（ステップＳ３−４）。
【０１０４】
印刷物製造システム２１においては、プリント装置４１における通信部４２によって受信された一般的な動画像データと注視点データとが、直接、又はデータ蓄積部４３を介して動き補正処理部４４に供給され、この動き補正処理部４４によって一般的な動画像データを視差画像データに変換する動き補正処理が行われる（ステップＳ３−５）。そして、印刷物製造システム２１においては、変換後の視差画像データが、視差画像印刷部４５における視点変換処理部４７に供給され、パラメータ入力部５０から供給されたパラメータに基づく視点変換処理が行われる（ステップＳ３−６）。印刷物製造システム２１においては、この視点変換処理によって得られた要素ホログラム画像データがプリンタ部４９に供給され、このプリンタ部１１によってホログラム用記録媒体に対する要素ホログラム画像データの露光記録が行われる（ステップＳ３−７）。そして、印刷物製造システム２１においては、裁断された１枚毎のホログラフィックステレオグラムがプリントアウトされ（ステップＳ３−８）、一連の処理が終了する。
【０１０５】
このように、第１の具体例としてのプリント装置１を応用した印刷物製造システム２１によれば、通信端末装置３１を所持するユーザが視差画像印刷物の製造を意図しないで撮影した一般的な動画像データであっても、プリント装置４１によって容易に視差画像印刷物に適した要素ホログラム画像データに変換することができ、ホログラフィックステレオグラム等の娯楽性の高い視差画像印刷物を手軽に手に入れることができるようになる。
【０１０６】
なお、上述した印刷物製造システム２１においては、動き補正処理部４４にて動き補正処理を行うことによって一般的な動画像データを視差画像データに変換し、この視差画像データを視点変換処理部４７に供給して視点変換処理を行っているが、このような処理を行う構成に限定されるものではない。例えば、印刷物製造システム２１においては、動き補正処理部４４にて動き補正量の算出までを行い、この動き補正量に関するデータをパラメータ入力部５０に供給するとともに、視点変換処理部４７に一般的な動画像データを供給することによって、パラメータ供給部５０にて生成される動き補正量が加算されたパラメータに基づいて、視点変換処理部４７にて一般的な動画像データに視点変換処理を行うものであっても良い。このとき、動き補正処理は、視点変換処理の一部として行われる。
【０１０７】
また、上述した印刷物製造システム２１においては、図１８に示すように、通信端末部３１が、一般的な動画像データを撮影し得る撮像部３６を有するものであってもよい。
【０１０８】
さらに、印刷物製造システムにあっては、通信端末装置３１側で一般的な動画像データの画像処理等を行うようにしても良い。以下、通信端末装置３１側で一般的な動画像データから視差画像データへの変換を行う印刷物製造システム５１について説明する。なお、本例においては印刷物製造システム２１と同一構成を有する部分については同一符号を付し、詳しい説明は省略する。
【０１０９】
印刷物製造システム５１は、図１９に示すように、撮像装置ＣＡにより撮影された一般的な動画像データが入力される通信端末装置３１と、この通信端末装置３１と動画像データの授受が可能なプリント装置４１とからなり、通信端末装置３１に設けられた動き補正処理部３７にて、一般的な動画像データから視差画像データへの変換行うものである。なお、通信端末装置３１には、動き補正処理部３７における処理及び装置全体の動作制御を行う制御部３８が設けられている。
【０１１０】
このような印刷物製造システム５１は、図２０に示す一連の工程を経ることにより、一般的な動画像データに基づいて、視差画像印刷物としてのホログラフィックステレオグラムを製造する。
【０１１１】
まず、印刷物製造システム５１においては、同図に示すように、ユーザによって一般的な動画像データが撮像装置ＣＡ等を用いて撮影され（ステップＳ４−１）、この一般的な動画像データが通信端末装置３１における動画像入力部３２に入力される（ステップＳ４−２）。その後、印刷物製造システム５１においては、この動画像入力部３２に入力された一般的な動画像データの被写体に対して、ユーザによって注視点入力部３５を介して注視点が設定される（ステップＳ４−３）。そして、印刷物製造システム５１においては、動画像入力部３２に入力された一般的な動画像データと、注視点入力部３５にて設定された注視点データとが動き補正処理部３７に供給され、動き補正処理が行われる（ステップＳ４−４）。その後、印刷物製造システム５１においては、ステップＳ４−４にて動き補正処理が施されて一般的な動画像データから変換された視差画像データを表示部３４に表示させることによってプレビュー処理が行われる（ステップＳ４−５）。ここで、印刷物製造システム５１においては、ユーザが表示部３４に表示された画像を確認し、意図通りの画像であった場合には、次のステップＳ４−６へと処理が移行する一方、意図と異なる画像であった場合には、ステップＳ４−４に処理が戻され再度動き補正処理が行われる。
【０１１２】
印刷物製造システム５１においては、プレビュー処理の後、視差画像データが通信端末部３３を介してプリント装置４１における通信部４２に対して送信される（ステップＳ４−６）。印刷物製造システム５１においては、通信部４２にて受信された視差画像データが、直接、又はデータ蓄積部４３を介して視点変換処理部４７に供給され、この視点変換処理部４７においてパラメータ入力部５０から供給されたパラメータに基づく視点変換処理が行われる（ステップＳ４−７）。印刷物製造システム５１においては、視差画像データがホログラム用記録媒体に露光記録される要素ホログラム画像データに変換されてプリンタ部４９に供給され、ホログラム用記録媒体に対する露光記録が行われる（ステップＳ４−８）。そして、印刷物製造システム５１においては、裁断された１枚毎のホログラフィックステレオグラムがプリントアウトされ（ステップＳ４−９）、一連の処理が終了する。
【０１１３】
このように、印刷物製造システム５１によれば、通信端末装置３１を所持するユーザが視差画像印刷物の製造を意図しないで撮影した一般的な動画像データであっても、動き補正処理を行うことによって容易に視差画像印刷物に適した視差画像データに変換することができ、これをプリント装置４１に対して送信することにより、ホログラフィックステレオグラム等の娯楽性の高い視差画像印刷物を手軽に手に入れることができるようになる。
【０１１４】
なお、上述した印刷物製造システム５１においては、動き補正処理部３７にて変換された視差画像データをプリント装置４１に送信しているが、このような処理を行う構成に限定されるものではない。例えば、印刷物製造システム５１においては、動き補正処理部３７にて動き補正量の算出までを行い、この動き補正に関するデータと一般的な動画像データをプリント装置４１に送信するものであっても良い。かかる場合、プリンタ装置４１では、視点変換処理部４６において、動き補正処理を一部に含む視点変換処理が行われる。
【０１１５】
また、印刷物製造システム５１においては、動き補正処理後の視差画像データとともに、動き補正処理部３７にて算出した動き補正量に関するデータをプリント装置４１に送信するものであっても良く、さらには入力された一般的な画像データ、動き補正量に関するデータ及び視差画像データの全てをプリント装置４１に送信するものであっても良い。かかる場合、プリンタ装置４１では、変換前の一般的な動画像データや動き補正量に関するデータが、送信してきたユーザに関する情報として、視差画像データ等とともにデータ蓄積部４３に蓄積される。
【０１１６】
さらに、上述した印刷物製造システム５１においては、図２１に示すように、通信端末装置３１が、一般的な動画像データを撮影し得る撮像部３６を有するものであってもよい。
【０１１７】
なお、上述した実施の形態では、視差画像印刷物としてホログラフィックステレオグラムを例示して説明したが、本発明は、例えばレンチキュラレンズを利用した印刷物であるいわゆるレンチキュラ写真といったホログラフィックステレオグラム以外の視差画像印刷物にも適用できることはもちろんである。
【０１１８】
また、上述した実施の形態では、一般的な動画像データを撮影によって生成するものとして説明したが、本発明は、実物の被写体を撮影するのみならず、いわゆるＺバッファ法、レイトレーシング法、又はラジオインテンシティ法といった各種ＣＧによる動画像データの作成であって、カメラが被写体に対して相対的に移動するように作成した動画像データを一般的な動画像データとしてもよい。
【０１１９】
さらには、本発明は、上述した各実施例に限定されるものではなく、また、本発明はその趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【０１２０】
【発明の効果】
以上、詳細に説明したように、本発明に係る画像処理装置及び画像処理方法は、ユーザが普通に、すなわち視差画像印刷物の製造を意識しないで撮影した動画像データを、視差画像印刷物の製造に適した動画像データに変換することができる。したがって、本発明によれば、専用のカメラや器材を用いることなく、簡易に視差画像印刷物に適した動画像データを得ることができる。
【０１２１】
また、本発明に係る印刷物製造方法及び印刷物製造装置、並びに印刷物製造システム、このシステムを構成する情報端末装置及び印刷物製造装置によれば、先に述べた画像処理方法を適用して、ユーザが普通に撮影した動画像データを基にした種々の視差画像印刷物を製造することができ、娯楽性の高いホログラフィックステレオグラム等の視差画像印刷物を簡易に手に入れることができる。
【図面の簡単な説明】
【図１】視差画像データの一般的な撮影手法を説明するための図である。
【図２】視差画像印刷物にて表示される再生像の位置を説明するための図である。
【図３】一般的な動画像データの撮影手法の一例を示す図である。
【図４】同撮影手法にて撮影した動画像データのフレームの一部を示す図である。
【図５】同撮影手法にて撮影した動画像データの注視点の移動量を示す図である。
【図６】（ａ）は動き補正処理が施された動画像データのフレームの状態を、（ｂ）は動き補正処理の後の動画像データを撮影し得るカメラ位置を説明するための図である。
【図７】一般的な動画像データの他の撮影手法の一例を示す図である。
【図８】同撮影手法にて撮影した動画像データのフレームの一部を示す図である。
【図９】同撮影手法にて撮影した動画像データの注視点の移動量を示す図である。
【図１０】注視点の移動量において、水平方向の成分のみ抽出した図である。
【図１１】（ａ）は動き補正処理が施された動画像データのフレームの状態を、（ｂ）は動き補正処理の後の動画像データを撮影し得るカメラ位置を説明するための図である。
【図１２】プリント装置の概略構成を示すブロック図である。
【図１３】同プリント装置における視差画像印刷物の製造工程を説明するためのフローチャートである。
【図１４】異なる画像処理が行われる同プリント装置の概略構成を示すブロック図である。
【図１５】同プリント装置における視差画像印刷物の製造工程を説明するためのフローチャートである。
【図１６】印刷物製造システムの概略構成を示すブロック図である。
【図１７】同印刷物製造システムにおける視差画像印刷物の製造工程を説明するためのフローチャートである。
【図１８】他の構成を有する印刷物製造システムの概略構成を示すブロック図である。
【図１９】さらに他の構成を有する印刷物製造システムの概略構成を示すブロック図である。
【図２０】同印刷物製造システムにおける視差画像印刷物の製造工程を説明するためのフローチャートである。
【図２１】さらに他の構成を有する印刷物製造システムの概略構成を示すブロック図である。
【図２２】視差画像印刷物に使用する動画像データを撮影する従来の方法を説明するための図である
【符号の説明】
１ プリント装置，２ 動画像入力部，３ 動き補正処理部，４ 注視点入力部，５ 視差画像印刷部，６ 制御部，７ データ蓄積部，８ 表示部，９ 視点変換処理部，１０ プリンタ制御部，１１ プリンタ部，１２ パラメータ入力部，２１ 印刷物製造システム，３１ 通信端末装置，３２ 動画像入力部，３３ 通信端末部，３４ 表示部，３５ 注視点入力部，３６ 撮像部，３７ 動き補正処理部，３８ 制御部，４１ プリント装置，４２ 通信部，４３ データ蓄積部，４４ 動き補正処理部，４５ 視差画像印刷部，４６ 制御部，４７ 視点変換処理部，４８ プリンタ制御部，４９ プリンタ部，５０ パラメータ入力部
【発明の属する技術分野】
本発明は、視差画像印刷物に適した動画像データを生成するための画像処理装置及び画像処理方法、一般的に撮影された動画像データを用いて視差画像印刷物を印刷する印刷物製造装置及び印刷物製造方法、並びに印刷物製造システム、さらにはこの印刷物製造システムを構成する通信端末装置及びプリント装置を提供することを目的とする。
【０００２】
【従来の技術】
近年、静止画像だけではなく、動画像や視差画像を撮影して印刷するシステムが開発されており、視認する方向を変化させることで、視認される画像が変化する印刷物を得ることができる。以下、本明細書では、このような見る方向によって視認される画像が変化する印刷物を視差画像印刷物又は本願の印刷物と称する。
【０００３】
視差画像印刷物を用いた事業が展開されている例としては、レンチキュラ技術を利用して印刷物としての視差画像写真を作成するものがあり、例えば、コニカ株式会社による３眼式レンズ付きフィルム「撮りっきりコニカ３Ｄ（登録商標）」とその印刷サービス、コダック株式会社による３眼式レンズ付きフィルム「Ｋｏｄａｋスナップキッズ３Ｄ（登録商標）」とその印刷サービス、松下電器産業株式会社により開発されたものであり、６枚の画像を合成した商品名「ＭＩＰ（Motion Image Print）カード」と、このカードを作成する装置である「うごい太郎（登録商標）」、株式会社ちきゅう屋によるサービスであり、上述した「うごい太郎（登録商標）」により作成されるカードの注文をいわゆるインターネットで受け付けるサービス、松下電器産業株式会社による業務用アミューズメント機器の受注販売であり、撮影した連続写真を視認する角度によって被写体が動いているように見える１枚のカードとして提供する動画カードの自動販売機、といったものが挙げられる。
【０００４】
また、同様に視差画像印刷物のシステムとしては、ホログラフィ技術を利用して印刷物を作成するものがあり、このような技術としては、例えば「Akira Shirakura, Nobuhiro Kihara and Shigeyuki Baba, "Instant holographic portrait printing system", Proceeding of SPIE, Vol. 3293, pp. 246-253, Jan. 1998」や「木原、白倉、馬場："高速ホログラムポートレイトプリントシステム"、３次元画像コンファレンス１９９８、１９９８年７月」に記載されているように、横方向のみの視差を表現可能とする印刷物を作製するシステムの他、「山口、本田、大山："リップマンホログラフィックステレオグラムを用いたホログラフィック３Ｄプリンタ"、第２０回画像工学コンファレンス、１９８９年１２月」や「遠藤、山口、本田、大山："ホログラフィック・３−Ｄプリンタの高密度記録"、第２３回画像工学コンファレンス、１９９２年１２月」に記載されているように、縦横両方向の視差を表現可能とする印刷物を作製するシステムが挙げられる。
【０００５】
上述したように視差画像を印刷物として得るシステムにあっては、印刷の対象となる動画像や視差画像を、複数の画像を動画像のように表示したり、専用のカメラによって異なる視点からの視差のある画像を撮影したり、コンピュータグラフィックス（computer graphics：以下、ＣＧと称する。）によって異なる視点からの視差のある画像を生成したりすることによって得ている。
【０００６】
例えば、被写体をカメラによって撮影する場合には、図２２（ａ）に示すように、カメラＣを円弧等の曲線状や直線状の軌道に沿って移動させるレール１００や、同図（ｂ）に示すように、載置したカメラＣを回転させる撮影台１１０等、従来は専用の器材や、この器材に取り付ける専用のカメラを用いて視差画像の撮影を行っていた。また、撮影するカメラ自体ではなく、被写体を回転する撮影台に乗せて回転させる等して撮影する場合もあるが、この場合でも被写体を回転させる撮影台という専用の器材が必要であった。
【０００７】
そして、上述したレールや撮影台を使用した撮影では、その並進移動速度や回転速度を、時間変化として定められた速度量や一定量の速度（一定速度）として撮影し、得られた画像を視差画像印刷物に適した画像へと変換するための画像処理に用いるパラメータとして、この速度量を利用していた。
【０００８】
また、複数の画像を動画像のように表示する場合にあっても、上述したレールや撮影台等の専用の器材や専用のカメラ等に相当する設備を用いた視差画像印刷物の製造を前提とする撮影が行われていた。
【０００９】
一方、近年においては、デジタルスチルカメラ（Digital Still Camera）やデジタルビデオカムコーダ（Digital Video Camcorder）の普及が進んでいる。そして、これらの普及にともない、被写体を撮影した後、動画像を画像データとしてコンピュータに取り込み、画像処理を行う環境も普及している。
【００１０】
上述したようなデジタルスチルカメラやデジタルビデオカムコーダ等を使用した撮影に限らず、被写体や風景の映像に遠近感や奥行感、立体感を与えるために、カメラを被写体に対して横走りさせて撮影したり、被写体の周囲を回り込むようにして撮影したり、ズームの時間的な変化や被写体の動きに合わせたフレームワークやカメラワーク等の撮影技法を用いて動画像の撮影が行われている。
【００１１】
このような撮影技法、例えば基本的なカメラワークとしては、カメラ位置を固定して向きを左右に振るパン（pan）、カメラ位置を固定して向きを上下に振るチルト（tilt）、カメラの位置を左右又は上下に平行に動かすトラック（track）、カメラの位置を上下に動かすクレーン（crane）、カメラの位置を前後に動かして被写体を大きく又は小さく写すドリー（dolly：トラックアップ、トラックバックともいう。）、レンズにより被写体を大きく又は小さく写すズーム（zoom）、注視点を固定して回り込むようにカメラの位置と向きを動かすタンブル（tumble）等がある。
【００１２】
また、動画像の撮影技法での代表的な例としては、映画「The Matrix」（１９９９年３月米国公開、配給：Warner Bros.、邦題「マトリックス」、１９９９年９月日本公開、配給：タイムワーナーエンタテインメントジャパン株式会社）で使用されたブレットタイム撮影、又はマシンガン撮影と呼ばれる技法がある。この技法は、まず演技をする人物たる被写体の周囲にリモートコントロール可能な数十台から数百台のスチルカメラを配置する。そして、被写体となる人物が演技をしているところを、これら多数台のスチルカメラのシャッターを僅かな時間差で切って撮影する。このように撮影した画像を用いることによって、被写体に対する視点の変化と人物の演技の動きとが連動して、スローモーションのように再生される動画像の撮影が可能となるというものである。
【００１３】
上述した撮影技法における動画像に対して、映像信号処理やコンピュータ画像処理等によって動画像の立体感を増す処理を行い、その処理結果を動画像として表示する、いわゆる動画像の疑似立体化技術においては、いくつかの研究開発がなされている。例えば、特公昭５５−３６２４０号公報（発明の名称：立体画像表示装置）や特開平７−５９１１９号公報（発明の名称：疑似立体映像表示装置）、特開平９−３７３０３号公報（発明の名称：符号化画像処理方法、符号化画像処理装置および符号化画像処理回路）等に動画像の疑似立体化技術が記載されている。
【００１４】
【発明が解決しようとする課題】
以上述べたような撮影技法や疑似立体化技術等は、撮影した動画像を、動画像として表示する、すなわち時系列で表示する場合における技法である。これに対し、視差画像印刷物の如く、動画像を空間的に、角度方向として表示する場合は、これら時系列で表示させるための技法によって撮影された動画像データをそのまま視差画像印刷物として印刷すると、画像内容が動きすぎてぶれた感じになってしまい、実用的ではなかった。
【００１５】
したがって、視差画像印刷物のように、動画像を空間的に表示する場合は、前述のようなレールや回転台等の専用のカメラや器材等で視差画像印刷物の製造を前提とした撮影手法が行われていた。
【００１６】
しかしながら、一般のユーザがデジタルスチルカメラ等で行う撮影は、このような専用のカメラや器材を用いるものではなく、被写体の映像に遠近感や奥行感や立体感を与えるために、カメラを横走りさせて撮影したり、被写体の周囲を回り込むように撮影したり、時間的な変化のあるズームや被写体の動きに合わせたフレームワークなどの時系列で表示するための撮影技法を用いる場合が普通である。すなわち逆に言うと、視差画像印刷物の製造を意識して行う撮影は、通常ほとんど見られない。
【００１７】
そこで、本発明は、特に視差画像印刷物にすることを目的とせずに、一般的に撮影された動画像データを、視差画像印刷物に適した動画像データへと変換する画像処理装置及び画像処理方法、一般的に撮影された動画像データを用いて視差画像印刷物を印刷する印刷物製造装置及び印刷物製造方法、並びに印刷物製造システム、さらにはこの印刷物製造システムを構成する通信端末装置及び印刷物製造装置を提供することを目的とする。
【００１８】
【課題を解決するための手段】
上述した目的を達成する本発明に係る画像処理装置は、動画像データを構成する複数のフレームから基準となる少なくとも一のフレームを設定するとともに、該基準となるフレームにおける被写体に注視点を設定する注視点設定手段と、この注視点設定手段によって設定された基準となるフレームにおける注視点と、他のフレームにおける注視点への対応点との関係から注視点の移動量を算出するとともに、この移動量に基づいて各フレームについての動き補正量を算出し、動き補正量に基づいて動画像データに対する動き補正処理を行い、動画像データの中にある所定の位置の被写体を視差画像印刷物の面上に再生像として定位させて、視認する方向によって視認される画像が変化する視差画像印刷物として印刷可能な視差画像データに動画像データを変換する動き補正処理手段とを備えることを特徴とする。
【００１９】
また、本発明に係る他の画像処理方法は、動画像データを構成する複数のフレームから基準となる少なくとも一のフレームを設定するとともに、該基準となるフレームにおける被写体に注視点を設定する工程と、基準となるフレームにおける注視点と、他のフレームにおける注視点への対応点との関係から注視点の移動量を算出するとともに、移動量に基づいて各フレームについての動き補正量を算出し、動き補正量に基づいて動画像データに対する動き補正処理を行い、動画像データの中にある所定の位置の被写体を視差画像印刷物の面上に再生像として定位させて、視認する方向によって視認される画像が変化する視差画像印刷物として印刷可能な視差画像データに動画像データを変換する工程とを備えることを特徴とする。
【００２０】
上述した本発明に係る画像処理装置及び画像処理方法は、ユーザが普通に、すなわち視差画像印刷物の製造を意識しないで撮影した動画像データを、視差画像印刷物の製造に適した視差画像データに変換する。したがって、本発明によれば、専用のカメラや器材を用いることなく、簡易に視差画像印刷物に適した動画像データを得ることが可能とされる。
【００２１】
本発明に係る画像処理装置は、動画像データを構成する複数のフレームから基準となる少なくとも一のフレームを設定するとともに、該基準となるフレームにおける被写体に注視点を設定する注視点設定手段と、注視点設定手段によって設定された基準となるフレームにおける注視点と、他のフレームにおける注視点への対応点との関係から注視点の移動量を算出するするとともに、移動量に基づいて各フレームについての動き補正量を算出する補正量算出手段と、動き補正量算出手段によって算出された動き補正量が加算された画像変換に関するパラメータを生成し、該パラメータに基づいて、動画像データの中にある所定の位置の被写体を視差画像印刷物の面上に再生像として定位させて、動画像データを視認する方向によって視認される画像が変化する視差画像印刷物として印刷可能なデータに変換する画像変換処理手段とを備えることを特徴とする。
【００２２】
また、本発明に係る他の画像処理方法は、動画像データを構成する複数のフレームから基準となる少なくとも一のフレームを設定するとともに、該基準となるフレームにおける被写体に注視点を設定する工程と、基準となるフレームにおける注視点と、他のフレームにおける注視点への対応点との関係から注視点の移動量を算出するするとともに、移動量に基づいて各フレームについての動き補正量を算出する工程と、動き補正量が加算された画像変換に関するパラメータを生成し、該パラメータに基づいて、動画像データの中にある所定の位置の被写体を視差画像印刷物の面上に再生像として定位させて、動画像データを視認する方向によって視認される画像が変化する視差画像印刷物として印刷可能なデータに変換する工程とを備えることを特徴とする。
【００２３】
上述した本発明に係る画像処理装置及び画像処理方法は、ユーザが普通に、すなわち視差画像印刷物の製造を意識しないで撮影した動画像データを、動画像データを視差画像印刷物として印刷可能なデータに変換する。したがって、本発明によれば、専用のカメラや器材を用いることなく、簡易に視差画像印刷物に適した動画像データを得ることが可能とされる。
【００２４】
本発明に係る印刷物製造装置は、動画像データを構成する複数のフレームから基準となる少なくとも一のフレームを設定するとともに、該基準となるフレームにおける被写体に注視点を設定する注視点設定手段と、注視点設定手段によって設定された基準となるフレームにおける注視点と、他のフレームにおける注視点への対応点との関係から注視点の移動量を算出するとともに、移動量に基づいて各フレームについての動き補正量を算出し、動き補正量に基づいて動画像データに対する動き補正処理を行い、動画像データの中にある所定の位置の被写体を視差画像印刷物の面上に再生像として定位させて、視認する方向によって視認される画像が変化する視差画像印刷物として印刷可能な視差画像データに動画像データを変換する動き補正処理手段と、視差画像データに基づいて視差画像印刷物を印刷する印刷手段とを備えることを特徴とする。
【００２５】
また、本発明に係る印刷物製造方法は、動画像データを構成する複数のフレームから基準となる少なくとも一のフレームを設定するとともに、該基準となるフレームにおける被写体に注視点を設定する工程と、基準となるフレームにおける注視点と、他のフレームにおける注視点への対応点との関係から注視点の移動量を算出するとともに、移動量に基づいて各フレームについての動き補正量を算出し、動き補正量に基づいて動画像データに対する動き補正処理を行い、動画像データの中にある所定の位置の被写体を視差画像印刷物の面上に再生像として定位させて、視認する方向によって視認される画像が変化する視差画像印刷物として印刷可能な視差画像データに動画像データを変換する工程と、視差画像データに基づいて視差画像印刷物を印刷する工程とを備えることを特徴とする。
【００２６】
本発明に係る印刷物製造装置は、動画像データを構成する複数のフレームから基準となる少なくとも一のフレームを設定するとともに、該基準となるフレームにおける被写体に注視点を設定する注視点設定手段と、注視点設定手段によって設定された基準となるフレームにおける注視点と、他のフレームにおける注視点への対応点との関係から注視点の移動量を算出するとともに、移動量に基づいて各フレームについての動き補正量を算出する動き補正量算出手段と、動き補正量算出手段によって算出された動き補正量が加算された画像変換に関するパラメータを生成し、該パラメータに基づいて、動画像データの中にある所定の位置の被写体を視差画像印刷物の面上に再生像として定位させて、動画像データを視認する方向によって視認される画像が変化する視差画像印刷物として印刷可能なデータに変換する画像変換処理手段と、視差画像印刷物として印刷可能なデータに基づいて視差画像印刷物を印刷する印刷手段とを備えることを特徴とする。
【００２７】
また、本発明に係る印刷物製造方法は、動画像データを構成する複数のフレームから基準となる少なくとも一のフレームを設定するとともに、該基準となるフレームにおける被写体に注視点を設定する工程と、基準となるフレームにおける注視点と、他のフレームにおける注視点への対応点との関係から注視点の移動量を算出するとともに、移動量に基づいて各フレームについての動き補正量を算出する工程と、動き補正量が加算された画像変換に関するパラメータを生成し、該パラメータに基づいて、動画像データの中にある所定の位置の被写体を視差画像印刷物の面上に再生像として定位させて、動画像データを視認する方向によって視認される画像が変化する視差画像印刷物として印刷可能なデータに変換する工程と、視差画像印刷物として印刷可能なデータに基づいて視差画像印刷物を印刷する工程とを備えることを特徴とする。
【００２８】
本発明に係る印刷物製造システムは、動画像データが入力される動画像入力手段と、動画像データを構成する複数のフレームから基準となる少なくとも一のフレームを設定するとともに、該基準となるフレームにおける被写体に注視点を設定する注視点設定手段と、動画像データと注視点に関するデータとを送信する第１の通信手段とを備える通信端末装置と、第１の通信手段からのデータを受信する第２の通信手段と、基準となるフレームにおける注視点と、他のフレームにおける注視点への対応点との関係から注視点の移動量を算出するとともに、移動量に基づいて各フレームについての動き補正量を算出し、動き補正量に基づいて動画像データに対する動き補正処理を行い、動画像データの中にある所定の位置の被写体を視差画像印刷物の面上に再生像として定位させて、視認する方向によって視認される画像が変化する視差画像印刷物として印刷可能な視差画像データに動画像データを変換する動き補正処理手段と、視差画像データに基づいて視差画像印刷物を印刷する印刷手段とを有するプリント装置からなることを特徴とする。
【００２９】
また、本発明に係る印刷物製造システムは、動画像データが入力される動画像入力手段と、動画像データを構成する複数のフレームから基準となる少なくとも一のフレームを設定するとともに、該基準となるフレームにおける被写体に注視点を設定する注視点設定手段と、基準となるフレームにおける注視点と、他のフレームにおける注視点への対応点との関係から注視点の移動量を算出するとともに、移動量に基づいて各フレームについての動き補正量を算出し、動き補正量に基づいて動画像データに対する動き補正処理を行い、動画像データの中にある所定の位置の被写体を視差画像印刷物の面上に再生像として定位させて、視認する方向によって視認される画像が変化する視差画像印刷物として印刷可能な視差画像データに動画像データを変換する動き補正処理手段と、動画像データに関するデータを送信する第１の通信手段とを備える通信端末装置と、第１の通信手段からのデータを受信する第２の通信手段と、第１の通信手段からの動画像データに関するデータに基づいて視差画像印刷物を印刷する印刷手段とを有するプリント装置からなることを特徴とする。
【００３０】
上述した本発明に係る印刷物製造装置及び印刷物製造方法、並びに印刷物製造システム、このシステムを構成する情報端末装置及び印刷物製造装置は、上述した画像処理方法を適用しての視差画像印刷物の製造が簡易に実施可能とされる。したがって、本発明によれば、ユーザが普通に撮影した動画像データを基にして、種々の視差画像印刷物が製造可能とされ、娯楽性の高いホログラフィックステレオグラム等の視差画像印刷物が簡易に入手可能とされる。
【００３１】
【発明の実施の形態】
本発明は、一般的に撮影された動画像データ、具体的には視差画像印刷物の製造を前提とせず、専用のカメラや撮影台等の専用の器材を使用しないで撮影された動画像データ（以下、単に一般的な動画像データと称して説明する。）を利用して、視差画像印刷物の製造を可能とするものである。以下、本発明の具体的な実施に形態について図面を参照しながら詳細に説明する。なお、本明細書における一般的な動画像データとは、フレームレートが３０フレーム等とされる狭義の動画像データはもちろん、フレームレートが１５フレーム等とされる疑似動画像データ、及び、複数枚の連続したスチル画像データなどを含む、いわゆる広義の動画像データを意味するものである。また、以下の説明においては、視差画像印刷物としてホログラフィックステレオグラムを製造するものとして説明し、視差画像印刷物に適した動画像データ（以下、視差画像データと称して説明する。）がホログラフィックステレオグラムに印刷（露光）可能な画像データであるものとして説明する。
【００３２】
まず、本発明の説明に先立ち、視差画像印刷物としてのホログラフィックステレオグラムの製造に用いる動画像データの一般的な撮影手法の一例について説明する。従来からの専用の器材やカメラ等を用いた視差画像印刷物の製造を前提とする視差画像データの撮影では、例えば図１に示すように、カメラＣを円弧状の軌道に沿って、同図中におけるカメラ位置Ｃ−１からカメラ位置Ｃ−５へ移動させながら撮影を行うことによって生成される。その後、生成された視差画像データに対しては、これを視差画像印刷物として記録するために、露光や印刷等の当該視差画像印刷物の製造方式ごとに定められた、表示される再生像との幾何的又は空間的な関係に基づいて、視点変換等の変換処理が施される。したがって、視差画像印刷物としては、この変換処理が施された動画像データが記録されることになる。
【００３３】
ここで、一般的に、視差画像印刷物にて表示される再生像の位置は、図２に示すように、視差画像印刷物Ｘの面を中心として配置されることが多く、視差画像印刷物Ｘの面の前後に表示される像によって奥行感が表現される。このような再生像の配置は、視差画像印刷物において「表示される像を面上に定位させる」と表現される。
【００３４】
この視差画像印刷物の製造を前提とする視差画像データに対して、再生像となる被写体の中の点を視差画像印刷物の面上に定位させることを考える。
【００３５】
例えば、上述した図１に示すカメラＣのように、円弧状の軌道に沿って移動して撮影する場合を考えると、通常図２に示すように、その円弧の中心を含む直線上に視差画像印刷物の面があると想定される。そして、図１に示した撮影手法においては、この円弧の中心との距離を等距離に保ちつつ、角度を変えて移動しながら撮影される。このように撮影された動画像データの中では、円弧の中心に対応する画素位置は、被写体の中のある一点、すなわち円弧の中心点を捕らえて、角度を変えながら撮影していることになる。
【００３６】
したがって、撮影された動画像データの中で、被写体のある一点を捕らえて、同じ画素位置で角度を変えながら撮影している状況を作り出せれば、その点を視差画像印刷物の面上に定位させることができる。
【００３７】
つまり、被写体のある一点を注視点として設定し、この被写体に設定する注視点を常に同じ画素位置に保つことができれば、一般的な動画像データであっても、表示される像を視差画像印刷物の面上に定位させることができる視差画像印刷物に適した視差画像データへと変換することができる。
【００３８】
そこで、本発明においては、視差画像印刷物の面上に再生像を定位させるために、上述したように被写体に設定する注視点を一定画素位置に保つようにすることにより、一般的な動画像データを視差画像データへと変換する。この処理について以下に説明する。
【００３９】
まず、一般的な動画像データを撮影する。図３は、一般的な動画像データの撮影手法の一例として、注視点を固定して回り込むようにカメラＣの位置と向きとを動かす、いわゆるタンブルして被写体である人物Ｈを撮影する状態を示す図であり、図４は、この撮影にて得られた動画像データを構成するフレームの一部を示す図である。
【００４０】
同図中一点鎖線にて示す円弧状の軌道Ａに沿って撮影されたならば、図１と同じ状態になり、本発明の変換処理は必要としない。一方、撮影者が一般的な動画像の撮影方法としてのタンブルを行おうとするが、実際には、同図中実線にて示す軌道Ｂのように移動して撮影が行われる。このように、実際の撮影においては、カメラＣの移動速度や移動方向、具体的には被写体たる人物Ｈに対するカメラＣの前後左右及び上下の位置、さらにはレンズの方向（撮影の視線方向）に誤差やムラが生じてしまうことになる。したがって、軌道Ｂに沿って移動して撮影された一般的な動画像データは、軌道Ａに沿って撮影された視差画像データたる動画像データとは異なり、各フレームにおける人物Ｈの位置が一定ではないものとなる。特に、上述した撮影を手持ちのカメラＣによって行った場合においても、得られる動画像データは、時系列で表示する動画像として見た場合には表現力のある映像となるが、視差画像印刷物用の動画像データとするには動きすぎる画像となり、視差画像印刷物に適さないデータとなる。そこで、本発明においては、このような一般的な動画像データを視差画像データに変換するために、以下に示す動き補正処理を施す。
【００４１】
一般的な動画像データに対する動き補正処理においては、まず、視差画像印刷物の面上に定位させる被写体の中の一点、すなわち注視点が一般的な動画像データのある画素位置に設定される。この注視点の設定は、撮影された一般的な動画像データを構成する複数のフレームのうちの少なくとも一つを基準となるフレームとし、この基準となるフレームに映し出されている被写体に対して行われる。本例においては、１２０フレームで構成された一般的な動画像データの６０フレーム目にあたる図４に示すフレームｆ３を基準フレームとし、このフレームｆ３における人物Ｈの鼻の付け根の位置を注視点として設定した。なお、上述した基準となるフレームは、任意に定めることができるが、被写体をなるべく大きな割合で含むフレームを基準として選択することが好ましい。
【００４２】
なお、通常は、１つの基準となるフレームにおいて注視点を設定すれば十分であるが、被写体に対する角度を変えながら撮影しているので、注視点近傍の画像データにおける被写体の形状や色情報が大きく変化する場合がある。このような場合、後述する注視点の移動量の測定において、誤差が大きくなったり、誤検出する現象が生じる虞がある。このような現象を予防するために、注視点が被写体中の同一の場所であることをユーザが認識した上で、基準となるフレームを２つ以上設け、それぞれのフレームで被写体中の同一の場所となる注視点を設定するようにしても良い。
【００４３】
そして、動き補正処理においては、人物Ｈの鼻の付け根の位置を注視点として設定した後に、基準となるフレームｆ３に映し出されている注視点たる鼻の付け根の位置に対する、全てのフレームに映し出されている鼻の付け根の位置の画素位置の移動量を算出する。本例における注視点の移動量の測定結果を図５に示す。なお、この注視点の移動量は、各フレームの間で相関処理を行うことによって測定することができる。このような各フレーム間での相関処理には、例えばＭＰＥＧ（Moving Picture Experts Group）−１、ＭＰＥＧ−２等の動画圧縮処理において動き検出や動き補償に用いられている技術や、コンピュータ等の画像処理分野におけるオプティカルフロー検出の技術を応用することができる。
【００４４】
図５は、６０フレーム目、すなわち図４に示すフレームｆ３の注視点の位置を原点と定め、このフレームｆ３の注視点に対して他の各フレームの注視点が、水平方向及び垂直方向にどれだけ移動しているかを、上記ほかの動き検出方法によって検出した結果を示している。この図５に示す測定結果から、各フレームの注視点の位置は一定ではなく、撮影時のカメラの移動速度や移動方向、レンズの方向の変化に応じて様々な位置に移動していることがわかる。
【００４５】
次に、動き補正処理においては、算出した移動量に基づいて各フレームについての動き補正量を算出し、この動き補正量を用いて、各フレームの注視点の位置を、基準となるフレームｆ３の注視点と同じ座標上に位置させるような処理を行う。動き補正処理においては、上述した動き補正量に基づいて、フレームｆ１、ｆ２、ｆ４、ｆ５、及び図示を省略している他の各フレームの画像を水平方向及び垂直方向に移動させる平行移動処理が行われる。具体的には、動き補正処理においては、図６（ａ）に示すように、算出した動き補正量だけフレームｆ１における画像を右方向及び下方向に平行移動し、算出した動き補正量だけフレームｆ２における画像を右方向及び下方向に平行移動し、算出した動き補正量だけフレームｆ４における画像を左方向及び下方向に平行移動し、算出した動き補正量だけフレームｆ５における画像を左方向及び下方向に平行移動する。なお、ここでは、フレームｆ３を原点として注視点の移動量を算出したため、フレームｆ３については移動させることはない。動き補正処理においては、このような平行移動処理を行うことによって、注視点である各フレームの人物Ｈの鼻の付け根位置が、水平方向において全て同図（ａ）に示す基準線Ｌ１上に位置し、また垂直方向において特に基準線は示さないが同一座標に位置するようになり、同図（ｂ）に示すように、カメラＣの向きを同図中矢印方向に移動させ円弧状の軌道Ａに沿って撮影したかのような画像に近づけることができ、一般的な動画像データから視差画像データに変換することができる。実際に、変換後の視差画像データを用いて視差画像印刷物を作製したところ、画像内容が動きすぎてぶれた感じになることもなく、立体感のある良好な視差画像印刷物を得ることができた。
【００４６】
ところで、本来、視差画像印刷物の製造を前提とする撮影、すなわちカメラや被写体を回転又は平行移動させる撮影台やレール等の専用の器材を用いた撮影においては、印刷や露光等の視差画像印刷物の製造方式と表示再生条件とにおける幾何的及び空間的な関係を忠実に再現するために、カメラや被写体の並進移動速度や回転速度を規定した撮影が行われている。
【００４７】
一方で、本発明において一般的な動画像データから変換された視差画像データでは、視差画像印刷物の製造方式と表示再生条件との幾何的及び空間的な関係が、視差画像印刷物の製造を前提とする撮影で再現しようとしている関係に忠実ではない。しかしながら、人間が視差画像印刷物を観察する場合において、視差画像印刷物と人間の両眼との相対的な移動における幾何的及び空間的な関係は、それほど厳密な関係が求められているわけではない。したがって、上述した動き補正処理によって変換された視差画像データは、人間の認識可能範囲内における幾何的及び空間的な関係を保つことで、遠近感や奥行感、立体感を与える再生像を観察し得る視差画像印刷物の作製が可能とされる。
【００４８】
なお、注視点を視差画像印刷物の面上に定位させるようにする、すなわち全てのフレームの注視点を同一画素位置に位置させるには、上述した平行移動処理を行うだけでなく、注視点を中心とした画像の回転処理や拡大縮小処理を行うことが望ましい。動き補正処理においては、これらの処理を平行移動処理と併せて行うことにより、撮影時の不要なパン、チルト、トラック、クレーン、ドリーなどの効果、すなわち視差画像印刷物における人間の認識範囲に幾何的及び空間的な関係を損なうようなカメラの移動速度や移動方向、レンズの方向の誤差やムラを低減することができる。
【００４９】
このような回転処理や拡大縮小処理を行う場合、上述した視差画像印刷物の面上に定位させる位置である注視点のほかに、回転量や拡大縮小量を検出するための複数の注視点（以下、補助的な注視点と称し、先に述べた視差画像印刷物の面上に定位させるための注視点を単に注視点と称して説明する。）をさらに設定することが望ましい。
【００５０】
例えば、図４に示す一般的な動画像データにおいて、人物Ｈの鼻の付け根の位置に注視点を設定した場合に、補助的な注視点としては、注視点の存在する面上に近いことが望ましく、例えば人物Ｈの鼻の頭の位置や額の上部の位置、或いは肩の位置等に設定する。補助的な注視点をこのような位置に設定するのは、補助的な注視点が注視点と異なる面上に存在するということは、撮影したカメラからの距離が異なるということ、すなわち撮影画像内での見かけの大きさが異なってしまうということになり、回転量や拡大縮小量を検出する上で誤差が生じやすいからである。
【００５１】
一方、撮影画像内で注視点との距離が遠い位置に補助的な注視点を設定する場合であっても、注視点の位置から視差画像印刷物における非視差方向（図４における画像の垂直方向）、撮影時のカメラの移動方向に垂直な方向（図４における画像の垂直方向）、又は注視点の主たる移動方向に垂直な方向（後述する図８に示す例における画像の垂直方向）に補助的な注視点を設定すると、撮影するカメラからの距離が一定になる傾向があり、その結果、回転量や拡大縮小量を検出する上で、検出誤差を少なくすることができる。
【００５２】
またなお、上述したように動画像データを構成する各フレームに対して平行移動処理や回転処理、拡大縮小処理を行った場合には、図６に示すように、フレーム内で画像情報を移動させたことにより、各フレームに画像情報のない領域（同図中、黒塗りされた領域）が生じてしまう。このため、本発明では、各フレーム画像への平行移動処理や回転処理、拡大縮小処理を行った後に、各フレームに対して、画像情報の存在する共通の領域を取り出す、いわゆるクリップ処理を行うことが望ましい。このようなクリップ処理を行うことによって、視差画像印刷物を観察した場合に、画像情報のない領域が観察者の目に入り、再生像の遠近感や奥行感、立体感を損なうといったことが低減される。また、本発明では、クリップ処理とともに、クリップ処理によって取り出した領域の大きさを元のフレームの大きさに復元するための拡大処理を行うことによって、相対的に視差画像印刷物の中での被写体の大きさが大きく表示されることになり、より見やすい再生像を得ることができる。このようなクリップ処理と拡大処理の例について説明する。例えば６４０［pixel］×４８０［pixel］の一般的な動画像データに対して、平行移動処理や回転処理、拡大縮小処理等の動き補正を行った結果、全フレームを通して画像情報が存在する共通領域として、６００［pixel］×５４０［pixel］の画像が得られたとする。そこで、動き補正処理においては、クリップ処理として、この共通領域である６００［pixel］×５４０［pixel］の画像を各フレームから取り出す。次に、動き補正処理においては、取り出した６００［pixel］×５４０［pixel］の画像に対して、バイリニア補間やバイキュービック補間などの画像処理手法を用いて、動き補正処理前と同じ画素数である６４０［pixel］×４８０［pixel］へと拡大する拡大処理を行う。そして、動き補正処理においては、クリップ処理と拡大処理とを行って得られた動画像データを、クリップ処理と拡大処理とを行う前の、動き補正された動画像データに代えて使用する。動き補正処理においては、このような処理を行うことによって、例えば実際に撮影された元の動画像データよりも、人物の顔が大きくなった動画像データを視差画像データとして得ることができ、この視差画像データを用いて視差画像印刷物を作製することにより大きく見やすい再生像を得ることもできる。
【００５３】
なお、上述した例においては、注視点の移動量をそのまま動き補正量として動き補正処理を施しているが、注視点の移動量に対して各フレームの時系列方向に移動平均処理や多項式近似等の平滑化処理、又は近似曲線処理を施して得られる数値を動き補正量としても良い。注視点の移動量の測定においては、画像に生じたノイズの影響や動き検出処理の誤差によって、各フレームでの移動量に誤差が含まれていることが多い。一方、動画像データの中の注視点の動きは滑らかな場合が多いため、平滑化処理や近似曲線処理等の処理を実際の測定結果に施し、それによって得た数値を動き補正量とすることで、より適切な動き補正処理を行うことができる。
【００５４】
次に、他の撮影手法によって得られる一般的な動画像データを視差画像データに変換する方法について説明する。本例においては、図７に示す撮影手法、具体的には、固定したカメラＣによって、自らの動作で振り返る人物Ｈを被写体として撮影することにより、一般的な動画像データを得ている。このような場合、カメラＣが三脚等で固定されていたとしても、視差画像印刷物の製造を前提にしたような被写体が回転する撮影台での撮影とは異なり、被写体が自ら動いているので、被写体の移動速度及び移動方向は一定ではない。このため、この動画像データのままでは、視差画像印刷物に用いるデータとしては動きすぎる画像となり、良好な再生像を得ることができない。そこで、視差画像印刷物の面上に定位させるために、以下の如き動き補正処理を施す。
【００５５】
まず、動き補正処理においては、一般的な動画像データを構成する各フレームから基準となるフレームを定め、このフレーム内の被写体に設定する注視点として、被写体である人物の鼻の付け根の位置を設定する。そして、動き補正処理においては、基準フレームにおける注視点の位置に対する他の各フレームの注視点の位置の移動量を測定する。本例では、６０フレームある動画像データの３０フレーム目にあたる図８に示すフレームｆ８を基準フレームとし、このフレームｆ８における人物Ｈの注視点の位置を基準として、他の各フレームにおける注視点の移動量を測定した。この結果を図９に示す。
【００５６】
図９は、３０フレーム目、すなわち図８に示すフレームｆ８の注視点の位置を原点と定め、このフレームｆ８の注視点に対して他の各フレームの注視点が、水平方向及び垂直方向にどれだけ移動しているかを示している。この図９に示す測定結果から、各フレームの注視点が被写体自らの動作によって細かく様々な方向に移動していることがわかる。
【００５７】
動き補正処理においては、このような注視点の移動量に基づいて、各フレームの注視点の位置を基準となるフレームｆ８の注視点と同じ座標上に位置させるような処理を行う。ここで、この動き補正量は、以下のように算出される。本例においては、被写体である人物Ｈが、振り返り以外の時間的な変化のある動作である首の垂直方向の動き、すなわちうつむいた状態から顔を上げた状態へ移行する動作を行っているが、この動作は視差画像データを得るべく全方位から被写体を撮影するために行われた被写体の振り返り動作とは異なり、被写体の意志で行った動作の一部、すなわち被写体の演技であるため、再生像として残すことが望ましい。したがって、本例では、視差画像印刷物での注視点の動きとして被写体自体の回転、すなわち水平方向の移動量のみを抽出して動き補正量とするようにする。図１０は、図９に示した注視点の移動量の水平方向の成分のみ抽出した上で、移動平均処理により平滑化処理を行って計算した動き補正量を表す図である。
【００５８】
さらに、注視点の移動量から算出された図１０の動き補正量に基づいて、基準フレームｆ８以外のフレームｆ６、ｆ７、ｆ９、ｆ１０及び図示を省略している他の各フレームの画像に平行移動処理を行った。図１１（ａ）は、各フレームｆ６、ｆ７、ｆ９、ｆ１０の画像に平行移動処理を行ったものである。なお、上述したように、本例においては、水平方向の移動量のみに基づいて動き補正量が算出されているため、水平方向のみの平行移動となる。具体的には、動き補正処理においては、算出した動き補正量だけフレームｆ６における画像を左方向に平行移動し、算出した動き補正量だけフレームｆ７における画像を左方向に平行移動し、算出した動き補正量だけフレームｆ９における画像を右方向に平行移動し、算出した動き補正量だけフレームｆ１０における画像を右方向に平行移動する。なお、ここでは、フレームｆ８を原点として注視点の移動量を算出したため、フレームｆ８については移動させることはない。動き補正処理においては、このような平行移動処理を行うことにより、注視点である各フレームの人物Ｈの鼻の付け根位置が、水平方向において全て同図（ａ）に示す基準線Ｌ２上に、すなわち同一座標に位置するようになり、同図（ｂ）に示すように、カメラＣの向きを同図中矢印方向に移動させ円弧状の軌道Ａに沿って撮影したかのような画像に近づけることができ、一般的な動画像データから視差画像データに変換することができる。実際に、変換後の視差画像データを用いて視差画像印刷物を作製したところ、画像内容が動きすぎてぶれた感じになることもなく、遠近感や奥行感、立体感のある良好な視差画像印刷物を得ることができた。
【００５９】
なお、注視点の移動量から動き補正量を算出する場合、移動量の水平成分のみや垂直成分のみ、又は直交座標表示だけではなく極座標表示での各成分等から被写体の動作に応じた適切な関数を適用し、注視点の移動量を関数変換することができる。このような関数変換を行うことで、注視点の移動量を動き補正量として変換する際に、動画像データの内容、すなわち被写体の動作に応じた処理を行うことができ、視差画像印刷物としてより遠近感や奥行感や立体感の高いものを得ることができる。例えば、図１０に示す注視点の水平成分のみの移動量の推移は、コサイン関数に類似していることから、移動量の推移をコサイン関数に変換して動き補正量を換算することで、遠近感や奥行感、立体感の高い良好な視差画像印刷物を得ることができる。
【００６０】
このように、本発明においては、上述した動き補正処理を一般的な動画像データに対して施すことによって、一般ユーザが視差画像印刷物の製造を何ら意識することなく撮影した一般的な動画像データであっても、娯楽性の高い視差画像印刷物を得るための視差画像データに容易に変換することができる。
【００６１】
このように、一般的な動画像データから変換した視差画像データは、以下に示す視点変換処理が施されることによってホログラフィックステレオグラムとしてプリント可能なデータであるホログラム画像データに変換され、視差画像印刷物の製造に用いられる。ここでは、この視差画像印刷物の製造方法について説明する。
【００６２】
まず、視差画像印刷物としてのホログラフィックステレオグラムを製造するにあたっては、上述したようにして得た視差画像データを、ホログラフィックステレオグラムとしてプリント可能なデータに変換する所定の画像処理が行われる。この画像処理においては、視差画像データをホログラム画像データに変換するための視点変換処理が行われる。
【００６３】
視点変換処理は、撮影位置や撮影角度が定められて撮影された視差画像データを、再生像の表示再生時に幾何的又は空間的に整合性を取ることができるように、実際にホログラム用記録媒体の要素部分や要素位置に印刷、露光するための要素ホログラム画像データを生成するものである。このような視点変換処理を行う方法の一つとしては、スライスアンドダイス（Slice and Dice）と呼ばれる方法がある。これは、視差画像データを構成するｍ枚の要素視差画像を入れ替えることにより、ｎ枚の要素ホログラム画像を生成し、新たな要素ホログラム画像データを再構成する画像処理である。
【００６４】
そして、上述したような視点変換処理が行われて要素ホログラム画像データに変換された動画像データをホログラム用記録媒体に対して露光記録した後に、プリントアウトすることによって、娯楽性の高い視差画像印刷物を製造することができる。
【００６５】
なお、ここでは、上述した視差画像印刷物を製造するにあたって、一般的な動画像データに対して動き補正処理を施すことによって視差画像データを生成し、その後視差画像データに対して視点変換処理を施すことによってホログラム用記録媒体に露光記録するための要素ホログラム画像データを生成するものとして説明しているが、本発明はこのような方法に限定されるものではない。本発明においては、上述した一般的な動画像データに対する動き補正処理で行うべき幾何的又は空間的な変換処理を、視差画像印刷物の製造の際に行う視点変換処理と統合して行ってもよい。このような方法にあっては、視点変換処理にて使用される再生像の整合性を取るための幾何的又は空間的パラメータに、注視点の移動量に基づいて算出された動き補正量を幾何的又は空間的に加算することで、一般的な動画像データ毎の動き補正量を含む視点変換処理のパラメータを作成することができる。そして、このようなパラメータを適用して視点変換処理を一般的な動画像データに対して施すことにより、上述した動き補正処理を視点変換処理の一部として行うことができるようになる。
【００６６】
さて、以下では、以上説明した動き補正処理及び視点変換処理を施すことにより、一般的な動画像データからホログラム画像データを生成して、視差画像印刷物としてのホログラフィックステレオグラムを製造する具体的な構成について説明する。
【００６７】
まず、視差画像印刷物であるホログラフィックステレオグラムを製造する第１の具体例としてのプリント装置について、図１２及び図１３を用いて説明する。
【００６８】
プリント装置１は、図１２に示すように、一般的な動画像データが入力される動画像入力部２と、一般的な動画像データから視差画像データに変換する動き補正処理を行う動き補正処理部３と、動き補正処理にて使用する基準フレームの設定と注視点の設定とが行われる注視点入力部４と、ホログラフィックステレオグラムの印刷を行う視差画像印刷部５と、各部を統括的に制御する制御部６と、動画像入力部２を介して入力された一般的な動画像データや動き補正処理部３によって生成された視差画像データなどの各種データを蓄積するデータ蓄積部７と、このデータ蓄積部７から読み出された各種画像データを表示する表示部８とを備える。
【００６９】
動画像入力部２には、ユーザによって同図に示すビデオカメラレコーダやデジタルスチルカメラ等の撮像装置ＣＡで撮影された一般的な動画像データが入力される。動画像入力部２は、入力された一般的な動画像データを動き補正処理部３に供給するとともに、必要に応じて、データ蓄積部７に供給して蓄積させる。
【００７０】
動き補正処理部３は、注視点入力部４から供給された動き補正処理の基準となるフレームと注視点とに関する情報からなる注視点データに基づいて、動画像入力部２から供給された一般的な動画像データ、又はデータ蓄積部７から読み出した一般的な動画像データに対して動き補正処理を施す。なお、動き補正処理部３には、動き補正処理として、平行移動処理とともに、回転処理や拡大縮小処理を行う場合には、補助的な注視点に関する情報も注視点入力部４から注視点データとして供給される。具体的には、動き補正処理部３は、各フレームについての注視点の移動量の算出、この移動量に基づく動き補正量の算出、及び一般的な動画像データに対する平行移動処理や回転処理等の各種処理を行うことにより、動画像入力部２又はデータ蓄積部７から供給された一般的な動画像データを視差画像データに変換する。動き補正処理部３は、生成した視差画像データを、視差画像印刷部５に供給するとともに、必要に応じて、データ蓄積部７に供給して蓄積させる。
【００７１】
注視点入力部４には、ユーザによって設定された注視点データが入力される。注視点入力部４は、設定された注視点データを動き補正処理部３に供給する。
【００７２】
視差画像印刷部５は、視点変換処理を行うことによって要素ホログラム画像データを生成する視点変換処理部９と、当該視差画像印刷部５の動作を制御するプリンタ制御部１０と、視差画像印刷物であるホログラフィックステレオグラムを作製してプリントアウトするプリンタ部１１とを備える。
【００７３】
視点変換処理部９には、上述した動き補正処理部３又はデータ蓄積部７から視差画像データが供給される。また、視点変換処理部９には、パラメータ入力部１２から例えば撮影距離や撮影方向を示す情報といった視点変換処理を行うために必要となる各種パラメータが供給される。視点変換処理部９は、プリンタ制御部１０の制御のもとに、パラメータ入力部１２から供給された各種パラメータに基づいて、視差画像データに対して視点変換処理を施すことによって、要素ホログラム画像データを生成する。視点変換処理部９は、生成した要素ホログラム画像データをプリンタ部１１に供給する。
【００７４】
プリンタ制御部１０は、視点変換処理部９を制御して、視差画像データから要素ホログラム画像データへの適切な視点変換処理を行わせるとともに、要素ホログラム画像データのプリンタ部１１への供給動作を制御する。
【００７５】
プリンタ部１１は、視点変換処理部９から供給された要素ホログラム画像データを図示しないホログラム用記録媒体に露光記録し、ホログラフィックステレオグラム画像が記録された部分を切り離して外部に排出することにより、１枚のホログラフィックステレオグラムを作製する。
【００７６】
このような視差画像印刷部５は、視差画像データに対して視点変換処理を施し、得られた要素ホログラム画像データをホログラム用記録媒体に露光記録することにより、視差画像印刷物としてのホログラフィックステレオグラムを製造する。
【００７７】
データ蓄積部７は、動画像入力部２から供給された一般的な動画像データを蓄積するとともに、動き補正処理部３から供給された視差画像データを蓄積する。このデータ蓄積部７に蓄積された各種動画像データは、制御部６の制御のもとに読み出され、表示部８に供給される。
【００７８】
表示部８は、制御部６の制御のもとに、データ蓄積部７に蓄積されている一般的な動画像データや視差画像データを表示する。特に、プリンタ装置１においては、視差画像データを表示部８に表示することにより、視差画像印刷部５による印刷前にユーザの最終的な判断をあおぐためのプレビュー処理を行うことができる。プリンタ装置１においては、このようなプレビュー処理を行うことによって、ユーザの意図する視差画像データの生成を確実に行うことができる。
【００７９】
このような各部を備えるプリンタ装置１は、図１３に示す一連の工程を経ることにより、一般的な動画像データに基づいて、視差画像印刷物としてのホログラフィックステレオグラムを製造する。
【００８０】
まず、プリンタ装置１においては、同図に示すように、ユーザによって一般的な動画像データが撮像装置ＣＡ等を用いて撮影される（ステップＳ１−１）。次に、プリンタ装置１においては、ステップＳ１−１にて撮影された一般的な動画像データが動画像入力部２に入力される（ステップＳ１−２）。続いて、プリンタ装置１においては、この動画像入力部２に入力された一般的な動画像データの被写体に対して、ユーザによって注視点入力部４を介して注視点が設定される（ステップＳ１−３）。なお、この注視点の設定は、例えば表示部８に一般的な動画像データを表示させ、この表示画像の任意の一点をマウス等のポインティングデバイスを用いて指定し、その情報を注視点データとして注視点入力部４に供給することにより行われる。
【００８１】
そして、プリンタ装置１においては、動画像入力部２から直接、又はデータ蓄積部７を介して一般的な動画像データが動き補正処理部３に供給されるとともに、注視点入力部１２から注視点データが動き補正処理部３に供給され、動き補正処理が行われる（ステップＳ１−４）。
【００８２】
続いて、プリンタ装置１においては、ステップＳ１−４にて動き補正処理が施されて一般的な動画像データから変換された視差画像データを表示部８に表示させることによってプレビュー処理が行われる（ステップＳ１−５）。ここで、プリンタ装置１においては、ユーザが表示部８に表示された画像を確認し、意図通りの画像であった場合には、次のステップＳ１−６へと処理が移行する一方、意図と異なる画像であった場合には、ステップＳ１−４に処理が戻され再度動き補正処理が行われる。
【００８３】
プリンタ装置１においては、プレビュー処理の後、視差画像データが動き補正処理部３又はデータ蓄積部７から視差画像印刷部５における視点変換処理部９に供給され、視差画像データに対する視点変換処理が行われる（ステップＳ１−６）。これにより、視差画像データは、ホログラム用記録媒体に露光記録される要素ホログラム画像データに変換される。
【００８４】
そして、プリンタ装置１においては、要素ホログラム画像データが視点変換処理部９からプリンタ部１１に供給され、このプリンタ部１１によってホログラム用記録媒体に対する要素ホログラム画像データの露光記録が行われる（ステップＳ１−７）。なお、このプリンタ部１１における露光記録は以下のようにして行われる。まず、プリント部１１においては、図示しない表示装置に要素ホログラム画像データの１画像を表示させ、この表示装置を含む物体光用光学系を通過したレーザ光、すなわち物体光と、参照光用光学系を通過したレーザ光、すなわち参照光とをホログラム用記録媒体に入射させる。これにより、プリンタ部１１においては、表示装置に表示された１画像が、ホログラム用記録媒体に短冊状の要素ホログラムとして記録される。そして、プリンタ部１１においては、ホログラム用記録媒体が１要素ホログラム分だけ送り出されることにより、次の画像の記録が行われる。このように、プリンタ部１１においては、１画像毎に短冊状にホログラム用記録媒体が記録されることによって、横方向の視差情報を有する連続した複数の要素ホログラムとしてホログラム用記録媒体に記録される。その後、プリンタ部１１においては、紫外線の照射やヒートローラによる加熱等が行われ、ホログラフィックステレオグラム画像が記録された部分がカッター等によって切り離されることにより１枚のホログラフィックステレオグラムが作製される。なお、この露光記録に際してのプリント部１１の動作、具体的にはプリンタ部１１に設けられる表示装置等の動作、記録媒体送り送り動作又は裁断動作は、プリンタ制御部１０により制御される。
【００８５】
最後に、プリンタ装置１においては、裁断された１枚毎のホログラフィックステレオグラムがプリントアウトされ（ステップＳ１−８）、一連の処理が終了する。
【００８６】
このように、第１の具体例としてのプリント装置１によれば、ユーザが視差画像印刷物の製造を意図しないで撮影した一般的な動画像データであっても、容易に視差画像印刷物に適した視差画像データに変換することができ、ホログラフィックステレオグラム等の娯楽性の高い視差画像印刷物を手軽に手に入れることができるようになる。
【００８７】
つぎに、視差画像印刷物であるホログラフィックステレオグラムを製造する第２の具体例としてのプリント装置について、図１４及び図１５を用いて説明する。
【００８８】
図１４に示すプリンタ装置１は、図１２に示したプリント装置１のように、動き補正処理部３にて動き補正処理を行い、一般的な動画像データを視差画像データに変換した後に、視差画像データを視差画像印刷部５に供給するのではなく、一般的な動画像データを視差画像印刷部５に供給し、この一般的な動画像データに対する動き補正処理を視点変換処理の一部として視差画像印刷部５において行うものである。
【００８９】
すなわち、図１４に示すプリント装置１においては、動画像入力部２に入力された一般的な動画像データが、動画像入力部２から直接、又はデータ蓄積部７を介して、動き補正処理部３及び視点変換処理部９に供給される。一般的な動画像データが供給された動き補正処理部３においては、注視点入力部４から供給された注視点データに基づく注視点の移動量の測定と、動き補正量の算出とが行われる。そして、動き補正処理部３は、動き補正量に関するデータをパラメータ入力部１２に供給する。パラメータ入力部１２は、動き補正処理部３から供給された動き補正量に関するデータを幾何的又は空間的に視点変換処理のためのパラメータに加算することで、一般的な動画像データに対して動き補正処理を含む視点変換処理を行うことを可能とするパラメータを生成し、このパラメータを視点変換処理部９に供給する。視点変換処理部９は、動画像入力部２から一般的な動画像データが供給されると、パラメータ入力部１２から供給されたパラメータに基づいて、一般的な動画像データに対する動き補正処理を含む視点変換処理を行い、一般的な動画像データを要素ホログラム画像データに変換する。
【００９０】
このようなプリント装置１は、図１５に示す一連の工程を経ることにより、一般的な動画像データに基づいて、視差画像印刷物としてのホログラフィックステレオグラムを製造する。
【００９１】
まず、プリンタ装置１においては、同図に示すように、ユーザによって撮像装置ＣＡでの一般的な動画像データの撮影が行われ（ステップＳ２−１）、この一般的な動画像データが当該プリント装置１における動画像入力部２に入力される（ステップＳ２−２）。その後、プリンタ装置１においては、この動画像入力部２に入力された一般的な動画像データの被写体に対する注視点の設定がユーザによって注視点入力部４を介して行われる（ステップＳ２−３）。
【００９２】
そして、プリンタ装置１においては、動画像入力部２から直接、又はデータ蓄積部７を介して一般的な動画像データが供給されるとともに、注視点入力部１２から注視点データが動き補正処理部３に供給され、注視点データを基に一般的な動画像データにおける注視点の移動量の測定と、この注視点の移動量に基づく動き補正量の算出が行われる（ステップＳ２−４）。この動き補正量に関するデータは、動き補正処理部３からパラメータ入力部１２に供給される。プリンタ装置１においては、パラメータ入力部１２において、視点変換処理の一部として動き補正処理を行うべく、動き補正量に関するデータを視点変換処理のためのパラメータに対して幾何的又は空間的に加算した視点変換処理のためのパラメータが生成される（ステップＳ２−５）。
【００９３】
プリンタ装置１においては、このパラメータがパラメータ入力部１２から視点変換処理部９に供給されると、この視点変換処理部９において、動画像入力部２から供給される一般的な動画像データに対する視点変換処理が行われ（ステップＳ２−６）、一般的な動画像データが要素ホログラム画像データに変換される。動き補正処理は、この視点変換処理の一部として行われる。
【００９４】
そして、プリンタ装置１においては、要素ホログラム画像データが視点変換処理部９からプリンタ部１１に供給され、このプリンタ部１１によってホログラム用記録媒体に対する要素ホログラム画像データの露光記録が行われる（ステップＳ２−７）。
【００９５】
最後に、プリンタ装置１においては、裁断された１枚毎のホログラフィックステレオグラムがプリントアウトされ（ステップＳ２−８）、一連の処理が終了する。
【００９６】
このように、第２の具体例としてのプリント装置１によれば、動き補正処理を視点変換処理と統合して行うことができ、ユーザが視差画像印刷物の製造を意図しないで撮影した一般的な動画像データであっても、容易に視差画像印刷物に適した要素ホログラム画像データに変換することができる。
【００９７】
さて、以上では、このような画像処理と視差画像印刷物の製造とを同一装置にて行うプリント装置１について説明したが、以下では、このプリント装置１を応用した印刷物製造システムについて説明する。この印刷物製造システムは、以下に示すような通信端末装置とプリント装置との如き複数の装置からなるものである。
【００９８】
まず、図１２に示した第１の具体例としてのプリント装置１を応用した印刷物製造システムについて図１６及び図１７を用いて説明する。
【００９９】
印刷物製造システム２１は、図１６に示すように、撮像装置ＣＡにより撮影された一般的な動画像データが入力される通信端末装置３１と、この通信端末装置３１と動画像データの授受が可能なプリント装置４１とからなる。
【０１００】
通信端末装置３１は、例えばパーソナルコンピュータや携帯電話等、有線、無線を問わず他の電子機器とのデータの授受が可能な電子機器であり、動画像入力部３２と、外部電子機器とのインターフェースとなる通信端末部３３と、表示部３４と、注視点入力部３５とを備える。この通信端末装置３１において、動画像入力部３２には、撮像装置ＣＡにて撮影された一般的な動画像データが入力される。また、通信端末部３３には、一般的な動画像データが動画像入力部３２から供給されるとともに、ユーザによって設定された注視点データが注視点入力部３５から供給される。そして、通信端末装置３１は、通信端末部３３から一般的な動画像データと注視点データとを外部電子機器、本例ではプリント装置４１に送信する。
【０１０１】
プリント装置４１は、データを受信する通信部４２と、データ蓄積部４３と、動き補正処理部４４と、視差画像印刷部４５と、動き補正処理部４４における処理及び装置全体の動作の制御を行う制御部４６とを備える。通信部４２は、他の外部電子機器とのインターフェースとなるものであり、外部電子機器から送信されたデータ、本例では通信端末装置３１から送信された一般的な動画像データと注視点データとを受信する。動き補正処理部４４は、通信端末装置３１から送信された一般的な動画像データと注視点データとを基に動き補正処理、具体的には動き補正量の算出、及び一般的な動画像データに対する平行移動処理、回転処理等の処理が行われる。視差画像印刷物４５は、視点変換処理部４７と、プリンタ制御部４８と、プリンタ部４９とを備え、動き補正処理４４にて動き補正処理されて一般的な動画像データから変換された視差画像データの視点変換処理を視点変換処理部４７にて行い、ホログラフィックステレオグラムの製造をプリンタ部４９にて行う。なお、視点変換処理部４７における視点変換処理に必要なパラメータは、パラメータ入力部５０から供給される。
【０１０２】
このような印刷物製造システム２１においては、図１７に示す一連の工程を経ることにより、一般的な動画像データに基づいて、視差画像印刷物としてのホログラフィックステレオグラムを製造する。
【０１０３】
まず、印刷物製造システム２１においては、同図に示すように、ユーザによって一般的な動画像データが撮像装置ＣＡ等を用いて撮影され（ステップＳ３−１）、この一般的な動画像データが通信端末装置３１における動画像入力部３２に入力される（ステップＳ３−２）。その後、印刷物製造システム２１においては、この動画像入力部３２に入力された一般的な動画像データの被写体に対して、ユーザによって注視点入力部３５を介して注視点が設定される（ステップＳ３−３）。そして、印刷物製造システム２１においては、動画像入力部３２に入力された一般的な動画像データと、注視点入力部３５にて設定された注視点データとが通信端末部３３に供給され、この通信端末部３３からプリント装置４１における通信部４２に対して、これらの一般的な動画像データと注視点データとが送信される（ステップＳ３−４）。
【０１０４】
印刷物製造システム２１においては、プリント装置４１における通信部４２によって受信された一般的な動画像データと注視点データとが、直接、又はデータ蓄積部４３を介して動き補正処理部４４に供給され、この動き補正処理部４４によって一般的な動画像データを視差画像データに変換する動き補正処理が行われる（ステップＳ３−５）。そして、印刷物製造システム２１においては、変換後の視差画像データが、視差画像印刷部４５における視点変換処理部４７に供給され、パラメータ入力部５０から供給されたパラメータに基づく視点変換処理が行われる（ステップＳ３−６）。印刷物製造システム２１においては、この視点変換処理によって得られた要素ホログラム画像データがプリンタ部４９に供給され、このプリンタ部１１によってホログラム用記録媒体に対する要素ホログラム画像データの露光記録が行われる（ステップＳ３−７）。そして、印刷物製造システム２１においては、裁断された１枚毎のホログラフィックステレオグラムがプリントアウトされ（ステップＳ３−８）、一連の処理が終了する。
【０１０５】
このように、第１の具体例としてのプリント装置１を応用した印刷物製造システム２１によれば、通信端末装置３１を所持するユーザが視差画像印刷物の製造を意図しないで撮影した一般的な動画像データであっても、プリント装置４１によって容易に視差画像印刷物に適した要素ホログラム画像データに変換することができ、ホログラフィックステレオグラム等の娯楽性の高い視差画像印刷物を手軽に手に入れることができるようになる。
【０１０６】
なお、上述した印刷物製造システム２１においては、動き補正処理部４４にて動き補正処理を行うことによって一般的な動画像データを視差画像データに変換し、この視差画像データを視点変換処理部４７に供給して視点変換処理を行っているが、このような処理を行う構成に限定されるものではない。例えば、印刷物製造システム２１においては、動き補正処理部４４にて動き補正量の算出までを行い、この動き補正量に関するデータをパラメータ入力部５０に供給するとともに、視点変換処理部４７に一般的な動画像データを供給することによって、パラメータ供給部５０にて生成される動き補正量が加算されたパラメータに基づいて、視点変換処理部４７にて一般的な動画像データに視点変換処理を行うものであっても良い。このとき、動き補正処理は、視点変換処理の一部として行われる。
【０１０７】
また、上述した印刷物製造システム２１においては、図１８に示すように、通信端末部３１が、一般的な動画像データを撮影し得る撮像部３６を有するものであってもよい。
【０１０８】
さらに、印刷物製造システムにあっては、通信端末装置３１側で一般的な動画像データの画像処理等を行うようにしても良い。以下、通信端末装置３１側で一般的な動画像データから視差画像データへの変換を行う印刷物製造システム５１について説明する。なお、本例においては印刷物製造システム２１と同一構成を有する部分については同一符号を付し、詳しい説明は省略する。
【０１０９】
印刷物製造システム５１は、図１９に示すように、撮像装置ＣＡにより撮影された一般的な動画像データが入力される通信端末装置３１と、この通信端末装置３１と動画像データの授受が可能なプリント装置４１とからなり、通信端末装置３１に設けられた動き補正処理部３７にて、一般的な動画像データから視差画像データへの変換行うものである。なお、通信端末装置３１には、動き補正処理部３７における処理及び装置全体の動作制御を行う制御部３８が設けられている。
【０１１０】
このような印刷物製造システム５１は、図２０に示す一連の工程を経ることにより、一般的な動画像データに基づいて、視差画像印刷物としてのホログラフィックステレオグラムを製造する。
【０１１１】
まず、印刷物製造システム５１においては、同図に示すように、ユーザによって一般的な動画像データが撮像装置ＣＡ等を用いて撮影され（ステップＳ４−１）、この一般的な動画像データが通信端末装置３１における動画像入力部３２に入力される（ステップＳ４−２）。その後、印刷物製造システム５１においては、この動画像入力部３２に入力された一般的な動画像データの被写体に対して、ユーザによって注視点入力部３５を介して注視点が設定される（ステップＳ４−３）。そして、印刷物製造システム５１においては、動画像入力部３２に入力された一般的な動画像データと、注視点入力部３５にて設定された注視点データとが動き補正処理部３７に供給され、動き補正処理が行われる（ステップＳ４−４）。その後、印刷物製造システム５１においては、ステップＳ４−４にて動き補正処理が施されて一般的な動画像データから変換された視差画像データを表示部３４に表示させることによってプレビュー処理が行われる（ステップＳ４−５）。ここで、印刷物製造システム５１においては、ユーザが表示部３４に表示された画像を確認し、意図通りの画像であった場合には、次のステップＳ４−６へと処理が移行する一方、意図と異なる画像であった場合には、ステップＳ４−４に処理が戻され再度動き補正処理が行われる。
【０１１２】
印刷物製造システム５１においては、プレビュー処理の後、視差画像データが通信端末部３３を介してプリント装置４１における通信部４２に対して送信される（ステップＳ４−６）。印刷物製造システム５１においては、通信部４２にて受信された視差画像データが、直接、又はデータ蓄積部４３を介して視点変換処理部４７に供給され、この視点変換処理部４７においてパラメータ入力部５０から供給されたパラメータに基づく視点変換処理が行われる（ステップＳ４−７）。印刷物製造システム５１においては、視差画像データがホログラム用記録媒体に露光記録される要素ホログラム画像データに変換されてプリンタ部４９に供給され、ホログラム用記録媒体に対する露光記録が行われる（ステップＳ４−８）。そして、印刷物製造システム５１においては、裁断された１枚毎のホログラフィックステレオグラムがプリントアウトされ（ステップＳ４−９）、一連の処理が終了する。
【０１１３】
このように、印刷物製造システム５１によれば、通信端末装置３１を所持するユーザが視差画像印刷物の製造を意図しないで撮影した一般的な動画像データであっても、動き補正処理を行うことによって容易に視差画像印刷物に適した視差画像データに変換することができ、これをプリント装置４１に対して送信することにより、ホログラフィックステレオグラム等の娯楽性の高い視差画像印刷物を手軽に手に入れることができるようになる。
【０１１４】
なお、上述した印刷物製造システム５１においては、動き補正処理部３７にて変換された視差画像データをプリント装置４１に送信しているが、このような処理を行う構成に限定されるものではない。例えば、印刷物製造システム５１においては、動き補正処理部３７にて動き補正量の算出までを行い、この動き補正に関するデータと一般的な動画像データをプリント装置４１に送信するものであっても良い。かかる場合、プリンタ装置４１では、視点変換処理部４６において、動き補正処理を一部に含む視点変換処理が行われる。
【０１１５】
また、印刷物製造システム５１においては、動き補正処理後の視差画像データとともに、動き補正処理部３７にて算出した動き補正量に関するデータをプリント装置４１に送信するものであっても良く、さらには入力された一般的な画像データ、動き補正量に関するデータ及び視差画像データの全てをプリント装置４１に送信するものであっても良い。かかる場合、プリンタ装置４１では、変換前の一般的な動画像データや動き補正量に関するデータが、送信してきたユーザに関する情報として、視差画像データ等とともにデータ蓄積部４３に蓄積される。
【０１１６】
さらに、上述した印刷物製造システム５１においては、図２１に示すように、通信端末装置３１が、一般的な動画像データを撮影し得る撮像部３６を有するものであってもよい。
【０１１７】
なお、上述した実施の形態では、視差画像印刷物としてホログラフィックステレオグラムを例示して説明したが、本発明は、例えばレンチキュラレンズを利用した印刷物であるいわゆるレンチキュラ写真といったホログラフィックステレオグラム以外の視差画像印刷物にも適用できることはもちろんである。
【０１１８】
また、上述した実施の形態では、一般的な動画像データを撮影によって生成するものとして説明したが、本発明は、実物の被写体を撮影するのみならず、いわゆるＺバッファ法、レイトレーシング法、又はラジオインテンシティ法といった各種ＣＧによる動画像データの作成であって、カメラが被写体に対して相対的に移動するように作成した動画像データを一般的な動画像データとしてもよい。
【０１１９】
さらには、本発明は、上述した各実施例に限定されるものではなく、また、本発明はその趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【０１２０】
【発明の効果】
以上、詳細に説明したように、本発明に係る画像処理装置及び画像処理方法は、ユーザが普通に、すなわち視差画像印刷物の製造を意識しないで撮影した動画像データを、視差画像印刷物の製造に適した動画像データに変換することができる。したがって、本発明によれば、専用のカメラや器材を用いることなく、簡易に視差画像印刷物に適した動画像データを得ることができる。
【０１２１】
また、本発明に係る印刷物製造方法及び印刷物製造装置、並びに印刷物製造システム、このシステムを構成する情報端末装置及び印刷物製造装置によれば、先に述べた画像処理方法を適用して、ユーザが普通に撮影した動画像データを基にした種々の視差画像印刷物を製造することができ、娯楽性の高いホログラフィックステレオグラム等の視差画像印刷物を簡易に手に入れることができる。
【図面の簡単な説明】
【図１】視差画像データの一般的な撮影手法を説明するための図である。
【図２】視差画像印刷物にて表示される再生像の位置を説明するための図である。
【図３】一般的な動画像データの撮影手法の一例を示す図である。
【図４】同撮影手法にて撮影した動画像データのフレームの一部を示す図である。
【図５】同撮影手法にて撮影した動画像データの注視点の移動量を示す図である。
【図６】（ａ）は動き補正処理が施された動画像データのフレームの状態を、（ｂ）は動き補正処理の後の動画像データを撮影し得るカメラ位置を説明するための図である。
【図７】一般的な動画像データの他の撮影手法の一例を示す図である。
【図８】同撮影手法にて撮影した動画像データのフレームの一部を示す図である。
【図９】同撮影手法にて撮影した動画像データの注視点の移動量を示す図である。
【図１０】注視点の移動量において、水平方向の成分のみ抽出した図である。
【図１１】（ａ）は動き補正処理が施された動画像データのフレームの状態を、（ｂ）は動き補正処理の後の動画像データを撮影し得るカメラ位置を説明するための図である。
【図１２】プリント装置の概略構成を示すブロック図である。
【図１３】同プリント装置における視差画像印刷物の製造工程を説明するためのフローチャートである。
【図１４】異なる画像処理が行われる同プリント装置の概略構成を示すブロック図である。
【図１５】同プリント装置における視差画像印刷物の製造工程を説明するためのフローチャートである。
【図１６】印刷物製造システムの概略構成を示すブロック図である。
【図１７】同印刷物製造システムにおける視差画像印刷物の製造工程を説明するためのフローチャートである。
【図１８】他の構成を有する印刷物製造システムの概略構成を示すブロック図である。
【図１９】さらに他の構成を有する印刷物製造システムの概略構成を示すブロック図である。
【図２０】同印刷物製造システムにおける視差画像印刷物の製造工程を説明するためのフローチャートである。
【図２１】さらに他の構成を有する印刷物製造システムの概略構成を示すブロック図である。
【図２２】視差画像印刷物に使用する動画像データを撮影する従来の方法を説明するための図である
【符号の説明】
１ プリント装置，２ 動画像入力部，３ 動き補正処理部，４ 注視点入力部，５ 視差画像印刷部，６ 制御部，７ データ蓄積部，８ 表示部，９ 視点変換処理部，１０ プリンタ制御部，１１ プリンタ部，１２ パラメータ入力部，２１ 印刷物製造システム，３１ 通信端末装置，３２ 動画像入力部，３３ 通信端末部，３４ 表示部，３５ 注視点入力部，３６ 撮像部，３７ 動き補正処理部，３８ 制御部，４１ プリント装置，４２ 通信部，４３ データ蓄積部，４４ 動き補正処理部，４５ 視差画像印刷部，４６ 制御部，４７ 視点変換処理部，４８ プリンタ制御部，４９ プリンタ部，５０ パラメータ入力部
Claims (32)
- 動画像データを構成する複数のフレームから基準となる少なくとも一のフレームを設定するとともに、該基準となるフレームにおける被写体に注視点を設定する注視点設定手段と、
上記注視点設定手段によって設定された上記基準となるフレームにおける注視点と、他のフレームにおける注視点への対応点との関係から注視点の移動量を算出するとともに、上記移動量に基づいて各フレームについての動き補正量を算出し、上記動き補正量に基づいて上記動画像データに対する動き補正処理を行い、 当該動画像データの中にある所定の位置の被写体を視差画像印刷物の面上に再生像として定位させて、視認する方向によって視認される画像が変化する視差画像印刷物として印刷可能な視差画像データに当該動画像データを変換する動き補正処理手段と
を備えることを特徴とする画像処理装置。 - 上記視差画像印刷物は、ホログラフィックステレオグラムであり、上記動き補正処理手段によって得られた上記視差画像データを上記ホログラフィックステレオグラムに印刷可能なデータに変換する画像変換処理手段を備えることを特徴とする請求項１記載の画像処理装置。
- 上記画像変換処理手段は、上記視差画像データに対して視点変換処理を行うことを特徴とする請求項２記載の画像処理装置。
- 上記視差画像印刷物は、レンチキュラ技術による印刷物であることを特徴とする請求項１記載の画像処理装置。
- 上記動き補正処理手段は、上記移動量を相関処理によって求めることを特徴とする請求項１記載の画像処理装置。
- 上記動き補正処理手段は、上記動き補正量に基づいて、各フレームに対して平行移動処理を行うことを特徴とする請求項１記載の画像処理装置。
- 上記動き補正処理手段は、上記動き補正量に基づいて、上記平行移動処理とともに、各フレームに対して回転処理又は拡大縮小処理のうちの少なくともいずれか一方を行うことを特徴とする請求項６記載の画像処理装置。
- 上記動き補正処理手段は、各フレームについての上記移動量を上記動き補正量として、動き補正処理を行うことを特徴とする請求項１記載の画像処理装置。
- 上記動き補正処理手段は、各フレームについての上記移動量を関数変換して上記動き補正量を算出することを特徴とする請求項１記載の画像処理装置。
- 上記動き補正処理手段は、上記平行移動処理とともに、各フレームに対して、画像情報の存在する共通の領域を取り出すクリップ処理を行うことを特徴とする請求項６記載の画像処理装置。
- 上記動き補正処理手段は、上記クリップ処理とともに、上記クリップ処理によって取り出した領域の大きさを元のフレームの大きさに復元するための拡大処理を各フレームに対して行うことを特徴とする請求項１０記載の画像処理装置。
- 上記動き補正処理手段は、各フレームについての上記移動量に対して平滑化処理又は近似曲線処理を行って上記動き補正量を算出することを特徴とする請求項１記載の画像処理装置。
- 上記視差画像データを表示する表示手段を備えることを特徴とする請求項１記載の画像処理装置。
- 動画像データを構成する複数のフレームから基準となる少なくとも一のフレームを設定するとともに、該基準となるフレームにおける被写体に注視点を設定する工程と、
上記基準となるフレームにおける注視点と、他のフレームにおける注視点への対応点との関係から注視点の移動量を算出するとともに、上記移動量に基づいて各フレームについての動き補正量を算出し、上記動き補正量に基づいて上記動画像データに対する動き補正処理を行い、当該動画像データの中にある所定の位置の被写体を視差画像印刷物の面上に再生像として定位させて、視認する方向によって視認される画像が変化する視差画像印刷物として印刷可能な視差画像データに当該動画像データを変換する工程と
を備えることを特徴とする画像処理方法。 - 動画像データを構成する複数のフレームから基準となる少なくとも一のフレームを設定するとともに、該基準となるフレームにおける被写体に注視点を設定する注視点設定手段と、
上記注視点設定手段によって設定された上記基準となるフレームにおける注視点と、他のフレームにおける注視点への対応点との関係から注視点の移動量を算出するするとともに、上記移動量に基づいて各フレームについての動き補正量を算出する補正量算出手段と、
上記動き補正量算出手段によって算出された上記動き補正量が加算された画像変換に関するパラメータを生成し、該パラメータに基づいて、上記動画像データの中にある所定の位置の被写体を視差画像印刷物の面上に再生像として定位させて、当該動画像データを視認する方向によって視認される画像が変化する視差画像印刷物として印刷可能なデータに変換する画像変換処理手段とを備えることを特徴とする画像処理装置。 - 動画像データを構成する複数のフレームから基準となる少なくとも一のフレームを設定するとともに、該基準となるフレームにおける被写体に注視点を設定する工程と、
上記基準となるフレームにおける注視点と、他のフレームにおける注視点への対応点との関係から注視点の移動量を算出するするとともに、上記移動量に基づいて各フレームについての動き補正量を算出する工程と、
上記動き補正量が加算された画像変換に関するパラメータを生成し、該パラメータに基づいて、上記動画像データの中にある所定の位置の被写体を視差画像印刷物の面上に再生像として定位させて、当該動画像データを視認する方向によって視認される画像が変化する視差画像印刷物として印刷可能なデータに変換する工程と
を備えることを特徴とする画像処理方法。 - 動画像データを構成する複数のフレームから基準となる少なくとも一のフレームを設定するとともに、該基準となるフレームにおける被写体に注視点を設定する注視点設定手段と、
上記注視点設定手段によって設定された上記基準となるフレームにおける注視点と、他のフレームにおける注視点への対応点との関係から注視点の移動量を算出するとともに、上記移動量に基づいて各フレームについての動き補正量を算出し、上記動き補正量に基づいて上記動画像データに対する動き補正処理を行い、当該動画像データの中にある所定の位置の被写体を視差画像印刷物の面上に再生像として定位させて、視認する方向によって視認される画像が変化する視差画像印刷物として印刷可能な視差画像データに当該動画像データを変換する動き補正処理手段と、
上記視差画像データに基づいて視差画像印刷物を印刷する印刷手段と
を備えることを特徴とする印刷物製造装置。 - 上記視差画像印刷物は、ホログラフィックステレオグラムであり、上記動き補正処理手段によって得られた上記視差画像データをホログラフィックステレオグラムとして印刷可能なデータに変換する画像変換処理手段を備え、上記印刷手段は、上記視差画像印刷物として上記ホログラフィックステレオグラムを印刷することを特徴とする請求項１７記載の印刷物製造装置。
- 上記画像変換処理手段は、上記視差画像データに対して視点変換処理を行うことを特徴とする請求項１８記載の印刷物製造装置。
- 上記動画像データを撮影する撮像手段を備えることを特徴とする請求項１７記載の印刷物製造装置。
- 上記視差画像データを表示する表示手段を備えることを特徴とする請求項１７記載の印刷物製造装置。
- 動画像データを構成する複数のフレームから基準となる少なくとも一のフレームを設定するとともに、該基準となるフレームにおける被写体に注視点を設定する工程と、
上記基準となるフレームにおける注視点と、他のフレームにおける注視点への対応点との関係から注視点の移動量を算出するとともに、上記移動量に基づいて各フレームについての動き補正量を算出し、上記動き補正量に基づいて上記動画像データに対する動き補正処理を行い、当該動画像データの中にある所定の位置の被写体を視差画像印刷物の面上に再生像として定位させて、視認する方向によって視認される画像が変化する視差画像印刷物として印刷可能な視差画像データに当該動画像データを変換する工程と、
上記視差画像データに基づいて視差画像印刷物を印刷する工程と
を備えることを特徴とする印刷物製造方法。 - 上記視差画像印刷物は、ホログラフィックステレオグラムであり、上記視差画像データにホログラフィックステレオグラムとして印刷可能なデータに変換する視点変換処理を行う工程を備え、上記視差画像印刷物として上記ホログラフィックステレオグラムを印刷することを特徴とする請求項２２記載の印刷物製造方法。
- 動画像データを構成する複数のフレームから基準となる少なくとも一のフレームを設定するとともに、該基準となるフレームにおける被写体に注視点を設定する注視点設定手段と、
上記注視点設定手段によって設定された上記基準となるフレームにおける注視点と、他のフレームにおける注視点への対応点との関係から注視点の移動量を算出するとともに、上記移動量に基づいて各フレームについての動き補正量を算出する動き補正量算出手段と、
上記動き補正量算出手段によって算出された上記動き補正量が加算された画像変換に関するパラメータを生成し、該パラメータに基づいて、上記動画像データの中にある所定の位置の被写体を視差画像印刷物の面上に再生像として定位させて、当該動画像データを視認する方向によって視認される画像が変化する視差画像印刷物として印刷可能なデータに変換する画像変換処理手段と、
上記視差画像印刷物として印刷可能なデータに基づいて視差画像印刷物を印刷する印刷手段と
を備えることを特徴とする印刷物製造装置。 - 動画像データを構成する複数のフレームから基準となる少なくとも一のフレームを設定するとともに、該基準となるフレームにおける被写体に注視点を設定する工程と、
上記基準となるフレームにおける注視点と、他のフレームにおける注視点への対応点との関係から注視点の移動量を算出するとともに、上記移動量に基づいて各フレームについての動き補正量を算出する工程と、
上記動き補正量が加算された画像変換に関するパラメータを生成し、該パラメータに基づいて、上記動画像データの中にある所定の位置の被写体を視差画像印刷物の面上に再生像として定位させて、当該動画像データを視認する方向によって視認される画像が変化する視差画像印刷物として印刷可能なデータに変換する工程と、
上記視差画像印刷物として印刷可能なデータに基づいて視差画像印刷物を印刷する工程とを備えることを特徴とする印刷物製造方法。 - 動画像データが入力される動画像入力手段と、動画像データを構成する複数のフレームから基準となる少なくとも一のフレームを設定するとともに、該基準となるフレームにおける被写体に注視点を設定する注視点設定手段と、上記動画像データと上記注視点に関するデータとを送信する第１の通信手段とを備える通信端末装置と、
上記第１の通信手段からのデータを受信する第２の通信手段と、上記基準となるフレームにおける注視点と、他のフレームにおける注視点への対応点との関係から注視点の移動量を算出するとともに、上記移動量に基づいて各フレームについての動き補正量を算出し、上記動き補正量に基づいて上記動画像データに対する動き補正処理を行い、当該動画像データの中にある所定の位置の被写体を視差画像印刷物の面上に再生像として定位させて、視認する方向によって視認される画像が変化する視差画像印刷物として印刷可能な視差画像データに当該動画像データを変換する動き補正処理手段と、上記視差画像データに基づいて視差画像印刷物を印刷する印刷手段とを有するプリント装置から
なることを特徴とする印刷物製造システム。 - 上記通信端末装置は、上記動画像データを撮影する撮像手段を有することを特徴とする請求項２６記載の印刷物製造システム。
- 外部機器から動画像データと、該動画像データに設定された基準となるフレーム及び被写体の注視点に関するデータを受信する通信手段と、
上記基準となるフレームにおける注視点と、他のフレームにおける注視点への対応点との関係から注視点の移動量を算出するとともに、上記移動量に基づいて各フレームについての動き補正量を算出し、上記動き補正量に基づいて上記動画像データに対する動き補正処理を行い、当該動画像データの中にある所定の位置の被写体を視差画像印刷物の面上に再生像として定位させて、視認する方向によって視認される画像が変化する視差画像印刷物として印刷可能な視差画像データに当該動画像データを変換する動き補正処理手段と、
上記視差画像データに基づいて視差画像印刷物を印刷する印刷手段と
を有することを特徴とするプリント装置。 - 動画像データが入力される動画像入力手段と、動画像データを構成する複数のフレームから基準となる少なくとも一のフレームを設定するとともに、該基準となるフレームにおける被写体に注視点を設定する注視点設定手段と、上記基準となるフレームにおける注視点と、他のフレームにおける注視点への対応点との関係から注視点の移動量を算出するとともに、上記移動量に基づいて各フレームについての動き補正量を算出し、上記動き補正量に基づいて上記動画像データに対する動き補正処理を行い、当該動画像データの中にある所定の位置の被写体を視差画像印刷物の面上に再生像として定位させて、視認する方向によって視認される画像が変化する視差画像印刷物として印刷可能な視差画像データに当該動画像データを変換する動き補正処理手段と、上記動画像データに関するデータを送信する第１の通信手段とを備える通信端末装置と、
上記第１の通信手段からのデータを受信する第２の通信手段と、上記第１の通信手段からの上記動画像データに関するデータに基づいて視差画像印刷物を印刷する印刷手段とを有するプリント装置から
なることを特徴とする印刷物製造システム。 - 上記通信端末装置は、上記動画像データを撮影する撮像手段を有することを特徴とする請求項２９記載の印刷物製造システム。
- 上記動画像データに関するデータは、上記視差画像データ又は上記動画像データ及び上記注視点に関するデータ、或いは上記視差画像データ及び上記動画像データ並びに上記注視点に関するデータのいずれかであることを特徴とする請求項２９記載の印刷物製造システム。
- 動画像データが入力される動画像入力手段と、
動画像データを構成する複数のフレームから基準となる少なくとも一のフレームを設定するとともに、該基準となるフレームにおける被写体に注視点を設定する注視点設定手段と、
上記基準となるフレームにおける注視点と、他のフレームにおける注視点への対応点との関係から注視点の移動量を算出するとともに、上記移動量に基づいて各フレームについての動き補正量を算出し、上記動き補正量に基づいて上記動画像データに対する動き補正処理を行い、当該動画像データの中にある所定の位置の被写体を視差画像印刷物の面上に再生像として定位させて、視認する方向によって視認される画像が変化する視差画像印刷物として印刷可能な視差画像データに当該動画像データを変換する動き補正処理手段と、
上記動画像データに関するデータを送信する通信手段と
を備えることを特徴とする通信端末装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002071420A JP4075418B2 (ja) | 2002-03-15 | 2002-03-15 | 画像処理装置及び画像処理方法、印刷物製造装置及び印刷物製造方法、並びに印刷物製造システム |
| US10/387,109 US7565003B2 (en) | 2002-03-15 | 2003-03-12 | Image processing apparatus and method, printed matter production apparatus and method, and printed matter production system |
| KR1020030015757A KR100942055B1 (ko) | 2002-03-15 | 2003-03-13 | 영상 처리 장치와 방법, 인쇄물 제조장치와 방법 및 인쇄물 제조 시스템 |
| CNB031199879A CN100409260C (zh) | 2002-03-15 | 2003-03-17 | 图象处理装置和方法、印刷品制作装置、方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002071420A JP4075418B2 (ja) | 2002-03-15 | 2002-03-15 | 画像処理装置及び画像処理方法、印刷物製造装置及び印刷物製造方法、並びに印刷物製造システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003271045A JP2003271045A (ja) | 2003-09-25 |
| JP4075418B2 true JP4075418B2 (ja) | 2008-04-16 |
Family
ID=28035110
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002071420A Expired - Fee Related JP4075418B2 (ja) | 2002-03-15 | 2002-03-15 | 画像処理装置及び画像処理方法、印刷物製造装置及び印刷物製造方法、並びに印刷物製造システム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7565003B2 (ja) |
| JP (1) | JP4075418B2 (ja) |
| KR (1) | KR100942055B1 (ja) |
| CN (1) | CN100409260C (ja) |
Families Citing this family (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7480484B2 (en) * | 2004-03-30 | 2009-01-20 | Omnivision Technologies, Inc | Multi-video interface for a mobile device |
| JP2005295004A (ja) * | 2004-03-31 | 2005-10-20 | Sanyo Electric Co Ltd | 立体画像処理方法および立体画像処理装置 |
| US7671916B2 (en) * | 2004-06-04 | 2010-03-02 | Electronic Arts Inc. | Motion sensor using dual camera inputs |
| US7733298B2 (en) * | 2004-10-19 | 2010-06-08 | Hewlett-Packard Development Company, L.P. | Display device |
| US7990467B2 (en) * | 2004-11-08 | 2011-08-02 | Sony Corporation | Parallax image pickup apparatus and image pickup method |
| JP4033859B2 (ja) * | 2004-12-28 | 2008-01-16 | 独立行政法人科学技術振興機構 | 立体画像表示方法 |
| US7524119B2 (en) * | 2005-02-03 | 2009-04-28 | Paul Sandhu | Apparatus and method for viewing radiographs |
| JP4489033B2 (ja) * | 2005-03-25 | 2010-06-23 | 三洋電機株式会社 | フレームレート変換装置、パン・チルト判定装置および映像装置 |
| US8675125B2 (en) | 2005-04-27 | 2014-03-18 | Parellel Consulting Limited Liability Company | Minimized-thickness angular scanner of electromagnetic radiation |
| US8179423B2 (en) * | 2005-08-22 | 2012-05-15 | Ricoh Company, Ltd. | Image display system, an image display method, a coding method, and a printed matter for stereoscopic viewing |
| KR100655040B1 (ko) * | 2005-11-24 | 2006-12-06 | 주식회사 휴맥스 | 디지털 영상신호 스케일링 방법 |
| JP4907470B2 (ja) * | 2006-08-30 | 2012-03-28 | パナソニック株式会社 | 画像信号処理装置、画像符号化装置及び画像復号化装置、並びに、その方法、そのプロセッサ及びテレビ会議システムのための画像プロセッサ |
| US7894662B2 (en) | 2006-10-11 | 2011-02-22 | Tandent Vision Science, Inc. | Method for using image depth information in identifying illumination fields |
| US20090146915A1 (en) * | 2007-12-05 | 2009-06-11 | Marathe Madhav V | Multiple view display device |
| US8259155B2 (en) * | 2007-12-05 | 2012-09-04 | Cisco Technology, Inc. | Providing perspective-dependent views to video conference participants |
| JP5115799B2 (ja) * | 2008-01-21 | 2013-01-09 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
| JP5218759B2 (ja) * | 2008-11-06 | 2013-06-26 | 大日本印刷株式会社 | カラー切り替えホログラム |
| KR101574068B1 (ko) * | 2008-12-26 | 2015-12-03 | 삼성전자주식회사 | 영상 처리 방법 및 장치 |
| GB2483213B8 (en) * | 2009-06-11 | 2016-09-14 | Toshiba Res Europ Ltd | 3D image generation |
| CN102281450A (zh) * | 2010-06-13 | 2011-12-14 | 深圳Tcl新技术有限公司 | 3d视频清晰度调整系统及方法 |
| JP5703798B2 (ja) * | 2011-02-03 | 2015-04-22 | 株式会社ニコン | 表示装置、撮像装置、表示制御プログラム及び記憶媒体 |
| WO2013042309A1 (ja) * | 2011-09-22 | 2013-03-28 | パナソニック株式会社 | 立体画像用撮影装置、及び立体画像用撮影方法 |
| US8860789B1 (en) * | 2011-12-09 | 2014-10-14 | Vic G. Rice | Apparatus for producing three dimensional images |
| JP5962092B2 (ja) * | 2012-03-16 | 2016-08-03 | ソニー株式会社 | 画像処理装置と画像処理方法 |
| KR101321974B1 (ko) * | 2012-05-09 | 2013-11-08 | (주)비주얼 스포츠 | 옵티컬 플로우를 이용한 이동물체 영상합성 방법 |
| JP5227472B2 (ja) * | 2012-07-18 | 2013-07-03 | 株式会社タイトー | 撮影装置 |
| JP5868816B2 (ja) * | 2012-09-26 | 2016-02-24 | 楽天株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| WO2014063608A1 (zh) * | 2012-10-23 | 2014-05-01 | Li Yang | 动态立体与全息图像显示器 |
| US10268885B2 (en) | 2013-04-15 | 2019-04-23 | Microsoft Technology Licensing, Llc | Extracting true color from a color and infrared sensor |
| US20150302648A1 (en) * | 2014-02-18 | 2015-10-22 | Sulon Technologies Inc. | Systems and methods for mapping an environment using structured light |
| WO2017038541A1 (ja) * | 2015-09-03 | 2017-03-09 | ソニー株式会社 | 映像処理装置、映像処理方法、及び、プログラム |
| CN105681656B (zh) | 2016-01-14 | 2020-03-03 | 上海小蚁科技有限公司 | 用于子弹时间拍摄的系统和方法 |
| JP6191727B1 (ja) * | 2016-05-06 | 2017-09-06 | 富士ゼロックス株式会社 | 造形用画像管理システム、造形用画像管理装置、造形用画像管理プログラム |
| CN107908384A (zh) * | 2017-11-18 | 2018-04-13 | 深圳市星野信息技术有限公司 | 一种实时显示全息人像的方法、装置、系统及存储介质 |
| US10659686B2 (en) * | 2018-03-23 | 2020-05-19 | Fyusion, Inc. | Conversion of an interactive multi-view image data set into a video |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5059771A (en) * | 1989-05-01 | 1991-10-22 | Image Technology, Inc. | Method and calculator to determine the spatial parallax in a 3-D photograph |
| JP3080487B2 (ja) * | 1992-09-30 | 2000-08-28 | 富士通株式会社 | 多眼式立体映像の動き補償予測方法 |
| GB2284958A (en) * | 1993-12-14 | 1995-06-21 | Sharp Kk | Laser 3D printer produces autostereoscopic print |
| US6118475A (en) * | 1994-06-02 | 2000-09-12 | Canon Kabushiki Kaisha | Multi-eye image pickup apparatus, and method and apparatus for measuring or recognizing three-dimensional shape |
| US5473364A (en) | 1994-06-03 | 1995-12-05 | David Sarnoff Research Center, Inc. | Video technique for indicating moving objects from a movable platform |
| JPH08191411A (ja) * | 1994-11-08 | 1996-07-23 | Matsushita Electric Ind Co Ltd | シーン判別方法および代表画像記録・表示装置 |
| JPH09113846A (ja) * | 1995-10-13 | 1997-05-02 | Tsushin Hoso Kiko | 立体画像表示装置及びその方法 |
| US6192145B1 (en) * | 1996-02-12 | 2001-02-20 | Sarnoff Corporation | Method and apparatus for three-dimensional scene processing using parallax geometry of pairs of points |
| JPH1020755A (ja) * | 1996-06-28 | 1998-01-23 | Sony Corp | 画像データ変換方法 |
| JP3596174B2 (ja) * | 1996-06-28 | 2004-12-02 | ソニー株式会社 | 画像データ生成方法 |
| US6108440A (en) * | 1996-06-28 | 2000-08-22 | Sony Corporation | Image data converting method |
| JPH1020756A (ja) * | 1996-07-02 | 1998-01-23 | Sony Corp | ホログラフィックステレオグラムの作成方法及び作成装置 |
| JP3709659B2 (ja) * | 1997-06-11 | 2005-10-26 | ソニー株式会社 | 画像記録装置及び画像記録方法 |
| US6229562B1 (en) * | 1997-07-08 | 2001-05-08 | Stanley H. Kremen | System and apparatus for the recording and projection of images in substantially 3-dimensional format |
| US6198852B1 (en) * | 1998-06-01 | 2001-03-06 | Yeda Research And Development Co., Ltd. | View synthesis from plural images using a trifocal tensor data structure in a multi-view parallax geometry |
| JP4288722B2 (ja) * | 1998-07-29 | 2009-07-01 | ソニー株式会社 | 画像データ作成装置及び作成方法、画像データ変換装置及び変換方法、ホログラフィックステレオグラム作成装置及び作成方法、記録媒体並びにデータ伝送方法 |
| US6269175B1 (en) * | 1998-08-28 | 2001-07-31 | Sarnoff Corporation | Method and apparatus for enhancing regions of aligned images using flow estimation |
| JP2001142383A (ja) * | 1999-11-12 | 2001-05-25 | Sony Corp | 画像記録装置及び方法 |
| JP2001249606A (ja) * | 2000-03-02 | 2001-09-14 | Sony Corp | ホログラムプリントシステム及びホログラムプリント方法、並びに撮影装置 |
| JP4501228B2 (ja) * | 2000-05-29 | 2010-07-14 | ソニー株式会社 | ホログラムプリントシステム及びホログラフィックステレオグラム |
| JP4593730B2 (ja) | 2000-06-26 | 2010-12-08 | 株式会社トプコン | ステレオ画像の測定装置 |
| JP4442000B2 (ja) * | 2000-07-19 | 2010-03-31 | ソニー株式会社 | 画像再生装置及び画像再生方法 |
| ATE313218T1 (de) * | 2000-08-25 | 2005-12-15 | Fuji Photo Film Co Ltd | Vorrichtung zur parallaxbildaufnahme und parallaxbildverarbeitung |
| US7082209B2 (en) * | 2000-08-31 | 2006-07-25 | Hitachi Kokusai Electric, Inc. | Object detecting method and object detecting apparatus and intruding object monitoring apparatus employing the object detecting method |
-
2002
- 2002-03-15 JP JP2002071420A patent/JP4075418B2/ja not_active Expired - Fee Related
-
2003
- 2003-03-12 US US10/387,109 patent/US7565003B2/en not_active Expired - Fee Related
- 2003-03-13 KR KR1020030015757A patent/KR100942055B1/ko not_active IP Right Cessation
- 2003-03-17 CN CNB031199879A patent/CN100409260C/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20030210461A1 (en) | 2003-11-13 |
| KR20030074426A (ko) | 2003-09-19 |
| KR100942055B1 (ko) | 2010-02-11 |
| CN1445724A (zh) | 2003-10-01 |
| JP2003271045A (ja) | 2003-09-25 |
| US7565003B2 (en) | 2009-07-21 |
| CN100409260C (zh) | 2008-08-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4075418B2 (ja) | 画像処理装置及び画像処理方法、印刷物製造装置及び印刷物製造方法、並びに印刷物製造システム | |
| US9094674B2 (en) | Generation of three-dimensional movies with improved depth control | |
| US20110216160A1 (en) | System and method for creating pseudo holographic displays on viewer position aware devices | |
| US9031356B2 (en) | Applying perceptually correct 3D film noise | |
| US20080158345A1 (en) | 3d augmentation of traditional photography | |
| JP2006287921A (ja) | 動画生成装置、動画生成方法、及びプログラム | |
| JP3086577B2 (ja) | ２次元画像の３次元化方法 | |
| JP3888192B2 (ja) | 商品受注システム及び商品受注方法 | |
| CA2540538A1 (en) | Stereoscopic imaging | |
| US8154584B2 (en) | Image capture system for a digital holographic printer | |
| Aykut et al. | A stereoscopic vision system with delay compensation for 360 remote reality | |
| JP5115799B2 (ja) | 画像処理装置および方法、並びにプログラム | |
| JP4534337B2 (ja) | 撮影装置及び撮影方法、並びに、画像生成装置及び画像生成方法 | |
| US10757396B2 (en) | Adding new imaging capabilities to smart mobile device | |
| JP3596174B2 (ja) | 画像データ生成方法 | |
| JP3614898B2 (ja) | 写真撮影装置、画像処理装置及び立体写真作成方法 | |
| Mühlhausen et al. | Temporal consistent motion parallax for omnidirectional stereo panorama video | |
| Xu et al. | Computer vision for a 3-D visualisation and telepresence collaborative working environment | |
| JP5367747B2 (ja) | 撮像装置および撮像方法、ならびに、撮像システム | |
| CN106713893A (zh) | 手机3d立体拍照方法 | |
| CN110749993B (zh) | 为智能移动设备增添新型图像功能的方法与装置 | |
| KR102589623B1 (ko) | 360 캠을 이용한 스테레오 영상 생성 장치 및 방법 | |
| JP2005064681A (ja) | 撮像・表示装置、撮像・表示システム、映像生成方法、この方法のプログラム、およびこのプログラムを記録した記録媒体 | |
| Zacharovas et al. | Mobile phone color holography | |
| JPH10143058A (ja) | 画像データ生成装置および方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040416 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040607 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20050509 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050525 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070904 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071105 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080108 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080121 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110208 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110208 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120208 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120208 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130208 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130208 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140208 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |