JPWO2011125461A1 - 画像生成装置及び方法並びにプリンタ - Google Patents

画像生成装置及び方法並びにプリンタ Download PDF

Info

Publication number
JPWO2011125461A1
JPWO2011125461A1 JP2012509388A JP2012509388A JPWO2011125461A1 JP WO2011125461 A1 JPWO2011125461 A1 JP WO2011125461A1 JP 2012509388 A JP2012509388 A JP 2012509388A JP 2012509388 A JP2012509388 A JP 2012509388A JP WO2011125461 A1 JPWO2011125461 A1 JP WO2011125461A1
Authority
JP
Japan
Prior art keywords
image
viewpoint
image data
virtual
viewpoint image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2012509388A
Other languages
English (en)
Inventor
渡辺　幹夫
幹夫 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2011125461A1 publication Critical patent/JPWO2011125461A1/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Ｌ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）を基に複数の仮想視点画像データを生成する画像処理回路２９に、撮影障害検知回路３２、視差マップ生成回路３３、仮想視点画像生成回路３４を設ける。撮影障害検知回路３２は、Ｌ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）に撮影障害が発生しているか否かを検知する。視差マップ生成回路３３は、両視点画像データＩ（Ｌ），Ｉ（Ｒ）のいずれか一方が異常画像データである場合に、他方の正常画像データの各画素に対応する異常画像データ上の対応点を抽出して視差マップを生成する。仮想視点画像生成回路３４は、視差マップと正常画像データとに基づき仮想視点画像データを生成する。

Description

本発明は、被写体を２視点から撮影した視点画像を基に、被写体を仮想視点から見たときの仮想視点画像を生成する画像生成装置及び方法、並びにこの画像生成装置を備えるプリンタに関する。
レンチキュラレンズを左右方向に多数並べたレンチキュラシートを用いて、立体画像を観察できるようにした技術が知られている。これは、レンチキュラシートの背面側に、例えば左右の２視点から撮影したＬ視点画像及びＲ視点画像をそれぞれ線状に分割した線状画像を交互に配置するとともに、１個のレンチキュラレンズの下に、隣接する２つの線状画像を位置させたものである。左眼と右眼とが、各レンチキュラレンズを介して、視差のあるＬ視点画像及びＲ視点画像をそれぞれ観察することで、立体画像を観察することができる。
ところで、個々のレンチキュラレンズの背面に、Ｌ，Ｒ視点分の２本の線状画像だけを記録した場合には、画像が２重に見えるような不自然な立体画像が観察される。
特許文献１には、複眼カメラにより得られたＬ，Ｒ視点画像を基に、電子的補間によりＬ，Ｒ視点とは異なる複数の仮想的に設定された仮想視点から被写体を見たときの仮想視点画像を生成し、元のＬ，Ｒ視点画像と新たな仮想視点画像とに基づきレンチキュラシートに線状画像の記録を行うプリントシステムが開示されている。これにより、個々のレンチキュラレンズの背面にｎ（ｎは３以上）個の線状画像を並べて配置することができるので、立体画像の立体感を向上させることができる。
特開２００１−３４６２２６号公報
しかしながら、複眼カメラで撮影を行う際にその一方の撮影レンズの一部が撮影者の指で遮られた場合には、Ｌ，Ｒ視点画像の一方は正常に撮影されない。このようなＬ，Ｒ視点画像から生成した仮想視点画像に基づいて、線状画像をレンチキュラシートに記録したときには、不自然な立体画像が観察されてしまう。これを防止するため、例えば撮影レンズの周辺に指などの接触を検知するセンサを設け、このセンサで指の接触を検知したときに警告表示を行う方法が考えられる。しかし、全ての複眼カメラにセンサを設けることは、製造コストが高くなるため現実的ではない。
本発明は上記問題を解決するためになされたものであり、Ｌ，Ｒ視点の撮影画像のいずれか一方に異常がある場合でも、良好な仮想視点画像が得られる画像生成装置及び方法並びにプリンタを提供することを目的とする。
上記目的を達成するため、本発明の画像生成装置は、被写体を異なる視点から撮影して得られた視差を有する第１視点画像及び第２視点画像を基に、前記視点とは異なる所定数の仮想視点から被写体を見たときの仮想視点画像を生成する画像生成装置において、前記第１視点画像及び第２視点画像に異常があるか否かを検知する検知手段と、前記検知手段の検知結果に基づき、前記第１視点画像及び第２視点画像の一方が異常のある異常画像である場合に、異常のない他方の正常画像の各画素にそれぞれ対応する前記異常画像上の対応点を抽出し、この抽出結果に基づき被写体の奥行き分布を示す視差マップを生成する視差マップ生成手段と、前記視差マップと前記正常画像とに基づき、前記仮想視点画像を生成する仮想視点画像生成手段と、を備えることを特徴とする。
前記正常画像と前記仮想視点画像とを、所定の出力先へ出力する画像出力手段を備えることが好ましい。また、前記異常画像及び前記正常画像の視点間に前記所定数よりも多くの前記仮想視点を設定する仮想視点設定手段を備え、前記仮想視点画像生成手段は、前記仮想視点設定手段が設定した各仮想視点の中から、前記正常画像の視点に近い側より順に前記所定数の前記仮想視点を選択して、前記仮想視点画像を生成することが好ましい。
前記仮想視点は、被写体を中心に等角度間隔で設定されることが好ましい。前記異常画像内で前記異常が発生した領域の面積を検知する面積検知手段を備え、前記仮想視点設定手段は、前記面積が大きくなるのに従って前記仮想視点の設定数を増加させることが好ましい。
被写体を異なる視点から撮影する複数の撮像部を有する撮影装置から、前記第１視点画像及び第２視点画像を取得する画像取得手段を備えることが好ましい。また、前記異常は、フレア、及び前記撮像部の撮影レンズの少なくとも一部を遮蔽していた障害物の像の少なくともいずれかを含むことが好ましい。
また、本発明のプリンタは、請求項１ないし７いずれか１項記載の画像生成装置と、前記第１視点画像及び第２視点画像のいずれか一方が前記異常画像であるときに、前記正常画像と前記仮想視点画像とに基づき、立体視が可能な画像を記録媒体に記録する記録手段と、を備えることを特徴とする。また、前記第１視点画像及び第２視点画像の両方に異常がある場合に、その旨を警告表示する警告表示手段を備えることが好ましい。
また、本発明の画像生成方法は、被写体を異なる視点から撮影して得られた視差を有する第１視点画像及び第２視点画像を基に、前記視点とは異なる所定数の仮想視点から被写体を見たときの仮想視点画像を生成する画像生成方法において、前記第１視点画像及び第２視点画像に異常あるか否かを検知する検知ステップと、前記検知ステップでの検知結果に基づき、前記第１視点画像及び第２視点画像のいずれか一方が異常のある異常画像である場合に、異常のない他方の正常画像の各画素にそれぞれ対応する前記異常画像上の対応点を抽出し、この抽出結果に基づき被写体の奥行き分布を示す視差マップを生成する視差マップ生成ステップと、前記視差マップと前記正常画像とに基づき、前記仮想視点画像を生成する仮想視点画像生成ステップと、を有することを特徴とする。
本発明の画像生成装置及び方法並びにプリンタは、第１視点画像及び第２視点画像の一方が異常のある異常画像である場合に、他方の正常画像の各画素にそれぞれ対応する異常画像上の対応点を抽出した結果を基に視差マップを生成し、この視差マップと正常画像とに基づいて仮想視点画像を生成するので、第１視点画像及び第２視点画像の一方に異常がある場合でも良好な仮想視点画像が得られる。
立体画像プリントシステムの構成を示す概略図である。 レンチキュラシートをその背面側から見た斜視図である。 画像処理回路のブロック図である。 Ｌ視点画像データの一例を示した図である。 Ｒ視点画像データの一例を示した図である。 Ｌ視点画像データを基準として生成した視差マップの一例を示した図である。 Ｒ視点画像データを基準として生成した視差マップの一例を示した図である。 通常視点設定処理を説明するための説明図である。 特殊視点設定処理を説明するための説明図である。 立体画像プリントシステムの記録処理の流れを示すフローチャートである。 通常視差画像データ生成処理の流れを示すフローチャートである。 通常視差画像データ出力処理を説明するための説明図である。 Ｌ視差画像データ出力処理の流れを示すフローチャートである。 撮影障害が発生していないＬ視点画像データの一例を示した図である。 撮影障害が発生したＲ視点画像データの一例を示した図である。 図１０ＡのＬ視点画像データを基準として生成された視差マップの一例を示した図である。 撮影障害が発生していないＬ視点画像データの一例を示した図である。 撮影障害が発生しているＲ視点画像データの一例を示した図である。 図１１ＡのＬ視点画像データを基準として生成された視差マップの一例を示した図である。 図１１ＢのＲ視点画像データを基準として生成された視差マップの一例を示した図である。 Ｌ視差画像データ出力処理を説明するための説明図である。 Ｒ視差画像データ出力処理の流れを示すフローチャートである。 Ｌ，Ｒ視点画像データ出力処理の流れを示すフローチャートである。 第２実施形態のプリンタの構成を示すブロック図である。 第３実施形態の立体画像プリントシステムの構成を示すブロック図である。 通常撮影用視差マップを説明するための説明図である。 人物撮影用視差マップを説明するための説明図である。 風景撮影用視差マップを説明するための説明図である。 第３実施形態の立体画像プリントシステムの記録処理の流れを示すフローチャートである。 第３実施形態のＬ視差画像データ出力処理の流れを示すフローチャートである。 第３実施形態のＬ視差画像データ出力処理を説明するための説明図である。 第３実施形態のＲ視差画像データ出力処理の流れを示すフローチャートである。 第４実施形態の立体画像プリントシステムの構成を示すブロック図である。
図１に示すように、立体画像プリントシステム１０は、複眼カメラ１１とプリンタ１２とで構成される。複眼カメラ１１は、一対の撮像部１４Ｌ，１４Ｒを備えており、被写体を左右の異なる２視点から撮影して視差を有するＬ視点のＬ視点画像データＩ（Ｌ）とＲ視点のＲ視点画像データＩ（Ｒ）とを生成する。Ｌ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）は一つにまとめた画像ファイル１５としてメモリカード１６に記録される。なお、符号１４ａは、撮像部１４Ｌ，１４Ｒの撮影レンズである。
プリンタ１２は、メモリカード１６に記録されたＬ，Ｒ視点画像データＩ（Ｌ），（Ｒ）に基づき、立体画像を観察するための複数の視点画像データをレンチキュラシート１７（以下、単にシート１７という、図２参照）の背面に記録する。
図２に示すように、シート１７は、その表面側に多数の半円柱状のレンチキュラレンズ（以下、単にレンズという）１８が配列され、その背面が平面になっている。この背面は、レンズ１８ごとに画像領域１９が仮想的に区画され、１個のレンズ１８に対して１個の画像領域１９が対応する。
各画像領域１９は、視点画像の個数に応じてレンズ１８の配列方向に区画される。例えば６視点の画像の記録を行う場合に、各画像領域１９は６個の第１〜第６微小領域１９ａ〜１９ｆに区画され、６視点の画像を線状に分割した線状画像がそれぞれに記録される。各微小領域１９ａ〜１９ｆは、６視点の画像にそれぞれ１対１に対応している。
図１に戻って、プリンタ１２のＣＰＵ２１は、操作部２２からの制御信号に基づき、メモリ２３から読み出した各種プログラムやデータを逐次実行することで、プリンタ１２の各部を統括的に制御する。メモリ２３のＲＡＭ領域は、ＣＰＵ２１が処理を実行するためのワークメモリや、各種データの一時保管先として機能する。
ＣＰＵ２１には、バス２５を介して、操作部２２、メモリ２３、シート搬送機構２６、画像記録部２７、画像入力Ｉ／Ｆ２８、画像処理回路（画像生成装置）２９、モニタ３０などが接続されている。
操作部２２は、プリンタ１２の電源のＯＮ／ＯＦＦ操作、及び画像記録の開始操作などに用いられる。シート搬送機構２６は、シート１７をレンズ１８の配列方向に平行な副走査方向に搬送する。
画像記録部２７は、主走査方向に長く延びた線状画像をシート１７の背面に記録する。画像記録部２７は、シート１７が副走査方向に１ライン分ずつ搬送されるごとに、線状画像を１ラインずつ記録する。これにより、副走査方向に線状画像を並べて記録することができる。
画像入力Ｉ／Ｆ２８は、メモリカード１６がセットされる。画像入力Ｉ／Ｆ２８は、メモリカード１６から画像ファイル１５を読み出して画像処理回路２９へ送る。
画像処理回路２９は、画像ファイル１５のＬ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）に基づき、Ｌ，Ｒ視点とは異なる複数の仮想視点からの仮想視点画像データを生成する。また、画像処理回路２９は、仮想視点画像データの生成を行ったときに、Ｌ，Ｒ視点画像データＩ（Ｌ），（Ｒ）の少なくとも一方と、仮想視点画像データとからなるｎ視点の視差画像データを画像記録部２７へ出力する。ここで、視差画像データとは、異なる視点から被写体を見たときの個々の視点画像データの集まりをいう。
モニタ３０は、画像記録処理のメニューを選択する選択画面、各種設定を行うための設定画面、及びトラブル発生時の警告メッセージなどを表示する。
図３に示すように、画像処理回路２９は、画像読出回路（画像取得手段）３１と、撮影障害検知回路（検知手段）３２と、視差マップ生成回路３３と、仮想視点画像生成回路３４と、画像出力回路３５とを有している。
画像読出回路３１は、画像入力Ｉ／Ｆ２８を介して、操作部２２で指定された画像ファイル１５をメモリカード１６から読み出して記憶する。
撮影障害検知回路３２は、画像読出回路３１内の画像ファイル１５を解析して、Ｌ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）に撮影障害が発生しているか否かを検知する。この撮影障害としては、指係りなどの物理的障害や、フレアなどの光学的障害が例として挙げられる。「指係り」は、撮影レンズ１４ａの少なくとも一部を撮影者の指（障害物）が遮蔽することで、撮影画像中に指の像が表示されることである（図１０Ｂ参照）。
指係りの発生の有無は、例えば、指係り発生時に撮影される画像パターンを予め複数記憶しておき、これら各画像パターンとＬ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）との類似度を判定することで検知可能である。また、フレアの発生の有無は、例えば、Ｌ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）を比較して、両者の各部の輝度の差異が所定のしきい値よりも大きくなるか否かで検知可能である。
視差マップ生成回路３３は、画像読出回路３１内のＬ，Ｒ視点画像データＩ（Ｌ），（Ｒ）に基づき、被写体の奥行き分布を示す視差マップを生成して仮想視点画像生成回路３４へ出力する。視差マップ生成回路３３は、Ｌ視点画像データＩ（Ｌ）を基準とした視差マップ３８Ｌと、Ｒ視点画像データＩ（Ｒ）を基準とした視差マップ３８Ｒとの少なくともいずれか一方を生成する。以下、視差マップ３８Ｌの生成方法の一例について説明する。
図４Ａ及び図４Ｂに示すように、Ｌ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）の同一領域内において、Ｌ視点画像データＩ（Ｌ）の各画素３９に対してＲ視点画像データＩ（Ｒ）上の対応する画素（以下、対応点という）４０を抽出する。なお、図中では画素３９及び対応点４０の代表例を図示している。対応点４０の抽出方法としては、上記特許文献１に記載されているテンプレートマッチング方式などの各種方式があり、いずれの方式を用いてもよい。
次いで、Ｌ視点画像データＩ（Ｌ）の各画素３９に対するＲ視点画像データＩ（Ｒ）の各対応点４０の水平方向の位置ズレ量を求める。これにより、Ｌ視点画像データＩ（Ｌ）の画素３９ごとの視差が求まり、これを図４Ｃに示すような視差マップ３８Ｌとする。図中では、ドットの密度が高くなるのに従って複眼カメラ１１に近いことを示す。ドットの密度が高い部分が複眼カメラ１１に近い人物などの主要被写体を表し、ドットの密度が低い部分が複眼カメラ１１から遠い背景などを表す。
一方、図４Ｄに示す視差マップ３８Ｒは、Ｒ視点画像データＩ（Ｒ）の各画素３９に対応するＬ視点画像データＩ（Ｌ）上の対応点４０の位置ズレ量を求めることにより生成される。
図３に戻って、仮想視点画像生成回路３４は、左右視点とは異なる仮想視点から被写体を見たときの仮想視点画像データを生成する。この仮想視点画像生成回路３４は、仮想視点設定部４３と、仮想視点画像生成部４４とを備えている。
仮想視点設定部４３は、Ｌ，Ｒ視点間に複数の仮想視点を設定する。この仮想視点設定部４３は、下記の通常視点設定処理及び特殊視点設定処理のいずれかを選択的に実行する。
図５Ａに示すように、通常視点設定処理では、例えばｎ＝６視点とした場合に（ｎ−２）＝４個の仮想視点Ｖ（１）〜Ｖ（４）を設定する。仮想視点Ｖ（１）〜Ｖ（４）は、Ｌ視点Ｖ（Ｌ）及びＲ視点Ｖ（Ｒ）のそれぞれの視点方向がなす輻輳角αを５分割するように等角度間隔で設定される。
図５Ｂに示すように、特殊視点設定処理では、例えばｎ＝６視点とした場合に（２ｎ−２）＝１０個の仮想視点Ｖ（１）〜Ｖ（１０）を設定する。仮想視点Ｖ（１）〜Ｖ（１０）は、輻輳角αを１１分割するように等角度間隔で設定される。
図３に戻って、仮想視点画像生成部４４は、仮想視点設定部４３が設定した仮想視点に対応する仮想視点データを生成して画像出力回路３５へ送る。仮想視点画像生成部４４は、通常視点設定処理が実行されたときには通常画像生成処理を実行するとともに、特殊視点設定処理が実行されたときには特殊画像生成処理を実行する。
通常画像生成処理では、Ｌ通常画像生成処理とＲ通常画像生成処理とを順番に実行する。Ｌ通常画像生成処理では、Ｌ，Ｒ視点Ｖ（Ｌ），Ｖ（Ｒ）間の中心よりもＬ視点Ｖ（Ｌ）側に位置する仮想視点の仮想視点画像データを生成する（図８参照）。具体的には、Ｌ視点画像データＩ（Ｌ）及び視差マップ３８Ｌに基づき、仮想視点画像データ（以下、Ｌ仮想視点画像データという）を生成する。
一方、Ｒ通常画像生成処理では、Ｌ，Ｒ視点Ｖ（Ｌ），Ｖ（Ｒ）間の中心よりもＲ視点Ｖ（Ｒ）側に位置する仮想視点の仮想視点画像データを生成する。具体的には、Ｒ視点画像データＩ（Ｒ）及び視差マップ３８Ｒに基づき、仮想視点画像データ（以下、Ｒ仮想視点画像データという）を生成する。これにより、左右合計で（ｎ−２）個のＬ，Ｒ仮想視点画像データが生成される。
特殊画像生成処理では、Ｌ特殊画像生成処理及びＲ特殊画像生成処理のいずれかを選択的に実行する。Ｌ特殊画像生成処理では、Ｌ視点Ｖ（Ｌ）に近い順に（ｎ−１）個の仮想視点を選択して、これら各仮想視点に対応するＬ仮想視点画像データを生成する（図１２参照）。一方、Ｒ特殊画像生成処理では、Ｒ視点Ｖ（Ｒ）に近い順から選択した（ｎ−１）個の仮想視点に対応するＲ仮想視点画像データを生成する。これにより、（ｎ−１）個のＬ仮想視点画像データまたは（ｎ−１）個のＲ仮想視点画像データが生成される。
画像出力回路３５は、仮想視点画像生成部４４から仮想視点画像データが入力されたときには、ｎ視点の視差画像データを画像記録部２７へ出力する。また、画像出力回路３５は、仮想視点画像データの入力がないときには、画像読出回路３１内のＬ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）を画像記録部２７へ出力する。ここでｎ視点の視差画像データは、仮想視点画像生成部４４から入力される仮想視点画像データの数及び種類に応じて、下記の通常視差画像データ、Ｌ視差画像データ、Ｒ視差画像データのいずれかになる。
通常視差画像データは、仮想視点画像生成部４４からの（ｎ−２）個のＬ，Ｒ仮想視点画像データと、画像読出回路３１からのＬ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）とで構成される。Ｌ視差画像データは、仮想視点画像生成部４４からの（ｎ−１）個のＬ仮想視点画像データと、画像読出回路３１からのＬ視点画像データＩ（Ｌ）とで構成される。Ｒ視差画像データは、仮想視点画像生成部４４からの（ｎ−１）個のＲ仮想視点画像データと、画像読出回路３１からのＲ視点画像データＩ（Ｒ）とで構成される。
ＣＰＵ２１は、撮影障害検知回路３２の検知結果に基づき、通常視差画像データの出力処理、Ｌ視差画像データの出力処理、Ｒ視差画像データの出力処理、Ｌ，Ｒ視点画像データの出力処理のいずれかを選択的に実行させる。
通常視差画像データ出力処理は、Ｌ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）の両方が正常に撮影されているときに実行される。Ｌ視差画像データ出力処理は、Ｒ視点画像データＩ（Ｒ）に撮影障害が発生しているときに実行され、Ｒ視差画像データ出力処理は、Ｌ視点画像データＩ（Ｌ）に撮影障害が発生しているときに実行される。
Ｌ，Ｒ視点画像データ出力処理は、Ｌ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）の両方に撮影障害が発生しているときに実行される。この際に、ＣＰＵ２１は、Ｌ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）の両方に撮影障害が発生している旨を示す警告メッセージ等をモニタ３０に表示させる。
次に、図６に示すフローチャートを用いて上記構成の立体画像プリントシステム１０の画像記録処理について説明を行う。なお、ここでは６視点（ｎ＝６）の画像をシート１７に記録する場合について説明を行う。
最初に、複眼カメラ１１から取り外されたメモリカード１６が画像入力Ｉ／Ｆ２８にセットされる。このセット後に、操作部２２で画像ファイル１５を選択して記録開始操作を行うと、ＣＰＵ２１は、画像読出回路３１に対して画像ファイル１５の読出し指令を発する。これにより、画像読出回路３１は、画像入力Ｉ／Ｆ２８を介して、指定された画像ファイル１５をメモリカード１６から読み出して一時的に記憶する。
次いで、ＣＰＵ２１は、撮影障害検知回路３２に対して撮影障害の検知指令を発する。この指令を受けて撮影障害検知回路３２は、画像読出回路３１内のＬ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）を解析して、両画像データＩ（Ｌ），Ｉ（Ｒ）の撮影障害の発生の有無を検知し、この検知結果をＣＰＵ２１へ送る。
ＣＰＵ２１は、Ｌ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）の両方に撮影障害が発生していない場合には通常視差画像データ出力処理を実行する。また、ＣＰＵ２１は、Ｒ視点画像データＩ（Ｒ）に撮影障害が発生している場合にはＬ視差画像データ出力処理を実行し、Ｌ視点画像データＩ（Ｌ）に撮影障害が発生している場合にはＲ視差画像データ出力処理を実行する。そして、ＣＰＵ２１は、Ｌ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）の両方に撮影障害が発生している場合にはＬ，Ｒ視点画像データ出力処理を実行する。
［通常視差画像データ出力処理］
図７に示すように、通常視差画像データ出力処理の実行が決定すると、輻輳角αを分割する分割数（以下、視点分割数という）Ｋが「５」に決定し、仮想視点の設定数が「４」に決定する。次いで、ＣＰＵ２１は、視差マップ生成回路３３に対して視差マップ３８Ｌの生成指令を発する。この指令を受けて視差マップ生成回路３３は、Ｌ視点画像データＩ（Ｌ）の各画素３９に対応するＲ視点画像データＩ（Ｒ）上の対応点４０を抽出し、この抽出結果を基に視差マップ３８Ｌを生成する。視差マップ３８Ｌは仮想視点画像生成回路３４へ出力される。
ＣＰＵ２１は、仮想視点設定部４３に対して通常視点設定指令を発する。この指令を受けて仮想視点設定部４３は、図５Ａに示した通常視点設定処理を開始する。仮想視点設定部４３は、視差マップ３８Ｌを基に、複眼カメラ１１に最も近い被写体位置に相当する視差値と最も遠い被写体位置に相当する視差値を求める。そして、最も近い被写体がシート１７の記録面から所定の距離だけ手前側に観察され、最も遠い被写体がシート１７の記録面から所定の距離だけ奥側に観察されるように、仮想視点Ｖ（１）〜Ｖ（４）を設定する。なお、仮想視点の設定方法は周知の各種方法を用いてよい。
次いで、ＣＰＵ２１は、仮想視点画像生成部４４に対してＬ通常画像生成処理の実行指令を発する。これにより、仮想視点画像生成部４４は、視差マップ３８ＬとＬ視点画像データＩ（Ｌ）とに基づき仮想視点Ｖ（１）、Ｖ（２）に対応するＬ仮想視点データＩＬ（１），ＩＬ（２）を生成する。なお、視差マップとＬ視点画像データとを基に仮想視点画像データを生成する方法は周知技術であるので、ここでは説明を省略する（例えば、特開２００１−３４６２２６号公報、特開２００３−３４６１８８号公報参照）。
Ｌ仮想視点画像データＩＬ（１），ＩＬ（２）の生成後に、ＣＰＵ２１は、視差マップ生成回路３３に対して視差マップ３８Ｒの生成指令を発する。これにより、Ｒ視点画像データＩ（Ｒ）の各画素３９に対応するＬ視点画像データＩ（Ｌ）上の対応点４０が抽出され、この抽出結果を基に視差マップ３８Ｒが生成される。
次いで、ＣＰＵ２１は、仮想視点設定部４３に対して通常視点設定指令を発するとともに、仮想視点画像生成部４４に対してＲ通常画像生成処理の実行指令を発する。これにより、仮想視点Ｖ（３），Ｖ（４）に対応するＲ仮想視点データＩＲ（３），ＩＲ（４）が生成される。
図８に示すように、仮想視点Ｖ（１）〜Ｖ（４）にそれぞれ対応するＬ仮想視点データＩＬ（１），ＩＬ（２）及びＲ仮想視点データＩＲ（３），ＩＲ（４）が生成される。これにより、元のＬ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）と合わせて計６視点の視点画像データが得られる。各仮想視点データＩＬ（１），ＩＬ（２），ＩＲ（３），ＩＲ（４）は、画像出力回路３５に入力される。
ＣＰＵ２１は、画像出力回路３５に対して通常視差画像データの出力指令を発する。この指令を受けて画像出力回路３５は、画像読出回路３１からＬ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）を読み出す。次いで、画像出力回路３５は、各仮想視点データＩＬ（１），ＩＬ（２），ＩＲ（３），ＩＲ（４）と、Ｌ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）とからなる６視点の通常視差画像データを画像記録部２７へ出力する。以上で通常視差画像データ出力処理が完了する。
［Ｌ視差画像データ出力処理］
図９示すように、Ｌ視差画像データ出力処理の実行が決定すると、視点分割数Ｋが１１に決定し、仮想視点の設定数が１０に決定する。ＣＰＵ２１は、視差マップ生成回路３３に対して視差マップ３８Ｌのマップ生成指令を発する。これにより、視差マップ生成回路３３が視差マップ３８Ｌを生成する。
図１０Ａ及び図１０Ｂに示すように、Ｒ視点画像データＩ（Ｒ）の一部領域に指係り像４６（斜線で表示）が発生している場合には、図１０Ｃに示すように、視差マップ３８Ｌ内にも指係り像４６が原因となって視差の値が異常となる異常領域４７（斜線で表示）が発生する。このような場合でも、以下に説明するように、視差マップ３８Ｌは視差マップ３８Ｒよりも精度のよい被写体の奥行き分布が得られる。
例えば図１１Ａ及び図１１Ｂに示すように、Ｌ視点画像データＩ（Ｌ）中の画素３９ａに対応するＲ視点画像データＩ（Ｒ）中の対応点４０ａは指係り像４６で隠れている。このような場合でも、対応点４０ａの近傍の指係り像４６で隠れていない画素を対応点４０ｂとして、画素３９ａと対応点４０ｂとの視差が得られることがある。この視差の値は、誤対応の結果得られた不正値ではあるが、被写体の何らかの奥行きを示す値となる。このため、図１１Ｃに示すように、正常に撮影されたＬ視点画像データＩ（Ｌ）を基準とした対応点検索により得られる視差マップ３８Ｌでは、異常領域４７の視差値も被写体の何らかの奥行きを示す値となる場合がある。
一方、指係り像４６が発生したＲ視点画像データＩ（Ｒ）を基準とした対応点検索を行った場合に、Ｌ視点画像データＩ（Ｌ）には指係り像４６の各画素に対応する対応点が全く存在しないので、視差値は不明となる。このため、図１１Ｄに示すように、Ｒ視点画像データＩ（Ｒ）を基準とした対応点検索により得られる視差マップ３８Ｒでは、異常領域４９の視差値がデフォルト値（通常は０または２５５）になる。従って、視差マップ３８Ｌの方が視差マップ３８Ｒよりも精度のよい被写体の奥行き分布が得られる。
以上の理由により、Ｒ視点画像データＩ（Ｒ）に撮影障害が発生している場合には視差マップ３８Ｌの生成を行う。視差マップ３８Ｌは、仮想視点画像生成回路３４へ出力される。次いで、ＣＰＵ２１は、仮想視点設定部４３に対して特殊視点設定指令を発する。
図１２に示すように、特殊視点設定指令を受けた仮想視点設定部４３は、特殊視点設定処理を実行して仮想視点Ｖ（１）〜Ｖ（１０）を設定する。次いで、ＣＰＵ２１は、仮想視点画像生成部４４に対してＬ特殊画像生成処理の実行指令を発する。
ＣＰＵ２１からの指令を受けた仮想視点画像生成部４４は、視差マップ３８ＬとＬ視点画像データＩ（Ｌ）とに基づき、仮想視点Ｖ（１）〜Ｖ（５）に対応するＬ仮想視点画像データＩＬ（１）〜ＩＬ（５）を生成する。正常なＬ視点画像データＩ（Ｌ）を基に仮想視点画像データを生成するので、仮想視点画像データに指係り像４６は含まれない。
また、視差マップ３８Ｌには、図１１Ｃに示した異常領域４７が発生しているため、仮想視点がＲ視点Ｖ（Ｒ）に近づくほど、この仮想視点に対応するＬ仮想視点画像データに異常が発生する確率が高くなり、さらにその異常の程度が大きくなる。ここで異常とは、例えば画像中央に位置する主要被写体の前に背景の一部が表示されることである。
仮想視点画像生成部４４は、Ｌ視点Ｖ（Ｌ）に近い順から５視点の仮想視点Ｖ（１）〜Ｖ（５）に対応するＬ仮想視点画像データＩＬ（１）〜ＩＬ（５）を生成するので、これら画像データに異常が発生する確率は低くなる。また、異常が発生したとしてもその程度は小さくなる。Ｌ仮想視点データＩＬ（１）〜ＩＬ（５）は画像出力回路３５に入力される。
ＣＰＵ２１は、画像出力回路３５に対してＬ視差画像データの出力指令を発する。これにより、画像出力回路３５は、Ｌ仮想視点データＩＬ（１）〜ＩＬ（５）と、画像読出回路３１から読み出したＬ視点画像データＩ（Ｌ）とからなる６視点のＬ視差画像データを画像記録部２７へ出力する。以上でＬ視差画像データ出力処理が完了する。
［Ｒ視差画像データ出力処理］
図１３に示すように、Ｒ視差画像データ出力処理の流れは、Ｌ視差画像データ出力処理の流れと基本的に同じである。ただし、Ｒ視差画像データ出力処理では視差マップ３８Ｒが生成される。次いで、視差マップ３８ＲとＲ視点画像データＩ（Ｒ）とに基づき、Ｒ視点Ｖ（Ｒ）に近い順から５視点の仮想視点Ｖ（６）〜Ｖ（１０）に対応するＲ仮想視点画像データＩＲ（６）〜ＩＲ（１０）が生成される。そして、Ｒ仮想視点データＩＲ（６）〜ＩＲ（１０）と、Ｒ視点画像データＩ（Ｒ）とからなる６視点のＲ視差画像データが画像記録部２７へ出力される。以上でＲ視差画像データ出力処理が完了する。
［Ｌ，Ｒ視点画像データ出力処理］
図１４に示すように、ＣＰＵ２１は、Ｌ，Ｒ視点画像データ出力処理の実行を決定した場合には、Ｌ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）の両方に撮影障害が発生している旨を示す警告をモニタ３０に表示させる。さらに、ＣＰＵ２１は、画像記録処理を一旦停止させるとともに、画像記録処理を続行するか否かを示すメッセージをモニタ３０に表示させる。
操作部２２で画像記録処理続行の操作がなされると、ＣＰＵ２１は、画像出力回路３５に対してＬ，Ｒ視点画像データの出力指令を発する。これにより、画像出力回路３５は、画像読出回路３１からＬ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）を読み出して画像記録部２７へ出力する。また、操作部２２で画像記録処理中止の操作がなされた場合には、ＣＰＵ２１は画像記録処理を中止する。
図６に戻って、ＣＰＵ２１は、通常視差画像データ、Ｌ視差画像データ、及びＲ視差画像データのいずれかが画像記録部２７に入力されたときに、画像記録部２７に対して６視点画像記録指令を発する。この指令を受けて画像記録部２７は、６視点の視点画像をそれぞれ線状に分割した線状画像をシート１７の背面に記録する。Ｌ，Ｒ視差画像データを基に記録を行った場合には、通常視差画像データを基に記録を行ったときよりも立体画像の立体感は低下するが、指係り像４６やフレアなどの撮影障害が表示されないため、良好な立体画像を観察することができる。
一方、ＣＰＵ２１は、Ｌ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）だけが画像記録部２７に入力されたときに、画像記録部２７に対して２視点画像記録指令を発する。この指令を受けて画像記録部２７は、Ｌ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）をそれぞれ線状に分割した線状画像をシート１７の背面に記録する。以下、メモリカード１６内の他の画像ファイル１５の画像記録を行う場合には、上述の処理が繰り返し実行される。
上記第１実施形態では、６視点の視差画像データをシート１７に記録する場合について説明を行ったが、３視点以上の視差画像データをシート１７に記録する場合にも本発明を適用することができる。例えばｎ視点の視差画像データをシート１７に記録する場合に、各視差画像データ出力処理で生成されるＬ，Ｒ仮想視点画像データは下記１〜３で表される。
１．通常視差画像データ出力処理
（１）視点分割数：Ｋ＝ｎ−１
（２）仮想視点設定数：ｎ
（３）Ｌ仮想視点画像データ：ＩＬ（１）、ＩＬ（２）、・・・ＩＬ（（Ｋ＋１）／２−１）
（４）Ｒ仮想視点画像データ：ＩＲ（（Ｋ＋１）／２）、ＩＲ（（Ｋ＋１）／２＋１）、・・・ＩＲ（Ｋ−１）
２．Ｌ視差画像データ出力処理
（１）視点分割数：Ｋ＝２ｎ−１
（２）仮想視点設定数：ｎ
（３）Ｌ仮想視点画像データ：ＩＬ（１）、ＩＬ（２）、・・・ＩＬ（（Ｋ＋１）／２−１）
３．Ｒ視差画像データ出力処理
（１）視点分割数：Ｋ＝２ｎ−１
（２）仮想視点設定数：ｎ
（３）Ｒ仮想視点画像データ：ＩＲ（（Ｋ＋１）／２）、ＩＲ（（Ｋ＋１）／２＋１）、・・・ＩＲ（Ｋ−１）
［第２実施形態］
次に、図１５を用いて本発明の第２実施形態のプリンタ５２について説明する。上記第１実施形態では、特殊視点設定処理時に設定される仮想視点の設定数が予め定められている。これに対してプリンタ５２では、Ｌ，Ｒ視点画像データ内で指係り像４６などの撮影障害が発生した領域（以下、単に撮影障害領域という）の面積に応じて仮想視点の設定数を定める。
プリンタ５２は、基本的には第１実施形態のプリンタ１２と同じ構成である。ただし、撮影障害検知回路３２には面積検知部５３が設けられるとともに、ＣＰＵ２１は仮想視点設定制御部５４として機能する。また、メモリ２３には設定数決定テーブル５５が格納されている。
設定数決定テーブル５５は、撮影障害領域の面積Ｓと仮想視点の設定数とを対応付けて記憶している。この設定数決定テーブル５５では、面積Ｓが一定量ずつ大きくなるのに従って仮想視点の設定数が大きくなるように両者が対応付けられている。
面積検知部５３は、撮影障害検知回路３２が撮影障害の発生を検知したときに作動して撮影障害領域の面積Ｓを求め、この結果をＣＰＵ２１へ出力する。面積Ｓは、例えば画像データ内の撮影障害領域を特定し、この領域内の画素数をカウントすることで求められる。なお、撮影障害領域の特定は、例えば、正常に撮影された画像データと、撮影障害が発生している画像データとを各種マッチング法を用いて比較することで実行可能である。
仮想視点設定制御部５４は、特殊視点設定処理時に作動して仮想視点の設定数を決定する。仮想視点設定制御部５４は、面積検知部５３から入力された面積Ｓの値に基づき、メモリ２３の設定数決定テーブル５５を参照して仮想視点の設定数を決定し、この結果を仮想視点設定部４３へ送る。これにより、特殊視点設定処理時における仮想視点の設定数を、撮影障害領域の面積Ｓに応じて増減することができる。
撮影障害領域の面積Ｓが大きい場合には、仮想視点の設定数を増やすことができる。これにより、各仮想視点画像データの仮想視点の位置を、撮影障害の発生していない側のＬ／Ｒ視点により近づけることができる。例えば図１２において仮想視点の設定数が１０から２０に増えた場合には、仮想視点Ｖ（１）〜Ｖ（５）の位置がＬ視点Ｖ（Ｌ）に近づく。このため、仮想視点画像データに対する撮影障害の影響を低減することができる。
［第３実施形態］
次に、図１６を用いて本発明の第３実施形態の立体画像プリントシステム５８について説明を行う。第１実施形態では、Ｌ，Ｒ視差画像データ出力処理時に視差マップ生成回路３３が生成した視差マップを基に仮想視点画像データを生成している。これに対して立体画像プリントシステム５８では、Ｌ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）のいずれか一方に撮影障害が発生している場合に、予め記憶しておいた視差マップを用いて仮想視点画像データの生成を行う。立体画像プリントシステム５８は複眼カメラ５９とプリンタ６０とで構成される。
複眼カメラ５９は、基本的には第１実施形態の複眼カメラ１１と同じものであるが、撮影モードとして人物撮影モードと、風景撮影モードと、通常撮影モードとを有している。人物撮影モードは、例えばフォーカスを近景に設定するなど人物の撮影に適した撮影条件で撮影を行うモードである。また、風景撮影モードは、例えばフォーカスを遠景に設定するなど風景の撮影に適した撮影条件で撮影を行うモードである。通常撮影モードは、人物や風景の撮影に対応して撮影条件を広くカバーできるモードである。複眼カメラ５９は、画像ファイル１５をメモリカード１６に記録する際に、撮影モードの種類を表す付帯情報６２を画像ファイル１５に付帯させる。
プリンタ６０は、基本的には上記第１実施形態のプリンタ１２と同じ構成である。ただし、プリンタ６０の画像処理回路６４には、視差マップ格納部６５、視差マップ出力回路６６、及び仮想視点画像生成回路６７が設けられている。
視差マップ格納部６５は、通常撮影用視差マップ７１、人物撮影用視差マップ７２、風景撮影用視差マップ７３を格納している。
図１７に示すように、通常撮影用視差マップ７１は、画像中央部に主要被写体Ｈが位置し、かつ画像下段の被写体が主要被写体Ｈの手前側に位置し、さらに画像上段の被写体が主要被写体Ｈよりも奥側に位置するようなＬ，Ｒ視点画像データを想定した視差マップである。この通常撮影用視差マップ７１は、視差値がゼロに設定される領域Ａ（０）、視差値が−１０に設定される領域Ａ（−１０）、視差値が＋１０に設定される領域Ａ（＋１０）、視差値が＋２０に設定される領域Ａ（＋２０）の４つの領域に分けられている。ここでは領域Ａ（０）を基準として、視差値の数値が小さいほど手前側の領域を示し、逆に数値が大きいほど奥側の領域を示す。
領域Ａ（０）は略台形状であり、マップ中央部に設定されている。これは観察者が最も注視する部分が主要被写体Ｈであり、この部分に視差が生じていると観察者の視覚疲労が増加するためである。他の領域Ａ（−１０）、領域Ａ（＋１０）、及び領域Ａ（＋２０）は、マップ中央部を除くようにマップ下段、マップ中段、マップ上段にそれぞれ設定されている。
図１８に示すように、人物撮影用視差マップ７２は、人物撮影により得られるＬ，Ｒ視点画像データを想定した視差マップである。人物撮影用視差マップ７２では、略矩形状の領域Ａ（０）がマップ下段中央部及びマップ中央部に設定される。領域Ａ（−１０）は、領域Ａ（０）の下端部を囲むようにマップ下段に設定される。領域Ａ（＋１０）は、領域Ａ（−１０）以外の範囲で領域Ａ（０）を囲むように設定される。さらに、領域Ａ（＋２０）は、領域Ａ（＋１０）を囲むように設定される。
図１９に示すように、風景撮影用視差マップ７３は、風景撮影により得られるＬ，Ｒ視点画像データを想定した視差マップである。風景撮影用視差マップ７３では、帯状の領域Ａ（−１０）、領域Ａ（０）、領域Ａ（＋１０）、領域Ａ（＋２０）がマップ下段からマップ上段に向かって順に設定されている。
図１６に戻って、視差マップ出力回路６６は、視差マップ格納部６５内の各視差マップ７１〜７３の中から、画像ファイル１５の撮影シーンに最も適した視差マップ（以下、最適視差マップという）を選択して仮想視点画像生成回路６７へ出力する。この視差マップ出力回路６６は、撮影シーン判定部７５を備えている。
撮影シーン判定部７５は、画像ファイル１５の付帯情報６２を参照して、画像ファイル１５が得られたときの撮影モードの種類を確認することで、画像ファイル１５の撮影シーンのカテゴリが人物撮影、風景撮影、通常撮影のいずれであるかを判定する。
仮想視点画像生成回路６７は、基本的には第１実施形態の仮想視点画像生成回路３４と同じように仮想視点画像データの生成を行う。ただし、Ｌ，Ｒ視点画像データＩ（Ｌ），（Ｌ）のいずれか一方に撮影障害が発生している場合に、仮想視点設定部７７は第１実施形態とは異なる特殊視点設定処理（以下、特殊視点設定処理Ｘという）を実行し、仮想視点画像生成部７８は第１実施形態とは異なる特殊画像生成処理（以下、特殊画像生成処理Ｘという）を実行する。
特殊視点設定処理Ｘでは、例えばｎ＝６視点とした場合に（ｎ−１）＝５個の仮想視点Ｖ（１）〜Ｖ（５）を設定する（図２２参照）。これは仮想視点画像データの生成に用いる視差マップとして、撮影障害が発生したＬ，Ｒ視点画像データを基に生成された視差マップではなく、予め記憶された視差マップを用いることによる。予め記憶された視差マップを用いて仮想視点画像データを生成する場合には、その仮想視点の位置が撮影障害の発生している側の視点に近くとも撮影障害の影響を受けないためである。
特殊画像生成処理Ｘでは、Ｌ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）のいずれに撮影障害が発生しているのかに応じて、下記のＬ特殊画像生成処理Ｘ及びＲ特殊画像生成処理Ｘのいずれかを選択的に実行する。
Ｌ特殊画像生成処理Ｘでは、Ｌ視点画像データＩ（Ｌ）と最適視差マップとを用いて、各仮想視点Ｖ（１）〜Ｖ（５）に対応するＬ仮想視点画像データＩＬ（１）〜ＩＬ（５）の生成を行う。また、Ｒ特殊画像生成処理Ｘでは、Ｒ視点画像データＩ（Ｒ）と最適視差マップを用いて、各仮想視点Ｖ（１）〜Ｖ（５）に対応するＲ仮想視点画像データＩＲ（１）〜ＩＲ（５）の生成を行う。
以下、図２０に示すフローチャートを用いて上記構成の立体画像プリントシステム５８の画像記録処理について説明を行う。以下の説明では、第１実施形態と同様に６視点の画像データをシート１７に記録する場合（ｎ＝６）について説明を行う。なお、Ｌ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）の両方に撮影障害が発生している場合の処理、及び両方に撮影障害が発生していない場合の処理は、上記第１実施形態と同じであるため説明は省略する。
Ｌ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）のいずれか一方に撮影障害が発生している場合に、ＣＰＵ２１は、視差マップ出力回路６６に対して最適視差マップの出力指令を発する。この指令を受けた視差マップ出力回路６６は、撮影シーン判定部７５を作動させる。撮影シーン判定部７５は、画像読出回路３１内の画像ファイル１５の付帯情報６２に記録された撮影モードの種類を確認する。これにより、撮影シーンのカテゴリが人物撮影、風景撮影、通常撮影のいずれかであると判定される。
次いで、視差マップ出力回路６６は、視差マップ格納部６５の中から撮影シーン判定部７５の判定結果に対応する最適視差マップを選択し、この最適視差マップを仮想視点画像生成回路６７へ出力する。そして、ＣＰＵ２１は、Ｒ視点画像データＩ（Ｒ）に撮影障害が発生している場合には、Ｌ視差画像データ出力処理を実行する。
［Ｌ視差画像データ出力処理］
図２１に示すように、Ｌ視差画像データ出力処理の実行が決定すると、視点分割数Ｋが「６」に決定し、仮想視点の設定数が「５」に決定する。次いで、ＣＰＵ２１は、仮想視点設定部４３に対して特殊視点設定指令を発する。
図２２に示すように、特殊視点設定指令を受けた仮想視点設定部４３は、特殊視点設定処理Ｘを実行して、仮想視点Ｖ（１）〜Ｖ（５）を設定する。次いで、ＣＰＵ２１は、仮想視点画像生成部７８に対してＬ特殊画像生成処理Ｘの実行指令を発する。
ＣＰＵ２１からの指令を受けた仮想視点画像生成部７８は、最適視差マップとＬ視点画像データＩ（Ｌ）とに基づき仮想視点Ｖ（１）〜Ｖ（５）に対応するＬ仮想視点画像データＩＬ（１）〜ＩＬ（５）を生成する。第１実施形態とは異なり視差マップ３８Ｌを生成する必要がないので、画像処理回路６４の負荷を減らすことができ、さらに第１実施形態よりも処理時間を減らすことができる。また、予め記憶されている視差マップを用いるので、Ｌ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）の一方に発生した撮影障害領域の面積が大きい場合でも、ある程度は良好な仮想視点画像データが得られる。
Ｌ仮想視点画像データＩＬ（１）〜ＩＬ（５）は、画像出力回路３５に入力される。次いで、ＣＰＵ２１は、画像出力回路３５に対してＬ視差画像データの出力指令を発する。これにより、Ｌ仮想視点画像データＩＬ（１）〜ＩＬ（５）と、Ｌ視点画像データＩ（Ｌ）とからなる６視点のＬ視差画像データが画像記録部２７へ出力される。以上でＬ視差画像データ出力処理が完了する。
［Ｒ視差画像データ出力処理］
図２３に示すように、ＣＰＵ２１は、Ｌ視点画像データＩ（Ｌ）に撮影障害が発生している場合に、Ｒ視差画像データ出力処理を実行する。このＲ視差画像データ出力処理の流れは、上述のＬ視差画像データ出力処理の流れと基本的に同じである。ただし、Ｒ視差画像データ出力処理では、最適視差マップとＲ視点画像データＩ（Ｒ）とに基づき、仮想視点Ｖ（１）〜Ｖ（５）に対応するＲ仮想視点画像データＩＲ（１）〜ＩＲ（５）が生成される。次いで、Ｒ仮想視点データＩＲ（１）〜ＩＲ（５）と、Ｒ視点画像データＩ（Ｒ）とからなる６視点のＲ視差画像データが画像記録部２７へ出力される。以上でＲ視差画像データ出力処理が完了する。
Ｌ，Ｒ視差画像データの出力以降の処理は第１実施形態と同じであるため、説明は省略する。この第３実施形態においても、撮影障害が発生していない画像データを基に仮想視点画像データを生成するので、良好な立体画像を観察することができる。
上記第３実施形態では、６視点の視差画像データをシート１７に記録する場合について説明を行ったが、３視点以上の視差画像データをシート１７に記録する場合にも本発明を適用することができる。
上記第３実施形態では、視差マップ格納部６５に格納されている視差マップとして、通常・人物・風景撮影用視差マップ７１〜７３を例に挙げたが、その他の各種撮影シーンに対応した視差マップが格納されていてもよい。さらに、上記第３実施形態では、画像ファイル１５の付帯情報６２に基づき撮影シーンを判定しているが、例えば周知の顔検出処理を行ってＬ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）における顔の有無やその大きさを検出した結果に基づき、撮影シーンの判定を行ってもよい。
上記第３実施形態では、６視点のＬ，Ｒ視差画像データ出力処理時に、５個の仮想視点を設定しているが、上記第１実施形態と同様に１０個の仮想視点を設定して５個の仮想視点画像データを生成してもよい。この場合も、視差マップ３８Ｌ，３８Ｒの代わりに最適視差マップを用いる以外は第１実施形態と同様にして仮想視点画像データの生成を行えばよい。
［第４実施形態］
次に、図２４を用いて本発明の第４実施形態の立体画像プリントシステム８０について説明を行う。上記各実施形態ではプリンタにて仮想視点画像データの生成を行っているが、立体画像プリントシステム８０では複眼カメラにて仮想視点画像データの生成を行う。この立体画像プリントシステム８０は、複眼カメラ８１とプリンタ８２とで構成される。
複眼カメラ８１は、一対の撮像部１４Ｌ，１４Ｒを備えている。撮像部１４Ｌ，１４Ｒは、撮影レンズ１４ａの他に、図示は省略するがイメージセンサ等を備えている。
ＣＰＵ８５は、操作部８６からの制御信号に基づき、メモリ８７から読み出した各種プログラム等を逐次実行することで、複眼カメラ８１の各部を統括的に制御する。このＣＰＵ８５には、バス８８を介して、操作部８６、メモリ８７、信号処理回路８９、表示ドライバ９０及びモニタ９１、画像処理回路９２、記録制御回路９３等が接続されている。
操作部８６は、例えば、電源スイッチ、複眼カメラ８１の動作モード（例えば撮影モード、再生モード等）を切り替えるモード切替スイッチ、シャッタボタン等からなる。
ＡＦＥ（アナログフロントエンド）９５は、撮像部１４Ｌ，１４Ｒからそれぞれ出力されるアナログの画像信号に対し、ノイズの除去処理、画像信号の増幅処理、デジタル化処理を施して、Ｌ，Ｒ画像信号を生成する。Ｌ，Ｒ画像信号は信号処理回路８９へ出力される。
信号処理回路８９は、ＡＦＥ９５から入力されたＬ，Ｒ画像信号に対し、階調変換，ホワイトバランス補正処理，γ補正処理、ＹＣ変換処理等の各種画像処理を施してＬ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）を生成する。信号処理回路８９は、Ｌ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）をメモリ８７に格納する。
表示ドライバ９０は、Ｌ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）がメモリ８７に格納される度に、メモリ８７からＬ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）読み出して画像表示用の信号を生成し、これを一定のタイミングでモニタ９１へ出力する。これにより、モニタ９１にスルー画像が表示される。
画像処理回路９２は、操作部８６のシャッタボタンが押下されたときに作動する。画像処理回路９２は、基本的に第１実施形態の画像処理回路２９と同じ構成であるので、その構成については図３を参照されたい。なお、画像処理回路９２の撮影障害検知回路３２は、上記第１実施形態と同様の撮影障害検知方法で撮影障害を検知する。この際に、複眼カメラ８１の製造コストが増加するが、撮影レンズ１４ａの周辺に指などの接触を検知する検知センサ８４Ｌ，８４Ｒを設け、これら検知センサ８４Ｌ，８４Ｒの検知結果に基づき撮影障害の発生を検知してもよい。
第４実施形態の画像読出回路３１は、メモリ８７に格納されたＬ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）を読み出す。また、第４実施形態の画像出力回路３５は、６視点の視差画像データまたはＬ，Ｒ視点画像データをメモリ８７に格納する。
記録制御回路９３は、操作部８６のシャッタボタンが全押しされたときに、メモリ８７に格納された視差画像データまたはＬ，Ｒ視点画像データを読み出し、これらを一つにまとめた画像ファイル９７を形成してメモリカード１６に記録する。
プリンタ８２は、画像処理回路２９を備えていない点を除けば、上記第１実施形態のプリンタ１２と同じ構成であるので、その構成については図１を参照されたい。プリンタ８２は、メモリカード１６から読み出した視差画像データまたはＬ，Ｒ視点画像データに基づきシート１７に画像記録を行う。
上記第４実施形態では、上記第１実施形態のプリンタ１０で行われる視差画像データの生成を複眼カメラ８１で行っているが、上記第３実施形態のプリンタ６０で行われる視差画像データの生成も同様に複眼カメラ８１で行うことができる。
上記各実施形態では、２眼の複眼カメラで得られたＬ，Ｒ視点画像データに基づき仮想視点画像データを生成しているが、３眼以上の複眼カメラで得られた３視点以上の視点画像データのいずれか２つを用いて仮想視点画像データの生成を行う場合にも本発明を適用することができる。また、上記各実施形態では、仮想視点をＬ，Ｒ視点間に設定しているが、Ｌ視点よりも左側あるいはＲ視点よりも右側に仮想視点を設定してもよい。
上記各実施形態では、仮想視点画像データの生成を行うプリンタや複眼カメラを例に挙げて説明を行ったが、視差画像に基づき立体表示を行う立体画像表示装置や、視差画像を所定の順序で表示する表示装置などの仮想視点画像データの生成を行う各種装置に本発明を適用することができる。
１０，５８，８０ 立体画像プリントシステム
１１，５９，８１ 複眼カメラ
５２，６０，８２ プリンタ
２９，６４，９２ 画像処理回路
３２ 撮影障害検知回路
３３ 視差マップ生成回路
３４，６７ 仮想視点画像生成回路
３５ 画像出力回路
５３ 面積検知部
５４ 仮想視点設定制御部
６５ 視差マップ格納部
６６ 視差マップ出力回路

Claims (10)

  1. 被写体を異なる視点から撮影して得られた視差を有する第１視点画像及び第２視点画像を基に、前記視点とは異なる所定数の仮想視点から被写体を見たときの仮想視点画像を生成する画像生成装置において、
    前記第１視点画像及び第２視点画像に異常があるか否かを検知する検知手段と、
    前記検知手段の検知結果に基づき、前記第１視点画像及び第２視点画像の一方が異常のある異常画像である場合に、異常のない他方の正常画像の各画素にそれぞれ対応する前記異常画像上の対応点を抽出し、この抽出結果に基づき被写体の奥行き分布を示す視差マップを生成する視差マップ生成手段と、
    前記視差マップと前記正常画像とに基づき、前記仮想視点画像を生成する仮想視点画像生成手段と、
    を備えることを特徴とする画像生成装置。
  2. 前記正常画像と前記仮想視点画像とを、所定の出力先へ出力する画像出力手段を備えること特徴とする請求項１記載の画像生成装置。
  3. 前記異常画像及び前記正常画像の視点間に前記所定数よりも多くの前記仮想視点を設定する仮想視点設定手段を備え、
    前記仮想視点画像生成手段は、前記仮想視点設定手段が設定した各仮想視点の中から、前記正常画像の視点に近い側より順に前記所定数の前記仮想視点を選択して、前記仮想視点画像を生成することを特徴とする請求項１または２記載の画像生成装置。
  4. 前記仮想視点は、被写体を中心に等角度間隔で設定されることを特徴とする請求項３記載の画像生成装置。
  5. 前記異常画像内で前記異常が発生した領域の面積を検知する面積検知手段を備え、
    前記仮想視点設定手段は、前記面積が大きくなるのに従って前記仮想視点の設定数を増加させることを特徴とする請求項３または４記載の画像生成装置。
  6. 被写体を異なる視点から撮影する複数の撮像部を有する撮影装置から、前記第１視点画像及び第２視点画像を取得する画像取得手段を備えることを特徴とする請求項１ないし５いずれか１項記載の画像生成装置。
  7. 前記異常は、フレア、及び前記撮像部の撮影レンズの少なくとも一部を遮蔽していた障害物の像の少なくともいずれかを含むことを特徴とする請求項６記載の画像生成装置。
  8. 請求項１ないし７いずれか１項記載の画像生成装置と、
    前記第１視点画像及び第２視点画像のいずれか一方が前記異常画像であるときに、前記正常画像と前記仮想視点画像とに基づき、立体視が可能な画像を記録媒体に記録する記録手段と、
    を備えることを特徴とするプリンタ。
  9. 前記第１視点画像及び第２視点画像の両方に異常がある場合に、その旨を警告表示する警告表示手段を備えることを特徴とする請求項８記載のプリンタ。
  10. 被写体を異なる視点から撮影して得られた視差を有する第１視点画像及び第２視点画像を基に、前記視点とは異なる所定数の仮想視点から被写体を見たときの仮想視点画像を生成する画像生成方法において、
    前記第１視点画像及び第２視点画像に異常あるか否かを検知する検知ステップと、
    前記検知ステップでの検知結果に基づき、前記第１視点画像及び第２視点画像のいずれか一方が異常のある異常画像である場合に、異常のない他方の正常画像の各画素にそれぞれ対応する前記異常画像上の対応点を抽出し、この抽出結果に基づき被写体の奥行き分布を示す視差マップを生成する視差マップ生成ステップと、
    前記視差マップと前記正常画像とに基づき、前記仮想視点画像を生成する仮想視点画像生成ステップと、
    を有することを特徴とする画像生成方法。
JP2012509388A 2010-04-06 2011-03-18 画像生成装置及び方法並びにプリンタ Withdrawn JPWO2011125461A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010087751 2010-04-06
JP2010087751 2010-04-06
PCT/JP2011/056561 WO2011125461A1 (ja) 2010-04-06 2011-03-18 画像生成装置及び方法並びにプリンタ

Publications (1)

Publication Number Publication Date
JPWO2011125461A1 true JPWO2011125461A1 (ja) 2013-07-08

Family

ID=44762417

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012509388A Withdrawn JPWO2011125461A1 (ja) 2010-04-06 2011-03-18 画像生成装置及び方法並びにプリンタ

Country Status (4)

Country Link
US (1) US20130003128A1 (ja)
JP (1) JPWO2011125461A1 (ja)
CN (1) CN102835118A (ja)
WO (1) WO2011125461A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9218115B2 (en) 2010-12-02 2015-12-22 Lg Electronics Inc. Input device and image display apparatus including the same
US9420268B2 (en) 2011-06-23 2016-08-16 Lg Electronics Inc. Apparatus and method for displaying 3-dimensional image
KR20130036593A (ko) * 2011-10-04 2013-04-12 삼성디스플레이 주식회사 이미지 중첩 현상을 방지할 수 있는 3ｄ 디스플레이 장치
US10477184B2 (en) * 2012-04-04 2019-11-12 Lifetouch Inc. Photography system with depth and position detection
JP2014006243A (ja) * 2012-05-28 2014-01-16 Ricoh Co Ltd 異常診断装置、異常診断方法、撮像装置、移動体制御システム及び移動体
JP6124703B2 (ja) * 2013-06-21 2017-05-10 キヤノン株式会社 撮像装置およびその制御方法
US10681280B2 (en) * 2017-04-06 2020-06-09 Lenovo (Singapore) Pte. Ltd. Camera component location indicator on display
JP2019103067A (ja) * 2017-12-06 2019-06-24 キヤノン株式会社 情報処理装置、記憶装置、画像処理装置、画像処理システム、制御方法、及びプログラム
US11800056B2 (en) 2021-02-11 2023-10-24 Logitech Europe S.A. Smart webcam system
US11800048B2 (en) 2021-02-24 2023-10-24 Logitech Europe S.A. Image generating system with background replacement or modification capabilities

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0510899B1 (en) * 1991-04-22 2001-01-31 Canon Kabushiki Kaisha Printer control program transfer method and printer capable of receiving a control program
JP2001346226A (ja) * 2000-06-02 2001-12-14 Canon Inc 画像処理装置、立体写真プリントシステム、画像処理方法、立体写真プリント方法、及び処理プログラムを記録した媒体
KR100603601B1 (ko) * 2004-11-08 2006-07-24 한국전자통신연구원 다시점 콘텐츠 생성 장치 및 그 방법
JP2007053621A (ja) * 2005-08-18 2007-03-01 Mitsubishi Electric Corp 画像生成装置
JP4953789B2 (ja) * 2006-12-07 2012-06-13 キヤノン株式会社 画像処理装置、記録装置、画像処理方法、プログラム、および記憶媒体
US20100150248A1 (en) * 2007-08-15 2010-06-17 Thomson Licensing Method and apparatus for error concealment in multi-view coded video
JP2009048033A (ja) * 2007-08-22 2009-03-05 Panasonic Corp 立体画像撮像装置
KR100971730B1 (ko) * 2010-04-15 2010-07-21 (주)에이직뱅크 평행축 입체카메라
KR101291071B1 (ko) * 2010-06-08 2013-08-01 주식회사 에스칩스 입체 영상 오류 개선 방법 및 장치
JP2012023546A (ja) * 2010-07-14 2012-02-02 Jvc Kenwood Corp 制御装置、立体映像撮像装置、および制御方法
JP5489897B2 (ja) * 2010-07-22 2014-05-14 パナソニック株式会社 ステレオ測距装置及びステレオ測距方法
KR101752690B1 (ko) * 2010-12-15 2017-07-03 한국전자통신연구원 변이 맵 보정 장치 및 방법
US20120162386A1 (en) * 2010-12-22 2012-06-28 Electronics And Telecommunications Research Institute Apparatus and method for correcting error in stereoscopic image
KR20130008746A (ko) * 2011-07-13 2013-01-23 삼성전자주식회사 3ｄ 영상변환장치, 그 구현방법 및 그 저장매체
US9076267B2 (en) * 2011-07-19 2015-07-07 Panasonic Intellectual Property Corporation Of America Image coding device, integrated circuit thereof, and image coding method
US9191646B2 (en) * 2011-08-29 2015-11-17 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
JP5572647B2 (ja) * 2012-02-17 2014-08-13 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム、および表示制御方法
JP5948976B2 (ja) * 2012-03-06 2016-07-06 富士ゼロックス株式会社 画像形成装置および情報処理装置

Also Published As

Publication number Publication date
CN102835118A (zh) 2012-12-19
US20130003128A1 (en) 2013-01-03
WO2011125461A1 (ja) 2011-10-13

Similar Documents

Publication Publication Date Title
WO2011125461A1 (ja) 画像生成装置及び方法並びにプリンタ
JP5299214B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP4657313B2 (ja) 立体画像表示装置および方法並びにプログラム
US20130113888A1 (en) Device, method and program for determining obstacle within imaging range during imaging for stereoscopic display
JP5284306B2 (ja) 立体撮像装置、ゴースト像処理装置およびゴースト像処理方法
US20120263372A1 (en) Method And Apparatus For Processing 3D Image
JP5295426B2 (ja) 複眼撮像装置、その視差調整方法及びプログラム
JP2013038503A (ja) 画像処理装置、および画像処理方法、並びにプログラム
US20100315517A1 (en) Image recording device and image recording method
JP5978573B2 (ja) 映像信号処理装置および映像信号処理方法
JP5526233B2 (ja) 立体視用画像撮影装置およびその制御方法
US20130162764A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable medium
JP2009244502A (ja) 画像処理装置、画像表示装置、撮像装置及び画像処理方法
US8648953B2 (en) Image display apparatus and method, as well as program
US20130069864A1 (en) Display apparatus, display method, and program
JPWO2011152167A1 (ja) 立体画像制御装置ならびにその動作制御方法およびその動作制御プログラム
JP2008172342A (ja) 立体画像記録装置および立体画像記録方法
EP2717247A2 (en) Image processing apparatus and method for performing image rendering based on orientation of display
JPWO2013065543A1 (ja) 視差調節装置及び方法、撮影装置、再生表示装置
KR20150003576A (ko) 삼차원 영상 생성 또는 재생을 위한 장치 및 방법
JP5322817B2 (ja) ３次元画像撮像装置及び３次元画像表示方法
JP2006013851A (ja) 撮像表示装置および撮像表示方法
CN103155576A (zh) 立体图像显示装置和立体图像显示方法
JP2011077679A (ja) 立体画像表示装置
US8917316B2 (en) Photographing equipment

Legal Events

Date Code Title Description
A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20130422