JP5492311B2 - 視点画像生成装置、視点画像生成方法及び立体画像印画装置 - Google Patents

Description

本発明は、入力画像の視差に適した立体画像をレンチキュラーレンズシートに形成することができる印画用の多視点画像を生成するための視点画像生成装置及び視点画像生成方法並びに該視点画像生成装置を備える立体画像印画装置に関する。

複数視点から撮影した画像を、レンズ状のシートを介して立体表示する技術が知られている。

特許文献１には、レンチキュラーシートのタイプをユーザが選択し、又はレンズ解像度により選択することが開示されている。

特許文献２には、ステレオ画像を視差マップに基づいて多視点化する技術が開示されている。

特開２００７−９８８３０号公報 特開２００１−３４６２２６号公報

複数視点から撮影した画像を、レンズ状のシート（レンチキュラーレンズシート）を介して立体表示する場合、画像の立体視の上での条件が様々ある（特に視差量である）にも関わらず、これを同一形状のシートで表示することになる。このため、立体感が不足したり、逆に視差量が表示の許容範囲を越えて、映像がボケたり多重に見えるなどの問題があった。

特許文献１に記載の技術は、媒体（レンチキュラーレンズシート）の種別に合ったデータを選択するのみであり、入力された立体画像の視差に適した媒体を選択することができない。また、印刷後にどのような見え方になるのかを事前に確認することもできない。

特許文献２には、多視点化を自動的に行う技術が開示されているが、入力画像の視差に適した立体画像をレンチキュラーレンズシートに形成することについて開示がない。

本発明はこのような事情に鑑みてなされたもので、入力画像の視差に適した立体画像をレンチキュラーレンズシートに形成することができる印画用の多視点画像を生成するための視点画像生成装置及び視点画像生成方法並びに該視点画像生成装置を備える立体画像印画装置を提供することを目的とする。

前記目的を達成するために、本発明の一態様は、２視点以上の多視点画像を入力する画像入力手段と、前記入力された多視点画像の視差の分布に関する情報を取得する情報取得手段と、前記情報取得手段により取得された視差の分布に関する情報に基づいて、レンチキュラーレンズシートに印画する立体画像の視点数を決定する視点数決定手段と、前記画像入力手段を介して入力された多視点画像の視点数と前記視点数決定手段により決定された視点数とを比較する比較手段と、前記画像入力手段を介して入力された多視点画像の視点数が、前記レンチキュラーレンズシートに印画する立体画像の視点数よりも少ない場合には、前記入力された多視点画像から不足分の視点画像を生成する視点画像生成手段と、前記画像入力手段を介して入力された多視点画像と前記視点画像生成手段により生成された視点画像とからなる立体画像をレンチキュラーレンズシートに印画する印画手段とを備える立体画像印画装置を提供する。

本発明の一態様では、前記情報取得手段は、前記入力された多視点画像の視差量のうちの近側の第１の閾値を越える視差量の頻度、又は遠側の第２の閾値を越える視差量の頻度のうちの少なくとも一方の頻度を示す情報を取得し、前記視点数決定手段は、前記取得された第１の閾値を越える視差量の頻度が第３の閾値を越える場合、又は前記取得された第２の閾値を越える視差量の頻度が第４の閾値を越える場合には、前記第３の閾値又は第４の閾値以内の場合に比べて、前記レンチキュラーレンズシートに印画する立体画像の視点数を多くするようにしてもよい。

即ち、従来は、近距離撮影された被写体像や遠距離の副被写体像は視差量が表示能力に対して過大になるため、画像のぼけや割れなどの破綻が発生するという問題があった。本態様では、視差量の頻度に応じて視点数を多くすることで、前記問題を解決することが可能になる。

本発明の一態様では、前記情報取得手段は、前記入力された多視点画像の視差量のうちの近側及び遠側の最大視差量の少なくとも一方の最大視差量を示す情報を取得し、前記視点数決定手段は、前記取得された最大視差量が所定の閾値を越える場合には、所定の閾値以内の場合に比べて、前記レンチキュラーレンズシートに印画する立体画像の視点数を多くするようにしてもよい。

即ち、従来は、近距離撮影された被写体像や遠距離の副被写体像は視差量が表示能力に対して過大になるため、画像のぼけや割れなどの破綻が発生するという問題があった。本態様では、最大視差量に応じて視点数を多くすることで、前記問題を解決することが可能になる。

本発明の一態様では、前記情報取得手段は、前記入力された多視点画像の近側の最大視差量と遠側の最大視差量との差を示す視差範囲を取得し、前記視点数決定手段は、前記取得された視差範囲が所定の閾値を越える場合には、所定の閾値以内の場合に比べて、前記レンチキュラーレンズシートに印画する立体画像の視点数を多くするようにしてもよい。

即ち、従来は、近距離撮影された被写体像や遠距離の副被写体像は視差量が表示能力に対して過大になるため、画像のぼけや割れなどの破綻が発生するという問題があった。本態様では、視差範囲（視差量のレンジ）に応じて視点数を多くすることで、前記問題を解決することが可能になる。

本発明の一態様では、レンズ間隔が異なる複数のシートタイプのレンチキュラーレンズシートから１つのレンチキュラーレンズシートを選択するシート選択手段であって、前記視点数決定手段により決定された視点数に基づいて１つのレンチキュラーレンズシートを選択するシート選択手段を更に備えていてもよい。

また、本発明の一態様は、２視点以上の多視点画像を入力する画像入力手段と、前記入力された多視点画像の視差の分布に関する情報を取得する情報取得手段と、レンズ間隔が異なる複数のシートタイプのレンチキュラーレンズシートから１つのレンチキュラーレンズシートを選択するシート選択手段であって、前記情報取得手段により取得した視差の分布に関する情報に基づいて１つのレンチキュラーレンズシートを選択するシート選択手段と、前記シート選択手段により選択されたレンチキュラーレンズシートに前記入力された多視点画像を含む立体画像を印画する印画手段とを備える立体画像印画装置を提供する。

即ち、レンズ間隔が異なる複数のシートタイプのレンチキュラーレンズシートから、入力された多視点画像の視差分布に応じたレンチキュラーレンズシートが選択される。

本発明の一態様では、前記情報取得手段は、前記入力された多視点画像の視差量のうちの近側の第１の閾値を越える視差量の頻度、又は遠側の第２の閾値を越える視差量の頻度のうちの少なくとも一方の頻度を示す情報を取得し、前記シート選択手段は、前記取得された第１の閾値を越える視差量の頻度が第３の閾値を越える場合、又は前記取得された第２の閾値を越える視差量の頻度が第４の閾値を越える場合には、前記第３の閾値又は第４の閾値以内である場合に比べてレンズ間隔が大きいシートタイプのレンチキュラーレンズシートを選択するようにしてもよい。

即ち、従来は、近距離撮影された被写体像や遠距離の副被写体像は視差量が表示能力に対して過大になるため、画像のぼけや割れなどの破綻が発生するという問題があった。本態様では、視差量の頻度に応じて適切にシートを選択することで、前記問題を解決することが可能になる。

本発明の一態様では、前記情報取得手段は、前記入力された多視点画像の視差量のうちの近側及び遠側の最大視差量の少なくとも一方の最大視差量を示す情報を取得し、前記シート選択手段は、前記取得された最大視差量が所定の閾値を越える場合には、所定の閾値以内である場合に比べてレンズ間隔が大きいシートタイプのレンチキュラーレンズシートを選択するようにしてもよい。

即ち、従来は、近距離撮影された被写体像や遠距離の副被写体像は視差量が表示能力に対して過大になるため、画像のぼけや割れなどの破綻が発生するという問題があった。本態様では、最大視差量に応じて適切にシートを選択することで、前記問題を解決することが可能になる。

本発明の一態様では、前記情報取得手段は、前記入力された多視点画像の近側の最大視差量と遠側の最大視差量との差を示す視差範囲を取得し、前記シート選択手段は、前記取得された視差範囲が所定の閾値を越える場合には、所定の閾値以内である場合に比べてレンズ間隔が大きいシートタイプのレンチキュラーレンズシートを選択するようにしてもよい。

即ち、従来は、近距離撮影された被写体像や遠距離の副被写体像は視差量が表示能力に対して過大になるため、画像のぼけや割れなどの破綻が発生するという問題があった。本態様では、視差範囲（視差量のレンジ）に応じて適切にシートを選択することで、前記問題を解決することが可能になる。

本発明の一態様では、前記画像入力手段を介して入力された多視点画像の視点数が、前記選択されたレンチキュラーレンズシートに印画する立体画像の視点数よりも少ない場合には、前記入力された多視点画像から不足分の視点画像を生成する視点画像生成手段を備えていてもよい。

なお、不足分の視点画像は、入力された多視点画像の視点画像間に内挿するように生成する場合と、入力された多視点画像の視点画像間の外側に外挿するように生成する場合とがある。

本発明の一態様では、前記情報取得手段は、前記入力された多視点画像のうちの左端の視点画像と右端の視点画像との特徴が一致する対応点を検出する対応点検出手段と、前記対応点検出手段により検出された対応点から左端の視点画像と右端の視点画像との視差量を算出する視差量算出手段とを有し、前記視差量算出手段により算出された視差量に基づいて前記入力された多視点画像の視差の分布に関する情報を取得するようにしてもよい。

即ち、入力された多視点画像から視差の分布に関する情報が取得される。このため、特別な情報が予め立体画像とともに記録されていなくても、入力画像の視差の分布に適したレンズシートが選択されることになる。

本発明の一態様では、前記画像入力手段は、前記多視点画像とともに付属情報が記録された画像ファイルを取得し、前記情報取得手段は、前記画像ファイルの付属情報から前記入力された多視点画像の視差の分布に関する情報を取得するようにしてもよい。

本発明の一態様では、前記印画手段は、前記レンチキュラーレンズシートに該印画手段の最高解像度で立体画像を印画するものであって、前記レンチキュラーレンズシートのレンズ間隔に比例した視点数の立体画像を印画するようにしてもよい。

即ち、レンズ間隔に比例した視点数で印画される。このため、視差量に応じてシートタイプを異ならせても、常に見易い立体画像を印画することができる。

本発明の一態様では、平面画像を表示する表示手段と、前記レンチキュラーレンズシートのレンズ間隔に応じて該レンチキュラーレンズシートに印画する立体画像の各視点画像の解像度を変換し、又は各視点画像を歪み処理する画像処理手段と、前記画像処理手段により処理された各視点画像を前記表示手段に順番にかつ繰り返し表示させることにより動画表示させる表示制御手段とを更に備えていてもよい。

本発明の一態様では、平面画像を表示する表示手段と、前記レンチキュラーレンズシートに印画される視点数ｎ（ｎは３以上の整数）の立体画像のうちの隣接する２視点画像から仮想視点の視点画像を生成する手段と、前記２視点画像及び前記生成された仮想視点の視点画像からなる表示用の立体画像における各視点画像の解像度を変換し、又は各視点画像を歪み処理する画像処理手段と、前記画像処理手段により処理された各視点画像を前記表示手段に順番にかつ繰り返し表示させることにより動画表示させる表示制御手段とを更に備えていてもよい。

本発明の一態様では、前記画像処理手段は、前記レンチキュラーレンズシートのレンズ間隔及びレンズ形状に応じて、各視点画像のレンチキュラーレンズの山の部分は明るく、谷の部分は暗くなるように各視点画像を画像処理するようにしてもよい。

即ち、レンズ間隔及びレンズ形状に応じて異なる立体画像の見え方を印画前に予め模擬表示で確認することができる。

本発明の一態様では、前記画像処理手段は、前記レンチキュラーレンズシートのレンズ間隔が大きいほど各視点画像の解像度を低下させるようにしてもよい。

本発明の一態様では、前記表示制御手段は、前記表示手段に表示させる各視点画像の表示サイズを、前記レンチキュラーレンズシートに印画される立体画像の印画サイズと同じサイズにするようにしてもよい。

本発明の一態様では、前記レンチキュラーレンズシートのシートタイプを手動により変更するタイプ変更手段を更に備え、前記印画手段は、前記タイプ変更手段によりレンチキュラーレンズシートのシートタイプが変更されると、変更後のレンチキュラーレンズシートに前記立体画像を印画するようにしてもよい。

本発明によれば、入力画像の視差に適した立体画像をレンチキュラーレンズシートに形成することができる。

立体画像印画装置の一例の全体構成を示すブロック図 画像解析部の詳細ブロック図 シート選択の説明に用いる説明図（８視点化） シート選択の説明に用いる説明図（４視点化） 立体画像印画処理の第１実施例の流れを示すフローチャート 視差量頻度情報の説明に用いる説明図 視差量頻度情報の説明に用いる説明図 レンズ間隔及び多視点化の説明に用いる説明図（タイプＡ） レンズ間隔及び多視点化の説明に用いる説明図（タイプＢ） 第１実施形態における確認画像の生成・表示処理の一例を示すフローチャート 立体画像の見え方を模擬表示するための画像処理例の説明に用いる説明図 第１実施形態における確認画像の生成・表示処理の他の例を示すフローチャート 立体画像印画処理の第２実施例の流れを示すフローチャート 立体画像印画処理の第３実施例の流れを示すフローチャート 立体画像の付属情報の一例を示す説明図 立体画像印画処理の第４実施例の流れを示すフローチャート 立体画像印画処理の第５実施例の流れを示すフローチャート 第２実施形態における確認画像の生成・表示処理の一例を示すフローチャート 第２実施形態における確認画像の生成処理の説明に用いる説明図（タイプＡ） 第２実施形態における確認画像の生成処理の説明に用いる説明図（タイプＢ）

以下、添付図面に従って、本発明の実施形態について、詳細に説明する。

＜第１実施形態＞
図１は、第１実施形態における立体画像印画装置の一例の全体構成を示すブロック図である。

図１の立体画像印画装置１０は、画像読取り部１２、付属情報取得部１４、画像解析部１６、画角補正部１８、多視点変換部２０、シート選択部２２、印画イメージ変換部２４、表示部２６、表示変換部２８、表示制御部３０、印画部３２、操作部３４、設定部（印画種別設定部）３６を備えている。

画像読取り部１２（画像入力手段）は、多視点画像からなる立体画像を入力する。多視点画像は、２視点以上の複数の視点から見た画像（複数の視点画像）であり、複数の実視点から撮像した複数の撮像画像でもよいし、複数の仮想視点から見た場合の複数の仮想画像でもよいし、撮像画像と仮想画像との組み合わせでもよい。本例の画像読取り部１２は、立体画像とともに付属情報が記録された画像ファイルを、メモリカードなどの記録媒体から読み取ることで取得する。もっとも画像ファイルの取得態様は限定されず、例えば、通信により取得してもよい。

付属情報取得部１４は、画像読取り部１２を介して入力された立体画像の付属情報を取得する。

画像解析部１６は、画像読取り部１２を介して入力された多視点画像（立体画像）を解析することで、入力した多視点画像の視差の分布に関する情報（以下「視差分布情報」という）を取得する。

本例の画像解析部１６は、図２に示すように、対応点検出部６２、視差量算出部６４、及び視差分布取得部６６を有する。対応点検出部６２は、画像読取り部１２を介して入力された立体画像（本例では２視点画像である）のうち左端の視点画像（本例では左眼画像である）と右端の視点画像（本例では右眼画像である）との間で特徴が一致する対応点を検出する。視差量算出部６４は、対応点検出部６２により検出された対応点から左端の視点画像と右端の視点画像との各対応点（又は各画素）ごとの視差量を算出する。視差分布取得部６６は、視差量算出部６４により算出された各対応点（又は各画素）ごとの視差量に基づいて、立体画像における視差量の分布を示す視差分布情報を算出（取得）する。なお、本例の視差量算出部６４は立体画像全体で視差量を算出するが、立体画像の一部の画素の視差量のみを算出するようにしてもよい。また、複数の画素ごと（画素群ごと）に視差量を算出するようにしてもよい。

画像解析部１６の視差分布取得部６６により算出される視差分布情報（多視点画像の視差量の分布に関する情報）として、視差量頻度情報、最大視差量情報、視差範囲などが挙げられる。視差量頻度情報は、入力された立体画像の視差量のうち近側の視差量閾値を越える視差量の頻度及び遠側の視差量閾値を越える視差量の頻度を含む。最大視差量情報は、入力された立体画像の視差量のうち近側の最大視差量及び遠側の最大視差量を含む。視差範囲は、入力された立体画像の近側の最大視差量と遠側の最大視差量との差（視差量の範囲の大きさ）を示す。

画角補正部１８は、画像読取り部１２を介して入力された立体画像の画角を補正する。この画角補正部１８は、レンチキュラーレンズシート（以下単に「レンズシート」ともいう）に印画部３２により印画する印画用立体画像の視点数を決定する。

画角補正部１８の視点数決定の態様には各種ある。第１に、画像解析部１６（または付属情報取得部１４）により取得された視差分布情報に基づいて、レンズシートに印画する印画用立体画像の視点数を決定する。第２に、後述のシート選択部２２により視差分布情報に基づいてレンズシートのシートタイプが選択される場合に、シート選択部２２により選択されたシートタイプのレンズ間隔に応じて、レンズシートに印画する印画用立体画像の視点数を決定する。即ち、視差分布情報に基づいて間接的に印画用立体画像の視点数を決定してもよい。

多視点変換部２０は、画像読取り部１２を介して入力された多視点画像（立体画像）の視点数と、画角補正部１８により決定された印画用立体画像の視点数とを比較して、入力された多視点画像の視点数の方が少ない場合には、入力された多視点画像から不足分の視点画像（印画用補充視点画像）を生成する。なお、不足分の視点画像は、入力された立体画像を構成する視点画像間に内挿するように生成する場合と、入力された立体画像を構成する視点画像間の外側に外挿するように生成する場合とがある。

シート選択部２２は、画像解析部１６又は付属情報取得部１４により取得された視差分布情報に基づいて、レンズ間隔が異なる複数のシートタイプのレンズシートから１つのレンズシートを選択する。

シート選択部２２のシート選択態様には各種ある。

第１に、画角補正部１８にて視差分布情報に基づいて印画用立体画像の視点数が決定される場合に、画角補正部１８により決定された印画用立体画像の視点数に基づいてレンズシートを選択する機能を有する。シート選択部２２は、印画部３２の解像度が一定（例えば、印画部３２の最高解像度）である場合、視点数に比例したレンズ間隔のレンズシートを選択する。印画用立体画像の視点数に応じて印画の解像度を変更する場合には、該視点数と印画の解像度とに応じたレンズ間隔のレンズシートを選択する。

第２に、視差分布情報に基づいてレンズシートを選択する機能を有する。本例のシート選択部２２は、近側の視差量閾値を越える視差量の頻度が所定の閾値（近側の頻度閾値）を越える場合、又は遠側の視差量閾値を越える視差量の頻度が所定の閾値（遠側の頻度閾値）を越える場合には、視差量の頻度がその頻度閾値以内である場合に比べて、レンズ間隔が大きいシートタイプのレンズシートを選択する機能を有する。また、本例のシート選択部２２は、近側の最大視差量、又は遠側の最大視差量が所定の閾値（最大視差量閾値）を越える場合には、その閾値以内である場合に比べてレンズ間隔が大きいシートタイプのレンズシートを選択する機能を有する。また、本例のシート選択部２２は、近側の最大視差量と遠側の最大視差量との差を示す視差範囲が所定の閾値（視差範囲閾値）を越える場合には、視差範囲が視差範囲閾値以内である場合に比べて、レンズ間隔が大きいシートタイプのレンチキュラーレンズシートを選択する機能を有する。

本例では、近距離撮影の立体画像の場合には図３Ａに示すシートタイプＡのレンズシートを選択し、中〜遠距離撮影の立体画像の場合には図３Ｂに示すシートタイプＢのレンズシートを選択する。シートタイプＡでは、レンズ間隔（ピッチ）が５０ＬＰＩ（Ｌｉｎｅ ｐｅｒ ｉｎｃｈ）、８視点である。シートタイプＢでは、レンズ間隔（ピッチ）が１００ＬＰＩ、４視点である。もっとも、シートタイプの数やレンズ間隔は特に限定されない。

表示部２６は、平面画像を表示する表示デバイス（例えば、液晶表示デバイス）によって構成されている。

表示変換部２８は、シート選択部２２により選択されたレンズシートのレンズ間隔に応じて、そのレンズシートに印画する印画用視点画像の解像度を変換し、表示用の立体画像を生成する。表示変換部２８は、具体的には、シート選択部２２によりレンズ間隔の大きいレンズシートが選択されると、レンズ間隔の小さいレンズシートが選択された場合に比べて、各印画用視点画像の解像度を低下させる。

また、表示変換部２８は、シート選択部２２により選択されたレンズシートのレンズ間隔に応じて、各表示用視点画像に対して歪み処理を行う。

表示変換部２８は、例えば、シート選択部２２により選択されたレンズシートのレンズ間隔及びレンズ形状に応じて、各表示用視点画像のレンチキュラーレンズの山に印画される部分は明るく、谷に印画される部分は暗くなるように、表示用視点画像に対して画像処理を行う。各表示用視点画像に、レンズ間隔に応じた縦筋像を挿入するようにしてもよい。

表示制御部３０は、表示変換部２８の画像処理により印画用視点画像から生成された表示用視点画像（確認画像）を、表示部２６に順番にかつ繰り返し表示させることにより、表示部２６に動画表示させる。

また、表示制御部３０は、表示部２６により表示を行う際に、各表示用視点画像の表示サイズを、レンズシートに印画される印画用立体画像の印画サイズと同じサイズにする。

印画部３２は、シート選択部２２により選択されたレンズシートに、画像読取り部１２により入力された多視点画像を含む印画用立体画像を印画する。

本実施形態の印画部３２は、多視点変換部２０により不足分の視点画像（印画用補充視点画像）が生成された場合には、画像読取り部１２により入力された多視点画像と多視点変換部２０により生成された印画用補充視点画像とからなる印画用立体画像をレンズシートに印画する。本例の印画部３２は、選択されたレンズシートに印画部３２の最高解像度で印画用立体画像を印画するものであって、選択されたレンズシートのレンズ間隔に比例した視点数の印画用視点画像を印画する。

操作部３４は、操作者の指示入力を受け付ける。

設定部３６（タイプ変更手段）は、シート選択部２２により選択されたレンズシートのシートタイプを、操作部３４で受け付けた指示入力に従って変更する。設定部３６によりレンズシートのシートタイプが変更されると、印画部３２は、変更後のレンズシートに、入力した印画用立体画像を印画する。

図４は、立体画像印画処理の流れの一例（第１実施例）を示すフローチャートである。

まず、画像読取り部１２により、多視点画像（２視点以上の視点画像）からなる立体画像とともに付属情報が記録された画像ファイルを、記録媒体などから読み取ることで取得する（ステップＳ２）。本例では、２視点の視点画像（左眼画像及び右眼画像）からなる立体画像を入力する。

次に、画像解析部１６の対応点検出部６２により、入力された多視点画像（立体画像）のうちの左端の視点画像（本例では左眼画像）と右端の視点画像（本例では右眼画像）との間で特徴が一致する対応点を検出する（ステップＳ４）。

次に、画像解析部１６の視差量算出部６４により、入力された多視点画像の視差分布情報を取得する（ステップＳ５）。このステップＳ５では、ステップＳ４で検出された対応点に基づいて左端の視点画像と右端の視点画像との各対応点（または各画素）ごとの視差量を算出し、算出された視差量に基づいて立体画像の視差分布情報を算出する。

本例では、視差分布情報として、少なくとも図５Ａ及び図５Ｂに示すような視差量頻度情報を算出する。図５Ａ及び図５Ｂ中、視差量は符号付きであり、Ｔｆは近側の視差量閾値、Ｔｒは遠側の視差量閾値である。視差量は、符号が正の場合に、近側（視差量ゼロの点より近い前景側）における被写体の立体像の奧行き方向の位置を示し、符号が負の場合に、遠側（視差量ゼロの点より遠い背景側）における被写体の立体像の奧行き方向の位置を示す。本例の視差分布取得部６６は、近側の「Σ（Ｔｆを越える頻度）」及び遠側の「Σ（Ｔｒを越える頻度）」を算出する。頻度の総和に相当する領域を図５Ａ及び図５Ｂでは斜線で示した。「Σ（Ｔｆを越える頻度）」は、近側の視差量閾値Ｔｆを越える視差量（つまり近側であってＴｆよりも絶対値が大きな視差量）の頻度の総和である。「Σ（Ｔｒを越える頻度）」は、遠側の視差量閾値Ｔｒを超える視差量（つまり遠側であってＴｒよりも絶対値が大きな視差量）の頻度の総和である。以下では、「Σ（Ｔｆを越える頻度）」を「ΣＴｆ」と称し、「Σ（Ｔｒを越える頻度）」を「ΣＴｒ」と称する。

次に、ステップＳ５にて算出された視差分布情報に基づいて、レンズ間隔が異なる複数のシートタイプのレンズシートから１つのレンズシートを選択する（ステップＳ６〜Ｓ１４）。

ステップＳ６ではΣＴｆが頻度閾値Ｖ１を越えるか否かを判定し、ステップＳ８ではΣＴｒが頻度閾値Ｖ２を越えるか否かを判定する。

ステップＳ６にてΣＴｆが頻度閾値Ｖ１を越える場合、又はステップＳ８にてΣＴｒが頻度閾値Ｖ２を越える場合には、レンズ間隔（ピッチ）が大きいシートタイプＡのレンズシートを選択する（ステップＳ１２）。その一方で、ΣＴｆが頻度閾値Ｖ１以下であり、且つ、ΣＴｒが頻度閾値Ｖ２以下である場合には、レンズ間隔（ピッチ）が小さいシートタイプＢのレンズシートを選択する（ステップＳ１４）。

本例では、シートタイプＡのレンズシートを選択した場合には、印画用立体画像の視点数を「８」に設定し（ステップＳ１６）、シートタイプＢのレンズシートを選択した場合には、印画用立体画像の視点数を「４」に設定する（ステップＳ１８）。即ち、印画用立体画像の視点数は、レンズシートのレンズ間隔に比例した値に設定される。

なお、まず、視差の分布に関する情報に基づいてシート選択を行い、次に、選択されたレンズシートのレンズ間隔に基づいて印画用立体画像の視点数を決定する例について説明したが、この順序は逆でもよい。即ち、まず、視差の分布に関する情報に基づいて印画用立体画像の視点数を決定し、次に、決定された視点数に基づいてシート選択を行ってもよい。

次に、多視点変換部２０により、ステップＳ２で入力された立体画像の多視点化を行う。即ち、立体画像の視点数が、ステップＳ６〜Ｓ１４で選択されたレンズシートに印画する印画用立体画像の視点数よりも少ない場合には、入力した立体画像から不足分の視点画像（印画用補充視点画像）を生成する（ステップＳ２０）。例えば、２視点画像が入力されて、図６Ａに示すように、８視点画像を印画する場合には不足分の６視点を補間（内挿又は外挿）して６視点の印画用補充視点画像を生成することで合計８視点の印画用立体画像を得る。図６Ｂに示すように、４視点画像を印画する場合には不足分の２視点を補間（内挿又は外挿）して２視点の印画用補充視点画像を生成することで合計４視点の印画用立体画像を得る。

以上のように、近距離撮影の場合には、視差量が過大となる可能性があるため、通常よりもレンズ間隔の大きなレンズシート（本例ではシートタイプＡ）が選択されて、より多くの視点数（本例では８視点）の印画用立体画像が生成される。一方、中〜遠距離の場合には、視差量が過大となる可能性が低いため、通常のレンズシート（本例ではシートタイプＢ）が選択されて、より少ない視点数（本例では４視点）の印画用立体画像が生成される。

次に、表示制御部３０により、表示用視点画像（確認画像）を生成して表示部２６に表示させる（ステップＳ２２）。操作部３４により操作者の確認入力を受け付けたか否かを判定し（ステップＳ２４）、選択されたレンズシートのシートタイプを手動により変更する場合には、レンズシートのシートタイプを操作部３４で受け付けたシートタイプに変更し（ステップＳ２６）、ステップＳ２２に進む。

ステップＳ２４で操作者の確認入力を受け付けた場合には、ステップＳ６〜Ｓ１４で選択されたレンズシートに多視点画像からなる印画用立体画像を印画する（ステップＳ２８）。即ち、ステップＳ２６でシートタイプが変更されなかった場合には、ステップＳ６〜Ｓ１４でシート選択部２２により選択されたレンズシートに、印画用立体画像を印画し、ステップＳ２６でシートタイプが手動で変更されると、変更後のレンズシートに、印画用立体画像を印画する。

図７は、第１実施形態における確認画像の生成・表示処理（図４のステップＳ２２）の一例を示すフローチャートである。確認画像は、レンズシートでの立体画像の見え方を模擬的に確認するために表示部２６に表示される画像である。確認画像は、表示変換部２８における画像処理により、印画用立体画像を平面画像からなる動画像に変換処理して生成される。この変換処理は、印画用立体画像を構成する多視点画像を平面表示で確認するための動画化処理と、シートタイプが異なることによる見え方の違いを模擬するための模擬変換処理を含む。

まず、表示変換部２８により、シートタイプに基づいて、ステップＳ１６〜Ｓ１８で設定した印画用立体画像の視点数を取得する（ステップＳ３０）。本例では、シートタイプがＢであれば上記視点数を「４」とし、シートタイプがＡであれば上記視点数を「８」とする。

次に、表示制御部３０により、各表示用視点画像の表示時間ｔを設定する（ステップＳ３２）。動画化時の表示繰り返し周期を２４０ｍｓｅｃとした場合、４視点であれば表示時間ｔを６０ｍｓｅｃとし、８視点であれば表示時間ｔを３０ｍｓｅｃに設定する。これにより、レンズ間隔が大きいシートタイプＡでは、レンズ間隔が小さいシートタイプＢよりも各表示用視点画像の表示時間を短くして、全視点の表示用視点画像の表示に要する表示時間を同じにする。

次に、表示変換部２８により、印画用視点画像に対して所定の画像処理を施して、表示用視点画像を生成する。ステップＳ６〜Ｓ１４にて選択されたレンズシートのレンズ間隔に応じて、各印画用視点画像に対して歪み処理を施す（ステップＳ３４）。Ｐ（ｘ，ｙ）を表示用画像の座標（ｘ，ｙ）の画素、Ｍ（ｎ，ｘ，ｙ）をシートタイプｎごとの透過率マスクとした場合、Ｐ（ｘ，ｙ）＝Ｐ（ｘ，ｙ）×Ｍ（ｎ，ｘ，ｙ）を演算する。例えば、図８に示すように、選択されたレンズシートのレンズ間隔及びレンズ形状に応じて、透過率マスクを用いて、各表示用視点画像のレンチキュラーレンズの山の部分は明るく、谷の部分は暗くなるように画像処理（透過率変換）を行う。これにより、レンチキュラーレンズの谷の部分を視覚的に確認できるようにする。即ち、レンチキュラーレンズを介した立体画像の見え方を表示部２６で模擬表示するための画像処理（歪処理）を施している。

次に、表示制御部３０により、歪み処理により生成された各表示用視点画像を、表示部２６に順番にかつ繰り返し表示させることにより、動画表示させる（ステップＳ３６）。例えば、図６Ａに示したシートタイプＡのレンズシートの場合、第１視点〜第８視点の順番に、一視点画像あたり３０ｍｓｅｃで切り替えながら表示した後、第７視点〜第１視点の順番に一視点画像あたり３０ｍｓｅｃで切り替えながら表示し、その後、同様に繰り返して表示する。図６Ｂに示したシートタイプＢのレンズシートの場合、第１視点〜第４視点の順番に、一視点画像あたり６０ｍｓｅｃで切り替えながら表示した後、第３視点〜第１視点の順番に一視点画像あたり６０ｍｓｅｃで切り替えながら表示し、その後、同様に繰り返して表示する。

図９は、第１実施形態における確認画像の生成・表示処理（図４のステップＳ２２）のほかの例を示すフローチャートである。

ステップＳ４０〜４２は、図７のステップＳ３０〜３２と同様である。

次に、表示変換部２８により、印画用視点画像に対して所定の画像処理を施して、表示用視点画像を生成する。まず、ステップＳ６〜Ｓ１４にて選択されたレンズシートのレンズ間隔に応じて、そのレンズシートに印画する各視点画像の解像度を変換する（ステップＳ４４）。例えば、４視点であれば水平画素数を１２８０、８視点であれば水平画素数を６４０に設定する。これにより、レンズ間隔の大きいシートタイプＡが選択された場合、レンズ間隔の小さいシートタイプＢが選択された場合に比べて、各視点画像の解像度を低下させる。

次に、表示変換部２８により、最大視点（本例では８視点）の場合には、表示部２６の表示サイズに合わせて各視点画像を拡大する（ステップＳ４６）。即ち、表示部２６における表示サイズが同一となるように、各視点画像をリサイズする。

次に、表示変換部２８により、表示部２６に表示させる各視点画像の表示サイズを、レンズシートに印画される立体画像の印画サイズ（プリント出力サイズ）と同じサイズにリサイズし、表示部２６に表示する（ステップＳ４８）。即ち、表示部２６に表示される立体画像の表示サイズがレンズシートに印画される立体画像のサイズと同じサイズとなるように多視点画像をリサイズする。これにより、表示用視点画像が生成される。そして、表示制御部３０により、各表示用視点画像を表示部２６に順番にかつ繰り返し表示させることにより、動画表示させる。

なお、レンズシートを視差量頻度情報に応じてシート選択する場合（第１実施例）を例に説明したが、本発明はこのような場合に限定されない。以下では、最大視差量情報に応じてシート選択する場合（第２実施例）、及び、視差範囲に応じてシート選択する場合（第３実施例）について、説明する。

図１０は、第２実施例のシート選択を行う立体画像印画処理の流れの一例を示すフローチャートである。

ステップＳ２〜Ｓ５は、図４の第１実施例と同様である。本例では、ステップＳ５にて、視差分布情報として、少なくとも最大視差量情報が算出される。

第２実施例では、ステップＳ６ｍにて近側の最大視差量（図５Ａ及び図５Ｂで前景側の視差量の最大値）が所定の閾値Ｍ１を越える場合、又はステップＳ８ｍにて遠側の最大視差量（図５Ａ及び図５Ｂで背景側の視差量の最大値）が所定の閾値Ｍ２を越える場合には、レンズ間隔（ピッチ）が大きいシートタイプＡのレンズシートを選択する（ステップＳ１２）。その一方で、近側の最大視差量がＭ１以下であり、且つ、遠側の最大視差量が閾値Ｍ２以下である場合には、レンズ間隔（ピッチ）が小さいシートタイプＢのレンズシートを選択する（ステップＳ１４）。ステップＳ１６〜Ｓ２８は、図４の第１実施例と同様である。

図１１は、第３実施例のシート選択を行う立体画像印画処理の流れの一例を示すフローチャートである。

ステップＳ２〜Ｓ５は、図４の第１実施例と同様である。本例では、ステップＳ５にて、視差分布情報として、少なくとも視差範囲が算出される。

第３実施例では、ステップＳ６ｒにて立体画像の近側の最大視差量と遠側の最大視差量との差を示す視差範囲（図５Ａ及び図５ＢのＭｆｒ）が所定の閾値Ｒを越える場合には、レンズ間隔（ピッチ）が大きいシートタイプＡのレンズシートを選択する（ステップＳ１２）。その一方で、視差範囲Ｍｆｒが閾値Ｒ以下である場合には、レンズ間隔（ピッチ）が小さいシートタイプＢのレンズシートを選択する
（ステップＳ１４）。ステップＳ１６〜Ｓ２８は、図４の第１実施例と同様である。

以下では、画像ファイルの付属情報から最大視差量情報を取得して、その最大視差量情報その応じてシート選択する場合（第４実施例）、及び、画像ファイルの付属情報から視差範囲を取得して、その視差範囲に応じてシート選択する場合（第５実施例）について、説明する。

図１２は、視点１、２の画像（左眼画像及び右眼画像）からなる立体画像と、視点１の画像の付属情報（ヘッダ１）及び視点２の画像の付属情報（ヘッダ２）とを有する画像ファイルの一例を示す。画像読取り部１２により図１２の画像ファイル５０が取得されると、付属情報取得部１４により付属情報内の視差量情報が取得される。本例の視差量情報には、視点１の画像と視点２の画像との視差分布に関する情報（視差分布情報）が含まれている。

図１３は、第４実施例のシート選択を行う立体画像印画処理の流れの一例を示すフローチャートである。

まず、画像読取り部１２により、図１２の画像ファイルを、記録媒体などから読み取ることで取得する（ステップＳ１０２）。

次に、付属情報取得部１４により、画像ファイルから付属情報（ヘッダ部）を取得する（ステップＳ１０４）。本例では、ステップＳ１０２にて、付属情報から、少なくとも、近側の最大視差量及び遠側の最大視差量が取得される。

第４実施例では、ステップＳ６ｍにて近側の最大視差量（図５Ａ及び図５Ｂで前景側の視差量の最大値）が所定の閾値Ｍ１を越える場合、又はステップＳ８ｍにて遠側の最大視差量（図５Ａ及び図５Ｂで背景側の視差量の最大値）が所定の閾値Ｍ２を越える場合には、レンズ間隔（ピッチ）が大きいシートタイプＡのレンズシートを選択する（ステップＳ１２）。その一方で、近側の最大視差量がＭ１以下であり、且つ、遠側の最大視差量が閾値Ｍ２以下である場合には、レンズ間隔（ピッチ）が小さいシートタイプＢのレンズシートを選択する（ステップＳ１４）。ステップＳ１６〜Ｓ２８は、図４の第１実施例と同様である。

図１４は、第５実施例のシート選択を行う立体画像印画処理の流れの一例を示すフローチャートである。

ステップＳ１０２〜Ｓ１０４は、図１３の第４実施例と同様である。本例では、ステップＳ１０４にて、付属情報から、少なくとも、近側の最大視差量と遠側の最大視差量との差を示す視差範囲が取得される。

第５実施例では、ステップＳ６ｒにて視差範囲（図５Ａ及び図５ＢのＭｆｒ）が所定の閾値Ｒを越える場合には、レンズ間隔（ピッチ）が大きいシートタイプＡのレンズシートを選択する（ステップＳ１２）。その一方で、視差範囲Ｍｆｒが閾値Ｒ以下である場合には、レンズ間隔（ピッチ）が小さいシートタイプＢのレンズシートを選択する（ステップＳ１４）。ステップＳ１６〜Ｓ２８は、図４の第１実施例と同様である。

＜第２実施形態＞
次に、第２実施形態における立体画像印画装置について説明する。以下では、第１実施形態と異なる点のみ説明する。

本実施形態の立体画像印画装置の全体構成は、図１を用いて説明した第１実施形態の立体画像印画装置と同様の構成要素を備えている。ただし、本実施形態における表示変換部２８は、シート選択部２２により選択されたレンズシートに印画される複数の視点数ｎ（ｎは３以上の整数）の印画用立体画像のうちの隣接する２視点の印画用視点画像（一視点差分の２つの視点画像）から、仮想視点の視点画像を生成する。また、本実施形態の表示変換部２８は、前記２視点の印画用視点画像及び前記生成された仮想視点の視点画像からなる多視点画像の解像度を変換し又は歪み処理する画像処理を行うことにより、表示用立体画像を生成する。表示制御部３０は、表示変換部２８で画像処理・生成された各表示用視点画像を表示部２６に順番にかつ繰り返し表示させることにより動画表示させる。上記のように、仮想視点の視点画像を挿入することにより、ユーザが観察する動画の動きが滑らかになる。

図１５は、第２実施形態における表示用立体画像（確認画像）の生成・表示処理（図４のステップＳ２２）の一例を示すフローチャートである。

ステップＳ５０は、図７のステップＳ３０と同様である。

次に、表示変換部２８により、図４のステップＳ６〜Ｓ１４にて選択されたレンズシートに印画される印画用立体画像のうちの隣接する２視点の印画用視点画像から仮想視点の画像を生成する（ステップＳ５２）。

例えば、図１６Ａに示すシートタイプＡの場合には、レンズシートに印画される８視点の印画用立体画像から、追加の５６視点の仮想視点画像を生成する。８視点の印画用視点画像から５６視点の仮想視点画像を生成する際には、例えば、第１視点と第２視点、第２視点と第３視点、…、第７視点と第８視点の視点画像の各組（合計７組）から、それぞれ８視点ずつ仮想視点画像を生成する。これにより、合計６４視点の表示用視点画像を生成することができる。例えば、図１６Ｂに示すシートタイプＢの場合には、レンズシートに印画される４視点の印画用立体画像から、追加の２８視点の仮想視点画像を生成する。４視点の印画用視点画像から２８視点の仮想視点画像を生成する際には、例えば、第１視点と第２視点、第２視点と第３視点、第３視点と第４視点の視点画像の各組（合計３組）から、それぞれ８視点ずつ仮想視点画像を生成し、第１視点および第４視点の視点画像に対してそれぞれ２視点ずつ外挿する。これにより、合計３２視点の表示用視点画像を生成することができる。なお、視点画像の挿入の仕方（内挿および外挿、挿入視点数）は上記に限定されるものではない。

次に、表示制御部３０により、各表示用視点画像の表示時間ｔを設定する（ステップＳ５４）。例えば、２視点分の動画化時の表示繰り返し周期を２４０ｍｓｅｃとした場合、表示用立体画像が６４視点の場合（印画用立体画像が８視点の場合）、視点画像１枚当たりの表示時間は、ｔ＝３．７５ｍｓｅｃに設定される。一方、表示用立体画像が３２視点の場合（印画用立体画像が４視点の場合）、視点画像１枚当たりの表示時間は、ｔ＝７．５ｍｓｅｃに設定される。

ステップＳ５６は、図７のステップＳ３４と同様である。例えば、シートタイプの場合、そのレンズ間隔（例えば５０ＬＰＩ）に応じて、印画用視点画像と、該印画用視点画像から生成された仮想視点の視点画像からなる表示用立体画像に対して歪み処理を施す。これにより、表示用立体画像が生成される。

次に、ステップＳ５６により画像処理された各視点画像を、表示部２６に順番にかつ繰り返し表示させることにより動画表示させる（ステップＳ５８）。

例えば、図１６Ａに示すようにシートタイプＡに対応する確認画像表示の場合、第１視点、（第１視点と第２視点から生成した仮想視点画像８枚）、第２視点、（第２視点と第３視点から生成した仮想視点画像８枚）、第３視点、（第３視点と第４視点から生成した仮想視点画像８枚）、第４視点、（第４視点と第５視点から生成した仮想視点画像８枚）、第５視点、（第５視点と第６視点から生成した仮想視点画像８枚）、第６視点、（第６視点と第７視点から生成した仮想視点画像８枚）、第７視点、（第７視点と第８視点から生成した仮想視点画像８枚）、第８視点の順番に表示した後、上記と逆の順番で折り返すように表示し、以後、同様な表示を繰り返す。例えば、図１６Ｂに示すようにシートタイプＢに対応する確認画像表示の場合、（第１視点から外挿した仮想視点画像２枚）、第１視点、（第１視点と第２視点から生成した仮想視点画像８枚）、第２視点、（第２視点と第３視点から生成した仮想視点画像８枚）、第３視点、（第３視点と第４視点から生成した仮想視点画像８枚）、第４視点、（第４視点から外挿した仮想視点画像２枚）の順番に表示した後、上記と逆の順番で折り返すように表示し、以後、同様な表示を繰り返す。

なお、図１５では、レンズ間隔に応じて歪処理を行う場合を例に説明したが、本発明はこのような場合に限定されない。第１実施形態にて説明したように、レンズ間隔に応じて多視点画像の解像度を変換するようにしてもよい。

なお、前述の第１実施形態及び第２実施形態にて、レンズシートの選択の態様は各種ある。選択したシートタイプのレンズシート自体を直接選択する態様のほか、例えば、選択したシートタイプのレンズシートを収納したカセット等の収容体を選択する態様、選択したシートタイプのレンズシートをプリントするプリンタ（印画手段）を選択する態様などを適用することが可能である。

また、輻輳点（クロスポイント）の近側及び遠側の両方の視差量に基づいてシート選択する場合を例に説明したが、本発明はこのような場合に特に限定されない。例えば、図４のフローチャートにおいて、Ｓ６（近側の頻度判定）又はＳ８（遠側の頻度判定）のうちいずれか一方のみ行うようにしてもよい。また、例えば、図１０、図１３のフローチャートにおいて、Ｓ６ｍ（近側の最大視差量判定）又はＳ８ｍ（遠側の最大視差量判定）のうちいずれか一方のみ行うようにしてもよい。

なお、本発明において、入力される立体画像（多視点画像）の視点数は２視点に限定されるものでない。例えば、３視点の入力多視点画像（視点番号＝１，２，３）から８視点の印画用視点画像を生成する場合には、まず、入力視点画像（視点番号＝１）と入力視点画像（視点番号＝２）の間に３視点分の仮想視点画像を挿入し、入力視点画像（視点番号＝２）と入力視点画像（視点番号＝３）の間に３視点分の仮想視点画像を挿入する。これにより、合計９視点分の視点画像（視点番号＝１，Ａ１，Ａ２，Ａ３，２，Ｂ１，Ｂ２，Ｂ３，３）を得ることができる。次に、上記９視点分の視点画像のうち、片側８視点分（例えば、視点番号＝１，Ａ１，Ａ２，Ａ３，２，Ｂ１，Ｂ２，Ｂ３の８視点、視点番号＝Ａ１，Ａ２，Ａ３，２，Ｂ１，Ｂ２，Ｂ３，３の８視点）を選択することにより、８視点の印画用視点画像を得ることができる。

上記のように、印画用視点画像を内挿により生成する場合には、まず、入力される視点画像の間にそれぞれ略同数の仮想視点画像を挿入することにより、印画用視点画像の視点数以上で、印画用視点画像の視点数に最も近い数の視点画像を生成する。次に、内挿により得られた視点画像の視点数が、印画用視点画像の視点数より大きい場合には、内挿により得られた視点画像から、上記視点数分の隣り合う視点画像を選択する。これにより、上記視点数分の印画用視点画像を得ることができる。

前述の第１及び第２実施形態に記載したように、課題を解決するための手段の欄に記載の装置発明のほか、以下の方法発明が提供される。

２視点以上の多視点画像を入力する画像入力ステップと、前記入力された多視点画像の視差の分布に関する情報を取得する情報取得ステップと、前記取得された視差の分布に関する情報に基づいて、レンチキュラーレンズシートに印画する立体画像の視点数を決定する視点数決定ステップと、前記画像入力ステップにて入力された多視点画像の視点数と前記視点数決定ステップにて決定された視点数とを比較して、前記入力された多視点画像の視点数の方が少ない場合には、前記入力された多視点画像から不足分の視点画像を生成する視点画像生成ステップと、前記画像入力ステップにて入力された多視点画像と前記視点画像生成ステップにて生成された視点画像とからなる立体画像をレンチキュラーレンズシートに印画する印画ステップとを備える第１の方法発明が提供される。

前述の第１の方法発明の一態様では、前記情報取得ステップでは、前記入力された多視点画像の視差量のうちの近側の第１の閾値を越える視差量の頻度、又は遠側の第２の閾値を越える視差量の頻度のうちの少なくとも一方の頻度を示す情報を取得し、前記視点数決定ステップでは、前記取得された第１の閾値を越える視差量の頻度が第３の閾値を越える場合、又は前記取得された第２の閾値を越える視差量の頻度が第４の閾値を越える場合には、前記第３の閾値又は第４の閾値以内の場合に比べて、前記レンチキュラーレンズシートに印画する立体画像の視点数を多くする。

前述の第１の方法発明の一態様では、前記情報取得ステップでは、前記入力された多視点画像の視差量のうちの近側及び遠側の最大視差量のうちの少なくとも一方の最大視差量を示す情報を取得し、前記視点数決定ステップでは、前記取得された最大視差量が所定の閾値を越える場合には、所定の閾値以内の場合に比べて、前記レンチキュラーレンズシートに印画する立体画像の視点数を多くする。

前述の第１の方法発明の一態様では、前記情報取得ステップでは、前記入力された多視点画像の近側の最大視差量と遠側の最大視差量との差を示す視差範囲を取得し、前記視点数決定ステップでは、前記取得された視差範囲が所定の閾値を越える場合には、所定の閾値以内の場合に比べて、前記レンチキュラーレンズシートに印画する立体画像の視点数を多くする。

前述の第１の方法発明の一態様は、レンズ間隔が異なる複数のシートタイプのレンチキュラーレンズシートから１つのレンチキュラーレンズシートを選択するシート選択ステップであって、前記視点数決定ステップにて決定された視点数に基づいて１つのレンチキュラーレンズシートを選択するシート選択ステップを更に備える。

また、２視点以上の多視点画像からなる立体画像を入力する画像入力ステップと、前記入力された多視点画像の視差の分布に関する情報を取得する情報取得ステップと、レンズ間隔が異なる複数のシートタイプのレンチキュラーレンズシートから１つのレンチキュラーレンズシートを選択するシート選択ステップであって、前記情報取得ステップで取得した視差の分布に関する情報に基づいて１つのレンチキュラーレンズシートを選択するシート選択ステップと、前記シート選択ステップにて選択されたレンチキュラーレンズシートに前記入力された多視点画像を含む立体画像を印画する印画ステップとを含む第２の方法発明が提供される。

前述の第２の方法発明の一態様では、前記情報取得ステップでは、前記入力された立体画像の視差量のうちの近側の第１の閾値を越える視差量の頻度、又は遠側の第２の閾値を越える視差量の頻度のうちの少なくとも一方の頻度を示す情報を取得し、前記シート選択ステップでは、前記取得された第１の閾値を越える視差量の頻度が第３の閾値を越える場合、又は前記取得された第２の閾値を越える視差量の頻度が第４の閾値を越える場合には、前記第３の閾値又は第４の閾値以内の場合に比べてレンズ間隔が大きいシートタイプのレンチキュラーレンズシートを選択する。

前述の第２の方法発明の一態様では、前記情報取得ステップでは、前記入力された多視点画像の視差量のうちの近側及び遠側の最大視差量のうちの少なくとも一方の最大視差量を示す情報を取得し、前記シート選択ステップでは、前記取得された最大視差量が所定の閾値を越える場合には、所定の閾値以内の場合に比べてレンズ間隔が大きいシートタイプのレンチキュラーレンズシートを選択する。

前述の第２の方法発明の一態様では、前記情報取得ステップでは、前記入力された多視点画像の近側の最大視差量と遠側の最大視差量との差を示す視差範囲を取得し、前記シート選択ステップでは、前記取得された視差範囲が所定の閾値を越える場合には、所定の閾値以内の場合に比べてレンズ間隔が大きいシートタイプのレンチキュラーレンズシートを選択する。

前述の第２の方法発明の一態様は、前記入力された多視点画像の視点数が、前記選択されたレンチキュラーレンズシートに印画する立体画像の視点数よりも少ない場合には、前記入力された多視点画像から不足分の視点画像を生成する視点画像生成ステップを更に含む。

前述の第１及び第２の方法発明の一態様では、前記情報取得ステップは、前記入力された多視点画像のうちの左端の視点画像と右端の視点画像との特徴が一致する対応点を検出する対応点検出ステップと、前記対応点検出ステップにより検出された対応点から左端の視点画像と右端の視点画像との視差量を算出する視差量算出ステップとを有し、前記視差量算出ステップにより算出された視差量に基づいて前記入力された多視点画像の視差量の大きさに関する情報を取得する。

前述の第１及び第２の方法発明の一態様では、前記画像入力ステップでは、前記多視点画像とともに付属情報が記録された画像ファイルを取得し、前記情報取得ステップでは、前記画像ファイルの付属情報から前記視差の分布に関する情報を取得する。

前述の第１及び第２の方法発明の一態様では、前記印画ステップは、前記選択されたレンチキュラーレンズシートに該印画ステップの最高解像度で立体画像を印画するものであって、前記選択されたレンチキュラーレンズシートのレンズ間隔に比例した視点数の立体画像を印画する。

前述の第１及び第２の方法発明の一態様は、前記シート選択ステップにて選択されたレンチキュラーレンズシートのレンズ間隔に応じて該レンチキュラーレンズシートに印画する立体画像の解像度を変換し、又は各視点画像を歪み処理する画像処理ステップと、前記画像処理ステップにより処理された各視点画像を、平面画像を表示する表示手段に順番にかつ繰り返し表示させることにより動画表示させる表示制御ステップとを更に含む。

前述の第１及び第２の方法発明の一態様は、前記シート選択ステップにて選択されたレンチキュラーレンズシートに印画される複数の視点数ｎ（ｎは３以上の整数）の多視点画像のうちの隣接する２視点画像から仮想視点の画像を生成するステップと、前記２視点画像及び前記生成された仮想視点の視点画像からなる表示用の立体画像における各視点画像の解像度を変換し、又は各視点画像を歪み処理する画像処理ステップと、前記画像処理ステップにて処理された各視点画像を平面画像を表示する表示手段に順番にかつ繰り返し表示させることにより動画表示させる表示制御ステップとを更に含む。

前述の第１及び第２の方法発明の一態様では、前記画像処理ステップでは、前記シート選択ステップにより選択されたレンチキュラーレンズシートのレンズ間隔及びレンズ形状に応じて、各視点画像のレンチキュラーレンズの山の部分は明るく、谷の部分は暗くなるように各視点画像を画像処理する。

前述の第１及び第２の方法発明の一態様では、前記画像処理ステップでは、前記シート選択ステップによりレンズ間隔の大きいレンチキュラーレンズシートが選択されると、レンズ間隔の小さいレンチキュラーレンズシートが選択された場合に比べて各視点画像の解像度を低下させる。

前述の第１及び第２の方法発明の一態様では、前記表示制御ステップでは、前記表示手段に表示させる各視点画像の表示サイズを、前記レンチキュラーレンズシートに印画される立体画像の印画サイズと同じサイズにする。

前述の第１及び第２の方法発明の一態様は、前記レンチキュラーレンズシートのシートタイプを手動により変更するタイプ変更ステップを更に含み、前記印画ステップは、前記タイプ変更ステップによりレンチキュラーレンズシートのシートタイプが変更されると、変更後のレンチキュラーレンズシートに前記入力した立体画像を印画する。

本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。

１２…画像読取り部、１４…付属情報取得部、１６…画像解析部、１８…画角補正部、２０…多視点変換部、２２…シート選択部、２４…印画イメージ変換部、２６…表示部、２８…表示変換部、３０…表示制御部、３２…印画部、３４…操作部、３６…設定部（印画種別設定部）

Claims (28)

1. ２視点以上の多視点画像を入力する画像入力手段と、
   前記入力された多視点画像の視差の分布に関する情報を取得する情報取得手段であって、前記入力された多視点画像の視差量のうちの近側の第１の閾値を越える視差量の頻度、又は遠側の第２の閾値を越える視差量の頻度のうちの少なくとも一方の頻度を示す情報を取得する情報取得手段と、
   前記情報取得手段により取得された視差の分布に関する情報に基づいて、レンチキュラーレンズシートに印画する立体画像の視点数を決定する視点数決定手段であって、前記取得された第１の閾値を越える視差量の頻度が第３の閾値を越える場合、又は前記取得された第２の閾値を越える視差量の頻度が第４の閾値を越える場合には、前記取得された第１の閾値を越える視差量の頻度が前記第３の閾値以内であり、前記取得された第２の閾値を越える視差量の頻度が前記第４の閾値以内の場合に比べて、前記レンチキュラーレンズシートに印画する立体画像の視点数を多くする視点数決定手段と、
   前記画像入力手段を介して入力された多視点画像の視点数と前記視点数決定手段により決定された視点数とを比較する比較手段と、
   前記画像入力手段を介して入力された多視点画像の視点数が、前記レンチキュラーレンズシートに印画する立体画像の視点数よりも少ない場合にのみ、前記入力された多視点画像から不足分の視点画像を生成する視点画像生成手段と、
   を備える視点画像生成装置。
2. ２視点以上の多視点画像を入力する画像入力手段と、
   前記入力された多視点画像の視差の分布に関する情報を取得する情報取得手段であって、前記入力された多視点画像の視差量のうちの近側及び遠側の最大視差量の少なくとも一方の最大視差量を示す情報を取得する情報取得手段と、
   前記情報取得手段により取得された視差の分布に関する情報に基づいて、レンチキュラーレンズシートに印画する立体画像の視点数を決定する視点数決定手段であって、前記取得された最大視差量が所定の閾値を越える場合には、所定の閾値以内の場合に比べて、前記レンチキュラーレンズシートに印画する立体画像の視点数を多くする視点数決定手段と、
   前記画像入力手段を介して入力された多視点画像の視点数と前記視点数決定手段により決定された視点数とを比較する比較手段と、
   前記画像入力手段を介して入力された多視点画像の視点数が、前記レンチキュラーレンズシートに印画する立体画像の視点数よりも少ない場合にのみ、前記入力された多視点画像から不足分の視点画像を生成する視点画像生成手段と、
   を備える視点画像生成装置。
3. ２視点以上の多視点画像を入力する画像入力手段と、
   前記入力された多視点画像の視差の分布に関する情報を取得する情報取得手段であって、前記入力された多視点画像の近側の最大視差量と遠側の最大視差量との差を示す視差範囲を取得する情報取得手段と、
   前記情報取得手段により取得された視差の分布に関する情報に基づいて、レンチキュラーレンズシートに印画する立体画像の視点数を決定する視点数決定手段であって、前記取得された視差範囲が所定の閾値を越える場合には、所定の閾値以内の場合に比べて、前記レンチキュラーレンズシートに印画する立体画像の視点数を多くする視点数決定手段と、
   前記画像入力手段を介して入力された多視点画像の視点数と前記視点数決定手段により決定された視点数とを比較する比較手段と、
   前記画像入力手段を介して入力された多視点画像の視点数が、前記レンチキュラーレンズシートに印画する立体画像の視点数よりも少ない場合にのみ、前記入力された多視点画像から不足分の視点画像を生成する視点画像生成手段と、
   を備える視点画像生成装置。
4. レンズ間隔が異なる複数のシートタイプのレンチキュラーレンズシートから１つのレンチキュラーレンズシートを選択するシート選択手段であって、前記視点数決定手段により決定された視点数に基づいて、該視点数に比例したレンズ間隔の１つのレンチキュラーレンズシートを選択するシート選択手段を更に備える請求項１から３のうちいずれか１項に記載の視点画像生成装置。
5. 前記情報取得手段は、
   前記入力された多視点画像のうちの左端の視点画像と右端の視点画像との特徴が一致する対応点を検出する対応点検出手段と、
   前記対応点検出手段により検出された対応点から左端の視点画像と右端の視点画像との視差量を算出する視差量算出手段とを有し、
   前記視差量算出手段により算出された視差量に基づいて前記入力された多視点画像の視差の分布に関する情報を取得する、請求項１から４のうちいずれか１項に記載の視点画像生成装置。
6. 前記画像入力手段は、前記多視点画像とともに付属情報が記録された画像ファイルを取得し、
   前記情報取得手段は、前記画像ファイルの付属情報から前記入力された多視点画像の視差の分布に関する情報を取得する、請求項１から４のうちいずれか１項に記載の視点画像生成装置。
7. 平面画像を表示する表示手段と、
   前記レンチキュラーレンズシートのレンズ間隔に応じて該レンチキュラーレンズシートに印画する立体画像の各視点画像の解像度を変換し、又は各視点画像を歪み処理する画像処理手段と、
   前記画像処理手段により処理された各視点画像を前記表示手段に順番にかつ繰り返し表示させることにより動画表示させる表示制御手段と、
   を更に備える請求項１から６のいずれか１項に記載の視点画像生成装置。
8. 平面画像を表示する表示手段と、
   前記レンチキュラーレンズシートに印画される視点数ｎ（ｎは３以上の整数）の立体画像のうちの隣接する２視点画像から仮想視点の視点画像を生成する仮想視点画像生成手段と、
   前記２視点画像及び前記生成された仮想視点の視点画像からなる表示用の立体画像における各視点画像の解像度を変換し、又は各視点画像を歪み処理する画像処理手段と、
   前記画像処理手段により処理された各視点画像を前記表示手段に順番にかつ繰り返し表示させることにより動画表示させる表示制御手段と、
   を更に備える請求項１から６のいずれか１項に記載の視点画像生成装置。
9. 前記画像処理手段は、前記レンチキュラーレンズシートのレンズ間隔及びレンズ形状に応じて、各視点画像のレンチキュラーレンズの山の部分は明るく、谷の部分は暗くなるように各視点画像を画像処理する、請求項７又は８に記載の視点画像生成装置。
10. 前記画像処理手段は、前記レンチキュラーレンズシートのレンズ間隔が大きいほど各視点画像の解像度を低下させる、請求項７又は８に記載の視点画像生成装置。
11. 前記表示制御手段は、前記表示手段に表示させる各視点画像の表示サイズを、前記レンチキュラーレンズシートに印画される立体画像の印画サイズと同じサイズにする、請求項７から１０のいずれか１項に記載の視点画像生成装置。
12. 請求項１から１１のいずれか１項に記載の視点画像生成装置と、
    前記画像入力手段を介して入力された多視点画像と前記視点画像生成手段により生成された視点画像とからなる立体画像をレンチキュラーレンズシートに印画する印画手段と、
    を備える立体画像印画装置。
13. 前記印画手段は、前記レンチキュラーレンズシートに該印画手段の最高解像度で立体画像を印画するものであって、前記レンチキュラーレンズシートのレンズ間隔に比例した視点数の立体画像を印画する、請求項１２に記載の立体画像印画装置。
14. 前記レンチキュラーレンズシートのシートタイプを手動により変更するタイプ変更手段を更に備え、
    前記印画手段は、前記タイプ変更手段によりレンチキュラーレンズシートのシートタイプが変更されると、変更後のレンチキュラーレンズシートに前記立体画像を印画する、請求項１２又は１３に記載の立体画像印画装置。
15. ２視点以上の多視点画像を入力する画像入力ステップと、
    前記入力された多視点画像の視差の分布に関する情報を取得する情報取得ステップであって、前記入力された多視点画像の視差量のうちの近側の第１の閾値を越える視差量の頻度、又は遠側の第２の閾値を越える視差量の頻度のうちの少なくとも一方の頻度を示す情報を取得する情報取得ステップと、
    前記取得された視差の分布に関する情報に基づいて、レンチキュラーレンズシートに印画する立体画像の視点数を決定する視点数決定ステップであって、前記取得された第１の閾値を越える視差量の頻度が第３の閾値を越える場合、又は前記取得された第２の閾値を越える視差量の頻度が第４の閾値を越える場合には、前記取得された第１の閾値を越える視差量の頻度が前記第３の閾値以内であり、前記取得された第２の閾値を越える視差量の頻度が前記第４の閾値以内の場合に比べて、前記レンチキュラーレンズシートに印画する立体画像の視点数を多くする視点数決定ステップと、
    前記画像入力ステップにて入力された多視点画像の視点数と前記視点数決定ステップにて決定された視点数とを比較して、前記入力された多視点画像の視点数の方が少ない場合にのみ、前記入力された多視点画像から不足分の視点画像を生成する視点画像生成ステップと、
    を備える視点画像生成方法。
16. ２視点以上の多視点画像を入力する画像入力ステップと、
    前記入力された多視点画像の視差の分布に関する情報を取得する情報取得ステップであって、前記入力された多視点画像の視差量のうちの近側及び遠側の最大視差量のうちの少なくとも一方の最大視差量を示す情報を取得する情報取得ステップと、
    前記取得された視差の分布に関する情報に基づいて、レンチキュラーレンズシートに印画する立体画像の視点数を決定する視点数決定ステップであって、前記取得された最大視差量が所定の閾値を越える場合には、所定の閾値以内の場合に比べて、前記レンチキュラーレンズシートに印画する立体画像の視点数を多くする視点数決定ステップと、
    前記画像入力ステップにて入力された多視点画像の視点数と前記視点数決定ステップにて決定された視点数とを比較して、前記入力された多視点画像の視点数の方が少ない場合にのみ、前記入力された多視点画像から不足分の視点画像を生成する視点画像生成ステップと、
    を備える視点画像生成方法。
17. ２視点以上の多視点画像を入力する画像入力ステップと、
    前記入力された多視点画像の視差の分布に関する情報を取得する情報取得ステップであって、前記入力された多視点画像の近側の最大視差量と遠側の最大視差量との差を示す視差範囲を取得する情報取得ステップと、
    前記取得された視差の分布に関する情報に基づいて、レンチキュラーレンズシートに印画する立体画像の視点数を決定する視点数決定ステップであって、前記取得された視差範囲が所定の閾値を越える場合には、所定の閾値以内の場合に比べて、前記レンチキュラーレンズシートに印画する立体画像の視点数を多くする視点数決定ステップと、
    前記画像入力ステップにて入力された多視点画像の視点数と前記視点数決定ステップにて決定された視点数とを比較して、前記入力された多視点画像の視点数の方が少ない場合にのみ、前記入力された多視点画像から不足分の視点画像を生成する視点画像生成ステップと、
    を備える視点画像生成方法。
18. レンズ間隔が異なる複数のシートタイプのレンチキュラーレンズシートから１つのレンチキュラーレンズシートを選択するシート選択ステップであって、前記視点数決定ステップにて決定された視点数に基づいて、該視点数に比例したレンズ間隔の１つのレンチキュラーレンズシートを選択するシート選択ステップを更に備える請求項１５から１７のうちいずれか１項に記載の視点画像生成方法。
19. 前記情報取得ステップは、
    前記入力された多視点画像のうちの左端の視点画像と右端の視点画像との特徴が一致する対応点を検出する対応点検出ステップと、
    前記対応点検出ステップにより検出された対応点から左端の視点画像と右端の視点画像との視差量を算出する視差量算出ステップとを有し、
    前記視差量算出ステップにより算出された視差量に基づいて前記入力された多視点画像の視差量の大きさに関する情報を取得する、請求項１５から１８のいずれか１項に記載の視点画像生成方法。
20. 前記画像入力ステップでは、前記多視点画像とともに付属情報が記録された画像ファイルを取得し、
    前記情報取得ステップでは、前記画像ファイルの付属情報から前記視差の分布に関する情報を取得する、請求項１５から１９のうちいずれか１項に記載の視点画像生成方法。
21. 前記シート選択ステップにて選択されたレンチキュラーレンズシートのレンズ間隔に応じて該レンチキュラーレンズシートに印画する立体画像の解像度を変換し、又は各視点画像を歪み処理する画像処理ステップと、
    前記画像処理ステップにより処理された各視点画像を、平面画像を表示する表示手段に順番にかつ繰り返し表示させることにより動画表示させる表示制御ステップと、
    を更に含む請求項１８に記載の視点画像生成方法。
22. 前記シート選択ステップにて選択されたレンチキュラーレンズシートに印画される複数の視点数ｎ（ｎは３以上の整数）の多視点画像のうちの隣接する２視点画像から仮想視点の画像を生成する仮想視点画像生成ステップと、
    前記２視点画像及び前記生成された仮想視点の視点画像からなる表示用の立体画像における各視点画像の解像度を変換し、又は各視点画像を歪み処理する画像処理ステップと、
    前記画像処理ステップにて処理された各視点画像を平面画像を表示する表示手段に順番にかつ繰り返し表示させることにより動画表示させる表示制御ステップと、
    を更に含む請求項１８に記載の視点画像生成方法。
23. 前記画像処理ステップでは、前記シート選択ステップにより選択されたレンチキュラーレンズシートのレンズ間隔及びレンズ形状に応じて、各視点画像のレンチキュラーレンズの山の部分は明るく、谷の部分は暗くなるように各視点画像を画像処理する、請求項２１又は２２に記載の視点画像生成方法。
24. 前記画像処理ステップでは、前記シート選択ステップによりレンズ間隔の大きいレンチキュラーレンズシートが選択されると、レンズ間隔の小さいレンチキュラーレンズシートが選択された場合に比べて各視点画像の解像度を低下させる、請求項２１又は２２に記載の視点画像生成方法。
25. 前記表示制御ステップでは、前記表示手段に表示させる各視点画像の表示サイズを、前記レンチキュラーレンズシートに印画される立体画像の印画サイズと同じサイズにする、請求項２１から２４のいずれか１項に記載の視点画像生成方法。
26. 前記画像入力ステップにて入力された多視点画像と前記視点画像生成ステップにて生成された視点画像とからなる立体画像をレンチキュラーレンズシートに印画する印画ステップを更に備える請求項１８に記載の視点画像生成方法。
27. 前記印画ステップは、前記選択されたレンチキュラーレンズシートに該印画ステップの最高解像度で立体画像を印画するものであって、前記選択されたレンチキュラーレンズシートのレンズ間隔に比例した視点数の立体画像を印画する、請求項２６に記載の視点画像生成方法。
28. 前記レンチキュラーレンズシートのシートタイプを手動により変更するタイプ変更ステップを更に含み、
    前記印画ステップでは、前記タイプ変更ステップによりレンチキュラーレンズシートのシートタイプが変更されると、変更後のレンチキュラーレンズシートに前記入力した立体画像を印画する、請求項２６又は２７に記載の視点画像生成方法。

Images