JP5924086B2 - 画像処理装置および画像処理方法 - Google Patents

Description

この発明は、レンチキュラーレンズを介して立体視可能な立体視用画像を作成する画像処理装置および画像処理方法に関する。

画像を立体的に表現する手法として、両眼の視差を利用したものが実用化されている。例えば、互いに異なる視点から撮像した複数の画像の各々から短冊状の画像を切り出してそれらを視点の配置に応じて順番に並べた視差付きの立体視用画像を作成し、この立体視用画像をレンチキュラーレンズを介して提示することで、左右の目それぞれに到達する像の間に視差を生じさせて画像中のオブジェクトを立体的に見せる技術が知られている。例えば特許文献１には、レンチキュラーレンズを用いた立体視に適した立体視用画像を自動的に作成可能な画像処理装置が開示されている。

特開２００４−１０４３２９号公報

レンチキュラーレンズは、その材質や凸レンズの寸法等に応じて画像を適切に立体表現できる奥行き方向の範囲が予め決まっており、この範囲を超えて立体表現されるオブジェクトは不鮮明となることがある。そこで、レンチキュラーレンズを介して得られる立体画像が上記範囲に収まるかどうかをユーザーが事前に知ることができれば好都合であるが、そのような従来技術は知られていない。したがって、これまでは、レンチキュラーレンズを備えたレンチキュラーシートに立体視用画像を印刷するか、あるいは立体視用画像を印刷した媒体をレンチキュラーシートに貼り付けた上で、ユーザーがレンチキュラーレンズを通して画像を見ることによって初めて立体画像の良否が分かるものとなっていた。その結果、無駄にレンチキュラーシートを消費するおそれがあった。

本発明にかかるいくつかの態様は、上記課題を解決することで、レンチキュラーシートの無駄な消費を抑制可能な環境を提供するものである。

本発明の一の態様は、レンチキュラーレンズを介して立体視可能な立体視用画像を作成する画像処理装置において、互いに視差を有する第１原画像と第２原画像との間で互いに対応する対応点の位置関係に基づいて、立体視用画像の原画像としての第１原画像と第２原画像との組み合わせの適否を判断する適否判断手段と、適否判断手段による判断結果をユーザーに報知する報知手段と、を備え、適否判断手段は、一の対応点同士が互いに一致するように第１原画像と第２原画像とを重ねたときに、当該一の対応点以外の他の一の対応点同士の離間距離がレンチキュラーレンズに応じて予め設定された閾値よりも大きければ、第１原画像と第２原画像との組み合わせが不適と判断することを特徴とする。

本発明の他の態様は、レンチキュラーレンズを介して立体視可能な立体視用画像を作成する画像処理方法において、互いに視差を有する第１原画像と第２原画像との間で互いに対応する対応点の位置関係に基づいて、立体視用画像の原画像としての第１原画像と第２原画像との組み合わせの適否を判断する適否判断工程と、適否判断工程による判断結果をユーザーに報知する報知工程と、を備え、適否判断工程は、一の対応点同士が互いに一致するように第１原画像と第２原画像とを重ねたときに、当該一の対応点以外の他の一の対応点同士の離間距離がレンチキュラーレンズに応じて予め設定された閾値よりも大きければ、第１原画像と第２原画像との組み合わせが不適と判断することを特徴とする。

このように構成された発明（画像処理装置および画像処理方法）においては、第１原画像と第２原画像との間で互いに対応する一の対応点同士が互いに一致するように第１原画像と第２原画像とを重ねたときに、当該一の対応点以外の他の一の対応点同士の離間距離が、レンチキュラーレンズに応じて予め設定された閾値よりも大きければ第１原画像と第２原画像との組み合わせは不適と判断される。これにより、例えば当該レンチキュラーレンズで適切に立体表現可能な視差の大きさに対応する閾値を設定しておくことで、原画像の組み合わせにより生じる視差が当該レンチキュラーレンズで適切に立体表現できる範囲か否かが判断される。そして、このような判断結果がユーザーに報知されるので、ユーザーは第１原画像および第２原画像の組み合わせからなる立体視用画像の適否を事前に知ることが可能となる。その結果、第１原画像および第２原画像の組み合わせからなる立体視用画像が不適と判断された場合には、ユーザーが立体視用画像のレンチキュラーシートへの印刷を中止するか、立体視用画像を印刷した媒体のレンチキュラーシートへの貼付を中止することで、レンチキュラーシートの無駄な消費を抑制することが可能となる。

第１原画像および第２原画像に含まれるオブジェクトの重なり度合いが大きい状態においては、第１原画像と第２原画像との重なり領域において画像の類似度が大きくなるので、当該重なり領域において対応画素（互いに一致している画素）の画素値の差の絶対値を積算した積算値は小さくなる。特に、あるオブジェクトの重なり度合いが最も大きい状態においては当該積算値は極小値を示す。言い換えると、積算値が極小値を示すシフト量においては、あるオブジェクトの重なり度合いが最大となっており、このときの重なり状態において当該オブジェクトに対応する画像領域内に両原画像で互いに一致している対応点が存在すると考えられる。すなわち、積算値がある極小値を示すシフト量においては両原画像で互いに一致している対応点を含むあるオブジェクトが存在し、積算値が別の極小値を示すシフト量においては両原画像で互いに一致している対応点を含む別のオブジェクトが存在している。したがって、一の対応点同士が互いに一致するように原画像同士を重ねたときの当該一の対応点以外の他の一の対応点同士の離間距離は、上記積算値が複数の極小値を示している場合に各極小値を示す各シフト量の差として求めることが可能である。

そこで、本発明において、適否判断手段は、第１原画像に対して第２原画像をシフトさせたときに第１原画像と第２原画像とが互いに重なり合う領域において対応する画素の画素値の差の絶対値を積算した積算値を各シフト量ごとに求め、積算値が極小値を示す各シフト量の差を離間距離とすることができる。このように画素値の差の積算値に基づいて離間距離を求める場合には、当該積算値は加減演算のみで求めることができるので演算負荷を小さくすることができ、高い処理能力を持たないプロセッサーでも十分に対応可能である。このため、この技術を搭載することが装置コストを圧迫することがなく、低価格の製品においても適用可能である。また、速やかにユーザーに適否の判断結果を示すことが可能となる。

ここで、上記積算値の極小値が小さいほど、そのシフト量における第１原画像と第２原画像との重なり領域において画像の類似度が大きいと考えられる。すなわち、そのシフト量において、面積の大きなオブジェクトの重なり度合いが最大となっていると考えられる。そのようなオブジェクトは、画像中で存在感が大きいと考えられるので適切に立体表現されることが望ましい。このように面積の大きなオブジェクトを適切に立体表現することを優先する場合には、適否判断手段は、積算値が最小の極小値を示すシフト量と２番目に小さい極小値を示すシフト量との差として求められる離間距離に基づいて適否を判断するとよい。

また、原画像に複数のオブジェクトが含まれている場合に、できるだけ多くのオブジェクトを適切に立体表現できるようにしたいという要望も考えられる。このような場合には、適否判断手段は、各極小値を示す各シフト量から求められる複数の離間距離のうち最大の離間距離に基づいて適否を判断するとよい。このような判断手法によれば、立体表現したときに最も奥行き方向の位置が異なる２つのオブジェクトが鮮明に立体表現されるかどうかを判断することになる。したがって、この適否判断の結果、第１原画像と第２原画像との組み合わせが適当であると判断された場合には、奥行き方向において上記２つのオブジェクトの間に位置する他のオブジェクトも鮮明に立体表現されることになり、多くのオブジェクトが鮮明に立体表現できるものとなる。

また、報知手段は、適否判断手段により第１原画像と組み合わせることの適否が判断された第２原画像を当該判断結果とともに視覚的に表示すると好適である。このように構成すると、ユーザーはいくつかの画像の中で立体視用画像の原画像として適切な組み合わせを容易に把握することができる。そして、視覚的に表示されている第２原画像のうち、第１原画像との組み合わせが適当であると判断された１以上の画像を選択するだけで、立体視用画像の作成に適した原画像をユーザーが容易に選択することが可能となる。

さらに、本発明にかかる画像処理装置は、立体視用画像を印刷出力する印刷手段をさらに備えるものであってもよい。こうして印刷された立体視用画像をレンチキュラーレンズと組み合わせることで、ユーザーに対して、適切に立体表現される立体画像を容易に提供することが可能となる。

本発明にかかる画像処理装置の一実施形態を用いた印刷システムを示す図。 実施形態における立体画像印刷モードを示すフローチャート。 原画像の例を示す図。 原画像のシフトの概念を説明する図。 スムージングの概念を説明する図。 極小点の検出方法を説明する図。 本実施形態における離間距離を示す図。 表示部への表示例を示す図。

図１は、本発明にかかる画像処理装置の一実施形態を用いた印刷システムを示す図である。この印刷システムは、デジタルカメラ２００の撮影により取得された画像データを、メモリカードＭ、ＵＳＢ（Universal Serial Bus）ケーブルや無線ＬＡＮ（Local Area Network）等によって印刷装置１００に転送し、印刷装置１００で印刷するものである。すなわち、ここではユーザーがデジタルカメラ２００で画像を撮影して画像データを生成し、その画像データをそのまま印刷装置１００で読み込んで印刷する、いわゆるダイレクト印刷を想定しているが、本発明を適用可能な印刷システムはこれに限定されるものではない。つまり、デジタルカメラ２００で生成した画像データをパーソナルコンピューターや携帯電話などに取り込み、パーソナルコンピューターから印刷装置１００に画像データを送信して印刷する印刷システムにも本発明を適用することが可能である。さらに、このようなデジタルカメラ２００および印刷装置１００を共に備えるシステムに限定されず、画像データに対して種々の処理を施す画像処理装置全般に対して、本発明を適用可能である。

デジタルカメラ２００では、同図に示すように、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３、ＣＣＤ（Charge Coupled Device）２０４Ｌ，２０４Ｒ、グラフィックプロセッサー（Graphic Processor；ＧＰ）２０５およびインターフェース（Interface；Ｉ／Ｆ）２０６がバス２０７を介して相互に接続され、これらの間で情報の授受が可能となっている。そして、ＣＰＵ２０１はＲＯＭ２０２に格納されているプログラムに応じて各種演算処理を実行しながらデジタルカメラ２００の制御を行う。このとき一時的に必要となるデータはＲＡＭ２０３に格納される。

また、ＣＣＤ２０４Ｌ，２０４Ｒは、光学系２０８Ｌ，２０８Ｒによって集光された被写体からの光学像を電気信号に変換して出力する。より具体的には、光学系２０８Ｌにより集光された光学像はＣＣＤ２０４Ｌに入射する一方、光学系２０８Ｒにより集光された光学像はＣＣＤ２０４Ｒに入射する。光学系２０８Ｌ，２０８Ｒはデジタルカメラ２００の筐体に左右に離間して配置されている。より詳しくは、光学系２０８Ｌはデジタルカメラ２００筐体前面の被写体に向かって左寄りに、光学系２０８Ｒは被写体に向かって右寄りに設けられている。そのため、ＣＣＤ２０４Ｌ，２０４Ｒにより撮像される画像の間には視差が生じる。

光学系２０８Ｌ，２０８Ｒは、それぞれ複数のレンズおよびアクチュエータによって構成されており、アクチュエータによってフォーカス等を調整しながら被写体の光学像を複数のレンズによってそれぞれＣＣＤ２０４Ｌ，２０４Ｒの受光面に結像する。

このデジタルカメラ２００は、２つのＣＣＤ２０４Ｌ，２０４Ｒを用いて視差のある１対の画像を撮像するステレオ撮像モードと、いずれか一方のＣＣＤのみを用いて撮像を行う通常撮像モードとを選択的に実行可能である。ステレオ撮像モードで撮像された１対の画像データは互いに関連付けられて保存され、後に説明する立体視用の合成画像を作成する処理においては、ＣＣＤ２０４Ｌにより撮像された画像が左眼用原画像、ＣＣＤ２０４Ｒにより撮像された画像が右眼用原画像としてそれぞれ適用される。

さらに、ＧＰ２０５は、ＣＰＵ２０１から供給される表示命令に基づいて表示用の画像処理を実行し、得られた表示用画像データを液晶ディスプレイ（Liquid Crystal Display；ＬＣＤ）２０９に供給して表示させる。

Ｉ／Ｆ２０６はデジタルカメラ２００の入出力機能を提供するものであり、操作ボタン２１０、ジャイロセンサー２１１およびカードＩ／Ｆ回路２１２の間で情報を授受する際に、データの表現形式を適宜変換する装置である。Ｉ／Ｆ２０６に接続される操作ボタン２１０には、電源、モード切替え、シャッターなどのボタンや、各種機能を設定できる入力手段があり、これらによってユーザーはデジタルカメラ２００を任意に制御して動作させることが可能となっている。また、ジャイロセンサー２１１はデジタルカメラ２００によって被写体を撮影した際のカメラ本体の角度（水平面に対する角度）を示す信号を生成して出力する。デジタルカメラ２００は、上記したカメラ本体の角度を含め、撮影時における種々の情報（例えば、露光、被写体等に関する情報）を生成する。

なお、本実施形態では、デジタルカメラ２００は、撮影情報をＥｘｉｆ（Exchangeable Image File Format）情報に記載し、画像データに付加した画像ファイルを生成することができる構造となっている。このＥｘｉｆ画像ファイルの構造は、基本的には通常のＪＰＥＧ（Joint Photographic Experts Group）画像形式そのものであり、その中にサムネイル画像や撮影関連データ等のデータをＪＰＥＧの規約に準拠した形で埋め込んだものである。さらに、ステレオ撮像モードに適したファイル形式として、複数枚の静止画像データを１つの画像ファイルに記録するＭＰ（Multi Picture）フォーマットに基づく画像ファイル（ＭＰＯファイル）を作成、記録する機能を有している。

また、カードＩ／Ｆ回路２１２はカードスロット２１３に挿入されたメモリカードＭとの間で情報を読み書きするためのインターフェースである。さらに、Ｉ／Ｆ２０６は図示を省略するＵＳＢ、無線ＬＡＮなどの外部機器との接続機能も有しており、有線または無線にて印刷装置１００との間で画像ファイルの授受が可能となっている。

印刷装置１００はデジタルカメラ２００で撮像された画像を印刷する装置であり、次のように構成されている。印刷装置１００では、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）１０４、ＧＰ１０５およびＩ／Ｆ１０６がバス１０７を介して相互に接続され、これらの間で情報の授受が可能となっている。ＣＰＵ１０１はＲＯＭ１０２およびＥＥＰＲＯＭ１０４に格納されているプログラムに応じて各種演算処理を実行するとともに印刷装置１００の各部を制御する。また、ＣＰＵ１０１が実行対象とするプログラムやデータについてはＲＡＭ１０３に一時的に格納される一方、印刷装置の電源が切断された後も保持しておくデータ等についてはＥＥＰＲＯＭ１０４に格納される。さらに、ＣＰＵ１０１は必要に応じてＧＰ１０５に対して表示命令を与え、この表示命令に応じてＧＰ１０５が表示用の画像処理を実行し、その処理結果を表示部１０８に供給して表示させる。

Ｉ／Ｆ１０６は、操作ボタン１０９、カードＩ／Ｆ回路１１０およびプリンターエンジンコントローラー１１１の間で情報を授受する際に、データの表現形式を適宜変換する装置である。印刷装置１００では、操作ボタン１０９は印刷装置１００のメニュー選択等を行う時に押されるように構成されている。また、カードＩ／Ｆ回路１１０は、カードスロット１１２と接続されており、このカードスロット１１２に挿入されたメモリカードＭからデジタルカメラ２００によって生成された画像ファイルを読み出す。なお、Ｉ／Ｆ１０６は、図示を省略するＵＳＢ、無線ＬＡＮなどの外部機器との接続機能も有しており、有線通信または無線通信にてデジタルカメラ２００との間で画像ファイルの授受が可能となっている。

表示部１０８は例えばＬＣＤからなるディスプレイの表面にタッチパネルが設けられたものであり、ＧＰ１０５から与えられる画像データをディスプレイに表示するほか、ユーザーによるタッチパネルへの操作入力データをＩ／Ｆ１０６に出力する。

そして、印刷装置１００は、メモリカードＭを介して、あるいはデータ通信により画像データを受け取ると、ＣＰＵ１０１により種々の処理を行うとともにプリンターエンジンコントローラー１１１によりプリンターエンジン１１３を制御し、これによって画像データに対応する画像を印刷する。以下では、デジタルカメラ２００のステレオ撮像モードで撮像された左右１対の原画像に対応する画像データから立体視用画像を作成し、これをレンチキュラーレンズを組み合わせた記録シートに印刷する立体画像印刷モードについて説明する。

これ以外に、この種のプリンターで実施されている種々の印刷動作を実行することが可能であるが、そのような印刷動作については種々の公知技術があり、本実施形態にも同技術を適用することができるので、本明細書ではそれらの説明を省略する。また、レンチキュラーレンズにより立体視を可能とする原理や、複数の原画像から立体視用画像を作成する原理的な方法についても公知であるので、ここでは説明を省略する。

図２は本実施形態における立体画像印刷モードを示すフローチャートである。また、図３は原画像の例を示す図である。この印刷モードでは、最初に立体視用画像の元となる原画像を取得する（ステップＳ１０１）。原画像としては、互いの間に視差を有する複数の画像が必要であり、例えば上記したデジタルカメラ２００のステレオ撮像モードで撮像された１対の画像を用いることができる。なお、原画像としてはこれに限定されず、同じ撮像対象物を異なる視点から撮像した複数の画像の組や、例えばコンピューターグラフィックス技術により作成された画像の組についても、以下に説明する技術を適用することが可能である。また１組の原画像を構成する画像の枚数についても、２以上で任意である。

ここではデジタルカメラ２００のステレオ撮像モードで撮像された２枚の画像を用いる場合を例として説明する。図３に示すように、ステレオ撮像モードでは同じ撮像対象物を僅かに異なる視点で撮像した２枚の画像ＩＬ，ＩＲが得られる。画像ＩＬは、デジタルカメラ２００において左側に配置されたＣＣＤ２０４Ｌにより撮像された画像であり、立体視用画像を作成するに際しては左眼用画像の原画像として用いられる。一方、画像ＩＲはＣＣＤ２０４Ｌにより右側に配置されたＣＣＤ２０４Ｒにより撮像された画像であり、立体視用画像の作成に際しては右眼用画像の原画像として用いられる。

これらの画像に共通して含まれる主なオブジェクトは、向かって右側の人物Ｏ1、向かって左側の人物Ｏ2、中央のヨットＯ3、左上の山Ｏ4などである。左眼用原画像ＩＬと右眼用原画像ＩＲとの間では、撮像時のカメラと被写体との距離に応じてオブジェクトの位置が微妙に異なっている。すなわち、遠方にある被写体については左右の原画像ＩＬ，ＩＲ間で位置の差はほとんどなく、カメラに近づくほど、被写体に対応するオブジェクトの位置の差が大きくなる。

図３の例では、人物Ｏ1が最も手前にいるため左右方向における原画像ＩＬ，ＩＲ間での位置の差Ｌ1が最も大きく、より奥側にいる人物Ｏ2の位置の差Ｌ2、さらに奥のヨットＯ3の位置の差Ｌ3の順に小さくなる。遠方の山Ｏ4については位置の差はほぼない。なお、実際の画像では、この他に例えばカメラの傾きに起因する位置の差や傾きが加わる場合がある。また、複数の原画像を個別のカメラにより撮像した場合や、単眼のカメラでステレオアダプタを介して撮像した場合には、これらの位置ずれに起因する位置の差や傾きが加わる場合もあり得る。ただし、本実施形態では縦方向のずれや傾きはない原画像、あるいは縦方向のずれや傾きをなくすように調整済みの原画像が用意されているものとし、原画像ＩＬ，ＩＲにおいては左右方向（視差方向）における位置の差のみが生じているものとする。また、原画像ＩＬ，ＩＲのサイズは同じものとする。

このようにして取得した原画像をそのまま使用して立体視用画像を作成すると、撮像時と同様に、一番奥にあるオブジェクト（山）において視差がゼロとなり、手前のオブジェクトほど視差が大きくなり手前に飛び出して見えるようになる。一方、オブジェクトの鮮明さという点では、視差のない遠方のオブジェクトが最も鮮明であり、手前のオブジェクトほど画像がぼやけて見える傾向がある。この種の立体画像では視差のないオブジェクトが実際の画像面に定位して鮮明に見える一方、視差のあるオブジェクトは画像面より前方（または後方）に定位して奥行き感が表現される。このとき、立体表現可能な奥行き方向の範囲が限定的であるため、視差の程度によっては適切に撮像時の奥行きを再現することができず、オブジェクトが不鮮明となることがある。

以下に説明するように、本実施形態では、立体視用画像を作成するための原画像の組み合わせが、あるレンチキュラーレンズにおいて適切に立体表現できるかどうかの適否を判断し、その結果をユーザーに報知するように構成されている。そのためユーザーは、これらの原画像の組み合わせからなる立体視用画像の適否を事前に知ることが可能となる。その結果、原画像の組み合わせからなる立体視用画像が不適と判断された場合には、ユーザーが立体視用画像のレンチキュラーシートへの印刷を中止するか、立体視用画像を印刷した媒体のレンチキュラーシートへの貼付を中止することで、レンチキュラーシートの無駄な消費を抑制することが可能となる。

図４は原画像のシフトの概念を説明する図である。図４においてハッチングを付している領域は、左眼用原画像ＩＬと右眼用原画像ＩＲとが互いに重なり合っている領域（以下「重なり領域」という）を示している。本実施形態では、右眼用原画像ＩＲを左眼用原画像ＩＬに対してシフトさせながら重なり領域を徐々に変化させつつ、重なり領域を対象とした後述の処理を実行することにより、原画像ＩＬ，ＩＲの組み合わせが立体視用画像として適しているか否かを判断する。ここでは、図４（ａ）に示すように左眼用原画像ＩＬと右眼用原画像ＩＲとの全領域を重ね合わせた状態から処理を開始し、右眼用原画像ＩＲを左眼用原画像ＩＬに対して図中右側に徐々にシフトさせ（例えば図４（ｂ）の状態）、図４（ｃ）に示すように重なり領域がなくなるまで右眼用原画像ＩＲをシフトさせる。以下、右眼用原画像ＩＲを図中右側にシフトさせた量を単に「シフト量」という。また、１回に右眼用原画像ＩＲをシフトさせる量をここでは１画素幅分（以下「単位量」という）としている。なお、左眼用原画像ＩＬと右眼用原画像ＩＲとを相対的にシフトさせるに際しては、原画像ＩＬ，ＩＲのシフト開始位置、シフト方向、１回のシフト量はそれぞれ適宜変更が可能である。

図２に戻って、立体画像印刷モードにおける処理の続きを説明する。上述の図４（ａ）に示すように、取得した原画像ＩＬ，ＩＲの全領域を互いに重ね合わせる（ステップＳ１０２）。そして、原画像ＩＬ，ＩＲの重なり状態において互いに位置が一致している（重なっている）対応画素の画素値の差を求め、その差の絶対値を重なり領域全体で積算する（ステップＳ１０３）。このようにして求められた対応画素の画素値の差の積算値（以下「差分積算値」という）を、例えばＲＡＭ１０３などのメモリに記憶する（ステップＳ１０４）。積算値をメモリに記憶したら、原画像ＩＬ，ＩＲを単位量だけ相対的にシフトさせる（ステップＳ１０５）。本実施形態では、右眼用原画像ＩＲを図４において図中右側に単位量だけシフトさせる。そして、シフトさせたあとの状態において、原画像ＩＬ，ＩＲで重なり領域が存在するか否かを判定する（ステップＳ１０６）。本実施形態では、例えば右眼用原画像ＩＲの累積シフト量が、原画像の幅以上となったか否かで重なり領域の有無を判定することができる。そして、ステップＳ１０６にて重なり領域がないと判定されるまで、ステップＳ１０３〜Ｓ１０６が繰り返し実行されることで、各シフト量ごとに差分積算値が求められる。こうして求められたシフト量に対する差分積算値のデータをスムージングし（ステップＳ１０７）、スムージングしたデータから差分積算値の極小点を検出する（ステップＳ１０８）。

図５はスムージングの概念を説明する図であり、図６は極小点の検出方法を説明する図である。本実施形態では、各シフト量ごとに重なり領域における差分積算値を算出し、後述のように、差分積算値が極小値を示すときのシフト量に基づいて原画像ＩＬ，ＩＲの組み合わせの適否を判断する。その際、シフト量を横軸、差分積算値を縦軸としてデータをプロットした場合に、図５において実線で示すように、小さな山谷（極大値および極小値）が多く発生する場合がある。このような小さな山谷を原画像ＩＬ，ＩＲの組み合わせの適否を判断する上で無視したほうが好ましい場合には、シフト量に対する差分積算値の実データに対して適当なフィルタ処理を施すことにより、実データのスムージングを行い、図５において破線で示すようなスムージング後のデータに基づいて極小点を検出すればよい。

スムージング後のデータから差分積算値の極小値を求める方法の一例について、図６に基づいて説明する。ここでは、シフト量がＳ_nのときの差分積算値をＩＶ_nで示している。各シフト量Ｓ_ｎごとに、
δ_n ＝ ＩＶ_n − ＩＶ_n−1
δ_n+1 ＝ ＩＶ_n+1 − ＩＶ_n
の式から算出される差分値δ_n，δ_n+1を順に算出する。シフト量を横軸、差分積算値を縦軸としたグラフにおいて、δ_n，δ_n+1がともに正値の場合はグラフはシフト量Ｓ_nにおいて右上がりであることを示し、δ_n，δ_n+1がともに負値の場合はグラフは右下がりであることを示す。そして、グラフが右下がりから右上がりに変化する極小点においてはδ_nが負値、δ_n+1が正値となるので、このような差分値δ_n，δ_n+1を示す点を検出することで、差分積算値の極小点を検出することができる。こうして求められた差分積算値の極小点について、そのシフト量Ｓ_nおよび差分積算値ＩＶ_nを関連付けた状態で、例えばＲＡＭ１０３などのメモリに記憶しておく。

図７は本実施形態における離間距離を示す図である。図７の下部にはシフト量Ｓを横軸、差分積算値ＩＶを縦軸としたスムージング後のグラフを示し、図７の上部には各極小値を示す各シフト量における原画像ＩＬ，ＩＲの重なり状態を示す。ここでは、シフト量がＳ1，Ｓ2，Ｓ3のときに、差分積算値がそれぞれ極小値ＩＶ1，ＩＶ2，ＩＶ3を示している。シフト量Ｓ1はヨットＯ3の重なり度合いが最大となるときのシフト量に一致し、シフト量Ｓ2は左側の人物Ｏ2の重なり度合いが最大となるときのシフト量に一致し、シフト量Ｓ3は右側の人物Ｏ1の重なり度合いが最大となるときのシフト量に一致している。

例えば人物Ｏ1の重なり度合いが大きい状態においては、人物Ｏ1に対応する画像領域内では対応画素の画素値の差はゼロに近くなる。このため、重なり領域全体での差分積算値は、人物Ｏ1の重なり度合いが最大となるシフト量Ｓ3付近において顕著に小さくなり、シフト量Ｓ3にて極小値を示すことになる。これは、人物Ｏ1に限った話ではなく、他の被写体についても同じである。

ここで、図７に基づいて、本発明における「離間距離」について説明する。本発明の離間距離とは、一の対応点同士が互いに一致するように原画像同士を重ねたときの、当該一の対応点以外の他の一の対応点同士の距離のことをいう。例えば、シフト量がＳ1のときの原画像ＩＬ，ＩＲの重なり状態においては、ヨットＯ3の重なり度合いが最大となることから、ヨットＯ3に対応する画像領域内に原画像ＩＬ，ＩＲで互いに一致している対応点が存在している。一方、このとき、人物Ｏ1，Ｏ2は左右方向にずれが生じているので、人物Ｏ1，Ｏ2に対応する画像領域内の対応点同士には原画像ＩＬ，ＩＲ間でずれが生じている。このずれの量が離間距離である。より具体的には、ヨットＯ3の画像領域に含まれる対応点同士が一致するように原画像ＩＬ，ＩＲを重ねた場合、人物Ｏ1の画像領域に含まれる対応点同士の離間距離Ｄ1は（Ｓ3−Ｓ1）であり、人物Ｏ2の画像領域に含まれる対応点同士の離間距離Ｄ2は（Ｓ2−Ｓ1）である。

次に離間距離の意味について説明する。ヨットＯ3が重なり合うように位置調整やトリミングが行われた原画像から作成される立体視用画像をレンチキュラーレンズを介して鑑賞すると、ヨットＯ3が画像面上に定位して鮮明に見える一方、人物Ｏ1，Ｏ2が手前に突出するように立体表現される。このとき、人物Ｏ1，Ｏ2の突出量は、ヨットＯ3が重なり合うように原画像ＩＬ，ＩＲを重ね合わせたときの人物Ｏ1，Ｏ2のずれ量（視差の大きさに相当）に対応する。言い換えると、人物Ｏ1，Ｏ2の突出量は、ヨットＯ3の画像領域に含まれる対応点同士が一致するように原画像ＩＬ，ＩＲを重ね合わせたときの人物Ｏ1，Ｏ2の画像領域に含まれる対応点同士の離間距離Ｄ1，Ｄ2にそれぞれ対応する。したがって、ヨットＯ3が画像面上で鮮明に立体表現される場合に人物Ｏ1，Ｏ2が当該レンチキュラーレンズで適切に立体表現な奥行き方向の範囲に収まっているかどうかは、ヨットＯ3の画像領域に含まれる対応点同士が一致するように原画像ＩＬ，ＩＲを重ね合わせた状態における人物Ｏ1，Ｏ2の画像領域に含まれる対応点同士の離間距離Ｄ1，Ｄ2によって判断できる。このように画素値の差の積算値に基づいて離間距離を求める場合には、当該積算値は加減演算のみで求めることができるので演算負荷を小さくすることができ、高い処理能力を持たないプロセッサーでも十分に対応可能である。このため、この技術を搭載することが装置コストを圧迫することがなく、低価格の製品においても適用可能である。また、速やかにユーザーに適否の判断結果を示すことが可能となる。

図２に戻って、立体画像印刷モードにおける処理の続きを説明する。差分積算値の極小値を検出すると、最小の極小値を示すシフト量と２番目に小さい極小値を示すシフト量との差を算出する（ステップＳ１０９）。ここで、差分積算値の極小値の大小は、その極小値を示すシフト量で重なり度合いが最大となっている被写体の画像内での面積に対応すると考えられる。なぜなら、面積の大きな被写体の重なり度合いが大きいと、画素値の差がゼロに近くなる対応画素が多くなり、それだけ差分積算値が小さくなるからである。ここでは、画像内で最も面積が大きな右側の人物Ｏ1の重なり度合いが最大となるときの極小値ＩＶ3が最も小さく、比較的面積の小さなヨットＯ3の重なり度合いが最大となるときの極小値ＩＶ1が最も大きくなっている。なお、シフト量がゼロの状態では、左眼用原画像ＩＬと右眼用原画像ＩＲとで位置の差がほとんどない遠方の山Ｏ4の重なり度合いが最大となる。山Ｏ4が画像中に占める面積は大きいので、差分積算値はシフト量がゼロのときに小さな値を示す。

本実施形態では、画像内で面積が大きな右側の人物Ｏ1の重なり度合いが最大となるときの極小値ＩＶ3が最も小さく、その次に面積の大きな左側の人物Ｏ2の重なり度合いが最大となるときの極小値ＩＶ2が２番目に小さくなっている。したがって、極小値ＩＶ2を示すシフト量Ｓ2と極小値ＩＶ3を示すシフト量Ｓ3との差Ｄ3をレンチキュラーレンズに応じて予め定まる所定の閾値と比較することにより、人物Ｏ1，Ｏ2がともに適切に立体表現されるかどうかを判断することが可能となる。

当該閾値は、レンチキュラーレンズの材質や凸レンズの寸法等に応じて画像を適切に立体表現できる奥行き方向の範囲に対応する視差の大きさに応じて決められるものであり、立体表現できる範囲が広い、すなわち立体表現できる視差の程度が大きいほど閾値は大きくなり、反対に立体表現できる範囲が狭いほど閾値は小さくなる。この場合、Ｄ3（＝Ｓ3−Ｓ2）が閾値以下であり人物Ｏ1，Ｏ2がともに適切に立体表現されると判断されたとしても、Ｄ1（＝Ｓ3−Ｓ1）が閾値よりも大きければ、ヨットＯ3が適切に立体表現されないおそれがある。しかし、そうだとしても、ヨットＯ3は画像に占める面積の割合が比較的小さいので、ヨットＯ3が多少不鮮明になることは許容するという考え方もある。このように、画像に占める面積の割合が大きい被写体が適切に立体表現されることを優先する場合には、ステップＳ１０９のごとく、最小の極小値ＩＶ3を示すシフト量Ｓ3と２番目に小さい極小値ＩＶ2を示すシフト量Ｓ2との差Ｄ3を求め、これを閾値と比較することで適否判断を行えばよい（ステップＳ１１０）。

一方、原画像ＩＬ，ＩＲに含まれる全ての被写体Ｏ1，Ｏ2，Ｏ3を適切に立体表現したいという要望も考えられる。このような要望に応えるためには、各極小値ＩＶ1，ＩＶ2，ＩＶ3を示す各シフト量Ｓ1，Ｓ2，Ｓ3の差として求められる各離間距離Ｄ1，Ｄ2，Ｄ3のうち、その値が最大となる離間距離Ｄ1を閾値と比較すればよい。このとき、Ｄ1（＝Ｓ3−Ｓ1）が閾値以下であれば、人物Ｏ1およびヨットＯ3がともに適切に立体表現されるととともに、奥行き方向において人物Ｏ1とヨットＯ3との間に存在する人物Ｏ2も適切に立体表現される。なお、ステップＳ１０７でスムージングを行っても小さな山谷が残っており、そのような小さな谷すなわち極小値に基づいて当該手法により適否判断することが適切でない場合がある。このような問題を回避するため、当該手法で適否を判断する場合には、複数の極小値のうち、一定の値以下を示す極小値だけを対象として、各離間距離を算出するようにしてもよい。

ここで、上記した２つの適否判断モードをＣＰＵ１０１が実行できるように構成するとともに、ユーザーが適否判断モードの切り換えを行えるように構成することも可能である。また、いずれの適否判断モードにおいても閾値を複数設け、適否の判断結果を３段階以上で示すようにしてもよい。

閾値との比較結果から、原画像ＩＬ，ＩＲの組み合わせが立体視用画像として適当であると判断された場合にはその旨をユーザーに報知し（ステップＳ１１１）、原画像ＩＬ，ＩＲの組み合わせが不適であると判断された場合にはその旨をユーザーに報知する（ステップＳ１１２）。報知手段として、例えば表示部１０８を利用し、表示部１０８にメッセージを表示することができる。また、スピーカーからの音声やランプの点滅・点灯など、適宜他の手段を採用することも可能である。そして、報知手段によって適否の判断結果を知らされたユーザーから印刷処理に関する指令を受けると、その指令に応じて印刷処理を実行または中止する（ステップＳ１１３）。

以上説明したように、この実施形態では、印刷装置１００が本発明の「画像処理装置」として機能しており、プリンターエンジン１１３が本発明の「印刷手段」として機能している。また、ＣＰＵ１０１が所定の制御プログラムを実行することにより、本発明の「適否判断手段」としての機能が実現されている。

なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態では左右２つの視点からの原画像ＩＬ，ＩＲを用いて立体視用画像を作成しているが、原画像の枚数は２以上であれば任意であり、より多視点の原画像に対して上記技術を適用することが可能である。具体的には、ユーザーが複数の原画像を選択した上で、そのうちの一画像を基準画像として指定し、他の原画像との組み合わせについて順次適否判断を実行することも可能である。このような場合、その判断結果を例えば図８に示すように表示部１０８を用いてユーザーに報知することも可能である。

図８は表示部への表示例を示す図である。ここでは、ユーザーが基準画像としての基準画像ファイルＰ０００１を指定し、これとの組み合わせを検討する画像として比較画像ファイルＰ０００２ないしＰ０００４を選択したものとする。そして、適否判断の結果、画像ファイルＰ０００２およびＰ０００４は画像ファイルＰ０００１と組み合わせることが適当であるが、画像ファイルＰ０００３は画像ファイルＰ０００１と組み合わせることが不適であると判断された場合の表示部１０８への表示例を示したものである。

表示部１０８には、各画像ファイルＰ０００１ないしＰ０００４に対応する縮小画像が並べた状態で表示されており、比較画像ファイルＰ０００２ないしＰ０００４のそれぞれの近傍にはチェックボックスが表示されている。ユーザーは基準画像ファイルＰ０００１と組み合わせることが適当と判断された画像ファイル（図８で「組み合わせ可能」と表示されているファイル）の中から、立体視用画像を作成するのに用いる画像ファイルをチェックボックスにチェックを入れることで選択することができる。その上で、印刷ボタンを押すと立体視用画像の印刷を行うことができる。

ここでは、基準画像ファイルＰ０００１との組み合わせに適さないと判断された比較画像ファイルＰ０００３についてはチェックボックスを無効化（グレーアウト）した状態としているが、チェックボックスを有効化しておいてもよい。また、不適と判断された比較画像ファイルＰ０００３の縮小画像そのものを表示しないようにすることも可能である。チェックボックスへの入力やボタン操作については例えば表示部１０８のタッチパネル機能を利用すればよい。このような報知形態によれば、ユーザーはいくつかの画像の中で立体視用画像の原画像として適切な組み合わせを容易に把握することができる。そして、基準画像との組み合わせが適当であると判断された１以上の画像を選択するだけで、立体視用画像の作成に適した原画像をユーザーが容易に選択することが可能となる。なお、画像ファイルの選択方法や印刷処理の指令方法について、適宜他の形態を採用することも可能である。

また、上記実施形態では、用意した原画像ＩＬ，ＩＲにおいて縦位置のずれはないものとした。しかしながら、縦位置のずれを伴う原画像ＩＬ，ＩＲの組み合わせが立体視用画像としての組み合わせに適しているか否かを判断することも可能である。この場合、原画像ＩＬ，ＩＲを左右方向に相対的にシフトさせるだけではなく縦方向にも相対的にシフトさせて、２次元座標系の中で積算値の極小値を検出し、例えば極小値を示すときの左右方向（視差方向）におけるシフト量に基づいて適否判断すればよい。

また、上記実施形態では、各シフト量ごとの差分積算値を全て求めてから差分積算値の極小点を検出する手順としたが、極小点の検出を原画像ＩＬ，ＩＲを相対的にシフトさせるごとに順次行うようにしてもよい。

また、上記実施形態では、デジタルカメラ２００とともに印刷システムを構成する印刷装置１００上で本発明にかかる画像処理方法を実行しているが、本発明の適用対象はこれに限定されない。例えば単体のデジタルカメラやプリンター、携帯用端末機器、パーソナルコンピューター上などでも同様の画像処理方法を実行することが可能である。

本発明は、レンチキュラーレンズを介して立体視可能な立体視用画像を作成する際に適用可能である。

１００…印刷装置（画像処理装置）、 １０１…ＣＰＵ（適否判断手段）、 １０８…表示部（報知手段）、 １１３…プリンターエンジン（印刷手段）、 ＩＬ，ＩＲ…原画像、 ＩＶ…差分積算値（積算値）、 Ｄ1，Ｄ2，Ｄ3…離間距離、 Ｓ1，Ｓ2，Ｓ3…積算値が極小値を示すシフト量

Claims (7)

1. レンチキュラーレンズを介して立体視可能な立体視用画像を作成する画像処理装置において、
   互いに視差を有する第１原画像と第２原画像との間で互いに対応する対応点の位置関係に基づいて、前記立体視用画像の原画像としての前記第１原画像と前記第２原画像との組み合わせの適否を判断する適否判断手段と、
   前記適否判断手段による判断結果をユーザーに報知する報知手段と、
   を備え、
   前記適否判断手段は、一の対応点同士が互いに一致するように前記第１原画像と前記第２原画像とを重ねたときに、当該一の対応点以外の他の一の対応点同士の離間距離が前記レンチキュラーレンズに応じて予め設定された閾値よりも大きければ、前記第１原画像と前記第２原画像との組み合わせが不適と判断する
   ことを特徴とする画像処理装置。
2. 前記適否判断手段は、前記第１原画像に対して前記第２原画像をシフトさせたときに前記第１原画像と前記第２原画像とが互いに重なり合う領域において対応する画素の画素値の差の絶対値を積算した積算値を各シフト量ごとに求め、前記積算値が極小値を示す各シフト量の差を前記離間距離とする請求項１に記載の画像処理装置。
3. 前記適否判断手段は、前記積算値が最小の極小値を示すシフト量と２番目に小さい極小値を示すシフト量との差として求められる前記離間距離に基づいて前記適否を判断する請求項２に記載の画像処理装置。
4. 前記適否判断手段は、各極小値を示す各シフト量から求められる複数の前記離間距離のうち最大の離間距離に基づいて前記適否を判断する請求項２に記載の画像処理装置。
5. 前記報知手段は、前記適否判断手段により前記第１原画像と組み合わせることの適否が判断された前記第２原画像を当該判断結果とともに視覚的に表示する請求項１ないし４のいずれか１項に記載の画像処理装置。
6. 前記立体視用画像を印刷出力する印刷手段をさらに備える請求項１ないし５のいずれか１項に記載の画像処理装置。
7. レンチキュラーレンズを介して立体視可能な立体視用画像を作成する画像処理方法において、
   互いに視差を有する第１原画像と第２原画像との間で互いに対応する対応点の位置関係に基づいて、前記立体視用画像の原画像としての前記第１原画像と前記第２原画像との組み合わせの適否を判断する適否判断工程と、
   前記適否判断工程による判断結果をユーザーに報知する報知工程と、
   を備え、
   前記適否判断工程は、一の対応点同士が互いに一致するように前記第１原画像と前記第２原画像とを重ねたときに、当該一の対応点以外の他の一の対応点同士の離間距離が前記レンチキュラーレンズに応じて予め設定された閾値よりも大きければ、前記第１原画像と前記第２原画像との組み合わせが不適と判断する
   ことを特徴とする画像処理方法。

Images