JP4075782B2 - 離散的奥行きを有する画像に擬似的奥行きを付与する擬似的３次元画像生成装置、擬似的３次元画像生成方法及び擬似的３次元画像生成プログラム - Google Patents

Description

本発明は擬似的３次元画像の生成装置、生成方法、生成プログラム、及びプログラムを記録した記録媒体に関する。より具体的には、離散的奥行きを有する画像に連続的かつ滑らかな奥行きを付与する擬似的３次元画像生成装置、擬似的３次元画像生成方法、擬似的３次元画像生成プログラム、及びプログラムを記録した記録媒体に関する。

画像処理技術の発達に伴い、３次元画像の入力技術が盛んに研究されている。３次元画像の入力方法には、撮影対象の3次元画像を入力する方法としてステレオ法や光切断法など種々の方法があり、画像の用途や撮影対象の性質などにより使い分けられている。しかし、いずれの方法においても入力装置が高価であり大型であるという問題がある。

一方、離散的奥行きを有する画像を比較的容易に入力する方法が提案されている。例えば、フラッシュを発光させて撮影した画像と発光させないで撮影した画像を比較し、撮影対象の輝度の変化率を求め、その変化率が予め決めた閾値以上であればその撮影対象は近くにあり、その変化率が閾値より小さければ遠くにあると判定することによって、相対的にではあるが離散的奥行きを決定することが可能である。

このように離散的奥行きを有する画像を３次元画像表示装置に表示した場合、撮影対象の奥行きの変化が離散的であるため、いわゆる書割現象を生じ、見る者に不自然な印象を与えてしまうという問題がある。この問題を解決するため、離散的奥行きを有する画像に連続的で滑らかな奥行きを付与できればよい。

離散的奥行きを有する画像にレリーフ状の奥行きを付与する方法が提案されている。

例えば、背景部分と絵柄部分とからなる二値画像をモチーフとしたレリーフ模様を、コンピュータを利用して作成することができる。モチーフとなる二値画像はラスターデータまたは輪郭線データとして、コンピュータ内に用意される。この二値画像上に複数の基準線が定義され、この基準線に基いて万線が作成される。万線は、モチーフとなる二値画像の背景部分と絵柄部分との境界線で曲折するように作成される。この万線によってレリーフ模様を構成するようにすれば、元になったモチーフが視覚的に浮き出たように見える（例えば特許文献１参照）。

また、複数の画素からなる階調画像をモチーフとしたレリーフ模様を、コンピュータを利用して作成することができる。モチーフとなる階調画像は、濃度値が定義された画素の配列データとして、コンピュータ内に用意される。この階調画像に基づいて二値画像が作成され、この二値画像に基づいて画像に含まれる輪郭線を抽出することができる。また、階調画像上に複数の基準線が定義され、この基準線に基いて万線が作成される。作成された万線は、モチーフとなる階調画像に含まれる絵柄の部分では、その画素の濃度値に応じて曲折した線になる。この万線によってレリーフ模様を構成するようにすれば、もとになったモチーフが視覚的に浮き出たように見える（例えば特許文献２参照）。

また、線画をモチーフとして、滑らかな立体感をもったレリーフ模様を容易に作成することのできる方法が提案されている。この方法では、モチーフとなる線画はデジタルデータとして、コンピュータ内に用意される。この線画上には、複数の基準線が定義され、この基準線に基いて万線が作成される。万線は、モチーフとなる線画と交差する近傍において曲折するように作成される。この万線によってレリーフ模様を構成するようにすれば、もとになったモチーフが視覚的に浮き出たように見える。また、モチーフとなった線画が、互いに交差する複数の線のパターンを有する場合、各線の交差点付近において、各線についての万線の曲折状態が融和される処理が行われるため、立体感のあるレリーフ模様の作成が可能になる（例えば特許文献３、４、５参照）。

また、写真の任意の領域を指定し、指定した領域を切り取って書割状のアクセサリを作る方法が提案されている。この方法では、原写真シートの原写真画像より抽出された所望の抽出領域画像を有する写真シートを、原写真シートから切り取って、切取写真シートを作成する。原写真シートの前方、又は切り取った残りの残存領域画像を有する残存写真シートの前方に、写真シート同士を適宜離して保持するシート保持手段を介して前記切取写真シートを配置するとともに、原写真シートないし残存写真シート、シート保持手段、および切取写真シートから成る立体工作物を、少なくとも前面が透明体で構成されたケース内に収容した構成にしてある（例えば、特許文献６参照）。
特開平５−１２０４５０号公報 特開平５−１５８２０７号公報 特開平５−１５８２０８号公報 特開平５−１５８２０９号公報 特開平５−１５８２１０号公報 特開２０００−１５３７００号公報

これらの方法は、２次元画像からレリーフ模様を生成するものである。レリーフ模様は立体形状を２次元平面に表現した模様であり、万線の傾斜により奥行きを表現するものである。これらの方法でレリーフ模様を生成する際に基準線を密にすれば、画像全体の奥行きを生成することができる。

しかし、特許文献１記載の方法では、２段階の奥行きを有する画像にしか対応しておらず、多段階の奥行きを有する画像には対応できない。また、生成されるのは直線的に変化する奥行きであり、書割現象を生じる。レリーフ模様としては十分であっても、擬似３次元画像の奥行きとしては不十分である。

また、特許文献２記載の方法も同様に、２段階の奥行きを有する画像にしか対応しておらず、多段階の奥行きを有する画像には対応できない。また、凹凸がテクスチャの濃度に左右されるため、模様がない部分の奥行きは直線的となり、やはり書割現象を生じるおそれがある。逆に、格子縞のようにテクスチャの濃度が極端な変化を繰り返す部分は、連続的な奥行きとならず、見る者に不自然な印象を与える傾向がある。

また、特許文献３乃至５記載の方法では、線分に対してレリーフ模様をつけるため、輪郭部分のみが浮き上がってしまい不自然となる。

また、特許文献６記載の方法では、滑らかな立体感を表現できないという問題がある。

本発明は上記の課題を鑑みて発明されたものであり、滑らかな立体感を持ったレリーフ状の奥行きを容易に又は自動的に作成できる擬似的３次元画像生成装置、擬似的３次元画像生成方法、及び擬似的３次元画像生成プログラムを提供することを目的とする。

上記目的を達成するため、本発明による擬似的３次元画像生成装置は、離散的奥行きを有する画像に擬似的奥行きを付与する擬似的３次元画像生成装置であって、前記離散的奥行きを有する画像に含まれる画素であって離散的奥行きが等しくかつ隣接する画素を接続することによりオブジェクトを生成し、前記オブジェクトであって隣接するものがある場合にはこれを統合することにより統合オブジェクトを生成し、隣接するものがない場合には前記オブジェクトをそのまま統合オブジェクトとするオブジェクト生成手段と、前記統合オブジェクト上に線分を密に描く奥行き付与方法決定手段と、前記線分上で奥行き関数を定義することにより、前記線分上の画素に連続的かつ滑らかな奥行きを付与する擬似奥行き演算手段とが設けられたことを特徴とする。

本発明に係る擬似的３次元画像生成装置において、オブジェクト生成手段が生成した統合オブジェクトに対し、奥行き付与方法決定手段が各統合オブジェクトの中心または基準方向を決定し、決定した中心を始点とする放射線分または決定した基準方向の平行線分を、各統合オブジェクトを構成する画素を覆いつくすように描く。この操作により、オブジェクトを構成する画素は、少なくとも１本の放射線分または平行線分に対応付けられる。奥行き演算手段が、この放射線分または平行線分上で滑らかな連続関数（奥行き関数）を定義することにより、その関数値を各画素に連続的かつ滑らかな奥行きとして付与する。

各統合オブジェクトを構成する画素を１次元の放射線分または基準方向の平行線分上に位置づけることにより、滑らかな連続的奥行きの付与が容易になる。また、多段階の奥行きを有するオブジェクトに滑らかで連続的奥行きを付与することにより、オブジェクトにレリーフ状の奥行きを付与することができ、書割現象を防止し、より自然な立体感を見る者に与えることができる。

本発明を実施するための最良の形態を、図面を参照して説明する。
［第１の実施形態］
図１は、第１の実施形態に係る擬似的３次元画像生成装置の構成を示す図である。図１を参照して、第１の実施形態に係る擬似的３次元画像生成装置１００の概略を説明する。

図１に示した擬似的３次元画像生成装置１００には、入力部１１０、オブジェクト生成部１２０、奥行き付け方法決定部１３０、擬似奥行き演算部１４０、および出力部１５０が設けられている。入力部１１０は、離散的奥行きを有する画像１０が入力されると、必要に応じてその解像度を低下する。オブジェクト生成部１２０は、画像１０から離散的奥行きが等しい隣接する画素を抽出することによってオブジェクトを生成する。また、複数のオブジェクトが隣接していれば、そのオブジェクトを統合し、統合オブジェクトとする。なお、離散的奥行きが最も遠い画素、または所定の奥行きよりも奥行きが遠い画素は背景を構成する画素とされ、擬似的奥行き付与の対象からはずされる。また、背景に囲まれ隣接するオブジェクトがないオブジェクトは、そのまま統合オブジェクトとされる。

奥行き付け方法決定部１３０は、オブジェクト生成部１２０が生成した統合オブジェクト上に、中心を決定し、決定した中心を始点とし統合オブジェクトの輪郭線を終点とする密な放射線分を描く。放射線分はオブジェクトを構成する画素が少なくとも１本の放射線分上に乗るように描く。擬似奥行き演算部１４０は、奥行き付け方法決定部１３０が密に描いた放射線上で、オブジェクトの離散的奥行きに基づき、滑らかな連続関数（奥行き関数）を定義し、奥行き関数の関数値を放射線分上の画素に擬似的奥行きとして付与する。出力部１５０は、擬似奥行き演算部１４０により擬似的奥行きが付与された画像１０を、擬似的３次元画像として、例えばファイルや表示装置（図示せず）に出力する。

図２は、第１の実施形態に係る擬似的３次元画像生成装置１００の動作を示すフローチャートである。図２を参照しながら、擬似的３次元画像生成装置１００の各構成要素の機能及び動作についてさらに詳しく説明する。

ステップＳ１１において、入力部１１０は、離散的奥行きを有する画像１０を取り込む。画像１０の各画素は離散的奥行きを有している。ここで、「奥行き」とは、画像の奥行き方向の位置、即ち、画像を見る者の視線方向の遠近を表すものとする。奥行きが「近い」画素は見る者の近くにあり、奥行きが「遠い」画素は見る者から遠くにある。奥行きは具体的に遠近の距離を示すものでもよいし、相対的な遠近を数値化して示すものでもよい。「離散的奥行き」とは、この奥行きが離散的データであり連続的データではないものを意味する。

入力部１１０は必要に応じて、取り込んだ画像１０の解像度を低下させてもよい。例えば、画像を構成する全画素のうち、縦横方向において１画素おきに処理すべき画素を選べば、解像度は１／４となる。解像度を低下させることにより、擬似的３次元画像生成装置１００が処理するデータの計算量を減少することができる。したがって、処理能力の小さい中央演算装置（ＣＰＵ）を利用して、本発明に係る擬似的３次元画像生成装置を実現することができる。入力部１１０は解像度低下手段に対応する。

ステップＳ１２において、オブジェクト生成部１２０は、入力部１１０から転送された画像１０からオブジェクトを生成する。オブジェクトの生成は、例えば、画像１０に含まれる画素のうち離散的奥行きが等しくかつ隣接する画素を抽出し、オブジェクトの構成要素として登録することにより行う。なお、離散的奥行きが最も遠い画素、または所定の奥行きよりも奥行きが遠い画素は背景を構成する画素とし、擬似的奥行きは付与しない。

ステップＳ１３において、オブジェクト生成部１２０は、生成したオブジェクトであって隣接する複数のオブジェクトがある場合、その複数のオブジェクトを統合して、統合オブジェクトを生成する。統合オブジェクトは、その内部に離散的奥行きが異なる複数の領域を有するものである。また、隣接するオブジェクトがない孤立したオブジェクトも、単独で統合オブジェクトを構成するものとしてもよい。孤立したオブジェクトからなる統合オブジェクトは、離散的奥行きが等しい画素からなる単一の領域のみを有するものである。統合オブジェクトの生成は、例えば、隣接する複数のオブジェクトをひとつの統合オブジェクトとして登録することにより行う。

図３を参照して、ステップＳ１２及びＳ１３で統合オブジェクトが生成されるまでの過程を説明する。図３は、第１の実施形態において、オブジェクトの生成・統合を説明するための図であり、離散的奥行きを有する画像１０の中に、離散的奥行きが等しく隣接する画素からなる領域１１〜１８が示されている。オブジェクト生成部１２０は、例えば、離散的奥行きが相等しく、かつ隣接する画素から構成されている領域１１を抽出し、オブジェクト１１とする。また、離散的奥行きが相等しく、かつ隣接する画素から構成されている領域１２を抽出し、オブジェクト１２とする。ただし、オブジェクト１１を構成する画素の離散的奥行きとオブジェクト１２を構成する画素の離散的奥行きとは相違しているため、オブジェクト１１及び１２は２つの異なるオブジェクトである。

オブジェクト生成部１２０は、ステップＳ１３において、さらにオブジェクト１１及び１２が隣接しているので、隣接しているオブジェクト１１及び１２を統合し、１つの統合オブジェクトを生成する。以下の説明では、オブジェクト１１及び１２が統合されて生成された統合オブジェクトを、統合オブジェクト（１１、１２）と呼ぶ。統合オブジェクト（１１、１２）はその内部に離散的奥行きが異なる２つの領域１１、１２を有している。同様に、オブジェクト生成部１２０は、領域１３〜１６を抽出し、オブジェクト１３〜１６を生成する。これらは隣接するので、統合して統合オブジェクト（１３、１４、１５、１６）を生成する。ここで、例えば、オブジェクト１５及びオブジェクト１６は直接的には隣接していないが、オブジェクト１３を経由して間接的に隣接しているため、統合オブジェクト（１３、１４、１５、１６）として統合される。

領域１８は、画像１０に含まれる画素のうち離散的奥行きが最も遠い画素であるか、又は所定の奥行きよりも遠い画素の集まりである。領域１８は背景１８として奥行き付与の対象とはされない。

オブジェクト１７は背景１８の中に孤立したオブジェクトである。孤立したオブジェクトは他のオブジェクトと統合されずに、単独で統合オブジェクト１７としてもよい。従って、統合オブジェクト１７は、単一の離散的奥行きを有する画素からなる。オブジェクト１７はドーナツ形状をしており、その内側は背景１８である。

ステップＳ１４及びＳ１５において、奥行き付け方法決定部１３０は、画像１０の各統合オブジェクトに擬似的奥行きを付与する方法を決定する。擬似的奥行きを付与する方法には、種々の方法がある。第１の実施形態においては、各統合オブジェクトの中心を決定し、決定した中心を始点、統合オブジェクトの輪郭線を終点とする複数の放射線分を描く方法を使用する。

具体的には、ステップＳ１４において、奥行き付け方法決定部１３０は、画像１０の各統合オブジェクトの中心を求める。そして、ステップＳ１５において、ステップＳ１４で求めた中心を始点とし、統合オブジェクトの輪郭線を終点とする放射線分を密に描く。

図４は、第１の実施形態において、各統合オブジェクトの中心を求め放射線分を描く動作を説明するための図である。図４において、統合オブジェクト（１１、１２）、（１３、１４、１５、１６）、及び１７の中心がそれぞれ「×」印で示されている。また、統合オブジェクト（１１、１２）、（１３、１４、１５、１６）及び１７の中心を始点とする放射線分２１、２２、２３が描かれている。ここで、「描く」とは、統合オブジェクトを構成する画素と放射線分とを対応させることを意味し、必ずしも統合オブジェクト上に物理的に放射線分を描く必要はない。

オブジェクトの中心の定義方法には多くの種類がある。例えば、オブジェクトの画像中心、オブジェクトの垂直分割線の中点、オブジェクトの重心である。図５は、オブジェクトの中心を決定する方法を説明するための図である。図５（ａ）は、中心を求めようとしているオブジェクト５０の形状を示す。図５（ｂ）は、オブジェクト５０の画像中心５１の求め方を説明するための図である。画像中心５１は、オブジェクト５０を囲む最小の矩形の対角線の交点５１として求めることができる。図５（ｃ）は、オブジェクト５０の垂直分割線の中点５２の求め方を説明するための図である。オブジェクト５０の垂直分割線は、オブジェクト５０を水平方向に切る水平線分の中点の集合である。垂直分割線の中点５２をオブジェクト５０の中心とする。図５（ｄ）は、オブジェクト５０の重心の求め方を説明するための図である。重心は、オブジェクト５０を構成する画素の位置の平均値として求めることができる。

必要に応じて、適当な中心を選択して使用すればよい。また、すべての統合オブジェクトについて、特定種類の中心を使用してもよいし、各統合オブジェクトについて、使用する中心の種類を変えてもよい。

使用する中心の種類を選択する場合、オペレータが選択できるようにしてもよいし、例えば、統合オブジェクトの特徴量を基準として自動的に選択されるようにしてもよい。特徴量とは、統合オブジェクトの特徴を示す数値であり、例えば円形度、面積、長さ、対称性などがある。円形度は統合オブジェクトの面積と周囲長の比によって、その統合オブジェクトの形状の複雑さを判定する数値であり、具体的には
特徴量（円形度） ｅ＝４π×（面積）÷（周囲長）
で定義される。但し、πは円周率である。円形度は、円の場合に最大値１となる。正方形の場合、円形度は０．７９となる。

例えば、統合オブジェクトの円形度に基づいてその統合オブジェクトに適用する中心の種類を変えることができる。円形度が０．７以上のものには画像中心を使用し、０．７未満のものには重心を使用するなど、特徴量の範囲によって使用する中心の種類を変えることもできる。

ステップ１６において、擬似奥行き演算部１４０は、この放射線分上の各画素に奥行きを付与するため、この放射線分に沿って滑らかな連続関数（奥行き関数）を適当に決定し、奥行き関数の関数値に基づき放射線分上の画素に奥行きを付与する。

図６は、画像１０の統合オブジェクト（１３、１４、１５、１６）の放射線分２２上で定義された奥行き関数３２を説明するための図である。図６において、他の統合オブジェクト（１１，１２）および１７の図示は省略されている（図７、８においても同様である）。統合オブジェクト（１３、１４、１５、１６）の離散的奥行きは、放射線分２２上のＡ１に対応する位置（始点）においてＹ１であり、Ａ２、Ａ３、及びＡ４に対応する位置において、それぞれＹ１からＹ２、Ｙ２からＹ３、Ｙ３から背景１８の奥行きに変化している。換言すると、離散的奥行きは、放射線分２２上のＡ１とＡ２の間の領域でＹ１、Ａ２とＡ３の間の領域でＹ２，Ａ３とＡ４の間の領域でＹ３である。

ここで、放射線分２２上で奥行き関数３２を定義するため、奥行き関数３２が通過すべき通過点Ｐ１、Ｐ２、Ｐ３、Ｐ４を放射線分２２上で指定する。通過点は、離散的奥行きを代表する放射線分２２上の特定の位置を決めることにより指定することができる。例えば、通過点Ｐ１は放射線分２２上の位置Ａ１で、Ｙ１の奥行きを有する点である。通過点Ｐ２は位置Ａ２とＡ３の中点で、Ｙ２の奥行きを有する点である。通過点Ｐ３は位置Ａ３とＡ４の中点で、Ｙ３の奥行きを有する点である。通過点Ｐ４は位置Ａ４で、背景１８の奥行きを有する点である。通過点は、必ずしも中点とする必要はなく、Ａ２とＡ３の間、またはＡ３とＡ４の間の任意の点とすることも可能である。

さらにステップＳ１６において、擬似奥行き演算部１４０は、指定した通過点Ｐ１、Ｐ２、Ｐ３、Ｐ４を通る滑らかな連続関数を決定し、奥行き関数とする。滑らかな連続関数としては、例えばベジェ曲線、Ｂ−スプライン曲線、高次関数（通過点の個数分の次数をもつもの）が使用できるが、これらに限定されるものではない。ベジェ曲線を使用した場合、最も滑らかな奥行き関数が得られるが、計算負荷は大きくなる。

奥行き関数３２の関数値を放射線分２２上の画素の擬似的奥行きとする。放射線分は統合オブジェクト（１３、１４、１５、１６）を構成するすべての画素の上を通るように密に描かれる。ここで「密に描く」とは、統合オブジェクト（１３、１４、１５、１６）を構成するすべての画素が少なくとも１本の放射線分に乗るような密度で、放射線分を描くことを意味する。１本１本の放射線分上で奥行き関数を定義することにより、統合オブジェクト（１３、１４、１５、１６）を構成するすべての画素に擬似的奥行きを付与することができる。

統合オブジェクト上に放射線分を密に描き、各放射線分上で奥行き関数を定義することで、離散的奥行きを有する画像に連続的な奥行きを付与できる。したがって、書割のような不自然さがなくなり、滑らかな立体感をもったレリーフ状の擬似３次元画像を容易に作成できる。自動化も可能である。

上記の通り、放射線分２２が、始点から終点までの間に、離散的奥行きが異なる領域を通過するたびに１つの通過点を指定してもよいが、統合オブジェクトの離散的奥行きが異なる領域の一部において、通過点の指定を省略することも可能である。図７は、通過点の指定を省略して擬似的奥行きを付与する場合を説明するための図である。図７において、統合オブジェクト（１１，１２）及び１７は省略されている（図８においても同様である）。例えば、放射線分２２上のＡ３とＡ４の間の通過点（図６のＰ３に相当するもの）は省略されている。そのため、奥行き関数３３の形状は図６に示した奥行き関数３２の形状と異なる。通過点の指定を省略することにより、奥行き関数は統合オブジェクトの離散的奥行きの変化を忠実に表さなくなるが、計算負荷を削減することができる。

オブジェクトの中心を含み、幅をもった中心領域に、最も近い奥行きを付与することもできる。図８は、オブジェクト（１３，１４，１５，１６）の中心を始点とする放射線分２２上において、始点から終点方向に３０％の長さに相当する領域にある画素に最も近い奥行きＹ１を付与する場合を示す図である。図８に示す奥行き関数３４は、始点に対応するＣ１から終点に対応するＣ６までの距離の３０％の範囲（Ｃ１〜Ｃ３）で一定値Ｙ１であり、この範囲が最も近い位置にあることを示している。ここで中心領域とは、奥行き関数１３が一定であるオブジェクト内の領域をいう。

幅をもった中心領域に最も近い奥行きを付与することにより、レリーフ状の立体形状を出力する際に統合オブジェクトをより飛び出させることになり、立体感を強調できる。また複数の奥行きの相違する統合オブジェクトがある場合に、距離の近いオブジェクトのみにこの処理を施すことにより、その統合オブジェクトを強調できる。

なお、図８において、放射線分２２は、Ｃ４において統合オブジェクト（１３、１４、１５、１６）から背景１８に入り、Ｃ５において再び背景１８から統合オブジェクト（１３、１４、１５、１６）に入っている。この場合、画素の離散的奥行きは、Ｃ４とＣ５の間において背景１８の奥行きと等しくなる。かかる場合にＣ４とＣ５の間における背景１８の奥行きを奥行き関数の計算に使うと、付与される奥行きが急峻になり、見る者に不自然な印象を与えることがある。そこで、Ｃ４とＣ５の間には通過点を指定せずに、奥行き関数３４を決定してもよい。

奥行き関数に基づいて擬似的奥行きを付与した画像１０を、ローパスフィルタを用いてより滑らかにしてもよい。図９はローパスフィルタの一例を示す図である。図９のローパスフィルタは、各画素の奥行きを、その画素を中心とする周辺７×７画素の奥行きの平均値とするものである。即ち、７×７画素に含まれるすべての画素の奥行きにそれぞれ１／４９をかけ、足し合わせた結果を、中心の画素の奥行きとする。ここで、ローパスフィルタのサイズは任意だが、例えば画像全体の面積の０．０５〜０．１％程度の比較的大きいサイズのローパスフィルタを使用した方が、処理結果が滑らかとなる。

また計算量を減らすために、ローパスフィルタを画像全体ではなく一部の領域のみに掛けてもよい。例えばローパスフィルタを掛ける領域を、統合オブジェクトの内部のみ、統合オブジェクトの輪郭線のみ、統合オブジェクトの輪郭線とその近傍数画素のみなどの領域から選択できるようにすればよい。また領域ごとに使用するローパスフィルタのサイズや形状を変えてもよい。例えば、オブジェクトの内部のみにローパスフィルタを掛ける場合、オブジェクトの縦横方向のサイズの１／４のサイズをもつ矩形のローパスフィルタを使用する方法がある。

奥行き関数に基づいて擬似的奥行きを付与しただけでは得られない、より滑らかな擬似３次元画像を実現できる。
［第２の実施形態］
第２の実施形態を説明する。第２の実施形態に係る擬似的３次元画像生成装置の構成は、図１に示した第１の実施形態に係る擬似的３次元画像生成装置の構成と基本的に同じである。相違点は、第２の実施形態に係る擬似的３次元画像生成装置の奥行き付け方法決定部１３０が、各オブジェクトの基準方向を決定し、決定した基準方向の平行線分を描くことである。

図１０は、第２の実施形態に係る擬似３次元画像生成装置の処理を示すフローチャートである。ステップＳ２１において、入力部１１０は、離散的奥行きを有する画像１０を取り込む。このステップＳ２１で、画像１０の解像度を低下させてもよいことは、第１の実施形態と同様である。ステップＳ２２において、オブジェクト生成部１２０は、画像１０のうち離散的奥行きが等しくかつ隣接する画素を抽出し、オブジェクトを生成する。

ステップＳ２３において、生成したオブジェクトのうち隣接する複数のオブジェクトがあれば、それらを統合することにより、統合オブジェクトを生成する。ステップＳ２４において、奥行き付け方法決定部１３０は、各統合オブジェクトの基準方向を決定する。ステップＳ２５において、基準方向の平行線が統合オブジェクトの輪郭線と最初に交わる点を始点、最後に交わる点を終点とする平行線分を密に描く。ここで、「密に描く」とは、統合オブジェクトを構成する画素を覆いつくすような線分の集合を決定し、各画素を少なくとも一本の線分に対応させることを意味し、必ずしも物理的に線分を描く必要はない。

図１１（ａ）、１１（ｂ）は、画像１０の基準方向を決定する動作を説明するための図である。図１１（ａ）は、画像１０の特定方向をあらかじめ基準方向として決定しておく場合を示す図である。この場合、画像１０に含まれるすべての統合オブジェクト（１１、１２）、（１３、１４、１５、１６）、及び１７の基準方向は同一の方向と決められている。また、別の実施形態においては、図１１（ｂ）に示すように、各統合オブジェクトの基準方向は、オブジェクトごとに異なる方向としてもよい。その際、第１の実施形態において説明したのと同様に、各統合オブジェクトの特徴量に基づき決定してもよい。図１１（ｂ）の場合、統合オブジェクト（１３、１４、１５、１６）の基準方向は、その特徴量の一種であるオブジェクトの長さを基準として決められている。統合オブジェクト（１３、１４、１５、１６）は縦方向に長いので、それと直行する水平方向をやはり基準方向としたものである。

図１２は、第２の実施形態において各統合オブジェクトに平行線分を密に描く動作を説明するための図である。図１２において、画像１０に含まれる統合オブジェクト（１１，１２）、（１３、１４，１５，１６）及び１７の基準方向はすべて水平方向である。例えば、統合オブジェクト（１３、１４、１５、１６）において、水平方向の平行線は、平行線分６２の左端の点（始点）Ｓ１で統合オブジェクト（１３、１４、１５、１６）の輪郭線と最初に交わり、平行線分６２の右端の点（終点）Ｓ２で統合オブジェクト（１３、１４、１５、１６）の輪郭線と最後に交わっている。平行線分の始点と終点をあわせて端点と呼ぶ。このような平行線分を、少なくとも１本の平行線分が、統合オブジェクト（１３、１４、１５、１６）を構成するすべての画素を通るような密度で描けばよい。

図１０に戻って、ステップＳ２６において、擬似奥行き演算部１４０は、ステップＳ２５において密に描かれた平行線分上の各画素に擬似的奥行きを付与するため、平行線分上で滑らかな連続関数（奥行き関数）を決定する。

図１３は、画像１０の統合オブジェクト（１３，１４，１５，１６）の平行線分６２上で定義された奥行き関数７２を説明するための図である。図１３において、その他の統合オブジェクト（１１，１２）及び１７は、図示を省略されている（図１４、１５においても同様である）。統合オブジェクト（１３，１４，１５，１６）の離散的奥行きは、水平線分６２上のＤ１（始点に対応する）、Ｄ２、Ｄ３、Ｄ４、Ｄ５（終点に対応する）に対応する位置において、それぞれ背景１８の奥行きからＹ２、Ｙ２からＹ１、Ｙ１からＹ２、Ｙ２からＹ３、Ｙ３から背景１８の奥行きに変化している。換言すると、離散的奥行きは、平行線分６２上において、Ｄ１とＤ２の間の領域でＹ２、Ｄ２とＤ３の間の領域でＹ１、Ｄ３とＤ４の間の領域でＹ２、Ｄ４とＤ５の間の領域でＹ３である。

ここで、平行線分６２上で奥行き関数７２を定義するため、奥行き関数７２が通過すべき通過点Ｒ１、Ｒ２、Ｒ３、Ｒ４、Ｒ５、Ｒ６を平行線分６２上で指定する。通過点は離散的奥行きを代表する平行線分６２上の特定の位置を決めることにより指定することができる。例えば、通過点Ｒ１は平行線分６２上の位置Ｄ１で、背景１８の奥行きを有する点である。通過点Ｒ２は位置Ｄ１とＤ２の中点で、Ｙ２の奥行きを有する点である。通過点Ｒ３は位置Ｄ２とＤ３の中点で、Ｙ１の奥行きを有する点である。通過点Ｒ４は位置Ｄ３とＤ４の中点で、Ｙ２の奥行きを有する点である。通過点Ｒ５は位置Ｄ４とＤ５の中点で、Ｙ３の奥行きを有する点である。

さらにステップＳ２６において、擬似奥行き演算部１４０は、指定した通過点Ｒ１、Ｒ２、Ｒ３、Ｒ４、Ｒ５、Ｒ６を通る滑らかな連続関数を決定し、奥行き関数とする。滑らかな連続関数としては、第１の実施形態と同様に、例えばベジェ曲線、Ｂ−スプライン曲線、高次関数（通過点の個数分の次数をもつもの）が使用できるが、これらに限定されるものではない。

奥行き関数７２の関数値を平行線分６２上の画素の擬似的奥行きとする。平行線分は統合オブジェクト（１３、１４、１５、１６）を構成するすべての画素の上を通るように密に描かれる。１本１本の放射線分上で奥行き関数を定義することにより、統合オブジェクト（１３、１４、１５、１６）を構成するすべての画素に擬似的奥行きを付与することができる。

統合オブジェクト上に平行線分を密に描き、密に描かれた各平行線分上で奥行き関数を定義することで、離散的奥行きを有する画像に連続的な奥行きを付与できる。したがって、書割のような不自然さがなくなり、滑らかな立体感をもったレリーフ状の擬似３次元画像を容易に作成できる。自動化も可能である。

上記の通り、平行線分６２が、始点から終点までの間に、離散的奥行きが異なる領域を通過するたびに１つの通過点を指定してもよいが、統合オブジェクトの離散的奥行きが異なる領域の一部において、通過点の指定を省略することも可能である。図１４は、通過点の指定を省略して擬似的奥行きを付与する場合を説明するための図である。図１４において、統合オブジェクト（１１、１２）及び１７は図示を省略した（図１５においても同様である）。例えば統合オブジェクト（１３，１４，１５，１６）の平行線分６２上において、Ｄ４とＤ５の間の通過点（図１３のＲ５に相当するもの）は省略されている。そのため、奥行き関数７３の形状は図１３に示した奥行き関数７２の形状と異なる。通過点の指定を省略することにより、奥行き関数が統合オブジェクト内の離散的奥行きの変化を忠実に表さなくなるが、計算負荷を削減することができる。

統合オブジェクトの中心を含み、幅をもった中心領域に、最も近い奥行きを付与することもできる。図１５は、統合オブジェクト（１３、１４、１５、１６）の平行線分６２上において、平行線分６２の３０％の長さに相当する中心領域を構成する画素に、最も近い奥行きＹ１を付与する場合を示す図である。図１５に示す奥行き関数７４は、平行線分６２の３０％の長さに相当するＥ１とＥ２の間の領域（中心領域）で一定値Ｙ１であり、この範囲が最も近い位置にあることを示している。ここで中心領域とは、奥行き関数７４が一定である統合オブジェクト内の領域をいう。

幅をもった中心領域に最も近い奥行きを付与することにより、レリーフ状の立体形状を出力する際に統合オブジェクトをより飛び出させることになり、立体感を強調できる。また複数の奥行きの相違する統合オブジェクトがある場合に、距離の近い統合オブジェクトのみにこの処理を施すことにより、その統合オブジェクトを強調できる。

第１の実施形態と同様に、奥行き関数に基づいて擬似的奥行きを付与した画像１０を、図９に示したローパスフィルタを用いてより滑らかにしてもよい。擬似的奥行きを付与した画像にローパスフィルタをかければ、奥行き関数で奥行きを付与しただけでは得られないより滑らかな擬似３次元画像を実現できる。

なお、奥行き付け方法決定部１３０は、一つの画像１０内において、統合オブジェクトごとに第１の実施形態に係る放射線分による奥行き付け方法と第２の実施形態に係る平行線分による奥行き付け方法とを混在して使用してもよい。各統合オブジェクトの奥行き付け方法は、その特徴量により決定してもよく、オペレータが選択してもよい。

第１及び第２の実施形態に係る擬似的３次元画像装置は、コンピュータ及びそれで実行するプログラムとして実現可能である。そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも可能である。
［第３の実施形態］
第３の実施形態に係る擬似３次元画像生成システムについて説明する。

図１６は、第３の実施形態に係る擬似３次元画像生成システム２００の構成を示すブロック図である。擬似３次元画像生成システムとは、例えばデジタルカメラであり、単体のデジタルカメラだけでなく、携帯電話、パーソナルデータアシスタント（ＰＤＡ）、パーソナルコンピュータ（ＰＣ）等に組み込まれたものでもよい。図１６の擬似３次元画像生成システム２００は、撮像部２１０、画像記憶部２２０、離散的奥行き画像生成部２３０、擬似的奥行き画像生成部２４０、表示部２５０、及び照明部２６０から構成される。

照明部２６０は、例えば、制御部（図示せず）からの制御信号に応じて撮影対象を照明するフラッシュである。撮像部２１０は、例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサを含み、制御部（図示せず）からの制御信号に応じて、撮影対象の画像をデータとして取り込む。画像記憶部２２０は、複数の画像を格納する複数のフレームメモリ（図示せず）から構成され、撮像部２１０により取り込まれた画像が格納される。離散的奥行き画像生成部２３０は、画像記憶部２２０のフレームメモリに格納された画像を処理し、離散的奥行きが付与された画像を生成する。生成された離散的奥行きを有する画像は、擬似的奥行き画像生成部２４０に送られる。擬似的奥行き画像生成部２４０は、例えば本発明の第１又は第２の実施形態に係る擬似３次元画像生成装置である。入力された離散的奥行きを有する画像に連続的かつ滑らかな奥行きを付与する。連続的かつ滑らかな奥行きを付与された画像は、表示部２５０に表示される。表示部２５０は、例えば真の３次元ディスプレイ装置である。

擬似的３次元画像生成システム２００により、撮影対象の２次元画像を取り込み、擬似的奥行き画像生成部２４０において、取り込まれた２次元画像に連続的で滑らかな奥行きを付与することができる。したがって、見る者に滑らかな立体感を与えるレリーフ状の奥行きを有する擬似３次元画像を容易に生成することができる。

以上、本発明の実施の形態を説明した。本発明は上記の具体的に開示された実施例に限定されず、本発明の範囲から逸脱することなく様々な変形、改良が可能であろう。

離散的奥行きを有する画像から擬似的３次元画像を容易に生成できる擬似的３次元画像生成装置を作ることができる。また、撮影対象を撮影して擬似的３次元画像を出力できる擬似的３次元画像生成システムを作ることができる。

第１の実施形態に係る擬似的３次元画像生成装置の構成を示すブロック図である。 第１の実施形態に係る擬似的３次元画像生成装置の動作を示すフローチャートである。 第１の実施形態においてオブジェクトを生成・統合する動作を説明するための図である。 第１の実施形態において各統合オブジェクトの中心を決定する動作を説明するための図である。 第１の実施形態において統合オブジェクトの中心を決定する方法を説明するための図である。 第１の実施形態において放射線上の画素に擬似的奥行きを付与する方法を説明するための図である。 図６において通過点を省略して擬似的奥行きを付与する場合を説明するための図である。 図６において始点からの距離が所定割合の画素に最も近い奥行きを付与する場合を説明するための図である。 第１の実施形態において付与した擬似的奥行きをさらに滑らかにするために使用するローパスフィルタの一例を示す図である。 第２の実施形態に係る擬似的３次元画像生成装置の動作を示すフローチャートである。 第２の実施形態において各統合オブジェクトの基準方向を決定する動作を説明するための図である。 第２の実施形態において各統合オブジェクトに平行線を描く動作を説明するための図である。 第２の実施形態において平行線上の画素に擬似的奥行きを付与する方法を説明するための図である。 図１３において通過点を省略して擬似的奥行きを付与する場合を説明するための図である。 図１３において平行線の中点からの距離が所定割合の画素に最も近い奥行きを付与する場合を説明するための図である。 第３の実施形態に係る擬似的３次元画像生成システムの構成を示すブロック図である。

符号の説明

１０ 離散的奥行きを有する画像
１１、１２、１３ オブジェクト
１４、１５、１６ オブジェクト
１７ オブジェクト
１８ 背景
２１、２２、２３ 放射線分
６２ 平行線分
３２、３３、３４ 奥行き関数
７２、７３ 奥行き関数
５０ オブジェクト形状例
５１ 交点
５２ 中点
１００ 擬似的３次元画像生成装置
１１０ 入力部
１２０ オブジェクト生成部
１３０ 奥行き付け方法決定部
１４０ 擬似奥行き演算部
１５０ 出力部
２００ 擬似的３次元画像生成システム
２１０ 撮像部
２２０ 画像記憶部
２３０ 離散的奥行き画像生成部
２４０ 擬似的奥行き画像生成部
２５０ 表示部
２６０ 照明部

Claims (26)

1. 離散的奥行きを有する画像に擬似的奥行きを付与する擬似的３次元画像生成装置であって、
   前記離散的奥行きを有する画像に含まれる画素であって離散的奥行きが等しくかつ隣接する画素を接続することによりオブジェクトを生成し、前記オブジェクトであって隣接するものがある場合にはこれを統合することにより統合オブジェクトを生成し、隣接するものがない場合には前記オブジェクトをそのまま統合オブジェクトとするオブジェクト生成手段と、
   前記統合オブジェクトの特徴量に基づき中心の種類を選択し、前記統合オブジェクトの中心を求め、前記中心を始点とし前記統合オブジェクトの輪郭線を終点とする放射線分を密に描く奥行き付与方法決定手段と、
   前記線分上で奥行き関数を定義することにより、前記線分上の画素に連続的かつ滑らかな奥行きを付与する擬似奥行き演算手段と
   が設けられた擬似的３次元画像生成装置。
2. 請求項１記載の擬似的３次元画像生成装置であって、
   さらに前記離散的奥行きを有する画像を取得し解像度を低下させる解像度低下手段が設けられた擬似的３次元画像生成装置。
3. 請求項１又は２記載の擬似的３次元画像生成装置であって、
   前記中心は統合オブジェクトの画像中心、垂直分割線の中点、及び重心のいずれか一つであることを特徴とする擬似的３次元画像生成装置。
4. 請求項１乃至３いずれか一項記載の擬似的３次元画像生成装置であって、
   前記オブジェクト生成手段は、離散的奥行きが所定の奥行きより遠い画素を背景とすることを特徴とする擬似的３次元画像生成装置。
5. 請求項１乃至４いずれか一項記載の擬似的３次元画像生成装置であって、
   前記擬似奥行き演算手段は、前記線分が前記統合オブジェクトの離散的奥行きが異なる領域を通過するとき、通過する領域の一部または全てにおいて領域内に通過点を設定し、前記通過点を通る滑らかな連続関数を奥行き関数とすることを特徴とする擬似的３次元画像生成装置。
6. 請求項５記載の擬似的３次元画像生成装置であって、
   前記擬似奥行き演算手段は、前記線分が通過する前記統合オブジェクトの離散的奥行きが異なる領域の一部または全てにおいて領域の中点を前記通過点として設定し、前記線分が通過する前記統合オブジェクトの輪郭線上にある画素に最も遠い奥行きを付与することを特徴とする擬似的３次元画像生成装置。
7. 請求項１乃至６いずれか一項記載の擬似的３次元画像生成装置であって、
   前記擬似奥行き演算手段は、前記統合オブジェクトの中心領域の画素に最も近い奥行きを付与することを特徴とする擬似的３次元画像生成装置。
8. 請求項１乃至７いずれか一項記載の擬似的３次元画像生成装置であって、
   前記擬似奥行き演算手段は、ローパスフィルタを用いて、付与した奥行きデータを平滑化することを特徴とする擬似的３次元画像生成装置。
9. 離散的奥行きを有する画像に擬似的奥行きを付与する擬似的３次元画像生成方法であって、
   オブジェクト生成手段が、前記離散的奥行きを有する画像に含まれる画素であって離散的奥行きが等しくかつ隣接する画素を接続することによりオブジェクトを生成し、前記オブジェクトであって隣接するものがある場合にはこれを統合することにより統合オブジェクトを生成し、隣接するものがない場合には前記オブジェクトをそのまま統合オブジェクトとするオブジェクト生成過程と、
   奥行き付与方法決定手段が、前記統合オブジェクトの特徴量に基づき中心の種類を選択し、前記統合オブジェクトの中心を求め、前記中心を始点とし前記統合オブジェクトの輪郭線を終点とする放射線分を密に描く奥行き付与方法決定過程と、
   擬似奥行き演算手段が、前記線分上で奥行き関数を定義することにより、前記線分上の画素に連続的かつ滑らかな奥行きを付与する擬似奥行き演算過程と
   を有する擬似的３次元画像生成方法。
10. 請求項９記載の擬似的３次元画像生成方法であって、
    さらに、解像度低下手段が、前記離散的奥行きを有する画像を取得し解像度を低下させる解像度低下過程を有する擬似的３次元画像生成方法。
11. 請求項９又は１０記載の擬似的３次元画像生成方法であって、
    前記中心は統合オブジェクトの画像中心、垂直分割線の中点、及び重心のいずれか一つであることを特徴とする擬似的３次元画像生成方法。
12. 請求項９乃至１１いずれか一項記載の擬似的３次元画像生成方法であって、
    前記オブジェクト生成過程はさらに、離散的奥行きが所定の奥行きより遠い画素を背景とする過程を含むことを特徴とする擬似的３次元画像生成方法。
13. 請求項９乃至１２いずれか一項記載の擬似的３次元画像生成方法であって、
    前記擬似奥行き演算過程はさらに、前記線分が前記統合オブジェクトの離散的奥行きが異なる領域を通過するとき、通過する領域の一部または全てにおいて領域内に通過点を設定する過程と、前記通過点を通る滑らかな連続関数を奥行き関数とする過程を含むことを特徴とする擬似的３次元画像生成方法。
14. 請求項１３記載の擬似的３次元画像生成方法であって、
    前記擬似奥行き演算過程は、さらに、前記線分が通過する前記統合オブジェクトの離散的奥行きが異なる領域の一部または全てにおいて領域の中点を前記通過点として設定する過程を含み、さらに、前記線分が通過する前記統合オブジェクトの輪郭線上にある画素に最も遠い奥行きを付与する過程を含むことを特徴とする擬似的３次元画像生成方法。
15. 請求項９乃至１４いずれか一項記載の擬似的３次元画像生成方法であって、
    前記擬似奥行き演算過程は、さらに、前記統合オブジェクトの中心領域の画素に最も近い奥行きを付与する過程を含むことを特徴とする擬似的３次元画像生成方法。
16. 請求項９乃至１５いずれか一項記載の擬似的３次元画像生成方法であって、
    前記擬似奥行き演算過程は、さらに、ローパスフィルタを用いて、付与した奥行きデータを平滑化する過程を含むことを特徴とする擬似的３次元画像生成方法。
17. 離散的奥行きを有する画像に擬似的奥行きを付与する擬似的３次元画像生成プログラムであって、コンピュータを、
    前記離散的奥行きを有する画像に含まれる画素であって離散的奥行きが等しくかつ隣接する画素を接続することによりオブジェクトを生成し、前記オブジェクトであって隣接するものがある場合にはこれを統合することにより統合オブジェクトを生成し、隣接するものがない場合には前記オブジェクトをそのまま統合オブジェクトとするオブジェクト生成手段と、
    前記統合オブジェクトの特徴量に基づき中心の種類を選択し、前記統合オブジェクトの中心を求め、前記中心を始点とし前記統合オブジェクトの輪郭線を終点とする放射線分を密に描く奥行き付与方法決定手段と、
    前記線分上で奥行き関数を定義することにより、前記線分上の画素に連続的かつ滑らかな奥行きを付与する擬似奥行き演算手段と
    して機能させることを特徴とする擬似的３次元画像生成プログラム。
18. 請求項１７記載の擬似的３次元画像生成プログラムであって、コンピュータをさらに前記離散的奥行きを有する画像の解像度を低下させる解像度低下手段として機能させることを特徴とする擬似的３次元画像生成プログラム。
19. 請求項１７又は１８記載の擬似的３次元画像生成プログラムであって、
    前記中心は統合オブジェクトの画像中心、垂直分割線の中点、及び重心のいずれか一つであることを特徴とする擬似的３次元画像生成プログラム。
20. 請求項１７乃至１９いずれか一項記載の擬似的３次元画像生成プログラムであって、
    前記オブジェクト生成手段としてのコンピュータは、離散的奥行きが所定の奥行きより遠い画素を背景とすることを特徴とする擬似的３次元画像生成プログラム。
21. 請求項１７乃至２０いずれか一項記載の擬似的３次元画像生成プログラムであって、
    前記擬似奥行き演算手段としてのコンピュータは、前記線分が前記統合オブジェクトの離散的奥行きが異なる領域を通過するとき、通過する領域の一部または全てにおいて領域内に通過点を設定し、前記通過点を通る滑らかな連続関数を奥行き関数とすることを特徴とする擬似的３次元画像生成プログラム。
22. 請求項２１記載の擬似的３次元画像生成プログラムであって、
    前記擬似奥行き演算手段としてのコンピュータは、前記線分が通過する前記統合オブジェクトの離散的奥行きが異なる領域の一部または全てにおいて領域の中点を前記通過点として設定し、前記線分が通過する前記統合オブジェクトの輪郭線上にある画素に最も遠い奥行きを付与することを特徴とする擬似的３次元画像生成プログラム。
23. 請求項１７乃至２２いずれか一項記載の擬似的３次元画像生成プログラムであって、
    前記擬似奥行き演算手段としてのコンピュータは、前記統合オブジェクトの中心領域の画素に最も近い奥行きを付与することを特徴とする擬似的３次元画像生成プログラム。
24. 請求項１７乃至２３いずれか一項記載の擬似的３次元画像生成プログラムであって、
    前記擬似奥行き演算手段としてのコンピュータは、ローパスフィルタを用いて、付与した奥行きデータを平滑化することを特徴とする擬似的３次元画像生成プログラム。
25. 請求項１７乃至２４いずれか一項記載の擬似的３次元画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体。
26. 撮影対象の擬似３次元画像を生成する画像生成システムであって、
    前記撮影対象の画像データから離散的奥行きを有する画像を生成する離散的奥行き画像生成部と、
    前記離散的奥行きを有する画像に擬似的奥行きデータを付与する擬似的奥行き画像生成部とが設けられ、
    前記擬似的奥行き画像生成部には
    前記離散的奥行きを有する画像に含まれる画素であって離散的奥行きが等しくかつ隣接する画素を接続することによりオブジェクトを生成し、前記オブジェクトであって隣接するものがある場合にはこれを統合することにより統合オブジェクトを生成し、隣接するものがない場合には前記オブジェクトをそのまま統合オブジェクトとするオブジェクト生成手段と、
    前記統合オブジェクトの特徴量に基づき中心の種類を選択し、前記統合オブジェクトの中心を求め、前記中心を始点とし前記統合オブジェクトの輪郭線を終点とする放射線分を密に描く奥行き付与方法決定手段と、
    前記線分上で奥行き関数を定義することにより、前記線分上の画素に連続的かつ滑らかな奥行きを付与する擬似奥行き演算手段と
    が設けられた画像生成システム。