JP6603983B2 - 画像処理装置、および方法、ならびにプログラム - Google Patents

Description

本発明は、原画像から立体画像データを生成する、画像処理装置、および方法、ならびにプログラムに関する。

平面画像である原画像に基づいて、該平面に直交する高さ方向の情報が付加された立体画像データを生成する画像処理装置が知られている。例えば、特許文献１に記載されているように、濃淡情報をもとに高さ情報を付加する機能と、輪郭抽出等のフィルタにより高さ情報を付加する機能と、手操作で独自に高さ情報を付加する機能とを組み合わせることにより、原画像から立体画像データを生成することができる。

特開２００８−２４４８３１号公報

上記の方法によれば、高低差を持つ立体表現効果の高い立体画像を容易に形成できるようになる。しかしながら、上記の組み合わせだけでは様々な陰影やリアルな質感を表現することを可能にしたより魅力のある立体画像データを簡単に作成することができないという課題があった。

本発明は上記した課題を解決するためになされたものであり、魅力ある立体画像データを簡単に作成することができる、画像処理装置、および方法、ならびにプログラムを提供することを目的とする。

本発明の第１の態様は、平面画像である原画像に基づいて、該平面に直交する高さ方向の情報が付加された立体画像データを生成する画像処理装置であって、前記原画像の原画像データの焦点情報を取得し、焦点情報毎に前記原画像データの対象領域を分離する領域分離部と、前記分離された領域毎に高さ情報を補正する量を異ならせて前記立体画像データを生成する立体データ生成部と、を備え、前記立体データ生成部は、前記焦点情報に示される合焦部分は当該部分の高さ情報を増加させ、非合焦部分は当該部分の高さ情報を減少させる第１の補正データを生成し、前記領域分離部で分離された前記原画像の対象領域のうち、部分指定される部位の輪郭情報、および、コントラスト情報の少なくとも一方の情報を抽出して、抽出した前記情報に基づいて第２の補正データを生成し、第１の補正データと第２の補正データとの間で重み付けをした上で、第１の補正データと第２の補正データとを一体化することを特徴とする画像処理装置を提供する。

本発明の第２の態様は、平面画像である原画像に基づいて、該平面に直交する高さ方向の情報が付加された立体画像データを生成する画像処理方法であって、前記原画像の原画像データの焦点情報を取得し、焦点情報毎に前記原画像データの対象領域を分離する分離ステップと、前記分離ステップにより分離された領域毎に高さ情報を補正する量を異ならせて前記立体画像データを生成する生成ステップと、を有し、前記生成ステップは、前記焦点情報に示される合焦部分は当該部分の高さ情報を増加させ、非合焦部分は当該部分の高さ情報を減少させる第１の補正データを生成し、前記分離ステップにより分離された前記原画像の対象領域のうち、部分指定される部位の輪郭情報、および、コントラスト情報の少なくとも一方の情報を抽出して、抽出した前記情報に基づいて第２の補正データを生成し、第１の補正データと第２の補正データとの間で重み付けをした上で、第１の補正データと第２の補正データとを一体化することを特徴とする画像処理方法を提供する。

本発明の第３の態様は、平面画像である原画像に基づいて、該平面に直交する高さ方向の情報が付加された立体画像データを生成する画像処理装置のプログラムであって、前記原画像の原画像データの焦点情報を取得し、焦点情報毎に前記原画像データの対象領域を分離する分離機能と、前記分離機能により分離された領域毎に高さ情報を補正する量を異ならせて前記立体画像データを生成する生成機能と、を実行し、前記生成機能は、前記焦点情報に示される合焦部分は当該部分の高さ情報を増加させ、非合焦部分は当該部分の高さ情報を減少させる第１の補正データを生成し、前記分離機能により分離された前記原画像の対象領域のうち、部分指定される部位の輪郭情報、および、コントラスト情報の少なくとも一方の情報を抽出して、抽出した前記情報に基づいて第２の補正データを生成し、第１の補正データと第２の補正データとの間で重み付けをした上で、第１の補正データと第２の補正データとを一体化する画像処理装置のプログラムを提供する。

本発明によれば、魅力ある立体画像データを簡単に作成することができる、画像処理装置および方法ならびにプログラムを提供することができる。

本発明の実施の形態の画像処理装置の構成を示すブロック図である。 本発明の実施例１の画像処理装置の立体データ生成処理の流れ図である。 図２の明暗３Ｄ化処理の詳細手順を示す流れ図である。 図２の輪郭抽出処理の詳細手順を示す流れ図である。 図２の合焦・非合焦補正処理の詳細手順を示す流れ図である。 本発明の実施例２の画像処理装置の立体データ生成処理の流れ図である。 本発明の実施の形態に係る画像処理方法による立体画像データの生成の手順を模式的に示した図である。

以下、本発明の実施の形態（以下、単に本実施形態という）に係る画像処理装置について図面を参照しながら詳細に説明する。

（実施形態の構成）
図１によれば、本実施形態の画像処理装置３０は、撮像装置や記録媒体等から撮影画像を取得する画像入力装置１０と、画像処理装置３０により生成される立体画像データに基づき処理画像を出力する画像形成装置２０に接続される。画像形成装置２０は、例えば、ＴＤ（Thermal Distend）印刷として知られている発泡造形技術を使用した３Ｄプリンタであり、発泡性シートを用い、その表面に起伏や微細な凹凸を形成することで様々な陰影やリアルな質感を表現することができる。

本実施形態の画像処理装置３０は、原画像データから立体画像データを生成して画像形成装置２０へ出力する。本実施形態の画像処理装置３０は、原画像データの焦点情報を取得し、焦点情報毎に原画像データの対象領域を分離し、分離された領域毎に高さ情報を付加して立体画像データを生成する。尚、本明細書において、高さ方向とは、平面画像（又は２Ｄ画像）に対して直交方向のことであり、該高さ方向に沿った２つの向きのうち、該平面画像を鑑賞する側から該平面画像へ向けた向きは高さが減る向きであり、逆の向きは高さが増える向きである。

このため、本実施形態の画像処理装置３０は、画像変換部３１と、領域分離部３２と、立体データ生成部３３と、記憶部３４と、を含み構成される。また、画像処理装置３０には、操作部３５と表示部３６とからなるＧＵＩ（Graphical User Interface）装置が接続されている。ＧＵＩ装置として、操作部３５と表示部３６とが一体形成されたタブレットを用いてもよい。

画像変換部３１は、入力された写真等の撮影画像から色彩情報を抽出して画像変換することにより、例えば、油絵や水彩画等の絵画データを生成して立体データ生成部３３へ出力する。領域分離部３２は、原画像データである写真等の撮影画像の焦点情報を取得し、焦点情報毎に原画像データの対象領域を分離して立体データ生成部３３へ出力する。

立体データ生成部３３は、領域分離部３２により分離された領域毎に高さ情報を付加して立体画像データを生成し、画像形成装置２０へ出力する。このとき、立体データ生成部３３は、焦点情報に示される合焦部分に対して当該部分の高さ情報を増加させ、非合焦部分に対して当該部分の高さ情報を減少させる。

立体データ生成部３３は、領域分離部３２で分離された原画像の対象領域のうち、部分指定される部位の輪郭情報、および、コントラスト情報の少なくとも一方を抽出して、抽出した情報に基づいて、変化させる高さ情報の調整を同時に行ってもよい。また、立体データ生成部３３は、部分指定される部位を焦点情報に基づき特定してもよい。

記憶部３４には、プログラム領域と作業領域とが割り当てられ、半導体、磁気、あるいは光等の記憶媒体が実装されている。プログラム領域には、本実施形態の画像処理装置３０のプログラムが記憶され、作業領域には、原画像である写真、絵画、イラスト等の撮影画像、および後述する立体化調整のためのトーンカーブ等が記憶される。

（実施形態の動作）
以下、本実施形態の画像処理装置３０の動作について、実施例毎、詳細に説明する。

実施例１．
図２に、実施例１の画像処理装置３０による立体データ生成処理の流れが示されている。図２によれば、まず、画像入力装置１０から入力される、写真、絵画、イラスト等の２Ｄ画像について（ステップＳ１）、ユーザが操作部３５を操作することにより絵画変換するか否かが指定される（ステップＳ２）。絵画変換すると指定された場合、画像変換部３１は、入力された２Ｄ画像に対して絵画変換処理を行なう（ステップＳ３）。ここでいう絵画変換処理は、例えば、原画像から所望の画像領域をトリミングして切り出し、各種の画調（水彩画、油彩画（印象派）、油彩画（野獣派）、ガッシュ画、パステル画など）の中から選択した画調に従い、トリミングされて切り出された画像領域を画調変換する周知の方法をいう。

次に、ユーザが操作部３５を操作してオブジェクトの部分分けが必要か否かを指定する（ステップＳ４）。ここで、部分分けが必要と指定された場合、領域分離部３２は、絵画変換されたオブジェクトをブロック分割し（ステップＳ５）、続く操作部３５による振り分け指定により（ステップＳ６）、ブロック毎に、マニュアルで３Ｄ化処理するか、明暗により３Ｄ化するか、輪郭抽出による３Ｄ化を実施するか、明暗及び輪郭抽出による３Ｄ化を実施するかが決定される。立体データ生成部３３は、振り分け指定されると、その内容にしたがい、マニュアル３Ｄ化処理（ステップＳ７）、明暗３Ｄ化処理（ステップＳ８）、輪郭抽出処理（ステップＳ９）をそれぞれ実行して調整一体化処理（ステップＳ１０）に引き渡す。

明暗３Ｄ化処理（ステップＳ８）は、コントラストの高低（明暗）により高さ情報を付加する立体化処理手法であり、コントラストが高い場合は当該部分の高さ情報を増加させ、低い場合は当該部分の高さ情報を減少させる。例えば、図３のその詳細手順が示されているように、入力された２Ｄ画像がグレースケール化され（ステップＳ８１）、明暗反転が必要か否かの指定（ステップＳ８２）にしたがい、反転が必要な場合に限り明暗反転される（ステップＳ８３）。その後、明暗のレベルにより、あるいは、記憶部３４の所定の領域に記憶された、あるいは演算により生成されるトーンカーブによる補正がなされ（ステップＳ８４）、グレースケールの３Ｄ画像を得て、調整一体化処理（ステップＳ１０）に引き渡される。

輪郭抽出処理（ステップＳ９）は、オブジェクトの輪郭が急峻か平坦か（色の変化の大小）により高さ情報を付加する立体化手法であり、輪郭が急峻な場合に当該部分の高さ情報を増加させ、平坦な場合に当該部分の高さ情報を減少させる。例えば、図４にその詳細手順が示されているように、輪郭抽出された２Ｄ画像（ステツプＳ９１）がグレースケール化され（ステップＳ９２）、明暗反転が必要か否かの指定（ステップＳ９３）にしたがい、必要と指定された場合に限り明暗反転される（ステップＳ９４）。その後、明暗のレベルにより、または、記憶部３４の所定の領域に記憶されたあるいは演算により生成されるトーンカーブによる補正がなされ（ステップＳ９５）、グレースケールの３Ｄ画像を得て、調整一体化処理（ステップＳ１０）に引き渡される。

説明を図２に戻す。立体データ生成部３３は、明暗及び輪郭抽出による３Ｄ化を実施する場合には、上記した輪郭抽出処理による輪郭抽出終了後（ステップＳ９）、明暗３Ｄ化処理（ステップＳ８）に引き渡し、その後、調整一体化処理（ステップＳ１０）に引き渡すことによって立体データを生成する。

実施例１の画像処理装置３０によれば、上記した各３Ｄ化処理に、更に、焦点情報による３Ｄ化処理も実行される。このため、実施例１の画像処理装置３０は、画像入力装置１０等外部から原画像（２Ｄ画像）の焦点情報を取得するか（ステップＳ１５）、内部で、原画像（２Ｄ画像）の合焦、非合焦を検出する処理を実行する（ステップＳ１６）。これら焦点情報は、合焦・非合焦補正処理（ステップＳ１７）に引き渡される。ここで、領域分離部３２は、原画像データの焦点情報（合焦、又は非合焦）を取得し、焦点情報毎に原画像データの対象領域を分離する合焦・非合焦補正処理を実行する。

領域分離部３２は、オブジェクトの輪郭が立っているか寝ているかについて、あるスレッシュで切ってもよい。具体的には、例えば、注目画素における明るさ（輝度）の変化を検出し、輝度が急激に変化している部分はピントが合っている部分であり、なだらかに変化している部分はピントが合っていない部分であるとして良い。領域分離部３２で合焦している部分と非合焦の部分を分離すると、立体データ生成部３３は、合焦部分は当該部分の高さ情報を増加させ、非合焦部分は当該部分の高さ情報を減少させる補正データを生成する。一方、例えば、合焦部分が手前になる場合があり、その場合は、合焦部分の高さ情報を減少させ、非合焦部分の高さ情報を増加させる方向に付与する補正データを作成する。

合焦・非合焦補正処理（ステップＳ１７）は、原画像を合焦領域と非合掌領域に分離し、領域が合焦しているか否かにより高さ情報を付加し、マニュアル３Ｄ化、明暗３Ｄ化、輪郭抽出による３Ｄ化により生成される高さ情報を補正する立体化処理手法であり、合焦している領域は高さ情報が増加する方向に、非合焦の領域は高さ情報が減少する方向に補正する。例えば、図５にその詳細手順が示されているように、合焦・非合焦補正された２Ｄ画像（ステップＳ１７１）がグレースケール化され（ステップＳ１７２）、明暗反転が必要か否かの指定（ステップＳ１７３）にしたがい、必要な場合にのみ明暗反転される（ステップＳ１７４）。その後、明暗のレベルにより、または、記憶部３４の所定の領域に記憶されたあるいは演算により生成されるトーンカーブによる補正がなされ（ステップＳ１７５）、グレースケールの３Ｄ画像を得て、調整一体化処理（ステップＳ１０）に引き渡される。

そして、立体データ生成部３３は、調整一体化処理（ステップＳ１０）により、マニュアル３Ｄ化、明暗３Ｄ化、輪郭抽出により生成された各高さ情報と焦点情報による高さ情報を合成した補正データを生成して、画像形成装置２０に出力する。この調整一体化処理（ステップＳ１０）では、例えば、３Ｄ化処理（ステップＳ７，Ｓ８，Ｓ９）毎、及び、合焦・非合焦補正処理（ステップＳ１７）のそれぞれに予め定められた重み係数にしたがって、それぞれの処理において求められた各補正データを重み付けした上で加算（一体化）してから画像形成装置２０へ出力する。このように制御することで、画像形成装置２０では、発泡性シートの表面に起伏や微細な凹凸を形成し、様々な陰影やリアルな質感を表現した３Ｄ画像を得ることができる。

実施例１の画像処理装置３０によれば、２Ｄ画像から３Ｄデータを作成する場合に、２Ｄ画像を合焦部分と非合焦掌部分とに分離し、合焦部分は当該部分の高さ情報を増加させ、非合焦部分は当該部分の高さ情報を減少させる補正データを生成することで、簡単に、様々な陰影やリアルな質感を表現することを可能にした魅力のある立体画像データを作成することができる。また、マニュアルによる３Ｄ化処理、明暗による３Ｄ化処理、輪郭抽出による３Ｄ化処理と組み合わせ、高さ情報の調整を一体化することで、簡単に、様々な陰影やリアルな質感を表現することを可能にした、より魅力のある立体画像データを作成することができる。

実施例２．
図６に実施例２の画像処理装置３０の立体データ生成処理の流れが示されている。図６において、図２に示す実施例１との差異は、部分分け指定処理ブロック（ステップＳ２４）に、焦点情報取得ブロック（ステップＳ１５）、あるいは、合焦・非合焦検出処理ブロック（ステップＳ１６）から、焦点情報が引き渡されていることにある。他は、実施例１と同様である。

実施例２の画像処理装置３０によれば、手操作による部分分け指定処理を不要とし、焦点情報により部分指定される部位を自動で特定することができる。この場合、例えば、合焦部分と非合焦部分とで輪郭抽出の仕方を変え、例えば、輪郭が平坦な部位を細く（高さ情報が減少）、輪郭が急峻な部分を太く（高さ情報が増加）することで、輪郭部分により強調感を出した３Ｄ化が可能になる。

図７に、２Ｄ画像から３Ｄ画像を作成した具体例が模式図で示してある。図７によれば、花が近接撮影された２Ｄ画像（ａ）から、輪郭抽出データ（ｂ）と合焦データ（ｃ）とが作成され、合焦データ（ｃ）と２Ｄ画像（ａ）とから合焦部の脱色データ（ｄ）が作成され、更に、合焦部の補正データ（ｅ）が作成される。このとき、合焦部補正データ（ｅ）は、合焦部の脱色データ（ｄ）そのままではなく、輪郭抽出データ（ｂ）を生かせるように、０〜１００％の明るさデータを、例えば、３０％〜５０％にレベル変換している。その後、輪郭抽出データ（ｂ）と合焦部補正データ（ｅ）とが合成され、所望の最適３Ｄデータ（ｆ）を作成することができる。なお、図７に示す模式図では、説明を簡略化するため、非合焦部には補正を加えていない。

（実施形態の効果）
以上説明のように本実施形態に係る画像処理装置３０によれば、原画像データの焦点情報を取得し、焦点情報毎に原画像データの対象領域を分離し、分離された領域毎に高さ情報を付加して立体画像データを生成することにより、簡単に、様々な陰影やリアルな質感を表現することを可能にした、魅力のある立体画像データを作成することができる。また、分離された原画像の対象領域のうち、部分指定される部位の輪郭情報を抽出し、および／またはコントラスト情報を抽出して、付加される高さ情報の調整を一体化することで、より魅力のある立体画像データを生成することができる。

以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。またそのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。

〔付記〕
［請求項１］
平面画像である原画像に基づいて、該平面に直交する高さ方向の情報が付加された立体画像データを生成する画像処理装置であって、
前記原画像データの焦点情報を取得し、焦点情報毎に前記原画像データの対象領域を分離する領域分離部と、
前記分離された領域毎に前記高さ情報を補正する量を異ならせて前記立体画像データを生成する立体データ生成部と、を備えたことを特徴とする画像処理装置。
［請求項２］
前記立体データ生成部は、
前記焦点情報に示される合焦部分は当該部分の高さ情報を増加させ、非合焦部分は当該部分の高さ情報を減少させる第１の補正データを生成することを特徴とする請求項１に記載の画像処理装置。
［請求項３］
前記立体データ生成部は、
前記領域分離部で分離された前記原画像の対象領域のうち、部分指定される部位の輪郭情報を抽出し、および、コントラスト情報の少なくとも一方の情報を抽出して、抽出した前記情報に基づいて第２の補正データを生成し、第１の補正データと第２の補正データとの間で重み付けをした上で、第１の補正データと第２の補正データとを前記付加される高さ情報の調整を一体化することを特徴とする請求項１または２に記載の画像処理装置。
［請求項４］
前記立体データ生成部は、
前記部分指定される部位を前記焦点情報に基づき特定することを特徴とする請求項３に記載の画像処理装置。
［請求項５］
平面画像である原画像に基づいて、該平面に直交する高さ方向の情報が付加された立体画像データを生成する画像処理方法であって、
前記原画像データの焦点情報を取得し、焦点情報毎に前記原画像データの対象領域を分離するステップと、
前記分離された領域毎に前記高さ情報を補正する量を異ならせて前記立体画像データを生成するステップ゜と、を有することを特徴とする画像処理方法。
［請求項６］
平面画像である原画像に基づいて、該平面に直交する高さ方向の情報が付加された立体画像データを生成する画像処理装置のプログラムであって、
前記原画像データの焦点情報を取得し、焦点情報毎に前記原画像データの対象領域を分離する機能と、
前記分離された領域毎に前記高さ情報を補正する量を異ならせて前記立体画像データを生成する機能と、を実行する画像処理装置のプログラム。

１０…画像入力装置、２０…画像形成装置、３０…画像処理装置、３１…画像変換部、３２…領域分離部、３３…立体データ生成部、３４…記憶部、３５…操作部、３６…表示部

Claims (4)

1. 平面画像である原画像に基づいて、該平面に直交する高さ方向の情報が付加された立体画像データを生成する画像処理装置であって、
   前記原画像の原画像データの焦点情報を取得し、焦点情報毎に前記原画像データの対象領域を分離する領域分離部と、
   前記分離された領域毎に高さ情報を補正する量を異ならせて前記立体画像データを生成する立体データ生成部と、
   を備え、
   前記立体データ生成部は、
   前記焦点情報に示される合焦部分は当該部分の高さ情報を増加させ、非合焦部分は当該部分の高さ情報を減少させる第１の補正データを生成し、
   前記領域分離部で分離された前記原画像の対象領域のうち、部分指定される部位の輪郭情報、および、コントラスト情報の少なくとも一方の情報を抽出して、抽出した前記情報に基づいて第２の補正データを生成し、
   第１の補正データと第２の補正データとの間で重み付けをした上で、第１の補正データと第２の補正データとを一体化することを特徴とする画像処理装置。
2. 前記立体データ生成部は、
   前記部分指定される部位を前記焦点情報に基づき特定することを特徴とする請求項１に記載の画像処理装置。
3. 平面画像である原画像に基づいて、該平面に直交する高さ方向の情報が付加された立体画像データを生成する画像処理方法であって、
   前記原画像の原画像データの焦点情報を取得し、焦点情報毎に前記原画像データの対象領域を分離する分離ステップと、
   前記分離ステップにより分離された領域毎に高さ情報を補正する量を異ならせて前記立体画像データを生成する生成ステップと、
   を有し、
   前記生成ステップは、
   前記焦点情報に示される合焦部分は当該部分の高さ情報を増加させ、非合焦部分は当該部分の高さ情報を減少させる第１の補正データを生成し、
   前記分離ステップにより分離された前記原画像の対象領域のうち、部分指定される部位の輪郭情報、および、コントラスト情報の少なくとも一方の情報を抽出して、抽出した前記情報に基づいて第２の補正データを生成し、
   第１の補正データと第２の補正データとの間で重み付けをした上で、第１の補正データと第２の補正データとを一体化することを特徴とする画像処理方法。
4. 平面画像である原画像に基づいて、該平面に直交する高さ方向の情報が付加された立体画像データを生成する画像処理装置のプログラムであって、
   前記原画像の原画像データの焦点情報を取得し、焦点情報毎に前記原画像データの対象領域を分離する分離機能と、
   前記分離機能により分離された領域毎に高さ情報を補正する量を異ならせて前記立体画像データを生成する生成機能と、
   を実行し、
   前記生成機能は、
   前記焦点情報に示される合焦部分は当該部分の高さ情報を増加させ、非合焦部分は当該部分の高さ情報を減少させる第１の補正データを生成し、
   前記分離機能により分離された前記原画像の対象領域のうち、部分指定される部位の輪郭情報、および、コントラスト情報の少なくとも一方の情報を抽出して、抽出した前記情報に基づいて第２の補正データを生成し、
   第１の補正データと第２の補正データとの間で重み付けをした上で、第１の補正データと第２の補正データとを一体化する画像処理装置のプログラム。