JPWO2019167453A1 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

２次元画像からオブジェクト毎の領域を簡便に取得し、オブジェクトと背景との奥行き関係が自然な３次元画像データを簡便に生成することができる画像処理装置、画像処理方法、プログラムを提供する。２次元画像を取得する画像取得部（１３）と、２次元画像のオブジェクトおよび背景の領域を抽出する領域抽出部（１５）と、２次元画像の所定領域ごとの奥行き情報で構成される第１の奥行き情報を取得する第１の奥行き情報取得部（１７）と、オブジェクトおよび背景の領域の奥行きに関する代表値を第２の奥行き情報として取得する第２の奥行き情報取得部（１９）と、第１のレイヤにオブジェクトを配置し、第２のレイヤに背景を配置して３次元画像データを生成する３次元画像データ生成部（２１）と、を備える画像処理装置（１１）。

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に２次元画像から３次元画像データを生成する画像処理装置、画像処理方法、およびプログラムに関する。

従来より、入力された２次元画像の被写体（オブジェクト）および背景に対して奥行き情報を付加して３次元画像データを生成する技術が提案されてきた。

例えば特許文献１には、画像を色、明るさの濃淡、模様等により分割された領域に奥行き情報を付与し、奥行き情報に基づいて領域を幾つかの階層に分け、階層毎に領域を記憶させる技術が記載されている。

また、例えば特許文献２には、画像の被写体領域を取得し、被写体領域を１、背景を０として３次元画像を生成する技術が記載されている。

特開平４−４９４７１号公報 特開２００３−４７０２７号公報

特許文献１および２に記載された技術では、以下に説明するように被写体の領域が上手く抽出されない場合がある。

特許文献１に記載された技術では、画像における領域を分割する際に、色、明るさの濃淡、模様等が一様な部分を一つの領域と考えて画像を複数の領域に分割しているので、同じ物体においても異なる領域として分けられてしまう場合がある（例えば第３図の符号２５と符号２６）。

また特許文献２に記載された技術では、ユーザが立体画像として手前に飛び出させたい被写体を輪郭に沿って指定することにより、被写体領域を取得している（段落［００２８］）ので、ユーザの作業が必要になってきてしまう。

また特許文献１および２に記載された技術では、以下に説明するように上手く奥行き関係が表現されない場合がある。

特許文献１に記載された技術では、画像の奥行き情報を画像の構造化技術を用いて求めている（９頁１３行目−１４行目）ので、一つの物体でも異なる奥行きを有する物体として認識されてしまう（例えば第３図の符号２５と符号２６）。また、特許文献１に記載された技術では、ユーザ（オペレータ）の指定により、一つの物体に属すると思われる幾つかの領域を１つにまとめてグループ化し、１個の階層に格納しており（１０頁３行目−１４行目）、一つの物体を適切に同じ階層に記憶させるためには、ユーザの作業が必要となってくる。

特許文献２に記載された技術では、手前に飛び出させたい領域の値を１とし背景を０として奥行きに情報を付与している（［００２８］）。すなわち、特許文献２に記載された技術では、元の２次元画像に基づいた奥行き情報が使用されておらず、３次元画像データにおいて奥行き関係が不自然になってしまう恐れがある。

本発明はこのような事情に鑑みてなされたもので、その目的は、２次元画像からオブジェクト毎の領域を簡便に取得し、オブジェクトと背景との奥行き関係が自然な３次元画像データを簡便に生成することができる画像処理装置、画像処理方法、プログラムを提供することである。

上記目的を達成するための本発明の一の態様は、２次元画像から奥行きの異なる複数のレイヤで構成される３次元画像データを生成する画像処理装置であって、複数のレイヤのうちの第１のレイヤに配置される単数または複数のオブジェクトおよび複数のレイヤのうちの第２のレイヤに配置されるオブジェクト以外の背景を少なくとも有する２次元画像を取得する画像取得部と、オブジェクトおよび背景の領域をそれぞれ抽出する領域抽出部であって、機械学習に基づいて、２次元画像のオブジェクトおよび背景の領域を抽出する領域抽出部と、２次元画像の所定領域ごとの奥行き情報で構成される第１の奥行き情報を取得する第１の奥行き情報取得部と、オブジェクトおよび背景の領域に対応した第１の奥行き情報に基づいて、オブジェクトおよび背景の領域の奥行きに関する代表値を第２の奥行き情報として取得する第２の奥行き情報取得部と、第２の奥行き情報に基づいて第１のレイヤおよび第２のレイヤの奥行き位置を決定し、第１のレイヤにオブジェクトを配置し、第２のレイヤに背景を配置して３次元画像データを生成する３次元画像データ生成部と、を備える画像処理装置である。

本態様によれば、領域抽出部により、機械学習に基づいて２次元画像のオブジェクトおよび背景の領域が抽出される。これにより、本態様は、簡便に２次元画像におけるオブジェクトおよび背景の領域を抽出することができる。また、本態様によれば、第１の奥行き情報取得部により、２次元画像の所定領域ごとの奥行き情報で構成される第１の奥行き情報が取得され、第２の奥行き情報取得部により、オブジェクトおよび背景の領域に対応した第１の奥行き情報に基づいて、オブジェクトおよび背景の領域の奥行きに関する代表値が取得される。これにより、本態様は、自然な奥行き関係を有する３次元画像データを簡便に生成することができる。

好ましくは、第１の奥行き情報取得部は、２次元画像を画像処理することにより第１の奥行き情報を算出し、第１の奥行き情報を取得する。

本態様によれば、第１の奥行き情報取得部により、２次元画像を画像処理して第１の奥行き情報を算出し第１の奥行き情報を取得する。これにより、本態様は、２次元画像とは別に第１の奥行き情報を取得しなくても、第１の奥行き情報を取得することができる。

好ましくは、第１の奥行き情報取得部は、機械学習により、第１の奥行き情報を算出する。

本態様によれば、第１の奥行き情報取得部により、機械学習で第１の奥行き情報が取得されるので、正確な第１の奥行き情報が取得される。

好ましくは、第１の奥行き情報取得部は、計測器で計測された第１の奥行き情報を取得する。

本態様によれば、第１の奥行き情報取得部により、２次元画像とは別に計測器で計測された第１の奥行き情報が取得される。これにより、２次元画像を画像処理することなく、正確な第１の奥行き情報を取得することができる。

好ましくは、第１の奥行き情報取得部は、ステレオカメラ、またはデプスセンサで計測された第１の奥行き情報を取得する。

好ましくは、第２の奥行き情報取得部は、オブジェクトおよび背景の領域に対応した第１の奥行き情報の平均値、中央値、または最頻値に基づいて、第２の奥行き情報を取得する。

本態様によれば、第２の奥行き情報取得部により、オブジェクトおよび背景の領域に対応した第１の奥行き情報の平均値、中央値、または最頻値に基づいて、第２の奥行き情報が取得される。これにより、本態様は、オブジェクトおよび背景の自然な奥行き関係を得ることができる。

好ましくは、２次元画像は、複数のオブジェクトを有し、３次元画像データ生成部は、第２の奥行き情報に基づいて、オブジェクトの各々を複数の第１のレイヤにそれぞれ配置する。

本態様によれば、２次元画像が複数のオブジェクトを有する場合であっても、複数のオブジェクトの各々は第２の奥行き情報に基づいて、複数の第１のレイヤの各々に配置される。これにより、本態様は、２次元画像に複数のオブジェクトが存在する場合であっても、自然な奥行き関係を有する３次元画像データを生成することができる。

好ましくは、３次元画像データ生成部は、レンチキュラ印刷用の３次元画像データを生成する。

本態様によれば、３次元画像データ生成部により、レンチキュラ印刷用の３次元画像データが生成される。本態様の３次元画像データにおいては、第２の奥行き情報が代表値で構成されているので、レンチキュラ印刷用のように大まかな奥行き関係を表すような場合に、好適な３次元画像データを生成することができる。

本発明の他の態様は、２次元画像から奥行きの異なる複数のレイヤで構成される３次元画像データを生成する画像処理方法であって、複数のレイヤのうちの第１のレイヤに配置される単数または複数のオブジェクトおよび複数のレイヤのうちの第２のレイヤに配置されるオブジェクト以外の背景を少なくとも有する２次元画像を取得する画像取得ステップと、オブジェクトおよび背景の領域をそれぞれ抽出する領域抽出ステップであって、機械学習に基づいて、２次元画像のオブジェクトおよび背景の領域を抽出する領域抽出ステップと、２次元画像の所定領域ごとの奥行き情報で構成される第１の奥行き情報を取得する第１の奥行き情報取得ステップと、オブジェクトおよび背景の領域に対応した第１の奥行き情報に基づいて、オブジェクトおよび背景の領域の奥行きに関する代表値を第２の奥行き情報として取得する第２の奥行き情報取得ステップと、第２の奥行き情報に基づいて第１のレイヤおよび第２のレイヤの奥行き位置を決定し、第１のレイヤにオブジェクトを配置し、第２のレイヤに背景を配置して３次元画像データを生成する３次元画像データ生成ステップと、を含む画像処理方法である。

本発明の他の態様は、２次元画像から奥行きの異なる複数のレイヤで構成される３次元画像データを生成する画像処理方法をコンピュータに実行させるプログラムであって、複数のレイヤのうちの第１のレイヤに配置される単数または複数のオブジェクトおよび複数のレイヤのうちの第２のレイヤに配置されるオブジェクト以外の背景を少なくとも有する２次元画像を取得する画像取得ステップと、オブジェクトおよび背景の領域をそれぞれ抽出する領域抽出ステップであって、機械学習に基づいて、２次元画像のオブジェクトおよび背景の領域を抽出する領域抽出ステップと、２次元画像の所定領域ごとの奥行き情報で構成される第１の奥行き情報を取得する第１の奥行き情報取得ステップと、オブジェクトおよび背景の領域に対応した第１の奥行き情報に基づいて、オブジェクトおよび背景の領域の奥行きに関する代表値を第２の奥行き情報として取得する第２の奥行き情報取得ステップと、第２の奥行き情報に基づいて第１のレイヤおよび第２のレイヤの奥行き位置を決定し、第１のレイヤにオブジェクトを配置し、第２のレイヤに背景を配置して３次元画像データを生成する３次元画像データ生成ステップと、を含む画像処理方法をコンピュータに実行させるプログラムである。

本発明によれば、領域抽出部により、機械学習に基づいて２次元画像のオブジェクトおよび背景の領域が抽出され、簡便に２次元画像におけるオブジェクトおよび背景の領域を抽出することができ、本態様によれば、第１の奥行き情報取得部により、２次元画像の所定領域ごとの奥行き情報で構成される第１の奥行き情報が取得され、第２の奥行き情報取得部により、オブジェクトおよび背景の領域に対応した第１の奥行き情報に基づいて、オブジェクトおよび背景の領域の奥行きに関する代表値が取得され、自然な奥行き関係を有する３次元画像データを簡便に生成することができる。

図１は、コンピュータの外観を示す図である。 図２は、画像処理装置の機能構成例を示すブロック図である。 図３は、２次元画像の例を示す図である。 図４は、３次元画像データを概念的に示す図である。 図５は、領域抽出の一例に関して説明する図である。 図６は、領域抽出の一例に関して説明する図である。 図７は、ＣＮＮの代表的な構成例を示す模式図である。 図８は、３次元距離画像を示す図である。 図９は、３次元画像データのレイヤ構成を示す図である。 図１０は、画像処理装置の動作を示すフロー図である。

以下、添付図面に従って本発明にかかる画像処理装置、画像処理方法、およびプログラムの好ましい実施の形態について説明する。

図１は、本発明の画像処理装置を備えるコンピュータの外観を示す図である。

コンピュータ３は、本発明の一態様である画像処理装置１１（図２）を搭載している。コンピュータ３には、２次元画像１００が入力され、モニタ９で構成される表示部とキーボード５およびマウス７で構成される入力部が接続されている。なお、図示されたコンピュータ３の形態は一例であり、コンピュータ３と同様の機能を有する装置は本発明の画像処理装置１１を備えることができる。例えば、タブレット端末に画像処理装置１１を搭載することも可能である。

コンピュータ３は、画像処理装置１１（図２）で行われた領域抽出の結果や生成された３次元画像データをモニタ９に表示する。そして、ユーザはモニタ９に表示された領域抽出の結果や３次元画像データを確認して、修正の指令をキーボード５およびマウス７により入力する。

図２は、画像処理装置１１の機能構成例を示すブロック図である。図２に示す画像処理装置１１の各種制御を実行するハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の制御部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の制御部を１つのプロセッサで構成してもよい。複数の制御部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の制御部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の制御部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

画像処理装置１１は、画像取得部１３、領域抽出部１５、第１の奥行き情報取得部１７、第２の奥行き情報取得部１９、３次元画像データ生成部２１、表示制御部２３、および記憶部２６を備える。記憶部２６には、プログラムおよび画像処理装置１１の各種制御に係る情報等が記憶される。また、表示制御部２３は、モニタ９による表示を制御する。

画像取得部１３は２次元画像１００を取得する。２次元画像１００は、被写体であるオブジェクトおよび背景を有する。２次元画像１００から３次元画像データが生成された場合には、オブジェクトと背景は異なるレイヤに配置されることになる。

図３は、画像取得部１３が取得する２次元画像１００の例を示す図である。２次元画像１００は、第１のオブジェクト１０１、第２のオブジェクト１０３、および第３のオブジェクト１０５を有し、また背景１０７を有する。３次元画像データでは、第１のオブジェクト１０１、第２のオブジェクト１０３、第３のオブジェクト１０５、および背景１０７が奥行きに応じて各レイヤに配置される。

図４は、図３に示した２次元画像１００から生成された３次元画像データを概念的に示す図である。３次元画像データ５００において、第１のオブジェクト１０１、第２のオブジェクト１０３、および第３のオブジェクト１０５はオブジェクトレイヤ（第１のレイヤ）に配置され、背景１０７は背景レイヤ（第２のレイヤ）に配置される。３次元画像データ５００は様々な用途に用いられる。例えば、３次元画像データ５００は、レンチキュラレンズにより立体視を行うレンチキュラ印刷用に用いられる。なお、３次元画像データ５００とは、オブジェクトおよび背景に対して相対的な奥行き関係が付与された画像データのことである。

領域抽出部１５は、２次元画像１００から、第１のオブジェクト１０１、第２のオブジェクト１０３、第３のオブジェクト１０５、および背景１０７の領域をそれぞれ抽出する。領域抽出部１５は、機械学習に基づいて各領域を抽出する。

図５および図６は、領域抽出部１５が行う領域抽出の一例に関して説明する図である。本例の領域抽出部１５は、機械学習を施されているエッジ検出器Ｎｅｔ２５および領域抽出Ｎｅｔ２９を備えている。

図５では領域抽出部１５における処理の流れが概念的に示されており、図６では入力画像としての２次元画像１００、エッジ検出器Ｎｅｔ２５で生成されるエッジ画像２００、および領域抽出Ｎｅｔ２９で生成される領域抽出画像３００が示されている。

図５に示すように、画像取得部１３により取得された２次元画像１００が領域抽出部１５に入力される。なお、領域抽出部１５には、２次元画像１００のＲ画像１００Ａ、Ｇ画像１００Ｂ、およびＢ画像１００Ｃが取得される。ここで、２次元画像１００のＲ画像１００Ａは赤色の二値化された画像であり、Ｇ画像１００Ｂは緑色の二値化された画像、およびＢ画像１００Ｃは青色の二値化された画像を意味する。そして、Ｒ画像１００Ａ、Ｇ画像１００Ｂ、およびＢ画像１００Ｃの３チャンネルで構成された２次元画像１００がエッジ検出Ｎｅｔ（ニューラルネットワーク（ＣＮＮ：Convolutional Neural Network））２５で構築されたエッジ検出器に入力される。そして、エッジ検出Ｎｅｔ２５により、２次元画像１００のエッジ画像２００が生成される。

図６には、エッジ検出Ｎｅｔ２５に入力される２次元画像１００（Ｒ画像１００Ａ、Ｇ画像１００Ｂ、およびＢ画像１００Ｃ）、およびエッジ検出Ｎｅｔ２５で生成されるエッジ画像２００が示されている。エッジ検出Ｎｅｔ２５は、第１のオブジェクト１０１、第２のオブジェクト１０３、および第３のオブジェクト１０５の輪郭のエッジを検出するように機械学習をしているので、エッジ画像２００ではオブジェクトの輪郭のエッジが検出されている。

図５に戻って、領域抽出Ｎｅｔ２９には、エッジ検出Ｎｅｔ２５で生成されたエッジ画像２００と、入力された２次元画像１００（Ｒ画像１００Ａ、Ｇ画像１００Ｂ、およびＢ画像１００Ｃ）とが入力される。領域抽出Ｎｅｔ２９は、機械学習により学習して、エッジ画像２００および２次元画像１００に基づいてオブジェクトに対応する領域を抽出する。ここで、オブジェクトに対応する領域を抽出するとは、画像を構成する画素毎に、オブジェクトに対応する領域と背景領域とに分類することをいう。領域抽出Ｎｅｔ２９は、領域抽出の結果を領域抽出の結果３１として出力する。領域抽出Ｎｅｔ２９は、エッジ画像２００および３チャンネルの２次元画像１００（Ｒ画像１００Ａ、Ｇ画像１００Ｂ、およびＢ画像１００Ｃ）が入力されるので、領域の境界が精度良く検出することができる。

領域抽出Ｎｅｔ２９は、オブジェクトに対応する領域を抽出した領域抽出画像３００を生成する。図５には、領域抽出Ｎｅｔ２９から出力された領域抽出の結果３１の一態様である領域抽出画像３００が示されている。領域抽出画像３００は、領域抽出Ｎｅｔ２９の領域抽出結果が反映された画像である。具体的には、領域抽出画像３００では、第１のオブジェクト１０１、第２のオブジェクト１０３、および第３のオブジェクト１０５が領域抽出されている。なお、領域抽出の結果３１の他の態様としては、領域抽出に関しての情報があげられる。具体的には、領域抽出に関しての情報は、画素毎にどの領域に属するかの情報である。

＜機械学習＞
図７は、エッジ検出Ｎｅｔ２５および領域抽出Ｎｅｔ２９に適用されるＣＮＮの代表的な構成例を示す模式図である。以下ではエッジ検出Ｎｅｔ２５に関して説明をする。

図７に示すように、ＣＮＮは、入力層１５Ａと、畳み込み層とプーリング層から構成された複数セット、及び全結合層を有する中間層１５Ｂと、出力層１５Ｃとを備え、各層は複数の「ノード」が「エッジ」で結ばれる構造となっている。

入力層１５Ａには、認識処理の対象である画像が入力される。

中間層１５Ｂは、畳み込み層とプーリング層とを１セットとする複数セットと、全結合層とを有し、入力層から入力した画像からエッジを抽出する。畳み込み層は、前の層で近くにあるノードにフィルタ処理し（フィルタを使用した畳み込み演算を行い）、「特徴マップ」を取得する。プーリング層は、畳み込み層から出力された特徴マップを縮小して新たな特徴マップとする。「畳み込み層」は、画像からのエッジ検出の役割を担い、「プーリング層」は抽出されたエッジが、平行移動などによる影響を受けないようにロバスト性を与える役割を担う。

なお、中間層１５Ｂには、畳み込み層とプーリング層とを１セットとする場合に限らず、畳み込み層が連続する場合や正規化層も含まれる。また、各畳み込み層にて使用されるフィルタのパラメータは、予め多数の学習データ（本例では、画像とその画像中の領域抽出対象の被写体像の正解エッジ画像）により自動的に学習されている。

出力層１５Ｃは、中間層１５Ｂにより抽出されたエッジに基づき被写体像のエッジを強調した画像を出力する。

図２に戻って、第１の奥行き情報取得部１７は、２次元画像１００の所定領域ごとの奥行き情報で構成される第１の奥行き情報を取得する。第１の奥行き情報取得部１７は、２次元画像１００を画像処理することにより第１の奥行き情報を取得する。なお、第１の奥行き情報は詳細な奥行き情報であり、この詳細な奥行き情報に基づいて代表値（第２の奥行き情報）が算出される。所定領域の大きさによって、第１の奥行き情報の詳細の程度が変わる。例えば、微小領域毎（１×１画素毎）の第１の奥行き情報は、非常に詳細な情報となる。また５×５画素毎の第１の奥行き情報でも、十分詳細な情報であり、代表値を算出することができる。

例えば第１の奥行き情報取得部１７は、公知の２次元画像からの奥行き推定アルゴリズムを使用して第１の奥行き情報を取得する。また、第１の奥行き情報取得部１７は、機械学習により、第１の奥行き情報を算出してもよい。

また第１の奥行き情報取得部１７は、２次元画像１００とは別に入力された第１の奥行き情報を取得してもよい。例えば第１の奥行き情報取得部１７は、２次元画像１００を撮影する際に、撮像装置に備えられた計測器により取得された第１の奥行き情報を取得してもよい。すなわち、第１の奥行き情報取得部１７は、２次元画像１００とは別に入力される、計測器で計測された２次元画像１００のオブジェクトおよび背景１０７の奥行き情報を取得する。ここで計測器としては、ステレオカメラ、デプスセンサ、またはＴｏＦ（Time Of Flight）カメラがあげられる。

図８は、第１の奥行き情報取得部１７で取得された第１の奥行き情報の一例を示す図であり、距離画像４００が示されている。

距離画像４００は画素毎に距離情報を有している。具体的には、第１のオブジェクト１０１、第２のオブジェクト１０３、第３のオブジェクト１０５、および背景１０７における画素毎の距離情報を有している。画素毎に距離情報を有しているので、例えば第１のオブジェクトにおいて凹凸がある場合には、その凹凸に由来する距離情報の違いも、距離画像４００では反映されている。

第２の奥行き情報取得部１９は、第１のオブジェクト１０１、第２のオブジェクト１０３、第３のオブジェクト１０５、および背景１０７の領域に対応した第１の奥行き情報に基づいて、各領域の奥行きに関する代表値（第２の奥行き情報）を算出する。具体的に第２の奥行き情報取得部１９は、第１のオブジェクト１０１、第２のオブジェクト１０３、第３のオブジェクト１０５、および背景１０７に対応する第１の奥行き情報の平均値、中央値、または最頻値に基づいて、奥行き情報の代表値を取得する。第２の奥行き情報取得部１９が代表値を取得することにより、例えば第１のオブジェクト１０１の領域において第１の奥行き情報の値が複数個存在する場合であっても、第１のオブジェクト１０１を配置する一つのレイヤを決定することができる。

３次元画像データ生成部２１は、第２の奥行き情報に基づいて第１のレイヤおよび第２のレイヤの奥行き位置を決定し、第１のレイヤにオブジェクトを配置し、第２のレイヤに背景１０７を配置して３次元画像データを生成する。なお、奥行きが異なる複数のオブジェクトが存在する場合には、第１のレイヤが複数存在することになる。

図９は、２次元画像２００から生成される３次元画像データのレイヤ構成を示す図である。なお、以下の説明では、第１のレイヤをオブジェクトレイヤと記載し、第２のレイヤを背景レイヤと記載する。また、オブジェクトレイヤは単数または複数の場合がある。

３次元画像データ生成部２１は、第２の奥行き情報取得部１９で取得された代表値に基づいて、各レイヤにオブジェクトおよび背景１０７を配置するデータを生成する。第１のオブジェクト１０１は第１のオブジェクトレイヤ１２１に配置されている。第２のオブジェクト１０３および第３のオブジェクト１０５は、第２のオブジェクトレイヤ１２３に配置されている。また背景１０７は背景レイヤ１２５に配置されている。

第１のオブジェクト１０１は代表値ａ１を有し、第２のオブジェクト１０３は代表値ａ２を有し、第３のオブジェクト１０５は代表値ａ２を有する。また背景１０７は代表値ａ３を有する。３次元画像データ生成部２１は、この代表値に応じて各レイヤにオブジェクトおよび背景１０７を配置する。このように、第１の奥行き情報に基づいて算出される代表値に応じて各レイヤにオブジェクトおよび背景１０７が配置されることにより、より自然な奥行き関係を構築することができる。

次に、画像処理装置１１を使用した画像処理方法に関して説明する。図１０は、画像処理装置１１の動作を示すフロー図である。

先ず画像取得部１３は２次元画像１００を取得する（ステップＳ１０：画像取得ステップ）。その後、領域抽出部１５は、取得された２次元画像１００において、第１のオブジェクト１０１、第２のオブジェクト１０３、第３のオブジェクト１０５、および背景１０７の領域を抽出する（ステップＳ１１：領域抽出ステップ）。

その後、第１の奥行き情報取得部１７は、２次元画像１００に関しての第１の奥行き情報を取得し（ステップＳ１２：第１の奥行き情報取得ステップ）、第２の奥行き情報取得部１９は、第１の奥行き情報、オブジェクトおよび背景１０７の領域に基づいて、奥行きに関する代表値を取得する（ステップＳ１３：第２の奥行き情報取得ステップ）。そして、３次元画像データ生成部２１は、奥行きに関する代表値に基づいて、オブジェクトおよび背景１０７に対して奥行き関係を与えた３次元画像データを生成する（ステップＳ１４：３次元画像生成ステップ）。

上述の各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読取可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。

以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

３：コンピュータ
５：キーボード
７：マウス
９：モニタ
１１：画像処理装置
１３：画像取得部
１５：領域抽出部
１５Ａ：入力層
１５Ｂ：中間層
１５Ｃ：出力層
１７：第１の奥行き情報取得部
１９：第２の奥行き情報取得部
２１：３次元画像データ生成部
２３：表示制御部
２６：記憶部
１００：２次元画像
１０１：第１のオブジェクト
１０３：第２のオブジェクト
１０５：第３のオブジェクト
１０７：背景
１２１：第１のオブジェクトレイヤ
１２３：第２のオブジェクトレイヤ
１２５：背景レイヤ
２００：エッジ画像
３００：領域抽出画像
４００：距離画像
５００：３次元画像
ステップＳ１０−Ｓ１４：画像処理工程

Claims (11)

1. ２次元画像から奥行きの異なる複数のレイヤで構成される３次元画像データを生成する画像処理装置であって、
   前記複数のレイヤのうちの第１のレイヤに配置される単数または複数のオブジェクトおよび前記複数のレイヤのうちの第２のレイヤに配置される前記オブジェクト以外の背景を少なくとも有する前記２次元画像を取得する画像取得部と、
   前記オブジェクトおよび前記背景の領域をそれぞれ抽出する領域抽出部であって、機械学習に基づいて、前記２次元画像の前記オブジェクトおよび前記背景の領域を抽出する領域抽出部と、
   前記２次元画像の所定領域ごとの奥行き情報で構成される第１の奥行き情報を取得する第１の奥行き情報取得部と、
   前記オブジェクトおよび前記背景の領域に対応した前記第１の奥行き情報に基づいて、前記オブジェクトおよび前記背景の領域の奥行きに関する代表値を第２の奥行き情報として取得する第２の奥行き情報取得部と、
   前記第２の奥行き情報に基づいて前記第１のレイヤおよび前記第２のレイヤの奥行き位置を決定し、前記第１のレイヤに前記オブジェクトを配置し、前記第２のレイヤに前記背景を配置して前記３次元画像データを生成する３次元画像データ生成部と、
   を備える画像処理装置。
2. 前記第１の奥行き情報取得部は、前記２次元画像を画像処理することにより前記第１の奥行き情報を算出し、前記第１の奥行き情報を取得する請求項１に記載の画像処理装置。
3. 前記第１の奥行き情報取得部は、機械学習により、前記第１の奥行き情報を算出する請求項２に記載の画像処理装置。
4. 前記第１の奥行き情報取得部は、計測器で計測された前記第１の奥行き情報を取得する請求項１に記載の画像処理装置。
5. 前記第１の奥行き情報取得部は、ステレオカメラ、またはデプスセンサで計測された前記第１の奥行き情報を取得する請求項４に記載の画像処理装置。
6. 前記第２の奥行き情報取得部は、前記オブジェクトおよび前記背景の領域に対応した前記第１の奥行き情報の平均値、中央値、または最頻値に基づいて、前記第２の奥行き情報を取得する請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記２次元画像は、複数の前記オブジェクトを有し、
   前記３次元画像データ生成部は、前記第２の奥行き情報に基づいて、前記オブジェクトの各々を複数の前記第１のレイヤにそれぞれ配置する請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記３次元画像データ生成部は、レンチキュラ印刷用の前記３次元画像データを生成する請求項１から７のいずれか１項に記載の画像処理装置。
9. ２次元画像から奥行きの異なる複数のレイヤで構成される３次元画像データを生成する画像処理方法であって、
   前記複数のレイヤのうちの第１のレイヤに配置される単数または複数のオブジェクトおよび前記複数のレイヤのうちの第２のレイヤに配置される前記オブジェクト以外の背景を少なくとも有する前記２次元画像を取得する画像取得ステップと、
   前記オブジェクトおよび前記背景の領域をそれぞれ抽出する領域抽出ステップであって、機械学習に基づいて、前記２次元画像の前記オブジェクトおよび前記背景の領域を抽出する領域抽出ステップと、
   前記２次元画像の所定領域ごとの奥行き情報で構成される第１の奥行き情報を取得する第１の奥行き情報取得ステップと、
   前記オブジェクトおよび前記背景の領域に対応した前記第１の奥行き情報に基づいて、前記オブジェクトおよび前記背景の領域の奥行きに関する代表値を第２の奥行き情報として取得する第２の奥行き情報取得ステップと、
   前記第２の奥行き情報に基づいて前記第１のレイヤおよび前記第２のレイヤの奥行き位置を決定し、前記第１のレイヤに前記オブジェクトを配置し、前記第２のレイヤに前記背景を配置して３次元画像データを生成する３次元画像データ生成ステップと、
   を含む画像処理方法。
10. ２次元画像から奥行きの異なる複数のレイヤで構成される３次元画像データを生成する画像処理方法をコンピュータに実行させるプログラムであって、
    前記複数のレイヤのうちの第１のレイヤに配置される単数または複数のオブジェクトおよび前記複数のレイヤのうちの第２のレイヤに配置される前記オブジェクト以外の背景を少なくとも有する前記２次元画像を取得する画像取得ステップと、
    前記オブジェクトおよび前記背景の領域をそれぞれ抽出する領域抽出ステップであって、機械学習に基づいて、前記２次元画像の前記オブジェクトおよび前記背景の領域を抽出する領域抽出ステップと、
    前記２次元画像の所定領域ごとの奥行き情報で構成される第１の奥行き情報を取得する第１の奥行き情報取得ステップと、
    前記オブジェクトおよび前記背景の領域に対応した前記第１の奥行き情報に基づいて、前記オブジェクトおよび前記背景の領域の奥行きに関する代表値を第２の奥行き情報として取得する第２の奥行き情報取得ステップと、
    前記第２の奥行き情報に基づいて前記第１のレイヤおよび前記第２のレイヤの奥行き位置を決定し、前記第１のレイヤに前記オブジェクトを配置し、前記第２のレイヤに前記背景を配置して３次元画像データを生成する３次元画像データ生成ステップと、
    を含む画像処理方法をコンピュータに実行させるプログラム。
11. 非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に、
    ２次元画像から奥行きの異なる複数のレイヤで構成される３次元画像データを生成する画像処理機能であって、
    前記複数のレイヤのうちの第１のレイヤに配置される単数または複数のオブジェクトおよび前記複数のレイヤのうちの第２のレイヤに配置される前記オブジェクト以外の背景を少なくとも有する前記２次元画像を取得する画像取得機能と、
    前記オブジェクトおよび前記背景の領域をそれぞれ抽出する領域抽出機能であって、機械学習に基づいて、前記２次元画像の前記オブジェクトおよび前記背景の領域を抽出する領域抽出機能と、
    前記２次元画像の所定領域ごとの奥行き情報で構成される第１の奥行き情報を取得する第１の奥行き情報取得機能と、
    前記オブジェクトおよび前記背景の領域に対応した前記第１の奥行き情報に基づいて、前記オブジェクトおよび前記背景の領域の奥行きに関する代表値を第２の奥行き情報として取得する第２の奥行き情報取得機能と、
    前記第２の奥行き情報に基づいて前記第１のレイヤおよび前記第２のレイヤの奥行き位置を決定し、前記第１のレイヤに前記オブジェクトを配置し、前記第２のレイヤに前記背景を配置して３次元画像データを生成する３次元画像データ生成機能と、
    を含む画像処理機能をコンピュータに実現させる記録媒体。

Images