WO2022009607A1

WO2022009607A1 - 画像処理装置、および画像処理方法、並びにプログラム

Info

Publication number: WO2022009607A1
Application number: PCT/JP2021/022294
Authority: WO
Inventors: 達雄藤原; マシューローレンソン; ハームクローニー
Original assignee: ソニーグループ株式会社
Priority date: 2020-07-09
Filing date: 2021-06-11
Publication date: 2022-01-13

Abstract

画像スタイルを、画像の出力先となるコンテンツのテーマに一致したスタイルに変更して出力することを可能とした装置、方法を提供する。画像スタイルの変更処理に適用するスタイルデータを決定するスタイル決定部と、スタイル決定部において決定したスタイルデータを適用して、入力画像の画像スタイルを変更したスタイル変換画像を生成する画像変換部を有する。スタイル決定部は、スタイル変換画像を出力する画像コンテンツのテーマに応じてスタイルデータを決定し、画像変換部は、表示コンテンツのテーマに応じて決定されたスタイルデータを適用してスタイル変換画像を生成する。

Description

画像処理装置、および画像処理方法、並びにプログラム

　本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、３次元（３Ｄ）モデルの生成処理や、画像のスタイル変換処理を実行する画像処理装置、画像処理システム、並びにプログラムに関する。

　近年、コンピュータ・グラフィクス（ＣＧ：Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ）技術を用いた３次元画像生成技術が、映画やゲームなど様々な分野で利用されている。

　また、通常のカメラで撮影した２次元画像を用いて３次元形状モデルを生成する技術についても提案されている。
　例えば、特許文献１（特開２０１８－１３６６３２号公報）には、人口知能に２次元画像を入力して、２次元画像に含まれる被写体の３次元形状を推定する構成を開示している。

　この開示構成は、サンプル被写体の３次元形状を表す教師データと、サンプル被写体の３次元形状を撮影した２次元画像を含む学習データを用いて機械学習によって生成される学習結果を用いて３次元形状推定を行うものである。
　従って、予め、サンプル被写体の３次元形状を表す教師データと、サンプル被写体の２次元画像の双方が必要であるという問題がある。

特開２０１７－１３８９１３号公報

https://en.wikipedia.org/wiki/Neural_Style_Transfer

　本開示の一実施例は、例えば上述の問題点に鑑みてなされたものであり、より簡易な構成で、通常のカメラで撮影した２次元画像を用いて３次元画像（３次元モデル）を生成することを可能とした画像処理装置、および画像処理方法、並びにプログラムを提供するものである。

　さらに、本開示の一実施例は、通常のカメラで撮影した２次元画像や、２次元画像に基づいて生成した３次元画像（３次元モデル）に対して、画像スタイルを変更するスタイル転送処理を行い、異なるスタイルの画像、例えば異なる画像スタイルの３次元画像を生成して表示部に出力することを可能とした画像処理装置、および画像処理方法、並びにプログラムを提供するものである。

　本開示の第１の側面は、
　画像スタイルの変更処理に適用するスタイルデータを決定するスタイル決定部と、
　前記スタイル決定部において決定したスタイルデータを適用して、入力画像の画像スタイルを変更したスタイル変換画像を生成する画像変換部を有し、
　前記スタイル決定部は、
　前記スタイル変換画像を出力する画像コンテンツのテーマに応じてスタイルデータを決定し、
　前記画像変換部は、
　前記表示コンテンツのテーマに応じて決定されたスタイルデータを適用してスタイル変換画像を生成する画像処理装置にある。

　さらに、本開示の第２の側面は、
　画像処理装置において実行する画像処理方法であり、
　スタイル決定部が、画像スタイルの変更処理に適用するスタイルデータを決定するスタイル決定ステップと、
　画像変換部が、前記スタイル決定ステップにおいて決定したスタイルデータを適用して、入力画像の画像スタイルを変更したスタイル変換画像を生成する画像変換ステップを有し、
　前記スタイル決定ステップは、
　前記スタイル変換画像を出力する画像コンテンツのテーマに応じてスタイルデータを決定するステップであり、
　前記画像変換ステップは、
　前記表示コンテンツのテーマに応じて決定されたスタイルデータを適用してスタイル変換画像を生成するステップである画像処理方法にある。

　さらに、本開示の第３の側面は、
　画像処理装置において画像処理を実行させるプログラムであり、
　スタイル決定部に、画像スタイルの変更処理に適用するスタイルデータを決定させるスタイル決定ステップと、
　画像変換部に、前記スタイル決定ステップにおいて決定したスタイルデータを適用して、入力画像の画像スタイルを変更したスタイル変換画像を生成させる画像変換ステップを実行させ、
　前記スタイル決定ステップは、
　前記スタイル変換画像を出力する画像コンテンツのテーマに応じてスタイルデータを決定させるステップであり、
　前記画像変換ステップは、
　前記表示コンテンツのテーマに応じて決定されたスタイルデータを適用してスタイル変換画像を生成させるステップであるプログラムにある。

　なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

　本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　本開示の一実施例の構成によれば、画像スタイルを、画像の出力先となるコンテンツのテーマに一致したスタイルに変更して出力することを可能とした装置、方法が実現される。
　具体的には、例えば、画像スタイルの変更処理に適用するスタイルデータを決定するスタイル決定部と、スタイル決定部において決定したスタイルデータを適用して、入力画像の画像スタイルを変更したスタイル変換画像を生成する画像変換部を有する。スタイル決定部は、スタイル変換画像を出力する画像コンテンツのテーマに応じてスタイルデータを決定し、画像変換部は、表示コンテンツのテーマに応じて決定されたスタイルデータを適用してスタイル変換画像を生成する。
　本構成により、画像スタイルを、画像の出力先となるコンテンツのテーマに一致したスタイルに変更して出力することを可能とした装置、方法が実現される。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

拡張現実画像（ＡＲ画像）の表示装置と表示処理例について説明する図である。拡張現実画像（ＡＲ画像）の表示装置と表示処理例について説明する図である。本開示の画像処理装置の構成例について説明する図である。本開示の画像処理装置の構成と実行する処理について説明する図である。本開示の画像処理装置の実行する学習処理の一例について説明する図である。本開示の画像処理装置の実行する学習処理の一例について説明する図である。本開示の画像処理装置の構成と実行する処理について説明する図である。本開示の画像処理装置の構成例について説明する図である。本開示の画像処理装置の構成と実行する処理について説明する図である。本開示の画像処理装置の構成と実行する処理について説明する図である。本開示の画像処理装置の実行するスタイル転送処理について説明する図である。本開示の画像処理装置の構成例について説明する図である。本開示の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。本開示の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。本開示の画像処理装置の構成と実行する処理について説明する図である。本開示の画像処理装置の構成と実行する処理について説明する図である。本開示の画像処理装置のハードウェア構成例について説明する図である。

　以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
　１．本開示の画像処理装置の実行する処理の概要について
　２．本開示の画像処理装置が生成、出力する画像や実行する処理の概要について
　２－（１）．拡張現実（ＡＲ：Ａｕｇｕｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像について
　２－（２）．２次元画像からの３次元画像（３次元モデル）生成処理について
　２－（３）．スタイル転送処理について
　２－（４）．敵対的生成ネットワーク（ＧＡＮ：Ｇｅｎａｒａｔｉｖｅ　Ａｄｖｅｒｓａｒｉａｌ　Ｎｅｔｗｏｒｋｓ）について
　３．本開示の画像処理装置の構成と処理について
　３－１．（実施例１）２次元画像に基づく３次元画像（３次元モデル）を生成する画像処理装置
　３－１－１．（処理１）学習（サイクルＧＡＮ学習アルゴリズム）処理の実行による学習モデル（デプス埋め込み画像データ）の生成、および記憶部への学習モデル格納処理
　３－１－２．（処理２）記憶部に格納された学習モデル（デプス埋め込み画像データ）を適用した２次元画像からの３次元画像（３次元モデル）復元処理と、表示処理
　３－２．（実施例２）入力画像に対するスタイル転送処理を実行する画像処理装置
　３－２－１．（処理１）入力画像に適用するスタイルを決定するスタイル決定処理
　３－２－２．（処理２）決定したスタイルを入力画像に適用してスタイル転送（スタイル変換）を実行して表示部に表示する処理
　３－３．（実施例３）入力２次元画像に基づく３次元画像（３次元モデル）生成処理と、スタイル転送処理を実行する画像処理装置
　４．その他の実施例について
　４－（１）３次元画像観察用の左目用画像と右目用画像の２つの視差画像を生成する画像処理装置
　４－（２）多様な２次元画像に基づく多様な３次元画像（３次元モデル）を生成する画像処理装置
　５．画像処理装置のハードウェア構成例について
　６．本開示の構成のまとめ

　　［１．本開示の画像処理装置の実行する処理の概要について］
　まず、本開示の画像処理装置の実行する処理の概要について説明する。

　本開示の一実施例の画像処理装置は、実空間で観察可能な実オブジェクト画像と、仮想オブジェクトを重畳して表示した画像である拡張現実（ＡＲ：Ａｕｇｕｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像を生成して表示する処理を行う。

　最近、家庭用ゲーム機や、テレビ画面、あるいはスマホやＰＣ等のゲーム機器を利用したゲーム等が盛んに行われている。
　このようなゲームを行う場合、例えばゲーム機器に装着されたカメラで撮影した画像、例えばユーザ（ゲームプレイヤー）の部屋の画像に、ゲームアプリケーション（プログラム）に登録されたキャラクタ等の仮想画像を重畳表示したＡＲ画像を生成して、ゲームを行うことを可能としたものがある。

　しかし、このようなカメラ撮影画像上にゲームキャラクタを表示させるようなＡＲ画像を表示する場合、以下のような問題が発生する。
　（問題点１）ユーザ（ゲームプレイヤー）の部屋のカメラ撮影画像が、ゲームテーマやシーンに合わないため、ゲームの雰囲気が損なわれる。
　（問題点２）ユーザ（ゲームプレイヤー）の部屋が暗い場合、カメラ撮影画像を用いて表示部に表示された実画像に含まれる物の識別が困難となる。
　（問題点３）ユーザ（ゲームプレイヤー）の部屋のカメラ撮影画像が２次元画像であり、ゲームキャラクタが３次元画像である場合、２次元画像と３次元画像が混在したＡＲ画像が表示されてしまい、ゲームの質が低下する。

　以下、これらの問題点の具体例と、本開示の画像処理装置が実行する解決策の概要について説明する。

　（問題点１）ユーザ（ゲームプレイヤー）の部屋のカメラ撮影画像が、ゲームテーマやシーンに合わないため、ゲームの雰囲気が損なわれる。
　まず、（問題点１）、すなわち「ユーザ（ゲームプレイヤー）の部屋のカメラ撮影画像が、ゲームテーマやシーンに合わないため、ゲームの雰囲気が損なわれる。」
　この（問題点１）の具体例と、本開示の画像処理装置が実行する解決策の概要について説明する。

　ユーザ（ゲームプレイヤー）の部屋のカメラ撮影画像上にゲームキャラクタを表示させると、ゲームを行うユーザ（プレーヤ）のいる部屋がゲームのテーマに合わないといった問題が発生することがある。

　ゲームは、ある特定のテーマ設定の中で行われる場合が多い。
　具体的には、例えば、１８世紀の設定、ホラーの設定など、ゲーム固有のテーマ設定の中で行われることが多い。

　ゲームの中にプレイヤーであるユーザ自身が登場するゲームも多くあり、この場合、例えばユーザや、ユーザのいる部屋のカメラ撮影画像と、ゲームに登場するキャラクタ等を合成した拡張現実画像（ＡＲ画像）を生成してスマホ等のゲーム機に表示する処理が行われる。

　しかし、このようなカメラ撮影画像には、ユーザの部屋のなかにある日常的な物（テーブル、いす等）が含まれる。このような日常的な物（テーブル、いす等）の画像は、ゲームのテーマ（１８世紀の設定、ホラーの設定など）から乖離しており、表示画面にこのような日常的な物の画像が表示されると、ゲームの雰囲気が損なわれてしまう。

　本開示は、このような問題を解決することを可能とする。
　具体的には、カメラ撮影画像に含まれる日常的なオブジェクト（物）の画像を、ゲームのテーマに合ったオブジェクト（物）の画像に変換して、その変換画像をゲーム画像であるＡＲ画像中に表示する。

　例えば、ゲームが１８世紀のお城の中をテーマとしたゲームである場合、ユーザのゲーム機のカメラで撮影された部屋の中の「椅子の画像」を、１８世紀のお城の中で利用されるような「豪華な椅子の画像」に変換し、この変換画像をゲーム画像として利用されるＡＲ画像内に表示することができる。
　なお、このような画像変換処理は、例えば「スタイル転送」、あるいは「スタイル変換」と呼ばれる処理によって実現することができる。
　なお、スタイル転送処理については後段で説明する。

　このように、本開示の画像処理装置は、カメラ撮影画像に含まれるオブジェクト（物）に、スタイル転送を適用した画像変換処理を行って、カメラ撮影画像に含まれるオブジェクト（物）をゲームテーマに一致したオブジェクト画像に変換する処理を行ってＡＲ画像内に表示する。
　このような処理を行うことで、ユーザは、ユーザ自身がゲームのテーマの中にいるような感覚を覚えることになり、よりゲームに集中することができる。

　本開示では、このように、カメラ撮影画像に含まれるオブジェクトの外観を変更する処理を行う。

　（問題点２）ユーザ（ゲームプレイヤー）の部屋が暗い場合、カメラ撮影画像を用いて表示部に表示された実画像に含まれる物の識別が困難となる。
　次に、（問題点２）、すなわち「ユーザ（ゲームプレイヤー）の部屋が暗い場合、カメラ撮影画像を用いて表示部に表示された実画像に含まれる物の識別が困難となる。」
　この（問題点２）の具体例と、本開示の画像処理装置が実行する解決策の概要について説明する。

　例えば、ユーザがゲームを行っている部屋の照明が暗い場合、ユーザのいる部屋のカメラ撮影画像は、鮮明度が低下した画像となる。このような不鮮明な画像を、ゲーム画像であるＡＲ画像内に表示すると、カメラ撮影画像に含まれるオブジェクト（物）が認識しづらくなるという問題が発生する。
　フラッシュを利用すれば、瞬間的に明るい画像を得られるが、まぶしさのためにイメージを劣化させる可能性がある。

　このような場合、本開示の画像処理装置は、ユーザのゲーム機のカメラで撮影された部屋の中の「不鮮明な画像」を、ゲームテーマに合わせた「クリアな画像」に変換し、この変換画像をＡＲ画像内に表示する。

　（問題点３）ユーザ（ゲームプレイヤー）の部屋のカメラ撮影画像が２次元画像であり、ゲームキャラクタが３次元画像である場合、２次元画像と３次元画像が混在したＡＲ画像が表示されてしまい、ゲームの質が低下する。
　次に、（問題点３）、すなわち「ユーザ（ゲームプレイヤー）の部屋のカメラ撮影画像が２次元画像であり、ゲームキャラクタが３次元画像である場合、２次元画像と３次元画像が混在したＡＲ画像が表示されてしまい、ゲームの質が低下する。」
　この（問題点３）の具体例と、本開示の画像処理装置が実行する解決策の概要について説明する。

　上述したように、ユーザや、ユーザのいる部屋のカメラ撮影画像と、ゲームに登場するキャラクタ等を合成した拡張現実画像（ＡＲ画像）を利用してゲームを行う場合、ゲーム機に装着されたカメラの撮影画像は２次元画像である場合がほとんどである。

　このようなカメラ撮影画像である２次元画像を、３次元画像であるゲームキャラクタが出力されているゲーム画面中に出力すると、２次元画像と３次元画像が混在した不自然な表示画像になる。

　本開示の処理では、カメラで撮影された２次元画像に基づいて３次元画像（３次元モデル）を生成し、生成した３次元画像をＡＲ画像内に表示する。

　このような処理を行うことで、ＡＲ画像全体が３次元画像として表示されることになり、ゲームの雰囲気や質を損なうことがなく、ユーザは臨場感のあるゲームを楽しむことができる。

　以上、説明したように、本開示の画像処理装置は、ＡＲ画像内に表示する実画像に含まれるオブジェクトについての処理として、例えば、以下の処理を実行する。
　（１）ＡＲ画像に出力する実オブジェクトの外観を、特定のスタイルまたはテーマに合わせて変更する。
　（２）ＡＲ画像に出力する実オブジェクトが２次元画像である場合、その２次元画像を３次元画像に変換する。

　なお、上記（２）の処理、すなわち２次元画像を３次元画像に変換する処理としては、例えば、カメラ撮影画像である２次元画像にオブジェクト距離を示すデプスデータ（３Ｄデータ）を埋め込んだデータを生成し、このデータを利用して３次元画像（３次元モデル）を生成する処理を実行する。

　上記（１）、（２）の処理を行うことで、例えば、以下のような処理が可能となる。
　カメラによって２次元画像を撮影し、撮影した２次元画像にデプスデータ等の３Ｄデータを埋め込み、このデプスデータ等の３Ｄデータを埋め込んだ２次元画像を利用して３次元画像を生成する。
　さらに、生成した３次元画像に対してゲームテーマに合わせたスタイル転送（画像スタイルの変換）を実行し、スタイル転送後の３次元画像をゲーム画像であるＡＲ画像中に表示する。
　例えば、このような処理が可能となる。

　このような処理を行うことで、カメラ撮影画像に含まれる実オブジェクトを、ゲームテーマに一致した３次元画像としてゲーム画像であるＡＲ画像中に表示することとが可能となり、より臨場感のあるゲームを楽しむことが可能となる。

　　［２．本開示の画像処理装置が生成、出力する画像や実行する処理の概要について］
　次に、本開示の画像処理装置が生成、出力する画像や実行する処理の概要について説明する。

　以下、本開示の画像処理装置が生成、出力する画像や実行する処理について、以下の４項目について順次、説明する。
　（１）拡張現実（ＡＲ：Ａｕｇｕｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像について
　（２）２次元画像からの３次元画像（３次元モデル）生成処理について
　（３）スタイル転送処理について
　（４）敵対的生成ネットワーク（ＧＡＮ：Ｇｅｎａｒａｔｉｖｅ　Ａｄｖｅｒｓａｒｉａｌ　Ｎｅｔｗｏｒｋｓ）について

　（２－（１）．拡張現実（ＡＲ：Ａｕｇｕｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像について）
　まず、拡張現実（ＡＲ：Ａｕｇｕｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像の概要について説明する。

　実空間で観察可能な実オブジェクトと画像と、仮想オブジェクト画像を重畳して表示した画像を拡張現実（ＡＲ：Ａｕｇｕｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像と呼ぶ。
　本開示の画像処理装置は、例えばこのようなＡＲ画像を生成して、表示部に出力する処理を実行する。

　図１以下を参照して、ＡＲ画像の概要について説明する。
　図１には、ＡＲ画像の表示を行う画像処理装置の一例として、スマホ１０等の携帯型表示装置を示している。

　図１に示すスマホ１０は、表示部を有し、カメラ１１を有する。
　図１の右側には、表示部の表示画像の例を示している。

　（ａ）観察画像例１は、スマホ１０の表示部に表示されるカメラ１１によって撮影された実オブジェクトからなるカメラ撮影画像１２によって構成されている。この画像例１には、仮想オブジェクトは表示されていない。

　一方、（ｂ）観察画像例２は、カメラ撮影画像１２によって構成される実オブジェクトからなるカメラ撮影画像１２に併せて、キャラクタ画像等の仮想オブジェクト画像１３を表示した画像例である。この画像例２は、ユーザが実オブジェクトと仮想オブジェクトを併せて観察可能な画像である。

　（ｂ）観察画像例２に示すキャラクタ画像等の仮想オブジェクト画像１３は、例えばスマホ１０等の携帯型表示装置において実行中のゲームアプリケーションに登場するキャラクタであり、ゲームアプリケーションのプログラム内に登録されたキャラクタ画像である。

　ユーザは、スマホ１０の表示部（ディスプレイ）に表示されるカメラ撮影画像、すなわち実オブジェクト画像１２と、キャラクタ等の仮想オブジェクト画像１３を併せて表示したＡＲ画像を観察することが可能となり、あたかもキャラクタ等の仮想オブジェクトが実世界に存在するかのような感覚を体感することができる。

　さらに、図２を参照して、ＡＲ画像表示装置のもう一つの例について説明する。
　図２には、ＡＲ画像表示装置の一例として、ヘッド・マウント・ディスプレイ（ＨＭＤ）型の光透過型ＡＲ画像表示デバイス２０を示している。
　ユーザは、ユーザの目を覆うようにヘッド・マウント・ディスプレイ（ＨＭＤ）型の光透過型ＡＲ画像表示デバイス２０を装着する。

　光透過型ＡＲ画像表示デバイス２０は光透過型の表示部（ディスプレイ）を有する。光透過型の表示部（ディスプレイ）をユーザの目の前の位置に設定するようにユーザに装着される。

　ユーザは、光透過型ＡＲ画像表示デバイス２０の光透過型の表示部（ディスプレイ）を介して外部の実オブジェクトをそのまま観察することができる。
　さらに、光透過型の表示部（ディスプレイ）に、仮想オブジェクト、例えばキャラクタ画像等の仮想オブジェクト画像が表示される。

　ユーザは、光透過型ＡＲ画像表示デバイス２０を介して外部の実オブジェクトとキャラクタ等の仮想オブジェクト画像を併せて観察することが可能となり、あたかもキャラクタ等の仮想オブジェクトが実世界状に存在するかのような感覚を体感することができる。

　図２の右側には、ユーザが、光透過型ＡＲ画像表示デバイス２０を介して観察可能な画像の例を示している。

　（ａ）観察画像例１は、光透過型ＡＲ画像表示デバイス２０を介して観察される外部の実オブジェクトからなる透過観察画像２１によって構成されている。この画像例１には、仮想オブジェクトは表示されていない。

　一方、（ｂ）観察画像例２は、光透過型ＡＲ画像表示デバイス２０を介して観察される外部の実オブジェクトからなる透過観察画像２１に併せて、キャラクタ画像等の仮想オブジェクト画像２２を表示した画像例である。この画像例２は、ユーザが実オブジェクトと仮想オブジェクトを併せて観察可能なＡＲ画像である。

　　（２－（２）．２次元画像からの３次元画像（３次元モデル）生成処理について）
　次に、２次元画像からの３次元画像（３次元モデル）生成処理について説明する。

　上述したように、ユーザや、ユーザのいる部屋のカメラ撮影画像と、ゲームに登場するキャラクタ等を合成した拡張現実画像（ＡＲ画像）を利用してゲームを行う場合、ゲーム機に装着されたカメラの撮影画像は２次元画像である場合がほとんどである。
　このようなカメラ撮影画像である２次元画像を、３次元画像として表示されているゲームキャラクタが出力されているゲーム画面中に出力すると、不自然な表示画像になる。

　本開示の処理では、カメラで撮影された２次元画像に基づいて３次元画像（３次元モデル）を生成し、生成した３次元画像をＡＲ画像内に表示する。
　このような処理を行うことで、ＡＲ画像全体が３次元画像として表示されることになり、ゲームの雰囲気や質を損なうことがなく、ユーザは臨場感のあるゲームを楽しむことができる。

　本開示の処理では、カメラで撮影された２次元画像に含まれる被写体であるオブジェクトの距離情報（デプス）を取得し、取得したデプスデータを２次元画像の各画素単位、あるいは所定の画素集合単位で埋め込んだデプス埋め込み２次元画像を生成する。

　このデプス埋め込み２次元画像を利用することで、この画像から３次元画像を生成する。
　なお、２次元画像に含まれる被写体であるオブジェクトの距離情報（デプス）を取得する方法としては、赤外光等の光の送受信時間を計測するＴｏＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）手法を利用する。
　なお、例えば、ステレオカメラや３Ｄカメラを利用可能な場合は、これらのカメラの取得データを利用することも可能である。

　（２－（３）．スタイル転送処理について）
　次に、スタイル転送処理について説明する。

　前述したように、例えばユーザや、ユーザのいる部屋のカメラ撮影画像と、ゲームに登場するキャラクタ等を合成した拡張現実画像（ＡＲ画像）を生成してスマホ等のゲーム機に表示する場合、ユーザの部屋のなかにある日常的な物（テーブル、いす等）の画像は、ゲームのテーマ（１８世紀の設定、ホラーの設定など）から乖離しており、表示画面にこのような日常的な物の画像が表示されると、ゲームの雰囲気が損なわれる。

　本開示は、このような問題を解決するため、例えば、カメラ撮影画像に含まれる日常的なオブジェクト（物）の画像を、ゲームのテーマに合ったオブジェクト（物）の画像に変換して、その変換画像をゲーム画像であるＡＲ画像中に表示する。

　例えば、ゲームが１８世紀のお城の中をテーマとしたゲームである場合、ユーザのゲーム機のカメラで撮影された部屋の中の「椅子の画像」を、１８世紀のお城の中で利用されるような「豪華な椅子の画像」に変換し、この変換画像ゲーム画像として利用するＡＲ画像に表示する。

　このように画像のスタイルを変更する画像スタイル変換処理を行うアルゴリズムとして「スタイル転送処理（Ｓｔｙｌｅ　Ｔｒａｎｓｆｅｒ）」がある。
　スタイル転送処理は、機械学習を用いた画像スタイル変換手法であり、オリジナル画像を、オリジナル画像とは異なるスタイルの画像に変換する手法である。
　なお、このスタイル転送処理については、例えば非特許文献１「https://en.wikipedia.org/wiki/Neural_Style_Transfer」に記載されている。

　画像のスタイルを変更するスタイル転送処理を行うことで、例えば、カメラで撮影された家の中の部屋の画像を、お城の中の雰囲気を持つ画像に変換することが可能となる。あるいは、ビニールバッグの画像を、高級バッグの画像に変換するといった処理である。

　このような画像のスタイル転送を行うためには、様々な画像を利用した機械学習処理を予め実行しておく必要がある。
　この機械学習処理によって、様々なオブジェクトの元画像と、その元画像に対応するスタイル転送後の画像、例えば１８世紀のオブジェクト画像が対応付けたデータが生成される。これをスタイルデータとして格納しておく。

　このような機械学習処理によって生成されたスタイルデータを適用して、様々な入力画像のスタイル転送を行うことができる。

　（２－（４）．敵対的生成ネットワーク（ＧＡＮ：Ｇｅｎａｒａｔｉｖｅ　Ａｄｖｅｒｓａｒｉａｌ　Ｎｅｔｗｏｒｋｓ）について）
　次に、敵対的生成ネットワーク（ＧＡＮ：Ｇｅｎａｒａｔｉｖｅ　Ａｄｖｅｒｓａｒｉａｌ　Ｎｅｔｗｏｒｋｓ）について説明する。

　本開示の処理では、上述したように、２次元画像からの３次元画像（３次元モデル）生成処理を行う。
　本開示の画像処理装置は、この２次元画像からの３次元画像（３次元モデル）生成処理に際して、敵対的生成ネットワーク（ＧＡＮ：Ｇｅｎａｒａｔｉｖｅ　Ａｄｖｅｒｓａｒｉａｌ　Ｎｅｔｗｏｒｋｓ）を利用した学習処理によって生成した学習モデルを利用する。

　敵対的生成ネットワーク（ＧＡＮ）について説明する。
　敵対的生成ネットワーク（ＧＡＮ）は、正解データである「教師データ」を用いることなく入力データ、例えば画像の学習処理を行う教師なし学習処理である。

　敵対的生成ネットワーク（ＧＡＮ）では、
　（ａ）学習用の多数のサンプルデータ（サンプル画像）を生成する生成部（Ｇｅｎａｒａｔｏｒ）ネットワーク、
　（ｂ）生成部の生成したサンプルデータ（サンプル画像）と、本物のデータ（＝サンプルデータを変換した後のデータ）とを比較して、生成部の生成したサンプルデータ（サンプル画像）が本物のデータであるか否かの判定（真偽判定）を行う判定部（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）ネットワーク、
　これら（ａ），（ｂ）２つのネットワークを利用し、これら２つのネットワークが、各々、最善を尽くすように競い合う。

　この結果、「（ａ）生成部（Ｇｅｎａｒａｔｏｒ）ネットワーク」は、「（ｂ）判定部（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）ネットワーク」において「偽物である」と判定されにくい、「より本物に近いサンプルデータ（サンプル画像）」を生成することが可能となる。

　本開示の画像処理装置は、例えばカメラ撮影画像である２次元画像を「（ａ）生成部（Ｇｅｎａｒａｔｏｒ）ネットワーク」において生成するサンプル画像とし、この２次元画像に含まれるオブジェクトの距離データ（デプス）を「（ｂ）判定部（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）ネットワーク」において、サンプル画像である２次元画像が本物であるか偽物であるかの真偽判定を行うためのデータとして利用する。

　すなわち、「（ｂ）判定部（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）ネットワーク」は、ある１つのオブジェクトの距離データ（デプス）が、「（ａ）生成部（Ｇｅｎａｒａｔｏｒ）ネットワーク」において生成されたサンプル画像、すなわち２次元画像のデプスデータであるか否かを判定して、２次元画像のデプスデータであると判定した場合は、「（ａ）生成部（Ｇｅｎａｒａｔｏｒ）ネットワーク」が生成したサンプル画像が、本物であると判定する処理を実行する。

　このように、サンプル画像である２次元画像と、２次元画像のデプスデータを、「（ａ）生成部（Ｇｅｎａｒａｔｏｒ）ネットワーク」と、「（ｂ）判定部（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）ネットワーク」に振り分けて、これら（ａ），（ｂ）２つのネットワークを競合させる学習処理（教師なし学習処理）を行う。

　この学習処理（教師なし学習処理）の結果として生成される学習モデルを、「学習モデル（デプス埋め込み２次元画像データ）」として記憶部に格納する。
　新たな２次元画像の入力時には、この学習モデル（デプス埋め込み２次元画像データ）を適用して、入力２次元画像対応の３次元画像（３次元モデル）を生成する。

　　［３．本開示の画像処理装置の構成と処理について］
　以下、本開示の画像処理装置の構成と処理について説明する。

　以下に示す３つの実施例について、順次、説明する。
　（実施例１）２次元画像に基づく３次元画像（３次元モデル）を生成する画像処理装置
　（実施例２）入力画像に対するスタイル転送処理を実行する画像処理装置
　（実施例３）入力２次元画像に基づく３次元画像（３次元モデル）を生成し、さらに、スタイル転送処理を実行する画像処理装置

　　（３－１．（実施例１）２次元画像に基づく３次元画像（３次元モデル）を生成する画像処理装置）
　まず、（実施例１）として、２次元画像に基づく３次元画像（３次元モデル）を生成する画像処理装置について説明する。

　図３に本実施例１の画像処理装置１００の構成例を示す。
　図３に示すように、本実施例１の画像処理装置１００は、データ取得部１１０、データ処理部１３０、データ出力部１４０、デプス埋め込み学習処理部１５０、記憶部１６０を有する。

　データ取得部１１０は、２次元カメラ１１２を有する２次元画像取得部１１１と、３次元センサ１１４、および赤外（ＩＲ）光出力部１１５を有するデプスデータ（３Ｄデータ）取得部１１３を有する。

　データ処理部１３０は、３次元モデル復元部１３１と、レンダリング部１３２を有する。
　データ出力部１４０は、表示部１４１を有する。
　デプス埋め込み学習処理部１５０は、サイクルＧＡＮ学習アルゴリズム実行部１５１を有する。
　記憶部１６０は、学習用データ記憶部１６１と、学習モデル（デプス埋め込み画像データ）記憶部１６２を有する。

　データ取得部１１０の２次元画像取得部１１１は、２次元カメラ１１２を利用した２次元画像を撮影する。
　デプスデータ（３Ｄデータ）取得部１１３は、３次元センサ１１４、および赤外（ＩＲ）光出力部１１５を有し、２次元カメラ１１２によって撮影された２次元画像に含まれる被写体（オブジェクト）の距離（デプス）を算出する。

　デプスデータ（３Ｄデータ）取得部１１３の赤外（ＩＲ）光出力部１１５は、赤外光（ＩＲ光）を出力する。デプスデータ（３Ｄデータ）取得部１１３の３次元センサ１１４は、赤外（ＩＲ）光出力部１１５による赤外光（ＩＲ光）の送受信間隔を測定し、被写体までの距離（デプス）を計測する。
　すなわち、赤外光（ＩＲ光）の送受信時間であるＴｏＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）を計測して被写体までの距離に基づいて、被写体の距離（デプス）を算出する。

　データ処理部１３０の３次元モデル復元部１３１は、２次元画像取得部１１１の２次元カメラ１１２が撮影した２次元画像を入力して、入力２次元画像に基づく３次元画像（３次元モデル）を生成する。

　具体的には、サイクルＧＡＮ（Ｇｅｎａｒａｔｉｖｅ　Ａｄｖｅｒｓａｒｉａｌ　Ｎｅｔｗｏｒｋｓ）を利用した学習処理により生成された学習モデル（デプス埋め込み画像データ）、すなわち、記憶部１６０の学習モデル（デプス埋め込み画像データ）記憶部１６２の格納データを利用して、３次元画像（３Ｄモデル）を生成する。

　データ処理部１３０のレンダリング部１３２は、表示部１４１に表示する画像の描画処理（レンダリング）を行う。

　データ出力部１４０の表示部１４１は、画像等の表示処理を行う。
　なお、表示部１４１としては、実施形態に応じて、２Ｄ画像表示装置、３Ｄ画像表示装置、ＡＲ画像表示装置（透過型、非透過型）等、様々な表示装置が利用可能である。

　デプス埋め込み学習処理部１５０のサイクルＧＡＮ学習アルゴリズム実行部１５１は、３次元モデル復元部１３１において実行する２次元画像からの３次元画像（３Ｄモデル）復元処理に利用する学習データを生成する。
　具体的には、サイクルＧＡＮ（Ｇｅｎａｒａｔｉｖｅ　Ａｄｖｅｒｓａｒｉａｌ　Ｎｅｔｗｏｒｋｓ）を利用した学習処理を実行して、学習モデル（デプス埋め込み画像データ）を生成する。生成した学習モデル（デプス埋め込み画像データ）は、記憶部１６０の学習モデル（デプス埋め込み画像データ）記憶部１６２に格納される。

　記憶部１６０は、学習用データ記憶部１６１と、学習モデル（デプス埋め込み画像データ）記憶部１６２を有する。
　学習用データ記憶部１６１には、デプス埋め込み学習処理部１５０のサイクルＧＡＮ学習アルゴリズム実行部１５１において実行する学習処理に適用する学習データを格納する。具体的には例えば２次元画像取得部１１１の取得した２次元画像と、この２次元画像に含まれるオブジェクト（被写体）のデプスデータであり、デプスデータ（３Ｄデータ）取得部１１３が取得したデプスデータが格納される。

　学習モデル（デプス埋め込み画像データ）記憶部１６２には、デプス埋め込み学習処理部１５０のサイクルＧＡＮ学習アルゴリズム実行部１５１が、学習用データ記憶部１６１に格納された学習用データを適用して実行した学習処理の結果、生成されたデータが格納される。
　すなわち、学習処理部１５０のサイクルＧＡＮ学習アルゴリズム実行部１５１が、学習用データ記憶部１６１に格納された学習用データを適用して、サイクルＧＡＮ（Ｇｅｎａｒａｔｉｖｅ　Ａｄｖｅｒｓａｒｉａｌ　Ｎｅｔｗｏｒｋｓ）を利用した学習処理を実行して生成された学習モデル（デプス埋め込み画像データ）が格納される。

　次に、図３に示す画像処理装置１００を利用して実行する処理について説明する。
　図３に示す画像処理装置１００を利用して実行する処理には、以下の２つの処理がある。
　（処理１）学習（サイクルＧＡＮ学習アルゴリズム）処理の実行による学習モデル（デプス埋め込み画像データ）の生成、および記憶部への学習モデル格納処理
　（処理２）記憶部に格納された学習モデル（デプス埋め込み画像データ）を適用した２次元画像からの３次元画像（３次元モデル）復元処理と、表示処理
　以下、これら２つの処理について、順次、説明する。

　　（３－１－１．（処理１）学習（サイクルＧＡＮ学習アルゴリズム）処理の実行による学習モデル（デプス埋め込み画像データ）の生成、および記憶部への学習モデル格納処理）
　まず、学習（サイクルＧＡＮ学習アルゴリズム）処理の実行による学習モデル（デプス埋め込み画像データ）の生成、および記憶部への学習モデル格納処理について説明する。

　図４を参照して、この（処理１）について説明する。
　図４に示す画像処理装置１００の構成は、図３を参照して説明したと同様の構成である。図４には、さらに、（処理１）を実行する際のデータの流れを示している。

　（処理１）は、主としてデプス埋め込み学習処理部１５０のサイクルＧＡＮ学習アルゴリズム実行部１５１が実行する処理である。

　デプス埋め込み学習処理部１５０のサイクルＧＡＮ学習アルゴリズム実行部１５１は、３次元モデル復元部１３１において実行する２次元画像からの３次元画像（３Ｄモデル）復元処理に利用する学習データを生成する。

　具体的には、デプス埋め込み学習処理部１５０のサイクルＧＡＮ学習アルゴリズム実行部１５１は、記憶部１６０の学習用データ記憶部１６１に格納された学習用データを取得し、この学習用データを利用したサイクルＧＡＮ（Ｇｅｎａｒａｔｉｖｅ　Ａｄｖｅｒｓａｒｉａｌ　Ｎｅｔｗｏｒｋｓ）アルゴリズムに従った学習処理を実行して、学習モデル（デプス埋め込み画像データ）を生成する。生成した学習モデル（デプス埋め込み画像データ）は、記憶部１６０の学習モデル（デプス埋め込み画像データ）記憶部１６２に格納される。

　なお、図４に示すように、学習用データ記憶部１６１には、以下の各データが入力されて記録される。
　（ａ）２次元画像取得部１１１の取得した２次元画像２０１、
　（ｂ）上記２次元画像に含まれるオブジェクト（被写体）のデプスデータであり、デプスデータ（３Ｄデータ）取得部１１３が取得したデプスデータ（３Ｄデータ）２０２、
　学習用データ記憶部１６１には、これら（ａ），（ｂ）の各データが対応付けて記録される。

　デプス埋め込み学習処理部１５０のサイクルＧＡＮ学習アルゴリズム実行部１５１は、この学習用データ記憶部１６１に格納された上記（ａ），（ｂ）の各データを取得し、取得データを利用して、サイクルＧＡＮ（Ｇｅｎａｒａｔｉｖｅ　Ａｄｖｅｒｓａｒｉａｌ　Ｎｅｔｗｏｒｋｓ）アルゴリズムに従った学習処理を実行して、学習モデル（デプス埋め込み画像データ）を生成する。

　図５を参照して、サイクルＧＡＮ学習アルゴリズム実行部１５１において実行するサイクルＧＡＮ（Ｇｅｎａｒａｔｉｖｅ　Ａｄｖｅｒｓａｒｉａｌ　Ｎｅｔｗｏｒｋｓ）アルゴリズムに従った学習処理について説明する。

　図５には、学習用データ記憶部１６１に格納された上記（ａ），（ｂ）の各データ、すなわち、
　（ａ）２次元画像取得部１１１の取得した２次元画像２０１、
　（ｂ）上記２次元画像に含まれるオブジェクト（被写体）のデプスデータであり、デプスデータ（３Ｄデータ）取得部１１３が取得したデプスデータ（３Ｄデータ）２０２、
　これらの各データの一例を示している。

　サイクルＧＡＮ学習アルゴリズム実行部１５１は、
　「（ａ）２次元画像取得部１１１の取得した２次元画像」を「（Ａ）生成部（Ｇｅｎａｒａｔｏｒ）ネットワーク」において生成するサンプル画像とし、さらに、「（ｂ）上記２次元画像に含まれるオブジェクト（被写体）のデプスデータであり、デプスデータ（３Ｄデータ）取得部１１３が取得したデプスデータ」を「（Ｂ）判定部（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）ネットワーク」において、２次元画像（サンプル画像）が本物であるか偽物であるかの真偽判定を行うためのデータとして利用した教師なし学習処理を行う。

　すなわち、「（Ｂ）判定部（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）ネットワーク」は、ある１つのオブジェクトの距離データ（デプス）が、「（Ａ）生成部（Ｇｅｎａｒａｔｏｒ）ネットワーク」において生成されたサンプル画像、すなわち２次元画像のデプスデータであるか否かを判定して、２次元画像のデプスデータであると判定した場合は、「（Ａ）生成部（Ｇｅｎａｒａｔｏｒ）ネットワーク」が生成した２次元画像（サンプル画像）が、本物であると判定する処理を実行する。

　この学習処理（教師なし学習処理）の結果として生成される学習モデルを、「学習モデル（デプス埋め込み２次元画像データ）」として記憶部に格納する。
　すなわち、図６に示すように、サイクルＧＡＮ学習アルゴリズム実行部１５１において実行するサイクルＧＡＮ（Ｇｅｎａｒａｔｉｖｅ　Ａｄｖｅｒｓａｒｉａｌ　Ｎｅｔｗｏｒｋｓ）アルゴリズムに従った学習処理の結果として、学習モデル（デプス埋め込み２次元画像データ）が生成され、この学習モデル（デプス埋め込み２次元画像データ）が記憶部１６０の学習モデル（デプス埋め込み２次元画像データ）記憶部１６２に格納される。

　新たな２次元画像の入力時には、この学習モデル（デプス埋め込み２次元画像データ）を適用して、入力２次元画像対応の３次元画像（３次元モデル）を生成する。

　　（３－１－２．（処理２）記憶部に格納された学習モデル（デプス埋め込み画像データ）を適用した２次元画像からの３次元画像（３次元モデル）復元処理と、表示処理）
　次に、記憶部に格納された学習モデル（デプス埋め込み画像データ）を適用した２次元画像からの３次元画像（３次元モデル）復元処理と、表示処理について説明する。

　図７を参照して、この（処理２）について説明する。
　図７に示す画像処理装置１００の構成は、先に図３を参照して説明したと同様の構成である。図７には、さらに、（処理２）を実行する際のデータの流れを示している。

　（処理２）は、主としてデータ処理部１３０の３次元モデル復元部１３１とレンダリング部１３２が実行する処理である。

　図７に示すように、データ処理部１３０の３次元モデル復元部１３１は、２次元画像取得部１１１の２次元カメラ１１２が撮影した２次元画像２２１を入力して、入力した２次元画像２２１に基づく３次元画像（３次元モデル）を生成する。

　具体的には、サイクルＧＡＮ（Ｇｅｎａｒａｔｉｖｅ　Ａｄｖｅｒｓａｒｉａｌ　Ｎｅｔｗｏｒｋｓ）を利用した学習処理により生成された学習モデル（デプス埋め込み画像データ）２２２、すなわち、記憶部１６０の学習モデル（デプス埋め込み画像データ）記憶部１６２の格納データを利用して、３次元画像（３Ｄモデル）を生成する。

　記憶部１６０の学習モデル（デプス埋め込み画像データ）記憶部１６２の格納データは、先に説明したように、サンプル画像である２次元画像と、２次元画像のデプスデータを、「（Ａ）生成部（Ｇｅｎａｒａｔｏｒ）ネットワーク」と、「（Ｂ）判定部（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）ネットワーク」に振り分けて、これら（Ａ），（Ｂ）２つのネットワークを競合させるサイクルＧＡＮ学習処理（教師なし学習処理）によって生成されたデータ（学習モデル）である。

　データ処理部１３０の３次元モデル復元部１３１は、サイクルＧＡＮ学習処理（教師なし学習処理）によって生成された学習モデル（デプス埋め込み画像データ）２２２を適用して、２次元画像取得部１１１の２次元カメラ１１２が撮影した２次元画像２２１に対応する最適なデプスデータを取得し、取得したデプスデータを利用して、２次元画像２２１に対応する３次元画像（３次元モデル）を生成する。

　学習モデル（デプス埋め込み画像データ）記憶部１６２からの、最適なデプスデータ、すなわち最適な学習モデル（デプス埋め込み画像データ）の取得処理は、例えば以下のいずれかの手法で実行する。
　ａ．ユーザが、デプス埋め込み画像データを表示して確認し、入力した２次元画像に最も類似度の高いデプス埋め込み画像データを選択して、選択したデプス埋め込み画像データに設定されたＩＤを指定して選択取得する。
　ｂ．画像類似度の自動判定プログラムを適用して、入力２次元画像に最も類似度の高いデプス埋め込み画像データを選択する。

　例えば、これらの手法を利用して、入力した２次元画像２２１に対応する最適なデプスデータ、すなわち最適な学習モデル（デプス埋め込み画像データ）を取得する。

　データ処理部１３０の３次元モデル復元部１３１が生成した３次元画像（３次元モデル）は、レンダリング部１３２に出力される。
　データ処理部１３０のレンダリング部１３２は、３次元モデル復元部１３１が生成した３次元画像（３次元モデル）に基づいて、表示部１４１に表示する画像の描画処理（レンダリング）を行う。
　これら一連の処理により、２次元カメラ１１２によって撮影された２次元画像に基づいて３次元モデル復元部１３１が生成した３次元画像（３次元モデル）が、データ出力部１４０の表示部１４１に表示される。

　　（３－２．（実施例２）入力画像に対するスタイル転送処理を実行する画像処理装置）
　次に、（実施例２）として、入力画像に対するスタイル転送処理を実行する画像処理装置について説明する。

　図８に本実施例２の画像処理装置２００の構成例を示す。
　図８に示すように、本実施例２の画像処理装置２００は、データ取得部１１０、データ処理部１３０、データ出力部１４０、記憶部１６０を有する。

　データ処理部１３０は、レンダリング部１３２、スタイル決定部１３３、画像変換部１３４、および、画像変換プログラム１３５を有する。
　データ出力部１４０は、表示部１４１を有する。
　記憶部１６０は、シーンデータ記憶部１６３と、スタイルデータ記憶部１６４を有する。

　スタイル決定部１３３は、画像変換部１３４において実行する画像変換処理に適用するスタイルデータの決定処理を行う。
　なお、様々なスタイルデータがスタイルデータ記憶部１６４に格納されている。

　画像変換部１３４は、スタイル決定部１３３が決定したスタイルデータを適用して、入力画像、例えば２次元カメラ１１２によって撮影された２次元画像や２次元画像に含まれる被写体（オブジェクト）等の入力画像の画像スタイルを変更したスタイル変更画像を生成する。

　例えば、画像変換部１３４は、２次元カメラ１１２によって撮影された２次元画像に含まれる被写体（オブジェクト）を、１８世紀のスタイルやホラー系の画像スタイルを持つ画像に変更する。
　このスタイルは、例えば表示部１４１に出力するゲームプログラムのテーマに沿ったスタイル等である。

　このように、スタイル決定部１３３は、画像変換部１３４において実行する画像変換処理に適用するスタイルデータの決定処理を行う。
　スタイル決定部１３３は、スタイル変更画像を出力する表示コンテンツのテーマに応じて前記スタイルデータを決定する。

　例えば、スタイル決定部１３３が、表示部１４１に出力するゲームプログラムのテーマ情報に従って自動的に最適なスタイルデータを選択する。
　具体的には、例えば、ゲームプログラムに属性情報として記録されたテーマ情報を取得して解析し、このテーマ解析結果に基づいて、最適なスタイルデータを選択する。

　あるいは、スタイルデータ記憶部１６４に格納された様々なスタイルデータを表示部１４１に出力し、その中から、ユーザが表示コンテンツのテーマに応じたスタイルデータを選択する処理を行ってもよい。

　データ処理部１３０の画像変換部１３４は、入力画像、例えば２次元カメラ１１２によって撮影された２次元画像の画像スタイル変更処理である「スタイル転送処理」を行う。すなわち、２次元画像を、スタイル決定部１３３が決定したスタイルデータに従ったスタイルを持つ画像に変換する。
　この画像変換処理には、画像変換プログラム１３５が適用される。

　画像変換プログラム１３５は、スタイル転送アルゴリズムの実行プログラムである。
　画像変換部１３４は、この画像変換プログラム１３５を利用して、入力画像である２次元画像のスタイルを変更する。すなわち、スタイル決定部１３３が決定したスタイルデータに従ったスタイルを持つ画像に変換する。

　例えば、ユーザ（ゲームプレイヤー）の部屋の中の「椅子」の画像を「１８世紀の豪華な椅子」のスタイルに変更するといったスタイル変換を行う。

　このように、データ処理部１３０の画像変換部１３４は、まず、２次元カメラ１１２によって撮影された２次元画像を入力する。
　さらに、スタイル決定部１３３が決定したスタイルデータをスタイルデータ記憶部１６４から取得する。
　さらに、入力した２次元画像に含まれる被写体（オブジェクト）に対して、スタイル決定部１３３が決定したスタイルデータを適用して、表示部１４１に出力するためのスタイル変更送画像を生成する。

　なお、この画像変換部１３４における画像スタイルの変換処理は、画像変換プログラム（スタイル転送アルゴリズム）１３５を適用して行われる。
　前述したように、画像スタイル変更処理を行うアルゴリズムとして「スタイル転送処理（Ｓｔｙｌｅ　Ｔｒａｎｓｆｅｒ）」がある。
　スタイル転送処理は、機械学習を用いた画像スタイル変換手法であり、オリジナル画像を、オリジナル画像とは異なるスタイルの画像に変換する手法である。

　画像変換部１３４は、画像変換プログラム（スタイル転送アルゴリズム）１３５を適用して、入力画像に対するスタイル転送（画像スタイルの変換処理）を実行し、表示部１４１に出力するためのスタイル変換画像を生成する。

　画像変換プログラム１３５は、上述したように、画像変換部１３４における画像スタイルの変換処理であるスタイル転送処理に適用するスタイル転送アルゴリズムの実行プログラムである。

　画像変換プログラム１３５を利用した画像変換処理、すなわちスタイル転送処理を行うことで、例えば、カメラで撮影された家の中の部屋の画像を、お城の中の雰囲気を持つ画像に変換することが可能となる。あるいは、ビニールバッグの画像を、高級バッグの画像に変換するといった処理が可能となる。

　前述したように、この画像変換処理、すなわちスタイル転送を行うためには、様々な画像を利用した機械学習処理を予め実行しておく必要がある。
　この機械学習処理によって、様々なオブジェクトの元画像と、その元画像に対応するスタイル転送後の画像、例えば１８世紀のオブジェクト画像が対応付けて記録される。これをスタイルデータとしてスタイルデータ記憶部１６４に格納しておく。
　スタイルデータ記憶部１６４に格納された様々なスタイルデータを適用することで、様々な入力画像を異なるスタイルの画像に変換するスタイル転送処理を行うことができる。

　このように、画像変換プログラム１３５は、画像スタイルを変更するアルゴリズムであるスタイル転送アルゴリズムの実行プログラムであり、上述したように画像変換部１３４における画像変換処理に利用される。

　レンダリング部１３２は、画像変換部１３４の生成した画像を表示部１４１にレンダリングする処理を行う。

　記憶部１６０は、シーンデータ記憶部１６３と、スタイルデータ記憶部１６４を有する。
　シーンデータ記憶部１６３には、２次元カメラ１１２によって撮影された２次元画像や、この２次元画像に対応するに含まれるオブジェクト（被写体）のデプスデータであり、デプスデータ（３Ｄデータ）取得部１１３が取得したデプスデータが格納される。

　スタイルデータ記憶部１６４には、様々なスタイルデータ、例えば１８世紀の椅子、机、お城、ホラー系の怪物、妖怪、洋風建築物、和風建築物、高級バッグ、動物、絵画等、様々なオブジェクトのスタイルデータが格納されている。

　次に、図８に示す画像処理装置２００を利用して実行する処理について説明する。
　図８に示す画像処理装置２００を利用して実行する処理には、以下の２つの処理がある。
　（処理１）入力画像に適用するスタイルを決定するスタイル決定処理
　（処理２）決定したスタイルを入力画像に適用してスタイル転送（スタイル変換）を実行して表示部に表示する処理
　以下、これら２つの処理について、順次、説明する。

　　（３－２－１．（処理１）入力画像に適用するスタイルを決定するスタイル決定処理）
　まず、入力画像に適用するスタイルを決定するスタイル決定処理について説明する。

　図９を参照して、この（処理１）について説明する。
　図９に示す画像処理装置２００の構成は、図８を参照して説明したと同様の構成である。図９には、さらに、（処理１）を実行する際のデータの流れを示している。

　（処理１）は、主としてデータ処理部１３０のスタイル決定部１３３が実行する処理である。

　データ処理部１３０のスタイル決定部１３３は、入力画像、例えば２次元カメラ１１２によって撮影された２次元画像に含まれる被写体（オブジェクト）のスタイル転送（スタイル変換）に適用するスタイルを決定する。
　例えば、１８世紀のスタイルやホラー系のスタイル等である。
　このスタイルは、例えば表示部１４１に出力するゲームプログラムのテーマに沿ったスタイル等である。

　なお、スタイル決定処理は、ユーザ入力による決定や、表示部１４１に出力するゲームプログラムのテーマ情報に従って自動的に選択する方法等が利用される。

　図９に示すように、シーンデータ記憶部１６３には、２次元カメラ１１２によって撮影された２次元画像２３１や、この２次元画像に対応するに含まれるオブジェクト（被写体）のデプスデータであり、デプスデータ（３Ｄデータ）取得部１１３が取得したデプスデータ（３Ｄデータ）２３２が格納される。

　データ処理部１３０のスタイル決定部１３３は、シーンデータ記憶部１６３に格納されたシーンデータ、すなわち２次元画像や、２次元画像対応のデプスデータ（３Ｄデータ）のいずれかを有するシーンデータ２３３を取得し、スタイル転送（スタイル変換）に適用するスタイルを決定する。

　スタイル決定処理は、図９に示すように、入力部１７０を介するシーン選択指示データ２３４のユーザ入力による決定処理が可能である。また、表示部１４１に出力するゲームプログラムのテーマ情報に従って自動的に選択する方法を適用してもよい。
　具体的には、例えば、スタイル決定部１３３が、ゲームプログラムに属性情報として記録されたテーマ情報を取得して解析し、このテーマ解析結果に基づいて、最適なスタイルデータを決定する。

　さらに、機械学習によって生成される学習データを利用する方法を適用してもよい。学習データは、あるイメージセットの１つに関連付けられており、スタイル決定部１３３は、変換対象とするデプスデータ等の３Ｄデータを入力し、入力データに最適なスタイルを選択して決定する。

　図９に示す入力部１７０を介するユーザ入力によるスタイル決定処理では、例えば、表示部１４１に複数のイメージスタイルモデルを表示してユーザに選択情報を、入力部１７０を介して入力させる処理が可能である。
　表示部１４１に出力中、または出力予定のゲームアプリケーション等のアプリケーションや、アプリケーションに設定されたモード情報に従って決定する構成としてもよい。

　また、スタイル決定部１３３が、表示部１４１に出力するＡＲコンテンツの画像データを検証して、その画像データのテーマに合ったスタイルを選択して決定する構成としてもよい。
　例えば、出力先のＡＲコンテンツの画像データに長い椅子が複数並んでいるような画像が含まれる場合、その画像が劇場であると判断し、劇場に合ったスタイルに決定するといった処理を行う。

　　（３－２－２．（処理２）決定したスタイルを入力画像に適用してスタイル転送（スタイル変換）を実行して表示部に表示する処理）
　次に、スタイル決定部１３３が決定したスタイルを入力画像に適用してスタイル転送（スタイル変換）を実行して表示部に表示する処理について説明する。

　図１０を参照して、この（処理２）について説明する。
　図１０に示す画像処理装置２００の構成は、図８を参照して説明したと同様の構成である。図１０には、さらに、（処理２）を実行する際のデータの流れを示している。

　（処理２）は、主としてデータ処理部１３０の画像変換部１３４が実行する処理であり、画像変換プログラム１３５を利用した画像変換処理である。

　図１０に示すように、データ処理部１３０の画像変換部１３４は、画像のスタイルを変更する対象、すなわちスタイル転送処理の適用対象となる２次元画像２４１や、その２次元画像２４１対応のデプスデータ（３Ｄデータ）２４２をデータ取得部１１０から入力する。

　すなわち、２次元画像取得部１１１の２次元カメラ１１２の撮影した２次元画像２４１や、この２次元画像２４１対応のデプスデータ（３Ｄデータ）２４２、すなわちデプスデータ（３Ｄデータ）取得部１１３が取得した取得したデプスデータ（３Ｄデータ）２４２の少なくともいずれかを入力する。

　さらに、画像変換部１３４は、スタイルデータ記憶部１６４から、スタイル決定部１３３が決定したスタイル転送処理（画像スタイルの変更処理）に適用するスタイルデータ２４４を入力する。

　なお、前述したように、スタイル決定部１３３におけるスタイル決定処理は、図９に示す入力部１７０を介するシーン選択指示データ２３４のユーザ入力による決定処理が可能である。また、表示部１４１に出力するゲームプログラムのテーマ情報に従って自動的に選択する方法や、機械学習によって生成される学習データを利用する方法が適用できる。

　画像変換部１３４は、入力した２次元画像２４１や、その２次元画像２４１対応のデプスデータ（３Ｄデータ）２４２に含まれる被写体（オブジェクト）に対して、画像変換プログラム（スタイル転送アルゴリズム）１３５を適用して、スタイル転送（スタイルの変更処理）を実行し、表示部１４１に出力するための変換画像（スタイル変換画像）を生成する。

　なお、画像変換部１３４は、入力した２次元画像２４１のみを利用したスタイル転送処理を行って画像スタイルを変更した２次元画像を生成することも可能であり、また、２次元画像２４１対応のデプスデータ（３Ｄデータ）２４２を適用したスタイル転送処理により、スタイルを変更した３次元画像を生成することも可能である。
　なお、スタイルを変更した３次元画像を生成する場合は、スタイルデータ記憶部１６４から、スタイル決定部１３３が決定した画像に適用するスタイル転送のために利用する３次元のスタイルデータ２４４を取得して処理を行う。

　データ出力部１４０の表示部１４１は、レンダリング部１３２においてレンダリンングされた画像の表示処理を行う。

　この一連の処理により、表示部１４１には、スタイル転送後の画像が表示される。
　具体的には、例えば、表示部１４１に表示中のゲームが１８世紀のお城の中をテーマとしたゲームである場合、ユーザのゲーム機のカメラで撮影された部屋の中の「椅子の画像」が、１８世紀のお城の中で利用されるような「豪華な椅子の画像」に変換され、この変換画像がゲーム画像として利用するＡＲ画像中に表示される。

　図１１に、２次元画像取得部１１１の２次元カメラ１１２の撮影した（ａ）２次元画像と、スタイル転送によって生成したオブジェクト画像を含む（ｂ）表示画像（スタイル転送処理後の画像）の例を示す。

　（３－３．（実施例３）入力２次元画像に基づく３次元画像（３次元モデル）生成処理と、スタイル転送処理を実行する画像処理装置）
　次に、（実施例３）として、入力２次元画像に基づく３次元画像（３次元モデル）生成処理と、スタイル転送処理を実行する画像処理装置について説明する。

　図１２に本実施例３の画像処理装置３００の構成例を示す。
　図１２に示すように、本実施例３の画像処理装置３００は、データ取得部１１０、データ処理部１３０、データ出力部１４０、デプス埋め込み学習処理部１５０、記憶部１６０を有する。

　データ処理部１３０は、３次元モデル復元部１３１、レンダリング部１３２、スタイル決定部１３３、画像変換部１３４、および、画像変換プログラム１３５を有する。
　データ出力部１４０は、表示部１４１を有する。
　デプス埋め込み学習処理部１５０は、サイクルＧＡＮ学習アルゴリズム実行部１５１を有する。
　記憶部１６０は、学習用データ記憶部１６１と、学習モデル（デプス埋め込み画像データ）記憶部１６２、シーンデータ記憶部１６３と、スタイルデータ記憶部１６４を有する。

　レンダリング部１３２は、表示部１４１に表示する画像の描画処理（レンダリング）を行う。

　スタイル決定部１３３は、入力画像、例えば２次元カメラ１１２によって撮影された２次元画像に含まれる被写体（オブジェクト）のスタイル転送（スタイル変換）に適用するスタイルを決定する。
　例えば、１８世紀のスタイルやホラー系のスタイル等である。
　このスタイルは、例えば表示部１４１に出力するゲームプログラムのテーマに沿ったスタイル等である。

　画像変換部１３４は、入力画像、例えば２次元カメラ１１２によって撮影された２次元画像のスタイル転送処理を行う。すなわち、２次元画像を、スタイル決定部１３３が決定したスタイルデータに従ったスタイルを持つ画像に変換する。
　この画像変換処理には、画像変換プログラム１３５が適用される。

　画像変換プログラム１３５は、スタイル転送アルゴリズムの実行プログラムである。
　画像変換部１３４は、この画像変換プログラム１３５を利用して、入力画像である２次元画像のスタイルを変更する。すなわち、スタイル決定部１３３が決定したスタイルデータに従ったスタイルを持つ画像に変換する。
　例えば、ユーザ（ゲームプレイヤー）の部屋の中の「椅子」の画像を「１８世紀の豪華な椅子」のスタイルに変更するといったスタイル変換を行う。

　記憶部１６０は、学習用データ記憶部１６１と、学習モデル（デプス埋め込み画像データ）記憶部１６２と、シーンデータ記憶部１６３と、スタイルデータ記憶部１６４を有する。

　学習用データ記憶部１６１には、デプス埋め込み学習処理部１５０のサイクルＧＡＮ学習アルゴリズム実行部１５１において実行する学習処理に適用する学習データを格納する。具体的には例えば２次元画像取得部１１１の取得した２次元画像と、この２次元画像に含まれるオブジェクト（被写体）のデプスデータであり、デプスデータ（３Ｄデータ）取得部１１３が取得したデプスデータが格納される。

　シーンデータ記憶部１６３には、２次元カメラ１１２によって撮影された２次元画像や、この２次元画像に対応するに含まれるオブジェクト（被写体）のデプスデータであり、デプスデータ（３Ｄデータ）取得部１１３が取得したデプスデータが格納される。

　次に、図１２に示す画像処理装置３００を利用して実行する処理について説明する。
　図１３は、図１２に示す画像処理装置３００を利用して実行する処理のシーケンスを説明するフローチャートである。

　このフローに従った処理は、画像処理装置３００のデータ処理部１３０が、画像処理装置３００の記憶部に格納されたプログラムに従って実行することが可能である。画像処理装置３００のデータ処理部１３０は、プログラム実行機能を持つＣＰＵを備え、記憶部に格納されたプログラムに従ってフローに従った処理を実行する。
　以下、図１３に示すフローの各ステップの処理について説明する。

　　（ステップＳ１０１）
　まず、画像処理装置３００のデータ処理部１３０は、ステップＳ１０１において、２次元画像（カメラ撮影画像）を入力する。
　具体的には、例えば図１２に示す２次元画像取得部１１１の２次元カメラ１１２が撮影した２次元画像を入力する。

　　（ステップＳ１０２）
　次に、画像処理装置３００のデータ処理部１３０は、ステップＳ１０２において、記憶部１６０に格納された学習モデル（デプス埋め込み画像データ）１６２を利用して、入力２次元画像に基づく３次元画像（３次元モデル）を生成する。

　この処理は、データ処理部１３０の３次元モデル復元部１３１が実行する処理である。
　データ処理部１３０の３次元モデル復元部１３１は、２次元画像取得部１１１の２次元カメラ１１２が撮影した２次元画像を入力して、入力した２次元画像に基づく３次元画像（３次元モデル）を生成する。

　データ処理部１３０の３次元モデル復元部１３１は、サイクルＧＡＮ学習処理（教師なし学習処理）によって生成された学習モデル（デプス埋め込み画像データ）を適用して、２次元画像取得部１１１の２次元カメラ１１２が撮影した２次元画像に対応する最適なデプスデータを取得し、取得したデプスデータを利用して、２次元画像に対応する３次元画像（３次元モデル）を生成する。

　なお、学習モデル（デプス埋め込み画像データ）記憶部１６２からの、最適なデプスデータ、すなわち最適な学習モデル（デプス埋め込み画像データ）の取得処理は、例えば以下のいずれかの手法で実行する。
　ａ．ユーザが、デプス埋め込み画像データを表示して確認し、入力した２次元画像に最も類似度の高いデプス埋め込み画像データを選択して、選択したデプス埋め込み画像データに設定されたＩＤを指定して選択取得する。
　ｂ．画像類似度の自動判定プログラムを適用して、入力２次元画像に最も類似度の高いデプス埋め込み画像データを選択する。

　例えば、これらの手法を利用して、入力した２次元画像２２１に対応する最適なデプスデータ、すなわち最適な学習モデル（デプス埋め込み画像データ）を取得し、取得したデプスデータを利用して、２次元画像に対応する３次元画像（３次元モデル）を生成する。

　　（ステップＳ１０３）
　次に、画像処理装置３００のデータ処理部１３０は、ステップＳ１０３において、ステップＳ１０２で生成した３次元画像（３次元モデル）に対して実行する画像スタイルの変換処理であるスタイル転送処理に適用するスタイルを決定する。

　この処理は、データ処理部１３０のスタイル決定部１３３が実行する。
　なお、前述したように、スタイル決定部１３３におけるスタイル決定処理としては、図９に示す入力部１７０を介するシーン選択指示データのユーザ入力による決定処理が可能である。また、表示部１４１に出力するゲームプログラムのテーマ情報に従って自動的に選択する方法や、機械学習によって生成される学習データを利用する方法を適用して決定してもよい。

　　（ステップＳ１０４）
　次に、画像処理装置３００のデータ処理部１３０は、ステップＳ１０４において、ステップＳ１０２で生成した３次元画像（３次元モデル）に対して、ステップＳ１０３で決定したスタイルを適用した画像スタイルの変更処理、すなわちスタイル転送処理を実行する。
　すなわち、記憶部に格納されたスタイルデータを適用した画像変換処理（スタイル転送アルゴリズム）を実行して、スタイル変換３次元画像（３次元モデル）を生成する。

　この処理は、データ処理部１３０の画像変換部１３４が実行する処理である。
　画像変換部１３４は、ステップＳ１０２で生成した３次元画像（３次元モデル）に対して、ステップＳ１０３で決定したスタイルを適用した画像スタイルの変更処理、すなわちスタイル転送処理を実行する。
　このスタイル転送処理は、画像変換プログラム（スタイル転送アルゴリズム）１３５を適用して行われる。

　　（ステップＳ１０５）
　次に、画像処理装置３００のデータ処理部１３０は、ステップＳ１０５において、ステップＳ１０４で生成したスタイル変換３次元画像（３次元モデル）を表示部１４１に出力する。

　この処理は、データ処理部１３０のレンダリング部１３２による表示画像のレンダリング処理によって行われる。

　図１３を参照して説明した処理シーケンスでは、入力２次元画像に基づく３次元画像（３次元モデル）の生成処理を先行して実行し、その後に３次元画像（３次元モデル）のスタイル変更処理であるスタイル転送を行うシーケンスであった。

　この処理シーケンスと異なるシーケンス、例えば、入力２次元画像に対して、スタイル変更処理であるスタイル転送を先行して実行し、その後、スタイル変更後の２次元画像に基づく３次元画像（３次元モデル）の生成処理を実行するショリしーけんすとしてもよい。
　この処理シーケンスのフローチャートを図１４に示す。
　図１４に示すフローの各ステップの処理について説明する。

　　（ステップＳ２０１）
　まず、画像処理装置３００のデータ処理部１３０は、ステップＳ２０１において、２次元画像（カメラ撮影画像）を入力する。
　具体的には、例えば図１２に示す２次元画像取得部１１１の２次元カメラ１１２が撮影した２次元画像を入力する。

　　（ステップＳ２０２）
　次に、画像処理装置３００のデータ処理部１３０は、ステップＳ２０２において、ステップＳ２０１で入力した２次元画像に対して実行する画像スタイルの変換処理であるスタイル転送処理に適用するスタイルを決定する。

　　（ステップＳ２０３）
　次に、画像処理装置３００のデータ処理部１３０は、ステップＳ２０３において、ステップＳ２０１で入力した２次元画像に対して、ステップＳ２０２で決定したスタイルを適用した画像スタイルの変更処理、すなわちスタイル転送処理を実行する。
　すなわち、記憶部に格納されたスタイルデータを適用した画像変換処理（スタイル転送アルゴリズム）を実行して、スタイル変換２次元画像を生成する。

　この処理は、データ処理部１３０の画像変換部１３４が実行する処理である。
　画像変換部１３４は、ステップＳ２０１で入力した２次元画像に対して、ステップＳ２０２で決定したスタイルを適用した画像スタイルの変更処理、すなわちスタイル転送処理を実行する。
　このスタイル転送処理は、画像変換プログラム（スタイル転送アルゴリズム）１３５を適用して行われる。

　　（ステップＳ２０４）
　次に、画像処理装置３００のデータ処理部１３０は、ステップＳ２０４において、記憶部１６０に格納された学習モデル（デプス埋め込み画像データ）１６２を利用して、スタイル変換２次元画像に基づいて、スタイル変換３次元画像（３次元モデル）を生成する。

　この処理は、データ処理部１３０の３次元モデル復元部１３１が実行する処理である。
　データ処理部１３０の３次元モデル復元部１３１は、ステップＳ２０３で生成したスタイル変換２次元画像を入力して、入力したスタイル変換２次元画像に基づく３次元画像（３次元モデル）を生成する。

　データ処理部１３０の３次元モデル復元部１３１は、サイクルＧＡＮ学習処理（教師なし学習処理）によって生成された学習モデル（デプス埋め込み画像データ）２２２を適用して、入力したスタイル変換２次元画像に対応する最適なデプスデータを取得し、取得したデプスデータを利用して、入力したスタイル変換２次元画像に対応する３次元画像（３次元モデル）を生成する。

　　（ステップＳ２０５）
　次に、画像処理装置３００のデータ処理部１３０は、ステップＳ２０５において、ステップＳ２０４で生成したスタイル変換３次元画像（３次元モデル）を表示部１４１に出力する。

　　［４．その他の実施例について］
　次に、その他の実施例について説明する。

　以下、の２つの実施例について、順次、説明する。
　（１）３次元画像観察用の左目用画像と右目用画像の２つの視差画像を生成する画像処理装置
　（２）多様な２次元画像に基づく多様な３次元画像（３次元モデル）を生成する画像処理装置

　　（４－（１）３次元画像観察用の左目用画像と右目用画像の２つの視差画像を生成する画像処理装置）
　まず、３次元画像観察用の左目用画像と右目用画像の２つの視差画像を生成する画像処理装置について説明する。

　図１５に、３次元画像観察用の左目用画像と右目用画像の２つの視差画像を生成する画像処理装置４００の構成例を示す。

　図１５に示す画像処理装置４００は、データ取得部１１０、データ処理部１３０、データ出力部１４０、記憶部１６０を有する。

　データ処理部１３０は、３次元モデル復元部１３１と、視差画像生成部１３６を有する。
　データ出力部１４０は、画像表示デバイス（ＨＭＤ）１４２を有する。
　記憶部１６０は、学習モデル（デプス埋め込み画像データ）記憶部１６２を有する。

　データ処理部１３０の３次元モデル復元部１３１は、２次元画像取得部１１１の２次元カメラ１１２が撮影した２次元画像２６１を入力して、入力した２次元画像２６１に基づく３次元画像（３次元モデル）を生成する。

　具体的には、サイクルＧＡＮ（Ｇｅｎａｒａｔｉｖｅ　Ａｄｖｅｒｓａｒｉａｌ　Ｎｅｔｗｏｒｋｓ）を利用した学習処理により生成された学習モデル（デプス埋め込み画像データ）２６２、すなわち、記憶部１６０の学習モデル（デプス埋め込み画像データ）記憶部１６２の格納データを利用して、３次元画像（３Ｄモデル）を生成する。

　データ処理部１３０の視差画像生成部１３６は、３次元画像観察用の左目用画像２７１と右目用画像２７２の２つの視差画像を生成する。

　視差画像生成部１３６は、３次元モデル復元部１３１が生成した３次元画像（３次元モデル）を解析し、左右の目の位置から観察される２枚の２次元画像、すなわち視差画像を生成する。
　すなわち、図に示す３次元画像観察用の左目用画像２７１と右目用画像２７２の２つの視差画像を生成する。

　これら２つの視差画像である左目用画像２７１と右目用画像２７２をデータ出力部１４０の画像表示デバイス（ＨＭＤ）１４２を構成する左目用画像表示部と、右目用画像表示部に出力する。

　これらの処理により、画像表示デバイス（ＨＭＤ）１４２はあ次元画像を観察することが可能となる。

　　（４－（２）多様な２次元画像に基づく多様な３次元画像（３次元モデル）を生成する画像処理装置）
　次に、多様な２次元画像に基づく多様な３次元画像（３次元モデル）を生成する画像処理装置について説明する。

　図１６に、多様な２次元画像に基づく多様な３次元画像（３次元モデル）を生成する画像処理装置４５０の構成例を示す。

　図１６に示す画像処理装置４５０は、データ取得部１１０、データ処理部１３０、データ出力部１４０、記憶部１６０を有する。

　データ取得部１１０は、２次元カメラ１１２を有する２次元画像取得部１１１を有する。

　データ処理部１３０は、３次元モデル復元部１３１を有する。
　データ出力部１４０は、表示部１４１を有する。
　記憶部１６０は、学習モデル（デプス埋め込み画像データ）記憶部１６２を有する。

　データ取得部１１０の２次元画像取得部１１１は、２次元カメラ１１２を利用した２次元画像を撮影する。
　例えば、図１６に示すような様々な異なるタイプの椅子の２次元画像２８１を撮影して、データ処理部１３０の３次元モデル復元部１３１に出力する。

　具体的には、サイクルＧＡＮ（Ｇｅｎａｒａｔｉｖｅ　Ａｄｖｅｒｓａｒｉａｌ　Ｎｅｔｗｏｒｋｓ）を利用した学習処理により生成された学習モデル（デプス埋め込み画像データ）２８２、すなわち、記憶部１６０の学習モデル（デプス埋め込み画像データ）記憶部１６２の格納データを利用して、３次元画像（３Ｄモデル）を生成する。

　３次元モデル復元部１３１は、例えば様々な異なるタイプの椅子の２次元画像に対して、記憶部１６０の学習モデル（デプス埋め込み画像データ）記憶部１６２の格納データから「１つの椅子に対応する学習モデル（デプス埋め込み画像データ）」を選択し、選択した１つのモデルを利用して、異なる椅子画像に対応する３次元画像２８３を生成することができる。

　記憶部１６０の学習モデル（デプス埋め込み画像データ）記憶部１６２の格納データ、すなわち、学習モデル（デプス埋め込み画像データ）２８２は、ある一つの形状を持つ椅子の画像にデプスデータ（３Ｄデータ）を埋め込んだデータである。

　椅子の大まかな形状、例えば座面、背もたれ、脚部等の構成は、異なるタイプの椅子であっても似たような構成である。従って、異なるタイプの椅子の２次元画像に対してある一つの形状を持つ椅子の画像にデプスデータ（３Ｄデータ）を適用した３次元画像生成処理を行っても、大きなエラーを発生させることがない。

　このように、様々な２次元画像に基づく３次元画像生成処理に、少ないデータ（学習モデル（デプス埋め込み画像データ））を利用した処理が可能となり、記憶部のデータ容量を削減することが可能となる。

　　［５．画像処理装置のハードウェア構成例について］
　次に、上述した実施例に従った処理を実行する画像処理装置のハードウェア構成例について、図１７を参照して説明する。
　図１７に示すハードウェアは、上述した各実施例の画像処理装置のハードウェア構成の一例である。
　図１７に示すハードウェア構成について説明する。

　ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）５０１は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）５０２、または記憶部５０８に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）５０３には、ＣＰＵ５０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ５０１、ＲＯＭ５０２、およびＲＡＭ５０３は、バス５０４により相互に接続されている。

　ＣＰＵ５０１はバス５０４を介して入出力インタフェース５０５に接続され、入出力インタフェース５０５には、各種センサ、カメラ、スイッチ、キーボード、マウス、マイクロホンなどよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７が接続されている。

　入出力インタフェース５０５に接続されている記憶部５０８は、例えばハードディスク等からなり、ＣＰＵ５０１が実行するプログラムや各種のデータを記憶する。通信部５０９は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部、さらに放送波の送受信部として機能し、外部の装置と通信する。

　入出力インタフェース５０５に接続されているドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア５１１を駆動し、データの記録あるいは読み取りを実行する。

　　［６．本開示の構成のまとめ］
　以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

　なお、本明細書において開示した技術は、以下のような構成をとることができる。
　（１）　画像スタイルの変更処理に適用するスタイルデータを決定するスタイル決定部と、
　前記スタイル決定部において決定したスタイルデータを適用して、入力画像の画像スタイルを変更したスタイル変換画像を生成する画像変換部を有し、
　前記スタイル決定部は、
　前記スタイル変換画像を出力する画像コンテンツのテーマに応じてスタイルデータを決定し、
　前記画像変換部は、
　前記表示コンテンツのテーマに応じて決定されたスタイルデータを適用してスタイル変換画像を生成する画像処理装置。

　（２）　前記画像変換部は、
　スタイル転送アルゴリズムを適用して、前記スタイル変換画像を生成する（１）に記載の画像処理装置。

　（３）　前記入力画像は２次元画像であり、
　前記画像変換部は、
　入力した２次元画像に対してスタイルデータを適用して、画像スタイルを変更したスタイル変換２次元画像を生成する（１）または（２）に記載の画像処理装置。

　（４）　前記入力画像は２次元画像であり、
　前記画像変換部は、
　入力した２次元画像と、前記２次元画像に対応するデプスデータを利用して、画像スタイルを変更したスタイル変換３次元画像を生成する（１）～（３）いずれかに記載の画像処理装置。

　（５）　前記画像処理装置は、
　２次元画像を取得する２次元画像取得部と、
　デプスデータを取得するデプスデータ取得部を有し、
　前記デプスデータは、前記デプスデータ取得部において取得されたデータである（４）に記載の画像処理装置。

　（６）　前記スタイル変換画像を出力する画像コンテンツは、拡張現実（ＡＲ：Ａｕｇｕｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像によって構成される画像コンテンツである（１）～（５）いずれかに記載の画像処理装置。

　（７）　前記スタイル決定部は、
　スタイル変換画像を出力する画像コンテンツの属性情報として記録されたテーマ情報を取得して解析し、解析結果に基づいて最適なスタイルデータを決定する（１）～（６）いずれかに記載の画像処理装置。

　（８）　前記画像処理装置は、
　複数の異なるスタイルデータを格納したスタイルデータ記憶部を有し、
　前記スタイル決定部は、
　前記スタイルデータ記憶部に格納されたスタイルデータから、画像スタイルの変更処理に適用するスタイルデータを選択する（１）～（７）いずれかに記載の画像処理装置。

　（９）　前記画像処理装置は、さらに、
　２次元画像に基づく３次元画像復元処理を実行する３次元モデル復元部を有し、
　前記３次元モデル復元部は、
　予め生成されたデプス埋め込み画像データを含む学習モデルを適用して、３次元画像復元処理を実行する（１）～（８）いずれかに記載の画像処理装置。

　（１０）　前記学習モデルは、
　敵対的生成ネットワーク（ＧＡＮ：Ｇｅｎａｒａｔｉｖｅ　Ａｄｖｅｒｓａｒｉａｌ　Ｎｅｔｗｏｒｋｓ）を利用した学習処理によって生成した学習モデルである（９）に記載の画像処理装置。

　（１１）　前記入力画像は２次元画像であり、
　前記３次元モデル復元部は、
　入力した２次元画像に基づく３次元画像復元処理を実行して３次元画像を生成し、
　前記画像変換部は、
　前記３次元モデル復元部が生成した３次元画像に対して、前記スタイルデータを適用してスタイル変換３次元画像を生成する（９）または（１０）に記載の画像処理装置。

　（１２）　前記画像処理装置は、さらに、
　敵対的生成ネットワーク（ＧＡＮ：Ｇｅｎａｒａｔｉｖｅ　Ａｄｖｅｒｓａｒｉａｌ　Ｎｅｔｗｏｒｋｓ）を利用した学習処理を実行する学習処理部を有し、
　前記学習処理部は、
　２次元画像と、該２次元画像対応のデプスデータを利用した学習処理を実行する（１）～（１１）いずれかに記載の画像処理装置。

　（１３）　前記学習処理部は、
　２次元画像を生成部（Ｇｅｎａｒａｔｏｒ）ネットワークにおいて生成するサンプル画像とし、前記２次元画像のデプスデータを判定部（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）ネットワークにおいて、サンプル画像である２次元画像が本物であるか偽物であるかの真偽判定を行うためのデータとして設定した敵対的生成ネットワーク（ＧＡＮ）を利用した学習処理を実行する（１２）に記載の画像処理装置。

　（１４）　画像処理装置において実行する画像処理方法であり、
　スタイル決定部が、画像スタイルの変更処理に適用するスタイルデータを決定するスタイル決定ステップと、
　画像変換部が、前記スタイル決定ステップにおいて決定したスタイルデータを適用して、入力画像の画像スタイルを変更したスタイル変換画像を生成する画像変換ステップを有し、
　前記スタイル決定ステップは、
　前記スタイル変換画像を出力する画像コンテンツのテーマに応じてスタイルデータを決定するステップであり、
　前記画像変換ステップは、
　前記表示コンテンツのテーマに応じて決定されたスタイルデータを適用してスタイル変換画像を生成するステップである画像処理方法。

　（１５）　画像処理装置において画像処理を実行させるプログラムであり、
　スタイル決定部に、画像スタイルの変更処理に適用するスタイルデータを決定させるスタイル決定ステップと、
　画像変換部に、前記スタイル決定ステップにおいて決定したスタイルデータを適用して、入力画像の画像スタイルを変更したスタイル変換画像を生成させる画像変換ステップを実行させ、
　前記スタイル決定ステップは、
　前記スタイル変換画像を出力する画像コンテンツのテーマに応じてスタイルデータを決定させるステップであり、
　前記画像変換ステップは、
　前記表示コンテンツのテーマに応じて決定されたスタイルデータを適用してスタイル変換画像を生成させるステップであるプログラム。

　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋｓ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

　なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　以上、説明したように、本開示の一実施例の構成によれば、画像スタイルを、画像の出力先となるコンテンツのテーマに一致したスタイルに変更して出力することを可能とした装置、方法が実現される。
　具体的には、例えば、画像スタイルの変更処理に適用するスタイルデータを決定するスタイル決定部と、スタイル決定部において決定したスタイルデータを適用して、入力画像の画像スタイルを変更したスタイル変換画像を生成する画像変換部を有する。スタイル決定部は、スタイル変換画像を出力する画像コンテンツのテーマに応じてスタイルデータを決定し、画像変換部は、表示コンテンツのテーマに応じて決定されたスタイルデータを適用してスタイル変換画像を生成する。
　本構成により、画像スタイルを、画像の出力先となるコンテンツのテーマに一致したスタイルに変更して出力することを可能とした装置、方法が実現される。

　　１０　スマホ
　　１１　カメラ
　　１２　カメラ撮影画像
　　１３　仮想オブジェクト画像
　　２０　光透過型ＡＲ画像表示デバイス
　　２１　透過観察画像
　　２２　仮想オブジェクト画像
　１００　画像処理装置
　１１０　データ取得部
　１１１　２次元画像取得部
　１１２　２次元カメラ
　１１３　デプスデータ（３Ｄデータ）取得部
　１１４　３次元センサ
　１１５　赤外（ＩＲ）光出力部
　１３０　データ処理部
　１３１　３次元モデル復元部
　１３２　レンダリング部
　１３３　スタイル決定部
　１３４　画像変換部
　１３５　画像変換プログラム
　１４０　データ出力部
　１４１　表示部
　１４２　画像表示デバイス（ＨＭＤ）
　１５０　デプス埋め込み学習処理部
　１５１　サイクルＧＡＮ学習アルゴリズム実行部
　１６０　記憶部
　１６１　学習用データ記憶部
　１６２　学習モデル（デプス埋め込み画像データ）記憶部
　１６３　シーンデータ記憶部
　１６４　スタイルデータ記憶部
　２００　画像処理装置
　３００　画像処理装置
　４００　画像処理装置
　４５０　画像処理装置
　５０１　ＣＰＵ
　５０２　ＲＯＭ
　５０３　ＲＡＭ
　５０４　バス
　５０５　入出力インタフェース
　５０６　入力部
　５０７　出力部
　５０８　記憶部
　５０９　通信部
　５１０　ドライブ
　５１１　リムーバブルメディア

Claims

　画像スタイルの変更処理に適用するスタイルデータを決定するスタイル決定部と、
　前記スタイル決定部において決定したスタイルデータを適用して、入力画像の画像スタイルを変更したスタイル変換画像を生成する画像変換部を有し、
　前記スタイル決定部は、
　前記スタイル変換画像を出力する画像コンテンツのテーマに応じてスタイルデータを決定し、
　前記画像変換部は、
　前記表示コンテンツのテーマに応じて決定されたスタイルデータを適用してスタイル変換画像を生成する画像処理装置。
　前記画像変換部は、
　スタイル転送アルゴリズムを適用して、前記スタイル変換画像を生成する請求項１に記載の画像処理装置。
　前記入力画像は２次元画像であり、
　前記画像変換部は、
　入力した２次元画像に対してスタイルデータを適用して、画像スタイルを変更したスタイル変換２次元画像を生成する請求項１に記載の画像処理装置。
　前記入力画像は２次元画像であり、
　前記画像変換部は、
　入力した２次元画像と、前記２次元画像に対応するデプスデータを利用して、画像スタイルを変更したスタイル変換３次元画像を生成する請求項１に記載の画像処理装置。
　前記画像処理装置は、
　２次元画像を取得する２次元画像取得部と、
　デプスデータを取得するデプスデータ取得部を有し、
　前記デプスデータは、前記デプスデータ取得部において取得されたデータである請求項４に記載の画像処理装置。
　前記スタイル変換画像を出力する画像コンテンツは、拡張現実（ＡＲ：Ａｕｇｕｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像によって構成される画像コンテンツである請求項１に記載の画像処理装置。
　前記スタイル決定部は、
　スタイル変換画像を出力する画像コンテンツの属性情報として記録されたテーマ情報を取得して解析し、解析結果に基づいて最適なスタイルデータを決定する請求項１に記載の画像処理装置。
　前記画像処理装置は、
　複数の異なるスタイルデータを格納したスタイルデータ記憶部を有し、
　前記スタイル決定部は、
　前記スタイルデータ記憶部に格納されたスタイルデータから、画像スタイルの変更処理に適用するスタイルデータを選択する請求項１に記載の画像処理装置。
　前記画像処理装置は、さらに、
　２次元画像に基づく３次元画像復元処理を実行する３次元モデル復元部を有し、
　前記３次元モデル復元部は、
　予め生成されたデプス埋め込み画像データを含む学習モデルを適用して、３次元画像復元処理を実行する請求項１に記載の画像処理装置。
　前記学習モデルは、
　敵対的生成ネットワーク（ＧＡＮ：Ｇｅｎａｒａｔｉｖｅ　Ａｄｖｅｒｓａｒｉａｌ　Ｎｅｔｗｏｒｋｓ）を利用した学習処理によって生成した学習モデルである請求項９に記載の画像処理装置。
　前記入力画像は２次元画像であり、
　前記３次元モデル復元部は、
　入力した２次元画像に基づく３次元画像復元処理を実行して３次元画像を生成し、
　前記画像変換部は、
　前記３次元モデル復元部が生成した３次元画像に対して、前記スタイルデータを適用してスタイル変換３次元画像を生成する請求項９に記載の画像処理装置。
　前記画像処理装置は、さらに、
　敵対的生成ネットワーク（ＧＡＮ：Ｇｅｎａｒａｔｉｖｅ　Ａｄｖｅｒｓａｒｉａｌ　Ｎｅｔｗｏｒｋｓ）を利用した学習処理を実行する学習処理部を有し、
　前記学習処理部は、
　２次元画像と、該２次元画像対応のデプスデータを利用した学習処理を実行する請求項１に記載の画像処理装置。
　前記学習処理部は、
　２次元画像を生成部（Ｇｅｎａｒａｔｏｒ）ネットワークにおいて生成するサンプル画像とし、前記２次元画像のデプスデータを判定部（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）ネットワークにおいて、サンプル画像である２次元画像が本物であるか偽物であるかの真偽判定を行うためのデータとして設定した敵対的生成ネットワーク（ＧＡＮ）を利用した学習処理を実行する請求項１２に記載の画像処理装置。
　画像処理装置において実行する画像処理方法であり、
　スタイル決定部が、画像スタイルの変更処理に適用するスタイルデータを決定するスタイル決定ステップと、
　画像変換部が、前記スタイル決定ステップにおいて決定したスタイルデータを適用して、入力画像の画像スタイルを変更したスタイル変換画像を生成する画像変換ステップを有し、
　前記スタイル決定ステップは、
　前記スタイル変換画像を出力する画像コンテンツのテーマに応じてスタイルデータを決定するステップであり、
　前記画像変換ステップは、
　前記表示コンテンツのテーマに応じて決定されたスタイルデータを適用してスタイル変換画像を生成するステップである画像処理方法。
　画像処理装置において画像処理を実行させるプログラムであり、
　スタイル決定部に、画像スタイルの変更処理に適用するスタイルデータを決定させるスタイル決定ステップと、
　画像変換部に、前記スタイル決定ステップにおいて決定したスタイルデータを適用して、入力画像の画像スタイルを変更したスタイル変換画像を生成させる画像変換ステップを実行させ、
　前記スタイル決定ステップは、
　前記スタイル変換画像を出力する画像コンテンツのテーマに応じてスタイルデータを決定させるステップであり、
　前記画像変換ステップは、
　前記表示コンテンツのテーマに応じて決定されたスタイルデータを適用してスタイル変換画像を生成させるステップであるプログラム。