JP7365066B2

JP7365066B2 - 表示システム

Info

Publication number: JP7365066B2
Application number: JP2021199081A
Authority: JP
Inventors: 瑛史齋藤
Original assignee: Individual
Current assignee: Individual
Priority date: 2021-12-08
Filing date: 2021-12-08
Publication date: 2023-10-19
Anticipated expiration: 2041-12-08
Also published as: JP2023084786A

Description

本発明は、表示システムに関する。

近年、拡張現実（ＡＲ：ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）、仮想現実（ＶＲ：ＶｉｒｔｕａｌＲｅａｌｉｔｙ）、複合現実（ＭＲ：ＭｉｘｅｄＲｅａｌｉｔｙ）等の技術が注目されている。

本発明に関連する技術として、例えば、特許文献１には、カメラ、表示部及び制御部を有する端末装置上で、拡張現実（ＡＲ）映像を表示するための方法であって、前記制御部が、前記カメラが取得した映像に関するカメラ品質情報を取得するステップと、前記制御部が、前記カメラが取得した映像からＡＲマーカーを検出したか否かを判定するステップと、前記制御部が、前記ＡＲマーカーが検出された場合、当該検出したＡＲマーカーのパターン形状に対応するＡＲ情報を取得するステップと、前記制御部が、当該取得したＡＲ情報を、前記カメラ品質情報を用いて加工するステップと、前記制御部が、当該加工したＡＲ情報を前記カメラが撮影した映像に重畳することによりＡＲ映像を生成するステップと、前記制御部が、当該生成したＡＲ映像を前記表示部で表示するステップと、を含むことを特徴とする。

特開２０１９－１１４１３５号公報

拡張現実（ＡＲ）、仮想現実（ＶＲ）、複合現実（ＭＲ）は、仮想空間と現実空間を利用して表示している。一般的に、これらは予め準備された３次元のデータを用いて表示されるため、ユーザの所望のデータを表示することが難しい場合がある。

本発明の目的は、２次元の写真データなどから３Ｄモデル化されたデータを生成して表示できるシステムを提供することである。

本発明に係る表示システムは、コンテンツを表示する表示部と、前記表示部への前記コンテンツの表示に関する表示制御を実行する制御部と、商品の画像を含む２次元の画像データを前記商品の実サイズに相当する３次元の画像データに変換するデータ変換部と、を備え、前記制御部は、前記データ変換部により変換された前記３次元の画像データを前記コンテンツとして前記表示部に表示させ、前記データ変換部は、前記２次元の画像データを入力するための入力処理部と、前記入力処理部により入力された前記２次元の画像データに含まれる前記商品の前記画像の背景色を取得する背景色取得処理部と、前記背景色取得処理部により取得された前記背景色を閾値として前記２次元の画像データを２値化する２値化処理部と、前記２値化処理部により前記２値化された前記２次元の画像データの輪郭線を抽出する輪郭抽出処理部と、前記輪郭抽出処理部により抽出された前記２次元の画像データを正面用と裏面用として２つ準備し、前記正面用の前記２次元の画像データ及び前記裏面用の前記２次元の画像データを前記商品の厚み方向に並べたジオメトリ部を作成するジオメトリ作成処理部と、前記ジオメトリ作成処理部により作成した前記ジオメトリ部に前記２次元の画像データを貼り付けて前記３次元の画像データを生成する３次元データ生成処理部と、を備えることを特徴とする。

また、本発明に係る表示システムにおいて、前記表示部は、現実空間に前記コンテンツを重ねて表示することで、前記現実空間を仮想的に拡張する拡張現実を表示することが好ましい。

また、本発明に係る表示システムにおいて、前記表示部は、前記コンテンツを含む仮想空間を構築した仮想現実を表示することが好ましい。

また、本発明に係る表示システムにおいて、前記表示部は、現実空間に前記コンテンツを含む仮想空間を構築し、前記現実空間と前記仮想空間を融合した複合現実を表示することが好ましい。

本発明によれば、２次元の写真データなどから３Ｄモデル化されたデータを生成して表示させることが出来る。

本発明に係る実施形態の表示システムを示す図である。本発明に係る実施形態の表示システムにおいて、２次元の画像データの背景色を取得し、２値化処理を行って、輪郭線を抽出している様子を示す図である。本発明に係る実施形態の表示システムにおいて、ジオメトリ部を作成し、３次元の画像データを生成している様子を示す図である。本発明に係る実施形態において、２次元の画像データから３次元の画像データを生成する手順を示すフローチャートである。本発明に係る実施形態において、輪郭線の抽出を行う際のプログラムを示している。

以下に、本発明に係る実施の形態について添付図面を参照しながら詳細に説明する。以下では、全ての図面において同様の要素には同一の符号を付し、重複する説明を省略する。また、本文中の説明においては、必要に応じそれ以前に述べた符号を用いるものとする。

図１は、本発明に係る実施形態の表示システム１０を示す図である。図２は、本発明に係る実施形態の表示システム１０において、２次元の画像データの背景色を取得し、２値化処理を行って、輪郭線を抽出している様子を示す図である。

図３は、本発明に係る実施形態の表示システム１０において、ジオメトリ部を作成し、３次元の画像データを生成している様子を示す図である。図４は、本発明に係る実施形態において、２次元の画像データから３次元の画像データを生成する手順を示すフローチャートである。

図５は、本発明に係る実施形態において、輪郭線の抽出を行う際のプログラムを示している。

表示システム１０は、現実空間にコンテンツを重ねて表示することで、現実空間を仮想的に拡張し、商品の実サイズの３次元の画像（３Ｄモデル）を現実空間に重ねて表示する拡張現実（ＡＲ）機能を有する。表示システム１０は、制御部１２と、データ変換部１４とを備えている。

ここでは、表示システム１０は、拡張現実（ＡＲ）機能であるものとして説明するが、もちろん、その他の表示機能にも適用可能である。例えば、表示システム１０は、コンテンツを含む仮想空間を構築した仮想現実を表示する仮想現実（ＶＲ）機能を有してもよい。また、他には、表示システム１０は、現実空間にコンテンツを含む仮想空間を構築し、現実空間と仮想空間を融合した複合現実を表示する複合現実（ＭＲ）機能を有してもよい。

表示システム１０の各機能は、ハードウェア構成、ソフトウェア構成の何れによっても実現することが可能である。例えば、ソフトウェアによって実現する場合、これらの機能は、実際にはＣＰＵあるいはＭＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成されたサーバー装置上において、ＲＡＭやＲＯＭ、ハードディスク等の記録媒体に記憶されたアプリケーションソフトウェアが動作することによって実現することができる。

表示システム１０は、ネットワーク２を介して、ユーザ端末４と接続されている。ユーザ端末４は、カメラなどの撮像部と、液晶画面などの表示部とを有する携帯端末であり、例えば、タブレット端末やスマートフォンなどである。

ユーザ端末４の撮像部は、現実空間を撮像する機能を有する。ユーザ端末４の撮像部は、ユーザ端末４の表示部に表示される操作画面を操作することでカメラ機能に切り替わり、ユーザ端末４の撮像部により撮像するための操作画面をユーザ端末４の表示部に表示する。

ユーザ端末４の表示部は、カメラ機能に切り替わったときに、ユーザ端末４の撮像部に撮像された現実空間を表示する液晶画面を備えている。そして、ユーザ端末４の表示部は、制御部１２の制御により、現実空間に３次元の画像データ（３Ｄモデル）を重ねて表示する機能を有する。

制御部１２は、ユーザ端末４の表示部へのコンテンツの表示に関する表示制御を実行する。制御部１２は、データ変換部１４により変換された３次元の画像データ（３Ｄモデル）を現実空間に重ねてコンテンツとしてユーザ端末４の表示部に表示させる。

データ変換部１４は、商品の画像を含む２次元の画像データ（静止画像）を商品の実サイズに相当する３次元の画像データ（３Ｄモデル）に変換する機能を有する。ここでは、商品は、Ｔシャツであるものとして説明するが、その他のものであってもよく、例えば、ソファ、テーブル、ベッドなどの家具や、テレビ、冷蔵庫などの家電であってもよい。

データ変換部１４は、入力処理部１６と、背景色取得処理部１８と、２値化処理部２０と、輪郭抽出処理部２２と、ジオメトリ作成処理部２４と、３次元データ生成処理部２６とを備えている。

入力処理部１６は、２次元の画像データ（商品の静止画像（写真））を入力する。ユーザが３次元の画像データにモデル化したい商品の２次元の画像データ（例えば、Ｔシャツ）について、入力処理部１６を用いて入力する。

ここで、２次元の画像データの商品（例えば、Ｔシャツ）の画像には、背景となる余白部分が存在することが好適である。また、画像データの拡張子は、ｐｎｇ、ｊｐｅｇであることが好ましい。これらの画像データをユーザがユーザ端末４などを用いてアップロードする。

背景色取得処理部１８は、入力処理部１６により入力された２次元の画像データに含まれる商品の画像の背景色を取得する機能を有する。

背景色取得処理部１８は、入力処理部１６によりユーザが入力した２次元の画像データの背景色を特定する。具体的には、背景色取得処理部１８は、画像をピクセル単位で見た際に、１行１列目のピクセルの色が画像全体の背景色であると仮定して、１行１列目のピクセルのＲＧＢＡ値を取得する。

ここで、上述したように、２次元の画像データの商品（例えば、Ｔシャツ）の画像には、背景となる余白部分がなければ、３次元化したい商品の画像の一部が背景として認識され、正しい輪郭抽出ができないので、アップロードする画像には留意する必要がある。

２値化処理部２０は、背景色取得処理部１８により取得された背景色を閾値として２次元の画像データを２値化する。２値化処理部２０は、例えば、背景色が赤色だった場合、画像内の赤色の部分は白色（ＲＧＢ＝２５５）に、それ以外の部分は黒色（ＲＧＢ＝０）と２値化する。

具体的には、２値化処理部２０は、背景色のＲＧＢ値にそれぞれ－５を加えた値から背景色のＲＧＢ値にそれぞれ＋５を加えた値を２値化の検出範囲として、検出範囲内の色は白、範囲外の色は黒へと２値化する。

これにより、検出範囲内の間にある色は全て白に、それ以外の色は全て黒になる。図２（ａ）は、２値化される前の２次元の画像データが示されており、図２（ｂ）は、２値化処理部２０により２値化された後の２次元の画像データが示されている。

２値化に用いている閾値をそれぞれ実際の背景色からそれぞれ－５、＋５を加えているのは、ある程度の曖昧さを実現するためである。例えば、被写体を実世界で撮影した画像を用いて３次元化する場合について考える。

実世界で撮影された画像は、光の加減で背景の中に多少の色の斑が出てくる場合がある。閾値に全く幅を持たさずにそのような画像を３次元の画像データ（３Ｄモデル）を作成しようとすると、被写体の実際の輪郭と異なる輪郭が抽出される場合がある。

輪郭抽出処理部２２は、２値化処理部２０により２値化された２次元の画像データの輪郭線を抽出する。後述するジオメトリ作成処理部２４等は、仮想的な座標を用意し、ブラウザ上で３次元の画像データ（３Ｄモデル）を作成する。この際、３Ｄモデル化する物体の輪郭の座標が必要になってくるので、輪郭抽出処理部２２の機能を用いて輪郭線の抽出を行う。

輪郭抽出処理部２２は、２値化処理部２０で得られた２値化画像の白色と黒色の境目を輪郭として抽出する。輪郭抽出処理部２２は、輪郭を構成する全ての座標に対して操作を行う為、直線上に並んでいる輪郭座標はその始点と終点のみを記録し、輪郭の情報を圧縮している。また、図２（ｃ）は、輪郭抽出処理部２２により抽出された輪郭線に関する画像データが示されている。

ここで、得られた輪郭の座標は全て整数である。しかしながら、３次元の画像データ(３Ｄモデル)を作成する座標系では基本の単位がｍなので、実サイズのスケーリングに対応するために、図５に示されるような処理を施す。

ジオメトリ作成処理部２４は、輪郭抽出処理部２２により抽出された輪郭線に基づいて２枚の平面を含むジオメトリ部を作成する。

ジオメトリ作成処理部２４は、ブラウザ上に作られた仮想的な座標を用いる。入力処理部１６、背景色取得処理部１８、２値化処理部２０、及び輪郭抽出処理部２２によって得られた座標配列を用いて、３次元の画像データ(３Ｄモデル)の正面と裏面を作る。座標配列の要素を線と面で結んでいき、ジオメトリ部を作る。

ここで、ジオメトリ部とは形の情報を意味し、このジオメトリ部に基づいて、実際の３次元の画像データ(３Ｄモデル)が作られる。具体的には、座標配列の第１項を始点とし、その後の項に順番に線を引き、３つ以上の点がつながればそこに面を生成することでジオメトリ部が作成される。図３（ａ）は、ジオメトリ作成処理部２４により作成されたジオメトリ部が示されている。

次に、作成されたジオメトリ部を元に、入力画像を切り抜いたような平面モデルが作成される。正面、裏面用に２つ平面モデルを用意し、ユーザが入力した幅だけ離して配置する。

３次元データ生成処理部２６は、ジオメトリ作成処理部２４により作成したジオメトリ部に２次元の画像データを貼り付けて３次元の画像データ（３Ｄモデル）を生成する。

ここでは、３Ｄモデルに貼り付けるテクスチャに使用するために画像データを取り込む。そして、仮想的な座標と取り込んだ画像の原点が一致するようにジオメトリ部の画像を貼り付ける。

次に、２枚の平面モデルの間をつなぐ側面の３次元の画像データ（３Ｄモデル）を作成する。隣り合う輪郭の座標をｃ１（ｘ１，ｙ１）,ｃ２（ｘ２，ｙ２）とし、２座標の距離ｄｉｓｔａｎｃｅを三平方の定理より求める。

３次元の画像データ(３Ｄモデル)の幅をｄｅｐｔｈとして、非常に薄いジオメトリ部を幅ｄｉｓｔａｎｃｅ、高さ０．００００１、奥行きｄｅｐｔｈの設定で作成する。図３（ｂ）は、３次元データ生成処理部２６により生成された３Ｄモデルが示されている。

ここで、０．００００１という数字が作成されるジオメトリ部の厚さである。次に作成したジオメトリ部が側面に沿うように移動・回転させる。作成したジオメトリ部は座標(９，０)にあるので、ｃ１，ｃ２の中点Ｍに移動させ、ｃ１，ｃ２の傾きに合うように、Ｍａｔｈ．ａｔａｎ(ｙ２－ｙ１，ｘ２－ｘ１)だけｚ軸周りに回転させる。この操作を隣り合う２組の座標全てに対して行う。

画像によっては輪郭が非常に長くなり、その結果、非常に多くのジオメトリ部が生成されることになる。スマートフォンやタブレット端末等のユーザ端末４のスペックによっては処理落ちする可能がある。

それを防ぐために、３次元データ生成処理部２６では最適化処理を行っている。３次元座標上に正しく配置された全ての側面のジオメトリ部を、連結した３Ｄモデルとして一つにまとめることで、スマートフォンやタブレット端末等への描画命令の回数が圧倒的に少なくなり、処理落ちなどの心配が無くなる。

続いて、上記構成の表示システム１０の作用について説明する。ここでは、図４に示されるフローチャートを用いて説明する。

最初に、入力処理部１６の機能を用いて、３Ｄモデル（３次元の画像データ）にしたい２次元の画像データ（例えば、Ｔシャツ）を入力する（Ｓ２）。

Ｓ２の工程の後、背景取得処理部１８の機能を用いて、Ｓ２の工程において入力された２次元の画像データの背景色を取得する（Ｓ４）。

Ｓ４の工程の後、２値化処理部２０の機能を用いて、背景色を閾値として、２次元の画像データを２値化する（Ｓ６）。ここで、図２に示されるように、２値化される前は図２（ａ）に示される画像データ３０であるが、２値化された後は図２（ｂ）に示される画像データ３２である。

Ｓ６の工程の後、輪郭抽出処理部２２の機能を輪郭線の抽出を行う（Ｓ８）。これにより、図２（ｃ）に示されるような輪郭線のみが描かれるような画像データ３４が抽出される。

Ｓ８の工程の後は、ジオメトリ作成処理部２４の機能を用いて、２枚のジオメトリ部を作成する（Ｓ１０）。これにより、図３（ａ）に示されるような２枚の平面の画像データ３６，３８を含むジオメトリ部が生成される。

Ｓ１０の工程の後は、３次元データ生成処理部２６の機能を用いて、３次元の画像データ（３Ｄモデル）を作成する（Ｓ１２）。これにより、図３（ｂ）に示されるような３Ｄモデルが生成される。

ユーザ端末４の撮像部に撮像された現実空間とＳ２～Ｓ１２の工程を経て形成された３Ｄモデルとに基づき、制御部１２の機能によって当該現実空間に当該３Ｄモデルを重ねてユーザ端末４の表示部にする。これにより、２次元の画像データを用いて実サイズに相当する３次元の画像データを見ることができる。

したがって、ユーザは、自宅の部屋に、例えば、新しいソファを購入しようとしているときに、そのソファの大きさが部屋にフィットしているか、あるいは、色や模様が部屋に馴染むのか等のようなことを事前に確認することができるという顕著な効果を奏する。

以上のように、表示システム１０によれば、商品に関する写真などの２次元の画像データから、当該商品の実サイズに対応する３Ｄモデルが作成され、このデータは上記のように、拡張現実（ＡＲ）に用いられるだけでなく、仮想現実（ＶＲ）や複合現実（ＭＲ）にも適用することが可能である。

２ネットワーク、４ユーザ端末、１０表示システム、１２制御部、１４データ変換部、１６入力処理部、１８背景色取得処理部、２０２値化処理部、２２輪郭抽出処理部、２４ジオメトリ作成処理部、２６３次元データ生成処理部。

Claims

コンテンツを表示する表示部と、
前記表示部への前記コンテンツの表示に関する表示制御を実行する制御部と、
商品の画像を含む２次元の画像データを前記商品の実サイズに相当する３次元の画像データに変換するデータ変換部と、
を備え、
前記制御部は、
前記データ変換部により変換された前記３次元の画像データを前記コンテンツとして前記表示部に表示させ、
前記データ変換部は、
前記２次元の画像データを入力するための入力処理部と、
前記入力処理部により入力された前記２次元の画像データに含まれる前記商品の前記画像の背景色を取得する背景色取得処理部と、
前記背景色取得処理部により取得された前記背景色を閾値として前記２次元の画像データを２値化する２値化処理部と、
前記２値化処理部により前記２値化された前記２次元の画像データの輪郭線を抽出する輪郭抽出処理部と、
前記輪郭抽出処理部により抽出された前記２次元の画像データを正面用と裏面用として２つ準備し、前記正面用の前記２次元の画像データ及び前記裏面用の前記２次元の画像データを前記商品の厚み方向に並べたジオメトリ部を作成するジオメトリ作成処理部と、
前記ジオメトリ作成処理部により作成した前記ジオメトリ部に前記２次元の画像データを貼り付けて前記３次元の画像データを生成する３次元データ生成処理部と、
を備えることを特徴とする表示システム。
請求項１に記載の表示システムにおいて、
前記表示部は、現実空間に前記コンテンツを重ねて表示することで、前記現実空間を仮想的に拡張する拡張現実を表示することを特徴とする表示システム。
請求項１に記載の表示システムにおいて、
前記表示部は、前記コンテンツを含む仮想空間を構築した仮想現実を表示することを特徴とする表示システム。
請求項１に記載の表示システムにおいて、
前記表示部は、現実空間に前記コンテンツを含む仮想空間を構築し、前記現実空間と前記仮想空間を融合した複合現実を表示することを特徴とする表示システム。