JP7369333B2 - 三次元形状モデル生成システム、三次元形状モデル生成方法、及びプログラム - Google Patents
三次元形状モデル生成システム、三次元形状モデル生成方法、及びプログラム Download PDFInfo
- Publication number
- JP7369333B2 JP7369333B2 JP2018240274A JP2018240274A JP7369333B2 JP 7369333 B2 JP7369333 B2 JP 7369333B2 JP 2018240274 A JP2018240274 A JP 2018240274A JP 2018240274 A JP2018240274 A JP 2018240274A JP 7369333 B2 JP7369333 B2 JP 7369333B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- color
- generated
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
本発明は、対象物を異なる視点から撮像した二枚以上の複数の画像から三次元形状モデルを生成する三次元形状モデル生成システム、三次元形状モデル生成方法、及びプログラムに関する。
対象物を異なる視点から撮像した複数の画像（以下、「多視点画像」と称する）に基づいて、対象物の三次元形状モデルを生成する三次元復元手法がある。対象物の大きさや形状によっては、三次元形状モデルの生成に多数の多視点画像が必要となり、三次元形状モデルの生成に用いる多視点画像のデータ容量が増大する傾向にある。このため、多視点画像を撮像する撮像装置と、三次元形状モデルを生成するサーバ装置とが通信ネットワークを介して接続された構成の場合、多視点画像が多くなる程データ容量が増大するために、通信ネットワークを介して多視点画像の情報を送信するために要する通信時間が増大してしまう。この結果、三次元形状モデルを生成する時間が、多視点画像の送信を行う通信時間の増加により全体として増加してしまう。従って三次元形状モデルを生成する際に、三次元形状モデルの生成に必要な多視点画像の送信に要する通信時間を低減することが重要である。
三次元形状モデルの生成に用いる多視点画像の送信に要する通信時間を低減するための技術として、画像から特徴点を抽出し、抽出した特徴点の三次元情報のみを送信することによりデータ容量を削減して送信に要する通信時間を低減するものがある（例えば、特許文献１）。また、撮像装置の位置姿勢推定において不適切な画像を登録しないと判断することでデータ容量を削減して送信に要する通信時間を低減する技術がある（例えば、特許文献２）。
しかしながら、特許文献１は、送信する特徴点の三次元情報が任意の対象物の三次元形状モデルを生成することを前提としていない情報である。特許文献１では、特徴点の三次元情報のみを用いて三次元形状モデルの生成を行うために、モデルの生成に適した特徴点（例えば、コーナー点など）のみ利用することができるにすぎず、対象物全体の形状を表現するためには不十分であり、生成される三次元形状における復元の精度が低下する。
特徴点が非常に多い対象物であれば、特徴点の三次元情報のみを用いて三次元形状モデルを生成した場合であっても三次元形状における復元の精度が低下しにくい。しかし、特徴量が多いために通信時間を低減させる程度にデータ容量を削減することができない。むしろ、ピクセル毎に示す情報が変わるため多視点画像のデータ容量よりも、抽出した特徴点の三次元情報のデータ容量が増加する可能性もある。
また、特許文献２は、撮像装置の位置姿勢推定において適切な画像であると判断された画像はすべて登録されるため、この条件を満たす多視点画像のデータ容量を削減することができず、適切な撮像が行われている場合には削減の効果をほとんど得ることができない。一方で、撮像装置の位置姿勢推定において不適切と判断される条件を厳格なものとして、データ容量を削減した場合には、三次元形状の精度が低下してしまう可能性がある。
特徴点が非常に多い対象物であれば、特徴点の三次元情報のみを用いて三次元形状モデルを生成した場合であっても三次元形状における復元の精度が低下しにくい。しかし、特徴量が多いために通信時間を低減させる程度にデータ容量を削減することができない。むしろ、ピクセル毎に示す情報が変わるため多視点画像のデータ容量よりも、抽出した特徴点の三次元情報のデータ容量が増加する可能性もある。
また、特許文献２は、撮像装置の位置姿勢推定において適切な画像であると判断された画像はすべて登録されるため、この条件を満たす多視点画像のデータ容量を削減することができず、適切な撮像が行われている場合には削減の効果をほとんど得ることができない。一方で、撮像装置の位置姿勢推定において不適切と判断される条件を厳格なものとして、データ容量を削減した場合には、三次元形状の精度が低下してしまう可能性がある。
本発明は、このような状況に鑑みてなされたもので、生成する三次元形状モデルの精度が低下することを抑制しつつ、三次元形状モデルの生成に用いる多視点画像のデータ容量を減少させ、多視点画像の情報を送信するために要する通信時間を低減することができる三次元形状モデル生成システム、三次元形状モデル生成方法、及びプログラムを提供する。
本発明の、三次元形状モデル生成システムは、対象物を異なる視点から撮像した二枚以上のカラー画像である多視点画像から、前記多視点画像における色を示す色情報を除外したグレースケール画像の情報、及び前記多視点画像における前記色情報を含む色画像の情報を取得する画像情報取得部と、前記画像情報取得部により取得された前記色画像における画像サイズを縮小することによって前記色画像のデータ容量を削減する容量削減部と、前記グレースケール画像の情報及びカメラパラメータを用いてデプスマップを生成し、生成した前記デプスマップを統合することにより生成した三次元点群を用いてメッシュモデルを生成することによって前記対象物の三次元モデルを生成する三次元モデル生成部と、前記容量削減部によりデータ容量が削減された前記色画像の情報を用いて前記三次元モデル生成部により生成された三次元モデルを色付けする色付け部と、を備えることを特徴とする。
また、本発明の、三次元形状モデル生成システムは、対象物を異なる視点から撮像した二枚以上のカラー画像である多視点画像から、前記多視点画像における色を示す色情報を除外したグレースケール画像の情報、及び前記多視点画像における前記色情報を含む色画像の情報を取得する画像情報取得部と、前記画像情報取得部により取得された前記色画像における画像中央から所定の範囲内にある領域とは異なる領域を削除することによって前記色画像のデータ容量を削減する容量削減部と、前記グレースケール画像の情報及びカメラパラメータを用いてデプスマップを生成し、生成した前記デプスマップを統合することにより生成した三次元点群を用いてメッシュモデルを生成することによって前記対象物の三次元モデルを生成する三次元モデル生成部と、前記容量削減部によりデータ容量が削減された前記色画像の情報を用いて前記三次元モデル生成部により生成された三次元モデルを色付けする色付け部と、を備えることを特徴とする。
また、本発明の、三次元形状モデル生成システムは、対象物を異なる視点から撮像した二枚以上のカラー画像である多視点画像から、前記多視点画像における色を示す色情報を除外したグレースケール画像の情報、及び前記多視点画像における前記色情報を含む色画像の情報を取得する画像情報取得部と、前記画像情報取得部により取得された前記色画像における前記対象物が撮像された領域とは異なる領域を削除することによって前記色画像のデータ容量を削減する容量削減部と、前記グレースケール画像の情報及びカメラパラメータを用いてデプスマップを生成し、生成した前記デプスマップを統合することにより生成した三次元点群を用いてメッシュモデルを生成することによって前記対象物の三次元モデルを生成する三次元モデル生成部と、前記容量削減部によりデータ容量が削減された前記色画像の情報を用いて前記三次元モデル生成部により生成された三次元モデルを色付けする色付け部と、を備えることを特徴とする。
また、本発明の、三次元形状モデル生成システムは、対象物を異なる視点から撮像した二枚以上のカラー画像である多視点画像から、前記多視点画像における色を示す色情報を除外したグレースケール画像の情報、及び前記多視点画像における前記色情報を含む色画像の情報を取得する画像情報取得部と、前記画像情報取得部により取得された前記色画像におけるブレ又はボケが発生した領域を削除することによって前記色画像のデータ容量を削減する容量削減部と、前記グレースケール画像の情報及びカメラパラメータを用いてデプスマップを生成し、生成した前記デプスマップを統合することにより生成した三次元点群を用いてメッシュモデルを生成することによって前記対象物の三次元モデルを生成する三次元モデル生成部と、前記容量削減部によりデータ容量が削減された前記色画像の情報を用いて前記三次元モデル生成部により生成された三次元モデルを色付けする色付け部と、を備えることを特徴とする。
また、本発明の、三次元形状モデル生成システムは、対象物を異なる視点から撮像した二枚以上のカラー画像である多視点画像から、前記多視点画像における色を示す色情報を除外したグレースケール画像の情報、及び前記多視点画像における前記色情報を含む色画像の情報を取得する画像情報取得部と、前記画像情報取得部により取得された前記色画像における画像中央から所定の範囲内にある領域とは異なる領域を削除することによって前記色画像のデータ容量を削減する容量削減部と、前記グレースケール画像の情報及びカメラパラメータを用いてデプスマップを生成し、生成した前記デプスマップを統合することにより生成した三次元点群を用いてメッシュモデルを生成することによって前記対象物の三次元モデルを生成する三次元モデル生成部と、前記容量削減部によりデータ容量が削減された前記色画像の情報を用いて前記三次元モデル生成部により生成された三次元モデルを色付けする色付け部と、を備えることを特徴とする。
また、本発明の、三次元形状モデル生成システムは、対象物を異なる視点から撮像した二枚以上のカラー画像である多視点画像から、前記多視点画像における色を示す色情報を除外したグレースケール画像の情報、及び前記多視点画像における前記色情報を含む色画像の情報を取得する画像情報取得部と、前記画像情報取得部により取得された前記色画像における前記対象物が撮像された領域とは異なる領域を削除することによって前記色画像のデータ容量を削減する容量削減部と、前記グレースケール画像の情報及びカメラパラメータを用いてデプスマップを生成し、生成した前記デプスマップを統合することにより生成した三次元点群を用いてメッシュモデルを生成することによって前記対象物の三次元モデルを生成する三次元モデル生成部と、前記容量削減部によりデータ容量が削減された前記色画像の情報を用いて前記三次元モデル生成部により生成された三次元モデルを色付けする色付け部と、を備えることを特徴とする。
また、本発明の、三次元形状モデル生成システムは、対象物を異なる視点から撮像した二枚以上のカラー画像である多視点画像から、前記多視点画像における色を示す色情報を除外したグレースケール画像の情報、及び前記多視点画像における前記色情報を含む色画像の情報を取得する画像情報取得部と、前記画像情報取得部により取得された前記色画像におけるブレ又はボケが発生した領域を削除することによって前記色画像のデータ容量を削減する容量削減部と、前記グレースケール画像の情報及びカメラパラメータを用いてデプスマップを生成し、生成した前記デプスマップを統合することにより生成した三次元点群を用いてメッシュモデルを生成することによって前記対象物の三次元モデルを生成する三次元モデル生成部と、前記容量削減部によりデータ容量が削減された前記色画像の情報を用いて前記三次元モデル生成部により生成された三次元モデルを色付けする色付け部と、を備えることを特徴とする。
本発明の、三次元形状モデル生成システムは、前記容量削減部は、さらに、前記グレースケール画像のデータ容量における、削減前の量に対する削減量の比率である削減比率が前記色画像における前記削減比率より小さくなるように、前記グレースケール画像における画像サイズを縮小することによって前記グレースケール画像のデータ容量を削減し、前記三次元モデル生成部は、前記容量削減部によりデータ容量が削減された前記グレースケール画像を用いて、前記対象物の三次元モデルを生成することを特徴とする。
本発明の、三次元形状モデル生成システムは、前記多視点画像はＲＧＢ画像であり、前記画像情報取得部は、前記多視点画像における輝度をグレースケールにより示す画像を前記グレースケール画像として取得し、前記多視点画像における色をＲＧＢ値により示す画像を前記色画像として取得することを特徴とする。
本発明の、三次元形状モデル生成システムは、前記多視点画像はＬａｂ画像であり、前記画像情報取得部は、前記多視点画像における明度をＬａｂ画像のＬチャネルにより示す画像を前記グレースケール画像として取得し、前記多視点画像における色をＬａｂ画像のａｂチャネルにより示す画像を前記色画像として取得することを特徴とする。
本発明の、三次元形状モデル生成システムは、前記画像情報取得部と、前記容量削減部とを有し、サーバ装置に前記グレースケール画像の情報及びデータ容量が削減された前記色画像の情報を送信するクライアント装置と、前記三次元モデル生成部と、前記色付け部とを有し、前記三次元モデル生成部は前記クライアント装置から受信した前記グレースケール画像の情報を用いて前記対象物の三次元モデルを生成するサーバ装置と、を備えることを特徴とする。
本発明の、三次元形状モデル生成方法は、画像情報取得部が、対象物を異なる視点から撮像した二枚以上のカラー画像である多視点画像を示す情報から、前記多視点画像おける色を示す色情報を除外したグレースケールの情報、及び前記多視点画像における前記色情報を含む色画像の情報を取得する画像情報取得過程と、容量削減部が、前記色画像における画像サイズを縮小することによって前記色画像のデータ容量を削減する容量削減過程と、三次元モデル生成部が、前記グレースケール画像の情報及びカメラパラメータを用いてデプスマップを生成し、生成した前記デプスマップを統合することにより生成した三次元点群を用いてメッシュモデルを生成することによって前記対象物の三次元モデルを生成する三次元モデル生成過程と、色付け部が、前記容量削減部によりデータ容量が削減された前記色画像の情報を用いて前記三次元モデル生成部により生成された三次元モデルを色付けする色付け過程と、を含むことを特徴とする。
本発明の、三次元形状モデル生成方法は、画像情報取得部が、対象物を異なる視点から撮像した二枚以上のカラー画像である多視点画像を示す情報から、前記多視点画像おける色を示す色情報を除外したグレースケールの情報、及び前記多視点画像における前記色情報を含む色画像の情報を取得する画像情報取得過程と、容量削減部が、前記色画像における画像中央から所定の範囲内にある領域とは異なる領域を削除することによって前記色画像のデータ容量を削減する容量削減過程と、三次元モデル生成部が、前記グレースケール画像の情報及びカメラパラメータを用いてデプスマップを生成し、生成した前記デプスマップを統合することにより生成した三次元点群を用いてメッシュモデルを生成することによって前記対象物の三次元モデルを生成する三次元モデル生成過程と、色付け部が、前記容量削減部によりデータ容量が削減された前記色画像の情報を用いて前記三次元モデル生成部により生成された三次元モデルを色付けする色付け過程と、を含むことを特徴とする。
本発明の、三次元形状モデル生成方法は、画像情報取得部が、対象物を異なる視点から撮像した二枚以上のカラー画像である多視点画像を示す情報から、前記多視点画像おける色を示す色情報を除外したグレースケールの情報、及び前記多視点画像における前記色情報を含む色画像の情報を取得する画像情報取得過程と、容量削減部が、前記色画像における前記対象物が撮像された領域とは異なる領域を削除することによって前記色画像のデータ容量を削減する容量削減過程と、三次元モデル生成部が、前記グレースケール画像の情報及びカメラパラメータを用いてデプスマップを生成し、生成した前記デプスマップを統合することにより生成した三次元点群を用いてメッシュモデルを生成することによって前記対象物の三次元モデルを生成する三次元モデル生成過程と、色付け部が、前記容量削減部によりデータ容量が削減された前記色画像の情報を用いて前記三次元モデル生成部により生成された三次元モデルを色付けする色付け過程と、を含むことを特徴とする。
本発明の、三次元形状モデル生成方法は、画像情報取得部が、対象物を異なる視点から撮像した二枚以上のカラー画像である多視点画像を示す情報から、前記多視点画像おける色を示す色情報を除外したグレースケールの情報、及び前記多視点画像における前記色情報を含む色画像の情報を取得する画像情報取得過程と、容量削減部が、前記色画像におけるブレ又はボケが発生した領域を削除することによって前記色画像のデータ容量を削減する容量削減過程と、三次元モデル生成部が、前記グレースケール画像の情報及びカメラパラメータを用いてデプスマップを生成し、生成した前記デプスマップを統合することにより生成した三次元点群を用いてメッシュモデルを生成することによって前記対象物の三次元モデルを生成する三次元モデル生成過程と、色付け部が、前記容量削減部によりデータ容量が削減された前記色画像の情報を用いて前記三次元モデル生成部により生成された三次元モデルを色付けする色付け過程と、を含むことを特徴とする。
本発明の、三次元形状モデル生成方法は、画像情報取得部が、対象物を異なる視点から撮像した二枚以上のカラー画像である多視点画像を示す情報から、前記多視点画像おける色を示す色情報を除外したグレースケールの情報、及び前記多視点画像における前記色情報を含む色画像の情報を取得する画像情報取得過程と、容量削減部が、前記色画像における画像中央から所定の範囲内にある領域とは異なる領域を削除することによって前記色画像のデータ容量を削減する容量削減過程と、三次元モデル生成部が、前記グレースケール画像の情報及びカメラパラメータを用いてデプスマップを生成し、生成した前記デプスマップを統合することにより生成した三次元点群を用いてメッシュモデルを生成することによって前記対象物の三次元モデルを生成する三次元モデル生成過程と、色付け部が、前記容量削減部によりデータ容量が削減された前記色画像の情報を用いて前記三次元モデル生成部により生成された三次元モデルを色付けする色付け過程と、を含むことを特徴とする。
本発明の、三次元形状モデル生成方法は、画像情報取得部が、対象物を異なる視点から撮像した二枚以上のカラー画像である多視点画像を示す情報から、前記多視点画像おける色を示す色情報を除外したグレースケールの情報、及び前記多視点画像における前記色情報を含む色画像の情報を取得する画像情報取得過程と、容量削減部が、前記色画像における前記対象物が撮像された領域とは異なる領域を削除することによって前記色画像のデータ容量を削減する容量削減過程と、三次元モデル生成部が、前記グレースケール画像の情報及びカメラパラメータを用いてデプスマップを生成し、生成した前記デプスマップを統合することにより生成した三次元点群を用いてメッシュモデルを生成することによって前記対象物の三次元モデルを生成する三次元モデル生成過程と、色付け部が、前記容量削減部によりデータ容量が削減された前記色画像の情報を用いて前記三次元モデル生成部により生成された三次元モデルを色付けする色付け過程と、を含むことを特徴とする。
本発明の、三次元形状モデル生成方法は、画像情報取得部が、対象物を異なる視点から撮像した二枚以上のカラー画像である多視点画像を示す情報から、前記多視点画像おける色を示す色情報を除外したグレースケールの情報、及び前記多視点画像における前記色情報を含む色画像の情報を取得する画像情報取得過程と、容量削減部が、前記色画像におけるブレ又はボケが発生した領域を削除することによって前記色画像のデータ容量を削減する容量削減過程と、三次元モデル生成部が、前記グレースケール画像の情報及びカメラパラメータを用いてデプスマップを生成し、生成した前記デプスマップを統合することにより生成した三次元点群を用いてメッシュモデルを生成することによって前記対象物の三次元モデルを生成する三次元モデル生成過程と、色付け部が、前記容量削減部によりデータ容量が削減された前記色画像の情報を用いて前記三次元モデル生成部により生成された三次元モデルを色付けする色付け過程と、を含むことを特徴とする。
本発明のプログラムは、コンピュータを、対象物を異なる視点から撮像した二枚以上のカラー画像である多視点画像を示す情報から、前記多視点画像おける色を示す色情報を除外したグレースケールの情報、及び前記多視点画像における前記色情報を含む色画像の情報を取得する画像情報取得手段、前記色画像における画像サイズを縮小することによって前記色画像のデータ容量を削減する容量削減手段、前記グレースケール画像の情報及びカメラパラメータを用いてデプスマップを生成し、生成した前記デプスマップを統合することにより生成した三次元点群を用いてメッシュモデルを生成することによって前記対象物の三次元モデルを生成する三次元モデル生成手段、前記容量削減手段によりデータ容量が削減された前記色画像の情報を用いて前記三次元モデル生成手段により生成された三次元モデルを色付けする色付け手段として動作させるためのプログラムである。
本発明のプログラムは、コンピュータを、対象物を異なる視点から撮像した二枚以上のカラー画像である多視点画像を示す情報から、前記多視点画像おける色を示す色情報を除外したグレースケールの情報、及び前記多視点画像における前記色情報を含む色画像の情報を取得する画像情報取得手段、前記色画像における画像中央から所定の範囲内にある領域とは異なる領域を削除することによって前記色画像のデータ容量を削減する容量削減手段、前記グレースケール画像の情報及びカメラパラメータを用いてデプスマップを生成し、生成した前記デプスマップを統合することにより生成した三次元点群を用いてメッシュモデルを生成することによって前記対象物の三次元モデルを生成する三次元モデル生成手段、前記容量削減手段によりデータ容量が削減された前記色画像の情報を用いて前記三次元モデル生成手段により生成された三次元モデルを色付けする色付け手段として動作させるためのプログラムである。
本発明のプログラムは、コンピュータを、対象物を異なる視点から撮像した二枚以上のカラー画像である多視点画像を示す情報から、前記多視点画像おける色を示す色情報を除外したグレースケールの情報、及び前記多視点画像における前記色情報を含む色画像の情報を取得する画像情報取得手段、前記色画像における前記対象物が撮像された領域とは異なる領域を削除することによって前記色画像のデータ容量を削減する容量削減手段、前記グレースケール画像の情報及びカメラパラメータを用いてデプスマップを生成し、生成した前記デプスマップを統合することにより生成した三次元点群を用いてメッシュモデルを生成することによって前記対象物の三次元モデルを生成する三次元モデル生成手段、前記容量削減手段によりデータ容量が削減された前記色画像の情報を用いて前記三次元モデル生成手段により生成された三次元モデルを色付けする色付け手段として動作させるためのプログラムである。
本発明のプログラムは、コンピュータを、対象物を異なる視点から撮像した二枚以上のカラー画像である多視点画像を示す情報から、前記多視点画像おける色を示す色情報を除外したグレースケールの情報、及び前記多視点画像における前記色情報を含む色画像の情報を取得する画像情報取得手段、前記色画像におけるブレ又はボケが発生した領域を削除することによって前記色画像のデータ容量を削減する容量削減手段、前記グレースケール画像の情報及びカメラパラメータを用いてデプスマップを生成し、生成した前記デプスマップを統合することにより生成した三次元点群を用いてメッシュモデルを生成することによって前記対象物の三次元モデルを生成する三次元モデル生成手段、前記容量削減手段によりデータ容量が削減された前記色画像の情報を用いて前記三次元モデル生成手段により生成された三次元モデルを色付けする色付け手段として動作させるためのプログラムである。
本発明のプログラムは、コンピュータを、対象物を異なる視点から撮像した二枚以上のカラー画像である多視点画像を示す情報から、前記多視点画像おける色を示す色情報を除外したグレースケールの情報、及び前記多視点画像における前記色情報を含む色画像の情報を取得する画像情報取得手段、前記色画像における画像中央から所定の範囲内にある領域とは異なる領域を削除することによって前記色画像のデータ容量を削減する容量削減手段、前記グレースケール画像の情報及びカメラパラメータを用いてデプスマップを生成し、生成した前記デプスマップを統合することにより生成した三次元点群を用いてメッシュモデルを生成することによって前記対象物の三次元モデルを生成する三次元モデル生成手段、前記容量削減手段によりデータ容量が削減された前記色画像の情報を用いて前記三次元モデル生成手段により生成された三次元モデルを色付けする色付け手段として動作させるためのプログラムである。
本発明のプログラムは、コンピュータを、対象物を異なる視点から撮像した二枚以上のカラー画像である多視点画像を示す情報から、前記多視点画像おける色を示す色情報を除外したグレースケールの情報、及び前記多視点画像における前記色情報を含む色画像の情報を取得する画像情報取得手段、前記色画像における前記対象物が撮像された領域とは異なる領域を削除することによって前記色画像のデータ容量を削減する容量削減手段、前記グレースケール画像の情報及びカメラパラメータを用いてデプスマップを生成し、生成した前記デプスマップを統合することにより生成した三次元点群を用いてメッシュモデルを生成することによって前記対象物の三次元モデルを生成する三次元モデル生成手段、前記容量削減手段によりデータ容量が削減された前記色画像の情報を用いて前記三次元モデル生成手段により生成された三次元モデルを色付けする色付け手段として動作させるためのプログラムである。
本発明のプログラムは、コンピュータを、対象物を異なる視点から撮像した二枚以上のカラー画像である多視点画像を示す情報から、前記多視点画像おける色を示す色情報を除外したグレースケールの情報、及び前記多視点画像における前記色情報を含む色画像の情報を取得する画像情報取得手段、前記色画像におけるブレ又はボケが発生した領域を削除することによって前記色画像のデータ容量を削減する容量削減手段、前記グレースケール画像の情報及びカメラパラメータを用いてデプスマップを生成し、生成した前記デプスマップを統合することにより生成した三次元点群を用いてメッシュモデルを生成することによって前記対象物の三次元モデルを生成する三次元モデル生成手段、前記容量削減手段によりデータ容量が削減された前記色画像の情報を用いて前記三次元モデル生成手段により生成された三次元モデルを色付けする色付け手段として動作させるためのプログラムである。
本発明によれば、生成する三次元形状モデルの精度が低下することを抑制しつつ、三次元形状モデルの生成に用いる多視点画像のデータ容量を減少させ、多視点画像の情報を送信するために要する通信時間を低減することができる。
以下、本発明の一実施形態について、図面を参照して説明する。
（第１の実施形態）
まず、第１の実施形態について説明する。
図１は、第１の実施形態による三次元形状モデル生成システム１における構成の例を示すブロック図である。三次元形状モデル生成システム１は、例えば、撮像装置１０と、クライアント装置２０と、サーバ装置３０と、通信ネットワーク４０とを備える。撮像装置１０とクライアント装置２０とは、例えば、ＵＳＢ（Universal Serial Bus）ケーブル等により通信可能に接続される。また、クライアント装置２０と、サーバ装置３０とは、通信ネットワーク４０を介して通信可能に接続されている。
まず、第１の実施形態について説明する。
図１は、第１の実施形態による三次元形状モデル生成システム１における構成の例を示すブロック図である。三次元形状モデル生成システム１は、例えば、撮像装置１０と、クライアント装置２０と、サーバ装置３０と、通信ネットワーク４０とを備える。撮像装置１０とクライアント装置２０とは、例えば、ＵＳＢ（Universal Serial Bus）ケーブル等により通信可能に接続される。また、クライアント装置２０と、サーバ装置３０とは、通信ネットワーク４０を介して通信可能に接続されている。
撮像装置１０は、多視点画像を撮像する装置であって、例えばデジタルカメラである。多視点画像は、対象物の三次元形状モデルを生成するための画像であって、対象物を異なる視点から撮像した二枚以上の画像である。撮像装置１０は、撮像した多視点画像の情報を、ＵＳＢケーブル等を介して出力する。
本実施形態では、撮像装置１０は、色付きの多視点画像を撮像する。つまり、多視点画像は、カラー画像である。
本実施形態では、撮像装置１０は、色付きの多視点画像を撮像する。つまり、多視点画像は、カラー画像である。
多視点画像の情報は、画像におけるピクセル毎の色や輝度、或いは明度を示す情報である。例えば、多視点画像がＲＧＢ（Red Green Blue）画像である場合、多視点画像の情報は画像におけるピクセル毎のＲＧＢ値である。或いは、多視点画像がＬａｂ画像である場合、多視点画像の情報は画像におけるピクセル毎のＬチャネル及びａｂチャネルの情報である。或いは、多視点画像がＹＣｂＣｒ画像である場合、多視点画像の情報は画像におけるピクセル毎のＹチャネル及びＣｂＣｒチャネルの情報である。
また、多視点画像の情報には、カメラパラメータが含まれていてもよい。カメラパラメータは、画像の属性情報であって、例えば、画像を撮像した際の視点の位置、撮像方向、画角などを示す情報である。また、カメラパラメータには、画像を撮像した撮像装置に関する情報（所謂、内部パラメータ）を含んでいてもよい。内部パラメータは、撮像装置の構成要素の仕様や撮像時の状態を示す情報であって、例えば、撮像時レンズの焦点距離、シャッタースピード、露光状態、画像の分解能（ピクセル数）、レンズの歪曲収差係数などを示す情報である。
クライアント装置２０は、撮像装置１０から取得した多視点画像の情報を用いて情報処理を行う装置であって、例えば、パーソナルコンピュータである。クライアント装置２０は、例えば、通信部２０１と、画像情報取得部２０２と、容量削減部２０３と、データセット生成部２０４とを備える。
通信部２０１は、撮像装置１０と、ＵＳＢケーブル等を介した通信を行う。通信部２０１は、撮像装置１０から多視点画像の情報を取得する。通信部２０１は、取得した多視点画像の情報を、画像情報取得部２０２、及びデータセット生成部２０４に出力する。
また、通信部２０１は、サーバ装置３０と、通信ネットワーク４０を介した通信を行う。通信部２０１は、後述するデータセット生成部２０４により生成されたデータセットを、サーバ装置３０に送信する。通信部２０１は、サーバ装置３０から三次元形状モデルの情報を取得する。
また、通信部２０１は、サーバ装置３０と、通信ネットワーク４０を介した通信を行う。通信部２０１は、後述するデータセット生成部２０４により生成されたデータセットを、サーバ装置３０に送信する。通信部２０１は、サーバ装置３０から三次元形状モデルの情報を取得する。
画像情報取得部２０２は、多視点画像から、グレースケール画像の情報、及び色画像の情報を取得する。グレースケール画像は、多視点画像から色情報を除外した画像である。色情報は、多視点画像における色を示す情報である。色画像は、多視点画像における色情報を含む画像である。画像情報取得部２０２は、取得したグレースケール画像の情報、及び色画像の情報を、容量削減部２０３に出力する。
例えば、多視点画像がＲＧＢ画像である場合、グレースケール画像は、画像における輝度をグレースケールにより示す画像である。また、色画像は、画像における色をＲＧＢ値で示す画像（ＲＧＢ画像）である。この場合、グレースケール画像の情報は、ピクセル毎にＲＧＢ値に基づいて算出されるグレースケールを示す情報である。また、色画像の情報は、ピクセル毎にＲＧＢ値を示すである。
多視点画像がＬａｂ画像である場合、グレースケール画像は、画像における明度をＬａｂ画像のＬチャネルにより示す画像である。また、色画像は、画像における色をＬａｂ画像におけるａｂチャネルにより示す画像である。この場合、グレースケール画像の情報は、画像におけるピクセル毎のＬ成分値である。また、色画像の情報は、画像におけるピクセル毎のａ成分値、及びｂ成分値である。
多視点画像がＹＣｂＣｒ画像である場合、グレースケール画像は、画像における輝度をＹＣｂＣｒ画像のＹチャネルにより示す画像である。また、色画像は、画像における色をＹＣｂＣｒ画像のＣｂＣｒチャネルにより示す画像である。この場合、グレースケール画像の情報は、画像におけるピクセル毎のＹ成分値である。また、色画像の情報は、画像におけるピクセル毎のＣｂ成分値及びＣｒ成分値である。
容量削減部２０３は、画像情報取得部２０２から色画像の情報を取得し、取得した色画像のデータ容量を削減する。容量削減部２０３は、例えば、色画像における画像サイズを縮小することによりデータ容量を削減する。容量削減部２０３は、データ容量を削減した色画像の情報をデータセット生成部２０４に出力する。
データセット生成部２０４は、多視点画像の情報、及びデータ容量を削減した色画像の情報を用いてデータセットを生成する。データセットは、三次元形状モデルを生成するための一組の情報であって、対象物におけるグレースケール画像群の情報、色画像群の情報、及び各画像のカメラパラメータを含む情報である。データセット生成部２０４は、生成したデータセットを、通信部２０１を介してサーバ装置３０に送信する。
サーバ装置３０は、クライアント装置２０から受信したデータセットを用いて三次元モデルを作成する装置である。サーバ装置３０は、例えば、通信部３０１と、三次元モデル生成部３０２と、色付け部３０３とを備える。
通信部３０１は、クライアント装置２０と、通信ネットワーク４０を介した通信を行う。通信部３０１は、クライアント装置２０から三次元形状モデルを生成するためのデータセットを受信する。通信部３０１は、受信したデータセットを、三次元モデル生成部３０２、及び色付け部３０３に出力する。通信部３０１は、三次元形状モデルの情報をクライアント装置２０に送信する。
三次元モデル生成部３０２は、データセットに含まれるグレースケール画像を用いて三次元モデルを生成する。三次元モデル生成部３０２は、例えば、まず、グレースケール画像群の情報、及びカメラパラメータを用いて、デプスマップを生成する。デプスマップは、グレースケール画像の各々におけるピクセル毎の奥行き（デプス）を示す情報（マップ）である。次に、三次元モデル生成部３０２は、グレースケール画像の各々のデプスマップを統合して三次元点群を生成する。三次元点群は、対象物の三次元形状に対応する三次元点の集合である。三次元モデル生成部３０２は、三次元点群を用いて、メッシュモデルを生成する。メッシュモデルは、対象物の三次元形状をポリゴン（多角形）の集合体として示す三次元形状モデルである。三次元モデル生成部３０２は、例えば、メッシュ再構築（Poisson Surface Reconstruction）の手法を用いて、三次元点群からメッシュモデルを生成する。三次元モデル生成部３０２は、生成したメッシュモデルを三次元モデルとして、その三次元モデルの情報を色付け部３０３に出力する。
色付け部３０３は、データセットに含まれる色画像を用いて三次元モデルに色付けを行う。色付け部３０３は、例えば、色画像の視点から見た三次元モデルに、当該色画像を投影させ、三次元モデルにおける当該色画像に対応する領域を、当該色画像の色に色付けする。色画像の視点は、データセットに含まれるカメラパラメータより取得する。色付け部３０３は、色画像の各々について、三次元モデルに投影させる処理を行うことで三次元モデル全体の色付けを行う。色付け部３０３は、三次元モデルにおいて複数の色画像の一部又は全部の領域が重複する場合には、複数の色画像の各々において対応するピクセルの色の代表値を三次元モデルに色付けする。代表値は、各々の色を代表する色であればよく、例えば、各々の色の単純加算平均値や、重みづけ加算による平均値、或いは中央値などである。色付け部３０３は、色付けした三次元モデルの情報を、通信部３０１を介してクライアント装置２０に送信する。ここで、色付けした三次元モデルは「三次元形状モデル」の一例である。
通信ネットワーク４０は、例えば、インターネット、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、プロバイダ装置、無線基地局、専用回線などのうちの一部または全部を含む通信網である。
ここで、三次元形状モデル生成システム１が行う処理を、図２及び図３を用いて説明する。
図２は、第１の実施形態による三次元形状モデル生成システム１が行う処理を説明する図である。図２では、第１の実施形態による三次元形状モデル生成システム１が行う処理を模式的に示している。
図２に示すように、第１の実施形態による三次元形状モデル生成システム１では、まず、画像情報取得部２０２が、多視点画像Ｔからグレースケール画像Ｋ、及び色画像Ｒを取得（分離）する。次に、容量削減部２０３が、色画像Ｒの画像サイズを縮小することで色画像Ｒのデータ容量を削減する。次に、データセット生成部２０４が、グレースケール画像Ｋ、及びデータ容量が削減された色画像Ｒが含まれるデータセットを生成してサーバ装置３０に送信する。三次元モデル生成部３０２が、データセットに含まれるグレースケール画像Ｋを用いて三次元モデルＭを生成する。そして、色付け部３０３が、データセットに含まれるデータ容量が削減された色画像Ｒを用いて三次元モデルＭに色付けした色付き三次元モデルＤを生成する。
図２は、第１の実施形態による三次元形状モデル生成システム１が行う処理を説明する図である。図２では、第１の実施形態による三次元形状モデル生成システム１が行う処理を模式的に示している。
図２に示すように、第１の実施形態による三次元形状モデル生成システム１では、まず、画像情報取得部２０２が、多視点画像Ｔからグレースケール画像Ｋ、及び色画像Ｒを取得（分離）する。次に、容量削減部２０３が、色画像Ｒの画像サイズを縮小することで色画像Ｒのデータ容量を削減する。次に、データセット生成部２０４が、グレースケール画像Ｋ、及びデータ容量が削減された色画像Ｒが含まれるデータセットを生成してサーバ装置３０に送信する。三次元モデル生成部３０２が、データセットに含まれるグレースケール画像Ｋを用いて三次元モデルＭを生成する。そして、色付け部３０３が、データセットに含まれるデータ容量が削減された色画像Ｒを用いて三次元モデルＭに色付けした色付き三次元モデルＤを生成する。
図３は、第１の実施形態による三次元形状モデル生成システム１が行う処理の流れを説明するシーケンス図である。
ステップＳ１０：
撮像装置１０は、多視点画像Ｔを撮像する。撮像装置１０は、撮像した多視点画像Ｔの情報を、ＵＳＢケーブル等を介してクライアント装置２０に出力する。
ステップＳ１０：
撮像装置１０は、多視点画像Ｔを撮像する。撮像装置１０は、撮像した多視点画像Ｔの情報を、ＵＳＢケーブル等を介してクライアント装置２０に出力する。
ステップＳ１１：
クライアント装置２０は、通信部２０１により多視点画像Ｔの情報を取得する。通信部２０１は、多視点画像Ｔの情報を画像情報取得部２０２、及びデータセット生成部２０４に出力する。
ステップＳ１２：
クライアント装置２０は、画像情報取得部２０２により、多視点画像Ｔからグレースケール画像Ｋ、及び色画像Ｒの情報を取得する。画像情報取得部２０２は、取得したグレースケール画像Ｋ、及び色画像Ｒの情報を、容量削減部２０３に出力する。
ステップＳ１３：
クライアント装置２０は、容量削減部２０３により、色画像Ｒのデータ容量を削減する。３０２は、データ容量を削減した色画像Ｒの情報をデータセット生成部２０４に出力する。
ステップＳ１４：
データセット生成部２０４は、グレースケール画像Ｋ、及びデータ容量が削減された色画像Ｒが含まれるデータセットを生成する。データセット生成部２０４は、生成したデータセットを、サーバ装置３０に送信する。
クライアント装置２０は、通信部２０１により多視点画像Ｔの情報を取得する。通信部２０１は、多視点画像Ｔの情報を画像情報取得部２０２、及びデータセット生成部２０４に出力する。
ステップＳ１２：
クライアント装置２０は、画像情報取得部２０２により、多視点画像Ｔからグレースケール画像Ｋ、及び色画像Ｒの情報を取得する。画像情報取得部２０２は、取得したグレースケール画像Ｋ、及び色画像Ｒの情報を、容量削減部２０３に出力する。
ステップＳ１３：
クライアント装置２０は、容量削減部２０３により、色画像Ｒのデータ容量を削減する。３０２は、データ容量を削減した色画像Ｒの情報をデータセット生成部２０４に出力する。
ステップＳ１４：
データセット生成部２０４は、グレースケール画像Ｋ、及びデータ容量が削減された色画像Ｒが含まれるデータセットを生成する。データセット生成部２０４は、生成したデータセットを、サーバ装置３０に送信する。
ステップＳ１５：
サーバ装置３０は、通信部３０１によりデータセットを、取得する。通信部３０１は取得したデータセットを、三次元モデル生成部３０２、及び色付け部３０３に出力する。
ステップＳ１６：
サーバ装置３０は、三次元モデル生成部３０２により、データセットに含まれるグレースケール画像Ｋを用いて三次元モデルＭを生成する。
ステップＳ１７：
サーバ装置３０は、色付け部３０３により、データセットに含まれるデータ容量を削減した色画像Ｒを用いて、三次元モデルＭに色付けを行い、色付き三次元モデルＤを生成する。色付け部３０３は、生成した色付き三次元モデルＤの情報をクライアント装置２０に送信する。
サーバ装置３０は、通信部３０１によりデータセットを、取得する。通信部３０１は取得したデータセットを、三次元モデル生成部３０２、及び色付け部３０３に出力する。
ステップＳ１６：
サーバ装置３０は、三次元モデル生成部３０２により、データセットに含まれるグレースケール画像Ｋを用いて三次元モデルＭを生成する。
ステップＳ１７：
サーバ装置３０は、色付け部３０３により、データセットに含まれるデータ容量を削減した色画像Ｒを用いて、三次元モデルＭに色付けを行い、色付き三次元モデルＤを生成する。色付け部３０３は、生成した色付き三次元モデルＤの情報をクライアント装置２０に送信する。
以上説明したように、第１の実施形態における三次元形状モデル生成システム１は、画像情報取得部２０２と容量削減部２０３と三次元モデル生成部３０２と色付け部３０３とを備える。画像情報取得部２０２は、多視点画像Ｔから、多視点画像Ｔにおける色情報を除外したグレースケール画像Ｋの情報、及び多視点画像における色を示す色画像Ｒの情報を取得する。容量削減部２０３は、色画像Ｒのデータ容量を削減する。三次元モデル生成部３０２は、グレースケール画像Ｋの情報を用いて、対象物の三次元モデルを生成する。色付け部３０３は、容量削減部２０３によりデータ容量が削減された色画像Ｒの情報を用いて三次元モデル生成部３０２により生成された三次元モデルを色付けする。
これにより、第１の実施形態における三次元形状モデル生成システム１は、グレースケール画像Ｋのデータ容量を削減しないようにすることで生成する三次元モデルＭの精度が低下することを抑制しつつ、色画像Ｒのデータ容量を削減することにより色付き三次元モデルＤ（三次元形状モデル）の生成に用いる情報（データセット）のデータ容量を減少させることができる。
これにより、第１の実施形態における三次元形状モデル生成システム１は、グレースケール画像Ｋのデータ容量を削減しないようにすることで生成する三次元モデルＭの精度が低下することを抑制しつつ、色画像Ｒのデータ容量を削減することにより色付き三次元モデルＤ（三次元形状モデル）の生成に用いる情報（データセット）のデータ容量を減少させることができる。
また、第１の実施形態における三次元形状モデル生成システム１では、容量削減部２０３は、色画像Ｒにおける画像サイズを縮小することによりデータ容量を削減する。ここで、画像サイズを縮小するとは、画像におけるピクセル数を減少させることをいう。例えば、元の画像サイズが３００×６００ピクセルである場合、画像サイズを１／４に縮小するとは、縮小後の画像サイズが１５０×３００ピクセルとなることをいう。画像サイズを縮小する場合、例えば、複数ピクセルを一つのピクセルに統合することで画像におけるピクセル数を減少させる。複数ピクセルを一つのピクセルに統合する方法としては、複数ピクセルの値の代表値を有するピクセルのみを残し、他のピクセルを削除するようにしてもよいし、複数ピクセルのうちの特定の座標に位置するピクセルのみを残し、他のピクセルを削除するようにしてもよい。
また、第１の実施形態における三次元形状モデル生成システム１では、多視点画像はＲＧＢ画像であり、画像情報取得部２０２は、多視点画像における輝度をグレースケールにより示す画像をグレースケール画像として取得し、前記多視点画像における色をＲＧＢ値により示す画像を色画像として取得する。これにより、第１の実施形態における三次元形状モデル生成システム１は、ＲＧＢ画像からグレースケールとＲＧＢ値を抽出するという容易な方法によりデータ容量を削減することができる。
また、第１の実施形態における三次元形状モデル生成システム１では、多視点画像はＬａｂ画像であり、画像情報取得部２０２は、多視点画像における明度をＬチャネルにより示す画像をグレースケール画像として取得し、多視点画像における色をａｂチャネルにより示す画像を色画像として取得する。これにより、第１の実施形態における三次元形状モデル生成システム１は、Ｌａｂ画像からＬチャネルとａｂチャネルを抽出するという容易な方法によりデータ容量を削減することができる。
また、第１の実施形態における三次元形状モデル生成システム１では、クライアント装置２０とサーバ装置３０とを備えるようにしてもよい。クライアント装置２０は、画像情報取得部２０２と、容量削減部２０３とを有し、サーバ装置３０にグレースケール画像Ｋの情報、及びデータ容量が削減された色画像Ｒの情報を送信する。サーバ装置３０は、三次元モデル生成部３０２と、色付け部３０３とを有し、三次元モデル生成部３０２はクライアント装置２０から受信したグレースケール画像Ｋを用いて対象物の三次元モデルＭを生成する。これにより、第１の実施形態における三次元形状モデル生成システム１は、クライアント装置２０とサーバ装置３０との間で、通信ネットワーク４０などを介したデータの送受信が発生する場合であっても、データ容量が削減された色画像Ｒの情報を用いることができるために、送受信を行うデータのデータ容量を削減することが可能となる。
（第１の実施形態の変形例１）
次に、第１の実施形態の変形例１について説明する。本変形例では、グレースケール画像Ｋのデータ容量を削減する点において、上述した実施形態と相違する。
本変形例では、容量削減部２０３は、グレースケール画像Ｋの画像サイズを縮小することにより、グレースケール画像Ｋにおけるデータ容量を削減する。
次に、第１の実施形態の変形例１について説明する。本変形例では、グレースケール画像Ｋのデータ容量を削減する点において、上述した実施形態と相違する。
本変形例では、容量削減部２０３は、グレースケール画像Ｋの画像サイズを縮小することにより、グレースケール画像Ｋにおけるデータ容量を削減する。
例えば、ＲＧＢ画像の場合、グレースケール画像は、各ピクセルのＲＧＢ値を用いて算出されたグレースケールが用いられる。この場合、フルカラーフォーマットにてモノクロ画像が保存される場合が多く、グレースケール画像とＲＧＢ画像とのデータ容量がほとんど変わらない場合が多い。また、このようなグレースケール画像の画像サイズを１／２程度に画像サイズを縮小しても、縮小したグレースケール画像と縮小しないグレースケール画像とで、生成される三次元モデルＭの精度にほとんど差がないことが、経験上よく知られている。
このため、容量削減部２０３は、例えば、グレースケール画像Ｋにおけるデータ容量の削減比率が、色画像における削減比率よりも小さくなるようにデータ容量を削減する。ここでの削減比率は、削減前に対する、削減量の比率である。例えば、容量削減部２０３は、色画像Ｒの画像サイズを１／４に縮小し、グレースケール画像Ｋの画像サイズを１／２に縮小する。
この場合、色画像Ｒにおける削減前のデータ容量を１とすると、削減された色画像Ｒのデータ容量は、（１－１／４＝）３／４であり、色画像Ｒの削減比率は、３／４となる。また、グレースケール画像Ｋにおける削減前のデータ容量を１とすると、削減されたグレースケール画像Ｋのデータ容量は、（１－１／２＝）１／２であり、グレースケール画像Ｋの削減比率は、１／２となる。つまり、グレースケール画像Ｋの削減比率は、色画像Ｒの削減比率よりも小さい削減比率である。
この場合、色画像Ｒにおける削減前のデータ容量を１とすると、削減された色画像Ｒのデータ容量は、（１－１／４＝）３／４であり、色画像Ｒの削減比率は、３／４となる。また、グレースケール画像Ｋにおける削減前のデータ容量を１とすると、削減されたグレースケール画像Ｋのデータ容量は、（１－１／２＝）１／２であり、グレースケール画像Ｋの削減比率は、１／２となる。つまり、グレースケール画像Ｋの削減比率は、色画像Ｒの削減比率よりも小さい削減比率である。
図４は、第１の実施形態の変形例１による三次元形状モデル生成システム１が行う処理を説明する図である。
図４に示すように、第１の実施形態の変形例１による三次元形状モデル生成システム１では、まず、画像情報取得部２０２が、多視点画像Ｔからグレースケール画像Ｋ、及び色画像Ｒを取得（分離）する。次に、容量削減部２０３が、グレースケール画像Ｋ、及び色画像Ｒの画像サイズを縮小することで両画像のデータ容量を削減する。次に、データセット生成部２０４が、データ容量が削減されたグレースケール画像Ｋ及び色画像Ｒが含まれるデータセットを生成してサーバ装置３０に送信する。三次元モデル生成部３０２が、データセットに含まれるデータ容量が削減されたグレースケール画像Ｋを用いて三次元モデルＭを生成する。そして、色付け部３０３が、データセットに含まれるデータ容量が削減された色画像Ｒを用いて三次元モデルＭに色付けした色付き三次元モデルＤを生成する。
図４に示すように、第１の実施形態の変形例１による三次元形状モデル生成システム１では、まず、画像情報取得部２０２が、多視点画像Ｔからグレースケール画像Ｋ、及び色画像Ｒを取得（分離）する。次に、容量削減部２０３が、グレースケール画像Ｋ、及び色画像Ｒの画像サイズを縮小することで両画像のデータ容量を削減する。次に、データセット生成部２０４が、データ容量が削減されたグレースケール画像Ｋ及び色画像Ｒが含まれるデータセットを生成してサーバ装置３０に送信する。三次元モデル生成部３０２が、データセットに含まれるデータ容量が削減されたグレースケール画像Ｋを用いて三次元モデルＭを生成する。そして、色付け部３０３が、データセットに含まれるデータ容量が削減された色画像Ｒを用いて三次元モデルＭに色付けした色付き三次元モデルＤを生成する。
以上説明したように、第１の実施形態の変形例１における三次元形状モデル生成システム１では、容量削減部２０３は、グレースケール画像Ｋのデータ容量を削減し、三次元モデル生成部３０２は、容量削減部２０３によりデータ容量が削減されたグレースケール画像Ｋを用いて、対象物の三次元モデルを生成する。これにより、第１の実施形態の変形例１における三次元形状モデル生成システム１では、グレースケール画像Ｋと色画像Ｒとのデータ容量を削減することができるために、三次元モデルＭ及び色付き三次元モデルＤの生成に用いるデータセットのデータ容量を削減することができる。
また、第１の実施形態の変形例１における三次元形状モデル生成システム１では、容量削減部２０３は、グレースケール画像Ｋの削減比率が、色画像Ｒにおける削減比率よりも大きくなるように、グレースケール画像Ｋのデータ容量を削減するようにしてもよい。これにより、第１の実施形態の変形例１における三次元形状モデル生成システム１では、例えば、グレースケール画像Ｋを、生成する三次元モデルＭの精度に影響がない程度の１／２の画像サイズに圧縮し、色画像Ｒを１／２よりも小さな画像サイズに縮小して、データセットのデータ容量を削減することが可能である。
（第１の実施形態の変形例２）
次に、第１の実施形態の変形例２について説明する。本変形例では、色画像Ｒにおける画像の枚数を削減することによりデータ容量を削減する点において、上述した実施形態と相違する。
本変形例では、容量削減部２０３は、グレースケール画像Ｋと同数ある色画像Ｒの画像の枚数を削減する。例えば、容量削減部２０３は、グレースケール画像Ｋと色画像Ｒとが、１００枚ずつある場合、グレースケール画像Ｋは１００枚のままとし、色画像Ｒは１００枚から１０枚を選択する。容量削減部２０３は、例えば、複数の色画像Ｒの中から、対象物を中心として、対象物の正面から水平方向に所定の角度（例えば、４５°）ずつ移動させた位置に視点を有する色画像Ｒ、対象物の正面から水平方向に所定の角度（例えば、６０°）ずつ移動させた位置に視点を有する色画像Ｒ、を選択する。つまり、容量削減部２０３は、対象物の正面、側面、上面、裏面などの各方面に視点がある色画像Ｒをバランスよく選択する。これにより、色画像Ｒのデータ容量を削減しつつ、三次元モデルＭの全体に色付けを行うことができる。
次に、第１の実施形態の変形例２について説明する。本変形例では、色画像Ｒにおける画像の枚数を削減することによりデータ容量を削減する点において、上述した実施形態と相違する。
本変形例では、容量削減部２０３は、グレースケール画像Ｋと同数ある色画像Ｒの画像の枚数を削減する。例えば、容量削減部２０３は、グレースケール画像Ｋと色画像Ｒとが、１００枚ずつある場合、グレースケール画像Ｋは１００枚のままとし、色画像Ｒは１００枚から１０枚を選択する。容量削減部２０３は、例えば、複数の色画像Ｒの中から、対象物を中心として、対象物の正面から水平方向に所定の角度（例えば、４５°）ずつ移動させた位置に視点を有する色画像Ｒ、対象物の正面から水平方向に所定の角度（例えば、６０°）ずつ移動させた位置に視点を有する色画像Ｒ、を選択する。つまり、容量削減部２０３は、対象物の正面、側面、上面、裏面などの各方面に視点がある色画像Ｒをバランスよく選択する。これにより、色画像Ｒのデータ容量を削減しつつ、三次元モデルＭの全体に色付けを行うことができる。
図５は、第１の実施形態の変形例２による三次元形状モデル生成システム１が行う処理を説明する図である。
図５に示すように、第１の実施形態の変形例２による三次元形状モデル生成システム１では、まず、画像情報取得部２０２が、多視点画像Ｔからグレースケール画像Ｋ、及び色画像Ｒを取得（分離）する。次に、容量削減部２０３が、色画像Ｒの画像枚数を削減することで色画像Ｒのデータ容量を削減する。次に、データセット生成部２０４が、グレースケール画像Ｋ、及びデータ容量が削減された色画像Ｒが含まれるデータセットを生成してサーバ装置３０に送信する。三次元モデル生成部３０２が、データセットに含まれるグレースケール画像Ｋを用いて三次元モデルＭを生成する。そして、色付け部３０３が、データセットに含まれるデータ容量が削減された色画像Ｒを用いて三次元モデルＭに色付けした色付き三次元モデルＤを生成する。
図５に示すように、第１の実施形態の変形例２による三次元形状モデル生成システム１では、まず、画像情報取得部２０２が、多視点画像Ｔからグレースケール画像Ｋ、及び色画像Ｒを取得（分離）する。次に、容量削減部２０３が、色画像Ｒの画像枚数を削減することで色画像Ｒのデータ容量を削減する。次に、データセット生成部２０４が、グレースケール画像Ｋ、及びデータ容量が削減された色画像Ｒが含まれるデータセットを生成してサーバ装置３０に送信する。三次元モデル生成部３０２が、データセットに含まれるグレースケール画像Ｋを用いて三次元モデルＭを生成する。そして、色付け部３０３が、データセットに含まれるデータ容量が削減された色画像Ｒを用いて三次元モデルＭに色付けした色付き三次元モデルＤを生成する。
以上説明したように、第１の実施形態の変形例２における三次元形状モデル生成システム１では、容量削減部２０３は、複数の色画像Ｒのうち一部の色画像Ｒを選択することにより、色画像Ｒのデータ容量を削減する。これにより、第１の実施形態の変形例２における三次元形状モデル生成システム１は、複数の色画像Ｒの中から、例えば、視点が各方面にバランスよく存在するように色画像Ｒを選択することで、三次元モデルＭにおける全体の色付けを可能としつつ、全ての色画像Ｒを用いる場合よりもデータ容量を削減することができる。
（第１の実施形態の変形例３）
次に、第１の実施形態の変形例３について説明する。本変形例では、色画像Ｒにおける画像の一部の領域を削除する（トリミングする）ことによりデータ容量を削減する点において、上述した実施形態と相違する。
本変形例では、容量削減部２０３は、例えば、色画像Ｒにおける画像中央の所定領域（例えば、Ｎ×Ｎピクセルの領域）（ただし、Ｎは、画像のピクセル数を超えない任意の自然数）を残し、その領域とは異なる領域を削除する。
次に、第１の実施形態の変形例３について説明する。本変形例では、色画像Ｒにおける画像の一部の領域を削除する（トリミングする）ことによりデータ容量を削減する点において、上述した実施形態と相違する。
本変形例では、容量削減部２０３は、例えば、色画像Ｒにおける画像中央の所定領域（例えば、Ｎ×Ｎピクセルの領域）（ただし、Ｎは、画像のピクセル数を超えない任意の自然数）を残し、その領域とは異なる領域を削除する。
また、容量削減部２０３は、色画像Ｒにおいて対象物が撮像された領域を残し、その領域とは異なる領域を削除するようにしてもよい。この場合、例えば、容量削減部２０３は、色画像Ｒにラプラシアンフィルタやソーベル（Sobel）フィルタを適用することにより、色画像Ｒにおける対象物の輪郭線（エッジ）を検出する。そして、容量削減部２０３は、色画像Ｒから検出した輪郭線の外側の領域を削除する。
また、容量削減部２０３は、色画像Ｒにおいて画像にブラー（ブレやボケ）が生じていない領域を残し、ブラーが生じている領域を削除するようにしてもよい。
この場合、例えば、容量削減部２０３は、周波数解析手法を用いて、画像においてブラーが生じている領域と生じていない領域とを判定する。容量削減部２０３は、ピクセル毎のＲＧＢ値について、そのピクセルの近傍における局所領域についてフーリエ変換を行い、その局所領域における高周波数成分を抽出する。そして、容量削減部２０３は、抽出した局所領域における高周波数成分が、所定の閾値以上であるか否かに応じてその局所領域にブラーが生じているか否かを判定する。容量削減部２０３は、局所領域における高周波数成分のレベルが所定の閾値以上である場合にその局所領域にブラーが生じていないと判定し、局所領域における高周波数成分のレベルが所定の閾値未満である場合にその局所領域にブラーが生じていると判定する。
この場合、例えば、容量削減部２０３は、周波数解析手法を用いて、画像においてブラーが生じている領域と生じていない領域とを判定する。容量削減部２０３は、ピクセル毎のＲＧＢ値について、そのピクセルの近傍における局所領域についてフーリエ変換を行い、その局所領域における高周波数成分を抽出する。そして、容量削減部２０３は、抽出した局所領域における高周波数成分が、所定の閾値以上であるか否かに応じてその局所領域にブラーが生じているか否かを判定する。容量削減部２０３は、局所領域における高周波数成分のレベルが所定の閾値以上である場合にその局所領域にブラーが生じていないと判定し、局所領域における高周波数成分のレベルが所定の閾値未満である場合にその局所領域にブラーが生じていると判定する。
或いは、容量削減部２０３は、機械学習的手法を用いて、画像においてブラーが生じている領域と生じていない領域とを判定するようにしてもよい。例えば、容量削減部２０３は、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｕｅｒａｌ Ｎｅｔｗｏｒｋ、ＣＮＮ）を用いて、入力画像と対応したブラーマップの学習データにより機械学習を実行することで、色画像Ｒからピクセル毎のブラー度合いを示すブラーマップを生成することが可能である。
図６は、第１の実施形態の変形例３による三次元形状モデル生成システム１が行う処理を説明する図である。
図６に示すように、第１の実施形態の変形例３による三次元形状モデル生成システム１では、まず、画像情報取得部２０２が、多視点画像Ｔからグレースケール画像Ｋ、及び色画像Ｒを取得（分離）する。次に、容量削減部２０３が、色画像Ｒをトリミングすることで色画像Ｒのデータ容量を削減する。次に、データセット生成部２０４が、グレースケール画像Ｋ、及びデータ容量が削減された色画像Ｒが含まれるデータセットを生成してサーバ装置３０に送信する。三次元モデル生成部３０２が、データセットに含まれるグレースケール画像Ｋを用いて三次元モデルＭを生成する。そして、色付け部３０３が、データセットに含まれるデータ容量が削減された色画像Ｒを用いて三次元モデルＭに色付けした色付き三次元モデルＤを生成する。
図６に示すように、第１の実施形態の変形例３による三次元形状モデル生成システム１では、まず、画像情報取得部２０２が、多視点画像Ｔからグレースケール画像Ｋ、及び色画像Ｒを取得（分離）する。次に、容量削減部２０３が、色画像Ｒをトリミングすることで色画像Ｒのデータ容量を削減する。次に、データセット生成部２０４が、グレースケール画像Ｋ、及びデータ容量が削減された色画像Ｒが含まれるデータセットを生成してサーバ装置３０に送信する。三次元モデル生成部３０２が、データセットに含まれるグレースケール画像Ｋを用いて三次元モデルＭを生成する。そして、色付け部３０３が、データセットに含まれるデータ容量が削減された色画像Ｒを用いて三次元モデルＭに色付けした色付き三次元モデルＤを生成する。
以上説明したように、第１の実施形態の変形例３における三次元形状モデル生成システム１では、容量削減部２０３は、色画像Ｒにおける画像の一部の領域を削除することによりデータ容量を削減する。これにより、第１の実施形態の変形例３における三次元形状モデル生成システム１は、例えば、多視点画像における画像の中央のＮ×Ｎピクセルの領域を残し、その他の領域を削除するような容易な方法により、データセットのデータ容量を削減することができる。
また、第１の実施形態の変形例３における三次元形状モデル生成システム１では、容量削減部２０３は、色画像Ｒにおける対象物が撮像された範囲とは異なる範囲を削除することによりデータ容量を削減する。これにより、第１の実施形態の変形例３における三次元形状モデル生成システム１は、色付き三次元モデルＤの生成の対象である対象物以外の情報を削除することにより、生成するモデルの精度を低下させることなく、データセットのデータ容量を削減することができる。
また、第１の実施形態の変形例３における三次元形状モデル生成システム１では、容量削減部２０３は、多視点画像におけるピクセル毎のブラーが生じている領域を削除することによりデータ容量を削減する。これにより、第１の実施形態の変形例３における三次元形状モデル生成システム１は、色画像Ｒにおいてのボケやブレがある領域を削除することにより、生成する色付き三次元モデルＤの精度を低下させることなく、データ容量を削減することができる。
（第１の実施形態の変形例４）
次に、第１の実施形態の変形例４について説明する。本変形例では、グレースケール画像Ｋにおける画像の一部の領域を削除する（トリミングする）ことによりデータ容量を削減する点において、上述した実施形態と相違する。
本変形例では、上述した第１の実施形態の変形例３と同様に、容量削減部２０３が、グレースケール画像Ｋにおける画像中央の所定領域（例えば、Ｎ×Ｎピクセルの領域）を残し、その領域とは異なる領域を削除する。
また、容量削減部２０３は、上述した第１の実施形態の変形例３と同様な手法により、グレースケール画像Ｋにおいて対象物が撮像された領域を残し、その領域とは異なる領域を削除するようにしてもよい。
また、容量削減部２０３は、上述した第１の実施形態の変形例３と同様な手法により、グレースケール画像Ｋにおいて画像にブラー（ブレやボケ）が生じていない領域を残し、ブラーが生じている領域を削除するようにしてもよい。
次に、第１の実施形態の変形例４について説明する。本変形例では、グレースケール画像Ｋにおける画像の一部の領域を削除する（トリミングする）ことによりデータ容量を削減する点において、上述した実施形態と相違する。
本変形例では、上述した第１の実施形態の変形例３と同様に、容量削減部２０３が、グレースケール画像Ｋにおける画像中央の所定領域（例えば、Ｎ×Ｎピクセルの領域）を残し、その領域とは異なる領域を削除する。
また、容量削減部２０３は、上述した第１の実施形態の変形例３と同様な手法により、グレースケール画像Ｋにおいて対象物が撮像された領域を残し、その領域とは異なる領域を削除するようにしてもよい。
また、容量削減部２０３は、上述した第１の実施形態の変形例３と同様な手法により、グレースケール画像Ｋにおいて画像にブラー（ブレやボケ）が生じていない領域を残し、ブラーが生じている領域を削除するようにしてもよい。
図７は、第１の実施形態の変形例４による三次元形状モデル生成システム１が行う処理を説明する図である。
図７に示すように、第１の実施形態の変形例４による三次元形状モデル生成システム１では、まず、画像情報取得部２０２が、多視点画像Ｔからグレースケール画像Ｋ、及び色画像Ｒを取得（分離）する。次に、容量削減部２０３が、グレースケール画像Ｋ及び色画像Ｒをトリミングすることで両画像のデータ容量を削減する。次に、データセット生成部２０４が、データ容量が削減されたグレースケール画像Ｋ、及び色画像Ｒが含まれるデータセットを生成してサーバ装置３０に送信する。三次元モデル生成部３０２が、データセットに含まれるデータ容量が削減されたグレースケール画像Ｋを用いて三次元モデルＭを生成する。そして、色付け部３０３が、データセットに含まれるデータ容量が削減された色画像Ｒを用いて三次元モデルＭに色付けした色付き三次元モデルＤを生成する。
図７に示すように、第１の実施形態の変形例４による三次元形状モデル生成システム１では、まず、画像情報取得部２０２が、多視点画像Ｔからグレースケール画像Ｋ、及び色画像Ｒを取得（分離）する。次に、容量削減部２０３が、グレースケール画像Ｋ及び色画像Ｒをトリミングすることで両画像のデータ容量を削減する。次に、データセット生成部２０４が、データ容量が削減されたグレースケール画像Ｋ、及び色画像Ｒが含まれるデータセットを生成してサーバ装置３０に送信する。三次元モデル生成部３０２が、データセットに含まれるデータ容量が削減されたグレースケール画像Ｋを用いて三次元モデルＭを生成する。そして、色付け部３０３が、データセットに含まれるデータ容量が削減された色画像Ｒを用いて三次元モデルＭに色付けした色付き三次元モデルＤを生成する。
以上説明したように、第１の実施形態の変形例４における三次元形状モデル生成システム１では、容量削減部２０３は、グレースケール画像Ｋをトリミングすることによりデータ容量を削減する。これにより、第１の実施形態の変形例４における三次元形状モデル生成システム１では、グレースケール画像Ｋをトリミングするという容易な方法で、グレースケール画像Ｋのデータ容量を削減することができるために、三次元モデルＭの生成に用いるデータセットのデータ容量を削減することができる。また、グレースケール画像Ｋをトリミングする際に、画像中央の領域、対象物が撮像された領域、又は、画像にブラーが生じていない領域を残し、その領域とは異なる領域を削除することにより、生成する三次元モデルＭの精度を低下させることなく、データセットのデータ容量を削減することが可能となる。
（第２の実施形態）
次に、第２の実施形態について説明する。本実施形態では、クライアント装置２０が色画像Ｒを用いて、三次元モデルＭを色付けする点において、上述した実施形態と相違する。以下の説明では、上述した実施形態と相違する構成について説明し、上述した実施形態と同様な構成については、上述した実施形態と同じ符号を付してその説明を省略する。
次に、第２の実施形態について説明する。本実施形態では、クライアント装置２０が色画像Ｒを用いて、三次元モデルＭを色付けする点において、上述した実施形態と相違する。以下の説明では、上述した実施形態と相違する構成について説明し、上述した実施形態と同様な構成については、上述した実施形態と同じ符号を付してその説明を省略する。
図８は、第２の実施形態による三次元形状モデル生成システム１Ａにおける構成の例を示すブロック図である。
図８に示すように、三次元形状モデル生成システム１Ａは、例えば、撮像装置１０と、クライアント装置２０Ａと、サーバ装置３０Ａとを備える。
クライアント装置２０Ａは、通信部２０１Ａと、データセット生成部２０４Ａと、色付け部２０５とを備える。サーバ装置３０Ａは、通信部３０１Ａを備える。
図８に示すように、三次元形状モデル生成システム１Ａは、例えば、撮像装置１０と、クライアント装置２０Ａと、サーバ装置３０Ａとを備える。
クライアント装置２０Ａは、通信部２０１Ａと、データセット生成部２０４Ａと、色付け部２０５とを備える。サーバ装置３０Ａは、通信部３０１Ａを備える。
データセット生成部２０４Ａは、グレースケール画像Ｋの情報を含むが、色画像Ｒの情報を含まないデータセットを生成し、生成したデータセットを、サーバ装置３０Ａに送信する。
サーバ装置３０Ａは、クライアント装置２０Ａからデータセットを受信し、受信したデータセットに含まれるグレースケール画像Ｋの情報を用いて三次元モデルＭを生成する。通信部３０１Ａは、グレースケール画像Ｋの情報を用いて生成された三次元モデルＭの情報、つまり、（色付きでない）三次元モデルＭの情報をクライアント装置２０に送信する。
通信部２０１は、サーバ装置３０から、（色付きでない）三次元モデルＭの情報を受信し、受信した三次元モデルＭの情報を色付け部２０５に出力する。
色付け部２０５は、色画像Ｒ、及び三次元モデルＭの情報を用いて、三次元形状モデルに色付けを行い、色付き三次元モデルＤを生成する。なお、色付け部２０５の機能は上述した色付け部３０３と同様であるため、その説明を省略する。
色付け部２０５は、色画像Ｒ、及び三次元モデルＭの情報を用いて、三次元形状モデルに色付けを行い、色付き三次元モデルＤを生成する。なお、色付け部２０５の機能は上述した色付け部３０３と同様であるため、その説明を省略する。
図９は、第２の実施形態による三次元形状モデル生成システム１Ａが行う処理の流れを説明するシーケンス図である。図９のシーケンス図におけるステップＳ２０～Ｓ２３、及びＳ２５は、上述した図３のシーケンス図におけるステップＳ１０～Ｓ１３、及びＳ１５と同様であるため、その説明を省略する。つまり、ステップＳ２４、Ｓ２６、及びＳ２７についてのみ説明する。
ステップＳ２４：
クライアント装置２０は、データセット生成部２０４Ａにより、グレースケール画像Ｋが含まれるデータセットを生成する。データセット生成部２０４は、生成したデータセットを、サーバ装置３０に送信する。
ステップＳ２６：
サーバ装置３０は、三次元モデル生成部３０２により、データセットに含まれるグレースケール画像Ｋを用いて三次元モデルＭを生成し、生成した（色付きでない）三次元モデルＭの情報をクライアント装置２０に送信する。
ステップＳ２７：
クライアント装置２０は、通信部２０１Ａにより（色付きでない）三次元モデルＭの情報を受信し、色付け部３０３により、データセットに含まれるデータ容量を削減した色画像Ｒを用いて、三次元モデルＭに色付けを行い、色付き三次元モデルＤを生成する。
クライアント装置２０は、データセット生成部２０４Ａにより、グレースケール画像Ｋが含まれるデータセットを生成する。データセット生成部２０４は、生成したデータセットを、サーバ装置３０に送信する。
ステップＳ２６：
サーバ装置３０は、三次元モデル生成部３０２により、データセットに含まれるグレースケール画像Ｋを用いて三次元モデルＭを生成し、生成した（色付きでない）三次元モデルＭの情報をクライアント装置２０に送信する。
ステップＳ２７：
クライアント装置２０は、通信部２０１Ａにより（色付きでない）三次元モデルＭの情報を受信し、色付け部３０３により、データセットに含まれるデータ容量を削減した色画像Ｒを用いて、三次元モデルＭに色付けを行い、色付き三次元モデルＤを生成する。
以上説明したように、第２の実施形態における三次元形状モデル生成システム１Ａは、クライアント装置２０Ａとサーバ装置３０Ａとを備える。クライアント装置２０Ａは、画像情報取得部２０２と、容量削減部２０３と、色付け部２０５を有し、サーバ装置３０Ａにグレースケール画像の情報を送信し、サーバ装置３０Ａから対象物の三次元モデルＭの情報を受信し、色付け部２０５はデータ容量が削減された色画像Ｒの情報を用いてサーバ装置３０Ａから受信した対象物の三次元モデルＭに色付けを行う。
これにより、第２の実施形態における三次元形状モデル生成システム１Ａは、クライアント装置２０Ａとサーバ装置３０Ａとの間で、通信ネットワーク４０などを介したデータの送受信が発生する場合であっても、色画像Ｒの情報を、通信ネットワーク４０を介して送受信する必要がないために、通信ネットワーク４０を流れるデータ容量を削減することが可能となり、更に、データ容量が削減された色画像Ｒの情報を用いて色付けを行うことで、データ容量が削減されない色画像Ｒの情報を用いる場合と比較して、色付き三次元モデルＤの生成に伴う処理負担を軽減させることができる。
これにより、第２の実施形態における三次元形状モデル生成システム１Ａは、クライアント装置２０Ａとサーバ装置３０Ａとの間で、通信ネットワーク４０などを介したデータの送受信が発生する場合であっても、色画像Ｒの情報を、通信ネットワーク４０を介して送受信する必要がないために、通信ネットワーク４０を流れるデータ容量を削減することが可能となり、更に、データ容量が削減された色画像Ｒの情報を用いて色付けを行うことで、データ容量が削減されない色画像Ｒの情報を用いる場合と比較して、色付き三次元モデルＤの生成に伴う処理負担を軽減させることができる。
上述した実施形態における三次元形状モデル生成システム１、１Ａの全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
１、１Ａ…三次元形状モデル生成システム
１０…撮像装置
２０、２０Ａ…クライアント装置
２０１、２０１Ａ…通信部
２０２…画像情報取得部
２０３…容量削減部
２０４、２０４Ａ…データセット生成部
２０５…色付け部
３０、３０Ａ…サーバ装置
３０１、３０１Ａ…通信部
３０２…三次元モデル生成部
３０３…色付け部
４０…通信ネットワーク
１０…撮像装置
２０、２０Ａ…クライアント装置
２０１、２０１Ａ…通信部
２０２…画像情報取得部
２０３…容量削減部
２０４、２０４Ａ…データセット生成部
２０５…色付け部
３０、３０Ａ…サーバ装置
３０１、３０１Ａ…通信部
３０２…三次元モデル生成部
３０３…色付け部
４０…通信ネットワーク
Claims (16)
- 対象物を異なる視点から撮像した二枚以上のカラー画像である多視点画像から、前記多視点画像における色を示す色情報を除外したグレースケール画像の情報、及び前記多視点画像における前記色情報を含む色画像の情報を取得する画像情報取得部と、
前記画像情報取得部により取得された前記色画像における画像サイズを縮小することによって前記色画像のデータ容量を削減する容量削減部と、
前記グレースケール画像の情報及びカメラパラメータを用いてデプスマップを生成し、生成した前記デプスマップを統合することにより生成した三次元点群を用いてメッシュモデルを生成することによって前記対象物の三次元モデルを生成する三次元モデル生成部と、
前記容量削減部によりデータ容量が削減された前記色画像の情報を用いて前記三次元モデル生成部により生成された三次元モデルを色付けする色付け部と、
を備えることを特徴とする三次元形状モデル生成システム。 - 対象物を異なる視点から撮像した二枚以上のカラー画像である多視点画像から、前記多視点画像における色を示す色情報を除外したグレースケール画像の情報、及び前記多視点画像における前記色情報を含む色画像の情報を取得する画像情報取得部と、
前記画像情報取得部により取得された前記色画像における画像中央から所定の範囲内にある領域とは異なる領域を削除することによって前記色画像のデータ容量を削減する容量削減部と、
前記グレースケール画像の情報及びカメラパラメータを用いてデプスマップを生成し、生成した前記デプスマップを統合することにより生成した三次元点群を用いてメッシュモデルを生成することによって前記対象物の三次元モデルを生成する三次元モデル生成部と、
前記容量削減部によりデータ容量が削減された前記色画像の情報を用いて前記三次元モデル生成部により生成された三次元モデルを色付けする色付け部と、
を備えることを特徴とする三次元形状モデル生成システム。 - 対象物を異なる視点から撮像した二枚以上のカラー画像である多視点画像から、前記多視点画像における色を示す色情報を除外したグレースケール画像の情報、及び前記多視点画像における前記色情報を含む色画像の情報を取得する画像情報取得部と、
前記画像情報取得部により取得された前記色画像における前記対象物が撮像された領域とは異なる領域を削除することによって前記色画像のデータ容量を削減する容量削減部と、
前記グレースケール画像の情報及びカメラパラメータを用いてデプスマップを生成し、生成した前記デプスマップを統合することにより生成した三次元点群を用いてメッシュモデルを生成することによって前記対象物の三次元モデルを生成する三次元モデル生成部と、
前記容量削減部によりデータ容量が削減された前記色画像の情報を用いて前記三次元モデル生成部により生成された三次元モデルを色付けする色付け部と、
を備えることを特徴とする三次元形状モデル生成システム。 - 対象物を異なる視点から撮像した二枚以上のカラー画像である多視点画像から、前記多視点画像における色を示す色情報を除外したグレースケール画像の情報、及び前記多視点画像における前記色情報を含む色画像の情報を取得する画像情報取得部と、
前記画像情報取得部により取得された前記色画像におけるブレ又はボケが発生した領域を削除することによって前記色画像のデータ容量を削減する容量削減部と、
前記グレースケール画像の情報及びカメラパラメータを用いてデプスマップを生成し、生成した前記デプスマップを統合することにより生成した三次元点群を用いてメッシュモデルを生成することによって前記対象物の三次元モデルを生成する三次元モデル生成部と、
前記容量削減部によりデータ容量が削減された前記色画像の情報を用いて前記三次元モデル生成部により生成された三次元モデルを色付けする色付け部と、
を備えることを特徴とする三次元形状モデル生成システム。 - 前記容量削減部は、さらに、前記グレースケール画像のデータ容量における、削減前の量に対する削減量の比率である削減比率が前記色画像における前記削減比率より小さくなるように、前記グレースケール画像における画像サイズを縮小することによって前記グレースケール画像のデータ容量を削減し、
前記三次元モデル生成部は、前記容量削減部によりデータ容量が削減された前記グレースケール画像の情報を用いて、前記対象物の三次元モデルを生成する、
ことを特徴とする請求項１に記載の三次元形状モデル生成システム。 - 前記多視点画像はＲＧＢ画像であり、
前記画像情報取得部は、前記多視点画像における輝度をグレースケールにより示す画像を前記グレースケール画像として取得し、前記多視点画像における色をＲＧＢ値により示す画像を前記色画像として取得する、
ことを特徴とする請求項１から請求項５の何れか一項に記載の三次元形状モデル生成システム。 - 前記多視点画像はＬａｂ画像であり、
前記画像情報取得部は、前記多視点画像における明度をＬａｂ画像のＬチャネルにより示す画像を前記グレースケール画像として取得し、前記多視点画像における色をＬａｂ画像のａｂチャネルにより示す画像を前記色画像として取得する、
ことを特徴とする請求項１から請求項５の何れか一項に記載の三次元形状モデル生成システム。 - 前記画像情報取得部と、前記容量削減部とを有し、サーバ装置に前記グレースケール画像の情報及びデータ容量が削減された前記色画像の情報を送信するクライアント装置と、
前記三次元モデル生成部と、前記色付け部とを有し、前記三次元モデル生成部は前記クライアント装置から受信した前記グレースケール画像の情報を用いて前記対象物の三次元モデルを生成するサーバ装置と、
を備えることを特徴とする請求項１から請求項７の何れか一項に記載の三次元形状モデル生成システム。 - 画像情報取得部が、対象物を異なる視点から撮像した二枚以上のカラー画像である多視点画像を示す情報から、前記多視点画像における色を示す色情報を除外したグレースケール画像の情報、及び前記多視点画像における前記色情報を含む色画像の情報を取得する画像情報取得過程と、
容量削減部が、前記色画像における画像サイズを縮小することによって前記色画像のデータ容量を削減する容量削減過程と、
三次元モデル生成部が、前記グレースケール画像の情報及びカメラパラメータを用いてデプスマップを生成し、生成した前記デプスマップを統合することにより生成した三次元点群を用いてメッシュモデルを生成することによって前記対象物の三次元モデルを生成する三次元モデル生成過程と、
色付け部が、前記容量削減部によりデータ容量が削減された前記色画像の情報を用いて前記三次元モデル生成部により生成された三次元モデルを色付けする色付け過程と、
を含むことを特徴とする三次元形状モデル生成方法。 - コンピュータを、
対象物を異なる視点から撮像した二枚以上のカラー画像である多視点画像を示す情報から、前記多視点画像における色を示す色情報を除外したグレースケール画像の情報、及び前記多視点画像における前記色情報を含む色画像の情報を取得する画像情報取得手段、
前記色画像における画像サイズを縮小することによって前記色画像のデータ容量を削減する容量削減手段、
前記グレースケール画像の情報及びカメラパラメータを用いてデプスマップを生成し、生成した前記デプスマップを統合することにより生成した三次元点群を用いてメッシュモデルを生成することによって前記対象物の三次元モデルを生成する三次元モデル生成手段、
前記容量削減手段によりデータ容量が削減された前記色画像の情報を用いて前記三次元モデル生成手段により生成された三次元モデルを色付けする色付け手段、
として動作させるためのプログラム。 - 画像情報取得部が、対象物を異なる視点から撮像した二枚以上のカラー画像である多視点画像を示す情報から、前記多視点画像における色を示す色情報を除外したグレースケール画像の情報、及び前記多視点画像における前記色情報を含む色画像の情報を取得する画像情報取得過程と、
容量削減部が、前記色画像における画像中央から所定の範囲内にある領域とは異なる領域を削除することによって前記色画像のデータ容量を削減する容量削減過程と、
三次元モデル生成部が、前記グレースケール画像の情報及びカメラパラメータを用いてデプスマップを生成し、生成した前記デプスマップを統合することにより生成した三次元点群を用いてメッシュモデルを生成することによって前記対象物の三次元モデルを生成する三次元モデル生成過程と、
色付け部が、前記容量削減部によりデータ容量が削減された前記色画像の情報を用いて前記三次元モデル生成部により生成された三次元モデルを色付けする色付け過程と、
を含むことを特徴とする三次元形状モデル生成方法。 - コンピュータを、
対象物を異なる視点から撮像した二枚以上のカラー画像である多視点画像を示す情報から、前記多視点画像における色を示す色情報を除外したグレースケール画像の情報、及び前記多視点画像における前記色情報を含む色画像の情報を取得する画像情報取得手段、
前記色画像における画像中央から所定の範囲内にある領域とは異なる領域を削除することによって前記色画像のデータ容量を削減する容量削減手段、
前記グレースケール画像の情報及びカメラパラメータを用いてデプスマップを生成し、生成した前記デプスマップを統合することにより生成した三次元点群を用いてメッシュモデルを生成することによって前記対象物の三次元モデルを生成する三次元モデル生成手段、
前記容量削減手段によりデータ容量が削減された前記色画像の情報を用いて前記三次元モデル生成手段により生成された三次元モデルを色付けする色付け手段、
として動作させるためのプログラム。 - 画像情報取得部が、対象物を異なる視点から撮像した二枚以上のカラー画像である多視点画像を示す情報から、前記多視点画像における色を示す色情報を除外したグレースケール画像の情報、及び前記多視点画像における前記色情報を含む色画像の情報を取得する画像情報取得過程と、
容量削減部が、前記色画像における前記対象物が撮像された領域とは異なる領域を削除することによって前記色画像のデータ容量を削減する容量削減過程と、
三次元モデル生成部が、前記グレースケール画像の情報及びカメラパラメータを用いてデプスマップを生成し、生成した前記デプスマップを統合することにより生成した三次元点群を用いてメッシュモデルを生成することによって前記対象物の三次元モデルを生成する三次元モデル生成過程と、
色付け部が、前記容量削減部によりデータ容量が削減された前記色画像の情報を用いて前記三次元モデル生成部により生成された三次元モデルを色付けする色付け過程と、
を含むことを特徴とする三次元形状モデル生成方法。 - コンピュータを、
対象物を異なる視点から撮像した二枚以上のカラー画像である多視点画像を示す情報から、前記多視点画像における色を示す色情報を除外したグレースケール画像の情報、及び前記多視点画像における前記色情報を含む色画像の情報を取得する画像情報取得手段、
前記色画像における前記対象物が撮像された領域とは異なる領域を削除することによって前記色画像のデータ容量を削減する容量削減手段、
前記グレースケール画像の情報及びカメラパラメータを用いてデプスマップを生成し、生成した前記デプスマップを統合することにより生成した三次元点群を用いてメッシュモデルを生成することによって前記対象物の三次元モデルを生成する三次元モデル生成手段、
前記容量削減手段によりデータ容量が削減された前記色画像の情報を用いて前記三次元モデル生成手段により生成された三次元モデルを色付けする色付け手段、
として動作させるためのプログラム。 - 画像情報取得部が、対象物を異なる視点から撮像した二枚以上のカラー画像である多視点画像を示す情報から、前記多視点画像における色を示す色情報を除外したグレースケール画像の情報、及び前記多視点画像における前記色情報を含む色画像の情報を取得する画像情報取得過程と、
容量削減部が、前記色画像におけるブレ又はボケが発生した領域を削除することによって前記色画像のデータ容量を削減する容量削減過程と、
三次元モデル生成部が、前記グレースケール画像の情報及びカメラパラメータを用いてデプスマップを生成し、生成した前記デプスマップを統合することにより生成した三次元点群を用いてメッシュモデルを生成することによって前記対象物の三次元モデルを生成する三次元モデル生成過程と、
色付け部が、前記容量削減部によりデータ容量が削減された前記色画像の情報を用いて前記三次元モデル生成部により生成された三次元モデルを色付けする色付け過程と、
を含むことを特徴とする三次元形状モデル生成方法。 - コンピュータを、
対象物を異なる視点から撮像した二枚以上のカラー画像である多視点画像を示す情報から、前記多視点画像における色を示す色情報を除外したグレースケール画像の情報、及び前記多視点画像における前記色情報を含む色画像の情報を取得する画像情報取得手段、
前記色画像におけるブレ又はボケが発生した領域を削除することによって前記色画像のデータ容量を削減する容量削減手段、
前記グレースケール画像の情報及びカメラパラメータを用いてデプスマップを生成し、生成した前記デプスマップを統合することにより生成した三次元点群を用いてメッシュモデルを生成することによって前記対象物の三次元モデルを生成する三次元モデル生成手段、
前記容量削減手段によりデータ容量が削減された前記色画像の情報を用いて前記三次元モデル生成手段により生成された三次元モデルを色付けする色付け手段、
として動作させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018240274A JP7369333B2 (ja) | 2018-12-21 | 2018-12-21 | 三次元形状モデル生成システム、三次元形状モデル生成方法、及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018240274A JP7369333B2 (ja) | 2018-12-21 | 2018-12-21 | 三次元形状モデル生成システム、三次元形状モデル生成方法、及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020102044A JP2020102044A (ja) | 2020-07-02 |
| JP7369333B2 true JP7369333B2 (ja) | 2023-10-26 |
Family
ID=71139612
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018240274A Active JP7369333B2 (ja) | 2018-12-21 | 2018-12-21 | 三次元形状モデル生成システム、三次元形状モデル生成方法、及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7369333B2 (ja) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012142791A (ja) | 2010-12-28 | 2012-07-26 | Casio Comput Co Ltd | 三次元モデル作成システム、サーバ、及び、プログラム |
| JP2015197745A (ja) | 2014-03-31 | 2015-11-09 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
| JP2017509972A5 (ja) | 2015-02-20 | 2018-05-17 | ||
| JP2018116537A (ja) | 2017-01-19 | 2018-07-26 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008033522A (ja) * | 2006-07-27 | 2008-02-14 | Namco Bandai Games Inc | プログラム、情報記憶媒体、及び画像生成システム |
| US9905039B2 (en) | 2014-02-21 | 2018-02-27 | Qualcomm Incorporated | View independent color equalized 3D scene texturing |
-
2018
- 2018-12-21 JP JP2018240274A patent/JP7369333B2/ja active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012142791A (ja) | 2010-12-28 | 2012-07-26 | Casio Comput Co Ltd | 三次元モデル作成システム、サーバ、及び、プログラム |
| JP2015197745A (ja) | 2014-03-31 | 2015-11-09 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
| JP2017509972A5 (ja) | 2015-02-20 | 2018-05-17 | ||
| JP2018116537A (ja) | 2017-01-19 | 2018-07-26 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
Non-Patent Citations (1)
| Title |
|---|
| 猪股 亮，柔軟な誤対応除去と距離濃淡画像を用いた高精度な２Ｄ／３Ｄレジストレーション手法，情報処理学会 シンポジウム 画像の認識・理解シンポジウム（ＭＩＲＵ） ２０１１ ［ｏｎｌｉｎｅ］ ，日本，情報処理学会，2011年07月20日，pp.1508-1515 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020102044A (ja) | 2020-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Claus et al. | Videnn: Deep blind video denoising | |
| US10540806B2 (en) | Systems and methods for depth-assisted perspective distortion correction | |
| JP5615088B2 (ja) | 画像処理装置及びその方法、プログラム、並びに撮像装置 | |
| WO2018082185A1 (zh) | 图像处理方法和装置 | |
| JP2020129276A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| JP2020532916A (ja) | 画像処理方法、端末及び記憶媒体 | |
| JP2004214756A (ja) | 画像ノイズの低減 | |
| CN112602088B (zh) | 提高弱光图像的质量的方法、系统和计算机可读介质 | |
| IES20050822A2 (en) | Foreground/background segmentation in digital images with differential exposure calculations | |
| US8953900B2 (en) | Increased quality of image objects based on depth in scene | |
| JP2016505186A (ja) | エッジ保存・ノイズ抑制機能を有するイメージプロセッサ | |
| EP3762899B1 (en) | Object segmentation in a sequence of color image frames based on adaptive foreground mask upsampling | |
| CN111563908B (zh) | 一种图像处理方法及相关装置 | |
| JP2020166628A (ja) | 画像処理方法、画像処理装置、プログラム、画像処理システム、および、学習済みモデルの製造方法 | |
| CN111131688B (zh) | 一种图像处理方法、装置及移动终端 | |
| CN112669232B (zh) | 一种深度图像增强处理方法及装置 | |
| CN111127303A (zh) | 背景虚化方法、装置、终端设备及计算机可读存储介质 | |
| CN105516578B (zh) | 图像处理方法、装置及电子设备 | |
| CN108234826B (zh) | 图像处理方法及装置 | |
| CN111031241B (zh) | 图像处理方法及其装置、终端和计算机可读存储介质 | |
| JP7374582B2 (ja) | 画像処理装置、画像生成方法およびプログラム | |
| EP3407252A1 (en) | Image processing apparatus, image processing method, and storage medium | |
| CN113284077B (zh) | 图像处理方法、装置、通信设备及可读存储介质 | |
| JP7369333B2 (ja) | 三次元形状モデル生成システム、三次元形状モデル生成方法、及びプログラム | |
| CN111630569B (zh) | 双目匹配的方法、视觉成像装置及具有存储功能的装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211124 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221124 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230110 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230308 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230711 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230830 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230912 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230925 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7369333 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |