JP7058434B1 - 生成方法、情報処理装置、プログラム、及び情報処理システム - Google Patents
生成方法、情報処理装置、プログラム、及び情報処理システム Download PDFInfo
- Publication number
- JP7058434B1 JP7058434B1 JP2021112509A JP2021112509A JP7058434B1 JP 7058434 B1 JP7058434 B1 JP 7058434B1 JP 2021112509 A JP2021112509 A JP 2021112509A JP 2021112509 A JP2021112509 A JP 2021112509A JP 7058434 B1 JP7058434 B1 JP 7058434B1
- Authority
- JP
- Japan
- Prior art keywords
- data
- score
- noise
- information processing
- sensor data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Manipulator (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Image Analysis (AREA)
Abstract
【課題】 最適化されたレンダリング画像（合成データ）の生成を支援する。【解決手段】一実施形態にかかる生成方法は、情報処理装置が実行する生成方法であって、レンダリングパラメータを調整する処理と、調整した前記レンダリングパラメータに基づき合成データを生成する処理と、を含む。【選択図】図４
Description
本発明は、生成方法、情報処理装置、プログラム、及び情報処理システムに関する。
ＣＡＤ（Computer Aided Design）等で用いられている三次元コンピュータグラフィックス（CG）分野において、三次元（3D；Three-Dimensional）モデルから二次元（2D；Two-Dimensional）画像を生成するためにレンダリング技術が用いられている。このレンダリング技術を用いて生成された画像をレンダリングされた画像、すなわち、レンダリング画像という。
上記先行技術文献は、人間の視覚の順応状態に基づいてレンダリング画像を作成する手法を開示しているが、外的要因をも考慮した最適化されたレンダリング画像の生成には対応できない。また、このレンダリング画像は、実画像に近いこと、すなわち、リアリスティックな画像であることが望ましい。
本発明は、上記の課題を鑑みてなされたものであり、最適化されたレンダリング画像を生成することを目的とする。この最適化されたレンダリング画像を、合成データという。
一実施形態にかかる生成方法は、情報処理装置が実行する生成方法であって、レンダリングパラメータを調整する処理と、調整した前記レンダリングパラメータに基づき合成データを生成する処理と、リアリズムスコアの値が最適になるように前記レンダリングパラメータを調整する処理と、を含み、前記リアリズムスコアは、センサデータスコア、及びノイズスコアに基づき算出され、前記センサデータスコアは、リファレンスセンサデータが利用可能な場合、前記合成データの前記リファレンスセンサデータに対する類似度を示す値であり、前記リファレンスセンサデータが利用可能ではない場合、統計値を用いて算出され、前記ノイズスコアは、リファレンスノイズ特徴量データが利用可能な場合、前記合成データのノイズプロファイルと、前記リファレンスノイズ特徴量データとの類似度を示す値であり、前記リファレンスノイズ特徴量データが利用可能ではない場合、ノイズに関する統計値を用いて算出される。
一実施形態によれば、最適化されたレンダリング画像（合成データ）の生成を支援することができる。
以下、本発明の各実施形態について、添付の図面を参照しながら説明する。なお、各実施形態に係る明細書及び図面の記載に関して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
＜システム概要＞
まず、本実施形態に係る情報処理システム１の概要について説明する。本実施形態に係る情報処理システム１は、プロセスに対して提供する合成データを作成するためのシステムである。また、上述した通り、この合成データは、最適化されたレンダリング画像である。
まず、本実施形態に係る情報処理システム１の概要について説明する。本実施形態に係る情報処理システム１は、プロセスに対して提供する合成データを作成するためのシステムである。また、上述した通り、この合成データは、最適化されたレンダリング画像である。
本実施形態に係る情報処理システム１は、例えば、ロボットシステム、工場、学校等の教育関連施設、テーマパーク、運動場、体育館、店舗、公園、自宅、介護施設、病院などの任意の施設、登山や洞窟探検などの野外の環境で利用できる。
本実施形態に係る情報処理システム１の構成について図１を用いて説明する。図１は、本実施形態に係る情報処理システム１の構成の一例を示す図である。図１に示すように、本実施形態に係る情報処理システム１は、ネットワークＮを介して相互に通信可能に接続された、サーバ装置１０と、情報処理装置３０、プロセスと、を備える。ネットワークＮは、例えば、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、インターネット、公衆回線網、モバイルデータ通信網、又はこれらの組み合わせである。
サーバ装置１０は、後述する情報処理装置３０によって利用される評価データ等を管理（格納）している情報処理装置（コンピュータ）の一例である。評価データとは、後述する情報処理装置３０が評価に用いる情報であり、例えば、センサデータ、ノイズ特徴量データ、統計データ等を含む。なお、本実施形態では、評価データ等を格納するサーバ装置１０を設け、情報処理装置３０の後述する記憶部３２に同様のデータまたはその一部を格納するものとした。また、サーバ装置１０に替えてデータベースを設ける構成としてもよい。データベースを備える場合、他のサーバ装置が収集した評価データ等を当該データベースに格納したり、情報処理装置３０が収集した評価データ等を当該データベースに格納してもい。また、サーバ装置１０を設けずに、情報処理装置３０の後述する記憶部３２にこれらの情報を格納してもよい。また、図１の例では、情報処理システム１がサーバ装置１０を１つ備えるものとしたが、複数備えてもよい。
情報処理装置３０は、サーバ装置１０によって管理されている評価データ等を参照して（用いて）合成データを生成し、生成した合成データをプロセスに提供する装置（コンピュータ）である。なお、この情報処理装置３０は、ＰＣ（Personal Computer）、スマートフォン、タブレット端末、サーバ、又はこれらの組み合わせである。また、図１の例では、情報処理システム１が情報処理装置３０を１つ備えるものとしたが、複数備えてもよい。情報処理装置３０について、詳しくは後述する。
プロセスは、合成データを用いて、ロボット等のシミュレーションを実施する。このアプリケーションは、例えば、シミュレータ、ＡＩ（Artificial Intelligence）トレーニングアプリケーション、エージェント等である。具体的に、プロセスは、情報処理装置３０によって生成された合成データを参照し、例えば、ロボット操作等のシミュレーションを実施する。プロセスは、他の情報処理装置に備えられるものであってもよいし、情報処理装置３０に備えられるものであってもよい。
＜ハードウェア構成＞
図２は、情報処理装置３０のハードウェア構成の一例を示す図である。図２に示すように、情報処理装置３０は、バスＢを介して相互に接続された、プロセッサ３０１と、メモリ３０２と、ストレージ３０３と、通信Ｉ／Ｆ３０４と、入出力Ｉ／Ｆ３０５と、ドライブ装置３０６と、を備える。
図２は、情報処理装置３０のハードウェア構成の一例を示す図である。図２に示すように、情報処理装置３０は、バスＢを介して相互に接続された、プロセッサ３０１と、メモリ３０２と、ストレージ３０３と、通信Ｉ／Ｆ３０４と、入出力Ｉ／Ｆ３０５と、ドライブ装置３０６と、を備える。
プロセッサ３０１は、ストレージ３０３に記憶されたプログラムをメモリ３０２に展開して実行することにより、情報処理装置３０の各構成を制御し、情報処理装置３０の機能を実現する。プロセッサ３０１が実行するプログラムは、ＯＳ（Operating System）、及び生成プログラムを含むが、これに限られない。プロセッサ３０１が生成プログラムを実行することにより、本実施形態に係る遠隔生成方法が実現される。プロセッサ３０１は、例えば、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＡＳＩＣ、ＤＳＰ、又はこれらの組み合わせである。
メモリ３０２は、例えば、ＲＯＭ、ＲＡＭ、又はこれらの組み合わせである。ＲＯＭは、例えば、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、又はこれらの組み合わせである。ＲＡＭは、例えば、ＤＲＡＭ、ＳＲＡＭ、ＭＲＡＭ、又はこれらの組み合わせである。
ストレージ３０３は、ＯＳ、生成プログラム、及び各種のデータを記憶する。ストレージ３０３は、例えば、フラッシュメモリ、ＨＤＤ、ＳＳＤ、ＳＣＭ、又はこれらの組み合わせである。
通信Ｉ／Ｆ３０４は、情報処理装置３０を、ネットワークＮを介して、サーバ装置を含む外部装置に接続し、通信を制御するためのインタフェースである。例えば、通信Ｉ／Ｆ３０４としては、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）、ＺｉｇＢｅｅ（登録商標）、Ｅｔｈｅｒｎｅｔ（登録商標）、光通信（例えば、Fibre Channel）等に準拠したアダプタが挙げられる。
入出力Ｉ／Ｆ３０５は、情報処理装置３０に入力装置３０７及び出力装置３０８を接続するためのインタフェースである。入力装置３０７は、例えば、マウス、キーボード、タッチパネル、マイク、スキャナ、カメラ、各種センサ、操作ボタン、又はこれらの組み合わせである。出力装置３０８は、例えば、ディスプレイ、プロジェクタ、プリンタ、スピーカ、バイブレータ、又はこれらの組み合わせである。
ドライブ装置３０６は、ディスクメディア３０９のデータを読み書きする。ドライブ装置３０６は、例えば、磁気ディスクドライブ、光学ディスクドライブ、光磁気ディスクドライブ、又はこれらの組み合わせである。ディスクメディア３０９は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＦＤ（Floppy Disk）、ＭＯ（Magneto-Optical disk）、ＢＤ（Blu-ray Disc）、又はこれらの組み合わせである。なお、Blu-rayは登録商標です。
なお、本実施形態において、生成プログラムは、情報処理装置３０の製造段階でメモリ３０２又はストレージ３０３に書き込まれてもよいし、ネットワークＮを介して情報処理装置３０に提供されてもよいし、ディスクメディア３０９などの非一時的でコンピュータ読み取り可能な記録媒体を介して情報処理装置３０に提供されてもよい。
＜機能構成＞
情報処理装置３０の機能構成について図説明する。図３は、情報処理装置３０の機能構成の一例を示す図である。図３に示すように、情報処理装置３０は、通信部３１と、記憶部３２と、制御部３３と、を備える。
情報処理装置３０の機能構成について図説明する。図３は、情報処理装置３０の機能構成の一例を示す図である。図３に示すように、情報処理装置３０は、通信部３１と、記憶部３２と、制御部３３と、を備える。
通信部３１は、通信Ｉ／Ｆ３０４により実現される。通信部３１は、ネットワークＮを介して、サーバ装置１０やプロセスとの間で情報の送受信を行う。具体的に、通信部３１は、プロセスに対して生成した合成データを送信する。なお、この通信部３１は、例えば、プロセスからリクエストを受信したことをトリガーとして、当該リクエストに対する合成データを生成してもよい。
記憶部３２は、メモリ３０２及びストレージ３０３により実現される。記憶部３２は、評価データ３２２、レンダリングパラメータ３２３、設備機器記述データ３２４、及び学習モデル３２５を含む各種の情報を記憶する。ここで、評価データ３２２、レンダリングパラメータ３２３、及び設備機器記述データ３２４について説明する。
評価データ３２２は、制御部３３の後述する評価部３３４によって評価に用いられる情報である。本実施形態において、評価データ３２２は、例えば、センサデータ、ノイズ特徴量データ、統計データ、及びセンサデータシート等を含む。センサデータとは、実画像データであり、例えば、ロボットがピックアンドプレースの操作を実行する場合に、この操作の対象となるオブジェクトが撮影された画像であり、例えば、イメージノイズ、フォーカス、露出、及び値域等を含む。なお、撮影装置については図示を省略する。また、撮影された画像が静止画像である場合、ＰＮＧ（Portable Network Graphics）、ＧＩＦ（Graphics Interchange Format）、ＢＭＰ(Bitmap)、又はＪＰＥＧ（Joint Photographic Experts Group）等のファイル形式が採用され得る。ノイズ特徴量データとは、例えば、ＲＧＢ（Red Green Blue）カラーノイズ、深さノイズ、及び、深さ制限等を含む。統計データとは、例えば、ずれ量、鮮明度、影の柔らかさ、色分散、及び粗さ等を含む。センサデータシートは、物理的、又は電気的センサの特徴を含み、一例として、一般的なノイズ特徴量を含む。
また、後述するが、本システムは、記憶部３２の評価データ３２２のセンサデータの格納領域に利用可能なセンサデータ（リファレンスセンサデータ）があるか否かを示す、“データ評価モード”というフラグを備える。この“データ評価モード”には、リファレンスセンサデータがある場合に、“リファレンスセンサデータあり”が設定される。一方、リファレンスセンサデータがない場合には、“データ評価モード”には“リファレンスセンサデータなし”が設定される。
また、後述するが、本システムは、記憶部３２の評価データ３２２のノイズ特徴量データの格納領域に利用可能なノイズ特徴量データ（リファレンスノイズ特徴量データ）があるか否かを示す“ノイズ評価モード”というフラグを備える。この“ノイズ評価モード”には、リファレンスノイズ特徴量データがある場合に、“リファレンスノイズ特徴量データあり”が設定される。一方、リファレンスノイズ特徴量データがない場合には、“ノイズ評価モード”には“リファレンスノイズ特徴量データなし”が設定される。
レンダリングパラメータ３２３は、制御部３３の後述するレンダリングエンジン３３６によってレンダリングに用いられるパラメータであり、これらのパラメータの値は、制御部３３の後述するＡＩチューニングエージェント３３３によって出力（設定）される。本実施形態において、レンダリングパラメータ３２３は、センサノイズパラメータ、シーンパラメータ、及びターゲットオブジェクトパラメータ等を含む。センサノイズパラメータとは、例えば、イメージノイズ、フォーカス、露出、及び値域等を含む。シーンパラメータとは、例えば、ライトの配置、ライトの強度、解像度、レンダリングモード、ターゲットオブジェクトのサイズ、及び、ターゲットオブジェクトの位置等を含む。ターゲットオブジェクトパラメータとは、例えば、カラー、粗さ、清浄度、反射、及び分解能等を含む。
設備機器記述データ３２４は、プロセス、当該プロセスが実行される装置、及び当該プロセスによって必要とされ得る電子機器等に関する情報である。なお、このプロセスは、例えば、三次元モデルやワークスペースのレイアウト等を含む。
学習モデル３２５は、情報処理装置３０の後述する評価部３３４によって出力されるリアリズムスコアと、情報処理装置３０の後述するロボットシミュレーション部３３５によって用いられる、レンダリングパラメータ３２３（センサノイズパラメータ、シーンパラメータ、及びターゲットオブジェクトパラメータ）との関係を学習している。ここで、リアリズムスコアとは、生成データの実画像らしさを示すスコアであり、言い換えると、生成データが現実世界の実画像にどの程度近い（類似している）かを示すスコアである。本実施形態において、このリアリズムスコアは０から１の間の数値で表され、リアリズムスコアが１に近いほど実画像に近いと判断するものとしたが、これに限られず、例えば、数値をリスト化したものであってもよい。なお、このリアリズムスコアの算出手法については後述する。
また、学習モデル３２５は、このリアリズムスコアに対して、シミュレーション用パラメータ値、すなわち、レンダリングパラメータ３２３（センサノイズパラメータ、シーンパラメータ、及びターゲットオブジェクトパラメータ）を出力するように予め機械学習された学習済みの学習モデルである。この学習モデルを単にモデルともいう。モデルの学習処理及び再学習処理は、例えば、情報処理装置３０の後述する学習部３３２により行われるが、これに限られない。モデルの学習処理及び再学習処理は、情報処理装置３０以外の他の装置で行われ、情報処理装置３０に提供されてもよい。なお、記憶部３２の学習モデルには、学習済みモデルに付随する重み等の情報も併せて格納される。
また、このモデルは、例えば、ＤＮＮ（Deep Neural Network）、ＲＮＮ（Recurrent Neural Network）、ＣＮＮ（Convolutional Neural Network）、ＬＳＴＭ（Long Short-Term Memory）等のニューラルネットワークであるが、これに限られない。モデルは、決定木、ＳＶＭ（Support Vector Machine）等の学習モデルであってもよい。また、モデルの学習方法は、例えば、勾配降下法、確率的勾配降下法、又は誤差逆伝播法であるが、これに限られない。
次に、情報処理装置３０の制御部３３は、プロセッサ３０１がプログラムを実行し、他のハードウェア構成と協働することにより実現される。制御部３３は、情報処理装置３０の動作全体を制御する。制御部３３は、情報送受信部３３１と、学習部３３２と、評価部３３４と、ロボットシミュレーション部と、を備える。
情報送受信部３３１は、サーバ装置１０やプロセスとの間で情報を送受信する。具体的に、情報送受信部３３１は、プロセスから受信したクエリ等の情報を通信部３１を介して受信し、サーバ装置１０から処理に必要なデータを受信し、処理結果（例えば、生成した合成データ）をプロセスに送信する。情報送受信部３３１は、処理結果等の情報を記憶部３２に保存してもよい。
学習部３３２は、記憶部３２の学習モデル３２５に対して教師データ（リファレンスデータ）を入力することにより、当該学習モデルを学習させる（訓練する）。この学習部３３２は、ＡＩチューニングエージェント３３３を含む。
ＡＩチューニングエージェント３３３は、記憶部３２の学習モデル３２５に対して、情報処理装置３０の後述する評価部３３４によって出力されるリアリズムスコアを入力し、シミュレーション用パラメータ値を出力する。このシミュレーション用パラメータ値とは、情報処理装置３０の後述するロボットシミュレーション部３３５によって用いられる、レンダリングパラメータ３２３であり、センサノイズパラメータ、シーンパラメータ、及びターゲットオブジェクトパラメータに設定されるデータである。ＡＩチューニングエージェント３３３は、上述した学習済みの学習モデル３２５を用いることから、リアリズムスコアの高い（現実世界の実画像に近い）合成データを生成し得るレンダリングパラメータ３２３を求めることができる。
また、ＡＩチューニングエージェント３３３は、生成したシミュレーション用パラメータ値を、記憶部３２のレンダリングパラメータ３２３に格納してもよい。その際、リアリズムスコアがリアリズム閾値（後述）を超えた合成データを生成する際に用いた重みについては、最良の重みとして、記憶部３２の学習モデル３２５の格納領域に保存してもよい。また、ＡＩチューニングエージェント３３３は、リアリズムスコアがリアリズム閾値（後述）を超えた合成データを生成する際に用いたシミュレーション用パラメータ値については、最良のシミュレーション用パラメータ値として、記憶部３２のレンダリングパラメータ３２３の格納領域に保存してもよい。
また、ＡＩチューニングエージェント３３３は、学習済みの学習モデルを利用する際、記憶部３２の学習モデル３２５の格納領域に当該学習モデル３２５について利用可能な重みがあるかどうかを判断する。利用可能な重みがある場合には、利用可能な重みを、例えばメモリ３０２にロードし、シミュレーション用パラメータ値の生成に用いる。一方、利用可能な重みがない場合には、ランダムな重みを生成する。
評価部３３４は、リアリズムスコアを算出する。本実施形態における、リアリズムスコアの算出手法について説明する。本実施形態に係るリアリズムスコアは、合成データの特徴（例えば、色、形、コヒーレンス、及び解像度等）がどれだけ実画像に近いかを示すスコアであるセンサデータスコアと、ノイズプロファイル（例えば、ノイズ分散、変形、及びデータクランピング等）がどれだけ類似しているかを示すノイズスコアと、を含む。
まず、センサデータスコアについて、リファレンスセンサデータありと、リファレンスセンサデータなしとの場合に分けて説明する。リファレンスセンサデータありの場合、このセンサデータスコアは、合成データ（の特徴）のリファレンスセンサデータに対する類似度を示す値（スコア）である。このようなリファレンスセンサデータを用いた（リファレンスセンサデータありの）画像の評価手法をＦＲ（Full-Reference）型ともいう。本実施形態に係るセンサデータスコアは、例えば、配色、色忠実性、色分散、カラートーン、フォーカス、構図、良い構図の数、鮮明度、影の柔らかさ、色分散、及び粗さ等の指標に対するスコアを含む。配色とは、ピクセルの色の標準偏差を用いて計算される。色忠実性とは、ＬＡＢ色モデルを用いて計算される。色分散とは、ユークリッド距離を用いて計算される。カラートーンとは、ヒストグラム交差法を用いて計算される。フォーカスとは、画像のラプラシアン（二次微分）の分散を用いて計算される。構図とは、構造類似性を用いて計算される。良い意構図の数とは、ＵＶＷカラーモデルを用いて計算される。鮮明度とは、フーリエ変換（Fourier transform;FT）のマグニチュードを用いて計算される。影の柔らかさとは、ＨＳＶ色空間と、Otsu法による閾値と、を用いて計算される。色分散とは、独自性のある色の割合を用いて計算される。
一方、本実施形態に係るリファレンスセンサデータなしの場合のセンサデータスコアは、一般的なサンプル画像の特性（特性に関する既知の統計値）に対する合成データのスコアとして算出する。このようなリファレンスセンサデータを用いない（リファレンスセンサデータなしの）画像の評価手法をブラインド（Blind）型ともいう。本実施形態に係るリファレンスセンサデータなしの場合の実画像センサデータスコアは、上述したリファレンスセンサデータありの学習に用いる指標のサブセットを指標とした。例えば、このリファレンスセンサデータなしの場合のセンサデータスコアは、良い構図の数、鮮明度、影の柔らかさ、色分散、及び粗さ等の指標に対するスコアを含むものとしてもよい。また、リファレンスセンサデータなしの学習に用いる指標として、リファレンスセンサデータありの学習に用いる指標のサブセット用いる替わりに、種々の指標を組み合わせてもよい。
なお、このセンサデータスコアの計算手法は一例であり、センサデータスコアを求めるための指標は上記に限られない。
次に、ノイズスコアについて、リファレンスノイズ特徴量データありと、リファレンスノイズ特徴量データなしとの場合に分けて説明する。リファレンスノイズ特徴量データありの場合、このノイズスコアは、合成データのリファレンスノイズ特徴量データに関するスコア、すなわち、合成データのノイズプロファイルと、リファレンスノイズ特徴量データとの類似度を示す値（スコア）として求める。本実施形態に係るノイズスコアは、例えば、ＲＧＢカラーノイズ、深さノイズ、深さ制限、及びカメラの内部パラメータ等を含む。ＲＧＢカラーノイズとは、各カラーチャネルにおけるノイズの量である。深さノイズとは、深さを示すチャネルにおけるノイズの量である。深さ制限とは、実際のセンサの値域である。カメラの内部パラメータとは、オブジェクトの拡大縮小や画像の変形に係る量である。
一方、本実施形態に係るリファレンスノイズ特徴量データなしの場合のノイズスコアは、一般的なサンプル画像のノイズプロファイル（ノイズに関する既知の統計値）に対する合成データのスコアと、ターゲットとなるセンサの特徴量と、を考慮して算出するものとする。本実施形態に係るリファレンスノイズ特徴量データなしの場合のノイズスコアは、上述したリファレンスノイズ特徴量データありの学習に用いる指標のサブセットを指標とした。例えば、このリファレンスノイズ特徴量データなしの場合のノイズスコアは、ＲＧＢカラーノイズ、深さノイズ、及び深さ制限等を含むものとしてもよい。また、リファレンスノイズ特徴量データなしの学習に用いる指標として、リファレンスノイズ特徴量データありの学習に用いる指標のサブセット用いる替わりに、種々の指標を組み合わせてもよい。また、本実施形態において、ターゲットとなるセンサの特徴量は、記憶部３２の評価データ３２２のセンサデータシートに記載されているものとし、当該センサデータシートを参照してターゲットとなるセンサの特徴量を算出するものとする。
なお、このノイズスコアの計算手法は一例であり、ノイズスコアを求めるための指標は上記に限られない。
このようにして、評価部３３４は、上述の指標を用い、センサデータスコアと、ノイズスコアと、を求め、これらのスコアを用いてリアリズムスコアを算出する。評価部３３４は、センサデータスコアとノイズスコアとの総和をリアリズムスコアとして算出してもよく、リアリズムスコアの算出手法はこれに限られない。
また、評価部３３４は、リアリズム閾値を設定する。なお、この設定は、例えば、本システムの管理者等によって指定された数値や、本システムが自動的に算出した数値に基づくものであってもよく、記憶部３２の図示しない領域に格納されてもよい。このリアリズム閾値は、合成データが実画像に近いか否か（リアリスティックな画像であるか否か）を決定する指標となる基準値であり、プロセスに提供し得るか否かの判断基準となる。本システムでは、合成データのリアリズムスコアがリアリズム閾値よりも大きい場合には、プロセスに提供し得るものであると判断する。一方、リアリズムスコアがリアリズム閾値以下である場合には、プロセスに提供し得るものではないと判断する。
次に、ロボットシミュレーション部３３５は、レンダリングエンジン３３６を備え、レンダリングエンジン３３６を用いて合成データを生成し、生成した合成データをＡＩチューニングエージェント３３３と、評価部３３４と、に渡す。レンダリングエンジン３３６は、ＡＩチューニングエージェント３３３が出力したシミュレーション用パラメータ値、すなわち、センサノイズパラメータ、シーンパラメータ、及びターゲットオブジェクトパラメータに設定されたデータを用いて、合成データを生成する。また、レンダリングエンジン３３６は、記憶部３２のレンダリングパラメータ３２３に格納される、センサノイズパラメータ、シーンパラメータ、及びターゲットオブジェクトパラメータを用いて、合成データを生成してもよい。
また、後述するが、レンダリングエンジン３３６が、その生成した合成データであって、続く処理においてリアリズムスコア算出の対象となる合成データを、サンプル合成データともいう。
また、レンダリングエンジン３３６は、記憶部３２の評価データ３２２の設備機器記述データを、例えばメモリ３０２にロードし、合成データの生成に用いる。
＜情報処理装置３０が実行する制御処理＞
図４は、情報処理装置３０が実行する制御処理の概要を示す図である。具体的に、図４は、図３に例示した機能構成のうち、制御部３３の学習部３３２（ＡＩチューニングエージェント３３３）、制御部３３の評価部３３４、制御部３３のロボットシミュレーション部３３５（レンダリングエンジン３３６）と、記憶部３２と、を取り上げて、これらの機能間での情報の授受を具体的に説明する。なお、この図４では、通信部３１、及び、制御部３３の情報送受信部３３１の処理については説明を省略する。
図４は、情報処理装置３０が実行する制御処理の概要を示す図である。具体的に、図４は、図３に例示した機能構成のうち、制御部３３の学習部３３２（ＡＩチューニングエージェント３３３）、制御部３３の評価部３３４、制御部３３のロボットシミュレーション部３３５（レンダリングエンジン３３６）と、記憶部３２と、を取り上げて、これらの機能間での情報の授受を具体的に説明する。なお、この図４では、通信部３１、及び、制御部３３の情報送受信部３３１の処理については説明を省略する。
図５～図７は、情報処理装置３０の制御部３３による制御処理の一例を示すフローチャートである。図５に例示するステップＳ１１４の処理の後、連結子Ａを介して、図６に例示するステップＳ１１５に進む。また、図６に例示するステップＳ１２５の処理の後、連結子Ｂを介して、図７に例示するステップＳ１２６に進む。
まずは、図４を参照しながら、図５～図７にしたがって本システムにおける制御処理の一例について説明する。
（ステップＳ１０１）
本システムの例えばデーモンは、記憶部３２の評価データ３２２のセンサデータの格納領域に利用可能なセンサデータがあるかどうか、すなわち、リファレンスセンサデータがあるかどうかを判断する。リファレンスセンサデータがある場合（ステップＳ１０１：ＹＥＳ）、処理はステップＳ１０２に進む。一方、リファレンスセンサデータがない場合（ステップＳ１０１：ＮＯ）、処理はステップＳ１０２に進む。
本システムの例えばデーモンは、記憶部３２の評価データ３２２のセンサデータの格納領域に利用可能なセンサデータがあるかどうか、すなわち、リファレンスセンサデータがあるかどうかを判断する。リファレンスセンサデータがある場合（ステップＳ１０１：ＹＥＳ）、処理はステップＳ１０２に進む。一方、リファレンスセンサデータがない場合（ステップＳ１０１：ＮＯ）、処理はステップＳ１０２に進む。
（ステップＳ１０２）
本システムの例えばデーモンは、記憶部３２のセンサデータを例えばメモリ３０２にロードする。そして、処理はステップＳ１０４に進む。
本システムの例えばデーモンは、記憶部３２のセンサデータを例えばメモリ３０２にロードする。そして、処理はステップＳ１０４に進む。
（ステップＳ１０３）
一方（ステップＳ１０１においてリファレンスセンサデータがないと判断した場合）、本システムの例えばデーモンは、例えばメモリ３０２に統計データをロードする。そして、処理はステップＳ１０４に進む。
一方（ステップＳ１０１においてリファレンスセンサデータがないと判断した場合）、本システムの例えばデーモンは、例えばメモリ３０２に統計データをロードする。そして、処理はステップＳ１０４に進む。
（ステップＳ１０４）
本システムの例えばデーモンは、記憶部３２の評価データ３２２のノイズ特徴量データの格納領域に利用可能なノイズ特徴量データがあるかどうか、すなわち、リファレンスノイズ特徴量データがあるかどうかを判断する。リファレンスノイズ特徴量データがある場合（ステップＳ１０４：ＹＥＳ）、処理はステップＳ１０５に進む。一方、リファレンスノイズ特徴量データがない場合（ステップＳ１０４：ＮＯ）、処理はステップＳ１０６に進む。
本システムの例えばデーモンは、記憶部３２の評価データ３２２のノイズ特徴量データの格納領域に利用可能なノイズ特徴量データがあるかどうか、すなわち、リファレンスノイズ特徴量データがあるかどうかを判断する。リファレンスノイズ特徴量データがある場合（ステップＳ１０４：ＹＥＳ）、処理はステップＳ１０５に進む。一方、リファレンスノイズ特徴量データがない場合（ステップＳ１０４：ＮＯ）、処理はステップＳ１０６に進む。
（ステップＳ１０５）
本システムの例えばデーモンは、記憶部３２のノイズ特徴量データを例えばメモリ３０２にロードする。そして、処理はステップＳ１０７に進む。
本システムの例えばデーモンは、記憶部３２のノイズ特徴量データを例えばメモリ３０２にロードする。そして、処理はステップＳ１０７に進む。
（ステップＳ１０６）
一方（ステップＳ１０４においてリファレンスノイズ特徴量データがないと判断した場合）、記憶部３２の評価データ３２２のセンサデータシートに含まれるノイズ特徴量データを、例えばメモリ３０２にロードする。そして、処理はステップＳ１０７に進む。
一方（ステップＳ１０４においてリファレンスノイズ特徴量データがないと判断した場合）、記憶部３２の評価データ３２２のセンサデータシートに含まれるノイズ特徴量データを、例えばメモリ３０２にロードする。そして、処理はステップＳ１０７に進む。
（ステップＳ１０７）
本システムの例えばデーモンは、評価部３３４を起動し、処理はステップＳ１０８に進む。
本システムの例えばデーモンは、評価部３３４を起動し、処理はステップＳ１０８に進む。
（ステップＳ１０８）
本システムの例えばデーモンは、リファレンスセンサデータがあるか否かを判断する。リファレンスセンサデータがある場合（ステップＳ１０８：ＹＥＳ）、処理はステップＳ１０９に進む。一方、リファレンスセンサデータがない場合（ステップＳ１０８：ＮＯ）、処理はステップＳ１１０に進む。
本システムの例えばデーモンは、リファレンスセンサデータがあるか否かを判断する。リファレンスセンサデータがある場合（ステップＳ１０８：ＹＥＳ）、処理はステップＳ１０９に進む。一方、リファレンスセンサデータがない場合（ステップＳ１０８：ＮＯ）、処理はステップＳ１１０に進む。
（ステップＳ１０９）
評価部３３４は、データ評価モードを“リファレンスセンサデータあり”に設定する。そして、処理はステップＳ１１１に進む。
評価部３３４は、データ評価モードを“リファレンスセンサデータあり”に設定する。そして、処理はステップＳ１１１に進む。
（ステップＳ１１０）
一方（ステップＳ１０９においてリファレンスセンサデータがないと判断した場合）、評価部３３４は、データ評価モードを“リファレンスセンサデータなし”に設定する。そして、処理はステップＳ１１１に進む。
一方（ステップＳ１０９においてリファレンスセンサデータがないと判断した場合）、評価部３３４は、データ評価モードを“リファレンスセンサデータなし”に設定する。そして、処理はステップＳ１１１に進む。
（ステップＳ１１１）
評価部３３４は、リファレンスノイズ特徴量データがある場合（ステップＳ１１１：ＹＥＳ）、処理はステップＳ１１２に進む。一方、リファレンスノイズ特徴量データがない場合（ステップＳ１１１：ＮＯ）、処理はステップＳ１１３に進む。
評価部３３４は、リファレンスノイズ特徴量データがある場合（ステップＳ１１１：ＹＥＳ）、処理はステップＳ１１２に進む。一方、リファレンスノイズ特徴量データがない場合（ステップＳ１１１：ＮＯ）、処理はステップＳ１１３に進む。
（ステップＳ１１２）
評価部３３４は、ノイズ評価モードを“リファレンスノイズ特徴量データあり”に設定する。そして、処理はステップＳ１１４に進む。
評価部３３４は、ノイズ評価モードを“リファレンスノイズ特徴量データあり”に設定する。そして、処理はステップＳ１１４に進む。
（ステップＳ１１３）
一方（ステップＳ１１１においてリファレンスノイズ特徴量データがないと判断した場合）、評価部３３４は、ノイズ評価モードを“リファレンスノイズ特徴量データなし”に設定する。そして、処理はステップＳ１１４に進む。
一方（ステップＳ１１１においてリファレンスノイズ特徴量データがないと判断した場合）、評価部３３４は、ノイズ評価モードを“リファレンスノイズ特徴量データなし”に設定する。そして、処理はステップＳ１１４に進む。
（ステップＳ１１４）
評価部３３４は、リアリズム閾値を設定する。そして、連結子Ａを介して、図６に例示したステップＳ１１５の処理に進む。
評価部３３４は、リアリズム閾値を設定する。そして、連結子Ａを介して、図６に例示したステップＳ１１５の処理に進む。
（ステップＳ１１５）
本システムの例えばデーモンは、ロボットシミュレーション部３３５を起動する。そして、処理はステップＳ１１６に進む。
本システムの例えばデーモンは、ロボットシミュレーション部３３５を起動する。そして、処理はステップＳ１１６に進む。
（ステップＳ１１６）
ロボットシミュレーション部３３５（レンダリングエンジン３３６）は、記憶部３２の評価データ３２２の設備機器記述データを、例えばメモリ３０２にロードする。そして、処理はステップＳ１１７に進む。
ロボットシミュレーション部３３５（レンダリングエンジン３３６）は、記憶部３２の評価データ３２２の設備機器記述データを、例えばメモリ３０２にロードする。そして、処理はステップＳ１１７に進む。
（ステップＳ１１７）
本システムの例えばデーモンは、ＡＩチューニングエージェント３３３を起動する。そして、処理はステップＳ１１８に進む。
本システムの例えばデーモンは、ＡＩチューニングエージェント３３３を起動する。そして、処理はステップＳ１１８に進む。
（ステップＳ１１８）
ＡＩチューニングエージェント３３３は、記憶部３２の学習モデル３２５の格納領域に当該学習モデル３２５について利用可能な重みがあるかどうかを判断する。利用可能な重みがある場合（ステップＳ１１８：ＹＥＳ）、処理はステップＳ１１９に進む。一方、利用可能な重みがない場合（ステップＳ１１８：ＮＯ）、処理はステップＳ１２０に進む。
ＡＩチューニングエージェント３３３は、記憶部３２の学習モデル３２５の格納領域に当該学習モデル３２５について利用可能な重みがあるかどうかを判断する。利用可能な重みがある場合（ステップＳ１１８：ＹＥＳ）、処理はステップＳ１１９に進む。一方、利用可能な重みがない場合（ステップＳ１１８：ＮＯ）、処理はステップＳ１２０に進む。
（ステップＳ１１９）
ＡＩチューニングエージェント３３３は、利用可能な重みを、例えばメモリ３０２にロードする。そして、処理はステップＳ１２１に進む。
ＡＩチューニングエージェント３３３は、利用可能な重みを、例えばメモリ３０２にロードする。そして、処理はステップＳ１２１に進む。
（ステップＳ１２０）
一方（ステップＳ１１８において利用可能な重みがないと判断した場合）、ランダムな重みを生成する。そして、処理はステップＳ１２１に進む。
一方（ステップＳ１１８において利用可能な重みがないと判断した場合）、ランダムな重みを生成する。そして、処理はステップＳ１２１に進む。
（ステップＳ１２１）
ＡＩチューニングエージェント３３３は、記憶部３２のレンダリングパラメータ３２３の格納領域にある、センサノイズパラメータ、シーンパラメータ、及びターゲットオブジェクトパラメータを、例えばメモリ３０２にロードする。なお、初回起動時には、これらのパラメータの値をランダムに設定してもよい、ディスクメディア３０９等からロードされてもよい。また、それ以降は、上記パラメータの値を、例えば、後述するステップＳ１３２にて設定されるシミュレーション用パラメータ値に基づき設定してもよい。そして、処理はステップＳ１２２に進む。
ＡＩチューニングエージェント３３３は、記憶部３２のレンダリングパラメータ３２３の格納領域にある、センサノイズパラメータ、シーンパラメータ、及びターゲットオブジェクトパラメータを、例えばメモリ３０２にロードする。なお、初回起動時には、これらのパラメータの値をランダムに設定してもよい、ディスクメディア３０９等からロードされてもよい。また、それ以降は、上記パラメータの値を、例えば、後述するステップＳ１３２にて設定されるシミュレーション用パラメータ値に基づき設定してもよい。そして、処理はステップＳ１２２に進む。
（ステップＳ１２２）
レンダリングエンジン３３６が、合成データを生成する。レンダリングエンジン３３６が、その都度生成する合成データであって、続く処理においてリアリズムスコア算出の対象となる合成データを、サンプル合成データという。すなわち、このステップＳ１２１において生成された合成データは、サンプル合成データに相当する。そして、処理はステップＳ１２３に進む。
レンダリングエンジン３３６が、合成データを生成する。レンダリングエンジン３３６が、その都度生成する合成データであって、続く処理においてリアリズムスコア算出の対象となる合成データを、サンプル合成データという。すなわち、このステップＳ１２１において生成された合成データは、サンプル合成データに相当する。そして、処理はステップＳ１２３に進む。
（ステップＳ１２３）
レンダリングエンジン３３６は、サンプル合成データをＡＩチューニングエージェント３３３に入力する。そして、処理はステップＳ１２４に進む。
レンダリングエンジン３３６は、サンプル合成データをＡＩチューニングエージェント３３３に入力する。そして、処理はステップＳ１２４に進む。
（ステップＳ１２４）
レンダリングエンジン３３６は、サンプル合成データを評価部３３４に入力する。そして、処理はステップＳ１２５に進む。
レンダリングエンジン３３６は、サンプル合成データを評価部３３４に入力する。そして、処理はステップＳ１２５に進む。
（ステップＳ１２５）
評価部３３４は、サンプル合成データのリアリズムスコアを算出する。そして、処理は連結子Ｂを介して、図７に例示するステップＳ１２６に進む。
評価部３３４は、サンプル合成データのリアリズムスコアを算出する。そして、処理は連結子Ｂを介して、図７に例示するステップＳ１２６に進む。
（ステップＳ１２６）
評価部３３４は、ステップＳ１２４にて算出したリアリズムスコアがリアリズム閾値よりも大きいか否かを判断する。リアリズムスコアがリアリズム閾値よりも大きいと判断した場合（ステップＳ１２６：ＹＥＳ）、処理はステップＳ１２７に進む。一方、リアリズムスコアがリアリズム閾値以下であると判断した場合（ステップＳ１２６：ＮＯ）、処理はステップＳ１３０に進む。
評価部３３４は、ステップＳ１２４にて算出したリアリズムスコアがリアリズム閾値よりも大きいか否かを判断する。リアリズムスコアがリアリズム閾値よりも大きいと判断した場合（ステップＳ１２６：ＹＥＳ）、処理はステップＳ１２７に進む。一方、リアリズムスコアがリアリズム閾値以下であると判断した場合（ステップＳ１２６：ＮＯ）、処理はステップＳ１３０に進む。
（ステップＳ１２７）
ＡＩチューニングエージェント３３３は、ステップＳ１１９にてロードした重みを最良の重みとして、記憶部３２の学習モデル３２５の格納領域に保存する。そして、処理はステップＳ１２８に進む。
ＡＩチューニングエージェント３３３は、ステップＳ１１９にてロードした重みを最良の重みとして、記憶部３２の学習モデル３２５の格納領域に保存する。そして、処理はステップＳ１２８に進む。
（ステップＳ１２８）
評価部３３４は、ステップＳ１２１にてロードしたレンダリングパラメータ３２３（センサノイズパラメータ、シーンパラメータ、及びターゲットオブジェクトパラメータ）を、最良のシミュレーション用パラメータ値として、記憶部３２のレンダリングパラメータ３２３の格納領域に保存する。そして、処理はステップＳ１２９に進む。
評価部３３４は、ステップＳ１２１にてロードしたレンダリングパラメータ３２３（センサノイズパラメータ、シーンパラメータ、及びターゲットオブジェクトパラメータ）を、最良のシミュレーション用パラメータ値として、記憶部３２のレンダリングパラメータ３２３の格納領域に保存する。そして、処理はステップＳ１２９に進む。
（ステップＳ１２９）
レンダリングエンジン３３６は、ステップＳ１２７にて保存した最良の重みと、ステップＳ１２８にて保存した最良のシミュレーション用パラメータ値を用いて、合成データを生成する。そして、この生成した合成データをプロセスに提供する（図１参照）。そして、処理が終了する。
レンダリングエンジン３３６は、ステップＳ１２７にて保存した最良の重みと、ステップＳ１２８にて保存した最良のシミュレーション用パラメータ値を用いて、合成データを生成する。そして、この生成した合成データをプロセスに提供する（図１参照）。そして、処理が終了する。
（ステップＳ１３０）
一方（ステップＳ１２６においてリアリズムスコアがリアリズム閾値以下であると判断した場合）、レンダリングエンジン３３６は、ステップＳ１２５にて算出したリアリズムスコアをＡＩチューニングエージェント３３３に渡す。ＡＩチューニングエージェント３３３は、ステップＳ１２５にて算出したリアリズムスコアを受け取り、自身が備える学習済みモデルの入力とする。そして、処理はステップＳ１３１に進む。
一方（ステップＳ１２６においてリアリズムスコアがリアリズム閾値以下であると判断した場合）、レンダリングエンジン３３６は、ステップＳ１２５にて算出したリアリズムスコアをＡＩチューニングエージェント３３３に渡す。ＡＩチューニングエージェント３３３は、ステップＳ１２５にて算出したリアリズムスコアを受け取り、自身が備える学習済みモデルの入力とする。そして、処理はステップＳ１３１に進む。
（ステップＳ１３１）
ＡＩチューニングエージェント３３３は、ステップＳ１３０にて学習済みモデルにリアリズムスコアを入力した結果（出力）である、シミュレーション用パラメータ値を生成（出力）する。この学習済みモデルは、リアリズムスコアの値が最適になるような学習を行うよう訓練されているから、レンダリングエンジン３３６において合成データを生成する際のシミュレーション用パラメータ値をチューニングし、より最適化された合成データを生成し得るシミュレーション用パラメータ値を生成する。このステップＳ１３１にて生成されたシミュレーション用パラメータ値を新規のシミュレーション用パラメータ値をともいう。そして、処理はステップＳ１３２に進む。
ＡＩチューニングエージェント３３３は、ステップＳ１３０にて学習済みモデルにリアリズムスコアを入力した結果（出力）である、シミュレーション用パラメータ値を生成（出力）する。この学習済みモデルは、リアリズムスコアの値が最適になるような学習を行うよう訓練されているから、レンダリングエンジン３３６において合成データを生成する際のシミュレーション用パラメータ値をチューニングし、より最適化された合成データを生成し得るシミュレーション用パラメータ値を生成する。このステップＳ１３１にて生成されたシミュレーション用パラメータ値を新規のシミュレーション用パラメータ値をともいう。そして、処理はステップＳ１３２に進む。
（ステップＳ１３２）
ＡＩチューニングエージェント３３３は、ステップＳ１３１にて生成した新規のシミュレーション用パラメータ値を、レンダリングエンジン３３６へ入力する。そして、処理はステップＳ１３３に進む。
ＡＩチューニングエージェント３３３は、ステップＳ１３１にて生成した新規のシミュレーション用パラメータ値を、レンダリングエンジン３３６へ入力する。そして、処理はステップＳ１３３に進む。
（ステップＳ１３３）
レンダリングエンジン３３６は、ステップＳ１３２にて受け取った新規のシミュレーション用パラメータ値をパース、又はマップする。そして、処理はステップＳ１３４に進む。
レンダリングエンジン３３６は、ステップＳ１３２にて受け取った新規のシミュレーション用パラメータ値をパース、又はマップする。そして、処理はステップＳ１３４に進む。
（ステップＳ１３４）
レンダリングエンジン３３６は、ステップＳ１３３にてパースした新規のシミュレーション用パラメータ値を用いて、サンプル合成データを生成する。そして、処理はステップＳ１２３（図６参照）に戻る。
レンダリングエンジン３３６は、ステップＳ１３３にてパースした新規のシミュレーション用パラメータ値を用いて、サンプル合成データを生成する。そして、処理はステップＳ１２３（図６参照）に戻る。
このようにして、本システムでは、上述のステップＳ１０１～Ｓ１３４の処理を経て、より最適化された合成データを生成する。上述したように、リアリズムスコアに基づきシミュレーション用パラメータ値をチューニングすることにより、レンダリングエンジン３３６においてより最適化された合成データを生成し得る。これにより、本システムにおいて生成した最適化された合成データをプロセスに提供し得る。
ＡＩチューニングエージェント３３３における学習には、ＤＮＮ、ＤＤＰＧ（Deep Deterministic Policy Gradient）、ＴＲＰＯ(Trust Region Policy Optimization)等の強化学習が用いられ得る。次に、ＡＩチューニングエージェント３３３における学習に、ＤＮＮを用いた場合を例にとり説明する。
図８は、ＤＮＮを用いた場合に、情報処理装置３０が実行する制御処理の概要を示す図である。この図８を用いて、ＤＮＮを用いた制御処理の一例について説明する。
この図８に例示するように、図４に例示した概要との違いは、ＡＩチューニングエージェント３３３が、ターゲットポリシーと、トレーニングポリシーと、リプレイバッファと、を備えた点である。このターゲットポリシーは、ＡＩチューニングエージェント３３３の出力となるシミュレーション用パラメータ値（ここでは、アクションともいう）を決定するための重みの決定に関わるポリシーを記述したものである。リプレイバッファは、今回の出力とレンダリングエンジン３３６が生成した合成データ（ここでは、状態ともいう）との双方を格納するものである。なお、トレーニングポリシーは、特に強化学習アルゴリズムにおいて公知のため、説明を省略する。
上記店以外では図４に例示した概要とは相違はなく、図５～図７に例示した制御処理についても同様であるため、説明を省略する。
＜まとめ＞
以上説明した通り、本実施形態に係る情報処理システム１は、レンダリングパラメータを調整して、調整したレンダリングパラメータに基づき合成データを生成する。これにより、最適化されたレンダリング合成データの生成を支援することができる。
以上説明した通り、本実施形態に係る情報処理システム１は、レンダリングパラメータを調整して、調整したレンダリングパラメータに基づき合成データを生成する。これにより、最適化されたレンダリング合成データの生成を支援することができる。
また、本システムにおいて、ＡＩチューニングエージェント３３３は、リアリズムスコアを入力とし、シミュレーション用パラメータ値、すなわち、レンダリングパラメータ３２３（センサノイズパラメータ、シーンパラメータ、及びターゲットオブジェクトパラメータ）を出力するように予め機械学習された学習済みの学習モデルを用いる。これにより、リアリズムスコアの高い（現実世界の実画像に近い）合成データを生成し得るレンダリングパラメータ３２３を求めることができる。このようにして求めたレンダリングパラメータ３２３を用いることにより、より最適な合成データを生成し得る。
また、本実施形態では、図５に例示する制御処理において、リファレンスセンサデータ、及びリファレンスノイズ特徴量データをロードした後に、データ評価モード、及びノイズ評価モードを設定するものとしたが、これに替えて、リファレンスセンサデータのロードと、データ評価モードとの設定を同時に行ってもよい。この場合、ステップＳ１０８の処理は省略してもよい。また、リファレンスノイズ特徴量データのロードと、ノイズ評価モードの設定とを同時に行ってもよい。この場合、ステップＳ１１１の処理は省略してもよい。
また、本実施形態の情報処理システムは、サーバ装置１０と、情報処理装置３０と、プロセスを備えるものとしたが、これに加えて、開発者端末を備えるものとしてもよい。
また、本実施形態の情報処理システムは、ロボットのシミュレーションを実施するプロセスを一例として説明したが、プロセスはロボット用のものに限られない。
＜付記＞
本実施形態は、以下の開示を含む。
本実施形態は、以下の開示を含む。
（付記１）
情報処理装置が実行する生成方法であって、
レンダリングパラメータを調整する処理と、
調整した前記レンダリングパラメータに基づき合成データを生成する処理と、
を含む生成方法。
情報処理装置が実行する生成方法であって、
レンダリングパラメータを調整する処理と、
調整した前記レンダリングパラメータに基づき合成データを生成する処理と、
を含む生成方法。
（付記２）
前記情報処理装置は、リアリズムスコアの値が最適になるようにレンダリングパラメータを調整する、
付記１に記載の生成方法。
前記情報処理装置は、リアリズムスコアの値が最適になるようにレンダリングパラメータを調整する、
付記１に記載の生成方法。
（付記３）
前記リアリズムスコアは、センサデータスコア、及びノイズスコアに基づき算出される、
付記１又は付記２に記載の生成方法。
前記リアリズムスコアは、センサデータスコア、及びノイズスコアに基づき算出される、
付記１又は付記２に記載の生成方法。
（付記４）
前記センサデータスコアは、リファレンスセンサデータが利用可能な場合、前記合成データの前記リファレンスセンサデータに対する類似度を示す値である、
付記１から付記３までのいずれか１項に記載の生成方法。
前記センサデータスコアは、リファレンスセンサデータが利用可能な場合、前記合成データの前記リファレンスセンサデータに対する類似度を示す値である、
付記１から付記３までのいずれか１項に記載の生成方法。
（付記５）
前記ノイズスコアは、リファレンスノイズ特徴量データが利用可能な場合、前記合成データのノイズプロファイルと、前記リファレンスノイズ特徴量データとの類似度を示す値である、
付記１から付記４までのいずれか１項に記載の生成方法。
前記ノイズスコアは、リファレンスノイズ特徴量データが利用可能な場合、前記合成データのノイズプロファイルと、前記リファレンスノイズ特徴量データとの類似度を示す値である、
付記１から付記４までのいずれか１項に記載の生成方法。
（付記６）
前記レンダリングパラメータは、センサノイズパラメータ、シーンパラメータ、及びターゲットオブジェクトパラメータ等を含む、
付記１から付記５までのいずれか１項に記載の生成方法。
前記レンダリングパラメータは、センサノイズパラメータ、シーンパラメータ、及びターゲットオブジェクトパラメータ等を含む、
付記１から付記５までのいずれか１項に記載の生成方法。
（付記７）
前記情報処理装置は、前記リアリズムスコアの値が最適になるような学習を行うよう訓練された学習済みモデルを用いて、前記レンダリングパラメータを調整する、
付記２に記載の生成方法。
前記情報処理装置は、前記リアリズムスコアの値が最適になるような学習を行うよう訓練された学習済みモデルを用いて、前記レンダリングパラメータを調整する、
付記２に記載の生成方法。
（付記８）
レンダリングパラメータを調整し、調整した前記レンダリングパラメータに基づき合成データを生成する制御部、
を備える情報処理装置。
レンダリングパラメータを調整し、調整した前記レンダリングパラメータに基づき合成データを生成する制御部、
を備える情報処理装置。
（付記９）
レンダリングパラメータを調整する処理と、
調整した前記レンダリングパラメータに基づき合成データを生成する処理と、
をコンピュータに実行させるためのプログラム。
レンダリングパラメータを調整する処理と、
調整した前記レンダリングパラメータに基づき合成データを生成する処理と、
をコンピュータに実行させるためのプログラム。
（付記１０）
合成データを用いて、ロボットのシミュレーションを実施するためのプロセスと、
評価データを管理するサーバ装置と、
前記評価データを参照して前記合成データを生成する情報処理装置と、
を備えた情報処理システムであって、
前記情報処理装置により、レンダリングパラメータを調整する処理と、 調整した前記レンダリングパラメータに基づき合成データを生成する処理と、
を実行する情報処理システム。
合成データを用いて、ロボットのシミュレーションを実施するためのプロセスと、
評価データを管理するサーバ装置と、
前記評価データを参照して前記合成データを生成する情報処理装置と、
を備えた情報処理システムであって、
前記情報処理装置により、レンダリングパラメータを調整する処理と、 調整した前記レンダリングパラメータに基づき合成データを生成する処理と、
を実行する情報処理システム。
今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。また、本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
１ 情報処理システム
１０ サーバ装置
３０ 情報処理装置
３１ 通信部
３２ 記憶部
３３ 制御部
３０１ プロセッサ
３０２ メモリ
３０３ ストレージ
３０４ 通信Ｉ／Ｆ
３０５ 入出力Ｉ／Ｆ
３０６ ドライブ装置
３０７ 入力装置
３０８ 出力装置
３０９ ディスクメディア
３２２ 評価データ
３２３ レンダリングパラメータ
３２４ 設備機器記述データ
３２５ 学習モデル
３３１ 情報送受信部
３３２ 学習部
３３３ ＡＩチューニングエージェント
３３４ 評価部
３３５ ロボットシミュレーション部
３３６ レンダリングエンジン
１０ サーバ装置
３０ 情報処理装置
３１ 通信部
３２ 記憶部
３３ 制御部
３０１ プロセッサ
３０２ メモリ
３０３ ストレージ
３０４ 通信Ｉ／Ｆ
３０５ 入出力Ｉ／Ｆ
３０６ ドライブ装置
３０７ 入力装置
３０８ 出力装置
３０９ ディスクメディア
３２２ 評価データ
３２３ レンダリングパラメータ
３２４ 設備機器記述データ
３２５ 学習モデル
３３１ 情報送受信部
３３２ 学習部
３３３ ＡＩチューニングエージェント
３３４ 評価部
３３５ ロボットシミュレーション部
３３６ レンダリングエンジン
Claims (6)
- 情報処理装置が実行する生成方法であって、
レンダリングパラメータを調整する処理と、
調整した前記レンダリングパラメータに基づき合成データを生成する処理と、
リアリズムスコアの値が最適になるように前記レンダリングパラメータを調整する処理と、
を含み、
前記リアリズムスコアは、センサデータスコア、及びノイズスコアに基づき算出され、
前記センサデータスコアは、リファレンスセンサデータが利用可能な場合、前記合成データの前記リファレンスセンサデータに対する類似度を示す値であり、前記リファレンスセンサデータが利用可能ではない場合、統計値を用いて算出され、
前記ノイズスコアは、リファレンスノイズ特徴量データが利用可能な場合、前記合成データのノイズプロファイルと、前記リファレンスノイズ特徴量データとの類似度を示す値であり、前記リファレンスノイズ特徴量データが利用可能ではない場合、ノイズに関する統計値を用いて算出される、
生成方法。 - 前記レンダリングパラメータは、センサノイズパラメータ、シーンパラメータ、及びターゲットオブジェクトパラメータを含む、
請求項１に記載の生成方法。 - 前記情報処理装置は、前記リアリズムスコアの値が最適になるような学習を行うよう訓練された学習済みモデルを用いて、前記レンダリングパラメータを調整する、
請求項１に記載の生成方法。 - レンダリングパラメータを調整し、調整した前記レンダリングパラメータに基づき合成データを生成し、リアリズムスコアの値が最適になるように前記レンダリングパラメータを調整する制御部、
を備え、
前記制御部は、リファレンスセンサデータが利用可能な場合、センサデータスコアを、前記合成データの前記リファレンスセンサデータに対する類似度を示す値として算出し、前記リファレンスセンサデータが利用可能ではない場合、統計値を用いて算出し、
前記制御部は、リファレンスノイズ特徴量データが利用可能な場合、ノイズスコアを、前記合成データのノイズプロファイルと、前記リファレンスノイズ特徴量データとの類似度を示す値として算出し、前記リファレンスノイズ特徴量データが利用可能ではない場合、ノイズに関する統計値を用いて算出する、
情報処理装置。 - レンダリングパラメータを調整する処理と、
調整した前記レンダリングパラメータに基づき合成データを生成する処理と、
リアリズムスコアの値が最適になるように前記レンダリングパラメータを調整する処理と、
をコンピュータに実行させるためのプログラムであって、
前記リアリズムスコアは、センサデータスコア、及びノイズスコアに基づき算出され、
前記センサデータスコアは、リファレンスセンサデータが利用可能な場合、前記合成データの前記リファレンスセンサデータに対する類似度を示す値であり、前記リファレンスセンサデータが利用可能ではない場合、統計値を用いて算出され、
前記ノイズスコアは、リファレンスノイズ特徴量データが利用可能な場合、前記合成データのノイズプロファイルと、前記リファレンスノイズ特徴量データとの類似度を示す値であり、前記リファレンスノイズ特徴量データが利用可能ではない場合、ノイズに関する統計値を用いて算出される、
プログラム。 - 合成データを用いて、ロボットのシミュレーションを実施するためのプロセスと、
評価データを管理するサーバ装置と、
前記評価データを参照して前記合成データを生成する情報処理装置と、
を備えた情報処理システムであって、
前記情報処理装置により、レンダリングパラメータを調整する処理と、調整した前記レンダリングパラメータに基づき合成データを生成する処理と、リアリズムスコアの値が最適になるように前記レンダリングパラメータを調整する処理と、
を実行する情報処理システムであって、
前記リアリズムスコアは、センサデータスコア、及びノイズスコアに基づき算出され、
前記センサデータスコアは、リファレンスセンサデータが利用可能な場合、前記合成データの前記リファレンスセンサデータに対する類似度を示す値であり、前記リファレンスセンサデータが利用可能ではない場合、統計値を用いて算出され、
前記ノイズスコアは、リファレンスノイズ特徴量データが利用可能な場合、前記合成データのノイズプロファイルと、前記リファレンスノイズ特徴量データとの類似度を示す値であり、前記リファレンスノイズ特徴量データが利用可能ではない場合、ノイズに関する統計値を用いて算出される、
情報処理システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021112509A JP7058434B1 (ja) | 2021-07-07 | 2021-07-07 | 生成方法、情報処理装置、プログラム、及び情報処理システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021112509A JP7058434B1 (ja) | 2021-07-07 | 2021-07-07 | 生成方法、情報処理装置、プログラム、及び情報処理システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP7058434B1 true JP7058434B1 (ja) | 2022-04-22 |
| JP2023009344A JP2023009344A (ja) | 2023-01-20 |
Family
ID=81291864
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021112509A Active JP7058434B1 (ja) | 2021-07-07 | 2021-07-07 | 生成方法、情報処理装置、プログラム、及び情報処理システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7058434B1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024079792A1 (ja) * | 2022-10-11 | 2024-04-18 | 株式会社エクサウィザーズ | 情報処理装置、方法、及びプログラム |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200050716A1 (en) * | 2018-08-09 | 2020-02-13 | Zoox, Inc. | Procedural world generation using tertiary data |
| WO2021006189A1 (ja) * | 2019-07-08 | 2021-01-14 | 国立大学法人東京大学 | 画像生成装置、画像生成方法及び画像生成プログラム |
| US20210027044A1 (en) * | 2018-03-30 | 2021-01-28 | Movidius Ltd. | Methods, systems, articles of manufacture and apparatus to generate digital scenes |
-
2021
- 2021-07-07 JP JP2021112509A patent/JP7058434B1/ja active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210027044A1 (en) * | 2018-03-30 | 2021-01-28 | Movidius Ltd. | Methods, systems, articles of manufacture and apparatus to generate digital scenes |
| US20200050716A1 (en) * | 2018-08-09 | 2020-02-13 | Zoox, Inc. | Procedural world generation using tertiary data |
| WO2021006189A1 (ja) * | 2019-07-08 | 2021-01-14 | 国立大学法人東京大学 | 画像生成装置、画像生成方法及び画像生成プログラム |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024079792A1 (ja) * | 2022-10-11 | 2024-04-18 | 株式会社エクサウィザーズ | 情報処理装置、方法、及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023009344A (ja) | 2023-01-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210012558A1 (en) | Method and apparatus for reconstructing three-dimensional model of human body, and storage medium | |
| JP6441980B2 (ja) | 教師画像を生成する方法、コンピュータおよびプログラム | |
| WO2017154284A1 (ja) | 情報処理方法および情報処理装置 | |
| JP2022503647A (ja) | クロスドメイン画像変換 | |
| JP2018532216A (ja) | 画像正則化及びリターゲティングシステム | |
| WO2020216033A1 (zh) | 用于面部图像生成的数据处理方法、设备和介质 | |
| US11941737B2 (en) | Artificial intelligence-based animation character control and drive method and apparatus | |
| JP7055769B2 (ja) | データ生成装置、データ生成方法およびプログラム | |
| JP6863596B6 (ja) | データ処理装置及びデータ処理方法 | |
| JP7310252B2 (ja) | 動画生成装置、動画生成方法、プログラム、記憶媒体 | |
| CN114925748B (zh) | 模型训练及模态信息的预测方法、相关装置、设备、介质 | |
| JP7058434B1 (ja) | 生成方法、情報処理装置、プログラム、及び情報処理システム | |
| US20230267686A1 (en) | Subdividing a three-dimensional mesh utilizing a neural network | |
| JP2021103344A (ja) | 学習支援装置、学習装置、学習支援方法及び学習支援プログラム | |
| US10282883B2 (en) | Hierarchy-based character rigging | |
| CN112766348A (zh) | 一种基于对抗神经网络生成样本数据的方法以及装置 | |
| US20140192045A1 (en) | Method and apparatus for generating three-dimensional caricature using shape and texture of face | |
| CN114762004A (zh) | 数据生成方法、数据生成装置、模型生成方法、模型生成装置及程序 | |
| JP2010250634A (ja) | 画像サーバー、画像検索システム、画像検索方法およびインデックス作成方法 | |
| CN114373033A (zh) | 图像处理方法、装置、设备、存储介质及计算机程序 | |
| KR20180082171A (ko) | 3차원 캐릭터 생성 방법 및 시스템 | |
| KR20210063171A (ko) | 이미지 변환 장치 및 이미지 변환 방법 | |
| JP6918382B1 (ja) | 情報処理装置及び情報処理方法 | |
| WO2021200143A1 (ja) | 画像処理装置、画像処理方法、および、３ｄモデルデータ生成方法 | |
| CN111581411B (zh) | 高精度人脸形状库的构建方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210707 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210707 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211013 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211203 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211214 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211223 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220107 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220304 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220311 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220404 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7058434 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |