JP7203844B2 - トレーニングデータの生成方法、生成装置及びその画像のセマンティックセグメンテーション方法 - Google Patents
トレーニングデータの生成方法、生成装置及びその画像のセマンティックセグメンテーション方法 Download PDFInfo
- Publication number
- JP7203844B2 JP7203844B2 JP2020524660A JP2020524660A JP7203844B2 JP 7203844 B2 JP7203844 B2 JP 7203844B2 JP 2020524660 A JP2020524660 A JP 2020524660A JP 2020524660 A JP2020524660 A JP 2020524660A JP 7203844 B2 JP7203844 B2 JP 7203844B2
- Authority
- JP
- Japan
- Prior art keywords
- object model
- scene
- semantic segmentation
- segmentation map
- training data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/506—Illumination models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
Description
前記3次元立体シーンの照明をオフにする時に、レンダリング後のオブジェクトモデルに基づいて各シーンに対応するセマンティックセグメンテーションマップを取得するステップを含むべきである。
元の3次元立体シーンにおいて、3次元立体シーンにおけるオブジェクトに異なるTagタグを付けるという方式によってオブジェクトに対する分類及びタグ付けを完了し、Tagタグを付けると、各tag内の全てのオブジェクトをスクリプト内で取得することができるステップ501と、
3次元立体シーンに1つの一人称視点のコントローラ(First person controller)を追加するステップ502と、
元の材質モードで3次元立体シーンを実行するステップ503と、
カメラの移動軌跡を手動で制御し、カメラの移動情報(位置座標と回転角度を含む)を位置ファイルに書き込むステップ504と、
3次元立体シーンの局所的な照明状況を動的に調整するステップ505と、
複数の固定フレームの画像をシーングラフとして切り出すステップ506と、
ステップ501で設定されたTagタグに基づいて、オブジェクトのtag分類を決定するステップ507と、
3Dシーンの照明をオフにして、モノクロ材質にレンダリングするステップ508と、
ステップ504での位置ファイルを読み取り且つモノクロ材質モードで動作する時の固定フレーム画像をセマンティックセグメンテーションマップとして切り出し、このようにして、2回の実行で同じ時間に切り出す画像が完全に同じであることを保証でき、セマンティックセグメンテーションマップとシーングラフの対応性を確保し、また、このような動作時にカメラの動きを制御する方式は、カメラ経路の設定にとってはより便利で迅速であるステップ509と、
前記セマンティックセグメンテーションマップ及び対応するシーングラフを、トレーニングデータとしてセマンティックセグメンテーションのディープラーニングアルゴリズムのトレーニングプロセスに用いられる比較グラフセットとして記憶するステップ510と、を含む。
元の3次元立体シーンでは、オブジェクトを分類し、各オブジェクトに対応するobjectID番号を付加するステップ601と、
仮想カメラの経路を設定するステップ602と、
レンダリング設定、ピクチャ保存経路、レンダリング範囲を設定し、レンダリング要素にVRayObjectIDを付加するステップ603と、
レンダリングし且つIDチャネルでレンダリングした後のセマンティックセグメンテーションマップ及び元の材質のシーングラフをそれぞれステップ603で設定された保存経路が指すファイルに出力するステップ604と、を含む。
Claims (11)
- 3次元立体シーンにおけるオブジェクトモデルに対応するクラスタグを設定するステップと、
前記3次元立体シーンのシーンパラメータを変更することによって、対応する複数のシーングラフを取得するステップと、
前記オブジェクトモデルをオブジェクトモデルのクラスタグに対応するモノクロ材質にレンダリングするステップと、
レンダリング後のオブジェクトモデルに基づいて各シーングラフに対応するセマンティックセグメンテーションマップを取得するステップと、
各シーングラフ及びシーングラフに対応するセマンティックセグメンテーションマップを1セットのトレーニングデータとして記憶するステップと、を含み、
前記3次元立体シーンの複数のシーングラフを取得する前記ステップは、
前記3次元立体シーンにおける照明状況を動的に調整することと、
仮想カメラによって異なる照明状況でのシーングラフを収集すること含み、
レンダリング後のオブジェクトモデルに基づいて各シーングラフに対応するセマンティックセグメンテーションマップを取得する前記ステップは、
前記3次元立体シーンの照明をオフにする時に、レンダリング後のオブジェクトモデルに基づいて各シーンに対応するセマンティックセグメンテーションマップを取得し、前記セマンティックセグメンテーションマップを1セットのトレーニングデータにおける一意のセマンティックセグメンテーションマップとすること、を含む
ことを特徴とするトレーニングデータの生成方法。 - 前記3次元立体シーンのシーンパラメータを変更することによって、対応する複数のシーングラフを取得する前記ステップは、
仮想カメラの撮影軌跡を設定することと、
前記仮想カメラが前記撮影軌跡に沿って動作する時、異なる観察視野角に位置するシーングラフを収集することと、を含むことを特徴とする請求項1に記載の方法。 - 前記オブジェクトモデルをオブジェクトモデルのクラスタグに対応するモノクロ材質にレンダリングする前記ステップは、
オブジェクトモデルのシーングラフにおける奥行き順序を決定することと、
前記奥行き順序に従って、前記オブジェクトモデルをオブジェクトモデルの分類タグに対応するモノクロ材質に順次レンダリングすることと、を含むことを特徴とする請求項1に記載の方法。 - 前記オブジェクトモデルをオブジェクトモデルのクラスタグに対応するモノクロ材質にレンダリングする前記ステップは、
透明なオブジェクトモデルが後のオブジェクトモデルに対して遮蔽効果を持っているか否かを判断することと、
前記透明なオブジェクトモデルが遮蔽効果を持っている場合、前記透明なオブジェクトモデルにタグを付けて分類し且つ対応するモノクロ材質にレンダリングすることと、
前記透明なオブジェクトモデルが遮蔽効果を持っていない場合、前記セマンティックセグメンテーションマップにおいて前記透明なオブジェクトモデルの透明な状態を維持し又は前記透明なオブジェクトモデルを削除することと、を含むことを特徴とする請求項1に記載の方法。 - 3次元立体シーンにおけるオブジェクトモデルに対応するクラスタグを設定する分類モジュールと、
前記3次元立体シーンのシーンパラメータを変更することによって、対応する複数のシーングラフを取得するシーングラフ生成モジュールと、
前記オブジェクトモデルをオブジェクトモデルのクラスタグに対応するモノクロ材質にレンダリングするレンダリングモジュールと、
レンダリング後のオブジェクトモデルに基づいて各シーングラフに対応するセマンティックセグメンテーションマップを取得するセマンティックセグメンテーションマップ生成モジュールと、
各シーングラフ及びシーングラフに対応するセマンティックセグメンテーションマップを1セットのトレーニングデータとして記憶する記憶モジュールと、を含み、
前記シーングラフ生成モジュールは具体的に照明調整ユニット及び仮想カメラ制御ユニットを含み、
前記照明調整ユニットは前記3次元立体シーンにおける照明状況を動的に調整することに用いられ、
前記仮想カメラ制御ユニットは仮想カメラによって異なる照明状況でのシーングラフを収集することに用いられ、
前記レンダリングモジュールは具体的には、前記3次元立体シーンの照明をオフにする時に、各シーンに対応するセマンティックセグメンテーションマップを取得することに用いられ、前記セマンティックセグメンテーションマップを1セットのトレーニングデータにおける一意のセマンティックセグメンテーションマップとすることを特徴とするトレーニングデータの生成装置。 - 前記シーングラフ生成モジュールは具体的には、
仮想カメラの撮影軌跡を設定し、前記仮想カメラが前記撮影軌跡に沿って動作する時、異なる観察視野角に位置するシーングラフを収集することに用いられることを特徴とする請求項5に記載の装置。 - 前記レンダリングモジュールは具体的には、オブジェクトモデルのシーングラフにおける奥行き順序を決定し、
前記奥行き順序に従って、前記オブジェクトモデルをオブジェクトモデルの分類タグに対応するモノクロ材質に順次レンダリングすることに用いられることを特徴とする請求項5に記載の装置。 - 前記オブジェクトモデルが透明なオブジェクトである場合、前記レンダリングモジュールは具体的には、
前記透明なオブジェクトモデルが後のオブジェクトモデルに対して遮蔽効果を持っているか否かを判断し、
前記透明なオブジェクトモデルが遮蔽効果を持っている場合、前記透明なオブジェクトモデルにタグを付けて分類し且つ対応するモノクロ材質にレンダリングし、
前記透明なオブジェクトモデルが遮蔽効果を持っていない場合、前記セマンティックセグメンテーションマップにおいて前記透明なオブジェクトモデルの透明な状態を維持し又は前記透明なオブジェクトモデルを削除することに用いられることを特徴とする請求項5に記載の装置。 - 請求項1~4のいずれか一項に記載のトレーニングデータの生成方法によって生成されるシーングラフ及び対応するセマンティックセグメンテーションマップをトレーニングデータとして利用することを特徴とする画像のセマンティックセグメンテーション方法。
- 少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサと通信接続されるメモリと、を含み、
ただし、前記メモリに前記少なくとも1つのプロセッサによって実行可能なコマンドプログラムが記憶されており、前記コマンドプログラムは、前記少なくとも1つのプロセッサに請求項1~4のいずれか一項に記載の方法を実行させるように、前記少なくとも1つのプロセッサによって実行される、
ことを特徴とする電子機器。 - 不揮発性コンピュータ可読記憶媒体に埋め込まれるコンピュータプログラムコマンドを含み、前記コンピュータプログラムコマンドは、コンピュータに請求項1~4のいずれか一項に記載の方法を実行させるためのコマンドを含むことを特徴とするコンピュータプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2017/094312 WO2019019019A1 (zh) | 2017-07-25 | 2017-07-25 | 训练数据生成方法、生成装置及其图像语义分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020526860A JP2020526860A (ja) | 2020-08-31 |
JP7203844B2 true JP7203844B2 (ja) | 2023-01-13 |
Family
ID=61154860
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020524660A Active JP7203844B2 (ja) | 2017-07-25 | 2017-07-25 | トレーニングデータの生成方法、生成装置及びその画像のセマンティックセグメンテーション方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11281943B2 (ja) |
EP (1) | EP3660787A4 (ja) |
JP (1) | JP7203844B2 (ja) |
CN (1) | CN107690672B (ja) |
WO (1) | WO2019019019A1 (ja) |
Families Citing this family (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108229479B (zh) | 2017-08-01 | 2019-12-31 | 北京市商汤科技开发有限公司 | 语义分割模型的训练方法和装置、电子设备、存储介质 |
US10867214B2 (en) * | 2018-02-14 | 2020-12-15 | Nvidia Corporation | Generation of synthetic images for training a neural network model |
CN108509855B (zh) * | 2018-03-06 | 2021-11-23 | 成都睿码科技有限责任公司 | 一种通过增强现实生成机器学习样本图片的系统及方法 |
JP6719497B2 (ja) * | 2018-03-12 | 2020-07-08 | 株式会社 日立産業制御ソリューションズ | 画像生成方法、画像生成装置及び画像生成システム |
CN108509891A (zh) * | 2018-03-27 | 2018-09-07 | 斑马网络技术有限公司 | 图像标注方法、装置、存储介质及电子设备 |
CN108563742B (zh) * | 2018-04-12 | 2022-02-01 | 王海军 | 自动创建人工智能图像识别训练素材与标注文件的方法 |
CN108876764A (zh) * | 2018-05-21 | 2018-11-23 | 北京旷视科技有限公司 | 渲染图像获取方法、装置、系统和存储介质 |
WO2019246157A1 (en) * | 2018-06-18 | 2019-12-26 | Magic Leap, Inc. | Centralized rendering |
CN108846897B (zh) * | 2018-07-03 | 2022-10-14 | 百度在线网络技术(北京)有限公司 | 三维模型表面材质模拟方法、装置、存储介质及电子设备 |
CN109190674B (zh) * | 2018-08-03 | 2021-07-20 | 百度在线网络技术(北京)有限公司 | 训练数据的生成方法及装置 |
JP7063764B2 (ja) * | 2018-08-08 | 2022-05-09 | ファナック株式会社 | 3次元モデル作成装置 |
CN109523640A (zh) * | 2018-10-19 | 2019-03-26 | 深圳增强现实技术有限公司 | 深度学习缺陷数据集方法、系统及电子设备 |
CN114424916A (zh) * | 2018-11-01 | 2022-05-03 | 北京石头创新科技有限公司 | 清洁模式选择方法,智能清洁设备,计算机存储介质 |
CN111143424A (zh) * | 2018-11-05 | 2020-05-12 | 百度在线网络技术(北京)有限公司 | 特征场景数据挖掘方法、装置和终端 |
JP7207842B2 (ja) * | 2019-04-24 | 2023-01-18 | 鹿島建設株式会社 | 地盤材料の粒度判定方法及びシステム |
CN110189406B (zh) * | 2019-05-31 | 2023-11-28 | 创新先进技术有限公司 | 图像数据标注方法及其装置 |
CN112308103B (zh) * | 2019-08-02 | 2023-10-20 | 杭州海康威视数字技术股份有限公司 | 生成训练样本的方法和装置 |
CN112529022B (zh) * | 2019-08-28 | 2024-03-01 | 杭州海康威视数字技术股份有限公司 | 一种训练样本的生成方法及装置 |
CN112712098A (zh) * | 2019-10-25 | 2021-04-27 | 北京四维图新科技股份有限公司 | 图像数据处理方法及装置 |
CN111047693A (zh) * | 2019-12-27 | 2020-04-21 | 浪潮(北京)电子信息产业有限公司 | 一种图像训练数据集生成方法、装置、设备及介质 |
CN111160529B (zh) * | 2019-12-28 | 2023-06-20 | 天津大学 | 基于卷积神经网络的目标位姿测量中训练样本生成方法 |
CN111145136B (zh) * | 2020-01-02 | 2023-08-18 | 国网安徽省电力有限公司超高压分公司 | 用于变电站表计图像数据集的合成方法、系统及存储介质 |
CN111259950B (zh) * | 2020-01-13 | 2022-07-05 | 南京邮电大学 | 一种基于3d模型训练yolo神经网络的方法 |
CN111325212A (zh) * | 2020-02-18 | 2020-06-23 | 北京奇艺世纪科技有限公司 | 模型训练方法、装置、电子设备和计算机可读存储介质 |
CN111709431B (zh) * | 2020-06-15 | 2023-02-10 | 厦门大学 | 即时翻译方法、装置、计算机设备和存储介质 |
CN111680758B (zh) * | 2020-06-15 | 2024-03-05 | 杭州海康威视数字技术股份有限公司 | 图像训练样本生成方法和装置 |
CN111739159A (zh) * | 2020-06-29 | 2020-10-02 | 上海商汤智能科技有限公司 | 三维模型生成方法、神经网络生成方法及装置 |
JP6932821B1 (ja) * | 2020-07-03 | 2021-09-08 | 株式会社ベガコーポレーション | 情報処理システム、方法及びプログラム |
US11694301B2 (en) | 2020-09-30 | 2023-07-04 | Alibaba Group Holding Limited | Learning model architecture for image data semantic segmentation |
CN112581604B (zh) * | 2020-12-21 | 2024-02-02 | 国网安徽省电力有限公司超高压分公司 | 变电站设备表面油污图像数据生成方法及装置 |
CN112818826A (zh) * | 2021-01-28 | 2021-05-18 | 北京市商汤科技开发有限公司 | 目标识别方法及装置、电子设备及存储介质 |
CN112950760B (zh) * | 2021-01-29 | 2023-08-11 | 杭州群核信息技术有限公司 | 一种三维合成场景数据生成系统和方法 |
WO2022165809A1 (zh) * | 2021-02-07 | 2022-08-11 | 华为技术有限公司 | 一种训练深度学习模型的方法和装置 |
CN113808251B (zh) * | 2021-08-09 | 2024-04-12 | 杭州易现先进科技有限公司 | 一种基于语义分割的稠密重建的方法、系统、装置和介质 |
CN113762422B (zh) * | 2021-11-09 | 2022-04-05 | 广州思德医疗科技有限公司 | 一种图像训练集合成方法及系统 |
CN114419289B (zh) * | 2021-12-29 | 2022-12-09 | 广州市玄武无线科技股份有限公司 | 一种基于Unity的虚拟场景货架陈列方法及系统 |
CN115249306B (zh) * | 2022-09-13 | 2022-12-02 | 腾讯科技(深圳)有限公司 | 图像分割模型训练方法、图像处理方法、装置及存储介质 |
CN115496818B (zh) * | 2022-11-08 | 2023-03-10 | 之江实验室 | 一种基于动态物体分割的语义图压缩方法和装置 |
CN115578499B (zh) * | 2022-11-29 | 2023-04-07 | 北京天图万境科技有限公司 | 一种非对称色彩失调一致性的拟合重建的方法及装置 |
CN115690592B (zh) * | 2023-01-05 | 2023-04-25 | 阿里巴巴(中国)有限公司 | 图像处理方法和模型训练方法 |
CN116109753B (zh) * | 2023-04-12 | 2023-06-23 | 深圳原世界科技有限公司 | 三维云渲染引擎装置及数据处理方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011065382A (ja) | 2009-09-16 | 2011-03-31 | Konami Digital Entertainment Co Ltd | 画像処理装置、画像処理装置の制御方法、及びプログラム |
JP2013097473A (ja) | 2011-10-28 | 2013-05-20 | Nintendo Co Ltd | ゲーム処理システム、ゲーム処理方法、ゲーム処理装置およびゲーム処理プログラム |
JP2016006616A (ja) | 2014-06-20 | 2016-01-14 | ヤフー株式会社 | 学習装置、学習方法及び学習プログラム |
JP2017037424A (ja) | 2015-08-07 | 2017-02-16 | 日本放送協会 | 学習装置、認識装置、学習プログラム、及び認識プログラム |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7574018B2 (en) * | 2005-12-07 | 2009-08-11 | Trw Automotive U.S. Llc | Virtual reality scene generator for generating training images for a pattern recognition classifier |
CN102308320B (zh) * | 2009-02-06 | 2013-05-29 | 香港科技大学 | 从图像生成三维模型 |
US9201253B2 (en) * | 2010-12-20 | 2015-12-01 | Sharp Kabushiki Kaisha | Display device |
US9153031B2 (en) * | 2011-06-22 | 2015-10-06 | Microsoft Technology Licensing, Llc | Modifying video regions using mobile device input |
US8824797B2 (en) * | 2011-10-03 | 2014-09-02 | Xerox Corporation | Graph-based segmentation integrating visible and NIR information |
US8971612B2 (en) * | 2011-12-15 | 2015-03-03 | Microsoft Corporation | Learning image processing tasks from scene reconstructions |
US20140328570A1 (en) * | 2013-01-09 | 2014-11-06 | Sri International | Identifying, describing, and sharing salient events in images and videos |
US9030470B2 (en) * | 2012-08-14 | 2015-05-12 | Hong Kong Applied Science and Technology Research Institute Company Limited | Method and system for rapid three-dimensional shape measurement |
CN103268635B (zh) * | 2013-05-15 | 2016-08-10 | 北京交通大学 | 一种几何网格场景模型的分割及语义标注方法 |
CN103679192B (zh) * | 2013-09-30 | 2017-01-04 | 中国人民解放军理工大学 | 基于协方差特征的图像场景类型判别方法 |
CN104050722B (zh) * | 2014-06-06 | 2016-12-07 | 北京航空航天大学 | 一种图像内容驱动的室内三维场景布局与颜色迁移生成方法 |
GB2532075A (en) * | 2014-11-10 | 2016-05-11 | Lego As | System and method for toy recognition and detection based on convolutional neural networks |
CN104809187B (zh) * | 2015-04-20 | 2017-11-21 | 南京邮电大学 | 一种基于rgb‑d数据的室内场景语义标注方法 |
JP2018515197A (ja) * | 2015-04-29 | 2018-06-14 | シーメンス アクチエンゲゼルシヤフトSiemens Aktiengesellschaft | 腹腔鏡および内視鏡による2d/2.5d画像データにおけるセマンティックセグメンテーションのための方法およびシステム |
US20160342861A1 (en) * | 2015-05-21 | 2016-11-24 | Mitsubishi Electric Research Laboratories, Inc. | Method for Training Classifiers to Detect Objects Represented in Images of Target Environments |
EP3156942A1 (en) * | 2015-10-16 | 2017-04-19 | Thomson Licensing | Scene labeling of rgb-d data with interactive option |
US9836673B2 (en) * | 2015-12-30 | 2017-12-05 | International Business Machines Corporation | System, method and computer program product for training a three dimensional object indentification system and identifying three dimensional objects using semantic segments |
US10217195B1 (en) * | 2017-04-17 | 2019-02-26 | Amazon Technologies, Inc. | Generation of semantic depth of field effect |
-
2017
- 2017-07-25 CN CN201780001794.5A patent/CN107690672B/zh active Active
- 2017-07-25 WO PCT/CN2017/094312 patent/WO2019019019A1/zh unknown
- 2017-07-25 JP JP2020524660A patent/JP7203844B2/ja active Active
- 2017-07-25 EP EP17919247.1A patent/EP3660787A4/en not_active Ceased
-
2020
- 2020-01-23 US US16/750,355 patent/US11281943B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011065382A (ja) | 2009-09-16 | 2011-03-31 | Konami Digital Entertainment Co Ltd | 画像処理装置、画像処理装置の制御方法、及びプログラム |
JP2013097473A (ja) | 2011-10-28 | 2013-05-20 | Nintendo Co Ltd | ゲーム処理システム、ゲーム処理方法、ゲーム処理装置およびゲーム処理プログラム |
JP2016006616A (ja) | 2014-06-20 | 2016-01-14 | ヤフー株式会社 | 学習装置、学習方法及び学習プログラム |
JP2017037424A (ja) | 2015-08-07 | 2017-02-16 | 日本放送協会 | 学習装置、認識装置、学習プログラム、及び認識プログラム |
Non-Patent Citations (1)
Title |
---|
SceneNet RGB-D: 5M Photorealistic Images of Synthetic Indoor Trajectories with Ground Truth,arXiv.org,2016年12月15日,https://arxiv.org/abs/1612.05079 |
Also Published As
Publication number | Publication date |
---|---|
CN107690672A (zh) | 2018-02-13 |
US11281943B2 (en) | 2022-03-22 |
CN107690672B (zh) | 2021-10-01 |
JP2020526860A (ja) | 2020-08-31 |
US20200160114A1 (en) | 2020-05-21 |
WO2019019019A1 (zh) | 2019-01-31 |
EP3660787A1 (en) | 2020-06-03 |
EP3660787A4 (en) | 2021-03-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7203844B2 (ja) | トレーニングデータの生成方法、生成装置及びその画像のセマンティックセグメンテーション方法 | |
US11410320B2 (en) | Image processing method, apparatus, and storage medium | |
KR102653808B1 (ko) | 3d 재구성에서 구조 특징들을 검출하고 결합하기 위한 방법들 및 시스템들 | |
US10824910B2 (en) | Image processing method, non-transitory computer readable storage medium and image processing system | |
CN105069827B (zh) | 一种采用三维模型处理视频转场的方法 | |
US11425283B1 (en) | Blending real and virtual focus in a virtual display environment | |
CN108399634B (zh) | 基于云端计算的rgb-d数据生成方法及装置 | |
CN111105347B (zh) | 一种生成带深度信息的全景图的方法、装置及存储介质 | |
CN112258610A (zh) | 图像标注方法、装置、存储介质及电子设备 | |
WO2014170757A2 (en) | 3d rendering for training computer vision recognition | |
US20140306953A1 (en) | 3D Rendering for Training Computer Vision Recognition | |
Ma et al. | Neural compositing for real-time augmented reality rendering in low-frequency lighting environments | |
CN114247136A (zh) | 虚拟场景的制作方法及装置、电子设备、存储介质 | |
Wei et al. | Simulating shadow interactions for outdoor augmented reality with RGBD data | |
RU2606875C2 (ru) | Способ и система отображения масштабных сцен в режиме реального времени | |
CN110969688A (zh) | 一种实景三维模型实时匀色方法 | |
Liu et al. | Fog effect for photography using stereo vision | |
KR20110117487A (ko) | 모션 컨트롤 카메라를 이용한 실사와 cg 합성 애니메이션 제작 방법 및 시스템 | |
US20230252715A1 (en) | Image processing method, apparatus and device and storage medium | |
WO2022217470A1 (en) | Hair rendering system based on deep neural network | |
CN112689064A (zh) | 视频画面处理方法和装置 | |
JP2023540652A (ja) | ソフトレイヤ化および深度認識インペインティングを用いた単画像3d写真技術 | |
CN112991498A (zh) | 一种镜头动画快速生成系统及方法 | |
CN112106115A (zh) | 估计用于增强现实的光的方法及其电子设备 | |
CN117082225B (zh) | 一种虚拟延时视频的生成方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200121 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210309 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20210310 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210604 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210921 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220517 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220810 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221227 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7203844 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |