JP6601825B2 - 画像処理装置および２次元画像生成用プログラム - Google Patents

画像処理装置および２次元画像生成用プログラム Download PDF

Info

Publication number
JP6601825B2
JP6601825B2 JP2018073826A JP2018073826A JP6601825B2 JP 6601825 B2 JP6601825 B2 JP 6601825B2 JP 2018073826 A JP2018073826 A JP 2018073826A JP 2018073826 A JP2018073826 A JP 2018073826A JP 6601825 B2 JP6601825 B2 JP 6601825B2
Authority
JP
Japan
Prior art keywords
image
evaluation value
data
image data
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018073826A
Other languages
English (en)
Other versions
JP2019185295A (ja
Inventor
一星 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Embodyme
Original Assignee
Embodyme
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Embodyme filed Critical Embodyme
Priority to JP2018073826A priority Critical patent/JP6601825B2/ja
Priority to US16/498,875 priority patent/US10893252B2/en
Priority to EP19774044.2A priority patent/EP3591620B1/en
Priority to ES19774044T priority patent/ES2906626T3/es
Priority to PCT/JP2019/014985 priority patent/WO2019194282A1/ja
Priority to CN201980002055.7A priority patent/CN110546687B/zh
Publication of JP2019185295A publication Critical patent/JP2019185295A/ja
Application granted granted Critical
Publication of JP6601825B2 publication Critical patent/JP6601825B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Description

本発明は、画像処理装置および２次元画像生成用プログラムに関し、特に、３Ｄモデルの３次元データから２次元画像データを生成する装置に用いて好適なものである。
従来、コンピュータグラフィックス分野において、撮影画像から３Ｄモデルを生成する技術が多数提供されている。その中には、機械学習を用いて、２次元画像から３次元形状を推定するようにした技術も存在する（例えば、特許文献１参照）。
逆に、３Ｄモデルから２次元画像を生成する技術も知られている（例えば、特許文献２参照）。この特許文献２には、３次元モデルデータの利用および管理の利便性を向上させるために、３Ｄモデルの特徴部を含むように３Ｄモデルのサムネイル画像を作成することが開示されている。
２次元画像から３Ｄモデルの作成と、３Ｄモデルから２次元画像の作成とを双方向で行うようにした技術も知られている（例えば、特許文献３参照）。この特許文献３に記載の画像処理装置は、撮影された顔画像を修正する際に、自然な顔の形に容易に修正することができるようにすることを目的としたものであり、被写体の３Ｄモデルを生成し、当該生成した３Ｄモデルの表面に被写体の撮影画像をマッピングした後、３Ｄモデルの形状を変形する。そして、変形した３Ｄモデルを、撮影画像をマッピングした方向に射影し、これによって得られた２次元平面画像を処理結果画像とする。
ＷＯ０６／０４９１４７号公報 特開２０１７−４０６５号公報 特開２００６−４１５８号公報
ところで、特許文献２に記載の画像処理装置において作成している２次元画像は、３Ｄモデルの特徴部を含むサムネイル画像であるから、このサムネイル画像自体を高精度に生成する必要性はそれほど高くない。これに対し、特許文献３に記載の画像処理装置では、自然な顔の形に修正された２次元画像を得ることを目的としているので、２次元画像を一定レベル以上の品質で高精度に生成することが要求される。３Ｄモデルから高精度な２次元画像を生成したいというニーズは、特許文献３に記載されたユースケース以外にも多く存在する。ここで言う高精度な２次元画像とは、撮影画像と遜色のない２次元画像のことである。
しかしながら、３Ｄモデルから２次元画像を生成する場合において、その２次元画像を高精度に生成するためには、従来は３Ｄモデル自体を高精度に生成する必要があった。また、その３Ｄモデルに対する撮影画像のマッピング（貼り付け）も正確に行う必要があった。さらに、撮影画像がマッピングされた３Ｄモデルを２次元画像に変換する際に、特許文献３のように単純な投影を行うだけでは、高精度な２次元画像は得られない。すなわち、現実のあらゆる光の物理現象を忠実にシミュレーションし、そのシミュレーション結果を反映させるように変換処理を行う必要があった。しかしながら、これらの全て満たす処理を実際に行うのは困難であり、３Ｄモデルから高精度な２次元画像を生成することはできていないというのが実情であった。
本発明は、このような問題を解決するために成されたものであり、３Ｄモデルから撮影画像と遜色のない高精度な２次元画像を生成することができるようにすることを目的とする。
上記した課題を解決するために、本発明は、３次元データから所定の２Ｄ変換アルゴリズムに従って２次元画像データを生成する２Ｄ画像生成部と、生成された２次元画像データと正解画像として用いる撮影画像データとの近似性を表す評価値を算出する評価値算出部とを備え、３次元データを２Ｄ画像生成部に入力して処理を繰り返し行ったときに生成される２次元画像データについて都度算出される評価値が最適化するように、２Ｄ画像生成部の２Ｄ変換アルゴリズムを学習によって改変するようにしている。
上記のように構成した本発明によれば、２Ｄ画像生成部による３次元データから２次元画像データの生成が、２Ｄ変換アルゴリズムを改変しながら繰り返し実行される。このとき、高精度な撮影画像データを正解画像として、２Ｄ画像生成部により生成される２次元画像データについて都度算出される評価値が最適化するように、２Ｄ変換アルゴリズムが学習により進化してく。これにより、高精度な３Ｄモデルの３次元データでなくても、３Ｄモデルから撮影画像と遜色のない高精度な２次元画像を生成することができる。
本実施形態による画像処理装置の機能構成例を示すブロック図である。 第１パターンによる学習を行う場合の機能構成例を示すブロック図である。 第２パターンによる学習を行う場合の機能構成例を示すブロック図である。 第３パターンによる学習を行う場合の機能構成例を示すブロック図である。 第４パターンによる学習を行う場合の機能構成例を示すブロック図である。 第１パターン〜第４パターンを適用して学習を行う場合の機能構成例を示すブロック図である。
以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による画像処理装置の機能構成例を示すブロック図である。図１に示すように、本実施形態の画像処理装置は、その機能構成として、３Ｄデータ取得部１１、正解画像取得部１２、２Ｄ画像生成部１３および評価値算出部１４を備えている。これらの各機能ブロック１１〜１４は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１１〜１４は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。
３Ｄデータ取得部１１は、撮影画像が表面にマッピングされた３Ｄモデルの３次元データを取得する。３Ｄデータ取得部１１が取得する３次元データは、高精度な３Ｄモデルの３次元データであることは必須でない。ここで、高精度な３Ｄモデルの３次元データとは、物体の３次元形状を３Ｄモデルによって忠実に表していて、その３Ｄモデルに対する撮影画像のマッピング（貼り付け）も正確に行われているデータをいう。本実施形態の３Ｄデータ取得部１１が取得する３次元データは、ここまで高精度なデータでなくてもよい。例えば、３Ｄデータ取得部１１が取得する３次元データは、２次元の撮影画像データを公知の技術により３Ｄモデルに変換したデータとすることが可能である。
正解画像取得部１２は、学習の正解画像として用いる２次元の撮影画像データを取得する。例えば、正解画像取得部１２が取得する撮影画像データは、３Ｄデータ取得部１１により取得される３次元データの生成元として用いられた撮影画像データとすることが可能である。
２Ｄ画像生成部１３は、３Ｄデータ取得部１１により取得された３次元データから所定の２Ｄ変換アルゴリズムに従って２次元画像データを生成する。なお、この２Ｄ変換アルゴリズムを、以下では記号“ｇ()”で表すものとする。ここで用いる２Ｄ変換アルゴリズムは、公知のアルゴリズムを用いることが可能である。ただし、後述するように、この２Ｄ変換アルゴリズムを学習によって改変するので、改変が可能なアルゴリズムであることを必須とする。
なお、本実施形態において、２Ｄ変換アルゴリズムを改変することは、例えば、３次元データを特定する３次元空間座標上の値を、２次元画像データを特定する２次元空間座標上の値に変換する際の変換処理ロジックの変更や、その変換処理ロジックにおいて用いる関数やパラメータの変更、変換処理ロジックにおいて用いるライブラリの変更などの少なくとも１つを含む。
評価値算出部１４は、２Ｄ画像生成部１３により生成された２次元画像データと、正解画像取得部１２により取得された撮影画像データとの近似性を表す評価値を算出する。そして、２Ｄ画像生成部１３は、３次元データを２Ｄ画像生成部１３に入力して処理を繰り返し行ったときに生成される２次元画像データについて都度算出される評価値が最適化するように、２Ｄ変換アルゴリズムを学習によって改変する。
本実施形態では、２Ｄ画像生成部１３は、以下に示す４つのパターンを適用して２Ｄ変換アルゴリズムの学習を行う。図２〜図５は、この４つのパターンによる学習を行う場合における画像処理装置の具体的な機能構成例を示している。以下に、４つのパターンの学習を順に説明する。
＜第１パターン＞
図２は、第１パターンによる学習を行う場合の機能構成例を示すブロック図である。第１パターンによる学習は、いわゆるＧＡＮ（Generative Adversarial Network：敵対的生成ネットワーク）として知られた学習アルゴリズムを適用したものである。図２に示すように、画像処理装置は、第１パターンによる学習を行うための機能構成として、２Ｄ画像生成部１３Ａおよび第１の評価値算出部１４Ａを備えている。２Ｄ画像生成部１３Ａは、ＧＡＮにおいて一般的に生成器（generator）と呼ばれるものに相当する。一方、第１の評価値算出部１４Ａは、ＧＡＮにおいて一般的に識別器（discriminator）と呼ばれるものに相当する。
第１の評価値算出部１４Ａは、３Ｄデータ取得部１１により取得された３次元データ（以下、記号“ｓ”で表す）と、正解画像取得部１２により正解画像として取得された撮影画像データ（以下、記号“ｘ”で表す。正解画像ｘと記すこともある。）または２Ｄ画像生成部１３Ａにより３次元データｓから生成された２次元画像データ（以下、記号“ｇ(ｓ)”で表す）とを入力として、所定の識別アルゴリズムに従って、入力された画像が正解画像ｘであるか、２Ｄ画像生成部１３Ａにより生成された２次元画像データｇ(ｓ)であるかを識別し、正解画像であると識別される確率を第１の評価値（以下、記号“Ａ”で表す）として算出する。
画像処理装置は、２次元画像データｇ(ｓ)を入力として第１の評価値算出部１４Ａにより算出される第１の評価値Ａを最大化するように２Ｄ画像生成部１３Ａの２Ｄ変換アルゴリズムを改変する。また、画像処理装置は、２次元画像データｇ(ｓ)を入力として第１の評価値算出部１４Ａにより算出される第１の評価値Ａを最小化するとともに、撮影画像データ（正解画像）ｘを入力として第１の評価値算出部１４Ａにより算出される第１の評価値Ａを最大化するように第１の評価値算出部１４Ａの識別アルゴリズムを改変する。識別アルゴリズムを改変するとは、入力された画像が正解画像か否かを識別する際の識別処理ロジックの変更や、その識別処理ロジックにおいて用いる関数やパラメータの変更、識別処理ロジックにおいて用いるライブラリの変更などの少なくとも１つを含む。
ここで、２次元画像データｇ(ｓ)を入力として第１の評価値算出部１４Ａにより算出される第１の評価値Ａを最小化するとともに、正解画像ｘを入力として第１の評価値算出部１４Ａにより算出される第１の評価値Ａを最大化するように第１の評価値算出部１４Ａの識別アルゴリズムを改変するというのは、識別器に相当する第１の評価値算出部１４Ａが、入力される画像が正解画像なのかそうでないのかを識別する能力を高めるように学習することを意味する。この識別能力が高まっていけば、第１の評価値算出部１４Ａは、正解画像とわずかに異なる画像であっても、それが正解画像ではないと識別することができるようになる。
一方、２次元画像データｇ(ｓ)を入力として第１の評価値算出部１４Ａにより算出される第１の評価値Ａを最大化するように２Ｄ画像生成部１３Ａの２Ｄ変換アルゴリズムを改変するというのは、２Ｄ画像生成部１３Ａが、第１の評価値算出部１４Ａが正解画像かどうかを識別できないような２次元画像データｇ(ｓ)を生成する能力を高めるように学習することを意味する。この生成能力が高まっていけば、２Ｄ画像生成部１３Ａは、正解画像と殆ど相違のない２次元画像データｇ(ｓ)を生成することができるようになる。
実際には、２Ｄ画像生成部１３Ａによる学習と、第１の評価値算出部１４Ａによる学習とを交互に繰り返す。このように、２Ｄ画像生成部１３Ａ（generator）は、正解画像ｘにできるだけ近く第１の評価値算出部１４Ａを騙せるような２次元画像データｇ(ｓ)を生成し、第１の評価値算出部１４Ａ（discriminator）は、２Ｄ画像生成部１３Ａが正解画像に似せようとして生成した２次元画像データｇ(ｓ)と正解画像ｘとをできるだけ見分けられるように学習する。これにより、学習が進むと、２Ｄ画像生成部１３Ａは、撮影画像データｘと見分けがつかない２次元画像データｇ(ｓ)を生成することができるようになる。
＜第２パターン＞
図３は、第２パターンによる学習を行う場合の機能構成例を示すブロック図である。第２パターンによる学習は、いわゆるスタイル変換（Neural Style Transfer）として知られた学習アルゴリズムの損失関数を適用したものである。図３に示すように、画像処理装置は、第２パターンによる学習を行うための機能構成として、２Ｄ画像生成部１３Ｂおよび第２の評価値算出部１４Ｂを備えている。
第２の評価値算出部１４Ｂは、２次元画像データの画像分類のために学習済みのニューラルネットワークを有する。以下では、ニューラルネットワークを記号“Φ”で表し、当該ネットワークの各階層をΦ_Ｌで表す。第２の評価値算出部１４Ｂは、当該ニューラルネットワークΦを構成する各階層Φ_Ｌにおいて、正解画像取得部１２により取得された撮影画像データｘおよび２Ｄ画像生成部１３Ｂにより生成された２次元画像データｇ(ｓ)のそれぞれに関する値の差の合計値または平均値を第２の評価値（以下、記号“Ｂ”で表す）として算出する。
すなわち、ニューラルネットワークΦの入力層（第１階層）Φ_１には、正解画像取得部１２により取得された正解画像ｘおよび２Ｄ画像生成部１３Ｂにより生成された２次元画像データｇ(ｓ)が入力される。ニューラルネットワークΦの第２階層Φ_２では、第１階層Φ_１の正解画像ｘおよび２次元画像データｇ(ｓ)からそれぞれ抽出された特徴量群をマップ化した特徴マップが生成される。ニューラルネットワークΦの第３階層Φ_２では、正解画像ｘおよび２次元画像データｇ(ｓ)のそれぞれに対応する第２階層Φ_２の特徴マップからそれぞれ更に抽出された特徴量群をマップ化した特徴マップが生成される。以下同様にして、第３階層以降Φ_Ｌ（Ｌ＝３，４，・・・）において特徴マップが生成される。
例えば、第２の評価値算出部１４Ｂは、ニューラルネットワークΦの第１階層Φ_１における正解画像ｘの各ピクセルにおける色の値と２次元画像データｇ(ｓ) の各ピクセルにおける色の値との差の和または平均値（以下、差の和または平均値を単に差分と称することがある）を算出する。また、第２の評価値算出部１４Ｂは、第２階層以降Φ_Ｌ（Ｌ＝２，３，・・・）のそれぞれにおいて、正解画像ｘおよび２次元画像データｇ(ｓ)のそれぞれから生成される特徴マップにおける特徴量群の差の和または平均値（差分）を算出する。そして、各階層Φ_Ｌ（Ｌ＝１，２，３，・・・）において算出した差分を合計し、その合計値または平均値を第２の評価値Ｂとして算出する。
画像処理装置は、第２の評価値算出部１４Ｂにより算出される第２の評価値Ｂを最小化するように２Ｄ画像生成部１３Ｂの２Ｄ変換アルゴリズムを改変する。第２の評価値Ｂを最小化するように２Ｄ画像生成部１３Ｂの２Ｄ変換アルゴリズムを改変するというのは、２Ｄ画像生成部１３Ｂが正解画像ｘと殆ど差のない２次元画像データｇ(ｓ)を生成する能力を高めるように学習することを意味する。この生成能力が高まっていけば、２Ｄ画像生成部１３Ｂは、撮影画像データｘと殆ど相違のない２次元画像データｇ(ｓ)を生成することができるようになる。
＜第３パターン＞
図４は、第３パターンによる学習を行う場合の機能構成例を示すブロック図である。第４パターンによる学習は、いわゆるＣｙｃｌｅＧＡＮとして知られた学習アルゴリズムを適用したものである。図４に示すように、画像処理装置は、第３パターンによる学習を行うための機能構成として、２Ｄ画像生成部１３Ｃおよび評価値算出部１４Ｃを備えている。評価値算出部１４Ｃは、３次元データ生成部１４Ｃ−１、第１差分値算出部１４Ｃ−２、第２差分値算出部１４Ｃ−３および第３の評価値算出部１４Ｃ−４を備えている。
３次元データ生成部１４Ｃ−１は、２次元の画像データから３Ｄモデルの３次元データを所定の３Ｄ変換アルゴリズムに従って生成する。なお、この３Ｄ変換アルゴリズムを、以下では記号“ｆ()”で表すものとする。ここで用いる３Ｄ変換アルゴリズムは、公知のアルゴリズムを用いることが可能である。ただし、後述するように、この３Ｄ変換アルゴリズムを学習によって改変するので、改変が可能なアルゴリズムであることを必須とする。
なお、本実施形態において、３Ｄ変換アアルゴリズムを改変することは、例えば、２次元画像データを特定する２次元空間座標上の値を、３次元データを特定する３次元空間座標上の値に変換する際の変換処理ロジックの変更や、その変換処理ロジックにおいて用いる関数やパラメータの変更、変換処理ロジックにおいて用いるライブラリの変更などの少なくとも１つを含む。
本実施形態では、３次元データ生成部１４Ｃ−１は、正解画像取得部１１により取得された撮影画像データ（正解画像）ｘから３次元データ（以下、記号“ｆ(ｘ)”で表す）を生成するとともに、２Ｄ画像生成部１３Ｃにより３次元データｓをもとに生成された２次元画像データｇ(ｓ)から３次元データ（以下、記号“ｆ(ｇ(ｓ))”で表す）を生成する。３次元データｆ(ｇ(ｓ))の生成は、３次元データｓから生成された２次元画像データｇ(ｓ)を元の３次元データｓに戻す処理に相当する（ただし、ｓ＝ｆ(ｇ(ｓ))になるとは限らない）。３次元データ生成部１４Ｃ−１により生成された３次元データｆ(ｘ)は２Ｄ画像生成部１３Ｃに供給され、３次元データｆ(ｇ(ｓ))は第１差分値算出部１４Ｃ−２に供給される。
２Ｄ画像生成部１３Ｃは、３Ｄデータ取得部１１により取得された３次元データｓから所定の２Ｄ変換アルゴリズムに従って２次元画像データｇ(ｓ)を生成する。これに加えて、２Ｄ画像生成部１３Ｃは、正解画像取得部１１により取得された正解画像ｘから３次元データ生成部１４Ｃ−１により生成された３次元データｆ(ｘ)をもとに、２Ｄ変換アルゴリズムに従って２次元画像データｇ(ｆ(ｘ)) を生成する。この２次元画像データｇ(ｆ(ｘ))の生成は、正解画像ｘから生成された３次元データｆ(ｘ)を元の正解画像ｘに戻す処理に相当する（ただし、ｘ＝ｇ(ｆ(ｘ)になるとは限らない）。２Ｄ画像生成部１３Ｃにより生成された２次元画像データｇ(ｓ)は３次元データ生成部１４Ｃ−１に供給され、２次元画像データｇ(ｆ(ｘ)) は第２差分値算出部１４Ｃ−３に供給される。
第１差分値算出部１４Ｃ−２は、２Ｄ画像生成部１３Ｃにより生成された２次元画像データｇ(ｓ)から３次元データ生成部１４Ｃ−１により生成された３次元データｆ(ｇ(ｓ))と、３Ｄデータ取得部１１により取得された３次元データｓとの差を第１差分値として算出する。第１差分値は、例えば、３次元データｆ(ｇ(ｓ))の各座標における色の値と３次元データｓの各座標における色の値との差の和または平均値とすることが可能である。ここで、２Ｄ画像生成部１３Ｃの２Ｄ変換アルゴリズムが完璧で、かつ、３次元データ生成部１４Ｃ−１の３Ｄ変換アルゴリズムも完璧であれば、３次元データｆ(ｇ(ｓ))と３次元データｓとが同じとなり、第１差分値はゼロとなる。
第２差分値算出部１４Ｃ−３は、正解画像取得部１１により取得された正解画像ｘから３次元データ生成部１４Ｃ−１により生成された３次元データｆ(ｘ)をもとに２Ｄ画像生成部１３Ｃにより生成した２次元画像データｇ(ｆ(ｘ))と、正解画像取得部１１により取得された正解画像ｘとの差を第２差分値として算出する。第２差分値は、例えば、２次元画像データｇ(ｆ(ｘ))の各ピクセルにおける色の値と正解画像ｘの各ピクセルにおける色の値との差の和または平均値とすることが可能である。ここで、２Ｄ画像生成部１３Ｃの２Ｄ変換アルゴリズムが完璧で、かつ、３次元データ生成部１４Ｃ−１の３Ｄ変換アルゴリズムも完璧であれば、２次元画像データｇ(ｆ(ｘ))と正解画像ｘとが同じとなり、第２差分値はゼロとなる。
第３の評価値算出部１４Ｃ−４は、第１差分値算出部１４Ｃ−２により算出された第１差分値と第２差分値算出部１４Ｃ−３により算出された第２差分値との合計値を第３の評価値（以下、記号“Ｃ”で表す）として算出する。
画像処理装置は、第３の評価値算出部１４Ｃ−４により算出される第３の評価値Ｃを最小化するように２Ｄ画像生成部１３Ｃの２Ｄ変換アルゴリズムおよび３次元データ生成部１４Ｃ−１の３Ｄ変換アルゴリズムを改変する。第３の評価値Ｃを最小化するように２Ｄ画像生成部１３Ｃの２Ｄ変換アルゴリズムおよび３次元データ生成部１４Ｃ−１の３Ｄ変換アルゴリズムを改変するというのは、２Ｄ画像生成部１３Ｃが正解画像ｘと殆ど差のない２次元画像データｇ(ｆ(ｘ))を生成し、かつ、３次元データ生成部１４Ｃ−１が３次元データｓ（３次元データの正解データと言えるもの）と殆ど差のない３次元データｆ(ｇ(ｓ))を生成する能力を高めるように学習することを意味する。この生成能力が高まっていけば、２Ｄ画像生成部１３Ｃは、撮影画像データｘと殆ど相違のない２次元画像データｇ(ｓ)を生成することができるようになる。
＜第４パターン＞
図５は、第４パターンによる学習を行う場合の機能構成例を示すブロック図である。図５に示すように、画像処理装置は、第４パターンによる学習を行うための機能構成として、２Ｄ画像生成部１３Ｄおよび第４の評価値算出部１４Ｄを備えている。
第４の評価値算出部１４Ｄは、２Ｄ画像生成部１３Ｄにより生成された２次元画像データｇ(ｓ)と正解画像取得部１１により取得された正解画像ｘとの差を第４の評価値（以下、記号“Ｄ”で表す）として算出する。
画像処理装置は、第４の評価値算出部１４Ｄにより算出される第４の評価値Ｄを最小化するように２Ｄ画像生成部１３Ｄの２Ｄ変換アルゴリズムを改変する。第４の評価値Ｄを最小化するように２Ｄ画像生成部１３Ｄの２Ｄ変換アルゴリズムを改変するというのは、２Ｄ画像生成部１３Ｄが正解画像ｘと殆ど差のない２次元画像データｇ(ｓ)を生成する能力を高めるように学習することを意味する。この生成能力が高まっていけば、２Ｄ画像生成部１３Ｄは、撮影画像データｘと殆ど相違のない２次元画像データｇ(ｓ)を生成することができるようになる。
なお、評価値算出部１４は、図２〜図５に示した第１パターン〜第４パターンの何れか１つのみを備える構成としてもよいし、第１パターン〜第４パターンのうち少なくとも２つを備え、当該少なくとも２つにより算出される評価値をそれぞれ最適化するように２Ｄ変換アルゴリズムを改変するようにしてもよい。なお、少なくとも２つの中に第１パターンが含まれる場合には、２次元画像データｇ(ｓ)を入力として第１の評価値算出部１４Ａにより算出される第１の評価値Ａを最小化するとともに、正解画像ｘを入力として第１の評価値算出部１４Ａにより算出される第１の評価値Ａを最大化するように第１の評価値算出部１４Ａの識別アルゴリズムを更に改変する。また、少なくとも２つの中に第３パターンが含まれる場合には、第３の評価値Ｃを最小化するように３次元データ生成部１４Ｃ−１の３Ｄ変換アルゴリズムを更に改変する。
図６は、第１パターン〜第４パターンを全て適用した場合における学習処理部１４の機能構成例を示す図である。なお、ここでは図示を簡略化しているが、各パターンの詳細な構成は、図２〜図５に示した通りである。この場合、２Ｄ画像生成部１３は、各評価値算出部１４Ａ〜１４Ｄにより算出される各評価値Ａ〜Ｄをそれぞれ最適化（最大化または最小化）するように２Ｄ変換アルゴリズムを改変する。また、評価値算出部１４は、２次元画像データｇ(ｓ)を入力として第１の評価値算出部１４Ａにより算出される第１の評価値Ａを最小化するとともに、正解画像ｘを入力として第１の評価値算出部１４Ａにより算出される第１の評価値Ａを最大化するように第１の評価値算出部１４Ａの識別アルゴリズムを改変し、第３の評価値Ｃを最小化するように３次元データ生成部１４Ｃ−１の３Ｄ変換アルゴリズムを改変する。
なお、２Ｄ画像生成部１３は、第１パターン〜第４パターンのうち少なくとも２つにより算出される評価値をそれぞれ最適化することに代えて、当該少なくとも２つにより算出される評価値を重み付け加算し、その重み付け加算値を最適化するように２Ｄ変換アルゴリズムを改変するようにしてもよい。例えば、図６に示す構成において、２Ｄ画像生成部１３は、Ｈ＝αＡ＋βＢ＋γＣ＋δＤ（α，β，γ，δはそれぞれ重み付け係数で、ゼロを含む任意の値に設定可能）なる重み付け評価値Ｈを算出し、この重み付け評価値Ｈを最小化するように２Ｄ変換アルゴリズムを改変するようにしてよい。
その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
１１ ３Ｄデータ取得部
１２ 正解画像取得部
１３，１３Ａ〜１３Ｄ ２Ｄ画像生成部
１４ 評価値算出部
１４Ａ 第１の評価値算出部
１４Ｂ 第２の評価値算出部
１４Ｃ−１ ３次元データ生成部
１４Ｃ−２ 第１差分値算出部
１４Ｃ−３ 第２差分値算出部
１４Ｃ−４ 第３の評価値算出部
１４Ｄ 第４の評価値算出部

Claims (10)

  1. 撮影画像が表面にマッピングされた３Ｄモデルの３次元データを取得する３Ｄデータ取得部と、
    正解画像として用いる撮影画像データを取得する正解画像取得部と、
    上記３Ｄデータ取得部により取得された３次元データから所定の２Ｄ変換アルゴリズムに従って２次元画像データを生成する２Ｄ画像生成部と、
    上記２Ｄ画像生成部により生成された上記２次元画像データと上記正解画像取得部により取得された上記撮影画像データとの近似性を表す評価値を算出する評価値算出部とを備え、
    上記２Ｄ画像生成部は、上記３次元データを上記２Ｄ画像生成部に入力して処理を繰り返し行ったときに生成される上記２次元画像データについて都度算出される上記評価値が最適化するように、上記２Ｄ変換アルゴリズムを学習によって改変し、
    上記評価値算出部は、上記３Ｄデータ取得部により取得された上記３次元データと、上記正解画像取得部により取得された上記撮影画像データまたは上記２Ｄ画像生成部により生成された上記２次元画像データとを入力として、所定の識別アルゴリズムに従って、入力された画像が正解画像であるか、上記２Ｄ画像生成部により生成された２次元画像データであるかを識別し、上記正解画像であると識別される確率を第１の評価値として算出する第１の評価値算出部により構成され、
    上記２次元画像データを入力として上記第１の評価値算出部により算出される上記第１の評価値を最大化するように上記２Ｄ画像生成部の上記２Ｄ変換アルゴリズムを改変し、上記２次元画像データを入力として上記第１の評価値算出部により算出される上記第１の評価値を最小化するとともに、上記撮影画像データを入力として上記第１の評価値算出部により算出される上記第１の評価値を最大化するように上記第１の評価値算出部の上記識別アルゴリズムを改変することを特徴とする画像処理装置。
  2. 撮影画像が表面にマッピングされた３Ｄモデルの３次元データを取得する３Ｄデータ取得部と、
    正解画像として用いる撮影画像データを取得する正解画像取得部と、
    上記３Ｄデータ取得部により取得された３次元データから所定の２Ｄ変換アルゴリズムに従って２次元画像データを生成する２Ｄ画像生成部と、
    上記２Ｄ画像生成部により生成された上記２次元画像データと上記正解画像取得部により取得された上記撮影画像データとの近似性を表す評価値を算出する評価値算出部とを備え、
    上記２Ｄ画像生成部は、上記３次元データを上記２Ｄ画像生成部に入力して処理を繰り返し行ったときに生成される上記２次元画像データについて都度算出される上記評価値が最適化するように、上記２Ｄ変換アルゴリズムを学習によって改変し、
    上記評価値算出部は、上記２次元画像データの画像分類のために学習済みのニューラルネットワークを有し、当該ニューラルネットワークを構成する各階層において上記正解画像取得部により取得された上記撮影画像データおよび上記２Ｄ画像生成部により生成された上記２次元画像データのそれぞれに関する値の差の合計値または平均値を第２の評価値として算出する第２の評価値算出部により構成され、
    上記第２の評価値算出部により算出される上記第２の評価値を最小化するように上記２Ｄ画像生成部の上記２Ｄ変換アルゴリズムを改変することを特徴とする画像処理装置。
  3. 撮影画像が表面にマッピングされた３Ｄモデルの３次元データを取得する３Ｄデータ取得部と、
    正解画像として用いる撮影画像データを取得する正解画像取得部と、
    上記３Ｄデータ取得部により取得された３次元データから所定の２Ｄ変換アルゴリズムに従って２次元画像データを生成する２Ｄ画像生成部と、
    上記２Ｄ画像生成部により生成された上記２次元画像データと上記正解画像取得部により取得された上記撮影画像データとの近似性を表す評価値を算出する評価値算出部とを備え、
    上記２Ｄ画像生成部は、上記３次元データを上記２Ｄ画像生成部に入力して処理を繰り返し行ったときに生成される上記２次元画像データについて都度算出される上記評価値が最適化するように、上記２Ｄ変換アルゴリズムを学習によって改変し、
    上記評価値算出部は、
    画像データから３Ｄモデルの３次元データを所定の３Ｄ変換アルゴリズムに従って生成する３次元データ生成部と、
    上記２Ｄ画像生成部により生成された上記２次元画像データから上記３次元データ生成部により生成された３次元データと上記３Ｄデータ取得部により取得された上記３次元データとの差を第１差分値として算出する第１差分値算出部と、
    上記正解画像取得部により取得された上記撮影画像データから上記３次元データ生成部により生成された３次元データをもとに上記２Ｄ画像生成部により生成した２次元画像データと上記正解画像取得部により取得された上記撮影画像データとの差を第２差分値として算出する第２差分値算出部と、
    上記第１差分値算出部により算出された上記第１差分値と上記第２差分値算出部により算出された上記第２差分値との合計値を第３の評価値として算出する第３の評価値算出部とを備え、
    上記第３の評価値算出部により算出される上記第３の評価値を最小化するように上記２Ｄ画像生成部の上記２Ｄ変換アルゴリズムおよび上記３次元データ生成部の上記３Ｄ変換アルゴリズムを改変することを特徴とする画像処理装置。
  4. 撮影画像が表面にマッピングされた３Ｄモデルの３次元データを取得する３Ｄデータ取得部と、
    正解画像として用いる撮影画像データを取得する正解画像取得部と、
    上記３Ｄデータ取得部により取得された３次元データから所定の２Ｄ変換アルゴリズムに従って２次元画像データを生成する２Ｄ画像生成部と、
    上記２Ｄ画像生成部により生成された上記２次元画像データと上記正解画像取得部により取得された上記撮影画像データとの近似性を表す評価値を算出する評価値算出部とを備え、
    上記２Ｄ画像生成部は、上記３次元データを上記２Ｄ画像生成部に入力して処理を繰り返し行ったときに生成される上記２次元画像データについて都度算出される上記評価値が最適化するように、上記２Ｄ変換アルゴリズムを学習によって改変し、
    上記評価値算出部は、
    上記３Ｄデータ取得部により取得された上記３次元データと、上記正解画像取得部により取得された上記撮影画像データまたは上記２Ｄ画像生成部により生成された上記２次元画像データとを入力として、所定の識別アルゴリズムに従って、入力された画像が正解画像であるか、上記２Ｄ画像生成部により生成された２次元画像データであるかを識別し、上記正解画像であると識別される確率を第１の評価値として算出する第１の評価値算出部と、
    上記２次元画像データの画像分類のために学習済みのニューラルネットワークを有し、当該ニューラルネットワークを構成する各階層において上記正解画像取得部により取得された上記撮影画像データおよび上記２Ｄ画像生成部により生成された上記２次元画像データのそれぞれから生成される特徴量を差の合計値または平均値を第２の評価値として算出する第２の評価値算出部と、
    上記２Ｄ画像生成部により生成された上記２次元画像データから所定の３Ｄ変換アルゴリズムに従って生成された３次元データと上記３Ｄデータ取得部により取得された上記３次元データとの差を第１差分値として算出するとともに、上記正解画像取得部により取得された上記撮影画像データから上記所定の３Ｄ変換アルゴリズムに従って生成された３次元データをもとに上記２Ｄ画像生成部により生成した２次元画像データと上記正解画像取得部により取得された上記撮影画像データとの差を第２差分値として算出し、当該算出した上記第１差分値と上記第２差分値との合計値を第３の評価値として算出する第３の評価値算出部と、
    上記２Ｄ画像生成部により生成された上記２次元画像データと上記正解画像取得部により取得された上記撮影画像データとの差を第４の評価値として算出する第４の評価値算出部と、
    のうち少なくとも２つを備え、
    上記少なくとも２つにより算出される評価値をそれぞれ最適化するように上記２Ｄ変換アルゴリズムを改変し、上記少なくとも２つの中に上記第１の評価値算出部が含まれる場合には、上記２次元画像データを入力として上記第１の評価値算出部により算出される上記第１の評価値を最小化するとともに、上記撮影画像データを入力として上記第１の評価値算出部により算出される上記第１の評価値を最大化するように上記識別アルゴリズムを更に改変し、上記少なくとも２つの中に上記第３の評価値算出部が含まれる場合には上記第３の評価値を最小化するように上記３Ｄ変換アルゴリズムを更に改変することを特徴とする画像処理装置。
  5. 上記少なくとも２つにより算出される評価値をそれぞれ最適化することに代えて、上記少なくとも２つにより算出される評価値を重み付け加算し、その重み付け加算値を最適化するように上記２Ｄ変換アルゴリズムを改変することを特徴とする請求項４に記載の画像処理装置。
  6. 撮影画像が表面にマッピングされた３Ｄモデルの３次元データを取得する３Ｄデータ取得手段、
    正解画像として用いる撮影画像データを取得する正解画像取得手段、
    上記３Ｄデータ取得手段により取得された３次元データから所定の２Ｄ変換アルゴリズムに従って２次元画像データを生成する２Ｄ画像生成手段、および
    上記２Ｄ画像生成手段により生成された上記２次元画像データと上記正解画像取得手段により取得された上記撮影画像データとの近似性を表す評価値を算出する評価値算出手段
    としてコンピュータを機能させ、
    上記２Ｄ画像生成手段は、上記３次元データを上記２Ｄ画像生成手段に入力して処理を繰り返し行ったときに生成される上記２次元画像データについて都度算出される上記評価値が最適化するように、上記２Ｄ変換アルゴリズムを学習によって改変し、
    上記評価値算出手段が、上記３Ｄデータ取得手段により取得された上記３次元データと、上記正解画像取得手段により取得された上記撮影画像データまたは上記２Ｄ画像生成手段により生成された上記２次元画像データとを入力として、所定の識別アルゴリズムに従って、入力された画像が正解画像であるか、上記２Ｄ画像生成手段により生成された２次元画像データであるかを識別し、上記正解画像であると識別される確率を第１の評価値として算出する第１の評価値算出手段として機能し、
    上記２次元画像データを入力として上記第１の評価値算出手段により算出される上記第１の評価値を最大化するように上記２Ｄ画像生成手段の上記２Ｄ変換アルゴリズムを改変し、上記２次元画像データを入力として上記第１の評価値算出手段により算出される上記第１の評価値を最小化するとともに、上記撮影画像データを入力として上記第１の評価値算出手段により算出される上記第１の評価値を最大化するように上記第１の評価値算出手段の上記識別アルゴリズムを改変することを特徴とする画像生成用プログラム。
  7. 撮影画像が表面にマッピングされた３Ｄモデルの３次元データを取得する３Ｄデータ取得手段、
    正解画像として用いる撮影画像データを取得する正解画像取得手段、
    上記３Ｄデータ取得手段により取得された３次元データから所定の２Ｄ変換アルゴリズムに従って２次元画像データを生成する２Ｄ画像生成手段、および
    上記２Ｄ画像生成手段により生成された上記２次元画像データと上記正解画像取得手段により取得された上記撮影画像データとの近似性を表す評価値を算出する評価値算出手段
    としてコンピュータを機能させ、
    上記２Ｄ画像生成手段は、上記３次元データを上記２Ｄ画像生成手段に入力して処理を繰り返し行ったときに生成される上記２次元画像データについて都度算出される上記評価値が最適化するように、上記２Ｄ変換アルゴリズムを学習によって改変し、
    上記評価値算出手段が、上記２次元画像データの画像分類のために学習済みのニューラルネットワークを有し、当該ニューラルネットワークを構成する各階層において上記正解画像取得手段により取得された上記撮影画像データおよび上記２Ｄ画像生成手段により生成された上記２次元画像データのそれぞれに関する値の差の合計値または平均値を第２の評価値として算出する第２の評価値算出手段として機能し、
    上記第２の評価値算出手段により算出される上記第２の評価値を最小化するように上記２Ｄ画像生成手段の上記２Ｄ変換アルゴリズムを改変することを特徴とする画像生成用プログラム。
  8. 撮影画像が表面にマッピングされた３Ｄモデルの３次元データを取得する３Ｄデータ取得手段、
    正解画像として用いる撮影画像データを取得する正解画像取得手段、
    上記３Ｄデータ取得手段により取得された３次元データから所定の２Ｄ変換アルゴリズムに従って２次元画像データを生成する２Ｄ画像生成手段、および
    上記２Ｄ画像生成手段により生成された上記２次元画像データと上記正解画像取得手段により取得された上記撮影画像データとの近似性を表す評価値を算出する評価値算出手段
    としてコンピュータを機能させ、
    上記２Ｄ画像生成手段は、上記３次元データを上記２Ｄ画像生成手段に入力して処理を繰り返し行ったときに生成される上記２次元画像データについて都度算出される上記評価値が最適化するように、上記２Ｄ変換アルゴリズムを学習によって改変し、
    上記評価値算出手段が、
    画像データから３Ｄモデルの３次元データを所定の３Ｄ変換アルゴリズムに従って生成する３次元データ生成手段、
    上記２Ｄ画像生成手段により生成された上記２次元画像データから上記３次元データ生成手段により生成された３次元データと上記３Ｄデータ取得手段により取得された上記３次元データとの差を第１差分値として算出する第１差分値算出手段、
    上記正解画像取得手段により取得された上記撮影画像データから上記３次元データ生成手段により生成された３次元データをもとに上記２Ｄ画像生成手段により生成した２次元画像データと上記正解画像取得手段により取得された上記撮影画像データとの差を第２差分値として算出する第２差分値算出手段、および
    上記第１差分値算出手段により算出された上記第１差分値と上記第２差分値算出手段により算出された上記第２差分値との合計値を第３の評価値として算出する第３の評価値算出手段として機能し、
    上記第３の評価値算出手段により算出される上記第３の評価値を最小化するように上記２Ｄ画像生成手段の上記２Ｄ変換アルゴリズムおよび上記３次元データ生成手段の上記３Ｄ変換アルゴリズムを改変することを特徴とする画像生成用プログラム。
  9. 撮影画像が表面にマッピングされた３Ｄモデルの３次元データを取得する３Ｄデータ取得手段、
    正解画像として用いる撮影画像データを取得する正解画像取得手段、
    上記３Ｄデータ取得手段により取得された３次元データから所定の２Ｄ変換アルゴリズムに従って２次元画像データを生成する２Ｄ画像生成手段、および
    上記２Ｄ画像生成手段により生成された上記２次元画像データと上記正解画像取得手段により取得された上記撮影画像データとの近似性を表す評価値を算出する評価値算出手段
    としてコンピュータを機能させ、
    上記２Ｄ画像生成手段は、上記３次元データを上記２Ｄ画像生成手段に入力して処理を繰り返し行ったときに生成される上記２次元画像データについて都度算出される上記評価値が最適化するように、上記２Ｄ変換アルゴリズムを学習によって改変し、
    上記評価値算出手段が、
    上記３Ｄデータ取得手段により取得された上記３次元データと、上記正解画像取得手段により取得された上記撮影画像データまたは上記２Ｄ画像生成手段により生成された上記２次元画像データとを入力として、所定の識別アルゴリズムに従って、入力された画像が正解画像であるか、上記２Ｄ画像生成手段により生成された２次元画像データであるかを識別し、上記正解画像であると識別される確率を第１の評価値として算出する第１の評価値算出手段、
    上記２次元画像データの画像分類のために学習済みのニューラルネットワークを有し、当該ニューラルネットワークを構成する各階層において上記正解画像取得手段により取得された上記撮影画像データおよび上記２Ｄ画像生成手段により生成された上記２次元画像データのそれぞれから生成される特徴量を差の合計値または平均値を第２の評価値として算出する第２の評価値算出手段、
    上記２Ｄ画像生成手段により生成された上記２次元画像データから所定の３Ｄ変換アルゴリズムに従って生成された３次元データと上記３Ｄデータ取得手段により取得された上記３次元データとの差を第１差分値として算出するとともに、上記正解画像取得手段により取得された上記撮影画像データから上記所定の３Ｄ変換アルゴリズムに従って生成された３次元データをもとに上記２Ｄ画像生成手段により生成した２次元画像データと上記正解画像取得手段により取得された上記撮影画像データとの差を第２差分値として算出し、当該算出した上記第１差分値と上記第２差分値との合計値を第３の評価値として算出する第３の評価値算出手段、および
    上記２Ｄ画像生成手段により生成された上記２次元画像データと上記正解画像取得手段により取得された上記撮影画像データとの差を第４の評価値として算出する第４の評価値算出手段、
    のうち少なくとも２つの手段として機能し、
    上記少なくとも２つにより算出される評価値をそれぞれ最適化するように上記２Ｄ変換アルゴリズムを改変し、上記少なくとも２つの中に上記第１の評価値算出手段が含まれる場合には、上記２次元画像データを入力として上記第１の評価値算出手段により算出される上記第１の評価値を最小化するとともに、上記撮影画像データを入力として上記第１の評価値算出手段により算出される上記第１の評価値を最大化するように上記識別アルゴリズムを更に改変し、上記少なくとも２つの中に上記第３の評価値算出手段が含まれる場合には上記第３の評価値を最小化するように上記３Ｄ変換アルゴリズムを更に改変することを特徴とする画像生成用プログラム。
  10. 上記少なくとも２つにより算出される評価値をそれぞれ最適化することに代えて、上記少なくとも２つにより算出される評価値を重み付け加算し、その重み付け加算値を最適化するように上記２Ｄ変換アルゴリズムを改変することを特徴とする請求項９に記載の画像生成用プログラム。
JP2018073826A 2018-04-06 2018-04-06 画像処理装置および２次元画像生成用プログラム Active JP6601825B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2018073826A JP6601825B2 (ja) 2018-04-06 2018-04-06 画像処理装置および２次元画像生成用プログラム
US16/498,875 US10893252B2 (en) 2018-04-06 2019-04-04 Image processing apparatus and 2D image generation program
EP19774044.2A EP3591620B1 (en) 2018-04-06 2019-04-04 Image processing device and two-dimensional image generation program
ES19774044T ES2906626T3 (es) 2018-04-06 2019-04-04 Dispositivo de tratamiento de imágenes y programa de generación de imágenes bidimensionales
PCT/JP2019/014985 WO2019194282A1 (ja) 2018-04-06 2019-04-04 画像処理装置および２次元画像生成用プログラム
CN201980002055.7A CN110546687B (zh) 2018-04-06 2019-04-04 图像处理装置及二维图像生成用程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018073826A JP6601825B2 (ja) 2018-04-06 2018-04-06 画像処理装置および２次元画像生成用プログラム

Publications (2)

Publication Number Publication Date
JP2019185295A JP2019185295A (ja) 2019-10-24
JP6601825B2 true JP6601825B2 (ja) 2019-11-06

Family

ID=68100715

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018073826A Active JP6601825B2 (ja) 2018-04-06 2018-04-06 画像処理装置および２次元画像生成用プログラム

Country Status (6)

Country Link
US (1) US10893252B2 (ja)
EP (1) EP3591620B1 (ja)
JP (1) JP6601825B2 (ja)
CN (1) CN110546687B (ja)
ES (1) ES2906626T3 (ja)
WO (1) WO2019194282A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113763231B (zh) * 2020-06-08 2024-02-09 北京京东乾石科技有限公司 模型生成方法、图像透视图确定方法、装置、设备及介质
CN112509129B (zh) * 2020-12-21 2022-12-30 神思电子技术股份有限公司 一种基于改进gan网络的空间视场图像生成方法
CN112634128B (zh) * 2020-12-22 2022-06-14 天津大学 一种基于深度学习的立体图像重定向方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7643671B2 (en) * 2003-03-24 2010-01-05 Animetrics Inc. Facial recognition system and method
JP2006004158A (ja) 2004-06-17 2006-01-05 Olympus Corp 画像処理プログラム、画像処理方法、画像処理装置及び記録媒体
JP4284664B2 (ja) 2004-11-04 2009-06-24 日本電気株式会社 三次元形状推定システム及び画像生成システム
JP5393318B2 (ja) * 2009-07-28 2014-01-22 キヤノン株式会社 位置姿勢計測方法及び装置
WO2012025786A1 (en) * 2010-08-24 2012-03-01 Penjani Wallen Mphepo Autostereoscopic 3-dimensional display system
JP6270450B2 (ja) 2013-12-13 2018-01-31 キヤノン株式会社 放射線検出装置、放射線検出システム、及び、放射線検出装置の製造方法
CN103761767A (zh) * 2014-01-02 2014-04-30 华南理工大学 一种基于稀疏数据的三维超声图像快速重建方法
JP6650689B2 (ja) 2015-06-04 2020-02-19 キヤノン株式会社 サムネイル画像作成装置、３次元造形システム
US10451403B2 (en) * 2015-10-23 2019-10-22 The Boeing Company Structure-based camera pose estimation system
US20180012411A1 (en) * 2016-07-11 2018-01-11 Gravity Jack, Inc. Augmented Reality Methods and Devices
US10290119B2 (en) * 2016-09-15 2019-05-14 Sportsmedia Technology Corporation Multi view camera registration
US10970819B2 (en) * 2017-05-26 2021-04-06 Rakuten, Inc. Image processing device, image processing method, and image processing program

Also Published As

Publication number Publication date
US20200092529A1 (en) 2020-03-19
EP3591620A4 (en) 2020-03-18
EP3591620A1 (en) 2020-01-08
ES2906626T3 (es) 2022-04-19
CN110546687A (zh) 2019-12-06
WO2019194282A1 (ja) 2019-10-10
EP3591620B1 (en) 2021-12-15
CN110546687B (zh) 2022-05-17
US10893252B2 (en) 2021-01-12
JP2019185295A (ja) 2019-10-24

Similar Documents

Publication Publication Date Title
JP6659336B2 (ja) ３ｄモデル化オブジェクトのテクスチャリング
JP2018169672A (ja) 教師画像を生成する方法、コンピュータおよびプログラム
JP6601825B2 (ja) 画像処理装置および２次元画像生成用プログラム
US20200057831A1 (en) Real-time generation of synthetic data from multi-shot structured light sensors for three-dimensional object pose estimation
Orts-Escolano et al. 3d surface reconstruction of noisy point clouds using growing neural gas: 3d object/scene reconstruction
JP2013097806A (ja) 映像処理装置及び方法
JP2020052543A (ja) 形状補完装置、形状補完学習装置、方法、及びプログラム
WO2021219835A1 (en) Pose estimation method and apparatus
US20140300941A1 (en) Method and apparatus for generating hologram based on multi-view image
JP7294788B2 (ja) ３ｄ配置のタイプに応じた２ｄ画像の分類
CN110838122A (zh) 点云的分割方法、装置及计算机存储介质
KR20230073751A (ko) 레이아웃 기반의 동일 화풍 영상 생성 시스템 및 방법
JP2023109570A (ja) 情報処理装置、学習装置、画像認識装置、情報処理方法、学習方法、画像認識方法
CN115690359B (zh) 一种点云处理方法、装置、电子设备及存储介质
JP7416170B2 (ja) 学習方法、学習装置、プログラムおよび記録媒体
WO2017094536A1 (ja) 画像処理装置および画像処理方法
WO2020121739A1 (ja) 画像マッチング方法、および画像マッチング処理を実行するための演算システム
JP2022018829A (ja) 学習済モデル生成装置、学習済モデル生成方法、学習済モデル生成プログラム
CN117351157B (zh) 单视图三维场景位姿估计方法、系统及设备
WO2022123636A1 (ja) 学習用データ生成装置及び学習用データ生成方法
Lee et al. Overfitting control for surface reconstruction
US20240242419A1 (en) Method of creating a volumetric texture for a 3d model of a physical object
CN114004856A (zh) 一种深度图像滤波方法、装置、电子设备
Kumar et al. Efficient 3D Object Synthesis and Modeling Through Generative Adversarial Networks
JP6796850B2 (ja) 物体検出装置、物体検出方法および物体検出プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190814

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190814

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190814

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190910

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190917

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191001

R150 Certificate of patent or registration of utility model

Ref document number: 6601825

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250