JP7430146B2 - モデル更新装置及びモデル更新方法 - Google Patents
モデル更新装置及びモデル更新方法 Download PDFInfo
- Publication number
- JP7430146B2 JP7430146B2 JP2021022241A JP2021022241A JP7430146B2 JP 7430146 B2 JP7430146 B2 JP 7430146B2 JP 2021022241 A JP2021022241 A JP 2021022241A JP 2021022241 A JP2021022241 A JP 2021022241A JP 7430146 B2 JP7430146 B2 JP 7430146B2
- Authority
- JP
- Japan
- Prior art keywords
- model
- sample image
- modified example
- processor
- evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 18
- 238000009826 distribution Methods 0.000 claims description 109
- 238000012986 modification Methods 0.000 claims description 54
- 230000004048 modification Effects 0.000 claims description 54
- 238000011156 evaluation Methods 0.000 claims description 38
- 230000008859 change Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
Description
本発明は、モデル更新装置及びモデル更新方法に関する。
本技術分野の背景技術として、特開2019-53369号公報(特許文献1)がある。この公報には、「本発明の3次元モデル作成装置1は、少なくとも2以上の物体を一緒に撮像乃至計測することで得られたデータに基づいて作成された一体モデルから、前記物体の個別の形状を示す個別モデルを作成する3次元モデル作成装置1であって、一体モデルを形成する各面を延長した延長面により該一体モデルを分割した複数の分割モデルを作成する3次元モデル分割処理部130と、分割モデルのそれぞれへのタグ付けを受け付けるユーザインタフェース部140と、分割モデルへのタグ付けに基づいて、物体の個別モデルを作成する個別モデル作成部150と、を備える。」と記載されている(要約参照)。
特許文献1に記載の技術は、ユーザインターフェース部からの指示に基づきモデルの部分形状を修正する処理は実行しているものの、変動分布を有するパラメータによって定義される物体のモデルの変動分布の調整は非熟練者には困難である。そこで、本発明の一態様は、非熟練者であっても、変動分布を有するパラメータによって定義される物体のモデルの変動分布の調整を容易にかつ適切に行うことができることを目的とする。
上記課題を解決するため、本発明の一態様は以下の構成を採用する。モデル更新装置は、プロセッサとメモリとを含み、入力装置と表示装置に接続され、前記メモリは、それぞれが確率分布を有する1以上のパラメータで定義される物体のモデルである変形モデルを保持し、前記プロセッサは、前記1以上のパラメータそれぞれの確率分布に基づいて、物体の変形例を生成し、前記生成した変形例と前記1以上のパラメータとを含む評価画面を前記表示装置に表示し、前記評価画面において、前記入力装置を介して前記変形例の評価の入力を受け付け、前記変形例の評価に基づいて、前記確率分布を更新する、モデル更新装置。
本発明の一態様によれば、変動分布を有するパラメータによって定義される物体のモデルの変動分布の調整を容易にかつ適切に行うことができる。
上記した以外の課題、構成、及び効果は、以下の実施形態の説明により明らかにされる。
以下、本発明の実施形態を図面に基づいて詳細に説明する。本実施形態において、同一の構成には原則として同一の符号を付け、繰り返しの説明は省略する。なお、本実施形態は本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではないことに注意すべきである。
図1は、モデル作成装置の機能構成例を示すブロック図である。モデル作成装置100は、変動可能な1以上のパラメータがよって複数の形態が定義されるモデル(変形モデル)の作成、及び更新を実行する。
モデル作成装置100は、例えば、変形例生成部111、パラメータ調整部112、画像表示部113、及び入力受付部114を有する。変形例生成部111は、モデルの変動分布及び/又はパラメータ調整部112が変更したパラメータに基づいて、モデルから物体の画像を生成する。
パラメータ調整部112は、モデルの変動分布のパラメータを調整する。入力受付部114と画像表示部113はユーザインターフェース部を構成する。入力受付部114は、入力装置を介してユーザからの入力を受け付ける。画像表示部113は、画像を出力装置150に表示する。
また、モデル作成装置100は、モデルデータ131及びサンプル画像データ132を保持する。モデルデータ131は、モデルを保持する。サンプル画像データは、サンプル画像を保持する。なお、実施例1のモデル作成装置100は、サンプル画像データ132を有していなくてもよい。
図2は、モデル作成装置100のハードウェア構成例を示すブロック図である。モデル作成装置100は、例えば、プロセッサ110、メモリ120、補助記憶装置130、入力装置140、出力装置150、及び通信IF(Interface)160を有し、これらがバス等の内部通信線170によって接続された計算機によって構成される。
プロセッサ110は、メモリ120に格納されたプログラムを実行する。メモリ120は、不揮発性の記憶素子であるROM(Read Only Memory)及び揮発性の記憶素子であるRAM(Random Access Memory)を含む。ROMは、不変のプログラム(例えば、BIOS(Basic Input/Output System))などを格納する。RAMは、DRAM(Dynamic Random Access Memory)のような高速かつ揮発性の記憶素子であり、プロセッサ110が実行するプログラム及びプログラムの実行時に使用されるデータを一時的に格納する。
補助記憶装置130は、例えば、磁気記憶装置(HDD(Hard Disk Drive))、フラッシュメモリ(SSD(Solid State Drive))等の大容量かつ不揮発性の記憶装置であり、プロセッサ110が実行するプログラム及びプログラムの実行時に使用されるデータを格納する。すなわち、プログラムは、補助記憶装置130から読み出されて、メモリ120にロードされて、プロセッサ110によって実行される。
入力装置140は、キーボードやマウスなどの、オペレータからの入力を受ける装置である。出力装置150は、ディスプレイ装置やプリンタなどの、プログラムの実行結果をオペレータが視認可能な形式で出力する装置である。通信IF160は、所定のプロトコルに従って、他の装置との通信を制御するネットワークインターフェース装置である。
プロセッサ110が実行するプログラムは、リムーバブルメディア(CD-ROM、フラッシュメモリなど)又はネットワークを介してモデル作成装置100に提供され、非一時的記憶媒体である不揮発性の補助記憶装置130に格納される。このため、モデル作成装置100は、リムーバブルメディアからデータを読み込むインターフェースを有するとよい。
モデル作成装置100は、物理的に一つの計算機上で、又は、論理的又は物理的に構成された複数の計算機上で構成される計算機システムであり、同一の計算機上で別個のスレッドで動作してもよく、複数の物理的計算機資源上に構築された仮想計算機上で動作してもよい。例えば、モデル作成装置100が1つの計算機でなく、モデルの最初の登録を行うための計算機であるモデル登録装置と、モデルを更新するためのモデル更新装置と、に分かれていてもよい。
プロセッサ110は、例えば、それぞれ前述した機能部である、変形例生成部111、パラメータ調整部112、画像表示部113、及び入力受付部114を有する。
例えば、プロセッサ110は、メモリ120にロードされた変形例生成プログラムに従って動作することで、変形例生成部111として機能し、メモリ120にロードされたパラメータ調整プログラムに従って動作することで、パラメータ調整部112として機能する。プロセッサ110に含まれる他の機能部についても、プログラムと機能部の関係は同様である。
なお、プロセッサ110に含まれる機能部による機能の一部又は全部が、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field-Programmable Gate Array)等のハードウェアによって実現されてもよい。
補助記憶装置130は、例えば、前述したモデルデータ131及びサンプル画像データ132を保持する。なお、補助記憶装置130に格納されている一部又は全部の情報は、メモリ120に格納されていてもよいし、モデル作成装置100に接続されている外部のデータベース等に格納されていてもよい。
なお、本実施形態において、モデル作成装置100が使用する情報は、データ構造に依存せずどのようなデータ構造で表現されていてもよい。本実施形態ではテーブル形式で情報が表現されているが、例えば、リスト、データベース又はキューから適切に選択したデータ構造体が、情報を格納することができる。
図3は、モデルデータ131の一例である。モデルデータ131は、例えば、ID欄1311、カテゴリ欄1312、要素欄1313、結合欄1314、結合状態欄1315、及び変動分布欄1316を含む。ID欄1311は、モデルデータ131のレコードを識別するIDを保持する。カテゴリ欄1312は、モデルによって生成される画像のカテゴリを保持する。
要素欄1313は、モデルによって生成される画像に含まれる1以上の要素(形状)を示す。結合欄1314は、結合されている要素を示す情報を保持する。結合状態欄1314は、結合されている要素がどのように結合されているかを示す情報を保持する。変動分布欄1316は、各要素(形状)を定義する各形状パラメータの変動分布(確率分布)を示す情報を保持する。各変動分布は、離散確率分布であってもよいし、連続確率分布であってもよい。
また、形状パラメータの変動分布は、当該形状パラメータにおいて独立していてもよいし、他の形状パラメータの変動分布に影響を受ける(他の形状パラメータを変数に含む)変動分布であってもよい。また、特定の形状パラメータにのみ紐づく変動分布を有する形状パラメータがあってもよい。
なお、本実施形態では、形状パラメータによって表現されるモデルについて説明するが、変動分布を有するモデルであればよい。例えば、ニューラルネットを利用したモデルが採用されてもよく、この場合、対象カテゴリのモデルを表現する潜在特徴及び潜在特徴の範囲が事前に獲得され、ニューラルネットの潜在空間の各点が特定の変形例となる。
また、モデルにおいて色の範囲やサイズの範囲や結合されている要素の可動範囲が変動分布で定義されていてもよい。また、モデルにおいて、各形状の変形有無(剛体、一様等倍、非一様等倍(軸ごとの等倍)、非線形等)が定義されていてもよく、このとき変形時の閾値(元のモデルからのズレの許容値等)が定義されていてもよい。
図4は、サンプル画像データ132の一例である。サンプル画像データ132は、例えば、ID欄1321、カテゴリ欄1322、及び画像欄1323を保持する。ID欄1321は、サンプル画像データ132のレコードを識別するIDを保持する。カテゴリ欄1322は、サンプル画像が属するカテゴリを保持する。画像欄1323は、画像データを保持する。
図5は、モデル更新処理の一例を示すフローチャートである。例えば、入力受付部114がユーザからモデルデータ131のモデル(レコード)を指定する入力を受け付け、パラメータ調整部112は、指定されたモデルの変動分布をモデルデータ131から取得する(S501)。
パラメータ調整部112は、各要素の形状パラメータの変動分布に基づいて、各要素の形状パラメータ値を生成する(S502)。具体的には、例えば、パラメータ調整部112は、各変動分布について(複数の形状パラメータの変動分布が依存しあう場合は、当該複数の形状パラメータで定義される変動分布について)、最も確率の高い形状パラメータ値を取得してもよいし、変動分布内における最も高い形状パラメータ値又は最も低い形状パラメータ値を取得してもよいし、変動分布における形状パラメータの期待値を取得してもよいし、変動分布における形状パラメータの中央値を取得してもよい。また、例えば、パラメータ調整部112は、変動分布における形状パラメータ値をランダムにサンプルしてもよい。また、パラメータ調整部112は、ユーザが入力装置140に入力した形状パラメータ値を取得して、当該形状パラメータ値を採用してもよい。
なお、パラメータ調整部112は、各変動分布について、複数の形状パラメータ値を取得してもよい。具体的には、例えば、パラメータ調整部112は、確率の高い順に複数の形状パラメータ値を取得してもよいし、変動分布内における高い順に又は低い順に複数の形状パラメータ値を取得してもよい。また、例えば、パラメータ調整部112は、変動分布における複数の形状パラメータを所定間隔で取得してもよい。
変形例生成部111は、パラメータ調整部112が生成した形状パラメータ値と、モデルデータ131が示す結合及び結合状態と、に従って、物体の変形例を生成する(S503)。なお、パラメータ調整部112が各変動分布について複数の形状パラメータ値を生成した場合には、変形例生成部111は、変動分布の複数の形状パラメータ値を組み合わせて複数の変形例を生成する。
画像表示部115は、生成した変形例を含む評価画面を出力装置150に表示する(S504)。評価画面の詳細については後述するが、ユーザは評価画面を介して少なくとも変動分布を変更可能である。変形例生成部111は、評価が終了したかを判定する(S505)。変形例生成部111は、評価が終了しなかったと判定した場合(S505:No)、パラメータ調整部112は変動分布に当該変更を反映して、ステップS502に戻る。
変形例生成部111は、評価が終了したと判定した場合(S505:Yes)、形状パラメータの変動分布をモデルデータ131に登録して、モデル更新処理を終了する。なお、図5では、モデル更新処理の例を説明したが、ステップS501において、パラメータ調整部112が入力受付部114を介してモデル(モデルデータ131のレコードに登録される値)を取得すれば、図5のフローチャートは、モデル登録処理にもなる。
図6は、評価画面の一例である。評価画面600は、例えば、モデル標準表示領域601、モデル詳細表示領域602、変形例表示領域603、再生成ボタン604、及び登録ボタン605を含む。モデル標準表示領域601には、例えば、各変動分布内における最も確率の高い形状パラメータ値の形状によって構成された、又は各変動分布における形状パラメータの期待値の形状によって構成された、モデル標準が表示される。
モデル詳細表示領域602には、モデルデータ131から取得された現在のモデルの詳細が表示される。変形例表示領域603には、変形例生成部111が生成した1以上の変形例が表示される。また、変形例表示領域603には、〇ボタンと×ボタンとが表示されている。
なお、変形例表示領域603には、各変形例についてモデル標準と比較してどの形状パラメータがどれだけ変動しているかが表示されていてもよいし、各変形例の形状パラメータ値が表示されていてもよい。
ユーザは、変形例表示領域603に表示された各変形例を、入力装置140を介して選択して〇ボタン(適切)又は×ボタン(不適切)を選択することで、各変形例が、ユーザが所望する変形例に含まれるかを選択する。なお、評価は適切、又は不適切の2択ではなく、点数評価や変動分布の値でもよい。
各変形例について適切又は不適切が選択された上で、再生成ボタン604が選択されると、評価が終了せずステップS507においてパラメータ調整部112は適切された変形例のみで表現できるよう変動分布を更新する。変動分布の更新方法の例は後述する。
各変形例について適切又は不適切が選択された上で、登録ボタン605が選択されると、評価が終了してステップS508においてパラメータ調整部112は適切された変形例のみで表現できるよう変動分布を更新して、モデルを登録してもよいし、変動分布を更新することなくモデルを登録してもよい。なお、全ての変形例が適切と選択された場合には、自動的に登録処理へと移行してもよい。
図7は、図6で説明した変動分布の更新処理の一例を示す説明図である。図7の例では、形状パラメータ1と形状パラメータ2の変動分布が互いに依存している。変動分布が曲線内の領域で示され、ハッチングが濃いほど確率が高い。図7の上のグラフにおける複数の黒い丸は複数の変形例における形状パラメータ値を示す。
図7の下のグラフにおいて、左の2つの黒い丸が示す形状パラメータの変形例が適切され、右の2つの黒い丸が示す形状パラメータの変形例が不適切となったため、パラメータ調整部112は、右の2つの黒い丸が示す形状パラメータを含まないように形状パラメータ1と形状パラメータ2の変動分布を縮小する。なお、変形例生成部111が出力装置150に図7の上のグラフを表示して、ユーザが入力装置140を介して(例えば、グラフをドラッグしたり、数値を入力する等して)、変動分布を手動で縮小してもよい。
また、パラメータ調整部112は、不適切となった形状パラメータ値及びその周辺の形状パラメータ値に対応する変動分布の値を低下させてもよい。また、パラメータ調整部112は、形状パラメータ値と、入力装置140を介して選択された適切又は不適切の成否判定と、の組から成否判定を推定する推定器を学習してもよい。またパラメータ調整部112は、形状パラメータ値と、入力装置140を介して入力された点数評価又は変動分布の値と、の組をもとに点数及び変動分布の値の推定する推定器を学習してもよい。具体的には、パラメータ調整部112は、サポートベクターマシンやランダムフォレストを用いて成否判定の境界線を推定したり、線形回帰やニューラルネットを用いて点数評価値や変動分布の値を推定したりする。
図8は、評価画面600によって選択された不適切な変形例のパラメータ(当該モデルの変動分布)を更新するための更新画面の例である。更新画面800は、例えば、変形例表示領域801、変動分布表示領域802、変動分布調整領域803、再生成ボタン804、及び登録ボタン805を含む。変形例表示領域801には、評価画面600において不適切であると選択された1以上の変形例が表示される。
変動分布表示領域802には、変動分布調整領域803においてユーザが選択した形状の形状パラメータの変動分布が表示される。変動分布表示領域802のグラフのバツは当該不適切となった変形例のパラメータを示す。これにより、ユーザは具体的にどの程度パラメータを調整すればよいかを理解しやすい。
変動分布調整領域803は、変動分布を調整するための領域である。ユーザは変動分布調整領域803において、形状と、形状パラメータと、変更後の変動分布を選択する。図8の例では、変動分布調整領域803において、変形例の円柱4の半径を隣接する円柱(円柱3)の半径よりも小さくする変更を行うことが選択され、当該変更を反映した変動分布が変動分布表示領域802に表示されている。なお、この変更を視覚的にユーザに理解しやすくするために、変形例表示領域801に表示されている変形例に対してもこの変更を反映してもよい(例えば、変更後の変動分布のうち最も高い確率を示すパラメータが採用されることで変更が反映される)。
なお、図8では、変動分布調整領域803において他の形状パラメータとの関係が修正される例を示しているが、変動分布における数値が直接修正されてもよい。また、パラメータ調整部112は、ユーザが指定した数値よりも所定数大きく又は所定数小さく形状パラメータを変更してもよい。また、変動分布が連続であれば更新画面800において、形状パラメータ値の所定数以内の増減のみが許容されてもよい。
なお、更新画面800は、例えば、評価画面として機能してもよく、この場合、例えば、変形例表示領域801に変形例生成部111が生成した変形例が表示され、変動分布表示領域802において当該変形例の変動分布が表示されてもよい。
また、図8の例では形状パラメータを更新する例を説明したが、形状そのものを変更可能であってもよいし、1つの形状を複数の形状に分割可能であってもよいし、複数の形状を1つの形状に統合可能であってもよい。
以上、本実施例のモデル作成装置100は、モデルの変動分布に基づく変形例を生成して出力装置150に表示して、ユーザが視覚的に変形例を理解した上で、パラメータ調整を実行することができるため、モデル生成の非熟練者であっても適切なパラメータ調整を行うことができる。また、モデル作成の熟練者であってもパラメータの細かな調整が容易となる。
本実施例は、モデル更新処理の別例を示す。実施例1との相違点を説明する。図9は、モデル更新処理の一例を示すフローチャートである。ステップS501に続いて、パラメータ調整部112は、ステップS501で取得された変動分布と同じカテゴリのサンプル画像をサンプル画像データ132から取得する(S901)。
なお、パラメータ調整部112は、当該変動分布と同じカテゴリのサンプル画像をサンプル画像データ132から(例えばユーザから指定された)1つ取得してもよいし、同じカテゴリのサンプル画像をサンプル画像データ132から(例えばユーザから指定された)複数又は全て取得してこれらの平均画像を生成してもよい。なお、パラメータ調整部112は、サンプル画像データ132からサンプル画像を取得せずに、入力受付部114を介してユーザからサンプル画像の入力を受け付けてもよい。
ステップS503に続いて、変形例生成部111は、生成した変形例とサンプル画像との一致度を算出する(S902)。例えば、変形例生成部111は、変形例とサンプル画像とをフィッティングさせた場合の誤差を算出し、当該誤差に基づいて一致度を算出する。具体的には、例えば、変形例生成部111は、変形例とサンプル画像の形状とに対する、ICP(Iterative Closest Point)若しくはscale ICPの位置合わせ誤差、又はFAST(Features from Accelerated Segment Test)特徴点マッチングにおけるモデル-シーン間マッチング組数に基づく誤差を算出する。また、変形例生成部111は、SAC(SAmple Consensus)手法を用いてサンプル画像より検出した平面や円柱などの形状と、モデルの要素(形状)とのサイズや位置合わせ誤差を算出してもよい。
例えば、変形例生成部111は、(a(x))={形状パラメータxのみ固定した際のICPの位置合わせ誤差}・・・(1)、(a(x))={a(x)が関わる部分領域に限定したICPの位置合わせ誤差}・・・(2)、又は(a(x))={(1)又は(2)の非線形変換}を算出し、一致度aをa=min_x(a(x))又はmean(a(x))によって算出する。また、例えば、変形例生成部111は、変形例をサンプル画像に対する認識とし、その認識率及び位置姿勢誤差に基づいて、一致度を算出してもよい。
ステップS902に続いて、変形例生成部111は、サンプル画像との一致度が低い変形例(例えば、一致度が所定の閾値以下の変形例、一致度が最も低い変形例、又は一致度が低い順に所定数の変形例)を出力装置150に表示し(S903)、ステップS505以降の処理へと進む。
図10は、評価画面の一例である。図10の評価画面600は、一致度表示領域1001をさらに含む。一致度表示領域1001には、変形例の各形状についてのサンプル画像との一致度が表示される。なお、複数の変形例が生成された場合には、当該複数の変形例それぞれの各形状についてのサンプル画像との一致度の平均である平均一致度が、一致度表示領域1001に表示されてもよい。
図11は、更新画面の一例である。図11の更新画面800は、一致度表示領域1101をさらに含む。一致度表示領域1100には、一致度が低い変形例の各形状におけるサンプル画像の各画像との一致度が表示される。また、一致度表示領域1100には、変形例のモデルのカテゴリと、サンプル画像のカテゴリと、が表示されている。
変形例表示領域801には、一致度が低い変形例が表示されている。なお、当該変形例とサンプル画像との一致度がなぜ低いかをユーザが視覚的に理解しやすくするために、当該変形例とサンプル画像の少なくとも一方を半透明で重ねて(位置合わせをして)表示される等してもよい。
変動分布表示領域802には、更新対象の変動分布に加え、一致度が最大となる当該変動分布の形状パラメータ値が黒い丸で示されている。これにより、ユーザはどのように変動分布を更新すれば一致度が高くなるかを容易に理解することができる。変動分布調整領域803の形状を選択するためのボックスには、一致度が最も低い形状が予め選択されていてもよい。
以上、本実施例のモデル作成装置100は、サンプル画像と同カテゴリのモデルの変形例であって、当該サンプル画像との一致度が低い変形例を表示し、当該モデルのうち一致度が低い形状をユーザに認識させることにより、モデル生成の非熟練者であっても適切なカテゴリのサンプル画像とモデルが類似するようパラメータ調整を行うことができる。
本実施例は、モデル更新処理の別例を示す。実施例2との相違点を説明する。図12は、モデル更新処理の一例を示すフローチャートである。ステップS501に続いて、パラメータ調整部112は、ステップS501で取得された変動分布と異なるカテゴリのサンプル画像をサンプル画像データ132から取得する(S1201)。
なお、パラメータ調整部112は、当該変動分布と、例えばユーザから指定された異なるカテゴリのサンプル画像をサンプル画像データ132から1つ取得してもよいし、同じカテゴリのサンプル画像をサンプル画像データ132から(例えばユーザから指定された)複数又は全て取得してこれらの平均画像を生成してもよい。なお、パラメータ調整部112は、入力受付部114を介して、サンプル画像データ132からサンプル画像を取得せずに、ユーザからサンプル画像の入力を受け付けてもよい。また、サンプル画像のカテゴリも1つに指定されていてもよいし、複数指定されていてもよい。
ステップS902に続いて、変形例生成部111は、サンプル画像との一致度が高い変形例(例えば、一致度が所定の閾値以上の変形例、一致度が最も高い変形例、又は一致度が高い順に所定数の変形例)を出力装置150に表示し(S1202)、ステップS505以降の処理へと進む。
図13は、更新画面の一例である。実施例3の更新画面800は、実施例2の更新画面800の表示に加えてチェックボックス1201を含む。チェックボックス1201が選択されると表示されている変形例がNG変形例として登録され、当該変形例が生成されないように変動分布が更新される。また、変形例の形状ごとにチェックボックス1201があってもよい(つまり各形状が生成されないように変動分布が更新可能であってもよい)。
変形例表示領域801には、一致度が高い変形例が表示されている。なお、当該変形例とサンプル画像との一致度がなぜ高いかをユーザが視覚的に理解しやすくするために、当該変形例とサンプル画像の少なくとも一方を半透明で重ねて(位置合わせをして)表示され等してもよい。
変動分布表示領域802には、更新対象の変動分布に加え、一致度が最小となる当該変動分布の形状パラメータ値が黒い丸で示されている。これにより、ユーザはどのように変動分布を更新すれば一致度が低くなるかを容易に理解することができる。変動分布調整領域803の形状を選択するためのボックスには、一致度が最も高い形状が予め選択されていてもよい。
以上、本実施例のモデル作成装置100は、サンプル画像と異なるカテゴリのモデルの変形例であって、当該サンプル画像との一致度が高い変形例を表示し、当該モデルのうち一致度が高い形状をユーザに認識させることにより、モデル生成の非熟練者であっても適切でないカテゴリのサンプル画像とモデルが類似しないよう(つまり異なるカテゴリの画像と誤認識しないように)パラメータ調整を行うことができる。
なお、実施例3の処理を一部変更することにより、未登録のカテゴリのモデルを登録するモデル登録処理を実現することができる。ステップS901において、パラメータ調整部112は、1以上のモデルの形状パラメータを取得し、ステップS1201において、パラメータ調整部112は、ステップS901において取得された形状パラメータのモデルと異なるカテゴリであって、かつモデルデータ131に未登録の異なるカテゴリ、の1以上のサンプル画像を取得する。
ステップS1202において、画像表示部115は、サンプル画像との一致度が高い変形例を出力装置150に表示する。そして、更新画面800においてユーザは、サンプル画像と類似度の高い変形例の変動分布を、さらに類似度が高くなるように調整することで、未登録のカテゴリのモデルが生成される。但し更新画面800の変動分布表示領域802には、更新対象の変動分布に加え、一致度が最大となる当該変動分布の形状パラメータ値が黒い丸で示されるとよい。
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることも可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
100 モデル作成装置、110 プロセッサ、111 パラメータ調整部、112 変形例生成部、113 画像表示部、114 入力受付部、120 メモリ、130 補助記憶装置、131 モデルデータ、132サンプル画像データ、140 入力装置、150 出力装置
Claims (8)
- モデル更新装置であって、
プロセッサとメモリとを含み、
入力装置と表示装置に接続され、
前記メモリは、それぞれが確率分布を有する1以上のパラメータで定義される物体のモデルである変形モデルを保持し、
前記プロセッサは、
前記1以上のパラメータそれぞれの確率分布に基づいて、物体の変形例を生成し、
前記生成した変形例と前記1以上のパラメータとを含む評価画面を前記表示装置に表示し、
前記評価画面において、前記入力装置を介して前記変形例の評価の入力を受け付け、
前記変形例の評価に基づいて、前記確率分布を更新する、モデル更新装置。 - 請求項1に記載のモデル更新装置であって、
前記プロセッサは、前記変形例の評価において、前記入力装置を介して、前記変形例が不適切であることを示す評価の入力を受け付けた場合、当該変形例のパラメータ値を含まないよう前記確率分布を更新する、モデル更新装置。 - 請求項1に記載のモデル更新装置であって、
前記プロセッサは、
前記確率分布を前記表示装置に表示し、
前記変形例の評価において、前記入力装置を介して前記表示した確率分布の変更を受けるつける、モデル更新装置。 - 請求項1に記載のモデル更新装置であって、
前記メモリは、物体の1以上のサンプル画像を含むサンプル画像データを保持し、
前記プロセッサは、
前記変形モデルと前記1以上のサンプル画像との一致度を算出し、
前記一致度を、前記評価画面に表示する、モデル更新装置。 - 請求項4に記載のモデル更新装置であって、
前記変形モデルの物体のカテゴリが定義され、
前記サンプル画像データの前記1以上のサンプル画像それぞれの物体のカテゴリが定義され、
前記プロセッサは、
前記変形モデルと同じカテゴリのサンプル画像を取得し、
前記変形モデルと前記取得したサンプル画像との一致度を算出し、
前記算出した一致度が所定の条件と比較して低い変形例を前記評価画面に表示する、モデル更新装置。 - 請求項4に記載のモデル更新装置であって、
前記変形モデルの物体のカテゴリが定義され、
前記サンプル画像データの前記1以上のサンプル画像それぞれの物体のカテゴリが定義され、
前記プロセッサは、
前記変形モデルと異なるカテゴリのサンプル画像を取得し、
前記変形モデルと前記取得したサンプル画像との一致度を算出し、
前記算出した一致度が所定の条件と比較して高い変形例を前記評価画面に表示する、モデル更新装置。 - 請求項4に記載のモデル更新装置であって、
前記メモリは複数の前記変形モデルを保持し、
前記複数の変形モデルそれぞれの物体のカテゴリが定義され、
前記サンプル画像データの前記1以上のサンプル画像それぞれの物体のカテゴリが定義され、
前記プロセッサは、
前記複数の変形モデルのカテゴリのいずれにも含まれないカテゴリのサンプル画像を前記サンプル画像データから取得し、
前記複数の変形モデルそれぞれと前記取得したサンプル画像との一致度を算出し、
前記算出した一致度が所定の条件と比較して高い変形例を前記評価画面に表示する、モデル更新装置。 - モデル更新装置によるモデル更新方法であって、
前記モデル更新装置は、
プロセッサとメモリとを含み、
入力装置と表示装置に接続され、
前記メモリは、それぞれが確率分布を有する1以上のパラメータで定義される物体のモデルである変形モデルを保持し、
前記モデル更新方法は、
前記プロセッサが、前記1以上のパラメータそれぞれの確率分布に基づいて、物体の変形例を生成し、
前記プロセッサが、前記生成した変形例と前記1以上のパラメータとを含む評価画面を前記表示装置に表示し、
前記プロセッサが、前記評価画面において、前記入力装置を介して前記変形例の評価の入力を受け付け、
前記プロセッサが、前記変形例の評価に基づいて、前記確率分布を更新する、モデル更新方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021022241A JP7430146B2 (ja) | 2021-02-16 | 2021-02-16 | モデル更新装置及びモデル更新方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021022241A JP7430146B2 (ja) | 2021-02-16 | 2021-02-16 | モデル更新装置及びモデル更新方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022124540A JP2022124540A (ja) | 2022-08-26 |
JP7430146B2 true JP7430146B2 (ja) | 2024-02-09 |
Family
ID=82942111
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021022241A Active JP7430146B2 (ja) | 2021-02-16 | 2021-02-16 | モデル更新装置及びモデル更新方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7430146B2 (ja) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012185545A (ja) | 2011-03-03 | 2012-09-27 | Secom Co Ltd | 顔画像処理装置 |
-
2021
- 2021-02-16 JP JP2021022241A patent/JP7430146B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012185545A (ja) | 2011-03-03 | 2012-09-27 | Secom Co Ltd | 顔画像処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2022124540A (ja) | 2022-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10699453B2 (en) | Digital media environment for style-aware patching in a digital image | |
JP2002190025A (ja) | パターン識別方法および装置 | |
JP7042210B2 (ja) | 学習モデル生成装置、学習モデル生成方法、及びプログラム | |
US11276202B2 (en) | Moving image generation apparatus, moving image generation method, and non-transitory recording medium | |
US20220180027A1 (en) | Method and apparatus for generating a design for a technical system of product | |
US11769310B2 (en) | Combining three-dimensional morphable models | |
KR20220084136A (ko) | 학습 지원 장치, 학습 장치, 학습 지원 방법 및 학습 지원 프로그램 | |
JP2022546681A (ja) | 分類モデルの解釈容易化 | |
KR20220073464A (ko) | 설명 가능한 인공지능 제공 방법 | |
JP2019028094A (ja) | 文字生成装置、プログラム及び文字出力装置 | |
CN114387317A (zh) | Ct图像和mri三维图像的配准方法、装置 | |
JP7430146B2 (ja) | モデル更新装置及びモデル更新方法 | |
CN113762005B (zh) | 特征选择模型的训练、对象分类方法、装置、设备及介质 | |
JP7210489B2 (ja) | 学習装置、学習方法および学習プログラム | |
US10861201B2 (en) | Information generation system, method, and computer program product | |
US20230186092A1 (en) | Learning device, learning method, computer program product, and learning system | |
EP3270308B9 (en) | Method for providing a secondary parameter, decision support system, computer-readable medium and computer program product | |
US20240220775A1 (en) | Information processing system and information processing method | |
CN111368120B (zh) | 目标指纹库构建方法、装置、电子设备及存储介质 | |
JP2019018446A (ja) | 立体物造形用データ出力規制装置 | |
JP2014006804A (ja) | サンプリング装置、サンプリング方法、近似モデル生成装置、近似モデル生成方法及びプログラム | |
CN114494109A (zh) | 用于为3d cad对象的b-rep生成主观风格比较度量的技术 | |
US8022953B2 (en) | Dimensions and computer aided modeling | |
US20220076116A1 (en) | Learning apparatus, method and non-transitory computer-readable storage medium | |
US20230316719A1 (en) | Automatic detection of dental indications |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230519 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240116 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240130 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7430146 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |