JP6996455B2 - 検出器生成装置、モニタリング装置、検出器生成方法及び検出器生成プログラム - Google Patents
検出器生成装置、モニタリング装置、検出器生成方法及び検出器生成プログラム Download PDFInfo
- Publication number
- JP6996455B2 JP6996455B2 JP2018162683A JP2018162683A JP6996455B2 JP 6996455 B2 JP6996455 B2 JP 6996455B2 JP 2018162683 A JP2018162683 A JP 2018162683A JP 2018162683 A JP2018162683 A JP 2018162683A JP 6996455 B2 JP6996455 B2 JP 6996455B2
- Authority
- JP
- Japan
- Prior art keywords
- detector
- face image
- learning
- error
- output value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
を実行する、情報処理方法である。そして、前記検出器の機械学習を実施するステップは、前記各学習データセットの前記第1顔画像を前記検出器に入力することで、前記各学習データセットの前記第1顔画像に対する第1出力値を前記検出器から取得するステップと、前記各学習データセットの前記第1顔画像に対して得られた前記第1出力値に基づいて特定される前記器官の第1検出位置と当該第1顔画像に組み合わせられた前記位置情報により示される前記位置との第1誤差の合計値を算出するステップと、前記各学習データセットの前記第1顔画像にノイズを付与することで、前記各学習データセットの前記第1顔画像に対して第2顔画像を生成するステップと、前記各第2顔画像を前記検出器に入力することで、前記各第2顔画像に対する第2出力値を前記検出器から取得するステップと、前記各学習データセットの前記第1顔画像に対して得られた前記第1出力値に基づいて特定される前記第1検出位置と当該第1顔画像に対して生成された前記第2顔画像に対して得られた前記第2出力値に基づいて特定される前記器官の第2検出位置との第2誤差の合計値を算出するステップと、前記第1誤差の合計値及び前記第2誤差の合計値が小さくなるように前記検出器を訓練するステップと、を含む。
まず、図2を用いて、本発明が適用される場面の一例について説明する。図2は、本実施形態に係る検出システム100の適用場面の一例を模式的に例示する。図2の例では、車両を運転する運転者の顔を撮影し、得られる顔画像から顔の器官を検出する場面を想定している。顔画像は、本発明の「画像」の一例であり、顔の器官は、本発明の「対象物」の一例である。しかしながら、本発明の適用対象は、このような例に限定されなくてもよく、何らかの対象物を画像から検出するあらゆる場面に適用可能である。
[ハードウェア構成]
<検出器生成装置>
次に、図3を用いて、本実施形態に係る検出器生成装置1のハードウェア構成の一例について説明する。図3は、本実施形態に係る検出器生成装置1のハードウェアの一例を模式的に例示する。
次に、図4を用いて、本実施形態に係るモニタリング装置2のハードウェア構成の一例について説明する。図4は、本実施形態に係るモニタリング装置2のハードウェア構成の一例を模式的に例示する。
<検出器生成装置>
次に、図5を用いて、本実施形態に係る検出器生成装置1のソフトウェア構成の一例について説明する。図5は、本実施形態に係る検出器生成装置1のソフトウェア構成の一例を模式的に例示する。
次に、検出器5の構成の一例について説明する。図5に示されるとおり、本実施形態に係る検出器5は、ニューラルネットワークにより構成されている。具体的には、検出器5は、いわゆる深層学習に用いられる多層構造のニューラルネットワークにより構成されており、入力層51、中間層(隠れ層)52、及び出力層53を備えている。
次に、図6を用いて、本実施形態に係るモニタリング装置2のソフトウェア構成の一例について説明する。図6は、本実施形態に係るモニタリング装置2のソフトウェア構成の一例を模式的に例示する。
検出器生成装置1及びモニタリング装置2の各ソフトウェアモジュールに関しては後述する動作例で詳細に説明する。なお、本実施形態では、検出器生成装置1及びモニタリング装置2の各ソフトウェアモジュールがいずれも汎用のCPUによって実現される例について説明している。しかしながら、以上のソフトウェアモジュールの一部又は全部が、1又は複数の専用のプロセッサにより実現されてもよい。また、検出器生成装置1及びモニタリング装置2それぞれのソフトウェア構成に関して、実施形態に応じて、適宜、ソフトウェアモジュールの省略、置換及び追加が行われてもよい。
[検出器生成装置]
次に、図7を用いて、検出器生成装置1の動作例について説明する。図7は、本実施形態に係る検出器生成装置1の処理手順の一例を示すフローチャートである。以下で説明する処理手順は、本発明の「検出器生成方法」の一例である。ただし、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
ステップS101では、制御部11は、学習データ取得部111として動作し、第1顔画像611及び位置情報612の組み合わせによりそれぞれ構成された複数の学習データセット61を取得する。
ステップS102では、制御部11は、学習処理部112として動作し、ステップS101により取得した複数の学習データセット61を利用して、検出器5の機械学習を実施する。機械学習の処理手順は後述する。これにより、学習済みの検出器5を構築すると、制御部11は、次のステップS103に処理を進める。
ステップS103では、制御部11は、保存処理部113として動作し、機械学習により構築された検出器5の構成及び演算パラメータを示す情報を学習結果データ121として生成する。そして、制御部11は、生成した学習結果データ121を記憶部12に保存する。これにより、制御部11は、本動作例に係る処理を終了する。
次に、図8A及び図8Bを用いて、上記ステップS102の処理の一例を詳細に説明する。図8A及び図8Bは、本実施形態に係る検出器生成装置1による機械学習の処理手順の一例を示すフローチャートである。本実施形態に係るステップS102の処理は、以下のステップS201~S210の処理を含む。ただし、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
ステップS201では、制御部11は、各学習データセット61の第1顔画像611を検出器5に入力し、検出器5の演算処理を実行する。具体的には、制御部11は、各第1顔画像611を検出器5の入力層51に入力し、入力側から順に各層51~53に含まれる各ニューロンの発火判定を行う。これにより、制御部11は、各第1顔画像611に対する第1出力値を出力層53から取得する。各第1出力値は、現段階における検出器5が各第1顔画像611から器官の位置を検出した結果に対応する。各第1出力値を取得すると、制御部11は、次のステップS202に処理を進める。
ステップS202では、制御部11は、各第1出力値に基づいて特定される器官の第1検出位置V1と対応する位置情報612により示される位置A1との第1誤差71の合計値を算出する。具体的には、制御部11は、各学習データセット61について、各第1顔画像611に対して得られた第1検出位置V1と対応する位置情報612により示される位置A1との差分を第1誤差71として算出する。そして、制御部11は、算出した各第1誤差71を足し合わせることで、第1誤差71の合計値を算出する。
ステップS203では、制御部11は、各学習データセット61の第1顔画像611にノイズを付与することで、各第2顔画像63を生成する。各第1顔画像611に付与するノイズの種類は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。ノイズには、例えば、ガウシアンノイズ、ポアソンノイズ、一様乱数によるノイズ等が用いられてよい。例えば、制御部11は、ランダムなガウシアンノイズを各第1顔画像611に付与してもよい。また、例えば、制御部11は、局所平均フィルタ等のフィルタを各第1顔画像611に適用することで、各第1顔画像611にノイズを付与してもよい。各第1顔画像611に付与するノイズの種類は、同じであってもよいし、異なっていてもよい。また、例えば、制御部11は、敵対的な例(Adversarial example)を形成するように、検出器5による検出が変化しやすい位置にノイズを付与してもよい。検出が変化しやすいか否かは、例えば、ノイズを付与したことによる検出位置の変化量と閾値との比較に基づいて判定することができる。各第2顔画像63を生成すると、制御部11は、次のステップS204に処理を進める。
ステップS204では、制御部11は、生成した各第2顔画像63を検出器5に入力し、検出器5の演算処理を実行する。この検出器5の演算処理は、上記ステップS201と同様であってよい。これにより、制御部11は、各第2顔画像63に対する第2出力値を検出器5の出力層53から取得する。各第2出力値は、現段階における検出器5が各第2顔画像63から器官の位置を検出した結果に対応する。各第2出力値を取得すると、制御部11は、次のステップS205に処理を進める。
ステップS205では、制御部11は、各第1出力値に基づいて特定される器官の第1検出位置V1と対応する第2顔画像63に対して得られた第2出力値に基づいて特定される器官の第2検出位置V2との第2誤差72の合計値を算出する。具体的には、制御部11は、各学習データセット61について、各第1顔画像611に対して得られた第1検出位置V1と対応する第2顔画像63に対して得られた第2検出位置V2との差分を第2誤差72として算出する。この差分を算出する方法は、上記ステップS202と同様であってよい。そして、制御部11は、算出した各第2誤差72を足し合わせることで、第2誤差72の合計値を算出する。第2誤差72の合計値を算出すると、制御部11は、次のステップS206に処理を進める。
ステップS206では、制御部11は、各学習データセット61の第1顔画像611に所定の幾何変換を適用することで、各第3顔画像66を生成する。各第1顔画像611に適用する幾何変換は、例えば、平行移動、回転移動、反転、拡大、縮小又はこれらの組み合わせであってよい。具体例として、各第1顔画像611に適用する幾何変換は、平行移動及び回転移動を伴う変換であってよい。各第3顔画像66に適用する幾何変換は、同じであってもよいし、異なっていてもよい。制御部11は、幾何変換のパラメータをランダムに変更しながら、各第3顔画像66を生成してもよい。幾何変換のパラメータは、例えば、各変換量(平行移動量、回転量等)である。各第3顔画像66を生成すると、制御部11は、次のステップS207に処理を進める。
ステップS207では、制御部11は、生成した各第3顔画像66を検出器5に入力し、検出器5の演算処理を実行する。この検出器5の演算処理は、上記ステップS201と同様であってよい。これにより、制御部11は、各第3顔画像66に対する第3出力値を検出器5の出力層53から取得する。各第3出力値は、現段階における検出器5が各第3顔画像66から器官の位置を検出した結果に対応する。各第3出力値を取得すると、制御部11は、次のステップS208に処理を進める。
ステップS208では、制御部11は、各第1出力値に基づいて特定される器官の第1検出位置と対応する第3顔画像66に対して得られた第3出力値に基づいて特定される器官の第3検出位置との第3誤差73の合計値を算出する。具体的には、制御部11は、各第1顔画像611に対して得られた第3出力値から導出される第3検出位置V30に幾何変換の逆変換を適用して、第3検出位置V31を算出する。そして、制御部11は、各学習データセット61について、各第1顔画像611に対して得られた第1検出位置V1と対応する第3顔画像66に対して得られた第3検出位置V31との差分を第3誤差73として算出する。この差分を算出する方法は、上記ステップS202と同様であってよい。また、上記のとおり、制御部11は、第1検出位置V1に幾何変換を適用することで導出される位置と第3検出位置V30との差分を第3誤差73として算出してもよい。そして、制御部11は、算出した各第3誤差73を足し合わせることで、第3誤差73の合計値を算出する。第3誤差73の合計値を算出すると、制御部11は、次のステップS209に処理を進める。
ステップS209では、制御部11は、算出した各誤差71~73の合計値が閾値以下であるか否かを判定する。閾値は、顔画像から器官を適切に検出するように検出器5が十分に訓練されたか否かを判定するための基準となる。この閾値は、適宜設定されてよい。
ステップS210では、制御部11は、各誤差71~73の合計値が小さくなるように検出器5の訓練を行う。具体的には、制御部11は、各誤差71~73の合計値が小さくなるように、検出器5のパラメータを調整する。このパラメータの調整には、誤差逆伝播法等の公知の方法が採用されてよい。すなわち、制御部11は、各誤差71~73の合計値を利用して、出力層53側から順に、各ニューロン間の結合の重み、各ニューロンの閾値等の各パラメータの誤差を算出する。そして、制御部11は、算出した誤差に基づいて、各パラメータの値を更新する。各パラメータの更新幅を定める学習率は、適宜設定されてよい。
検出器生成装置1は、上記ステップS101~S103の処理を繰り返してもよい。この繰り返しの過程で、暫定的に生成される検出器5を利用して、各学習データセット61に含まれる位置情報612を更新してもよい。すなわち、検出器生成装置1は、ステップS102により、各学習データセット61を利用して学習済みの検出器5を生成した後、生成された学習済みの検出器5に各第1顔画像611を入力し、各第1顔画像611から器官の位置を検出してもよい。そして、検出器生成装置1は、元の位置(すなわち、学習済みの検出器5を生成する際に位置情報612により示されていた位置)から学習済みの検出器5により検出された位置を示すように、各学習データセット61の位置情報612を更新してもよい。
次に、図10を用いて、モニタリング装置2の動作例について説明する。図10は、本実施形態に係るモニタリング装置2の処理手順の一例を示すフローチャートである。ただし、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
ステップS301では、制御部21は、データ取得部211として動作し、車両を運転する運転者Dの顔の写る顔画像221を取得する。本実施形態では、モニタリング装置2は、外部インタフェース24を介してカメラ41に接続されている。そのため、制御部21は、カメラ41から顔画像221を取得する。この顔画像221は、動画像データであってもよいし、静止画像データであってもよい。顔画像221を取得すると、制御部21は、次のステップS302に処理を進める。
ステップS302では、制御部21は、検出部212として動作し、学習結果データ121を参照して、学習済みの検出器5の設定を行う。続いて、制御部21は、取得した顔画像221を学習済みの検出器5に入力し、検出器5の演算処理を実行する。この検出器5の演算処理は、上記ステップS201と同様であってよい。これにより、制御部21は、運転者Dの顔の器官を顔画像221より検出した結果に対応する出力値を検出器5から取得する。出力値を取得すると、制御部21は、次のステップS303に処理を進める。
ステップS303では、制御部21は、出力部213として動作し、運転者Dの顔の器官を検出した結果に関する情報を出力する。出力先及び出力する情報の内容はそれぞれ、実施の形態に応じて適宜決定されてよい。例えば、制御部21は、ステップS302により運転者Dの顔の器官を顔画像221から検出した結果をそのまま出力装置26を介して出力してもよい。
以上のように、本実施形態に係る検出器生成装置1は、上記ステップS201~S210の処理により、各誤差71~73の合計値が小さくなるように検出器5を訓練する。各誤差71~73のうち第1誤差71の合計値は、検出器5により第1顔画像611から器官を検出した結果と位置情報612により指定される器官の位置の正解との間の損失に相当する。また、第2誤差72の合計値は、検出器5による器官の検出結果のブレであって、第1顔画像611におけるノイズの有無によって生じるブレの損失に相当する。そのため、検出器生成装置1は、上記ステップS201~S210の機械学習の処理により、位置情報612により示される正解と一致するように第1顔画像611から器官を検出し、かつその検出結果がノイズによる影響を受け難い、ように訓練された(学習済みの)検出器5を構築(生成)することができる。
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。
上記実施形態では、検出器5を構成するニューラルネットワークは、全結合ニューラルネットワークである。しかしながら、検出器5を構成するニューラルネットワークの構造及び種類は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、検出器5には、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク等が利用されてよい。
上記実施形態では、検出器5は、ニューラルネットワークにより構成されている。しかしながら、画像を入力として利用可能であれば、検出器5を構成する学習モデルの種類は、ニューラルネットワークに限られなくてよく、実施の形態に応じて適宜選択されてよい。また、機械学習の方法は、利用する学習モデルによって適宜選択されてよい。例えば、検出する器官の位置の初期値を与え、その位置を更新することで対象の顔画像に写る器官の位置を適切に検出できるように検出器5を訓練してもよい。学習用の顔画像に与えられた正解データの平均値を器官の位置の初期値として利用することができる。また、位置の更新は、特徴量を用いて行うことができる。この特徴量には、例えば、Haar-like特徴量、輝度差等が用いられてよい。学習モデルには、例えば、サポートベクタマシン、線形回帰モデル、ランダムフォレスト等が用いられてもよい。この場合、検出器5のパラメータは、例えば、重みベクトル、変換ベクトル、各分岐の閾値等である。
上記実施形態では、学習結果データ121は、学習済みのニューラルネットワーク(検出器5)の構成を示す情報を含んでいる。しかしながら、学習結果データ121の構成は、このような例に限定されなくてもよく、学習済みの検出器5の設定に利用可能であれば、実施の形態に応じて適宜決定されてよい。例えば、利用するニューラルネットワークの構成が各装置で共通化されている場合、学習結果データ121は、学習済みのニューラルネットワークの構成を示す情報を含んでいなくてもよい。
上記実施形態では、検出器生成装置1は、ステップS102の機械学習により、各誤差71~73の合計値が小さくなるように、検出器5のパラメータを調整している。しかしながら、機械学習の処理は、このような例に限定されなくてもよい。例えば、各誤差71~73のうち第3誤差73は省略されてもよい。
上記実施形態では、車両を運転する運転者の顔を撮影し、得られる顔画像から顔の器官の位置を検出する場面に本発明を適用した例を示している。しかしながら、本発明の適用可能な範囲は、このような運転者の顔画像から器官の位置を検出する場面に限られなくてもよい。本発明は、運転者以外の対象者の顔の器官を顔画像から検出する場面に広く適用可能である。
上記実施形態及び変形例では、顔の器官の位置を顔画像から検出する場面に適用した例を示している。しかしながら、本発明の適用範囲は、このような顔の器官の位置を顔画像から検出する場面に限られなくてもよい。本発明は、何らかの対象物の位置を画像から検出するあらゆる場面に広く適用可能である。
図9に示されるとおり、上記実施形態に係る検出器生成装置1は、検出器を生成する処理及び位置情報を更新する処理を交互に繰り返すことで、位置情報に含まれ得る人為的なノイズによる影響にロバストで、対象者の顔の器官を顔画像から検出可能な検出器を構築することができる。人為的なノイズによる影響にロバストな検出器を構築するという観点から、この検出器を生成する処理及び位置情報を更新する処理を交互に実行する部分のみを抽出して、新たな形態に係る検出器生成装置が構成されてもよい。
ステップS201では、制御部は、各顔画像681を第1検出器58に入力し、第1検出器58の演算処理を実行する。これにより、制御部は、各顔画像681に対する出力値を第1検出器58から取得するステップS202では、制御部は、各顔画像681に対して得られた出力値に基づいて特定される検出位置と対応する第1位置情報682により示される位置との誤差の合計値を算出する。
以下、本発明の実施例について説明する。ただし、本発明は、これらの実施例に限定されるものではない。
まず、第1実施例では、目尻を検出するための検出器を生成するために、各学習データセットを以下の条件で用意した。検出器には、畳み込みニューラルネットワーク及び全結合ニューラルネットワークを含む学習ネットワークを用いた。学習ネットワークでは、畳み込みニューラルネットワークの出力を全結合ニューラルネットワークの入力に接続した。そして、検出器生成装置(汎用のパーソナルコンピュータ)を用意し、用意した各学習データセットを利用して、用意した検出器生成装置に上記実施形態に係る各処理を実行させた。これにより、第1実施例に係る学習済みの検出器を得た。
・件数:3000枚
・顔画像:64×64ピクセルの画像(目の写る部分のみ抽出)
・抽出方法:オペレータの指定した目頭及び目尻の位置に基づいて目の写る部分を抽出
・顔画像の取得条件:近赤外線カメラにより被験者の顔を撮影
・位置情報:目尻の位置を示す
・位置情報の取得条件:オペレータの入力(オペレータにマウスを操作させて、顔画像内で目尻の位置を指定させた)
第1実施例に係る学習済みの検出器を利用して、第1実施例で利用した各学習データセットの顔画像から目尻の位置を検出し、検出結果により位置情報を更新することで、新たな各学習データセットを得た。そして、得られた各学習データセットを利用して、検出器生成装置に上記実施形態に係る機械学習の処理を実行させた。これにより、第2実施例に係る学習済みの検出器を得た。つまり、第2実施例に係る学習済みの検出器は、上記実施形態に係る機械学習の処理を2回繰り返すことで生成された学習済みの検出器に相当する。
第2実施例に係る学習済みの検出器を利用して、第2実施例で利用した各学習データセットの顔画像から目尻の位置を検出し、検出結果により位置情報を更新することで、新たな各学習データセットを得た。そして、得られた各学習データセットを利用して、検出器生成装置に上記実施形態に係る機械学習の処理を実行させた。これにより、第3実施例に係る学習済みの検出器を得た。つまり、第3実施例に係る学習済みの検出器は、上記実施形態に係る機械学習の処理を3回繰り返すことで生成された学習済みの検出器に相当する。
上記第1実施例において、第2誤差72及び第3誤差73の計算を省略することで、比較例に係る検出器を得た。すなわち、比較例では、上記実施形態に係る処理手順のうち、ステップS203~S208の処理を省略した。そして、ステップS209及びS210では、各誤差71~73を第1誤差71に置き換えた。
次に、第1~第3実施例及び比較例に係る検出器の検出精度を次の方法で評価した。すなわち、カメラにより対象者の顔を撮影し、学習用の顔画像と同様に、評価用の5000枚の顔画像(64×64ピクセル)を用意した。評価用の各顔画像を各検出器に入力し、各顔画像に対する目尻の位置の第1検出結果を各検出器から得た。また、評価用の各顔画像を幾何変換(平行移動+回転移動)することで変換画像を生成した。生成した各変換画像を各検出器に入力し、各変換画像に対する目尻の位置の第2検出結果を各検出器から得た。続いて、各検出器の第1検出結果の示す位置と第2検出結果の示す位置に上記幾何変換の逆変換を適用することで得られた位置との差分(ずれ)をピクセル単位で算出した。そして、得られた差分の平均及び標準偏差を算出した。差分の平均及び標準偏差の算出結果は、以下の表1のとおりである。
11…制御部、12…記憶部、13…通信インタフェース、
14…入力装置、15…出力装置、16…ドライブ、
111…学習データ取得部、112…学習処理部、
113…保存処理部、
121…学習結果データ、
81…検出器生成プログラム、91…記憶媒体、
2…モニタリング装置、
21…制御部、22…記憶部、23…通信インタフェース、
24…外部インタフェース、
25…入力装置、26…出力装置、27…ドライブ、
211…データ取得部、212…検出部、
213…出力部、
221…顔画像、
82…モニタリングプログラム、92…記憶媒体、
31…カメラ、41…カメラ、
5…検出器、
51…入力層、52…中間層(隠れ層)、53…出力層、
61…学習データセット、
611…顔画像(第1顔画像)、612…位置情報、
63…顔画像(第2顔画像)、66…顔画像(第3顔画像)、
71…誤差(第1誤差)、72…誤差(第2誤差)、
73…誤差(第3誤差)、
A1…位置、
V1…検出位置(第1検出位置)、V2…検出位置(第2検出位置)、
V30・V31…検出位置(第3検出位置)、
T…被験者、D…運転者(対象者)
Claims (11)
- 車両を運転する被験者の顔の写る第1顔画像、及び前記第1顔画像に写る前記顔の器官の位置を示す位置情報の組み合わせによりそれぞれ構成される複数の学習データセットを取得する学習データ取得部と、
前記複数の学習データセットを利用して、検出器の機械学習を実施する学習処理部と、
を備え、
前記検出器の機械学習を実施することは、
前記各学習データセットの前記第1顔画像を前記検出器に入力することで、前記各学習データセットの前記第1顔画像に対する第1出力値を前記検出器から取得するステップと、
前記各学習データセットについて、前記第1出力値に基づいて特定される前記器官の第1検出位置と前記位置情報により示される位置との第1誤差の合計値を算出するステップと、
前記各学習データセットの前記第1顔画像にノイズを付与することで、前記各学習データセットの前記第1顔画像に対して第2顔画像を生成するステップと、
前記各第2顔画像を前記検出器に入力することで、前記各第2顔画像に対する第2出力値を前記検出器から取得するステップと、
前記各学習データセットについて、前記第1検出位置と前記第2出力値に基づいて特定される前記器官の第2検出位置との第2誤差の合計値を算出するステップと、
前記第1誤差の合計値及び前記第2誤差の合計値が小さくなるように前記検出器を訓練するステップと、
を含む、
検出器生成装置。 - 前記検出器の機械学習を実施することは、
前記各学習データセットの前記第1顔画像に所定の幾何変換を適用することで、前記各学習データセットの前記第1顔画像に対して第3顔画像を生成するステップと、
前記各第3顔画像を前記検出器に入力することで、前記各第3顔画像に対する第3出力値を前記検出器から取得するステップと、
前記各学習データセットについて、前記第1検出位置と前記第3出力値に基づいて特定される前記器官の第3検出位置との第3誤差の合計値を算出するステップと、
を更に含み、
前記訓練するステップでは、前記学習処理部は、前記第1誤差の合計値、前記第2誤差の合計値及び前記第3誤差の合計値が小さくなるように前記検出器を訓練する、
請求項1に記載の検出器生成装置。 - 前記所定の幾何変換は、平行移動及び回転移動を伴う変換である、
請求項2に記載の検出器生成装置。 - 前記各学習データセットの前記位置情報は、当該位置情報に組み合わせられる前記第1顔画像を、機械学習を実施済みの他の検出器に入力することで、当該他の検出器から得られる出力値に基づいて与えられる、
請求項1から3のいずれか1項に記載の検出器生成装置。 - 前記器官は、目、鼻、口、眉、顎及びこれらの組み合わせから選択される、
請求項1から4のいずれか1項に記載の検出器生成装置。 - 前記検出器は、ニューラルネットワークにより構成される、
請求項1から5のいずれか1項に検出器生成装置。 - 車両を運転する運転者の顔の写る顔画像を取得するデータ取得部と、
請求項1から6のいずれか1項の検出器生成装置による機械学習を実施済みの前記検出器に取得した前記顔画像を入力することで、前記運転者の前記顔の器官を検出した結果に対応する出力値を前記検出器から取得する検出部と、
前記運転者の顔の器官を検出した結果に関する情報を出力する出力部と、
を備える、
モニタリング装置。 - コンピュータが、
車両を運転する被験者の顔の写る第1顔画像、及び前記第1顔画像に写る前記顔の器官の位置を示す位置情報の組み合わせによりそれぞれ構成される複数の学習データセットを取得するステップと、
前記複数の学習データセットを利用して、検出器の機械学習を実施するステップと、
を実行し、
前記検出器の機械学習を実施するステップは、
前記各学習データセットの前記第1顔画像を前記検出器に入力することで、前記各学習データセットの前記第1顔画像に対する第1出力値を前記検出器から取得するステップと、
前記各学習データセットについて、前記第1出力値に基づいて特定される前記器官の第1検出位置と前記位置情報により示される位置との第1誤差の合計値を算出するステップと、
前記各学習データセットの前記第1顔画像にノイズを付与することで、前記各学習データセットの前記第1顔画像に対して第2顔画像を生成するステップと、
前記各第2顔画像を前記検出器に入力することで、前記各第2顔画像に対する第2出力値を前記検出器から取得するステップと、
前記各学習データセットについて、前記第1検出位置と前記第2出力値に基づいて特定される前記器官の第2検出位置との第2誤差の合計値を算出するステップと、
前記第1誤差の合計値及び前記第2誤差の合計値が小さくなるように前記検出器を訓練するステップと、
を含む、
検出器生成方法。 - コンピュータに、
車両を運転する被験者の顔の写る第1顔画像、及び前記第1顔画像に写る前記顔の器官の位置を示す位置情報の組み合わせによりそれぞれ構成される複数の学習データセットを取得するステップと、
前記複数の学習データセットを利用して、検出器の機械学習を実施するステップと、
を実行させるための検出器生成プログラムであって、
前記検出器の機械学習を実施するステップは、
前記各学習データセットの前記第1顔画像を前記検出器に入力することで、前記各学習データセットの前記第1顔画像に対する第1出力値を前記検出器から取得するステップと、
前記各学習データセットについて、前記第1出力値に基づいて特定される前記器官の第1検出位置と前記位置情報により示される位置との第1誤差の合計値を算出するステップと、
前記各学習データセットの前記第1顔画像にノイズを付与することで、前記各学習データセットの前記第1顔画像に対して第2顔画像を生成するステップと、
前記各第2顔画像を前記検出器に入力することで、前記各第2顔画像に対する第2出力値を前記検出器から取得するステップと、
前記各学習データセットについて、前記第1検出位置と前記第2出力値に基づいて特定される前記器官の第2検出位置との第2誤差の合計値を算出するステップと、
前記第1誤差の合計値及び前記第2誤差の合計値が小さくなるように前記検出器を訓練するステップと、
を含む、
検出器生成プログラム。 - 被験者の顔の写る第1顔画像、及び前記第1顔画像に写る前記顔の器官の位置を示す位置情報の組み合わせによりそれぞれ構成される複数の学習データセットを取得する学習データ取得部と、
前記複数の学習データセットを利用して、検出器の機械学習を実施する学習処理部と、
を備え、
前記検出器の機械学習を実施することは、
前記各学習データセットの前記第1顔画像を前記検出器に入力することで、前記各学習データセットの前記第1顔画像に対する第1出力値を前記検出器から取得するステップと、
前記各学習データセットについて、前記第1出力値に基づいて特定される前記器官の第1検出位置と前記位置情報により示される位置との第1誤差の合計値を算出するステップと、
前記各学習データセットの前記第1顔画像にノイズを付与することで、前記各学習データセットの前記第1顔画像に対して第2顔画像を生成するステップと、
前記各第2顔画像を前記検出器に入力することで、前記各第2顔画像に対する第2出力値を前記検出器から取得するステップと、
前記各学習データセットについて、前記第1検出位置と前記第2出力値に基づいて特定される前記器官の第2検出位置との第2誤差の合計値を算出するステップと、
前記第1誤差の合計値及び前記第2誤差の合計値が小さくなるように前記検出器を訓練するステップと、
を含む、
検出器生成装置。 - 対象物の写る第1画像、及び前記第1画像に写る前記対象物の位置を示す位置情報の組み合わせによりそれぞれ構成される複数の学習データセットを取得する学習データ取得部と、
前記複数の学習データセットを利用して、検出器の機械学習を実施する学習処理部と、
を備え、
前記検出器の機械学習を実施することは、
前記各学習データセットの前記第1画像を前記検出器に入力することで、前記各学習データセットの前記第1画像に対する第1出力値を前記検出器から取得するステップと、
前記各学習データセットについて、前記第1出力値に基づいて特定される前記対象物の第1検出位置と前記位置情報により示される位置との第1誤差の合計値を算出するステップと、
前記各学習データセットの前記第1画像にノイズを付与することで、前記各学習データセットの前記第1画像に対して第2画像を生成するステップと、
前記各第2画像を前記検出器に入力することで、前記各第2画像に対する第2出力値を前記検出器から取得するステップと、
前記各学習データセットについて、前記第1検出位置と前記第2出力値に基づいて特定される前記対象物の第2検出位置との第2誤差の合計値を算出するステップと、
前記第1誤差の合計値及び前記第2誤差の合計値が小さくなるように前記検出器を訓練するステップと、
を含む、
検出器生成装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018162683A JP6996455B2 (ja) | 2018-08-31 | 2018-08-31 | 検出器生成装置、モニタリング装置、検出器生成方法及び検出器生成プログラム |
PCT/JP2019/010187 WO2020044630A1 (ja) | 2018-08-31 | 2019-03-13 | 検出器生成装置、モニタリング装置、検出器生成方法及び検出器生成プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018162683A JP6996455B2 (ja) | 2018-08-31 | 2018-08-31 | 検出器生成装置、モニタリング装置、検出器生成方法及び検出器生成プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020035290A JP2020035290A (ja) | 2020-03-05 |
JP2020035290A5 JP2020035290A5 (ja) | 2021-03-04 |
JP6996455B2 true JP6996455B2 (ja) | 2022-01-17 |
Family
ID=69644087
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018162683A Active JP6996455B2 (ja) | 2018-08-31 | 2018-08-31 | 検出器生成装置、モニタリング装置、検出器生成方法及び検出器生成プログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6996455B2 (ja) |
WO (1) | WO2020044630A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7458857B2 (ja) | 2020-04-01 | 2024-04-01 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
WO2022097195A1 (ja) * | 2020-11-04 | 2022-05-12 | 日本電信電話株式会社 | 学習方法、学習装置及びプログラム |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008536211A (ja) | 2005-03-31 | 2008-09-04 | フランス テレコム | ニューラルネットワークを実現するオブジェクトイメージにおいて興味のあるポイントを位置決めするシステム及び方法 |
-
2018
- 2018-08-31 JP JP2018162683A patent/JP6996455B2/ja active Active
-
2019
- 2019-03-13 WO PCT/JP2019/010187 patent/WO2020044630A1/ja active Application Filing
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008536211A (ja) | 2005-03-31 | 2008-09-04 | フランス テレコム | ニューラルネットワークを実現するオブジェクトイメージにおいて興味のあるポイントを位置決めするシステム及び方法 |
Non-Patent Citations (2)
Title |
---|
山下 隆義,Deep Convolutional Neural Networkによる顔器官点検出における最適なミニバッチ作成方法,SSII2015 第21回 画像センシングシンポジウム 講演論文集 [CD-ROM],日本,画像センシング技術研究会,2015年06月10日,P. IS2-13-1 ~ IS2-13-6 |
山下 隆義,イラストで学ぶ ディープラーニング,日本,株式会社講談社,2016年02月22日,P.70-73 |
Also Published As
Publication number | Publication date |
---|---|
WO2020044630A1 (ja) | 2020-03-05 |
JP2020035290A (ja) | 2020-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6946831B2 (ja) | 人物の視線方向を推定するための情報処理装置及び推定方法、並びに学習装置及び学習方法 | |
US20230330848A1 (en) | Reinforcement and imitation learning for a task | |
US11557085B2 (en) | Neural network processing for multi-object 3D modeling | |
US11410364B2 (en) | Systems and methods for realistic head turns and face animation synthesis on mobile device | |
KR101828201B1 (ko) | 3d 얼굴 모델 재구성 장치 및 방법 | |
US20190114824A1 (en) | Fast and precise object alignment and 3d shape reconstruction from a single 2d image | |
JP2021503134A (ja) | 画像深度とエゴモーション予測ニューラルネットワークの教師なし学習 | |
WO2021135827A1 (zh) | 视线方向确定方法、装置、电子设备及存储介质 | |
CN111696196B (zh) | 一种三维人脸模型重建方法及装置 | |
JP2023515654A (ja) | 画像最適化方法及びその装置、コンピュータ記憶媒体、コンピュータプログラム並びに電子機器 | |
EP3912092A1 (en) | Systems and methods for realistic head turns and face animation synthesis on mobile device | |
US10282614B2 (en) | Real-time detection of object scanability | |
US11915355B2 (en) | Realistic head turns and face animation synthesis on mobile device | |
JP7064257B2 (ja) | 画像深度確定方法及び生き物認識方法、回路、装置、記憶媒体 | |
JP6996455B2 (ja) | 検出器生成装置、モニタリング装置、検出器生成方法及び検出器生成プログラム | |
KR20210018114A (ko) | 교차 도메인 메트릭 학습 시스템 및 방법 | |
JP7035912B2 (ja) | 検出器生成装置、モニタリング装置、検出器生成方法及び検出器生成プログラム | |
US20240111894A1 (en) | Generative machine learning models for privacy preserving synthetic data generation using diffusion | |
KR102538685B1 (ko) | 다시점 정보를 이용하여 3d 정보를 복원하는 방법 및 이를 위한 장치 | |
US20230093827A1 (en) | Image processing framework for performing object depth estimation | |
JP2022189901A (ja) | 学習方法、学習装置、プログラムおよび記録媒体 | |
US11423308B1 (en) | Classification for image creation | |
CN114972587A (zh) | 表情驱动方法、装置、电子设备及可读存储介质 | |
WO2019186833A1 (ja) | 画像処理装置、画像処理方法、及び、コンピュータ読み取り可能な記録媒体 | |
WO2019228195A1 (zh) | 空间环境的感知方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201214 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210119 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211116 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211129 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6996455 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |