JP6558388B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP6558388B2 JP6558388B2 JP2017048535A JP2017048535A JP6558388B2 JP 6558388 B2 JP6558388 B2 JP 6558388B2 JP 2017048535 A JP2017048535 A JP 2017048535A JP 2017048535 A JP2017048535 A JP 2017048535A JP 6558388 B2 JP6558388 B2 JP 6558388B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- learning
- face
- learner
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 107
- 210000000056 organ Anatomy 0.000 claims description 132
- 230000001815 facial effect Effects 0.000 claims description 44
- 238000013528 artificial neural network Methods 0.000 claims description 36
- 238000003672 processing method Methods 0.000 claims description 13
- 238000001514 detection method Methods 0.000 description 34
- 210000002569 neuron Anatomy 0.000 description 21
- 238000000034 method Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 11
- 239000002131 composite material Substances 0.000 description 11
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 230000010365 information processing Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 206010000117 Abnormal behaviour Diseases 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000007958 sleep Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Description
図1を用いて、本実施形態に係る画像処理装置が含まれる画像処理システムについて、説明する。この画像処理システムは、画像処理装置1、学習装置2、及びカメラ3を備えている。この画像処理システムでは、カメラ3によって撮影された人を含む撮影画像(対象画像)から、画像処理装置1によって、人の顔の向き、顔の器官(目、鼻、口など)の位置を検出するものである。特に、本実施形態に係る画像処理装置1では、撮影画像内の人の顔にマスク、サングラスのような遮蔽物が含まれているときにも、有効に顔の向き等の検出を行うことができるように構成されている。
カメラ3は、公知のものを用いることができ、人を撮影することで撮影画像を生成し、これを画像処理装置1に出力する。なお、撮影画像は、静止画または動画のいずれであってもよく、動画の場合には、フレーム毎に画像処理装置1によって顔の向き等の検出が行われる。
図3は、本実施形態に係る学習装置を示すブロック図である。図3に示すように、本実施形態に係る学習装置2は、上記第2検出部102に含まれる学習器を学習するためのものであり、制御部21、記憶部22、通信インタフェース23、入力装置24、出力装置25、外部インタフェース26、及びドライブ27が電気的に接続されたコンピュータである。なお、図2では、図1と同様に、通信インタフェース及び外部インタフェースをそれぞれ、「通信I/F」及び「外部I/F」と記載している。
次に、図4を参照しつつ、本実施形態に係る画像処理装置1の機能構成の一例を説明する。図4は、本実施形態に係る画像処理装置1の機能構成の一例を模式的に例示する。
図4に示すように、画像処理装置1の制御部11は、記憶部12に記憶された画像処理プログラム121をRAMに展開する。そして、制御部11は、RAMに展開された画像処理プログラム121をCPUにより解釈及び実行して、各構成要素を制御する。これによって、図4に示すように、本実施形態に係る画像処理装置1は、画像取得部111、遮蔽物判断部112、第1検出部113、及び第2検出部114を備えるコンピュータとして機能する。
図5を参照しつつ、遮蔽物判断部112について説明する。遮蔽物判断部112は、例えば、図5Aに示すように、撮影画像123内の人が遮蔽物を着用していない場合と、図5Bに示すように、マスクなどの遮蔽物を着用している場合のいずれかであるかを判断する。そのような手法は、特には限定されないが、例えば、パターンマッチングなど、種々の方法を採用することができる。
遮蔽物を着用していない顔の向きや器官の位置の検出は、従来より種々の方法が提案されている。したがって、第1検出部で用いる処理は特には限定されない。例えば、三次元モデルを用いて特徴点の抽出を行う手法があり、具体的には、例えば、国際公開2006/051607号公報、特開2007−249280号公報などに記載されている手法を採用することができる。そして、このような手法を用い、撮影画像123から顔の向き、角度、目の位置を検出する。
次に、図4を参照しつつ、第2検出部114について説明する。図4に示すように、第2検出部114では、撮影画像123を、顔の向き及び器官の位置について学習した学習器の入力として用いる。そして、この学習器の演算処理により、当該学習器から出力値を得る。そして、第2検出部114は、学習器から得られた出力値に基づいて、撮影画像123の中の人の顔の向き及び器官の位置に関する情報を取得する。
次に、図4及び図6を参照しつつ、学習器について説明する。図4に示すように、本実施形態に係る画像処理装置1は、一例として、顔の向きの検出について、4つの学習器、つまり1つの第1向き学習器710と3種類の第2向き学習器720が用いられる。また、顔の器官の検出についても6つの学習器、つまり3種類の第1器官学習器730と3種類の第2器官学習器740が用いられる。すなわち、本実施形態では、合計10個の学習器711〜743が用いられる。いずれの学習器711〜743もニューラルネットワークで構成されている。具体的には、図6に示すような、いわゆる深層学習に用いられる多層構造のニューラルネットワークであり、入力から順に、入力層71、中間層(隠れ層)72、及び出力層73を備えている。
次に、図4を参照しつつ顔の向きの検出のために用いられる学習器について、説明する。上述したように、本実施形態においては、顔の向きの検出について、4つの学習器を用いる。すなわち、撮影画像中の顔のおおよその向きを検出する第1向き学習器710と、顔の向きの具体的な角度を検出する3種類の第2向き学習器720(721〜723)と、が用いられる。なお、第1向き学習器710が、本発明の第1学習器に相当し、第2向き学習器721〜723が、本発明の第3学習器に相当する。
次に、図4を参照しつつ顔の器官の位置の検出のために用いられる学習器について、説明する。上述したように、本実施形態においては、顔の器官の位置の検出について、6つの学習器を用いる。すなわち、撮影画像中の顔の器官の位置を検出する3種類の第1器官学習器730と、顔の器官の正確な位置を検出する3種類の第2器官学習器740(741〜743)と、が用いられる。なお、第1器官学習器730が、本発明の第2学習器に相当し、第2器官学習器740が、本発明の第4学習器に相当する。
次に、図10を用いて、本実施形態に係る学習装置2の機能構成の一例を説明する。図10は、本実施形態に係る学習装置2の機能構成の一例を模式的に例示する。
画像処理装置1及び学習装置2の各機能に関しては後述する動作例で詳細に説明する。なお、本実施形態では、画像処理装置1及び学習装置2の各機能がいずれも汎用のCPUによって実現される例について説明している。しかしながら、以上の機能の一部又は全部が、1又は複数の専用のプロセッサにより実現されてもよい。また、画像処理装置1及び学習装置2それぞれの機能構成に関して、実施形態に応じて、適宜、機能の省略、置換及び追加が行われてもよい。
次に、図15を参照しつつ、画像処理装置1の動作例を説明する。図15は、画像処理装置1の処理手順の一例を例示するフローチャートである。なお、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
以上のように、本実施形態によれば、撮影画像から人の顔の器官の位置を検出する第1器官学習器730として、第1向き学習器710で出力された向き情報に対応したものが用いられる。すなわち、特定の顔の向きによって学習された学習器を用いて、顔の器官の検出が行われるため、より精度の高い器官の位置を検出することができる。したがって、顔が遮蔽物で遮蔽され、ノードの取得が十分に行えず、第1検出部が利用できない場合であっても、顔の器官の位置を正確に検出することができる。
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。
例えば、上記実施形態では、図5及び図6に示されるとおり、各ニューラルネットワーク(7、8)として、多層構造を有する一般的な順伝播型ニューラルネットワークを用いている。しかしながら、各ニューラルネットワーク(7、8)の種類は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、各ニューラルネットワーク(7、8)は、入力層71及び中間層72を畳み込み層及びプーリング層として利用する畳み込みニューラルネットワークであってもよい。また、例えば、各ニューラルネットワーク(7、8)は、中間層72から入力層71等のように出力側から入力側に再帰する結合を有する再帰型ニューラルネットワークであってもよい。なお、各ニューラルネットワーク(7、8)の層数、各層におけるニューロンの個数、ニューロン同士の結合関係、及び各ニューロンの伝達関数は、実施の形態に応じて適宜決定されてよい。
上記実施形態では、画像処理装置1と学習器(ニューラルネットワーク)の学習を行う学習装置2とは別々のコンピュータで構成されている。しかしながら、画像処理装置1及び学習装置2の構成はこのような例に限定されなくてもよく、画像処理装置1及び学習装置2の両方の機能を有するシステムを1台又は複数台のコンピュータで実現してもよい。画像処理装置1に組み込んで使用することもできる。
上記実施形態では、学習器は、ニューラルネットワークにより構成されている。しかしながら、学習器の種類は、カメラ3で撮影された撮影画像123を入力として利用可能であれば、ニューラルネットワークに限られなくてもよく、実施の形態に応じて適宜選択されてよい。複数の撮影画像123を入力可能な学習器として、例えば、上記ニューラルネットワークの他、サポートベクターマシン、自己組織化マップ、又は強化学習により学習を行う学習器によって構成された学習器を挙げることができる。
上記実施形態では、カメラ3によって撮影された撮影画像を画像処理装置1に送信して、顔の向き等を検出しているが、カメラを用いず、予め準備された画像を画像処理装置1に送信してもよいし、予め画像処理装置3の記憶部12に記憶されている画像から顔の向き等を検出することもできる。
上記実施形態では、4つの学習器710〜740を用いて、顔の向き、角度、及び特徴点の位置を検出しているが、これに限定されるものではない。例えば、第1向き学習器710と第1器官学習器730のみを用いて第2検出部114を構成し、顔の向き及び特徴点の位置を検出することもできる。また、第1向き学習器710、第1器官学習器730、及び第2器官学習器740を用いて、顔の向き、及び詳細な特徴点の位置を検出することもできる。あるいは、第1向き学習器710と第2向き学習器720を用い、顔の向きと角度を検出することもできる。また、上記実施形態では、顔の向き(正面、斜め、横)に合わせ、第2向き学習器720、第1器官学習器730、及び第2器官学習器740において、それぞれ、3種類の学習器を設定したが、これに限定されるものでない。すなわち、2または4以上の顔の向きを適宜決定し、これに合わせて学習器も2または4以上作成することができる。
上記実施形態では、第2器官学習器740において、合成画像124を入力としている。すなわち、撮影画像123から特徴点A1〜A4を含む複数の部分画像124a〜124dを切り出し、これを並べた合成画像124を生成し、これを第2器官学習器740の入力としている。しかしながら、第2器官学習器740の入力はこれに限定されるものではなく、種々の入力用画像を生成することができる。例えば、合成画像124を入力とせず、部分画像124a〜124dをそれぞれ別個に入力することができる。また、撮影画像123から部分画像を切り出す以外に、撮影画像全体を第2器官学習器740の入力とすることもできる。すなわち、入力用画像としては、第1器官学習器730で検出された特徴点を含んでいるのであれば、種々の態様にすることができる。
上記実施形態の画像処理装置1は、遮蔽物の有無を判断した後、第1検出部113または第2検出部114を用いるようにしているが、第2検出部114のみを搭載した画像処理装置1を用いることもできる。
上記実施形態では、マスクを遮蔽物とし、目を器官として位置の検出をしているが、目以外でも検出できることは言うまでもない。例えば、遮蔽物としてサングラスが着用されている場合には、口や鼻を器官として、その位置を検出することもできる。また、上記実施形態では、顔の向きとして、左右方向の向きのみを検出したが、上下方向の向き、あるいはこれらを組み合わせた向きを検出することもできる。また、顔の向きは、3種類を示したが、これに限定されず、適宜設定することができる。
第1学習器、及び少なくとも1つの第2学習器を記憶するように構成されたメモリと、
前記メモリに接続された少なくとも1つのハードウェアプロセッサと、
を備え、
前記第1学習器は、人の顔を含む画像から顔の向きを検出するための学習を行った学習済みの第1学習器であって、人の顔を含む対象画像を入力とし、前記対象画像に含まれる顔の向きに関する第1情報を出力とするように構成され、
前記第2学習器は、人の顔を含む画像から顔の器官の位置を検出するための学習を、前記第1情報ごとに行った、少なくとも1つの学習済みの第2学習器であって、前記対象画像を入力とし、前記対象画像に含まれる顔の器官の位置に関する第2情報を出力とするように構成され、
前記少なくとも1つのハードウェアプロセッサは、
前記第1学習器によって、前記対象画像から前記第1情報を取得し、
前記第1情報に対応する前記第2学習器によって、前記対象画像から前記第2情報を取得するように構成されている、画像処理装置。
人の顔を含む画像から顔の向きを検出するための学習を行った学習済みの第1学習器を準備するステップと、
少なくとも1つのハードウェアプロセッサにより、前記第1学習器によって、人の顔を含む対象画像から、前記人の顔の向きに関する第1情報を取得するステップと、
人の顔を含む画像から顔の器官の位置を検出するための学習を、前記第1情報ごとに行った、少なくとも1つの学習済みの第2学習器を準備するステップと、
少なくとも1つのハードウェアプロセッサにより、前記第1学習器で出力された前記第1情報に対応した前記第2学習器によって、前記対象画像から、前記対象画像に含まれる顔の器官の位置に関する第2情報を出力するステップと、
を備えている、画像処理方法。
11…制御部、12…記憶部、13…通信インタフェース、
14…入力装置、15…出力装置、16…外部インタフェース、
17…ドライブ、
111…画像取得部、112…遮蔽物検出部、
113…第1検出部、114…第2検出部、
121…画像処理プログラム、122…学習結果データ、
123…撮影画像(対象画像)、
2…学習装置、
21…制御部、22…記憶部、23…通信インタフェース、
24…入力装置、25…出力装置、26…外部インタフェース、
27…ドライブ、
211…学習画像取得部、212…学習処理部、
221…学習プログラム、222…学習データ、
3…カメラ、
7…ニューラルネットワーク、
71…入力層、72…中間層(隠れ層)、73…出力層、
8…ニューラルネットワーク、
81…入力層、82…中間層(隠れ層)、83…出力層、
91・92…記憶媒体
Claims (16)
- 人の顔を含む画像から顔の向きを検出するための学習を行った学習済みの第1学習器であって、人の顔を含む対象画像を入力とし、前記対象画像に含まれる顔の向きに関する第1情報を出力とする第1学習器と、
人の顔を含む画像から顔の器官の位置を検出するための学習を、前記第1情報ごとに行った、少なくとも1つの学習済みの第2学習器であって、前記対象画像を入力とし、前記対象画像に含まれる顔の器官の位置に関する第2情報を出力とする、少なくとも1つの第2学習器と、
前記第1学習器及び前記第2学習器を制御する制御部と、
前記対象画像に、顔の一部を遮蔽する遮蔽物が含まれているか否かを判断する遮蔽物判断部と、
を備え、
前記制御部は、
前記第1学習器によって、前記対象画像から前記第1情報を取得し、
前記第1情報に対応する前記第2学習器によって、前記対象画像から前記第2情報を取得するように構成されており、
前記制御部は、
前記遮蔽物判断部によって、前記対象画像に前記遮蔽物が含まれていると判断された場合に、前記対象画像を入力とし、前記第1学習器及び前記第2学習器によって、前記第1情報及び前記第2情報を出力するように構成されている、画像処理装置。 - 前記第1情報は、人の顔の向きを規定した複数の異なる、向き情報から選択される1つである、請求項1に記載の画像処理装置。
- 前記第2情報は、人の顔の器官において規定される少なくとも1つの特徴点の位置である、請求項1また2に記載の画像処理装置。
- 人の顔を含む画像から顔の向きを検出するための学習を、前記第1情報ごとに行った、少なくとも1つの学習済みの第3学習器であって、前記対象画像を入力とし、前記対象画像に含まれる顔の向きに関する第3情報を出力とする、少なくとも1つの第3学習器をさらに備え、
前記制御部は、
前記第1学習器から出力された前記第1情報に対応する前記第3学習器によって、前記対象画像から前記第3情報を取得するように構成されている、請求項1から3のいずれかに記載の画像処理装置。 - 前記第3情報は、人の顔の向きを示す角度である、請求項4に記載の画像処理装置。
- 人の顔を含む画像から顔の器官の位置を検出するための学習を、前記第1情報ごとに行った、少なくとも1つの学習済みの第4学習器であって、前記第2情報に係る器官が含まれる前記対象画像を入力とし、前記対象画像に含まれる顔の器官の位置に関する第4情報を出力とする、少なくとも1つの第4学習器をさらに備え、
前記制御部は、
前記第1学習器から出力された前記第1情報に対応する前記第4学習器によって、前記第2情報に係る器官が含まれる前記対象画像から、前記第4情報を取得するように構成されている、請求項1から5のいずれかに記載の画像処理装置。 - 前記第2情報は、人の顔の器官において規定される少なくとも1つの特徴点の位置であり、
前記第4学習器は、前記第2学習器への入力に用いられた前記対象画像に基づいて生成され、前記特徴点を含む入力用画像を入力とし、前記各特徴点の位置を出力とする、請求項6に記載の画像処理装置。 - 前記各学習器は、ニューラルネットワークによって構成される、請求項1から7のいずれかに記載の画像処理装置。
- 人の顔を含む対象画像に、顔の一部を遮蔽する遮蔽物が含まれているか否かを判断するステップと、
人の顔を含む画像から顔の向きを検出するための学習を行った学習済みの第1学習器を準備するステップと、
前記第1学習器によって、前記対象画像から、前記人の顔の向きに関する第1情報を取得するステップと、
人の顔を含む画像から顔の器官の位置を検出するための学習を、前記第1情報ごとに行った、少なくとも1つの学習済みの第2学習器を準備するステップと、
前記第1学習器で出力された前記第1情報に対応した前記第2学習器によって、前記対象画像から、前記対象画像に含まれる顔の器官の位置に関する第2情報を出力するステップと、
を備え、
前記対象画像に前記遮蔽物が含まれている場合には、前記第1学習器を準備するステップ、前記第1情報を出力するステップ、前記第2学習器を準備するステップ、及び前記第2情報を出力するステップを実行する、画像処理方法。 - 人の顔を含む画像から顔の向きを検出するための学習を、前記第1情報ごとに行った、少なくとも1つの学習済みの第3学習器を準備するステップと、
前記第1学習器から出力された前記第1情報に対応する前記第3学習器によって、前記対象画像から、前記対象画像に含まれる顔の向きに関する前記第3情報を出力するステップと、
をさらに備えている、請求項9に記載の画像処理方法。 - 人の顔を含む画像から顔の器官の位置を検出するための学習を、前記第1情報ごと行った、少なくとも1つの学習済みの第4学習器を準備するステップと、
前記第1学習器から出力された前記第1情報に対応する前記第4学習器によって、前記第2情報に係る器官が含まれた前記対象画像から、前記対象画像に含まれる顔の器官の位置に関する第4情報を出力するステップと、
をさらに備えている、請求項9または10に記載の画像処理方法。 - 前記各学習器は、ニューラルネットワークによって構成される、請求項9から11のいずれかに記載の画像処理方法。
- コンピュータに、
人の顔を含む対象画像に、顔の一部を遮蔽する遮蔽物が含まれているか否かを判断するステップと、
人の顔を含む画像から顔の向きを検出するための学習を行った学習済みの第1学習器を準備するステップと、
前記第1学習器によって、前記対象画像から、前記人の顔の向きに関する第1情報を取得するステップと、
人の顔を含む画像から顔の器官の位置を検出するための学習を、前記第1情報ごとに行った、少なくとも1つの学習済みの第2学習器を準備するステップと、
前記第1学習器で出力された前記第1情報に対応した前記第2学習器によって、前記対象画像から、前記対象画像に含まれる顔の器官の位置に関する第2情報を出力するステップと、
を備え、
前記対象画像に前記遮蔽物が含まれている場合には、前記第1学習器を準備するステップ、前記第1情報を出力するステップ、前記第2学習器を準備するステップ、及び前記第2情報を出力するステップを実行させる、画像処理プログラム。
- コンピュータに、
人の顔を含む画像から顔の向きを検出するための学習を、前記第1情報ごとに行った、少なくとも1つの学習済みの第3学習器を準備するステップと、
前記第1学習器から出力された前記第1情報に対応する前記第3学習器によって、前記対象画像から、前記対象画像に含まれる顔の向きに関する前記第3情報を出力するステップと、
をさらに実行させる、請求項13に記載の画像処理プログラム。 - コンピュータに、
人の顔を含む画像から顔の器官の位置を検出するための学習を、前記第1情報ごと行った、少なくとも1つの学習済みの第4学習器を準備するステップと、
前記第1学習器から出力された前記第1情報に対応する前記第4学習器によって、前記第2情報に係る器官が含まれた前記対象画像から、前記対象画像に含まれる顔の器官の位置に関する第4情報を出力するステップと、
をさらに実行させる、請求項13または14に記載の画像処理プログラム。 - 前記各学習器は、ニューラルネットワークによって構成される、請求項13から15のいずれかに記載の画像処理プログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017048535A JP6558388B2 (ja) | 2017-03-14 | 2017-03-14 | 画像処理装置 |
CN201780086071.XA CN110268416B (zh) | 2017-03-14 | 2017-10-05 | 图像处理装置 |
PCT/JP2017/036279 WO2018168041A1 (ja) | 2017-03-14 | 2017-10-05 | 画像処理装置 |
DE112017007247.6T DE112017007247B4 (de) | 2017-03-14 | 2017-10-05 | Bildverarbeitungsvorrichtung |
US16/544,968 US11222439B2 (en) | 2017-03-14 | 2019-08-20 | Image processing apparatus with learners for detecting orientation and position of feature points of a facial image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017048535A JP6558388B2 (ja) | 2017-03-14 | 2017-03-14 | 画像処理装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018151938A JP2018151938A (ja) | 2018-09-27 |
JP2018151938A5 JP2018151938A5 (ja) | 2019-04-04 |
JP6558388B2 true JP6558388B2 (ja) | 2019-08-14 |
Family
ID=63521958
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017048535A Active JP6558388B2 (ja) | 2017-03-14 | 2017-03-14 | 画像処理装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11222439B2 (ja) |
JP (1) | JP6558388B2 (ja) |
CN (1) | CN110268416B (ja) |
DE (1) | DE112017007247B4 (ja) |
WO (1) | WO2018168041A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107622240B (zh) * | 2017-09-21 | 2023-10-13 | 百度在线网络技术(北京)有限公司 | 人脸检测方法和装置 |
CN111558945A (zh) * | 2020-05-26 | 2020-08-21 | 天津市微卡科技有限公司 | 一种基于图像处理技术的学习效率监测陪伴机器人 |
CN112001872B (zh) * | 2020-08-26 | 2021-09-14 | 北京字节跳动网络技术有限公司 | 信息显示方法、设备及存储介质 |
Family Cites Families (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8254674B2 (en) * | 2004-10-28 | 2012-08-28 | DigitalOptics Corporation Europe Limited | Analyzing partial face regions for red-eye detection in acquired digital images |
JP2005056231A (ja) * | 2003-08-06 | 2005-03-03 | Matsushita Electric Ind Co Ltd | 画像処理装置 |
US7936902B2 (en) | 2004-11-12 | 2011-05-03 | Omron Corporation | Face feature point detection apparatus and feature point detection apparatus |
JP2007066010A (ja) * | 2005-08-31 | 2007-03-15 | Fujifilm Corp | 判別器学習方法および対象判別装置ならびにプログラム |
US7889892B2 (en) | 2005-10-13 | 2011-02-15 | Fujifilm Corporation | Face detecting method, and system and program for the methods |
JP4757598B2 (ja) * | 2005-10-13 | 2011-08-24 | 富士フイルム株式会社 | 顔検出方法および装置並びにプログラム |
JP4696857B2 (ja) | 2005-11-02 | 2011-06-08 | オムロン株式会社 | 顔照合装置 |
JP4093273B2 (ja) | 2006-03-13 | 2008-06-04 | オムロン株式会社 | 特徴点検出装置、特徴点検出方法および特徴点検出プログラム |
JP5176572B2 (ja) * | 2008-02-05 | 2013-04-03 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
JP5127583B2 (ja) * | 2008-06-20 | 2013-01-23 | 株式会社豊田中央研究所 | 対象物判定装置及びプログラム |
US7742623B1 (en) * | 2008-08-04 | 2010-06-22 | Videomining Corporation | Method and system for estimating gaze target, gaze sequence, and gaze map from video |
CN101763636B (zh) * | 2009-09-23 | 2012-07-04 | 中国科学院自动化研究所 | 视频序列中的三维人脸位置和姿态跟踪的方法 |
WO2011065952A1 (en) | 2009-11-30 | 2011-06-03 | Hewlett-Packard Development Company, L.P. | Face recognition apparatus and methods |
JP5554984B2 (ja) * | 2009-12-24 | 2014-07-23 | キヤノン株式会社 | パターン認識方法およびパターン認識装置 |
JP5618686B2 (ja) | 2010-08-03 | 2014-11-05 | キヤノン株式会社 | 視線検出装置、視線検出方法及びプログラム |
JP5288045B2 (ja) * | 2011-07-11 | 2013-09-11 | トヨタ自動車株式会社 | 車両の緊急退避装置 |
JP5795979B2 (ja) * | 2012-03-15 | 2015-10-14 | 株式会社東芝 | 人物画像処理装置、及び人物画像処理方法 |
AU2013205535B2 (en) * | 2012-05-02 | 2018-03-15 | Samsung Electronics Co., Ltd. | Apparatus and method of controlling mobile terminal based on analysis of user's face |
US11017211B1 (en) * | 2012-09-07 | 2021-05-25 | Stone Lock Global, Inc. | Methods and apparatus for biometric verification |
US9470911B2 (en) * | 2013-08-22 | 2016-10-18 | Bespoke, Inc. | Method and system to create products |
JP6351243B2 (ja) * | 2013-11-28 | 2018-07-04 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
CN104751108B (zh) * | 2013-12-31 | 2019-05-17 | 汉王科技股份有限公司 | 人脸图像识别装置和人脸图像识别方法 |
US20150243031A1 (en) * | 2014-02-21 | 2015-08-27 | Metaio Gmbh | Method and device for determining at least one object feature of an object comprised in an image |
US10417824B2 (en) * | 2014-03-25 | 2019-09-17 | Apple Inc. | Method and system for representing a virtual object in a view of a real environment |
JP6410450B2 (ja) * | 2014-03-31 | 2018-10-24 | キヤノン株式会社 | オブジェクト識別装置、オブジェクト識別方法及びプログラム |
US9639742B2 (en) * | 2014-04-28 | 2017-05-02 | Microsoft Technology Licensing, Llc | Creation of representative content based on facial analysis |
CN106462937B (zh) * | 2014-06-06 | 2019-12-31 | 夏普株式会社 | 图像处理装置以及图像显示装置 |
US9846807B1 (en) * | 2014-12-31 | 2017-12-19 | Morphotrust Usa, Llc | Detecting eye corners |
JP6624794B2 (ja) * | 2015-03-11 | 2019-12-25 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP6606849B2 (ja) * | 2015-04-06 | 2019-11-20 | 大日本印刷株式会社 | 識別器生成装置、識別器生成方法、推定装置、推定方法、およびプログラム |
US10303973B2 (en) * | 2015-04-15 | 2019-05-28 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium for lighting processing on image using model data |
WO2017029488A2 (en) * | 2015-08-14 | 2017-02-23 | Metail Limited | Methods of generating personalized 3d head models or 3d body models |
JP7011578B2 (ja) * | 2015-08-31 | 2022-01-26 | エスアールアイ インターナショナル | 運転行動を監視する方法及びシステム |
US10546185B2 (en) * | 2015-12-01 | 2020-01-28 | Casio Computer Co., Ltd. | Image processing apparatus for performing image processing according to privacy level |
US10621418B2 (en) * | 2016-02-18 | 2020-04-14 | Mitsubishi Electric Corporation | Passenger detection device, passenger detection system, and passenger detection method |
US10157477B2 (en) * | 2016-04-27 | 2018-12-18 | Bellus 3D, Inc. | Robust head pose estimation with a depth camera |
US10055880B2 (en) * | 2016-12-06 | 2018-08-21 | Activision Publishing, Inc. | Methods and systems to modify a two dimensional facial image to increase dimensional depth and generate a facial image that appears three dimensional |
-
2017
- 2017-03-14 JP JP2017048535A patent/JP6558388B2/ja active Active
- 2017-10-05 DE DE112017007247.6T patent/DE112017007247B4/de active Active
- 2017-10-05 WO PCT/JP2017/036279 patent/WO2018168041A1/ja active Application Filing
- 2017-10-05 CN CN201780086071.XA patent/CN110268416B/zh active Active
-
2019
- 2019-08-20 US US16/544,968 patent/US11222439B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
DE112017007247B4 (de) | 2023-07-06 |
JP2018151938A (ja) | 2018-09-27 |
CN110268416A (zh) | 2019-09-20 |
WO2018168041A1 (ja) | 2018-09-20 |
US20190370996A1 (en) | 2019-12-05 |
US11222439B2 (en) | 2022-01-11 |
DE112017007247T5 (de) | 2019-12-19 |
CN110268416B (zh) | 2023-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11829858B2 (en) | Method of training neural network by selecting data to be used in a subsequent training process and identifying a cluster corresponding to a feature vector | |
US10546201B2 (en) | Method and apparatus for determining abnormal object | |
EP3674852B1 (en) | Method and apparatus with gaze estimation | |
CN106104203B (zh) | 一种移动物体的距离检测方法、装置及飞行器 | |
CN107111753B (zh) | 用于注视跟踪模型的注视检测偏移 | |
JP6573193B2 (ja) | 判定装置、判定方法、および判定プログラム | |
CN104573623B (zh) | 人脸检测装置、方法 | |
EP2597597B1 (en) | Apparatus and method for calculating three dimensional (3D) positions of feature points | |
EP3324333A2 (en) | Method and apparatus to perform facial expression recognition and training | |
JP5227639B2 (ja) | オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム | |
JP6558388B2 (ja) | 画像処理装置 | |
JP2018532199A5 (ja) | ||
KR102347249B1 (ko) | 외부 물체의 움직임과 연관된 이벤트에 응답하여 화면을 디스플레이하는 장치 및 방법 | |
CN106575155A (zh) | 沉浸在虚拟现实环境中时的防绊倒 | |
JP2010033305A (ja) | 画像情報処理方法、及び装置 | |
EP3480729B1 (en) | System and method for face position tracking and alerting user | |
JP5001930B2 (ja) | 動作認識装置及び方法 | |
JP6020439B2 (ja) | 画像処理装置、撮像装置、および画像処理プログラム | |
US10964046B2 (en) | Information processing apparatus and non-transitory computer readable medium storing information processing program for estimating face orientation by using an omni-directional camera | |
JP2009064395A (ja) | ポインティングデバイス、操作者の注視位置とカーソルの位置との誤差の補正をコンピュータに実行させるためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
WO2018168038A1 (ja) | 運転者の着座判定装置 | |
JP2008225801A (ja) | 不審者検知システム及び方法 | |
JP4840638B2 (ja) | 車両の乗員監視装置 | |
JP5448952B2 (ja) | 同一人判定装置、同一人判定方法および同一人判定プログラム | |
EP3651114B1 (en) | Analysis device, analysis method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190221 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190221 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190221 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190312 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190329 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190618 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190701 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6558388 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |