JP6469483B2 - 画像処理装置、画像処理方法、及びコンピュータプログラム - Google Patents
画像処理装置、画像処理方法、及びコンピュータプログラム Download PDFInfo
- Publication number
- JP6469483B2 JP6469483B2 JP2015046071A JP2015046071A JP6469483B2 JP 6469483 B2 JP6469483 B2 JP 6469483B2 JP 2015046071 A JP2015046071 A JP 2015046071A JP 2015046071 A JP2015046071 A JP 2015046071A JP 6469483 B2 JP6469483 B2 JP 6469483B2
- Authority
- JP
- Japan
- Prior art keywords
- correction
- coordinate axis
- dividing line
- feature amount
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004590 computer program Methods 0.000 title claims description 9
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000004364 calculation method Methods 0.000 claims description 36
- 238000000034 method Methods 0.000 claims description 33
- 238000000926 separation method Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 82
- 239000013598 vector Substances 0.000 description 10
- 230000001815 facial effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 4
- 238000000513 principal component analysis Methods 0.000 description 4
- 208000029152 Small face Diseases 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 238000012880 independent component analysis Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、上記問題点に鑑みてなされたものであり、補正対象画像を補正する補正関数を適切に求めることができるようにする。
を備えていることを特徴とする。
この場合、仮想区切り線の近傍に2以上の座標点が位置する場合には、これら2以上の座標点の平均値から各座標点までの距離に応じた重みを考慮して基準スコアを算出するので、その仮想区切り線上にプロットされる基準スコアの算出精度を向上させることができる。これにより、補正関数をさらに適切に求めることができる。
この場合、仮想区切り線により第1座標軸を区切る間隔を適切に調整することで、各仮想区切り線上にプロットされる基準スコアの算出精度をさらに向上させることができる。
この場合、各仮想区切り線上にプロットされる基準スコアの算出精度にばらつきが生じるのを抑えることができる。
この場合、各仮想区切り線上にプロットされる基準スコアの算出精度をさらに向上させることができる。
本発明の画像処理方法は、上述の画像処理装置と同様の作用効果を奏する。
本発明のコンピュータプログラムは、上述の画像処理装置と同様の作用効果を奏する。
本実施形態に係る画像処理装置は、以下に説明する画像補正処理を実行するコンピュータプログラムをコンピュータにインストールして構成されたものであり、画像処理装置における各種の機能は、このコンピュータプログラムによって実現されている。
なお、前記コンピュータは、演算処理装置、記憶部、入出力デバイスなどを有している。
画像情報10には、複数(ここでは50個)の補正前のサンプル画像11(以下、補正前サンプル画像ともいう)と、これらの補正前サンプル画像11に対応する複数(ここでは50個)の補正後のサンプル画像12(以下、補正後サンプル画像ともいう)が学習用画像として含まれている。
元画像7は、複数の補正前サンプル画像11のいずれとも異なる女性を正面から撮影した顔画像である。
なお、本実施形態では、元画像7及び各サンプル画像11,12として女性の顔画像を用いているが、男性の顔画像を用いても良い。
なお、本実施形態では部分空間法として、主成分分析を用いているが、独立成分分析など他の分析法を用いても良い。
図2及び図3において、補正関数学習部4は、抽出部40、プロット部41、区切り部42、基準スコア算出部43、及び補正関数算出部44を有している。
補正関数算出部44は、各仮想区切り線L上において、図3中の黒丸点で示すように前記基準スコアをプロットし、当該プロットした複数の基準スコアを繋ぐ曲線の関数を上記補正関数として算出するものである。
補正部6は、推定部5で推定された第4特徴情報に基づいて元画像7を補正し、その補正画像8を出力するものである。
まず、特徴基底取得部3は、元画像7が入力されると、記憶部2から画像情報10を読み出し、その画像情報10に学習用画像として元画像7を含める(ステップS1)。これにより、画像情報10には、50個の補正前サンプル画像11と、50個の補正後サンプル画像12と、1個の元画像7とからなる合計101個の学習用画像が含まれる。
さらに、特徴基底取得部3は、固有ベクトルVを用いて、形状ベクトルUbの形状特徴ベクトルWb=(w1,w2,・・・,wm)を下記式(4)により算出する。
Wb=VT(Ub−Uave) ・・・(4)
Ub=Uave+w1v1+w2v2+・・・+wmvm ・・・(5)
上記式(5)により、各学習用画像の顔形状の特徴を表現することができる。
図例では、平均の顔輪郭形状Uaveに対して、第1特徴基底v1の係数w1の値を変化させた場合と、第2特徴基底v2の係数w2を変化させた場合とを示している。図中のuは係数w1の値、rは係数w2の値である。図6に示すように、係数w1又は係数w2を変化させると、顔輪郭が平均の顔輪郭形状Uaveからそれぞれ異なる形状に変化しているのが分かる。
例えば、図10では、縦軸付近に多くの座標点Pが存在するので、縦軸付近では間隔dを短くして仮想区切り線Lを多く配置すればよい。また、縦軸から横軸方向に離れるに従って座標点Pの個数は減少するので、縦軸から離れるに従って間隔dを長くして仮想区切り線Lを少なく配置すればよい。このように間隔dを適宜調整することで、各間隔d内にそれぞれ位置する座標点Pの個数を均等にすることができる。
なお、仮基準スコアを算出するために用いる仮想区切り線の本数は4本に限定されるものではなく、少なくとも2本の仮想区切り線を用いればよい。
そして、基準スコア算出部43は、6個の各座標点P1〜P6のそれぞれに着目して算出された、仮想区切り線L1(Lk)上における複数の仮基準スコアφ1 1〜φ1 6(φk n)から、最終的な基準スコアφ1(φk)を下記式(11)を用いて算出する。
そして、補正関数算出部44は、図3に示すように、直交座標上にプロットされた全ての基準スコアφを繋ぐ自由曲線の関数を補正関数として算出する。この補正関数は、例えばB−spline関数を用いて算出することができる。補正関数学習部4は、特徴基底viごとに上記手順を繰り返すことで、特徴基底viごとの補正関数Fi(wi)を作成する(図7のステップS45、補正関数算出ステップ)。
なお、補正関数は、B−spline関数以外の他の変換関数を用いても良い。
次に、推定部5は、抽出した上記係数wiと補正関数Fi(wi)を用いた下記式(6)により、元画像7の補正後における各特徴基底viの係数wi’を算出する。
wi’=wi+Fi(wi) ・・・(6)
図14(b)の従来の補正画像では、顔輪郭の一部(特に左頬の部分)が不自然な形状をしているのが分かる。これに対して、図14(c)の本実施形態の補正画像では、顔輪郭の全体が自然な形状となっており、従来の補正画像よりも補正精度が向上しているのが分かる。
また、区切り部42は、複数の間隔d内にそれぞれ位置する座標点Pの個数が均等になるように各間隔dを調整することで、各仮想区切り線L上にプロットされる基準スコアφの算出精度にばらつきが生じるのを抑えることができる。
7 元画像(補正対象画像)
11 補正前のサンプル画像
12 補正後のサンプル画像
41 プロット部
42 区切り部
43 基準スコア算出部
44 補正関数算出部
d 間隔
L 仮想区切り線
P 座標点
φ 基準スコア
Claims (7)
- 複数の補正前のサンプル画像それぞれの特徴を表す第1特徴量と、これらの各サンプル画像に対応する複数の補正後のサンプル画像それぞれの特徴を表す第2特徴量とに基づいて、補正対象画像を補正するための補正関数を求める画像処理装置であって、
第1座標軸を前記第1特徴量とし、前記第1座標軸に直交する第2座標軸を前記第1特徴量から前記第2特徴量への変化量とした直交座標において、前記補正前のサンプル画像ごとに前記第1特徴量に対応する前記変化量を示す複数の座標点をプロットするプロット部と、
前記第1座標軸をその軸方向に所定の間隔ごとに区切る区切り部と、
前記第1座標軸の各区切り点を通過し且つ前記第2座標軸と平行な各仮想区切り線の近傍に位置する前記座標点に基づいて、前記各仮想区切り線上における前記第2座標軸の値を示す基準スコアを算出する基準スコア算出部と、
前記基準スコアを前記各仮想区切り線上にプロットし、当該プロットした複数の前記基準スコアを繋ぐ曲線の関数を前記補正関数として算出する補正関数算出部と、
を備えていることを特徴とする画像処理装置。 - 前記基準スコア算出部は、前記仮想区切り線の近傍に2以上の前記座標点が位置する場合、前記2以上の座標点それぞれに対して、当該2以上の座標点の平均値からの距離に応じた重みを付け、その重みを考慮して前記基準スコアを算出する請求項1に記載の画像処理装置。
- 前記区切り部は、前記間隔を調整可能である請求項1又は2に記載の画像処理装置。
- 前記区切り部は、複数の前記間隔内にそれぞれ位置する前記座標点の個数が均等になるように、複数の前記間隔を調整する請求項3に記載の画像処理装置。
- 前記基準スコア算出部は、一の仮想区切り線上における基準スコアを、当該一の仮想区切り線以外の他の仮想区切り線上における基準スコアを考慮して算出する請求項1〜4のいずれか一項に記載の画像処理装置。
- 複数の補正前のサンプル画像それぞれの特徴を表す第1特徴量と、これらの各サンプル画像に対応する複数の補正後のサンプル画像それぞれの特徴を表す第2特徴量とに基づいて、補正対象画像を補正するための補正関数を求める画像処理方法であって、
第1座標軸を前記第1特徴量とし、前記第1座標軸に直交する第2座標軸を前記第1特徴量から前記第2特徴量への変化量とした直交座標において、前記補正前のサンプル画像ごとに前記第1特徴量に対応する前記変化量を示す複数の座標点をプロットするプロットステップと、
前記第1座標軸をその軸方向に所定の間隔ごとに区切る区切りステップと、
前記第1座標軸の各区切り点を通過し且つ前記第2座標軸と平行な各仮想区切り線の近傍に位置する前記座標点に基づいて、前記各仮想区切り線上における前記第2座標軸の値を示す基準スコアを算出する基準スコア算出ステップと、
前記基準スコアを前記各仮想区切り線上にプロットし、当該プロットした複数の前記基準スコアを繋ぐ曲線の関数を前記補正関数として算出する補正関数算出ステップと、
を含むことを特徴とする画像処理方法。 - 複数の補正前のサンプル画像それぞれの特徴を表す第1特徴量と、これらの各サンプル画像に対応する複数の補正後のサンプル画像それぞれの特徴を表す第2特徴量とに基づいて、補正対象画像を補正するための補正関数を求める処理をコンピュータに実行させるためのコンピュータプログラムであって、
コンピュータを、第1座標軸を前記第1特徴量とし、前記第1座標軸に直交する第2座標軸を前記第1特徴量から前記第2特徴量への変化量とした直交座標において、前記補正前のサンプル画像ごとに前記第1特徴量に対応する前記変化量を示す複数の座標点をプロットするプロット部と、
前記第1座標軸をその軸方向に所定の間隔ごとに区切る区切り部と、
前記第1座標軸の各区切り点を通過し且つ前記第2座標軸と平行な各仮想区切り線の近傍に位置する前記座標点に基づいて、前記各仮想区切り線上における前記第2座標軸の値を示す基準スコアを算出する基準スコア算出部と、
前記基準スコアを前記各仮想区切り線上にプロットし、当該プロットした複数の前記基準スコアを繋ぐ曲線の関数を前記補正関数として算出する補正関数算出部として機能させるためのコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015046071A JP6469483B2 (ja) | 2015-03-09 | 2015-03-09 | 画像処理装置、画像処理方法、及びコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015046071A JP6469483B2 (ja) | 2015-03-09 | 2015-03-09 | 画像処理装置、画像処理方法、及びコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016167136A JP2016167136A (ja) | 2016-09-15 |
JP6469483B2 true JP6469483B2 (ja) | 2019-02-13 |
Family
ID=56898437
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015046071A Active JP6469483B2 (ja) | 2015-03-09 | 2015-03-09 | 画像処理装置、画像処理方法、及びコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6469483B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110569774B (zh) * | 2019-08-30 | 2022-07-05 | 武汉大学 | 基于图像处理与模式识别的折线图图像自动数字化方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4438589B2 (ja) * | 2004-10-08 | 2010-03-24 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
JP5867198B2 (ja) * | 2012-03-14 | 2016-02-24 | オムロン株式会社 | 領域指定方法及び領域指定装置 |
-
2015
- 2015-03-09 JP JP2015046071A patent/JP6469483B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016167136A (ja) | 2016-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11443494B2 (en) | Method for estimating at least one of shape, position and orientation of a dental restoration | |
EP1677250B1 (en) | Image collation system and image collation method | |
JP4950787B2 (ja) | 画像処理装置及びその方法 | |
EP3093823A1 (en) | Static object reconstruction method and system | |
EP3815049A1 (en) | Computer-implemented method for generating composite image, apparatus for generating composite image, and computer-program product | |
EP4293567A1 (en) | Three-dimensional face reconstruction method and apparatus, device, and storage medium | |
JP2020526845A (ja) | 姿勢変動に頑健な顔位置調整のためのシステム及び方法 | |
JP6465027B2 (ja) | 特徴点位置推定装置、特徴点位置推定方法および特徴点位置推定プログラム | |
US20150003680A1 (en) | Information processing apparatus, method for processing information, and program | |
US20180276503A1 (en) | Information processing apparatus, information processing method, and storage medium | |
JP2012185545A (ja) | 顔画像処理装置 | |
WO2023273247A1 (zh) | 人脸图像处理方法及装置、计算机可读存储介质、终端 | |
JP6506053B2 (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
JP6469483B2 (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
JP5175754B2 (ja) | 線形変換行列算出装置、その方法、及び、そのプログラム | |
JP6202938B2 (ja) | 画像認識装置および画像認識方法 | |
EP4120191A2 (en) | Tooth segmentation apparatus and method for tooth image | |
JP4530173B2 (ja) | 顔パーツの位置の検出方法及び検出システム | |
US11900564B2 (en) | Storage medium storing program, image processing apparatus, and training method of machine learning model | |
CN115660991A (zh) | 模型的训练方法、图像曝光矫正方法、装置、设备及介质 | |
JPH10124680A (ja) | イメージ生成装置およびイメージ生成方法 | |
CN113128292A (zh) | 一种图像识别方法、存储介质及终端设备 | |
JP2010073138A (ja) | 特徴点検出装置、特徴点検出方法及び特徴点検出プログラム | |
US20230074889A1 (en) | Depth estimation method and depth estimation device | |
JP6260146B2 (ja) | 形状状態推定装置、形状モデル生成装置、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20171225 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171226 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181225 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190116 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6469483 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |