JP7134260B2 - 情報処理装置 - Google Patents
情報処理装置 Download PDFInfo
- Publication number
- JP7134260B2 JP7134260B2 JP2020566361A JP2020566361A JP7134260B2 JP 7134260 B2 JP7134260 B2 JP 7134260B2 JP 2020566361 A JP2020566361 A JP 2020566361A JP 2020566361 A JP2020566361 A JP 2020566361A JP 7134260 B2 JP7134260 B2 JP 7134260B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- learning
- posture
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 42
- 238000010801 machine learning Methods 0.000 claims description 69
- 238000000034 method Methods 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 15
- 238000003672 processing method Methods 0.000 claims description 5
- 230000036544 posture Effects 0.000 description 50
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Description
(Emax)1/X
で増加するように決定される。すなわち、n番目の変換画像It(n)の倍率E(n)は、
E(n)=(Emax)n/X
で計算される。
E(n)=4n/9
Claims (10)
- 再現対象となる対象物を撮影して得られる複数の基準画像を取得する基準画像取得部と、
前記複数の基準画像のそれぞれを拡大又は縮小して得られる複数の変換画像を取得する変換画像取得部と、
前記複数の変換画像を含む複数の学習対象画像を教師データとして用いて機械学習を実行し、前記対象物の外観を表す再現画像を生成するために用いられる学習済みデータを生成する機械学習部と、
を含み、
前記機械学習部は、前記複数の学習対象画像のそれぞれに対して、当該学習対象画像に含まれる前記対象物の姿勢を特定する処理を実行し、当該処理の結果得られる姿勢データと、当該学習対象画像とを教師データとして用いて前記機械学習を実行し、前記対象物の姿勢データを前記再現画像に変換するために用いられる学習済みデータを生成する
ことを特徴とする情報処理装置。 - 請求項1に記載の情報処理装置において、
前記複数の学習対象画像は、前記複数の基準画像を含む
ことを特徴とする情報処理装置。 - 請求項1又は2に記載の情報処理装置において、
前記機械学習部は、前記姿勢を特定する処理を実行した結果、前記対象物の所定の部位を含まないと判定された学習対象画像を前記教師データから除外する
ことを特徴とする情報処理装置。 - 請求項1から3のいずれか一項に記載の情報処理装置において、
前記機械学習部は、前記複数の学習対象画像に対して、それぞれの学習対象画像から得られた姿勢データが互いに類似するか否か判定する類否判定処理を実行し、得られた姿勢データが他の学習対象画像から得られた姿勢データに類似すると判定された一部の学習対象画像を、前記教師データから除外する
ことを特徴とする情報処理装置。 - 請求項4に記載の情報処理装置において、
前記変換画像取得部は、1枚の前記基準画像を互いに異なる倍率で拡大又は縮小して複数の前記変換画像を生成し、
前記機械学習部は、前記複数の学習対象画像を、それぞれ互いに同じ倍率で拡大又は縮小された複数の変換画像を含む複数のグループに分類し、当該複数のグループのそれぞれに対して独立に前記類否判定処理を実行して前記教師データから除外する学習対象画像を選択する
ことを特徴とする情報処理装置。 - 再現対象となる対象物を撮影して得られる複数の基準画像を取得する基準画像取得部と、
前記複数の基準画像のそれぞれを拡大又は縮小して得られる複数の変換画像を取得する変換画像取得部と、
前記複数の変換画像を含む複数の学習対象画像を教師データとして用いて機械学習を実行し、前記対象物の外観を表す再現画像を生成するために用いられる学習済みデータを生成する機械学習部と、
を含み、
前記変換画像取得部は、1枚の前記基準画像を互いに異なる倍率で拡大又は縮小して複数の前記変換画像を生成し、かつ、前記互いに異なる倍率は、等比数列にしたがって順に変化する倍率である
ことを特徴とする情報処理装置。 - 再現対象となる対象物を撮影して得られる複数の基準画像を取得するステップと、
前記複数の基準画像のそれぞれを拡大又は縮小して得られる複数の変換画像を取得する変換画像取得ステップと、
前記複数の変換画像を含む複数の学習対象画像を教師データとして用いて機械学習を実行し、前記対象物の外観を表す再現画像を生成するために用いられる学習済みデータを生成する機械学習ステップと、
を含み、
前記機械学習ステップでは、前記複数の学習対象画像のそれぞれに対して、当該学習対象画像に含まれる前記対象物の姿勢を特定する処理を実行し、当該処理の結果得られる姿勢データと、当該学習対象画像とを教師データとして用いて前記機械学習を実行し、前記対象物の姿勢データを前記再現画像に変換するために用いられる学習済みデータを生成する、又は、
前記変換画像取得ステップでは、1枚の前記基準画像を互いに異なる倍率で拡大又は縮小して複数の前記変換画像を生成し、かつ、前記互いに異なる倍率は、等比数列にしたがって順に変化する倍率である
ことを特徴とする情報処理方法。 - 再現対象となる対象物を撮影して得られる複数の基準画像を取得するステップと、
前記複数の基準画像のそれぞれを拡大又は縮小して得られる複数の変換画像を取得する変換画像取得ステップと、
前記複数の変換画像を含む複数の学習対象画像を教師データとして用いて機械学習を実行し、前記対象物の外観を表す再現画像を生成するために用いられる学習済みデータを生成する機械学習ステップと、
をコンピュータに実行させるためのプログラムであって、
前記機械学習ステップでは、前記複数の学習対象画像のそれぞれに対して、当該学習対象画像に含まれる前記対象物の姿勢を特定する処理を実行し、当該処理の結果得られる姿勢データと、当該学習対象画像とを教師データとして用いて前記機械学習を実行し、前記対象物の姿勢データを前記再現画像に変換するために用いられる学習済みデータを生成する、又は、
前記変換画像取得ステップでは、1枚の前記基準画像を互いに異なる倍率で拡大又は縮小して複数の前記変換画像を生成し、かつ、前記互いに異なる倍率は、等比数列にしたがって順に変化する倍率である
ことを特徴とするプログラム。 - 再現対象となる対象物の姿勢を表す姿勢データを取得する取得部と、
対象物を撮影して得られる複数の基準画像のそれぞれを拡大又は縮小して得られる複数の変換画像を含む複数の学習対象画像を教師データとして用いて機械学習を実行した結果得られる学習済みデータを用いて、前記姿勢データが表す姿勢を前記対象物が取っている様子を表す再現画像を生成する再現画像生成部と、
を含むことを特徴とする情報処理装置。 - 再現対象となる対象物の姿勢を表す姿勢データを取得するステップと、
対象物を撮影して得られる複数の基準画像のそれぞれを拡大又は縮小して得られる複数の変換画像を含む複数の学習対象画像を教師データとして用いて機械学習を実行した結果得られる学習済みデータを用いて、前記姿勢データが表す姿勢を前記対象物が取っている様子を表す再現画像を生成するステップと、
をコンピュータに実行させるためのプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/000964 WO2020148810A1 (ja) | 2019-01-15 | 2019-01-15 | 情報処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020148810A1 JPWO2020148810A1 (ja) | 2021-11-18 |
JP7134260B2 true JP7134260B2 (ja) | 2022-09-09 |
Family
ID=71613568
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020566361A Active JP7134260B2 (ja) | 2019-01-15 | 2019-01-15 | 情報処理装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220101491A1 (ja) |
JP (1) | JP7134260B2 (ja) |
WO (1) | WO2020148810A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012088787A (ja) | 2010-10-15 | 2012-05-10 | Canon Inc | 画像処理装置、画像処理方法 |
JP2018116599A (ja) | 2017-01-20 | 2018-07-26 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP2018129007A (ja) | 2017-02-10 | 2018-08-16 | 日本電信電話株式会社 | 学習データ生成装置、学習装置、推定装置、学習データ生成方法及びコンピュータプログラム |
JP2018136632A (ja) | 2017-02-20 | 2018-08-30 | オムロン株式会社 | 形状推定装置 |
JP2018169672A (ja) | 2017-03-29 | 2018-11-01 | 三菱電機インフォメーションシステムズ株式会社 | 教師画像を生成する方法、コンピュータおよびプログラム |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6807286B1 (en) * | 2000-04-13 | 2004-10-19 | Microsoft Corporation | Object recognition using binary image quantization and hough kernels |
US8903167B2 (en) * | 2011-05-12 | 2014-12-02 | Microsoft Corporation | Synthesizing training samples for object recognition |
US9251439B2 (en) * | 2011-08-18 | 2016-02-02 | Nikon Corporation | Image sharpness classification system |
US9043247B1 (en) * | 2012-02-25 | 2015-05-26 | Symantec Corporation | Systems and methods for classifying documents for data loss prevention |
US20150243031A1 (en) * | 2014-02-21 | 2015-08-27 | Metaio Gmbh | Method and device for determining at least one object feature of an object comprised in an image |
WO2015133206A1 (ja) * | 2014-03-05 | 2015-09-11 | コニカミノルタ株式会社 | 画像処理装置、画像処理方法、および、画像処理プログラム |
AU2015390077A1 (en) * | 2015-04-01 | 2017-09-21 | Landmark Graphics Corporation | Model generation for real-time rate of penetration prediction |
US9767386B2 (en) * | 2015-06-23 | 2017-09-19 | Adobe Systems Incorporated | Training a classifier algorithm used for automatically generating tags to be applied to images |
WO2017022908A1 (ko) * | 2015-08-04 | 2017-02-09 | 재단법인 아산사회복지재단 | 심층신경망을 이용한 골 연령 산출방법 및 프로그램 |
US10089717B2 (en) * | 2016-04-05 | 2018-10-02 | Flipboard, Inc. | Image scaling using a convolutional neural network |
US10402689B1 (en) * | 2017-04-04 | 2019-09-03 | Snap Inc. | Generating an image mask using machine learning |
US10430966B2 (en) * | 2017-04-05 | 2019-10-01 | Intel Corporation | Estimating multi-person poses using greedy part assignment |
US10410322B2 (en) * | 2017-04-05 | 2019-09-10 | Here Global B.V. | Deep convolutional image up-sampling |
EP3665653A4 (en) * | 2017-09-11 | 2021-09-29 | Track160, Ltd. | METHOD FOR REPRESENTING THREE-DIMENSIONAL ANIMATED GRAPHICS FROM VIDEOS |
CN107680088A (zh) * | 2017-09-30 | 2018-02-09 | 百度在线网络技术(北京)有限公司 | 用于分析医学影像的方法和装置 |
US20230218984A1 (en) * | 2017-11-02 | 2023-07-13 | Michael Callahan | Methods and systems for interactive gaming platform scene generation utilizing captured visual data and artificial intelligence-generated environment |
KR102466942B1 (ko) * | 2017-12-27 | 2022-11-14 | 한국전자통신연구원 | 얼굴 인식을 위한 얼굴 자세 등록 장치 및 방법 |
GB2569817B (en) * | 2017-12-29 | 2021-06-23 | Snugs Tech Ltd | Ear insert shape determination |
US20190272620A1 (en) * | 2018-03-05 | 2019-09-05 | Jared Siegwarth Seip | System and method for image upscaling |
TWI679557B (zh) * | 2018-05-14 | 2019-12-11 | 國立臺灣師範大學 | 適應性運動姿態感測系統與方法 |
CN111161274B (zh) * | 2018-11-08 | 2023-07-07 | 上海市第六人民医院 | 腹部图像分割方法、计算机设备 |
US10489683B1 (en) * | 2018-12-17 | 2019-11-26 | Bodygram, Inc. | Methods and systems for automatic generation of massive training data sets from 3D models for training deep learning networks |
-
2019
- 2019-01-15 WO PCT/JP2019/000964 patent/WO2020148810A1/ja active Application Filing
- 2019-01-15 US US17/421,266 patent/US20220101491A1/en active Pending
- 2019-01-15 JP JP2020566361A patent/JP7134260B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012088787A (ja) | 2010-10-15 | 2012-05-10 | Canon Inc | 画像処理装置、画像処理方法 |
JP2018116599A (ja) | 2017-01-20 | 2018-07-26 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP2018129007A (ja) | 2017-02-10 | 2018-08-16 | 日本電信電話株式会社 | 学習データ生成装置、学習装置、推定装置、学習データ生成方法及びコンピュータプログラム |
JP2018136632A (ja) | 2017-02-20 | 2018-08-30 | オムロン株式会社 | 形状推定装置 |
JP2018169672A (ja) | 2017-03-29 | 2018-11-01 | 三菱電機インフォメーションシステムズ株式会社 | 教師画像を生成する方法、コンピュータおよびプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20220101491A1 (en) | 2022-03-31 |
WO2020148810A1 (ja) | 2020-07-23 |
JPWO2020148810A1 (ja) | 2021-11-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Fischer et al. | Rt-gene: Real-time eye gaze estimation in natural environments | |
KR102362544B1 (ko) | 이미지 처리를 위한 방법 및 장치, 및 컴퓨터 판독 가능 저장 매체 | |
CN114219878B (zh) | 虚拟角色的动画生成方法及装置、存储介质、终端 | |
US11393150B2 (en) | Generating an animation rig for use in animating a computer-generated character based on facial scans of an actor and a muscle model | |
CN106997618A (zh) | 一种虚拟现实与真实场景融合的方法 | |
US9779699B2 (en) | Image processing device, image processing method, computer readable medium | |
JP2006350577A (ja) | 動作分析装置 | |
JP2007087345A (ja) | 情報処理装置及びその制御方法、コンピュータプログラム、記憶媒体 | |
JP5949030B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
JP2014048766A (ja) | 画像生成装置、画像生成方法及びプログラム | |
US11443473B2 (en) | Systems and methods for generating a skull surface for computer animation | |
JP2011060038A (ja) | 画像処理装置 | |
JP2011053942A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
CN107016730A (zh) | 一种虚拟现实与真实场景融合的装置 | |
CN111028318A (zh) | 一种虚拟人脸合成方法、系统、装置和存储介质 | |
CN106981100A (zh) | 一种虚拟现实与真实场景融合的装置 | |
JPH10240908A (ja) | 映像合成方法 | |
JP3062181B1 (ja) | 実時間表情検出装置 | |
JP7134260B2 (ja) | 情報処理装置 | |
KR100422470B1 (ko) | 3차원 동화상 모델 얼굴 대체 방법 및 장치 | |
JP5092093B2 (ja) | 画像処理装置 | |
JP7326965B2 (ja) | 画像処理装置、画像処理プログラム、及び画像処理方法 | |
JP2009009404A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP2024093675A (ja) | 画像処理装置、撮像装置、学習モデルを生産する方法、画像処理方法、及びプログラム | |
US12033281B2 (en) | Automatic blending of human facial expression and full-body poses for dynamic digital human model creation using integrated photo-video volumetric capture system and mesh-tracking |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220222 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220421 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220802 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220830 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7134260 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |