JP7219787B2 - 情報処理装置、情報処理方法、学習方法、およびプログラム - Google Patents
情報処理装置、情報処理方法、学習方法、およびプログラム Download PDFInfo
- Publication number
- JP7219787B2 JP7219787B2 JP2021066696A JP2021066696A JP7219787B2 JP 7219787 B2 JP7219787 B2 JP 7219787B2 JP 2021066696 A JP2021066696 A JP 2021066696A JP 2021066696 A JP2021066696 A JP 2021066696A JP 7219787 B2 JP7219787 B2 JP 7219787B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- sight
- line
- person
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30268—Vehicle interior
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Ophthalmology & Optometry (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Computing Systems (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
ステップS11では、情報処理装置1(通信部1b)は、人物の撮影画像10を撮影部2から取得する。次いで、ステップS12では、情報処理装置1(生成部1c)は、ステップS11で取得した撮影画像10に対して公知の画像処理技術を適用することにより、撮影画像10から、人物の顔を含む部分画像を抽出画像11aとして、人物の左目を含む部分画像を抽出画像12aとして、および、人物の右目を含む部分画像を抽出画像13aとしてそれぞれ抽出する。
ステップS21では、撮影部2に人物を撮影させることで得られた撮影画像と、そのときの当該人物の視線の情報とを取得する。例えば、前述したように、人物の視線を所定箇所(目標箇所)に向けさせた状態で撮影部2に当該人物を撮影させることにより、撮影画像と人物の視線の情報とを取得することができる。本ステップS21で取得された人物の視線の情報は、教師データT(45)として用いられる。
また、上記実施形態で説明された1以上の機能を実現するプログラムは、ネットワーク又は記憶媒体を介してシステム又は装置に供給され、該システム又は装置のコンピュータにおける1以上のプロセッサは、このプログラムを読み出して実行することができる。このような態様によっても本発明は実現可能である。
1.上記実施形態の情報処理装置は、
人物の視線を推定する情報処理装置(例えば1)であって、
目の画像を入力すると視線の演算結果を出力するように構成されたモデル(例えばM2、M3)に入力される入力画像(例えば12b、13b)を生成する生成手段(例えば1c)と、
前記人物の左目および右目のうち一方の視線を推定する第1処理(例えばM3)と、前記人物の左目および右目のうち他方の視線を推定する第2処理(例えばM2)とを、前記モデルを共通に用いて実行する演算手段(例えば1d)と、
を備え、
前記生成手段は、
前記一方の画像(例えば13a)を反転させた反転画像を、前記第1処理において前記モデル(例えばM3)に入力される前記入力画像(例えば13b)として生成し、
前記他方の画像(例えば12a)を反転させていない非反転画像を、前記第2処理において前記モデル(例えばM2)に入力される前記入力画像(例えば12b)として生成する。
この実施形態によれば、モデル(学習モデル)を生成する際の機械学習を、1つの撮影画像から得られる2つの画像(左目、右目)を用いて行うことができるため、機械学習の学習精度(視線の推定精度)および学習効率を向上させることが可能となる。
前記演算手段は、
前記第1処理において、前記反転画像の入力により前記モデルから出力された視線情報に基づいて、前記一方の視線(例えば33)を推定し、
前記第2処理において、前記非反転画像の入力により前記モデルから出力された視線情報に基づいて、前記他方の視線(例えば32)を推定する。
この実施形態によれば、人物の左目と右目とで共通のモデルを用いて、当該人物の左目の視線および右目の視線を精度よく推定することができる。
前記演算手段は、
前記第1処理において、前記反転画像の入力により前記モデルから出力された視線情報を反転させて得られる情報に基づいて、前記一方の視線(例えば33)を推定し、
前記第2処理において、前記非反転画像の入力により前記モデルから出力された視線情報を反転させずに得られる情報に基づいて、前記他方の視線(例えば32)を推定する。
この実施形態によれば、人物の左目と右目とで共通のモデルを用いて、当該人物の左目の視線および右目の視線を精度よく推定することができる。
撮影手段(例えば2)で得られた前記人物の画像(例えば10)を取得する取得手段(例えば1b、1c)を更に備え、
前記生成手段は、前記取得手段で取得された前記人物の画像から前記一方の画像および前記他方の画像を抽出して前記入力画像を生成する。
この実施形態によれば、撮影手段(カメラ)で得られた1つの人物の画像から、当該人物の左目の視線および右目の視線を精度よく推定することができる。
前記演算手段は、前記一方の視線と前記他方の視線とを、前記モデルを共通に用いて個別に推定する。
この実施形態によれば、人物の左目と右目とで共通のモデルを用いて、当該人物の左目の視線および右目の視線を個別に且つ精度よく推定することができる。
前記演算手段は、
前記人物の顔の画像(例えば11b)を入力すると前記人物の顔の向きの演算結果を出力するように構成された第2モデル(例えばM1)を用いて、前記人物の顔の向きを推定する第3処理(例えばM1)を更に実行し、
前記第1処理と前記第2処理とで共通に用いられる前記モデルの係数を、前記第3処理で推定した顔の向きに応じて変更する。
この実施形態によれば、人物の顔の向きに応じて変わりうる当該人物の視線を精度よく推定することが可能となる。
Claims (9)
- 人物の視線を推定する情報処理装置であって、
目の画像を入力すると視線の演算結果を出力するように構成された第1モデルに入力される入力画像を生成する生成手段と、
前記人物の左目および右目のうち一方の視線を推定する第1処理と、前記人物の左目および右目のうち他方の視線を推定する第2処理とを、前記第1モデルを共通に用いて実行する演算手段と、
を備え、
前記生成手段は、前記一方の画像を反転させた反転画像を、前記第1処理において前記第1モデルに入力される前記入力画像として生成するとともに、前記他方の画像を反転させていない非反転画像を、前記第2処理において前記第1モデルに入力される前記入力画像として生成し、
前記演算手段は、前記人物の顔の画像を入力すると前記人物の顔の向きの演算結果を出力するように構成された第2モデルを用いて、前記人物の顔の向きを推定する第3処理を更に実行するとともに、前記第1処理と前記第2処理とで共通に用いられる前記第1モデルの係数を、前記第3処理で推定した顔の向きに応じて変更する、
ことを特徴とする情報処理装置。 - 前記演算手段は、
前記第1処理において、前記反転画像の入力により前記第1モデルから出力された視線情報に基づいて、前記一方の視線を推定し、
前記第2処理において、前記非反転画像の入力により前記第1モデルから出力された視線情報に基づいて、前記他方の視線を推定する、
ことを特徴とする請求項1に記載の情報処理装置。 - 前記演算手段は、
前記第1処理において、前記反転画像の入力により前記第1モデルから出力された視線情報を反転させて得られる情報に基づいて、前記一方の視線を推定し、
前記第2処理において、前記非反転画像の入力により前記第1モデルから出力された視線情報を反転させずに得られる情報に基づいて、前記他方の視線を推定する、
ことを特徴とする請求項1又は2に記載の情報処理装置。 - 撮影手段で得られた前記人物の画像を取得する取得手段を更に備え、
前記生成手段は、前記取得手段で取得された前記人物の画像から前記一方の画像および前記他方の画像を抽出して前記入力画像を生成する、
ことを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。 - 前記演算手段は、前記一方の視線と前記他方の視線とを、前記第1モデルを共通に用いて個別に推定する、ことを特徴とする請求項1乃至4のいずれか1項に記載の情報処理装置。
- 情報処理装置により人物の視線を推定する情報処理方法であって、
目の画像を入力すると視線の演算結果を出力するように構成された第1モデルに入力される入力画像を生成する生成工程と、
前記人物の左目および右目のうち一方の視線を推定する第1処理と、前記人物の左目および右目のうち他方の視線を推定する第2処理とを、前記第1モデルを共通に用いて実行する演算工程と、
を備え、
前記生成工程では、前記一方の画像を反転させた反転画像を、前記第1処理において前記第1モデルに入力される前記入力画像として生成するとともに、前記他方の画像を反転させていない非反転画像を、前記第2処理において前記第1モデルに入力される前記入力画像として生成し、
前記演算工程では、前記人物の顔の画像を入力すると前記人物の顔の向きの演算結果を出力するように構成された第2モデルを用いて、前記人物の顔の向きを推定する第3処理を更に実行するとともに、前記第1処理と前記第2処理とで共通に用いられる前記第1モデルの係数を、前記第3処理で推定した顔の向きに応じて変更する、
ことを特徴とする情報処理方法。 - 請求項6に記載の情報処理方法の各工程をコンピュータに実行させるためのプログラム。
- 人物の視線を推定する情報処理装置における学習方法であって、
請求項6に記載の情報処理方法により、前記人物の目の画像に基づいて前記人物の視線を前記情報処理装置に推定させる推定工程と、
前記画像が得られたときの前記人物の視線の情報を教師データとして取得する取得工程と、
前記推定工程で推定された前記人物の視線と、前記教師データとしての前記取得工程で取得された前記人物の視線とのずれ量が低減するように、前記情報処理装置に学習させる学習工程と、
を含むことを特徴とする学習方法。 - 請求項8に記載の学習方法の各工程をコンピュータに実行させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021066696A JP7219787B2 (ja) | 2021-04-09 | 2021-04-09 | 情報処理装置、情報処理方法、学習方法、およびプログラム |
CN202210251428.8A CN115191928A (zh) | 2021-04-09 | 2022-03-15 | 信息处理装置、信息处理方法、学习方法以及存储介质 |
US17/712,153 US20220327728A1 (en) | 2021-04-09 | 2022-04-03 | Information processing apparatus, information processing method, learning method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021066696A JP7219787B2 (ja) | 2021-04-09 | 2021-04-09 | 情報処理装置、情報処理方法、学習方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022161689A JP2022161689A (ja) | 2022-10-21 |
JP7219787B2 true JP7219787B2 (ja) | 2023-02-08 |
Family
ID=83510837
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021066696A Active JP7219787B2 (ja) | 2021-04-09 | 2021-04-09 | 情報処理装置、情報処理方法、学習方法、およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220327728A1 (ja) |
JP (1) | JP7219787B2 (ja) |
CN (1) | CN115191928A (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7219788B2 (ja) * | 2021-04-09 | 2023-02-08 | 本田技研工業株式会社 | 情報処理装置、情報処理方法、学習方法、およびプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018523879A (ja) | 2015-08-21 | 2018-08-23 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 眼ポーズ測定を用いた眼瞼形状推定 |
CN110058694A (zh) | 2019-04-24 | 2019-07-26 | 腾讯科技(深圳)有限公司 | 视线追踪模型训练的方法、视线追踪的方法及装置 |
US20190266701A1 (en) | 2019-03-14 | 2019-08-29 | Intel Corporation | Generating gaze corrected images using bidirectionally trained network |
US20210012161A1 (en) | 2018-03-30 | 2021-01-14 | Tobii Ab | Training of a neural network for three dimensional (3d) gaze prediction |
US20210042520A1 (en) | 2019-06-14 | 2021-02-11 | Tobii Ab | Deep learning for three dimensional (3d) gaze prediction |
-
2021
- 2021-04-09 JP JP2021066696A patent/JP7219787B2/ja active Active
-
2022
- 2022-03-15 CN CN202210251428.8A patent/CN115191928A/zh active Pending
- 2022-04-03 US US17/712,153 patent/US20220327728A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018523879A (ja) | 2015-08-21 | 2018-08-23 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 眼ポーズ測定を用いた眼瞼形状推定 |
US20210012161A1 (en) | 2018-03-30 | 2021-01-14 | Tobii Ab | Training of a neural network for three dimensional (3d) gaze prediction |
US20190266701A1 (en) | 2019-03-14 | 2019-08-29 | Intel Corporation | Generating gaze corrected images using bidirectionally trained network |
CN110058694A (zh) | 2019-04-24 | 2019-07-26 | 腾讯科技(深圳)有限公司 | 视线追踪模型训练的方法、视线追踪的方法及装置 |
US20210042520A1 (en) | 2019-06-14 | 2021-02-11 | Tobii Ab | Deep learning for three dimensional (3d) gaze prediction |
Also Published As
Publication number | Publication date |
---|---|
US20220327728A1 (en) | 2022-10-13 |
JP2022161689A (ja) | 2022-10-21 |
CN115191928A (zh) | 2022-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2021503134A (ja) | 画像深度とエゴモーション予測ニューラルネットワークの教師なし学習 | |
KR20190098003A (ko) | 장치의 자세 추정 방법 및 그 장치 | |
US20210049371A1 (en) | Localisation, mapping and network training | |
JP7345664B2 (ja) | 不確実性を有するランドマーク位置推定のための画像処理システムおよび方法 | |
JP7219787B2 (ja) | 情報処理装置、情報処理方法、学習方法、およびプログラム | |
JP2018097573A (ja) | 顔向き推定用コンピュータプログラム、顔向き推定装置及び顔向き推定方法 | |
CN111680573B (zh) | 人脸识别方法、装置、电子设备和存储介质 | |
JP2020122754A (ja) | 3次元位置推定装置及びプログラム | |
JP5062531B2 (ja) | 画像処理装置および画像処理方法 | |
JP7219788B2 (ja) | 情報処理装置、情報処理方法、学習方法、およびプログラム | |
WO2018168038A1 (ja) | 運転者の着座判定装置 | |
CN115049738A (zh) | 人与相机之间距离的估计方法及系统 | |
US20200202563A1 (en) | 3d image reconstruction processing apparatus, 3d image reconstruction processing method and computer-readable storage medium storing 3d image reconstruction processing program | |
JP2022140386A (ja) | 顔の姿勢を検出する装置及び方法、画像処理システム、並びに記憶媒体 | |
JP2021051347A (ja) | 距離画像生成装置及び距離画像生成方法 | |
JP6737212B2 (ja) | 運転者状態推定装置、及び運転者状態推定方法 | |
JP7296430B2 (ja) | 画像のラベルなしペアを使用して物体の視点を伝達するようにニューラルネットワークを訓練するための方法、及び対応するシステム | |
JP2022018333A (ja) | プログラム、情報処理方法、情報処理装置及びモデル生成方法 | |
US11443455B2 (en) | Prior informed pose and scale estimation | |
CN116934829B (zh) | 无人机目标深度估计的方法、装置、存储介质及电子设备 | |
JP2021033938A (ja) | 顔向き推定装置及び方法 | |
JP7419993B2 (ja) | 信頼度推定プログラム、信頼度推定方法、および信頼度推定装置 | |
US20240185519A1 (en) | Apparatus and method with image processing | |
JP7124746B2 (ja) | 物体の部分位置推定プログラム、物体の部分位置推定用ニューラルネットワーク構造、物体の部分位置推定方法、および物体の部分位置推定装置 | |
WO2023155043A1 (zh) | 一种基于历史信息的场景深度推理方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221128 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230112 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230123 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230127 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7219787 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |