JP5016959B2 - 見え方度判定装置 - Google Patents
見え方度判定装置 Download PDFInfo
- Publication number
- JP5016959B2 JP5016959B2 JP2007083116A JP2007083116A JP5016959B2 JP 5016959 B2 JP5016959 B2 JP 5016959B2 JP 2007083116 A JP2007083116 A JP 2007083116A JP 2007083116 A JP2007083116 A JP 2007083116A JP 5016959 B2 JP5016959 B2 JP 5016959B2
- Authority
- JP
- Japan
- Prior art keywords
- visibility
- unit
- person
- distribution
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Eye Examination Apparatus (AREA)
- Image Processing (AREA)
- Position Input By Displaying (AREA)
- Studio Devices (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Description
(実施の形態1)
本実施の形態1では、本発明の見え方度判定装置を運転支援装置として用いる形態について説明する。当運転支援装置は、運転者が「どの辺りまでどの程度見えているか」という見え方の度合いを定量的に評価し、運転者に運転を支援する情報を提供するものである。はじめに、運転支援装置の構成を図1に示す。102は運転者の頭部姿勢方向および視線方向を検出するために運転者の顔を含む人物画像を撮影する人物画像撮影カメラである。103は人物画像撮影カメラ102が撮影した人物画像を基に運転者の顔領域を検出する顔検出部である。104は顔検出部103が検出した顔領域を基に運転者の頭部姿勢方向および視線方向を検出する頭部姿勢および視線検出部である。105は視界内にある物の見え方度の分布を表したデータ(以下、見え方度分布データという)を格納した見え方度分布データベースである。見え方度及び見え方度の分布についての詳細は後述する。106は頭部姿勢および視線検出部104が検出した運転者の頭部姿勢方向および視線方向、見え方度分布データベース105に格納した見え方度分布データを用いて、視界内画像撮影カメラ107が撮影する視界内画像における運転者の視界内にある物の見え方度の分布を生成する見え方度分布生成部である。
本実施の形態2では、本発明の見え方度判定装置を映像表示装置として用いる形態について説明する。当映像表示装置は、ユーザが「どの辺りまでどの程度見えているか」という見え方の度合いを定量的に評価し、ユーザの視野外にある映像表示部の領域の画像調整等の処理を軽減するものである。はじめに、映像表示装置の構成を図11に示す。1102は映像を表示する映像表示部である。1103はユーザの頭部姿勢方向および視線方向を検出するためにユーザの顔を含む人物画像を撮影する人物画像撮影カメラである。1104は人物画像撮影カメラ1103が撮影した人物画像を基にユーザの顔領域を検出する顔検出部である。1105は顔検出部1104が検出したユーザの顔領域を基にユーザの頭部姿勢方向および視線方向を検出する頭部姿勢および視線検出部である。1106は顔検出部1104が検出したユーザの顔領域を基に人物画像撮影カメラ1103とユーザとの位置関係を計測する人物位置計測部である。1107は視界内にある物の見え方度の分布を表したデータ(以下、見え方度分布データという)を格納した見え方度分布データベースである。見え方度及び見え方度の分布についての詳細は実施の形態1と同様のため省略する。1108は映像表示部1102の大きさや映像表示部1102と人物画像撮影カメラ1103との位置関係等に関する情報を格納した映像表示部情報データベースである。1109は頭部姿勢および視線検出部1105が検出したユーザの頭部姿勢方向および視線方向、人物位置計測部1106が計測した人物画像撮影カメラ1103とユーザとの位置関係、および見え方度分布データベース1107に格納した見え方度分布データを用いて、ユーザの視界内にある物の見え方度の分布を生成する見え方度分布生成部である。1110は見え方度分布生成部1109が生成したユーザの視界内にある物の見え方度の分布、および映像表示部情報データベース1108に格納した映像表示部1102の大きさや映像表示部1102と人物画像撮影カメラ1103との位置関係等に関する情報を用いて、ユーザの映像表示部1102の見え方度を算出する映像表示部見え方度判定部である。
103 顔検出部
104 頭部姿勢および視線検出部
105 見え方度分布データベース
106 見え方度分布生成部
107 視界内画像撮影カメラ
109 対象特徴データベース
110 対象物検出部
111 見え方度判定部
112 見え方度データ格納部
113 時系列重みデータベース
114 時系列見え方度スコア算出部
115 対象物属性データベース
116 属性情報判定部
117 案内情報データベース
118 案内情報判定部
119 案内情報表示部
1102 映像表示部
1103 人物画像撮影カメラ
1104 顔検出部
1105 頭部姿勢および視線検出部
1106 人物位置計測部
1107 見え方度分布データベース
1108 映像表示部情報データベース
1109 見え方度分布生成部
1110 見え方度判定部
1111 見え方度データ格納部
1112 時系列重みデータベース
1113 時系列見え方度スコア算出部
1114 映像データベース
1115 表示制御部
Claims (8)
- 人物画像を撮影する人物画像撮影部と、
人物の視界内画像を撮影する視界内画像撮影部と、
前記人物画像撮影部が撮影した前記人物画像を基に人物の顔領域を検出する顔検出部と、
前記顔検出部が検出した前記顔領域を基に人物の視線方向を検出する視線検出部と、
視界内にある物の見え方度の分布を表した見え方度分布データを格納した見え方度分布データベースと、
前記視線検出部が検出した前記人物の視線方向、および前記見え方度分布データベースに格納した前記見え方度分布データを用いて、前記視界内画像における前記人物の視界内にある物の見え方度の分布を生成する見え方度分布生成部と、
前記見え方度分布生成部が生成した前記視界内画像における前記人物の視界内にある物の見え方度の分布を用いて、前記視界内画像撮影部が撮影する前記視界内画像から検出する対象物の見え方度を算出する見え方度判定部とを備えることを特徴とする見え方度判定装置。 - 前記見え方度判定部が算出した対象物の見え方度の履歴を格納する見え方度データ格納部と、
前記見え方度判定部が算出した現在の対象物の見え方度および前記見え方度データ格納部に格納した過去の同一対象物の見え方度に対し、時間的な変化を考慮して設定した時系列重み情報により重み付けすることにより、時間的な変化を考慮した見え方度のスコアを算出する時系列見え方度スコア算出部とを備えることを特徴とする請求項1に記載の見え方度判定装置。 - 前記対象物に関する属性情報を取得する属性情報判定部と、
前記属性情報および前記時系列見え方度スコアを用いて対象物評価スコアを算出し、前記対象物評価スコアに基づき、前記対象物の案内情報の提供を判定する案内情報提供判定部とを備えることを特徴とする請求項2に記載の見え方度判定装置。 - 映像を表示する対象物となる映像表示部と、
人物画像を撮影する人物画像撮影部と、
前記人物画像撮影部が撮影した前記人物画像を基に人物の顔領域を検出する顔検出部と、
前記顔検出部が検出した前記顔領域を基に人物の視線方向を検出する視線検出部と、
前記顔検出部が検出した前記顔領域を基に前記人物画像撮影手段と前記人物との位置関係を計測する人物位置計測部と、
視界内にある物の見え方度の分布を表した見え方度分布データを格納した見え方度分布データベースと、
前記視線検出部が検出した前記人物の視線方向、前記人物位置計測部が計測した前記人物画像撮影手段と前記人物との位置関係、および前記見え方度分布データベースに格納した前記見え方度分布データを用いて、前記人物の視界内にある物の見え方度の分布を生成する見え方度分布生成部と、
前記見え方度分布生成部が生成した前記人物の視界内にある物の見え方度の分布、および前記映像表示部の大きさまたは前記映像表示部と前記人物画像撮影部との位置関係に関する情報を用いて、対象物となる前記映像表示部の見え方度を算出する見え方度判定部とを備えることを特徴とする見え方度判定装置。 - 前記見え方度判定部が算出した前記映像表示部の見え方度の履歴を格納する見え方度データ格納部と、
前記見え方度判定部が算出した現在の映像表示部の見え方度および前記見え方度データ格納部に格納した過去の映像表示部の見え方度に対し、時間的な変化を考慮して設定した時系列重み情報により重み付けすることにより、時系列見え方度スコアを算出する時系列見え方度スコア算出部とを備えることを特徴とする請求項4に記載の見え方度判定装置。 - 前記時系列見え方度スコア算出部が算出した前記時系列見え方度スコアに基づき、前記映像表示部に表示する映像に対して画像調整処理を行う表示制御部を備えることを特徴とする請求項5に記載の見え方度判定装置。
- 前記見え方度分布データベースが格納する前記見え方度分布データにおいて、前記見え方度は、視線方向の中心および中心外の視力に基づいて視界内にある物の見え方を度合いで表し、前記見え方度分布は、前記視力に相関付けられ、前記視線方向の中心に見え方度のピークがある関数に基づいて表すことを特徴とする請求項1または4に記載の見え方度判定装置。
- 前記見え方度判定部は、前記見え方度分布と前記対象物の位置および領域を用いて、これらを基に算出する積分値、平均値、最大値、最小値、あるいはメジアン値のいずれかを前記見え方度として算出することを特徴とする請求項7に記載の見え方度判定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007083116A JP5016959B2 (ja) | 2007-03-27 | 2007-03-27 | 見え方度判定装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007083116A JP5016959B2 (ja) | 2007-03-27 | 2007-03-27 | 見え方度判定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008237625A JP2008237625A (ja) | 2008-10-09 |
JP5016959B2 true JP5016959B2 (ja) | 2012-09-05 |
Family
ID=39909666
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007083116A Active JP5016959B2 (ja) | 2007-03-27 | 2007-03-27 | 見え方度判定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5016959B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2564766B1 (en) * | 2011-09-02 | 2018-03-21 | Volvo Car Corporation | Visual input of vehicle operator |
WO2015136908A1 (ja) | 2014-03-13 | 2015-09-17 | パナソニックIpマネジメント株式会社 | 視線検出装置 |
US9978145B2 (en) * | 2014-12-16 | 2018-05-22 | Koninklijke Philips N.V. | Assessment of an attentional deficit |
JP2017016287A (ja) * | 2015-06-30 | 2017-01-19 | パイオニア株式会社 | 送信装置、サーバ装置、制御方法、プログラム、及び記憶媒体 |
WO2018173445A1 (ja) * | 2017-03-23 | 2018-09-27 | ソニー株式会社 | 情報処理装置、情報処理方法、情報処理システム、及びプログラム |
JP6931583B2 (ja) * | 2017-09-22 | 2021-09-08 | 株式会社竹中工務店 | 開放感評価装置 |
CA3028170C (en) * | 2018-11-09 | 2021-08-31 | Beijing DIDI Infinity Technology and Development Co., Ltd | System and method for detecting in-vehicle conflicts |
CN117146828B (zh) * | 2023-10-30 | 2024-03-19 | 网思科技股份有限公司 | 拣货路径引导方法、装置、存储介质及计算机设备 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3263278B2 (ja) * | 1995-06-19 | 2002-03-04 | 株式会社東芝 | 画像圧縮通信装置 |
WO2005055189A1 (en) * | 2003-12-01 | 2005-06-16 | Volvo Technology Corporation | Perceptual enhancement displays based on knowledge of head and/or eye and/or gaze position |
JP4193765B2 (ja) * | 2004-01-28 | 2008-12-10 | トヨタ自動車株式会社 | 車両用走行支援装置 |
JP2005261728A (ja) * | 2004-03-19 | 2005-09-29 | Fuji Xerox Co Ltd | 視線方向認識装置及び視線方向認識プログラム |
JP2005284797A (ja) * | 2004-03-30 | 2005-10-13 | Honda Motor Co Ltd | 走行安全装置 |
-
2007
- 2007-03-27 JP JP2007083116A patent/JP5016959B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2008237625A (ja) | 2008-10-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3488382B1 (en) | Method and system for monitoring the status of the driver of a vehicle | |
JP5016959B2 (ja) | 見え方度判定装置 | |
JP4876687B2 (ja) | 注目度計測装置及び注目度計測システム | |
CN107272904B (zh) | 一种图像显示方法及电子设备 | |
US20160232399A1 (en) | System and method of detecting a gaze of a viewer | |
CN112102389A (zh) | 确定实物至少一部分的3d重构件的空间坐标的方法和系统 | |
KR20110098988A (ko) | 정보 표시 장치 및 정보 표시 방법 | |
US10254831B2 (en) | System and method for detecting a gaze of a viewer | |
CN106214118A (zh) | 一种基于虚拟现实的眼球运动监测系统 | |
US20210165993A1 (en) | Neural network training and line of sight detection methods and apparatus, and electronic device | |
WO2017169273A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN111294586B (zh) | 图像显示方法、装置、头戴显示设备及计算机可读介质 | |
JP2010104754A (ja) | 情動分析装置 | |
US20190025911A1 (en) | Non-transitory computer-readable storage medium, information processing apparatus, and information processing method | |
CN108537103B (zh) | 基于瞳孔轴测量的活体人脸检测方法及其设备 | |
JP2014191474A (ja) | 集中度判定プログラム、集中度判定装置、および集中度判定方法 | |
JP6950644B2 (ja) | 注意対象推定装置及び注意対象推定方法 | |
US11004273B2 (en) | Information processing device and information processing method | |
KR20140014868A (ko) | 시선 추적 장치 및 이의 시선 추적 방법 | |
Sharma et al. | Comparative analysis of edge detection operators for better glint detection | |
Shahid et al. | Eye-gaze and augmented reality framework for driver assistance | |
KR101817952B1 (ko) | 투과형 헤드 마운티드 디스플레이 장치 및 상기 장치에서의 화면 심도 제어 방법 | |
CN112114659A (zh) | 用于确定用户的精细的注视点的方法和系统 | |
JP2005071041A (ja) | 運転者視対象検出装置及び運転者視対象検出システム | |
KR100651104B1 (ko) | 시선기반 컴퓨터 인터페이스 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100114 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120131 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120326 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120522 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120611 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150615 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5016959 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |