JP7388258B2 - アクセシビリティ判定装置、アクセシビリティ判定方法、及びプログラム - Google Patents
アクセシビリティ判定装置、アクセシビリティ判定方法、及びプログラム Download PDFInfo
- Publication number
- JP7388258B2 JP7388258B2 JP2020043947A JP2020043947A JP7388258B2 JP 7388258 B2 JP7388258 B2 JP 7388258B2 JP 2020043947 A JP2020043947 A JP 2020043947A JP 2020043947 A JP2020043947 A JP 2020043947A JP 7388258 B2 JP7388258 B2 JP 7388258B2
- Authority
- JP
- Japan
- Prior art keywords
- person
- accessibility
- target person
- unit
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 15
- 238000001514 detection method Methods 0.000 claims description 101
- 230000001815 facial effect Effects 0.000 claims description 70
- 210000000056 organ Anatomy 0.000 claims description 63
- 230000008921 facial expression Effects 0.000 claims description 43
- 238000012545 processing Methods 0.000 claims description 38
- 238000004891 communication Methods 0.000 claims description 18
- 238000003384 imaging method Methods 0.000 claims description 18
- 230000002123 temporal effect Effects 0.000 claims description 8
- 238000011156 evaluation Methods 0.000 description 37
- 230000008451 emotion Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 210000000214 mouth Anatomy 0.000 description 2
- HMUNWXXNJPVALC-UHFFFAOYSA-N 1-[4-[2-(2,3-dihydro-1H-inden-2-ylamino)pyrimidin-5-yl]piperazin-1-yl]-2-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)ethanone Chemical compound C1C(CC2=CC=CC=C12)NC1=NC=C(C=N1)N1CCN(CC1)C(CN1CC2=C(CC1)NN=N2)=O HMUNWXXNJPVALC-UHFFFAOYSA-N 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Collating Specific Patterns (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Description
本開示は、他人とのコミュニケーションの取りやすさの指標を示すアクセシビリティを判定するアクセシビリティ判定装置に関する。
他人との会話等のコミュニケーションを含む社会生活を行う上で、他人が話しかけられてもよい状態であるか否かを把握することが重要な事項の１つである。撮影対象人物等の相手が自分又は自装置に関心を持っているか否かを判定する装置が知られている。例えば、特許文献１は、装置本体の前方の人物の装置本体に対する位置の推移に基づいて、その人物が、商品販売装置を利用しようとしている人物であるかを推定できる商品販売装置を開示している。
しかしながら、他人の位置の推移が自分の方向に近づくものであったとしても、当該他人の顔がこちらを向いていない、又は怒った顔である等の場合には、円滑なコミュニケーションは期待できない。自分が他人と円滑にコミュニケーションを取ることができるか否かを的確に判断するには、他人の位置の推移を把握するだけでは足りない。
本開示の目的は、ユーザが知人等の対象者と円滑にコミュニケーションを取ることを可能にするアクセシビリティ判定装置を提供することにある。
本開示の一態様に係るアクセシビリティ判定装置は、
ユーザの周囲環境を時間的に間隔を空けて撮像して複数の撮像画像を取得する撮像部と、
前記撮像画像を解析して前記ユーザと異なる他人の顔器官を検出する顔器官検出部と、
前記顔器官検出部の検出結果に基づいて、前記他人の顔の向き、移動方向、及び表情のうちの少なくとも１つを特定し、特定された結果に基づいて、前記ユーザが前記他人とコミュニケーションを取る際の取りやすさの指標を示すアクセシビリティを決定する処理部と、
前記顔器官検出部の検出結果に基づいて、前記他人が予め定められた対象者であるか否かを検出する対象者検出部と、
前記処理部によって決定された前記アクセシビリティが予め定められた基準を満たし、かつ、前記対象者検出部が、前記他人が前記予め定められた対象者であることを検出した場合に、前記ユーザに対して報知を行う報知部とを備え、
前記処理部は、前記撮像部と前記他人との距離に応じて、前記アクセシビリティ又は前記予め定められた基準を変更する。
ユーザの周囲環境を時間的に間隔を空けて撮像して複数の撮像画像を取得する撮像部と、
前記撮像画像を解析して前記ユーザと異なる他人の顔器官を検出する顔器官検出部と、
前記顔器官検出部の検出結果に基づいて、前記他人の顔の向き、移動方向、及び表情のうちの少なくとも１つを特定し、特定された結果に基づいて、前記ユーザが前記他人とコミュニケーションを取る際の取りやすさの指標を示すアクセシビリティを決定する処理部と、
前記顔器官検出部の検出結果に基づいて、前記他人が予め定められた対象者であるか否かを検出する対象者検出部と、
前記処理部によって決定された前記アクセシビリティが予め定められた基準を満たし、かつ、前記対象者検出部が、前記他人が前記予め定められた対象者であることを検出した場合に、前記ユーザに対して報知を行う報知部とを備え、
前記処理部は、前記撮像部と前記他人との距離に応じて、前記アクセシビリティ又は前記予め定められた基準を変更する。
本開示の他の態様に係るアクセシビリティ判定装置は、
ユーザの周囲環境を撮像して撮像画像を取得する撮像部と、
前記撮像画像を解析して前記ユーザと異なる他人の顔器官を検出する顔器官検出部と、
前記顔器官検出部の検出結果に基づいて、前記他人の顔の向き、及び表情を特定し、特定された結果に基づいて、前記ユーザが前記他人とコミュニケーションを取る際の取りやすさの指標を示すアクセシビリティを決定する処理部と、
前記顔器官検出部の検出結果に基づいて、前記他人が予め定められた対象者であるか否かを検出する対象者検出部と、
前記処理部によって決定された前記アクセシビリティが予め定められた基準を満たし、かつ、前記対象者検出部が、前記他人が前記予め定められた対象者であることを検出した場合に、前記ユーザに対して報知を行う報知部とを備え、
前記処理部は、前記撮像部と前記他人との距離に応じて、前記アクセシビリティ又は前記予め定められた基準を変更する。
ユーザの周囲環境を撮像して撮像画像を取得する撮像部と、
前記撮像画像を解析して前記ユーザと異なる他人の顔器官を検出する顔器官検出部と、
前記顔器官検出部の検出結果に基づいて、前記他人の顔の向き、及び表情を特定し、特定された結果に基づいて、前記ユーザが前記他人とコミュニケーションを取る際の取りやすさの指標を示すアクセシビリティを決定する処理部と、
前記顔器官検出部の検出結果に基づいて、前記他人が予め定められた対象者であるか否かを検出する対象者検出部と、
前記処理部によって決定された前記アクセシビリティが予め定められた基準を満たし、かつ、前記対象者検出部が、前記他人が前記予め定められた対象者であることを検出した場合に、前記ユーザに対して報知を行う報知部とを備え、
前記処理部は、前記撮像部と前記他人との距離に応じて、前記アクセシビリティ又は前記予め定められた基準を変更する。
本開示に係るアクセシビリティ判定装置は、ユーザが知人等の対象者と円滑にコミュニケーションを取ることを可能にする。
以下、添付の図面を参照して本開示に係るナビゲーション装置の実施の形態を説明する。なお、以下の各実施形態において、同様の構成要素については同一の符号を付している。
１．適用例
図１は、本実施形態に係るアクセシビリティ判定装置１００の適用例を示す模式図である。アクセシビリティ判定装置１００は、ユーザ９０の周囲環境をカメラ２によって撮像し、話しかけてもよい状態である知人等の対象者９１が周囲にいる場合、音声出力装置７２を用いてユーザ９０に対して報知を行う。カメラ２は、本開示の「撮像部」の一例である。
図１は、本実施形態に係るアクセシビリティ判定装置１００の適用例を示す模式図である。アクセシビリティ判定装置１００は、ユーザ９０の周囲環境をカメラ２によって撮像し、話しかけてもよい状態である知人等の対象者９１が周囲にいる場合、音声出力装置７２を用いてユーザ９０に対して報知を行う。カメラ２は、本開示の「撮像部」の一例である。
アクセシビリティ判定装置１００は、知人等の対象者９１が話しかけてもよい状態であるか否かを、アクセシビリティという指標に基づいて判断する。ここで、アクセシビリティとは、ユーザ９０が他人とコミュニケーションを取る際の取りやすさの指標を表す。アクセシビリティは、カメラ２によって撮像された撮像画像内の顔の情報に基づいて決定される。
例えば、図１に示したように対象者９１の顔がユーザ９０の方向を向き、笑顔である場合にはアクセシビリティが高く、対象者９１は、ユーザ９０が話しかけてもよい状態であるといえる。このような場合、アクセシビリティ判定装置１００は、音声出力装置７２を介して、ユーザ９０に対して報知を行う。報知の内容は、例えば、対象者９１の位置、対象者９１の氏名、アクセシビリティの高さ等の情報である。報知により、ユーザ９０は、話しかけてもよい状態である対象者９１が周囲にいることを認識することができる。したがって、ユーザ９０は、対象者９１に話しかけるなどして、対象者９１と円滑にコミュニケーションを取ることができる。
特に、ユーザ９０が視覚障がい者である場合、街中で知人と遭遇しても、視覚によっては当該知人の存在を認識することができないことがあり得る。ユーザ９０が知人と会話をしたいと望んでいたとしても、会話をすることなく通り過ぎてしまう場合がある。このような場合、アクセシビリティ判定装置１００が、アクセシビリティが高い状態である知人が周囲にいることをユーザ９０に報知することで、ユーザ９０は知人と円滑にコミュニケーションを取ることができる。このように、アクセシビリティ判定装置１００は、視覚障がい者であるユーザ９０のコミュニケーションを支援する装置として適用可能である。
ユーザ９０は、自律移動可能なロボットであってもよい。この場合、カメラ２及び音声出力装置７２等のアクセシビリティ判定装置１００の構成要素は、ロボットに組み込まれてもよい。この場合、ロボットは、例えば自走している最中に、カメラ２の撮像画像に基づいて、対象者９１が話しかけてもよい状態であるか否かを認識することができる。これにより、社会で人間とロボットが共存する場合に、ロボットが人間と円滑にコミュニケーションを取ることができる。
２．構成例
図２は、本実施形態に係るアクセシビリティ判定装置１００の構成例を示すブロック図である。アクセシビリティ判定装置１００は、カメラ２と、制御部４と、記憶部５と、通信インタフェース（Ｉ／Ｆ）６と、報知部７とを備える。
図２は、本実施形態に係るアクセシビリティ判定装置１００の構成例を示すブロック図である。アクセシビリティ判定装置１００は、カメラ２と、制御部４と、記憶部５と、通信インタフェース（Ｉ／Ｆ）６と、報知部７とを備える。
カメラ２は、ユーザ９０の周囲の環境を撮像して撮像画像を形成する撮像装置である。カメラ２は、例えば所定のフレームレートでユーザ９０の周辺を撮影し、逐次、画像データを生成する。カメラ２は、例えば、ＣＭＯＳ（Complementary MOS）、ＣＣＤ（Charge Coupled Device）等の固体撮像素子によって撮像画像を形成する。カメラ２は、例えば、ユーザ９０が装着できるウェアラブルカメラである。カメラ２は、リュックサック、スーツケース等のユーザ９０の荷物に搭載されてもよい。
報知部７は、例えば制御部４による制御に従って出力を行う出力装置である。報知部７は、ユーザ９０に対して報知を行う。報知部７は、例えば、表示装置７１、音声出力装置７２、及びバイブレータ７３を含む。表示装置７１は、例えば液晶ディスプレイ、有機ＥＬディスプレイ、及びプロジェクタを含む。音声出力装置７２は、例えば、スピーカ、イヤホン、及びヘッドホン等のオーディオ機器を含む。
制御部４は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含み、情報処理に応じてアクセシビリティ判定装置１００の各構成要素の制御を行う情報処理装置である。制御部４は、構成要素として、例えば、画像取得部４１と、顔検出部４２と、顔器官検出部４３と、対象者検出部４４と、アクセシビリティ決定部４５と、出力制御部４６とを含む。制御部４の各構成要素は、制御部４が必要なプログラムを実行することによって、それぞれが担当する処理を実行してもよい。このようなプログラムは、記憶部５に記憶されていてもよい。制御部４が必要なプログラムを実行する際は、記憶部５に記憶された対象となるプログラムをＲＡＭに展開する。制御部４は、ＲＡＭに展開された当該プログラムをＣＰＵにより解釈及び実行して、各構成要素を制御する。各構成要素の動作例については後述する。
記憶部５は、コンピュータその他の装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。記憶部５は、例えば、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置である。記憶部５は、例えば、顔データベース５１、及び制御部４が実行するプログラム等を記憶する。記憶部５は、ＲＡＭ等の主記憶装置を含んでもよい。
通信インタフェース６は、アクセシビリティ判定装置１００と外部機器との通信接続を可能とするためのインタフェース回路を含む。通信インタフェース６は、例えば、ＩＥＥＥ８０２．３、ＩＥＥＥ８０２．１１又はＷｉ－Ｆｉ（登録商標）、ＬＴＥ、３Ｇ、４Ｇ、５Ｇ等の規格に従って通信を行う。通信インタフェース６は、ＵＳＢ(Universal Serial Bus)、ＨＤＭＩ（登録商標）、ＩＥＥＥ１３９４、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の規格に従って通信を行うインタフェース回路であってもよい。
本実施形態では、制御部４の各機能がＣＰＵによって実現される例について説明する。しかしながら、以上の機能の一部又は全部は、１又は複数の専用のプロセッサにより実現されてもよい。また、制御部４の構成要素に関して、実施形態に応じて、適宜、機能の省略、置換及び追加が行われてもよい。制御部４は、ＣＰＵ、ＭＰＵ、ＧＰＵ、マイコン、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣ等の種々の半導体集積回路で構成されてもよい。
３．動作例
３－１．全体のフロー
アクセシビリティ判定装置１００は、カメラ２によって撮像された撮像画像に知人等の対象者が写っているか否かを検出し、写っている場合には、対象者についてのアクセシビリティを決定する。アクセシビリティ判定装置１００は、決定されたアクセシビリティが予め定められた閾値より大きい場合、ユーザ９０に対して報知を行う。これにより、ユーザ９０は、周辺にいる知人等の対象者が話しかけてもよい状態であるかどうかを知ることができる。したがって、アクセシビリティ判定装置１００を用いることにより、ユーザ９０は、日常生活において、知人や興味のある人と円滑にコミュニケーションを取ることができる。以下、アクセシビリティ判定装置１００の動作例について、図３～５を参照して説明する。
３－１．全体のフロー
アクセシビリティ判定装置１００は、カメラ２によって撮像された撮像画像に知人等の対象者が写っているか否かを検出し、写っている場合には、対象者についてのアクセシビリティを決定する。アクセシビリティ判定装置１００は、決定されたアクセシビリティが予め定められた閾値より大きい場合、ユーザ９０に対して報知を行う。これにより、ユーザ９０は、周辺にいる知人等の対象者が話しかけてもよい状態であるかどうかを知ることができる。したがって、アクセシビリティ判定装置１００を用いることにより、ユーザ９０は、日常生活において、知人や興味のある人と円滑にコミュニケーションを取ることができる。以下、アクセシビリティ判定装置１００の動作例について、図３～５を参照して説明する。
図３は、アクセシビリティ判定装置１００の動作例を示すフローチャートである。図３に示した処理は、例えば制御部４によって、所定の周期で実行される。
（ステップＳ１）
まず、画像取得部４１は、カメラ２によって撮像された撮像画像を取得する（Ｓ１）。例えば、カメラ２は、一定のフレームレートで撮像を行う。ステップＳ１においては、画像取得部４１は、複数の撮像画像を取得してもよい。以下では、画像取得部４１が１つの撮像画像を取得した後に次のステップＳ２に進む処理例について説明する。しかしながら、本開示はこれに限定されない。例えば、ステップＳ１において、画像取得部４１は、複数フレームで構成される動画を取得してもよいし、複数枚の静止画像を取得してもよい。
まず、画像取得部４１は、カメラ２によって撮像された撮像画像を取得する（Ｓ１）。例えば、カメラ２は、一定のフレームレートで撮像を行う。ステップＳ１においては、画像取得部４１は、複数の撮像画像を取得してもよい。以下では、画像取得部４１が１つの撮像画像を取得した後に次のステップＳ２に進む処理例について説明する。しかしながら、本開示はこれに限定されない。例えば、ステップＳ１において、画像取得部４１は、複数フレームで構成される動画を取得してもよいし、複数枚の静止画像を取得してもよい。
（ステップＳ２）
次に、顔検出部４２は、画像取得部４１によって取得された撮像画像を解析し、人の顔を検出する（Ｓ２）。ここで、人の顔を検出するとは、撮像画像内において人の顔が写っていると推定される領域を検出することを含む。
次に、顔検出部４２は、画像取得部４１によって取得された撮像画像を解析し、人の顔を検出する（Ｓ２）。ここで、人の顔を検出するとは、撮像画像内において人の顔が写っていると推定される領域を検出することを含む。
（ステップＳ３）
次に、顔器官検出部４３は、顔検出部４２によって検出された顔の中で、顔の器官（以下、「顔器官」という。）を検出する（Ｓ３）。ここで、顔器官は、組織の集まりであって、特定の機能を有するものを含む。例えば、顔器官は、目、鼻、口、及び耳を含む。顔器官は、皮膚を含んでもよい。顔全体が顔器官に含まれてもよい。例えば、顔器官検出部４３は、顔器官の位置を検出する。
次に、顔器官検出部４３は、顔検出部４２によって検出された顔の中で、顔の器官（以下、「顔器官」という。）を検出する（Ｓ３）。ここで、顔器官は、組織の集まりであって、特定の機能を有するものを含む。例えば、顔器官は、目、鼻、口、及び耳を含む。顔器官は、皮膚を含んでもよい。顔全体が顔器官に含まれてもよい。例えば、顔器官検出部４３は、顔器官の位置を検出する。
（ステップＳ４，Ｓ５）
次に、対象者検出部４４は、顔器官検出部４３の検出結果と、対象者の顔に関する情報が格納された顔データベース５１とに基づいて、顔検出部４２によって検出された顔が対象者の顔であるか否かを検出する（Ｓ４）。ステップＳ４で実行されるのは、顔検出部４２によって検出された顔が対象者の顔に一致又は類似するか否かの同一性識別処理である。対象者は、ユーザ９０がコミュニケーションを取りたい又は取り得る相手方であり、例えばユーザ９０の知人、著名人等を含む。対象者検出部４４が参照する顔に関する情報は、記憶部５に記憶された顔データベース５１に限定されない。例えば、対象者検出部４４は、通信インタフェース６を介して、ネットワークに接続された外部サーバに格納された顔のデータベースを参照してもよい。検出された顔が対象者の顔である場合（ステップＳ５でＹｅｓの場合）、ステップＳ６に進み、検出された顔が対象者の顔でない場合（ステップＳ５でＮｏの場合）、制御部４は、図３に示したフローを終了する。
次に、対象者検出部４４は、顔器官検出部４３の検出結果と、対象者の顔に関する情報が格納された顔データベース５１とに基づいて、顔検出部４２によって検出された顔が対象者の顔であるか否かを検出する（Ｓ４）。ステップＳ４で実行されるのは、顔検出部４２によって検出された顔が対象者の顔に一致又は類似するか否かの同一性識別処理である。対象者は、ユーザ９０がコミュニケーションを取りたい又は取り得る相手方であり、例えばユーザ９０の知人、著名人等を含む。対象者検出部４４が参照する顔に関する情報は、記憶部５に記憶された顔データベース５１に限定されない。例えば、対象者検出部４４は、通信インタフェース６を介して、ネットワークに接続された外部サーバに格納された顔のデータベースを参照してもよい。検出された顔が対象者の顔である場合（ステップＳ５でＹｅｓの場合）、ステップＳ６に進み、検出された顔が対象者の顔でない場合（ステップＳ５でＮｏの場合）、制御部４は、図３に示したフローを終了する。
ステップＳ２の顔の検出、ステップＳ３の顔器官の検出、及びステップＳ４の対象者の検出には、テンプレートマッチング等の公知の画像解析手法が用いられてもよいし、ニューラルネットワーク、自己組織化マップ等の機械学習により構築された識別器が用いられてもよい。
（ステップＳ６，Ｓ７）
ステップＳ６では、アクセシビリティ決定部４５は、アクセシビリティＭを決定する（Ｓ６）。アクセシビリティ決定部４５は、本開示の「処理部」の一例である。アクセシビリティＭは、ユーザ９０が他人とコミュニケーションを取る際の取りやすさの指標である。次に、アクセシビリティ決定部４５は、アクセシビリティＭについての閾値Ｍｔｈを決定する（Ｓ７）。閾値Ｍｔｈは、本開示の「予め定められた基準」の一例である。ステップＳ６及びステップＳ７の詳細は後述する。
ステップＳ６では、アクセシビリティ決定部４５は、アクセシビリティＭを決定する（Ｓ６）。アクセシビリティ決定部４５は、本開示の「処理部」の一例である。アクセシビリティＭは、ユーザ９０が他人とコミュニケーションを取る際の取りやすさの指標である。次に、アクセシビリティ決定部４５は、アクセシビリティＭについての閾値Ｍｔｈを決定する（Ｓ７）。閾値Ｍｔｈは、本開示の「予め定められた基準」の一例である。ステップＳ６及びステップＳ７の詳細は後述する。
（ステップＳ８，Ｓ９）
次に、出力制御部４６は、アクセシビリティＭが閾値Ｍｔｈより大きいか否かを判断する（Ｓ８）。ステップＳ８においてアクセシビリティＭが閾値Ｍｔｈ以下であると判断した場合（ステップＳ８でＮｏの場合）、制御部４は、報知を行わずに図３に示したフローを終了する。アクセシビリティＭが閾値Ｍｔｈより大きいと判断した場合（ステップＳ８でＹｅｓの場合）、出力制御部４６は、報知部７を制御して、ユーザ９０に対して報知を行う（Ｓ９）。例えば、報知ステップＳ９では、ディスプレイ等の表示装置７１が、ステップＳ４で検出された知人の氏名と、アクセシビリティＭとを表示する。これらの情報は、音声出力装置７２が音声によりユーザ９０に報知してもよい。ステップＳ９では、バイブレータ７３が振動することにより、周囲に知人がいて、知人についてのアクセシビリティＭが閾値Ｍｔｈより大きい旨をユーザ９０に伝えてもよい。
次に、出力制御部４６は、アクセシビリティＭが閾値Ｍｔｈより大きいか否かを判断する（Ｓ８）。ステップＳ８においてアクセシビリティＭが閾値Ｍｔｈ以下であると判断した場合（ステップＳ８でＮｏの場合）、制御部４は、報知を行わずに図３に示したフローを終了する。アクセシビリティＭが閾値Ｍｔｈより大きいと判断した場合（ステップＳ８でＹｅｓの場合）、出力制御部４６は、報知部７を制御して、ユーザ９０に対して報知を行う（Ｓ９）。例えば、報知ステップＳ９では、ディスプレイ等の表示装置７１が、ステップＳ４で検出された知人の氏名と、アクセシビリティＭとを表示する。これらの情報は、音声出力装置７２が音声によりユーザ９０に報知してもよい。ステップＳ９では、バイブレータ７３が振動することにより、周囲に知人がいて、知人についてのアクセシビリティＭが閾値Ｍｔｈより大きい旨をユーザ９０に伝えてもよい。
３－２．アクセシビリティＭの決定処理
図４は、図３に示したアクセシビリティＭの決定ステップＳ６の流れを示すフローチャートである。
図４は、図３に示したアクセシビリティＭの決定ステップＳ６の流れを示すフローチャートである。
（ステップＳ６１）
まず、アクセシビリティ決定部４５は、図３のステップＳ３で検出された顔器官の情報に基づいて、顔の向きを特定する（Ｓ６１）。顔の向きは、例えば、図３のステップＳ３の検出結果から各顔器官の位置を表す特徴量を検出し、この特徴量を三次元顔形状モデルと比較することにより求めることができる。顔の向きは、例えば、ベクトルで表される。顔の向きは、カメラ２の方向を向いている場合を０°とする角度で表されてもよい。顔の向きを求める手法には、国際公開２００６／０５１６０７号明細書、特許第４０９３２７３号公報等に例示されている技術が適用されてもよい。
まず、アクセシビリティ決定部４５は、図３のステップＳ３で検出された顔器官の情報に基づいて、顔の向きを特定する（Ｓ６１）。顔の向きは、例えば、図３のステップＳ３の検出結果から各顔器官の位置を表す特徴量を検出し、この特徴量を三次元顔形状モデルと比較することにより求めることができる。顔の向きは、例えば、ベクトルで表される。顔の向きは、カメラ２の方向を向いている場合を０°とする角度で表されてもよい。顔の向きを求める手法には、国際公開２００６／０５１６０７号明細書、特許第４０９３２７３号公報等に例示されている技術が適用されてもよい。
（ステップＳ６２）
次に、アクセシビリティ決定部４５は、顔の向きに関する第１の評価指標ＦＰを特定する（Ｓ６２）。ここで、第１の評価指標ＦＰは、顔の向きに関してアクセシビリティＭを評価するための評価指標を表す。第１の評価指標ＦＰは、アクセシビリティＭを構成する成分のうち、顔の向きに関するものともいえる。アクセシビリティ決定部４５は、対象者がカメラ２の方向を向いていると、第１の評価指標ＦＰを大きい値に設定する。例えば、第１の評価指標ＦＰは、顔の向きの角度が０°である場合に最大となり、角度が大きくなるに連れて減少し、１８０°である場合に最小となる値である。第１の評価指標ＦＰは、カメラ２の光軸の向きと、対象者の顔の向きとの内積に、－１を乗じたもので表されてもよい。第１の評価指標ＦＰは、例えば、０～１の値となるように正規化される。
次に、アクセシビリティ決定部４５は、顔の向きに関する第１の評価指標ＦＰを特定する（Ｓ６２）。ここで、第１の評価指標ＦＰは、顔の向きに関してアクセシビリティＭを評価するための評価指標を表す。第１の評価指標ＦＰは、アクセシビリティＭを構成する成分のうち、顔の向きに関するものともいえる。アクセシビリティ決定部４５は、対象者がカメラ２の方向を向いていると、第１の評価指標ＦＰを大きい値に設定する。例えば、第１の評価指標ＦＰは、顔の向きの角度が０°である場合に最大となり、角度が大きくなるに連れて減少し、１８０°である場合に最小となる値である。第１の評価指標ＦＰは、カメラ２の光軸の向きと、対象者の顔の向きとの内積に、－１を乗じたもので表されてもよい。第１の評価指標ＦＰは、例えば、０～１の値となるように正規化される。
（ステップＳ６３）
また、アクセシビリティ決定部４５は、図３のステップＳ２で検出された顔の情報又はステップＳ３で検出された顔器官の情報に基づいて、顔の移動方向を特定する（Ｓ６３）。例えば、アクセシビリティ決定部４５は、異なる時刻に撮像された複数の撮像画像内の顔の位置又は顔器官の位置を比較して、顔の移動方向を特定する。顔の移動方向は、例えば、対象者の顔の３Ｄ位置変化ベクトルである。
また、アクセシビリティ決定部４５は、図３のステップＳ２で検出された顔の情報又はステップＳ３で検出された顔器官の情報に基づいて、顔の移動方向を特定する（Ｓ６３）。例えば、アクセシビリティ決定部４５は、異なる時刻に撮像された複数の撮像画像内の顔の位置又は顔器官の位置を比較して、顔の移動方向を特定する。顔の移動方向は、例えば、対象者の顔の３Ｄ位置変化ベクトルである。
（ステップＳ６４）
次に、アクセシビリティ決定部４５は、顔の移動方向に関する第２の評価指標ＦＭを特定する（Ｓ６４）。ここで、第２の評価指標ＦＭは、顔の移動方向に関してアクセシビリティＭを評価するための評価指標を表す。第２の評価指標ＦＭは、アクセシビリティＭを構成する成分のうち、顔の移動方向に関するものともいえる。アクセシビリティ決定部４５は、顔の移動方向がカメラ２の方向を向いていると、第２の評価指標ＦＭを大きい値に設定する。第２の評価指標ＦＭは、例えば、カメラ２の光軸の向きと、対象者の顔の位置変化ベクトルとの内積に、－１を乗じたもので表される。第２の評価指標ＦＭは、例えば、０～１の値となるように正規化される。
次に、アクセシビリティ決定部４５は、顔の移動方向に関する第２の評価指標ＦＭを特定する（Ｓ６４）。ここで、第２の評価指標ＦＭは、顔の移動方向に関してアクセシビリティＭを評価するための評価指標を表す。第２の評価指標ＦＭは、アクセシビリティＭを構成する成分のうち、顔の移動方向に関するものともいえる。アクセシビリティ決定部４５は、顔の移動方向がカメラ２の方向を向いていると、第２の評価指標ＦＭを大きい値に設定する。第２の評価指標ＦＭは、例えば、カメラ２の光軸の向きと、対象者の顔の位置変化ベクトルとの内積に、－１を乗じたもので表される。第２の評価指標ＦＭは、例えば、０～１の値となるように正規化される。
（ステップＳ６５）
また、アクセシビリティ決定部４５は、図３のステップＳ３で検出された顔器官の情報に基づいて、顔の表情を推定する（Ｓ６５）。例えば、アクセシビリティ決定部４５は、顔器官の情報から、眼、眉、口等の顔の特徴点間の距離、または顔表面のエッジを、顔の表情を表す情報として検出する。
また、アクセシビリティ決定部４５は、図３のステップＳ３で検出された顔器官の情報に基づいて、顔の表情を推定する（Ｓ６５）。例えば、アクセシビリティ決定部４５は、顔器官の情報から、眼、眉、口等の顔の特徴点間の距離、または顔表面のエッジを、顔の表情を表す情報として検出する。
表情の推定には、公知の手法が用いられてもよい。例えば、アクセシビリティ決定部４５は、顔器官の位置情報に基づき顔器官の相対位置や形状に関わる特徴量を抽出する。特徴量は、例えば、Ｈａａｒ－ｌｉｋｅ特徴量、特徴点間距離、フーリエ記述子を含む。次に、抽出された特徴量が、表情を判別する表情判別器に入力され、表情のスコア（表情成分値）が出力される。表情のスコアは、笑顔の度合いを示す笑度、幸福の度合いを示す幸福度等を含む。表情判別器は、例えば、ニューラルネットワーク、自己組織化マップ等の機械学習により多数の顔のサンプル画像を学習して構築される。
顔の表情の推定とは、顔表情の種類を判別すること、すなわち認識の対象である顔
の表情の種類を感情を示す語によって特定することを含む。ここで、顔表情の特定は、単一の感情を示す語による特定でもよいし、感情を示す語の組み合わせによる特定でもよい。感情を示す語を組み合わせる場合、各感情を示す語が重み付けされていてもよい。例えば、顔の表情は、ポール・エックマン（Paul Ekman）の表情分析をもとに、顔表情を「真顔」、「喜び」、「怒り」、「嫌悪」、「驚き」、「怖れ」、及び「悲しみ」の７種類に分類される。表情の推定結果としては、７種類の表情それぞれの度合い（表情らしさ、表情度とも呼ぶ）を合計が１となるように数値化されたスコアが出力される。各表情のスコアは表情成分値とも呼ばれる。
の表情の種類を感情を示す語によって特定することを含む。ここで、顔表情の特定は、単一の感情を示す語による特定でもよいし、感情を示す語の組み合わせによる特定でもよい。感情を示す語を組み合わせる場合、各感情を示す語が重み付けされていてもよい。例えば、顔の表情は、ポール・エックマン（Paul Ekman）の表情分析をもとに、顔表情を「真顔」、「喜び」、「怒り」、「嫌悪」、「驚き」、「怖れ」、及び「悲しみ」の７種類に分類される。表情の推定結果としては、７種類の表情それぞれの度合い（表情らしさ、表情度とも呼ぶ）を合計が１となるように数値化されたスコアが出力される。各表情のスコアは表情成分値とも呼ばれる。
上記の表情判別器は、１つでなくてもよく、上記の７種類の表情をそれぞれ担当する７つの判別器で構成されてもよい。
顔の表情を推定する手法には、特開２０１９－１１１０９２号公報、特開２０１６－１４９０６３号公報、特開２０１４－２０６９０３号公報等に例示されている技術が適用されてもよい。
（ステップＳ６６）
ステップＳ６５の次に、アクセシビリティ決定部４５は、顔の表情に関する第３の評価指標ＦＡを特定する（Ｓ６６）。ここで、第３の評価指標ＦＡは、顔の表情に関してアクセシビリティＭを評価するための評価指標を表す。第３の評価指標ＦＡは、アクセシビリティＭを構成する成分のうち、顔の表情に関するものともいえる。アクセシビリティ決定部４５は、顔の表情がコミュニケーションに関してポジティブである場合に、第３の評価指標ＦＡを大きい値に設定する。顔の表情がコミュニケーションに関してポジティブである場合とは、例えば、ステップＳ６５の表情推定の結果、顔の表情が「喜び」に分類される場合を含む。あるいは、顔の表情がコミュニケーションに関してポジティブである場合とは、ステップＳ６５の表情推定の結果、笑度又は幸福度が予め定められた閾値以上である場合を含む。
ステップＳ６５の次に、アクセシビリティ決定部４５は、顔の表情に関する第３の評価指標ＦＡを特定する（Ｓ６６）。ここで、第３の評価指標ＦＡは、顔の表情に関してアクセシビリティＭを評価するための評価指標を表す。第３の評価指標ＦＡは、アクセシビリティＭを構成する成分のうち、顔の表情に関するものともいえる。アクセシビリティ決定部４５は、顔の表情がコミュニケーションに関してポジティブである場合に、第３の評価指標ＦＡを大きい値に設定する。顔の表情がコミュニケーションに関してポジティブである場合とは、例えば、ステップＳ６５の表情推定の結果、顔の表情が「喜び」に分類される場合を含む。あるいは、顔の表情がコミュニケーションに関してポジティブである場合とは、ステップＳ６５の表情推定の結果、笑度又は幸福度が予め定められた閾値以上である場合を含む。
（ステップＳ６７）
次に、アクセシビリティ決定部４５は、第１～第３の評価指標ＦＰ，ＦＭ，ＦＡに基づいて、アクセシビリティＭを決定する。例えば、アクセシビリティＭは、第１～第３の評価指標ＦＰ，ＦＭ，ＦＡの和である。第１～第３の評価指標ＦＰ，ＦＭ，ＦＡが０～１の値となるように正規化されている場合、アクセシビリティＭを正規化するために、第１～第３の評価指標ＦＰ，ＦＭ，ＦＡの和に１／３を乗じたものをアクセシビリティＭとしてもよい。アクセシビリティＭは、第１～第３の評価指標ＦＰ，ＦＭ，ＦＡの平均値であってもよい。
次に、アクセシビリティ決定部４５は、第１～第３の評価指標ＦＰ，ＦＭ，ＦＡに基づいて、アクセシビリティＭを決定する。例えば、アクセシビリティＭは、第１～第３の評価指標ＦＰ，ＦＭ，ＦＡの和である。第１～第３の評価指標ＦＰ，ＦＭ，ＦＡが０～１の値となるように正規化されている場合、アクセシビリティＭを正規化するために、第１～第３の評価指標ＦＰ，ＦＭ，ＦＡの和に１／３を乗じたものをアクセシビリティＭとしてもよい。アクセシビリティＭは、第１～第３の評価指標ＦＰ，ＦＭ，ＦＡの平均値であってもよい。
以上では、図４に示すように、ステップＳ６１～Ｓ６７が順次実行される例について説明した。しかしながら、本実施形態におけるアクセシビリティＭの決定処理ステップＳ６はこれに限定されない。具体的には、ステップＳ６２はステップＳ６１の次に、ステップＳ６４はステップＳ６３の次に、ステップＳ６６はステップＳ６５の次に実行される必要があるが、ステップＳ６１，Ｓ６３，Ｓ６５は順不同に実行されてよい。あるいは、ステップＳ６１，Ｓ６３，Ｓ６５は、並列に処理されてもよい。
また、以上では、図４に示すように、アクセシビリティ決定部４５が、第１～第３の評価指標ＦＰ，ＦＭ，ＦＡのすべてを決定する例について説明した。しかしながら、本開示はこれに限定されない。アクセシビリティ決定部４５は、第１～第３の評価指標ＦＰ，ＦＭ，ＦＡのうちの少なくとも１つを決定するものであればよい。例えば、第１の評価指標ＦＰのみが決定される場合、図４のステップＳ６３～Ｓ６６を省略することができる。この場合、ステップＳ６７では、アクセシビリティＭは、第１の評価指標ＦＰのみに基づいて決定される。
あるいは、アクセシビリティ決定部４５は、第１～第３の評価指標ＦＰ，ＦＭ，ＦＡのうちの２つを決定し、決定された２つの評価指標に基づいてアクセシビリティＭを決定するものであってもよい。この場合、例えば、第１の評価指標ＦＰ及び第３の評価指標ＦＡが決定され、この２つに基づいてアクセシビリティＭが決定される。
３－３．アクセシビリティＭの閾値Ｍｔｈの決定処理
図５は、図３に示した閾値Ｍｔｈの決定ステップＳ７の流れを示すフローチャートである。
図５は、図３に示した閾値Ｍｔｈの決定ステップＳ７の流れを示すフローチャートである。
まず、アクセシビリティ決定部４５は、図３のステップＳ２で検出された顔の情報又はステップＳ３で検出された顔器官の情報に基づいて、カメラ２と対象者との距離ｄを検出する（Ｓ７１）。カメラ２は、ユーザ９０が装着するウェアラブルカメラ、ユーザ９０の荷物に搭載されるカメラであるため、カメラ２と対象者との距離ｄは、ユーザ９０と対象者との距離と同程度のものといえる。
次に、アクセシビリティ決定部４５は、ステップＳ７１で検出された距離ｄが長距離であるか、中距離であるか、又は短距離であるかを判定する（Ｓ７２，Ｓ７３）。例えば、アクセシビリティ決定部４５は、距離ｄが５ｍより長いときに長距離であると判定し、３ｍより長く５ｍ以下であるときに中距離であると判定し、３ｍ以下であるときに短距離であると判定する。
距離ｄが長距離であると判定した場合（ステップＳ７２でＹｅｓの場合）、アクセシビリティ決定部４５は、閾値Ｍｔｈを高レベル値Ｍ１に設定する（Ｓ７４）。高レベル値Ｍ１は、例えば、アクセシビリティＭが正規化されている場合、０．８に設定される。
距離ｄが中距離であると判定した場合（ステップＳ７３でＹｅｓの場合）、アクセシビリティ決定部４５は、閾値Ｍｔｈを高レベル値Ｍ１より低い中レベル値Ｍ２に設定する（Ｓ７５）。中レベル値Ｍ２は、例えば、アクセシビリティＭが正規化されている場合、０．５に設定される。
距離ｄが短距離であると判定した場合（ステップＳ７３でＮｏの場合）、アクセシビリティ決定部４５は、閾値Ｍｔｈを中レベル値Ｍ２より低い低レベル値Ｍ３に設定する（Ｓ７６）。低レベル値Ｍ３は、例えば、アクセシビリティＭが正規化されている場合、０．２に設定される。
このように、制御部４は、距離ｄが長い程、報知ステップＳ９を実行する条件（ステップＳ８）を厳しくする。
制御部４は、距離ｄが長い程、報知を行う条件を厳しくするものであればよく、厳しくする手段は図３及び図５に例示したものに限定されない。以下、距離ｄが長い程報知を行う条件を厳しくする手段の一例を説明する。例えば、制御部４は、距離ｄが長距離であると判定した場合、第１～第３の評価指標ＦＰ，ＦＭ，ＦＡのすべてが０．８以上であるときに限り報知ステップＳ９を実行する。制御部４は、距離ｄが中距離であると判定した場合、第１～第３の評価指標ＦＰ，ＦＭ，ＦＡのうちの２つ以上が０．８以上であるときに報知ステップＳ９を実行する。制御部４は、距離ｄが短距離であると判定した場合、第１～第３の評価指標ＦＰ，ＦＭ，ＦＡのうちのいずれか１つが０．８以上であれば、報知ステップＳ９を実行する。
また、以下、距離ｄが長い程報知を行う条件を厳しくする手段の他の例を説明する。アクセシビリティ決定部４５は、カメラ２と他人との距離ｄに応じてアクセシビリティＭを変更するものであってもよい。例えば、アクセシビリティ決定部４５は、第１～第３の評価指標ＦＰ，ＦＭ，ＦＡの和を距離ｄで除したものをアクセシビリティＭとしてもよい。これにより、距離ｄが長い程アクセシビリティＭが小さくなり、閾値Ｍｔｈが一定値であっても、距離ｄが長い程報知ステップＳ９が実行されにくくなる。
４．作用・効果
以上のように、本実施形態に係るアクセシビリティ判定装置１００は、撮像部の一例であるカメラ２と、顔器官検出部４３と、処理部の一例であるアクセシビリティ決定部４５と、対象者検出部４４と、報知部７とを備える。カメラ２は、ユーザ９０の周囲環境を時間的に間隔を空けて撮像して複数の撮像画像を取得する（Ｓ１）。顔器官検出部４３は、撮像画像を解析してユーザ９０と異なる他人の顔器官を検出する（Ｓ３）。アクセシビリティ決定部４５は、顔器官検出部４３の検出結果に基づいて、他人の顔の向き、移動方向、及び表情のうちの少なくとも１つを特定する。また、アクセシビリティ決定部４５は、特定された結果に基づいて、ユーザ９０が他人とコミュニケーションを取る際の取りやすさの指標を示すアクセシビリティＭを決定する（Ｓ６）。対象者検出部４４は、顔器官検出部４３の検出結果に基づいて、他人が予め定められた対象者であるか否かを検出する（Ｓ４）。報知部７は、アクセシビリティ決定部４５によって決定されたアクセシビリティＭが予め定められた基準を満たし、かつ、対象者検出部４４が、他人が予め定められた対象者であることを検出した場合に、ユーザ９０に対して報知を行う（Ｓ９）。アクセシビリティ決定部４５は、カメラ２と他人との距離に応じて、アクセシビリティＭ又は予め定められた基準を変更する（Ｓ７）。
以上のように、本実施形態に係るアクセシビリティ判定装置１００は、撮像部の一例であるカメラ２と、顔器官検出部４３と、処理部の一例であるアクセシビリティ決定部４５と、対象者検出部４４と、報知部７とを備える。カメラ２は、ユーザ９０の周囲環境を時間的に間隔を空けて撮像して複数の撮像画像を取得する（Ｓ１）。顔器官検出部４３は、撮像画像を解析してユーザ９０と異なる他人の顔器官を検出する（Ｓ３）。アクセシビリティ決定部４５は、顔器官検出部４３の検出結果に基づいて、他人の顔の向き、移動方向、及び表情のうちの少なくとも１つを特定する。また、アクセシビリティ決定部４５は、特定された結果に基づいて、ユーザ９０が他人とコミュニケーションを取る際の取りやすさの指標を示すアクセシビリティＭを決定する（Ｓ６）。対象者検出部４４は、顔器官検出部４３の検出結果に基づいて、他人が予め定められた対象者であるか否かを検出する（Ｓ４）。報知部７は、アクセシビリティ決定部４５によって決定されたアクセシビリティＭが予め定められた基準を満たし、かつ、対象者検出部４４が、他人が予め定められた対象者であることを検出した場合に、ユーザ９０に対して報知を行う（Ｓ９）。アクセシビリティ決定部４５は、カメラ２と他人との距離に応じて、アクセシビリティＭ又は予め定められた基準を変更する（Ｓ７）。
この構成により、ユーザ９０は、アクセシビリティＭが予め定められた基準を満たす状態である、知人等の対象者が周囲にいることを報知により認識することができる。ユーザ９０は、報知により認識した対象者に対して、自分から話しかけてもよい状態であると認識することができる。したがって、ユーザ９０は、日常生活において、知人等の対象者と円滑にコミュニケーションを取ることができる。
カメラ２は、時間的に間隔を空けて撮像して複数の撮像画像を取得するものでなく、ユーザ９０の周囲環境を撮像して撮像画像を取得するものであってもよい。アクセシビリティ決定部４５は、顔器官検出部４３の検出結果に基づいて、他人の顔の向き、及び表情を特定し、特定された結果に基づいてアクセシビリティＭを決定するものであってもよい。
このように、他人の顔の向き及び表情の２つのパラメータを特定する構成であっても、アクセシビリティＭを決定することができる。したがって、上記と同様に、ユーザ９０は、日常生活において、知人等の対象者と円滑にコミュニケーションを取ることができる。
アクセシビリティ決定部４５は、顔器官検出部４３の検出結果に基づいて、他人の顔の向き、表情、及び顔の移動方向を特定し、特定された結果に基づいてアクセシビリティＭを決定するものであってもよい。
このように、他人の顔の向き、表情、及び顔の移動方向の３つのパラメータを特定する構成により、精度良くアクセシビリティＭを決定することができる。したがって、上記と同様に、ユーザ９０は、日常生活において、知人等の対象者と円滑にコミュニケーションを取ることができる。
本実施形態では、アクセシビリティ決定部４５は、対象者検出部４４が、他人が予め定められた対象者であることを検出した場合、当該他人についてアクセシビリティＭを決定するものであってもよい。一方、アクセシビリティ決定部４５は、対象者検出部４４が、他人が予め定められた対象者であることを検出しなかった場合、当該他人についてアクセシビリティＭを決定しないものであってもよい。
これにより、他人が、知人等の予め定められた対象者でない場合に、当該他人についてアクセシビリティＭを決定する処理を省略することができる。したがって、アクセシビリティ判定装置１００の処理負荷を低減することができる。
５．変形例
以上、本開示の実施形態を詳細に説明したが、前述までの説明はあらゆる点において本開示の例示に過ぎない。本開示の範囲を逸脱することなく種々の改良や変形を行うことができる。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略する。以下の変形例は適宜組み合わせることができる。
以上、本開示の実施形態を詳細に説明したが、前述までの説明はあらゆる点において本開示の例示に過ぎない。本開示の範囲を逸脱することなく種々の改良や変形を行うことができる。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略する。以下の変形例は適宜組み合わせることができる。
図６は、アクセシビリティ判定装置１００の動作の変形例を示すフローチャートである。図６のフローチャートでは、ステップＳ３の後にステップＳ６～Ｓ８が実行される。図３のフローチャートでは、アクセシビリティＭが閾値Ｍｔｈより大きいか否かを判断するステップＳ８は、ステップＳ２で検出された顔が対象者の顔である場合（ステップＳ５でＹｅｓの場合）にのみ実行される処理であった。これに対して、図６のフローチャートでは、アクセシビリティＭが閾値Ｍｔｈより大きいか否かを判断するステップＳ８は常に実行され、ステップＳ８でＹｅｓの場合にのみ、ステップＳ２で検出された顔が対象者の顔であるか否かを検出するステップＳ４が実行される。
このように、変形例では、対象者検出部４４は、アクセシビリティ決定部４５によって決定されたアクセシビリティＭが予め定められた基準を満たす場合、他人が予め定められた対象者であるか否かを検出し、それ以外の場合には、他人が予め定められた対象者であるか否かを検出しない。
この構成により、アクセシビリティ判定装置１００は、撮像画像から検出した顔のうち、アクセシビリティＭが予め定められた基準を満たすものについてのみ、対象者の顔との同一性識別処理を実行する。アクセシビリティＭが予め定められた基準を満たさない場合には、このような同一性識別処理を省略することができる。したがって、アクセシビリティ判定装置１００の処理負荷を低減することができる。
（付記）
以下、本開示の種々の態様を説明する。以下に記載する参照符号は例示に過ぎない。
以下、本開示の種々の態様を説明する。以下に記載する参照符号は例示に過ぎない。
本開示の第１態様のアクセシビリティ判定装置１００は、
ユーザ９０の周囲環境を時間的に間隔を空けて撮像して複数の撮像画像を取得する撮像部２と、
前記撮像画像を解析して前記ユーザ９０と異なる他人の顔器官を検出する顔器官検出部４３と、
前記顔器官検出部４３の検出結果に基づいて、前記他人の顔の向き、移動方向、及び表情のうちの少なくとも１つを特定し、特定された結果に基づいて、前記ユーザ９０が前記他人とコミュニケーションを取る際の取りやすさの指標を示すアクセシビリティを決定する処理部４５と、
前記顔器官検出部４３の検出結果に基づいて、前記他人が予め定められた対象者であるか否かを検出する対象者検出部４４と、
前記処理部４５によって決定された前記アクセシビリティが予め定められた基準を満たし、かつ、前記対象者検出部４４が、前記他人が前記予め定められた対象者であることを検出した場合に、前記ユーザ９０に対して報知を行う報知部７とを備え、
前記処理部４５は、前記撮像部２と前記他人との距離に応じて、前記アクセシビリティ又は前記予め定められた基準を変更する。
ユーザ９０の周囲環境を時間的に間隔を空けて撮像して複数の撮像画像を取得する撮像部２と、
前記撮像画像を解析して前記ユーザ９０と異なる他人の顔器官を検出する顔器官検出部４３と、
前記顔器官検出部４３の検出結果に基づいて、前記他人の顔の向き、移動方向、及び表情のうちの少なくとも１つを特定し、特定された結果に基づいて、前記ユーザ９０が前記他人とコミュニケーションを取る際の取りやすさの指標を示すアクセシビリティを決定する処理部４５と、
前記顔器官検出部４３の検出結果に基づいて、前記他人が予め定められた対象者であるか否かを検出する対象者検出部４４と、
前記処理部４５によって決定された前記アクセシビリティが予め定められた基準を満たし、かつ、前記対象者検出部４４が、前記他人が前記予め定められた対象者であることを検出した場合に、前記ユーザ９０に対して報知を行う報知部７とを備え、
前記処理部４５は、前記撮像部２と前記他人との距離に応じて、前記アクセシビリティ又は前記予め定められた基準を変更する。
本開示の第２態様のアクセシビリティ判定装置１００は、
ユーザ９０の周囲環境を撮像して撮像画像を取得する撮像部２と、
前記撮像画像を解析して前記ユーザ９０と異なる他人の顔器官を検出する顔器官検出部４３と、
前記顔器官検出部４３の検出結果に基づいて、前記他人の顔の向き、及び表情を特定し、特定された結果に基づいて、前記ユーザ９０が前記他人とコミュニケーションを取る際の取りやすさの指標を示すアクセシビリティを決定する処理部４５と、
前記顔器官検出部４３の検出結果に基づいて、前記他人が予め定められた対象者であるか否かを検出する対象者検出部４４と、
前記処理部４５によって決定された前記アクセシビリティが予め定められた基準を満たし、かつ、前記対象者検出部４４が、前記他人が前記予め定められた対象者であることを検出した場合に、前記ユーザ９０に対して報知を行う報知部とを備え、
前記処理部４５は、前記撮像部２と前記他人との距離に応じて、前記アクセシビリティ又は前記予め定められた基準を変更する。
ユーザ９０の周囲環境を撮像して撮像画像を取得する撮像部２と、
前記撮像画像を解析して前記ユーザ９０と異なる他人の顔器官を検出する顔器官検出部４３と、
前記顔器官検出部４３の検出結果に基づいて、前記他人の顔の向き、及び表情を特定し、特定された結果に基づいて、前記ユーザ９０が前記他人とコミュニケーションを取る際の取りやすさの指標を示すアクセシビリティを決定する処理部４５と、
前記顔器官検出部４３の検出結果に基づいて、前記他人が予め定められた対象者であるか否かを検出する対象者検出部４４と、
前記処理部４５によって決定された前記アクセシビリティが予め定められた基準を満たし、かつ、前記対象者検出部４４が、前記他人が前記予め定められた対象者であることを検出した場合に、前記ユーザ９０に対して報知を行う報知部とを備え、
前記処理部４５は、前記撮像部２と前記他人との距離に応じて、前記アクセシビリティ又は前記予め定められた基準を変更する。
本開示の第３態様では、
前記撮像部は、前記ユーザ９０の周囲環境を時間的に間隔を空けて撮像して複数の撮像画像を取得し、
前記処理部は、前記顔器官検出部４３の検出結果に基づいて、前記他人の顔の移動方向を更に特定し、特定された前記他人の顔の移動方向に更に基づいて、前記アクセシビリティを決定する、第２態様のアクセシビリティ判定装置１００が提供される。
前記撮像部は、前記ユーザ９０の周囲環境を時間的に間隔を空けて撮像して複数の撮像画像を取得し、
前記処理部は、前記顔器官検出部４３の検出結果に基づいて、前記他人の顔の移動方向を更に特定し、特定された前記他人の顔の移動方向に更に基づいて、前記アクセシビリティを決定する、第２態様のアクセシビリティ判定装置１００が提供される。
本開示の第４態様では、
前記処理部４５は、
前記対象者検出部４４が、前記他人が前記予め定められた対象者であることを検出した場合、前記他人について前記アクセシビリティを決定し、
前記対象者検出部４４が、前記他人が前記予め定められた対象者であることを検出しなかった場合、前記他人について前記アクセシビリティを決定しない、第１～第３態様のいずれか１つのアクセシビリティ判定装置１００が提供される。
前記処理部４５は、
前記対象者検出部４４が、前記他人が前記予め定められた対象者であることを検出した場合、前記他人について前記アクセシビリティを決定し、
前記対象者検出部４４が、前記他人が前記予め定められた対象者であることを検出しなかった場合、前記他人について前記アクセシビリティを決定しない、第１～第３態様のいずれか１つのアクセシビリティ判定装置１００が提供される。
本開示の第５態様では、
前記対象者検出部４４は、
前記処理部４５によって決定された前記アクセシビリティが前記予め定められた基準を満たす場合、前記他人が前記予め定められた対象者であるか否かを検出し、
前記処理部４５によって決定された前記アクセシビリティが前記予め定められた基準を満たさない場合、前記他人が前記予め定められた対象者であるか否かを検出しない、第１～第３態様のいずれか１つのアクセシビリティ判定装置１００が提供される。
前記対象者検出部４４は、
前記処理部４５によって決定された前記アクセシビリティが前記予め定められた基準を満たす場合、前記他人が前記予め定められた対象者であるか否かを検出し、
前記処理部４５によって決定された前記アクセシビリティが前記予め定められた基準を満たさない場合、前記他人が前記予め定められた対象者であるか否かを検出しない、第１～第３態様のいずれか１つのアクセシビリティ判定装置１００が提供される。
本開示の第６態様のアクセシビリティ判定方法は、
制御部が、ユーザ９０の周囲環境を時間的に間隔を空けて撮像して得られた複数の撮像画像を取得するステップＳ１と、
前記制御部が、前記撮像画像を解析して前記ユーザ９０と異なる他人の顔器官を検出する顔器官検出ステップＳ３と、
前記制御部が、前記顔器官検出ステップの検出結果に基づいて、前記他人の顔の向き、移動方向、及び表情のうちの少なくとも１つを特定し、特定された結果に基づいて、前記ユーザ９０が前記他人とコミュニケーションを取る際の取りやすさの指標を示すアクセシビリティを決定するアクセシビリティ決定ステップＳ６と、
前記制御部が、前記顔器官検出ステップの検出結果に基づいて、前記他人が予め定められた対象者であるか否かを検出する対象者検出ステップＳ４と、
前記アクセシビリティ決定ステップにおいて決定された前記アクセシビリティが予め定められた基準を満たし、かつ、前記対象者検出ステップにおいて前記他人が前記予め定められた対象者であることが検出された場合に、前記ユーザ９０に対して報知を行うステップＳ９とを含む。
制御部が、ユーザ９０の周囲環境を時間的に間隔を空けて撮像して得られた複数の撮像画像を取得するステップＳ１と、
前記制御部が、前記撮像画像を解析して前記ユーザ９０と異なる他人の顔器官を検出する顔器官検出ステップＳ３と、
前記制御部が、前記顔器官検出ステップの検出結果に基づいて、前記他人の顔の向き、移動方向、及び表情のうちの少なくとも１つを特定し、特定された結果に基づいて、前記ユーザ９０が前記他人とコミュニケーションを取る際の取りやすさの指標を示すアクセシビリティを決定するアクセシビリティ決定ステップＳ６と、
前記制御部が、前記顔器官検出ステップの検出結果に基づいて、前記他人が予め定められた対象者であるか否かを検出する対象者検出ステップＳ４と、
前記アクセシビリティ決定ステップにおいて決定された前記アクセシビリティが予め定められた基準を満たし、かつ、前記対象者検出ステップにおいて前記他人が前記予め定められた対象者であることが検出された場合に、前記ユーザ９０に対して報知を行うステップＳ９とを含む。
本開示の第７態様では、本開示の第６態様のアクセシビリティ判定方法をコンピュータに実行させるためのプログラムが提供される。
２ カメラ
４ 制御部
５ 記憶部
６ 通信インタフェース
７ 報知部
４１ 画像取得部
４２ 顔検出部
４３ 顔器官検出部
４４ 対象者検出部
４５ アクセシビリティ決定部
４６ 出力制御部
５１ 顔データベース
７１ 表示装置
７２ 音声出力装置
７３ バイブレータ
９０ ユーザ
１００ アクセシビリティ判定装置
４ 制御部
５ 記憶部
６ 通信インタフェース
７ 報知部
４１ 画像取得部
４２ 顔検出部
４３ 顔器官検出部
４４ 対象者検出部
４５ アクセシビリティ決定部
４６ 出力制御部
５１ 顔データベース
７１ 表示装置
７２ 音声出力装置
７３ バイブレータ
９０ ユーザ
１００ アクセシビリティ判定装置
Claims (7)
- ユーザの周囲環境を時間的に間隔を空けて撮像して複数の撮像画像を取得する撮像部と、
前記撮像画像を解析して前記ユーザと異なる他人の顔器官を検出する顔器官検出部と、
前記顔器官検出部の検出結果に基づいて、前記他人の顔の向き、移動方向、及び表情のうちの少なくとも１つを特定し、特定された結果に基づいて、前記ユーザが前記他人とコミュニケーションを取る際の取りやすさの指標を示すアクセシビリティを決定する処理部と、
前記顔器官検出部の検出結果に基づいて、前記他人が予め定められた対象者であるか否かを検出する対象者検出部と、
前記処理部によって決定された前記アクセシビリティが予め定められた基準を満たし、かつ、前記対象者検出部が、前記他人が前記予め定められた対象者であることを検出した場合に、前記ユーザに対して報知を行う報知部とを備え、
前記処理部は、前記撮像部と前記他人との距離に応じて、前記アクセシビリティ又は前記予め定められた基準を変更する、
アクセシビリティ判定装置。 - ユーザの周囲環境を撮像して撮像画像を取得する撮像部と、
前記撮像画像を解析して前記ユーザと異なる他人の顔器官を検出する顔器官検出部と、
前記顔器官検出部の検出結果に基づいて、前記他人の顔の向き、及び表情を特定し、特定された結果に基づいて、前記ユーザが前記他人とコミュニケーションを取る際の取りやすさの指標を示すアクセシビリティを決定する処理部と、
前記顔器官検出部の検出結果に基づいて、前記他人が予め定められた対象者であるか否かを検出する対象者検出部と、
前記処理部によって決定された前記アクセシビリティが予め定められた基準を満たし、かつ、前記対象者検出部が、前記他人が前記予め定められた対象者であることを検出した場合に、前記ユーザに対して報知を行う報知部とを備え、
前記処理部は、前記撮像部と前記他人との距離に応じて、前記アクセシビリティ又は前記予め定められた基準を変更する、
アクセシビリティ判定装置。 - 前記撮像部は、前記ユーザの周囲環境を時間的に間隔を空けて撮像して複数の撮像画像を取得し、
前記処理部は、前記顔器官検出部の検出結果に基づいて、前記他人の顔の移動方向を更に特定し、特定された前記他人の顔の移動方向に更に基づいて、前記アクセシビリティを決定する、請求項２に記載のアクセシビリティ判定装置。 - 前記処理部は、
前記対象者検出部が、前記他人が前記予め定められた対象者であることを検出した場合、前記他人について前記アクセシビリティを決定し、
前記対象者検出部が、前記他人が前記予め定められた対象者であることを検出しなかった場合、前記他人について前記アクセシビリティを決定しない、請求項１～３のいずれか１項に記載のアクセシビリティ判定装置。 - 前記対象者検出部は、
前記処理部によって決定された前記アクセシビリティが前記予め定められた基準を満たす場合、前記他人が前記予め定められた対象者であるか否かを検出し、
前記処理部によって決定された前記アクセシビリティが前記予め定められた基準を満たさない場合、前記他人が前記予め定められた対象者であるか否かを検出しない、請求項１～３のいずれか１項に記載のアクセシビリティ判定装置。 - 制御部が、ユーザの周囲環境を時間的に間隔を空けて撮像して得られた複数の撮像画像を取得するステップと、
前記制御部が、前記撮像画像を解析して前記ユーザと異なる他人の顔器官を検出する顔器官検出ステップと、
前記制御部が、前記顔器官検出ステップの検出結果に基づいて、前記他人の顔の向き、移動方向、及び表情のうちの少なくとも１つを特定し、特定された結果に基づいて、前記ユーザが前記他人とコミュニケーションを取る際の取りやすさの指標を示すアクセシビリティを決定するアクセシビリティ決定ステップと、
前記制御部が、前記顔器官検出ステップの検出結果に基づいて、前記他人が予め定められた対象者であるか否かを検出する対象者検出ステップと、
前記アクセシビリティ決定ステップにおいて決定された前記アクセシビリティが予め定められた基準を満たし、かつ、前記対象者検出ステップにおいて前記他人が前記予め定められた対象者であることが検出された場合に、前記ユーザに対して報知を行うステップとを含む、
アクセシビリティ判定方法。 - 請求項６に記載のアクセシビリティ判定方法をコンピュータに実行させるためのプログラム。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020043947A JP7388258B2 (ja) | 2020-03-13 | 2020-03-13 | アクセシビリティ判定装置、アクセシビリティ判定方法、及びプログラム |
| CN202180017237.9A CN115210754A (zh) | 2020-03-13 | 2021-02-10 | 易接近性判定装置、易接近性判定方法以及程序 |
| US17/908,428 US20240029473A1 (en) | 2020-03-13 | 2021-02-10 | Accessibility determination device, accessibility determination method, and program |
| EP21767611.3A EP4120188A4 (en) | 2020-03-13 | 2021-02-10 | ACCESSIBILITY DETERMINATION DEVICE, ACCESSIBILITY DETERMINATION METHOD AND PROGRAM |
| PCT/JP2021/004982 WO2021181991A1 (ja) | 2020-03-13 | 2021-02-10 | アクセシビリティ判定装置、アクセシビリティ判定方法、及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020043947A JP7388258B2 (ja) | 2020-03-13 | 2020-03-13 | アクセシビリティ判定装置、アクセシビリティ判定方法、及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021144572A JP2021144572A (ja) | 2021-09-24 |
| JP7388258B2 true JP7388258B2 (ja) | 2023-11-29 |
Family
ID=77671416
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020043947A Active JP7388258B2 (ja) | 2020-03-13 | 2020-03-13 | アクセシビリティ判定装置、アクセシビリティ判定方法、及びプログラム |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20240029473A1 (ja) |
| EP (1) | EP4120188A4 (ja) |
| JP (1) | JP7388258B2 (ja) |
| CN (1) | CN115210754A (ja) |
| WO (1) | WO2021181991A1 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7453193B2 (ja) | 2021-09-27 | 2024-03-19 | Kddi株式会社 | ユーザの周辺状況に連動して音声合成に基づく音声を制御する携帯装置、プログラム及び方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006115406A (ja) | 2004-10-18 | 2006-04-27 | Omron Corp | 撮像装置 |
| JP2017102846A (ja) | 2015-12-04 | 2017-06-08 | グローリー株式会社 | 接客対応評価装置及び接客対応評価方法 |
| JP2018124604A (ja) | 2017-01-30 | 2018-08-09 | グローリー株式会社 | 接客支援システム、接客支援装置及び接客支援方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4501937B2 (ja) | 2004-11-12 | 2010-07-14 | オムロン株式会社 | 顔特徴点検出装置、特徴点検出装置 |
| JP4093273B2 (ja) | 2006-03-13 | 2008-06-04 | オムロン株式会社 | 特徴点検出装置、特徴点検出方法および特徴点検出プログラム |
| JP6176563B2 (ja) | 2013-03-12 | 2017-08-09 | パナソニックＩｐマネジメント株式会社 | 商品販売装置 |
| JP6244643B2 (ja) | 2013-04-15 | 2017-12-13 | オムロン株式会社 | 表情推定装置、制御方法、制御プログラム、および記録媒体 |
| JP6467965B2 (ja) | 2015-02-13 | 2019-02-13 | オムロン株式会社 | 感情推定装置及び感情推定方法 |
| JP2018055248A (ja) * | 2016-09-27 | 2018-04-05 | ソニー株式会社 | 情報収集システム、電子棚札、電子ｐｏｐ、文字情報表示装置 |
| JP2019111092A (ja) | 2017-12-22 | 2019-07-11 | オムロン株式会社 | 生体状態推定装置、方法およびプログラム |
-
2020
- 2020-03-13 JP JP2020043947A patent/JP7388258B2/ja active Active
-
2021
- 2021-02-10 EP EP21767611.3A patent/EP4120188A4/en active Pending
- 2021-02-10 US US17/908,428 patent/US20240029473A1/en active Pending
- 2021-02-10 WO PCT/JP2021/004982 patent/WO2021181991A1/ja active Application Filing
- 2021-02-10 CN CN202180017237.9A patent/CN115210754A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006115406A (ja) | 2004-10-18 | 2006-04-27 | Omron Corp | 撮像装置 |
| JP2017102846A (ja) | 2015-12-04 | 2017-06-08 | グローリー株式会社 | 接客対応評価装置及び接客対応評価方法 |
| JP2018124604A (ja) | 2017-01-30 | 2018-08-09 | グローリー株式会社 | 接客支援システム、接客支援装置及び接客支援方法 |
Non-Patent Citations (1)
| Title |
|---|
| 森 博志，外２名，往来者の注意を喚起するヴァーチャルヒューマン広告提示システム，情報処理学会論文誌 論文誌ジャーナル Ｖｏｌ．５２ Ｎｏ．４ ［ＣＤ－ＲＯＭ］ IPSJ Journal，日本，一般社団法人情報処理学会，2011年，第52巻 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20240029473A1 (en) | 2024-01-25 |
| EP4120188A1 (en) | 2023-01-18 |
| WO2021181991A1 (ja) | 2021-09-16 |
| JP2021144572A (ja) | 2021-09-24 |
| CN115210754A (zh) | 2022-10-18 |
| EP4120188A4 (en) | 2024-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6467965B2 (ja) | 感情推定装置及び感情推定方法 | |
| US10380414B2 (en) | Method and system of facial expression recognition using linear relationships within landmark subsets | |
| US10679039B2 (en) | Detecting actions to discourage recognition | |
| JP7166784B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JP6647474B2 (ja) | 表情認識装置 | |
| JP5879188B2 (ja) | 顔表情解析装置および顔表情解析プログラム | |
| Feng et al. | Restricted Nearest Feature Line with Ellipse for Face Recognition. | |
| KR20150089370A (ko) | 얼굴 포즈 변화에 강한 연령 인식방법 및 시스템 | |
| JP7388258B2 (ja) | アクセシビリティ判定装置、アクセシビリティ判定方法、及びプログラム | |
| Chalup et al. | Simulating pareidolia of faces for architectural image analysis | |
| JP7388297B2 (ja) | コミュニケーション支援装置、コミュニケーション支援方法、及びプログラム | |
| Okochi et al. | Object recognition from 3d point cloud on resource-constrained edge device | |
| US11954908B2 (en) | Communication support device, communication support method, computer-readable storage medium including program, and server | |
| Adibuzzaman et al. | In situ affect detection in mobile devices: a multimodal approach for advertisement using social network | |
| Banati et al. | Soft Biometrics and Deep Learning: Detecting Facial Soft Biometrics Features Using Ocular and Forehead Region for Masked Face Images | |
| JP2016162103A (ja) | 画像処理プログラム、画像処理装置、及び画像処理方法 | |
| Prabhu et al. | Real time multimodal emotion recognition system using facial landmarks and hand over face gestures | |
| Srivastava et al. | Face Verification System with Liveness Detection | |
| JP2015158745A (ja) | 行動識別器生成装置、行動認識装置及びプログラム | |
| JP7480627B2 (ja) | コミュニケーション支援装置、コミュニケーション支援方法、及びプログラム | |
| Ptucha et al. | Facial pose estimation using a symmetrical feature model | |
| Tanveer | Real-Time Intelligent Facial Expression Recognition System | |
| Li et al. | Visual Perception Based Engagement Awareness for Multiparty Human–Robot Interaction | |
| Anitta et al. | CNN—Forest Based Person Identification and Head Pose Estimation for AI Based Applications | |
| Nalinipriya et al. | Face Emotion Identification System for Visually Challenged Persons using Machine Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230111 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231017 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231030 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7388258 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |