JP7388297B2 - コミュニケーション支援装置、コミュニケーション支援方法、及びプログラム - Google Patents
コミュニケーション支援装置、コミュニケーション支援方法、及びプログラム Download PDFInfo
- Publication number
- JP7388297B2 JP7388297B2 JP2020101744A JP2020101744A JP7388297B2 JP 7388297 B2 JP7388297 B2 JP 7388297B2 JP 2020101744 A JP2020101744 A JP 2020101744A JP 2020101744 A JP2020101744 A JP 2020101744A JP 7388297 B2 JP7388297 B2 JP 7388297B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- distance
- target person
- user
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004891 communication Methods 0.000 title claims description 96
- 238000000034 method Methods 0.000 title claims description 46
- 230000008921 facial expression Effects 0.000 claims description 120
- 230000033001 locomotion Effects 0.000 claims description 89
- 238000001514 detection method Methods 0.000 claims description 35
- 238000003384 imaging method Methods 0.000 claims description 19
- 238000005259 measurement Methods 0.000 claims description 16
- 230000003287 optical effect Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 description 33
- 238000012545 processing Methods 0.000 description 20
- 230000009471 action Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 17
- 230000001815 facial effect Effects 0.000 description 13
- 210000000056 organ Anatomy 0.000 description 10
- 230000003993 interaction Effects 0.000 description 8
- 230000008451 emotion Effects 0.000 description 7
- 238000013459 approach Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 6
- 230000001771 impaired effect Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 210000001508 eye Anatomy 0.000 description 3
- 208000015181 infectious disease Diseases 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 208000035473 Communicable disease Diseases 0.000 description 2
- 206010011224 Cough Diseases 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 210000000214 mouth Anatomy 0.000 description 2
- 230000010355 oscillation Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- HMUNWXXNJPVALC-UHFFFAOYSA-N 1-[4-[2-(2,3-dihydro-1H-inden-2-ylamino)pyrimidin-5-yl]piperazin-1-yl]-2-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)ethanone Chemical compound C1C(CC2=CC=CC=C12)NC1=NC=C(C=N1)N1CCN(CC1)C(CN1CC2=C(CC1)NN=N2)=O HMUNWXXNJPVALC-UHFFFAOYSA-N 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010195 expression analysis Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000004753 textile Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H3/00—Appliances for aiding patients or disabled persons to walk about
- A61H3/06—Walking aids for blind persons
- A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
- G09B21/001—Teaching or communicating with blind persons
- G09B21/003—Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
- G09B21/001—Teaching or communicating with blind persons
- G09B21/006—Teaching or communicating with blind persons using audible presentation of the information
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
- G09B21/001—Teaching or communicating with blind persons
- G09B21/007—Teaching or communicating with blind persons using both tactile and audible presentation of the information
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H3/00—Appliances for aiding patients or disabled persons to walk about
- A61H3/06—Walking aids for blind persons
- A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
- A61H2003/063—Walking aids for blind persons with electronic detecting or guiding means with tactile perception
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/50—Control means thereof
- A61H2201/5023—Interfaces to the user
- A61H2201/5048—Audio interfaces, e.g. voice or music controlled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/50—Control means thereof
- A61H2201/5058—Sensors or detectors
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/50—Control means thereof
- A61H2201/5058—Sensors or detectors
- A61H2201/5064—Position sensors
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/50—Control means thereof
- A61H2201/5058—Sensors or detectors
- A61H2201/5092—Optical sensor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Data Mining & Analysis (AREA)
- Psychiatry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Social Psychology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Physical Education & Sports Medicine (AREA)
- Pain & Pain Management (AREA)
- Epidemiology (AREA)
- Rehabilitation Therapy (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Telephone Function (AREA)
- User Interface Of Digital Computer (AREA)
Description
ユーザの周囲環境を撮像して撮像画像を取得する撮像部と、
前記撮像画像内で予め定められた対象者を検出する対象者検出部と、
前記撮像画像に基づいて、前記対象者と前記撮像部との距離を測定する距離測定部と、
前記撮像画像に基づいて、前記対象者の表情を特定する表情特定部と、
前記撮像画像に基づいて、前記対象者の動作を特定する動作特定部と、
音声出力部とを備え、
前記音声出力部は、
前記距離測定部によって測定された前記距離が第1閾値以下の交流距離である場合、前記対象者を識別するための識別情報を、音声により前記ユーザに報知し、
前記距離測定部によって測定された前記距離が前記第1閾値より大きい場合、前記表情特定部によって特定された表情に関する表情情報及び前記動作特定部によって特定された動作に関する動作情報のうちの少なくとも1つと、前記識別情報とを、音声により前記ユーザに報知する。
図1は、本実施形態に係るコミュニケーション支援装置100の適用例を示す模式図である。コミュニケーション支援装置100は、例えば視覚障がい者であるユーザ90に対してコミュニケーション支援を行う。視覚障がい者は、知人等の対象者80が接近しても、視覚によりその姿、顔等を知覚することが困難である。したがって、対象者80の氏名、表情、及び動作等を認識することが困難である。そのため、ユーザ90は、対象者80が接近しても、対象者80に対して挨拶をする等の動作をすることができないことがある。
図2は、本実施形態に係るコミュニケーション支援装置100の構成例を示すブロック図である。コミュニケーション支援装置100は、音声出力部1と、振動部2と、カメラ3と、制御部4と、記憶部5と、通信インタフェース(I/F)6とを備える。
3-1.全体フロー
本実施形態に係るコミュニケーション支援装置100は、知人等の対象者の氏名、位置、及び距離等をユーザ90に報知することにより、ユーザ90が当該対象者と円滑なコミュニケーションを取ることを支援する。例えば、コミュニケーション支援装置100は、視覚障がい者であるユーザ90が知人等の対象者と円滑なコミュニケーションを取ることを支援する。以下、コミュニケーション支援装置100の動作例について、図3を参照して説明する。
まず、画像取得部41は、カメラ3によって撮像された撮像画像を取得する(S1)。例えば、カメラ3は、ユーザ90の周囲環境を時系列で撮像して複数の撮像画像データを生成する。このように、カメラ3は、一定のフレームレートで撮像を行ってもよい。カメラ3は、動画を撮影するものであってもよい。ステップS1においては、画像取得部41は、複数の撮像画像を取得してもよい。画像取得部41は、複数フレームで構成される動画を取得してもよいし、複数枚の静止画像を取得してもよい。
次に、対象者検出部42は、画像取得部41によって取得された撮像画像を解析し、人を検出する(S2)。ここで、人を検出するとは、撮像画像内において人が写っていると推定される領域を検出することを含む。ステップS2において人を検出しなかった場合(ステップS2でNoの場合)、制御部4は、図3に示したフローを終了する。
ステップS2において人を検出した場合(ステップS2でYesの場合)、対象者検出部42は、対象者の顔に関する情報が格納された顔データベース51に基づいて、ステップS2において検出された人が知人等の対象者であるか否かを検出する(S3)。ステップS3で実行されるのは、ステップS2で検出された人の顔が対象者の顔に一致又は類似するか否かの同一性識別処理である。対象者は、ユーザ90がコミュニケーションを取りたいと望む相手方又は取り得る相手方であり、例えばユーザ90の知人、著名人等を含む。対象者検出部42が参照する顔に関する情報は、記憶部5に記憶された顔データベース51に限定されない。例えば、対象者検出部42は、通信インタフェース6を介して、ネットワークに接続された外部サーバに格納された顔のデータベースを参照してもよい。検出された人が対象者であると識別した場合(ステップS3でYesの場合)、ステップS4に進み、それ以外の場合(ステップS3でNoの場合)、制御部4は、図3に示したフローを終了する。
ステップS3において対象者を検出した場合、振動部2は、対象者を検出したことをユーザ90に振動により報知する(S4)。具体的には、振動部2は、第1振動パターンで振動することにより、対象者を検出したことをユーザ90に報知する。このようにして、振動部2は、ユーザ90への注意喚起のために、対象者を検出したことをユーザ90にフィードバックする。振動パターンの詳細については後述する。
次に、距離測定部45は、例えばステップS2で検出された情報に基づいて、カメラ3と対象者との空間距離を検出する(S5)。空間距離(spatial distance)は、本開示の「距離」の一例である。カメラ3は、ユーザ90が装着するウェアラブルカメラ、ユーザ90の荷物に搭載されるカメラ等のカメラであるため、カメラ3と対象者との空間距離は、ユーザ90と対象者との空間距離と同程度のものといえる。
図3に戻り、制御部4は、ステップS5の測定の結果、カメラ3と対象者との空間距離が観察距離である場合(ステップS6でYesの場合)、ステップS7に進んで遠距離フローを実行する。知覚スペースである場合(ステップS8でYesの場合)、ステップS9に進んで中距離フローを実行する。交流スペースである場合(ステップS10でYesの場合)、ステップS11に進んで近距離フローを実行する。このように、コミュニケーション支援装置100は、ステップS3で対象者を発見した時点におけるカメラ3と対象者との空間距離に応じて、異なる処理を実行する。
3-2-1.全体の流れ
図5A及び図5Bは、図3に示した遠距離フロー(S7)の詳細な流れを例示するフローチャートである。図5A及び図5Bは、結合子A及び結合子Bによって結合されている。図5A及び図5Bに示したフローは、リアルタイムに、すなわち画像取得部41が画像を取得する度に実行されてもよい。あるいは、図5A及び図5Bに示したフローは、画像取得部41によって数秒間~数十秒間に取得された複数フレームの撮像画像に対して実行されてもよい。
まず、音声出力部1は、ステップS3で検出された対象者の氏名を音声によりユーザ90に報知する(S701)。これにより、ユーザ90は、自分の近くにいる対象者の氏名を知ることができ、誰が自分の近くにいるかを識別することができる。対象者の氏名は、本開示における、対象者を識別するための識別情報の一例である。
次に、振動部2は、対象者との空間距離及び対象者の位置を、ユーザ90に振動により報知する(S702)。具体的には、振動部2は、第2振動パターンで振動することにより、対象者が観察距離にいることと、対象者の位置とを、ユーザ90に報知する。振動パターンの詳細については後述する。空間距離は、図3のステップS5において距離測定部45によって測定されたものである。対象者の位置は、例えば位置検出部44によって検出される。対象者の位置は、例えばカメラ3の光軸を基準として、対象者が右方、正面方向、左方のいずれの方向にいるかによって特定される。さらに、対象者の位置は、例えばカメラ3の光軸を基準として、対象者が上方、下方のいずれの方向にいるかによって特定されてもよい。言い換えれば、対象者の位置は、ユーザ90から見て対象者が上下左右及び正面のどの方向にいるかを特定する指標を表してもよい。
次に、対象者追跡部43は、図3のステップS3で検出された対象者を追跡する(S703)。具体的には、対象者追跡部43は、参照フレームにおいて検出又は追跡された対象者の画像内の位置に基づいて、参照フレームより後に撮像された現フレームにおいて対象者を追跡する。対象者の追跡は、例えば、参照フレーム内の対象者をテンプレートとして記憶部5に保存し、当該テンプレートを用いて、例えば公知のテンプレートマッチングなどの手法を適用し、現フレームの中を探索することで実現することができる。
対象者追跡部43は、追跡過程において、検出又は追跡されていた対象者が撮像画像内に映っているか否かを判断する(S704)。例えば、対象者追跡部43は、対象者が現フレームに映っているか否かを判断する。対象者が撮像画像内に映っていると判断した場合(ステップS704でYesの場合)、ステップS705に進み、映っていないと判断した場合(ステップS704でNoの場合)、ステップS720に進む。
距離測定部45は、対象者が知覚距離まで近付いたか否かを判断する(S705)。具体的には、距離測定部45は、図3のステップS5で用いたフレームでは観察距離にいた対象者が、後の時刻に撮像されたフレームにおいて知覚距離にいるか否かを判断する。例えば、距離測定部45は、カメラ3と対象者との距離が3.6mとなった場合、対象者が知覚距離まで近付いたと判断する。対象者が知覚距離まで近付いた場合(ステップS705でYesの場合)、図5BのステップS706に進み、対象者が知覚距離まで近付いていない場合(ステップS705でNoの場合)、ステップS703に戻る。対象者が知覚距離まで近付いていない場合、制御部4は、図5A及び図3の処理を終了してもよい。
図5Bに示したステップS706では、表情特定部46は、撮像画像に基づいて、対象者の表情を特定する(S706)。表情特定処理ステップS706の詳細については後述する。
次に、音声出力部1は、ステップS706で表情特定部46によって特定された表情に関する表情情報を、音声によりユーザ90に報知する(S707)。ここで、表情情報は、人の表情そのものを表す情報だけでなく、人が顔にマスク、眼帯、眼鏡、及びサングラス等の装着物又は遮蔽物を装着しているか否かを表す情報をも含んでもよい。例えば、音声出力部1は、「笑顔である」、「怒っている」、「表情が不明である」、「マスクを装着している」等の表情情報をユーザ90に報知する。これにより、ユーザ90は、自分の近くにいる対象者の表情を知ることができ、表情に応じた円滑なコミュニケーションを図ることができる。
次に、振動部2は、対象者との空間距離及び対象者の位置を、ユーザ90に振動により報知する(S708)。具体的には、振動部2は、第3振動パターンで振動することにより、対象者が知覚距離にいることと、対象者の位置とを、ユーザ90に報知する。振動パターンの詳細については後述する。
次に、動作特定部47は、撮像画像に基づいて、対象者の動作を特定する(S709)。動作特定処理ステップS709の詳細については後述する。
次に、音声出力部1は、ステップS709で動作特定部47によって特定された動作に関する動作情報を、音声によりユーザ90に報知する(S710)。例えば、音声出力部1は、「対象者がこちらを見ている」、「対象者が手を振っている」、「対象者が電話をしている」、「対象者が咳をしている」、「対象者の動作が不明である」等の動作情報をユーザ90に報知する。これにより、ユーザ90は、対象者の動作を知ることができ、動作に応じた円滑なコミュニケーションを図ることができる。
次に、距離測定部45は、対象者が交流距離まで近付いたか否かを判断する(S711)。具体的には、距離測定部45は、図5AのステップS705で用いたフレームでは知覚距離にいた対象者が、後の時刻に撮像されたフレームにおいて交流距離にいるか否かを判断する。例えば、距離測定部45は、カメラ3と対象者との距離が1.2mとなった場合、対象者が交流距離まで近付いたと判断する。対象者が交流距離まで近付いた場合(ステップS711でYesの場合)、ステップS712に進み、対象者が交流距離まで近付いていない場合(ステップS711でNoの場合)、ステップS709に戻る。長時間経過しても対象者が交流距離まで近付かない場合、制御部4は、図5B及び図3の処理を終了してもよい。
次に、振動部2は、対象者との空間距離及び対象者の位置を、ユーザ90に振動により報知する(S712)。具体的には、振動部2は、第4振動パターンで振動することにより、対象者が交流距離にいることと、対象者の位置とを、ユーザ90に報知する。振動パターンの詳細については後述する。これにより、ユーザ90は、対象者が交流距離にいることを知ることができ、対象者とコミュニケーションを開始することができる。
ステップS712の次に、例えばユーザ90が対象者とのコミュニケーションを終えた後に、制御部4は、交流後処理を実行する(S713)。例えば、制御部4は、振動部2を制御して、対象者がユーザ90から離れたことを振動により報知する。これにより、ユーザ90は、対象者が去ったことを知ることができ、対象者とのコミュニケーションの前に行っていた、目的地への移動等の行動を再開することができる。
図5Aに戻り、ステップS704において対象者が撮像画像内に映っていないと判断した場合、制御部4は、対象者が撮像画像内に映っていない期間が予め定められた期間より長いか否かを判断する。予め定められた期間は、例えば1秒~数分、例えば4秒である。期間の代わりに、フレーム数が予め定められてもよい。例えば、制御部4は、対象者が、連続した予め定められた数のフレーム画像内に映っているか否かを判断してもよい。対象者が撮像画像内に映っていない期間が予め定められた期間より長い場合(ステップS720でYesの場合)、ステップS721に進み、予め定められた期間以下である場合(ステップS720でNoの場合)、ステップS703に戻る。
対象者が撮像画像内に映っていない期間が予め定められた期間より長い場合(ステップS720でYesの場合)、振動部2は、対象者を追跡できなくなった旨を、ユーザ90に振動により報知する(S721)。具体的には、振動部2は、第5振動パターンで振動することにより、対象者を追跡できなくなった旨をユーザ90に報知する。振動パターンの詳細については後述する。これにより、ユーザ90は、対象者を追跡できなくなった旨、又は対象者がユーザ90の周辺から去ったことを知ることができる。ステップS721の後には、制御部4、音声出力部1、振動部2等の構成要素は、ユーザ90に対し、対象者の検出前に行っていた通常動作である目的地へのナビゲーション動作等を再開してもよい。
図6は、図5Bに示した表情特定処理ステップS706の詳細な流れを例示するフローチャートである。
まず、表情特定部46は、撮像画像を解析し、対象者の顔を検出する(S7061)。ここで、顔を検出するとは、撮像画像内において人の顔が写っていると推定される領域を検出することを含む。
対象者の顔を検出した場合(ステップS7062でYesの場合)、ステップS7063に進む。対象者の顔を検出しなかった場合(ステップS7062でNoの場合)、ステップS7067に進む。
対象者の顔を検出した場合(ステップS7062でYesの場合)、表情特定部46は、対象者がマスク、眼帯、眼鏡、サングラス等の遮蔽物を装着しているか否かを検出する(S7063)。対象者が遮蔽物を装着しているために顔を検出できなかった場合があるため、本実施形態では遮蔽物検出処理が採用される。対象者が遮蔽物を装着しているか否かを検出する手法には、例えば、特開2018-151919号公報に開示されている技術が適用される。
表情特定部46は、対象者の表情を、ステップS7065で識別したものに特定する(S7066)。例えば、表情特定部46は、対象者の表情を、「喜び」の表情であると特定する。
ステップS7061において対象者の顔を検出しなかった場合(ステップS7062でNoの場合)、表情特定部46は、対象者の表情が「不明である」と特定する(S7067)。表情特定部46は、対象者の表情が、「顔を検出しなかったため不明である」と特定してもよい。ここで、「対象者の顔を検出しなかった場合」とは、1フレームの撮像画像において対象者の顔を検出しなかった場合を含む。また、「対象者の顔を検出しなかった場合」とは、複数フレームの撮像画像に対して顔検出処理を試みたものの、いずれのフレームにおいても対象者の顔を検出しなかった場合を含んでもよい。
図7は、図5Bに示した動作特定処理ステップS709の詳細な流れを例示するフローチャートである。
まず、動作特定部47は、対象者がユーザ90を見ているか否かを検出する(S7091)。例えば、動作特定部47は、対象者の顔がカメラ3の方を向いているか否かを検出する。カメラ3は、ユーザ90が装着するウェアラブルカメラ、ユーザ90の荷物に搭載されるカメラ等のカメラであるため、対象者の顔がカメラ3の方を向いている場合、対象者がユーザ90を見ているものと同視できる。あるいは、動作特定部47は、対象者の虹彩又は瞳孔を検出し、検出された虹彩又は瞳孔の位置に基づいて、対象者の視線を検出してもよい。対象者の視線の方向とカメラ3の光軸方向との差が小さい場合、対象者がユーザ90を見ているものと同視できる。対象者がユーザ90を見ていることを検出した場合(S7091でYesの場合)、ステップS7094に進む。
対象者がユーザ90を見ていることを検出しなかった場合(S7091でNoの場合)、動作特定部47は、対象者の動作を識別する(S7092)。例えば、動作特定部47は、人の動作に関する情報が格納された動作データベース53と、撮像画像内の対象者の姿勢等の動作に関する情報とを比較し、対象者の動作を識別する。対象者の動作は、例えば、対象者が電話中であること、本を読んでいること、手を振っていること、走っていること、歩いていること、咳をしていること等の動作を含む。上記の例では、ステップS7091において対象者がユーザ90を見ているか否かを判断したが、本実施形態はこれに限定されない。例えば、対象者がユーザ90を見ているか否かの判断は、ステップS7092における動作識別に含まれてもよい。対象者の動作を識別した場合(ステップS7093でYesの場合)、ステップS7094に進み、対象者の動作を識別しなかった場合(ステップS7093でNoの場合)、ステップS7095に進む。
対象者の動作を識別した場合(ステップS7093でYesの場合)、動作特定部47は、対象者の動作を、ステップS7092において識別したものに特定する(ステップS7094)。また、ステップS7091において対象者がユーザ90を見ていることを検出した場合(S7091でYesの場合)、ステップS7094では、対象者の動作につき、ユーザ90を見ていると特定する。特定された動作は、前述のように、図5BのステップS710においてユーザ90に報知される。
ステップS7093で対象者の動作を識別しなかった場合、動作特定部47は、ステップS7092で用いたフレーム画像が撮像された時刻より後の時刻に撮像された他のフレーム画像において、動作識別を試みるか否かを判断する(S7095)。どの期間に撮像されたフレーム画像に対して動作識別を試みるかについての情報、又は、何枚のフレーム画像に対して動作識別を試みるかについての情報は、予め定められていてもよい。
ステップS7095において、更なる動作識別を試みないと判断した場合(ステップS7095でNoの場合)、動作特定部47は、対象者の動作が「不明である」と特定する(S7096)。特定された動作は、前述のように、図5BのステップS710においてユーザ90に報知される。
動作特定部47は、ステップS7092で用いたフレーム画像が撮像された時刻より後の時刻に撮像された他のフレーム画像を取得する(S7097)。
ステップS7098~S7100は、図5AのステップS704,S720,S721とそれぞれ同様のステップである。ステップS7098では、動作特定部47は、ステップS7097で取得されたフレーム画像内に、対象者が映っているか否かを判断する(S7098)。対象者がフレーム画像内に映っていると判断した場合(ステップS7098でYesの場合)、ステップS7091に戻り、映っていないと判断した場合(ステップS7098でNoの場合)、ステップS7099に進む。
制御部4は、対象者が撮像画像内に映っていない期間が予め定められた期間より長いか否かを判断する(S7099)。対象者が撮像画像内に映っていない期間が予め定められた期間より長い場合(ステップS7099でYesの場合)、ステップS7100に進み、予め定められた期間以下である場合(ステップS7099でNoの場合)、ステップS7091に戻る。
対象者が撮像画像内に映っていない期間が予め定められた期間より長い場合(ステップS7099でYesの場合)、振動部2は、対象者を追跡できなくなった旨を、ユーザ90に振動により報知する(S7100)。具体的には、振動部2は、第5振動パターンで振動することにより、対象者を追跡できなくなった旨をユーザ90に報知する。これにより、ユーザ90は、対象者を追跡できなくなった旨、又は対象者がユーザ90の周辺から去ったことを知ることができる。ステップS7100の報知の後、制御部4は、図3に示した一連の処理を終了する。図3のフローは、繰り返し開始されてもよい。図3のフローは、例えば、予め定められた周期ごとに開始される。
図8は、図5Bに示した交流後処理ステップS713の詳細な流れを例示するフローチャートである。
まず、対象者追跡部43は、対象者を追跡する(S7131)。追跡ステップS7131では、図5Aに示した追跡ステップS703と同様の処理が実行されてもよい。
次に、対象者追跡部43は、追跡過程において、検出又は追跡されていた対象者が撮像画像内に映っているか否かを判断する(S7132)。例えば、対象者追跡部43は、対象者が現フレームに映っているか否かを判断する。対象者が撮像画像内に映っていると判断した場合(ステップS7132でNoの場合)、ステップS7133に進み、映っていないと判断した場合(ステップS7132でYesの場合)、ステップS7135に進む。
制御部4は、対象者が撮像画像内に映っていない期間が予め定められた期間より長いか否かを判断する(S7133)。対象者が撮像画像内に映っていない期間が予め定められた期間より長い場合(ステップS7133でYesの場合)、ステップS7134に進み、予め定められた期間以下である場合(ステップS7133でNoの場合)、ステップS7131に戻る。
対象者が撮像画像内に映っていない期間が予め定められた期間より長い場合(ステップS7133でYesの場合)、振動部2は、対象者を追跡できなくなった旨を、ユーザ90に振動により報知する(S7134)。具体的には、振動部2は、第5振動パターンで振動することにより、対象者を追跡できなくなった旨をユーザ90に報知する。これにより、ユーザ90は、対象者を追跡できなくなった旨、又は対象者がユーザ90の周辺から去ったことを知ることができる。これにより、ユーザ90は、目的地への移動等の動作に集中できる。ユーザ90が自己の動作に集中できるため、ユーザ90の安全も担保される。ステップS7134は、図5Aに示したステップS721と同様のステップであってもよい。
ステップS7132において、対象者が撮像画像内に映っていると判断した場合(ステップS7132でYesの場合)、距離測定部45は、対象者が近付いて来ているか否かを検出する(S7135)。具体的には、距離測定部45は、異なる時刻に撮像された2つのフレーム画像におけるカメラ3と対象者との距離を比較し、対象者が近付いて来ているか否かを検出する。
図9は、検出された対象者80との空間距離が観察距離である場合(図3のステップS6でYesの場合)におけるコミュニケーション支援装置100の動作の一例を示す模式図である。コミュニケーション支援装置100は、観察スペースにいる対象者80を検出した場合、ユーザ90に対する注意喚起のために、振動部2を第1パターンで振動させる。次に、音声出力部1は、対象者80の氏名を音声によりユーザ90に報知し(S701)、振動部2は、対象者80との空間距離及び対象者80の位置を、第2振動パターンで振動することにより報知する(S702)。
図10は、図3に示した中距離フロー(S9)の詳細な流れを例示するフローチャートである。中距離フローにおいては、前述の遠距離フローにおいて説明したステップと同一又は同様のステップについては、同一の符号を付している。このようなステップとして、中距離フローは、ステップS701,S706~S710,S712,S713を含む。このようなステップについては、重複説明を省略する場合がある。
図12は、図3に示した近距離フロー(S11)の詳細な流れを例示するフローチャートである。近距離フローにおいては、前述の遠距離フローにおいて説明したステップと同一又は同様のステップについては、同一の符号を付している。このようなステップとして、近距離フローは、ステップS701,S712,S713を含む。このようなステップについては、重複説明を省略する場合がある。
4-1.振動部の構成
図14を参照して、振動部2及び振動部2の振動パターンについて説明する。図14は、振動部2の構成例を示す図である。振動部2は、例えば、リュックサック70の肩ベルトに取り付けられる。振動部2は、それぞれが制御部4からの制御信号に従って振動する2つ以上の振動要素を含む。図14の例では、振動部2は、規則的に配列された第1~第6の振動要素21~26を備える。第1~第3の振動要素21~23は左肩ベルト71に、第4~第6の振動要素24~26は右肩ベルト72に取り付けられている。第1~第3の振動要素21~23は、左肩ベルト71が延びる方向に整列している。第4~第6の振動要素24~26は、右肩ベルト72が延びる方向に整列している。第1~第3の振動要素21~23は、本開示の「左振動要素」の一例である。第4~第6の振動要素24~26は、右肩ベルト72が延びる方向に整列している。第1~第3の振動要素21~23は、本開示の「右振動要素」の一例である。
第1振動パターンは、前述の例では、図3のステップS4で説明したように、対象者を検出したことをユーザ90に報知するための振動パターンである。第1振動パターンは、ユーザ90への注意喚起の機能を有する。
第2振動パターンは、前述の例では、図5AのステップS702で説明したように、対象者が観察距離にいることと、対象者の位置とを、ユーザ90に報知するための振動パターンである。
第3振動パターンは、前述の例では、図5B及び図10のステップS708で説明したように、対象者が知覚距離にいることと、対象者の位置とを、ユーザ90に報知するための振動パターンである。第3振動パターンでは、振動部2の各振動要素21~26は、例えば中程度の強度の振動により、対象者が知覚距離にいることをユーザ90に報知する。第3振動パターンは、前述の第2振動パターンと振動の強度が異なる以外は同様であるため、重複説明を省略する。
第4振動パターンは、前述の例では、図5B及び図10のステップS712で説明したように、対象者が交流距離にいることと、対象者の位置とを、ユーザ90に報知するための振動パターンである。第4振動パターンでは、振動部2の各振動要素21~26は、例えば強い強度の振動により、対象者が交流距離にいることをユーザ90に報知する。第4振動パターンは、前述の第2振動パターン及び第3振動パターンと振動の強度が異なる以外は同様であるため、重複説明を省略する。
第5振動パターンは、前述の例では、図5AのステップS721及び図8のステップS7134で説明したように、追跡していた対象者を追跡できなくなったことをユーザ90に報知するための振動パターンである。第5振動パターンにより、ユーザ90は、対象者を追跡できなくなったこと、又は対象者がユーザ90の周辺から去ったことを知ることができる。
図14の例では、振動部2の第1~第6の振動要素21~26がリュックサック70の肩ベルト71,72に取り付けられた例について説明した。しかしながら、本開示はこれに限定されず、ユーザ90が第1~第5の振動パターンを互いに区別できればよい。例えば、振動部2の第1~第6の振動要素21~26は、ユーザ90のベルト、リストバンド、腕時計、帽子等に取り付けられてもよい。振動部2の第1~第6の振動要素21~26は、スマートウェアに組み込まれてもよい。ここで、スマートウェアは、例えば、センサ、出力デバイス等を衣類等のウェアラブル素材に備え付けたウェアラブルデバイスである。振動部2の第1~第6の振動要素21~26は、スマートウェアを構成するスマートテキスタイル及び材料等に組み込まれる。
以上のように、本実施形態に係るコミュニケーション支援装置100は、カメラ3と、対象者検出部42と、距離測定部45と、表情特定部46と、動作特定部47と、音声出力部1とを備える。カメラ3は、ユーザ90の周囲環境を撮像して撮像画像を取得する。対象者検出部42は、撮像画像内で知人等の予め定められた対象者を検出する。距離測定部45は、撮像画像に基づいて、対象者とカメラ3との距離を測定する。表情特定部46は、撮像画像に基づいて、対象者の表情を特定する。動作特定部47は、撮像画像に基づいて、対象者の動作を特定する。音声出力部1は、距離測定部45によって測定された距離が第1閾値以下の交流距離である場合、対象者を識別するための氏名等の識別情報を、音声によりユーザ90に報知する。音声出力部1は、距離測定部45によって測定された距離が第1閾値より大きい場合、表情情報及び動作情報のうちの少なくとも1つと、識別情報とを、音声によりユーザ90に報知する。ここで、表情情報は、表情特定部46によって特定された表情に関する情報であり、動作情報は、動作特定部47によって特定された動作に関する情報である。
以上、本開示の実施形態を詳細に説明したが、前述までの説明はあらゆる点において本開示の例示に過ぎない。本開示の範囲を逸脱することなく種々の改良や変形を行うことができる。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略する。以下の変形例は適宜組み合わせることができる。
2 振動部
3 カメラ(撮像部)
4 制御部
5 記憶部
6 通信インタフェース
7 ディスプレイ
21 第1の振動要素
22 第2の振動要素
23 第3の振動要素
24 第4の振動要素
25 第5の振動要素
26 第6の振動要素
41 画像取得部
42 対象者検出部
43 対象者追跡部
44 位置検出部
45 距離測定部
46 表情特定部
47 動作特定部
51 顔データベース
52 表情データベース
53 動作データベース
70 リュックサック
71 左肩ベルト
72 右肩ベルト
80 対象者
90 ユーザ
100 コミュニケーション支援装置
Claims (10)
- ユーザの周囲環境を撮像して撮像画像を取得する撮像部と、
前記撮像画像内で予め定められた対象者を検出する対象者検出部と、
前記撮像画像に基づいて、前記対象者と前記撮像部との距離を測定する距離測定部と、
前記撮像画像に基づいて、前記対象者の表情を特定する表情特定部と、
前記撮像画像に基づいて、前記対象者の動作を特定する動作特定部と、
音声出力部とを備え、
前記音声出力部は、
前記距離測定部によって測定された前記距離が第1閾値以下の交流距離である場合、前記対象者を識別するための識別情報を、音声により前記ユーザに報知し、
前記距離測定部によって測定された前記距離が前記第1閾値より大きい場合、前記表情特定部によって特定された表情に関する表情情報及び前記動作特定部によって特定された動作に関する動作情報のうちの少なくとも1つと、前記識別情報とを、音声により前記ユーザに報知する、
コミュニケーション支援装置。 - 前記撮像部は、前記ユーザの周囲環境を時系列で撮像して複数の撮像画像を取得し、
前記コミュニケーション支援装置は、前記対象者検出部によって検出された前記対象者を前記複数の撮像画像において追跡する対象者追跡部を更に備え、
前記音声出力部は、前記対象者検出部が前記対象者を検出したときに、前記識別情報を前記ユーザに報知し、その後前記対象者追跡部が前記対象者を追跡している間は、前記識別情報を前記ユーザに報知しない、
請求項1に記載のコミュニケーション支援装置。 - 前記音声出力部は、
前記距離測定部によって測定された前記距離が、前記第1閾値より長くかつ第2閾値以下である知覚距離である場合、前記表情情報及び前記動作情報のうちの1つと、前記識別情報とを前記ユーザに報知し、
前記距離測定部によって測定された前記距離が、前記第2閾値より大きい観察距離である場合、前記表情情報と、前記動作情報と、前記識別情報とを前記ユーザに報知する、
請求項1又は請求項2に記載のコミュニケーション支援装置。 - 前記音声出力部は、
前記対象者検出部によって検出された時点における、前記距離測定部によって測定された前記対象者と前記撮像部との距離が前記知覚距離であった場合、前記識別情報を音声により前記ユーザに報知した後に、前記表情情報及び前記動作情報のうちの一方を音声により前記ユーザに報知し、
その後に前記距離測定部によって測定された前記対象者と前記撮像部との距離が前記知覚距離であるときは、前記表情情報及び前記動作情報のうちの他方を音声により前記ユーザに報知する、請求項3に記載のコミュニケーション支援装置。 - 前記距離測定部による検出結果を振動により前記ユーザに報知する振動部を更に備え、
前記振動部は、前記距離測定部によって検出された前記対象者と前記撮像部との距離に応じて、振動のパターン及び大きさのうちの少なくとも一方を変更する、請求項1~4のいずれか1項に記載のコミュニケーション支援装置。 - 前記撮像部は、前記ユーザの周囲環境を時系列で撮像して複数の撮像画像を取得し、
前記コミュニケーション支援装置は、前記対象者検出部によって検出された前記対象者を前記複数の撮像画像において追跡する対象者追跡部を更に備え、
前記振動部は、振動可能な2つ以上の振動要素を備え、
前記振動部は、
前記対象者追跡部が前記対象者を追跡している場合において、前記距離測定部によって検出された前記対象者と前記撮像部との距離が予め定められたフィードバック距離であるときは、予め定められた順序で各振動要素を順次振動させ、
前記対象者追跡部が、追跡していた前記対象者を追跡できなくなった場合、前記予め定められた順序と異なる順序で各振動要素を順次振動させる、請求項5に記載のコミュニケーション支援装置。 - 前記振動要素は、規則的に配列された3つ以上の振動要素であり、
前記振動部は、
前記対象者追跡部が前記対象者を追跡している場合において、前記距離測定部によって検出された前記対象者と前記撮像部との距離が前記フィードバック距離であるときは、配列順に各振動要素を順次振動させ、
前記対象者追跡部が、追跡していた前記対象者を追跡できなくなった場合、前記配列順と逆順に各振動要素を順次振動させる、請求項6に記載のコミュニケーション支援装置。 - 前記撮像画像に基づいて、前記撮像部に対する前記対象者の位置を検出する位置検出部を更に備え、
前記振動要素は、右振動要素と、左振動要素とを含み、
前記振動部は、前記位置検出部によって検出された前記撮像部に対する前記対象者の位置が、前記撮像部の光軸より右方にある場合、前記右振動要素を振動させ、前記撮像部の光軸より左方にある場合、前記左振動要素を振動させる、請求項6又は請求項7に記載のコミュニケーション支援装置。 - 撮像部が、ユーザの周囲環境を撮像して撮像画像を取得するステップと、
対象者検出部が、前記撮像画像内で予め定められた対象者を検出するステップと、
距離測定部が、前記撮像画像に基づいて、前記対象者と前記撮像部との距離を測定するステップと、
表情特定部が、前記撮像画像に基づいて、前記対象者の表情を特定するステップと、
動作特定部が、前記撮像画像に基づいて、前記対象者の動作を特定するステップと、
音声出力部が、
前記距離測定部によって測定された前記距離が第1閾値以下の交流距離である場合、前記対象者を識別するための識別情報を、音声により前記ユーザに報知し、
前記距離測定部によって測定された前記距離が前記第1閾値より大きい場合、前記表情特定部によって特定された表情に関する表情情報及び前記動作特定部によって特定された動作に関する動作情報のうちの少なくとも1つと、前記識別情報とを、音声により前記ユーザに報知するステップとを含む、
コミュニケーション支援方法。 - 請求項9に記載のコミュニケーション支援方法をコンピュータに実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020101744A JP7388297B2 (ja) | 2020-06-11 | 2020-06-11 | コミュニケーション支援装置、コミュニケーション支援方法、及びプログラム |
US17/338,039 US11681496B2 (en) | 2020-06-11 | 2021-06-03 | Communication support device, communication support method, and computer-readable storage medium including program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020101744A JP7388297B2 (ja) | 2020-06-11 | 2020-06-11 | コミュニケーション支援装置、コミュニケーション支援方法、及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021196759A JP2021196759A (ja) | 2021-12-27 |
JP2021196759A5 JP2021196759A5 (ja) | 2023-04-19 |
JP7388297B2 true JP7388297B2 (ja) | 2023-11-29 |
Family
ID=78825634
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020101744A Active JP7388297B2 (ja) | 2020-06-11 | 2020-06-11 | コミュニケーション支援装置、コミュニケーション支援方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11681496B2 (ja) |
JP (1) | JP7388297B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022028263A (ja) * | 2020-08-03 | 2022-02-16 | オムロン株式会社 | コミュニケーション支援装置、コミュニケーション支援方法、コミュニケーション支援プログラム及びサーバ装置 |
CN116843805B (zh) * | 2023-06-19 | 2024-03-19 | 上海奥玩士信息技术有限公司 | 一种包含行为的虚拟形象生成方法、装置、设备及介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014003593A (ja) | 2012-06-19 | 2014-01-09 | International Business Maschines Corporation | 表情及び声の感情の認識及びフィードバック |
WO2018066191A1 (ja) | 2016-10-07 | 2018-04-12 | ソニー株式会社 | サーバ、クライアント端末、制御方法、および記憶媒体 |
JP2019159193A (ja) | 2018-03-15 | 2019-09-19 | 株式会社Raise the Flag. | 視覚障がい者用行動支援装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9911361B2 (en) * | 2013-03-10 | 2018-03-06 | OrCam Technologies, Ltd. | Apparatus and method for analyzing images |
DK3189655T3 (da) * | 2014-09-03 | 2020-02-24 | Aira Tech Corp | Computer-implementeret fremgangsmåde og system til tilvejebringelse af fjernunderstøtning for visuelt-svækkede brugere |
US10806658B2 (en) * | 2015-09-08 | 2020-10-20 | Sony Corporation | Information processing apparatus and information processing method |
US9424734B1 (en) * | 2015-12-03 | 2016-08-23 | King Abdulaziz University | Device to monitor distance between people |
EP3292853A1 (en) * | 2016-09-09 | 2018-03-14 | ams AG | Portable environment sensing device |
US10484568B2 (en) | 2016-10-26 | 2019-11-19 | Orcam Technologies Ltd. | Providing a social media recommendation based on data captured by a wearable device |
CN113196803A (zh) * | 2018-10-15 | 2021-07-30 | 奥康科技有限公司 | 助听器系统和方法 |
US20210350346A1 (en) * | 2020-05-06 | 2021-11-11 | Capital One Services, Llc | System and method for using passive multifactor authentication to provide access to secure services |
-
2020
- 2020-06-11 JP JP2020101744A patent/JP7388297B2/ja active Active
-
2021
- 2021-06-03 US US17/338,039 patent/US11681496B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014003593A (ja) | 2012-06-19 | 2014-01-09 | International Business Maschines Corporation | 表情及び声の感情の認識及びフィードバック |
WO2018066191A1 (ja) | 2016-10-07 | 2018-04-12 | ソニー株式会社 | サーバ、クライアント端末、制御方法、および記憶媒体 |
JP2019159193A (ja) | 2018-03-15 | 2019-09-19 | 株式会社Raise the Flag. | 視覚障がい者用行動支援装置 |
Also Published As
Publication number | Publication date |
---|---|
US20210390333A1 (en) | 2021-12-16 |
US11681496B2 (en) | 2023-06-20 |
JP2021196759A (ja) | 2021-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9443307B2 (en) | Processing of images of a subject individual | |
US20160086023A1 (en) | Apparatus and method for controlling presentation of information toward human object | |
US20170046569A1 (en) | System and method for predicting neurological disorders | |
US10867527B2 (en) | Process and wearable device equipped with stereoscopic vision for helping the user | |
JP7388297B2 (ja) | コミュニケーション支援装置、コミュニケーション支援方法、及びプログラム | |
JP2008146356A (ja) | 視線方向推定装置及び視線方向推定方法 | |
Al Kork et al. | Biometric database for human gait recognition using wearable sensors and a smartphone | |
US20210196174A1 (en) | Apparatus, method and program for determining a cognitive state of a user of a mobile device | |
CN110705454A (zh) | 一种具有活体检测功能的人脸识别方法 | |
KR20200056660A (ko) | 얼굴 내 미세움직임 기반 통증 모니터링 방법 및 시스템 | |
US11954908B2 (en) | Communication support device, communication support method, computer-readable storage medium including program, and server | |
KR20160011302A (ko) | 글라스형 웨어러블 디바이스의 영상 또는 이미지 처리시스템 및 처리방법 | |
JP7388258B2 (ja) | アクセシビリティ判定装置、アクセシビリティ判定方法、及びプログラム | |
EP3809310B1 (en) | Method and electronic device for detecting open and closed states of eyes | |
US20220036566A1 (en) | Communication support device, communication support method, and computer-readable storage medium including program | |
KR100862526B1 (ko) | 얼굴동영상 데이터베이스 구축 방법 및 시스템과 이를이용한 얼굴 인식 방법 및 시스템. | |
JP7453192B2 (ja) | ユーザの動的状態に応じて物体認識に基づく情報を提示する携帯装置、プログラム及び方法 | |
KR20200049936A (ko) | 생체 인식 장치 및 방법 | |
KR102243466B1 (ko) | 이미지 내 동물의 눈 영역을 검출하는 방법 및 장치 | |
KR102224985B1 (ko) | 글라스형 웨어러블 디바이스를 이용한 지인 인식시스템 및 인식방법 | |
US20240112496A1 (en) | Image processing apparatus, authentication system, method, and non-transitory computer-readable storage medium | |
Tapu et al. | Face recognition in video streams for mobile assistive devices dedicated to visually impaired | |
Tran-Le et al. | Lie Detection by Facial Expressions in Real Time | |
Patil et al. | Analysis of Facial Expression using Deep Learning Techniques | |
Kim et al. | Smart wearable robot glasses for human visual augmentation based on human intention and scene understanding |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230407 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230411 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231017 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231025 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231030 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7388297 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |