JP7034808B2 - 情報処理方法、情報処理装置及び情報処理システム - Google Patents

情報処理方法、情報処理装置及び情報処理システム Download PDF

Info

Publication number
JP7034808B2
JP7034808B2 JP2018071841A JP2018071841A JP7034808B2 JP 7034808 B2 JP7034808 B2 JP 7034808B2 JP 2018071841 A JP2018071841 A JP 2018071841A JP 2018071841 A JP2018071841 A JP 2018071841A JP 7034808 B2 JP7034808 B2 JP 7034808B2
Authority
JP
Japan
Prior art keywords
person
image
information
identification information
playset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018071841A
Other languages
English (en)
Other versions
JP2019185188A (ja
Inventor
勝 山岡
三紀子 松尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority to JP2018071841A priority Critical patent/JP7034808B2/ja
Priority to US16/284,506 priority patent/US10952658B2/en
Priority to CN201910171151.6A priority patent/CN110351326B/zh
Publication of JP2019185188A publication Critical patent/JP2019185188A/ja
Application granted granted Critical
Publication of JP7034808B2 publication Critical patent/JP7034808B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/167—Personality evaluation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/06—Children, e.g. for attention deficit diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1176—Recognition of faces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Cardiology (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Pulmonology (AREA)
  • Hematology (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本開示は、所定の画像を抽出する情報処理方法、情報処理装置及び情報処理システムに関するものである。
従来、幼稚園又は保育園などで子供を保育する保育者は、日々の子供の行動を記録し、子供の興味の変化及び子供の遊び方の変化を確認することで、子供の親の子育て支援に役立てている。
例えば、特許文献１に示す遊び行動認識システムは、空間内で任意に移動可能であり、加速度を出力する遊具と、空間を任意に移動する子供の位置および姿勢を取得する距離画像センサと、子供の位置および姿勢と遊具の加速度とを利用して、子供の社会的行動様式によって分類される第１遊び行動と心的機能によって分類される第２遊び行動とを認識する中央制御装置とを備える。
特許文献１では、保育者は認識された２つの遊び行動を確認することで、子供がどのような遊び行動を行っているかを適切に把握することができる。
特開２０１５－１２２００５号公報
しかしながら、上記従来の技術では、子供がどのような遊び行動を行っているかを把握することができるが、子供が興味を持った遊び行動を特定したり、興味を持った遊び行動を行っていた際の子供の様子を示す画像を提供したりすることは困難であり、更なる改善が必要とされていた。
本開示は、上記の問題を解決するためになされたもので、第１の人物が興味を持った行動を特定することができるとともに、興味を持った行動を行っていた際の第１の人物の様子を示す画像を提供することができる情報処理方法、情報処理装置及び情報処理システムを提供することを目的とするものである。
本開示の一態様に係る情報処理方法は、コンピュータが、第１の人物の生体情報を取得し、前記生体情報の取得タイミングに同期して、前記第１の人物を撮影した画像を取得し、前記画像に基づいて、前記第１の人物を識別するための人物識別情報を特定し、特定した前記人物識別情報と、取得した前記生体情報と、取得した前記画像とを対応付けて記憶部に記憶し、前記第１の人物とは異なる第２の人物により選択された前記第１の人物の前記人物識別情報と、前記第２の人物により選択された前記第１の人物の状態を示す状態情報とを取得し、取得した前記人物識別情報と、取得した前記状態情報に対応する前記生体情報とに対応付けられている前記画像を前記記憶部から抽出する。
本開示によれば、第１の人物が興味を持った行動を特定することができるとともに、興味を持った行動を行っていた際の第１の人物の様子を示す画像を提供することができる。
本開示の実施の形態１に係る情報処理システムの構成の一例を示す図である。 本開示の実施の形態１における生体情報測定装置の構成を示す図である。 本開示の実施の形態１におけるカメラの構成を示す図である。 本開示の実施の形態１における端末装置の構成を示す図である。 本開示の実施の形態１におけるサーバの構成を示す図である。 本開示の実施の形態１における画像ＤＢのデータ構造の一例を示す図である。 本開示の実施の形態１におけるサーバの動作について説明するためのフローチャートである。 本開示の実施の形態１において、端末装置における日誌作成指示の入力画面の一例を示す図である。 本開示の実施の形態１において、端末装置における日誌作成指示の送信画面の一例を示す図である。 本開示の実施の形態１において、抽出部によって抽出される撮影画像について説明するための図である。 本開示の実施の形態１において、端末装置における候補画像の選択を受け付ける選択画面の一例を示す図である。 本開示の実施の形態２におけるサーバの構成を示す図である。 本開示の実施の形態２におけるサーバの動作について説明するためのフローチャートである。 本開示の実施の形態２において、端末装置における候補画像の選択を受け付ける選択画面の一例を示す図である。 本開示の実施の形態３におけるサーバの構成を示す図である。 本開示の実施の形態３における画像ＤＢのデータ構造の一例を示す図である。 本開示の実施の形態３におけるサーバの動作について説明するためのフローチャートである。 本開示の実施の形態３において、端末装置における候補画像の選択を受け付ける選択画面の一例を示す図である。
（本開示の基礎となった知見）
上記のように、幼稚園又は保育園などで子供を保育する保育者は、日々の子供の行動を記録した保育日誌を作成し、子供の興味の変化及び子供の遊び方の変化を確認する。このとき、保育者は、複数の子供の保育日誌を作成する必要があり、保育日誌の作成作業に多くの時間を必要としている。
従来技術では、子供がどのような遊び行動を行っているかを把握することができるが、子供が興味を持った遊び行動を特定したり、興味を持った遊び行動を行っていた際の子供の様子を示す画像を提供したりすることは困難である。
以上の課題を解決するために、本開示の一態様に係る情報処理方法は、コンピュータが、第１の人物の生体情報を取得し、前記生体情報の取得タイミングに同期して、前記第１の人物を撮影した画像を取得し、前記画像に基づいて、前記第１の人物を識別するための人物識別情報を特定し、特定した前記人物識別情報と、取得した前記生体情報と、取得した前記画像とを対応付けて記憶部に記憶し、前記第１の人物とは異なる第２の人物により選択された前記第１の人物の前記人物識別情報と、前記第２の人物により選択された前記第１の人物の状態を示す状態情報とを取得し、取得した前記人物識別情報と、取得した前記状態情報に対応する前記生体情報とに対応付けられている前記画像を前記記憶部から抽出する。
この構成によれば、第１の人物の生体情報が取得される。生体情報の取得タイミングに同期して、第１の人物を撮影した画像が取得される。画像に基づいて、第１の人物を識別するための人物識別情報が特定される。特定された人物識別情報と、取得された生体情報と、取得された画像とが対応付けて記憶部に記憶される。第１の人物とは異なる第２の人物により選択された第１の人物の人物識別情報と、第２の人物により選択された第１の人物の状態を示す状態情報とが取得される。取得された人物識別情報と、取得された状態情報に対応する生体情報とに対応付けられている画像が記憶部から抽出される。
したがって、第２の人物により選択された第１の人物の人物識別情報と、第２の人物により選択された第１の人物の状態を示す状態情報に対応する生体情報とに対応付けられている画像が記憶部から抽出されるので、第１の人物が興味を持った行動を特定することができるとともに、興味を持った行動を行っていた際の第１の人物の様子を示す画像を提供することができる。
また、上記の情報処理方法において、前記状態情報は、前記第１の人物の心理状態を示す心理状態情報を含んでもよい。
この構成によれば、第１の人物の人物識別情報と、第１の人物の心理状態を示す心理状態情報に対応する生体情報とに対応付けられている画像が記憶部から抽出されるので、第１の人物の心理状態に応じた画像を抽出することができる。
また、上記の情報処理方法において、さらに、抽出した前記画像を、前記第２の人物が利用している端末装置へ送信してもよい。
この構成によれば、抽出された画像が、第２の人物が利用している端末装置へ送信されるので、第２の人物は、端末装置を用いて、第２の人物により選択された第１の人物の状態に応じた画像を確認することができる。
また、上記の情報処理方法において、さらに、抽出した前記画像と、前記画像を取得した日付と、取得した前記人物識別情報とを対応付けて前記記憶部に記憶し、さらに、取得した前記人物識別情報に対応付けられている過去の前記画像を履歴画像として前記記憶部から抽出してもよい。
この構成によれば、抽出された画像と、画像が取得された日付と、取得された人物識別情報とが対応付けて記憶部に記憶される。そして、取得された人物識別情報に対応付けられている過去の画像が履歴画像として記憶部から抽出される。
したがって、第２の人物により選択された第１の人物の人物識別情報と、第２の人物により選択された第１の人物の状態を示す状態情報に対応する生体情報とに対応付けられている画像が記憶部から抽出されるとともに、人物識別情報に対応付けられている過去の画像が履歴画像として記憶部から抽出されるので、興味を持った行動を行っていた際の第１の人物の様子を示す画像を提供することができるとともに、第１の人物の過去の様子を示す履歴画像を提供することができる。
また、上記の情報処理方法において、さらに、抽出した前記画像とともに、抽出した前記履歴画像を、前記第２の人物が利用している端末装置へ送信してもよい。
この構成によれば、抽出された画像とともに、抽出された履歴画像が、第２の人物が利用している端末装置へ送信されるので、第２の人物は、端末装置を用いて、第２の人物により選択された第１の人物の状態に応じた画像と、第１の人物の過去の様子を示す履歴画像とを確認することができる。また、第２の人物は、提供された今回の画像と履歴画像とを比較することができる。
また、上記の情報処理方法において、前記人物識別情報を有するコードが、前記第１の人物の表面に付されており、前記人物識別情報の特定は、前記画像内の前記コードを読み取ることにより、前記人物識別情報を特定してもよい。
この構成によれば、人物識別情報を有するコードが、第１の人物の表面に付されている。人物識別情報の特定において、画像内のコードが読み取られることにより、人物識別情報が特定される。
したがって、画像内の第１の人物の表面に付されているコードが読み取られることにより、画像内に存在する第１の人物の人物識別情報を容易に特定することができる。
また、上記の情報処理方法において、前記人物識別情報の特定は、前記画像内の前記第１の人物の顔を認証することにより、前記人物識別情報を特定してもよい。
この構成によれば、人物識別情報の特定において、画像内の第１の人物の顔が認証されることにより、人物識別情報が特定される。
したがって、画像内の第１の人物の顔が認証されることにより、画像内に存在する第１の人物の人物識別情報を容易に特定することができる。
また、上記の情報処理方法において、さらに、前記画像に基づいて、遊具を識別するための遊具識別情報を特定し、前記記憶は、前記人物識別情報と前記生体情報と前記画像と前記遊具識別情報とを対応付けて前記記憶部に記憶し、前記抽出は、取得した前記人物識別情報と、取得した前記状態情報に対応する前記生体情報とに対応付けられている前記画像及び前記遊具識別情報を前記記憶部から抽出してもよい。
この構成によれば、画像に基づいて、遊具を識別するための遊具識別情報が特定される。記憶において、人物識別情報と生体情報と画像と遊具識別情報とが対応付けて記憶部に記憶される。抽出において、取得された人物識別情報と、取得された状態情報に対応する生体情報とに対応付けられている画像及び遊具識別情報が記憶部から抽出される。
したがって、第２の人物により選択された第１の人物の人物識別情報と、第２の人物により選択された第１の人物の状態を示す状態情報に対応する生体情報とに対応付けられている画像及び遊具識別情報が記憶部から抽出されるので、第１の人物が興味を持った行動及び遊具を特定することができるとともに、興味を持った行動を行っていた際の第１の人物の様子を示す画像及び第１の人物が興味を持った遊具を識別する遊具識別情報を提供することができる。
また、上記の情報処理方法において、前記遊具識別情報を有するコードが、前記遊具の表面に付されており、前記遊具識別情報の特定は、前記画像内の前記コードを読み取ることにより、前記遊具識別情報を特定してもよい。
この構成によれば、遊具識別情報を有するコードが、遊具の表面に付されている。遊具識別情報の特定において、画像内のコードが読み取られることにより、遊具識別情報が特定される。
したがって、画像内の遊具の表面に付されているコードが読み取られることにより、画像内に存在する遊具の遊具識別情報を容易に特定することができる。
また、上記の情報処理方法において、前記人物識別情報の特定は、前記画像内の前記第１の人物の位置をさらに特定し、前記遊具識別情報の特定は、前記画像内の前記遊具の位置をさらに特定するとともに、取得した前記画像よりも時間的に前に取得した過去画像内の前記遊具の位置をさらに特定し、前記記憶は、前記第１の人物の位置と前記画像内の前記遊具の位置との距離が所定の閾値より短く、かつ位置が移動している前記遊具の前記遊具識別情報と、前記人物識別情報と、前記生体情報と、前記画像とを対応付けて前記記憶部に記憶してもよい。
この構成によれば、人物識別情報の特定において、画像内の第１の人物の位置がさらに特定される。遊具識別情報の特定において、画像内の遊具の位置がさらに特定されるとともに、取得した画像よりも時間的に前に取得した過去画像内の遊具の位置がさらに特定される。記憶において、第１の人物の位置と画像内の遊具の位置との距離が所定の閾値より短く、かつ位置が移動している遊具の遊具識別情報と、人物識別情報と、生体情報と、画像とが対応付けられて記憶部に記憶される。
したがって、第１の人物の近くにあり、かつ位置が移動している遊具が、第１の人物が利用している遊具であると推定することができるので、第１の人物が利用している遊具をより確実に特定することができる。
また、上記の情報処理方法において、前記人物識別情報の特定は、前記画像内の前記第１の人物の位置をさらに特定し、前記遊具識別情報の特定は、前記画像内の前記遊具の位置をさらに特定し、前記記憶は、前記第１の人物の位置と前記遊具の位置との距離が所定の閾値より短い前記遊具の前記遊具識別情報と、前記人物識別情報と、前記生体情報と、前記画像とを対応付けて前記記憶部に記憶してもよい。
この構成によれば、人物識別情報の特定において、画像内の第１の人物の位置がさらに特定される。遊具識別情報の特定において、画像内の遊具の位置がさらに特定される。記憶において、第１の人物の位置と遊具の位置との距離が所定の閾値より短い遊具の遊具識別情報と、人物識別情報と、生体情報と、画像とが対応付けて記憶部に記憶される。
したがって、第１の人物の近くにある遊具が、第１の人物が利用している遊具であると推定することができるので、第１の人物が利用している遊具を容易に特定することができる。
本開示の他の態様に係る情報処理装置は、通信部と、プロセッサと、メモリと、を備え、前記通信部が、第１の人物の生体情報を取得し、前記通信部が、前記生体情報の取得タイミングに同期して、前記第１の人物を撮影した画像を取得し、前記プロセッサが、前記画像に基づいて、前記第１の人物を識別するための人物識別情報を特定し、前記プロセッサが、特定した前記人物識別情報と、取得した前記生体情報と、取得した前記画像とを対応付けて前記メモリに記憶し、前記通信部が、前記第１の人物とは異なる第２の人物により選択された前記第１の人物の前記人物識別情報と、前記第２の人物により選択された前記第１の人物の状態を示す状態情報とを取得し、前記プロセッサが、取得した前記人物識別情報と、取得した前記状態情報に対応する前記生体情報とに対応付けられている前記画像を前記メモリから抽出する。
この構成によれば、通信部によって、第１の人物の生体情報が取得される。通信部によって、生体情報の取得タイミングに同期して、第１の人物を撮影した画像が取得される。プロセッサによって、画像に基づいて、第１の人物を識別するための人物識別情報が特定される。プロセッサによって、特定された人物識別情報と、取得された生体情報と、取得された画像とが対応付けられてメモリに記憶される。通信部によって、第１の人物とは異なる第２の人物により選択された第１の人物の前記人物識別情報と、第２の人物により選択された第１の人物の状態を示す状態情報とが取得される。プロセッサによって、取得された人物識別情報と、取得された状態情報に対応する生体情報とに対応付けられている画像がメモリから抽出される。
したがって、第２の人物により選択された第１の人物の人物識別情報と、第２の人物により選択された第１の人物の状態を示す状態情報に対応する生体情報とに対応付けられている画像が記憶部から抽出されるので、第１の人物が興味を持った行動を特定することができるとともに、興味を持った行動を行っていた際の第１の人物の様子を示す画像を提供することができる。
本開示の他の態様に係る情報処理システムは、カメラと、生体情報測定装置と、情報処理装置と、端末装置とを備える情報処理システムであって、前記カメラは、第１の人物を撮影する撮影部と、前記撮影部によって撮影された画像を前記情報処理装置へ送信する送信部と、を備え、前記生体情報測定装置は、前記第１の人物の生体情報を測定する測定部と、前記測定部によって測定された前記生体情報を前記情報処理装置へ送信する送信部と、を備え、前記情報処理装置は、記憶部と、前記生体情報測定装置によって送信された前記生体情報を取得する第１取得部と、前記生体情報の取得タイミングに同期して、前記カメラによって送信された前記画像を取得する第２取得部と、前記画像に基づいて、前記第１の人物を識別するための人物識別情報を特定する特定部と、特定した前記人物識別情報と、取得した前記生体情報と、取得した前記画像とを対応付けて前記記憶部に記憶する記憶実行部と、前記第１の人物とは異なる第２の人物により選択された前記第１の人物の前記人物識別情報と、前記第２の人物により選択された前記第１の人物の状態を示す状態情報とを前記端末装置から取得する第３取得部と、取得された前記人物識別情報と、取得された前記状態情報に対応する前記生体情報とに対応付けられている前記画像を前記記憶部から抽出する抽出部と、抽出された前記画像を前記端末装置へ送信する送信部と、を備え、前記端末装置は、前記第１の人物の前記人物識別情報と、前記第１の人物の状態を示す前記状態情報との前記第２の人物による入力を受け付ける入力受付部と、入力された前記人物識別情報と前記状態情報とを前記情報処理装置へ送信する送信部と、前記情報処理装置によって送信された前記画像を受信する受信部と、前記受信部によって受信された前記画像を表示する表示部と、を備える。
この構成によれば、カメラの撮影部によって、第１の人物が撮影される。カメラの送信部によって、撮影部により撮影された画像が情報処理装置へ送信される。生体情報測定装置の測定部によって、第１の人物の生体情報が測定される。生体情報測定装置の送信部によって、測定部により測定された生体情報が情報処理装置へ送信される。情報処理装置の第１取得部によって、生体情報測定装置により送信された生体情報が取得される。情報処理装置の第２取得部によって、生体情報の取得タイミングに同期して、カメラによって送信された画像が取得される。情報処理装置の特定部によって、画像に基づいて、第１の人物を識別するための人物識別情報が特定される。情報処理装置の記憶実行部によって、特定された人物識別情報と、取得された生体情報と、取得された画像とが対応付けて記憶部に記憶される。情報処理装置の第３取得部によって、第１の人物とは異なる第２の人物により選択された第１の人物の人物識別情報と、第２の人物により選択された第１の人物の状態を示す状態情報とが端末装置から取得される。情報処理装置の抽出部によって、取得された人物識別情報と、取得された状態情報に対応する生体情報とに対応付けられている画像が記憶部から抽出される。情報処理装置の送信部によって、抽出された画像が端末装置へ送信される。端末装置の入力受付部によって、第１の人物の人物識別情報と、第１の人物の状態を示す状態情報との第２の人物による入力が受け付けられる。端末装置の送信部によって、入力された人物識別情報と状態情報とが情報処理装置へ送信される。端末装置の受信部によって、情報処理装置により送信された画像が受信される。端末装置の表示部によって、受信部により受信された画像が表示される。
したがって、第２の人物により選択された第１の人物の人物識別情報と、第２の人物により選択された第１の人物の状態を示す状態情報に対応する生体情報とに対応付けられている画像が記憶部から抽出されるので、第１の人物が興味を持った行動を特定することができるとともに、興味を持った行動を行っていた際の第１の人物の様子を示す画像を提供することができる。
以下添付図面を参照しながら、本開示の実施の形態について説明する。なお、以下の実施の形態は、本開示を具体化した一例であって、本開示の技術的範囲を限定するものではない。
（実施の形態１）
図１は、本開示の実施の形態１に係る情報処理システムの構成の一例を示す図である。図１に示す情報処理システムは、サーバ１、カメラ２、複数の生体情報測定装置３及び端末装置４を備える。
なお、本実施の形態１では、幼稚園又は保育園において、保育者が子供を保育し、子供の保育日誌が作成される例について説明する。
サーバ１は、カメラ２、複数の生体情報測定装置３及び端末装置４のそれぞれとネットワーク５を介して互いに通信可能に接続されている。ネットワーク５は、例えばインターネットである。
カメラ２は、屋内又は屋外に設置され、保育対象である複数の子供を撮影する。なお、本実施の形態１における情報処理システムは、１つのカメラ２を備えるのではなく、複数のカメラ２を備えてもよい。
複数の生体情報測定装置３は、例えばスマートウォッチであり、複数の子供のそれぞれに装着される。複数の生体情報測定装置３のそれぞれは、子供の生体情報を測定する。
なお、本実施の形態１では、情報処理システムは、複数の生体情報測定装置３を備えているが、１つの生体情報測定装置３により複数の子供の生体情報を測定することが可能であれば、情報処理システムは、１つの生体情報測定装置３を備えてもよい。
端末装置４は、例えば、スマートフォン、タブレット型コンピュータ又はパーソナルコンピュータであり、サーバ１から種々の情報を受信するとともに、サーバ１へ種々の情報を送信する。保育者（第２の人物）は、端末装置４を利用している。
図２は、本開示の実施の形態１における生体情報測定装置の構成を示す図である。図２に示す生体情報測定装置３は、生体情報測定部３１、制御部３２及び通信部３３を備える。
生体情報測定部３１は、例えば、種々のセンサであり、子供（第１の人物）の生体情報を測定する。生体情報測定部３１は、所定の時間間隔で子供の生体情報を測定する。生体情報は、例えば、子供の血流、心拍数、脈拍数、脳波、血圧、脳波、生体ガス、呼吸及び体温の少なくとも１つである。
制御部３２は、例えばＣＰＵ（中央演算処理装置）であり、生体情報測定装置３全体を制御する。
通信部３３は、生体情報測定部３１によって測定された生体情報をサーバ１へ送信する。通信部３３は、所定の時間間隔（例えば、１秒間隔）で定期的に生体情報をサーバ１へ送信する。このとき、通信部３３は、測定対象である子供を識別するための人物識別情報を生体情報とともに送信する。
なお、本実施の形態１における情報処理システムは、接触型の生体情報測定装置３を備えているが、非接触型の生体情報測定装置３を備えてもよい。非接触型の生体情報測定装置３は、例えば高感度なスペクトラム拡散ミリ波レーダー等を用いて、非接触で子供の脈波を計測し、子供の心拍数及び心拍変動を検出する。
図３は、本開示の実施の形態１におけるカメラの構成を示す図である。図３に示すカメラ２は、撮影部２１、制御部２２及び通信部２３を備える。
撮影部２１は、子供を撮影する。撮影部２１は、所定の時間間隔（例えば、１秒間隔）で撮影する。カメラ２は、屋内であれば、子供がいる部屋の天井に設置され、屋外であれば、子供がいる場所を高所から撮影可能な位置に設置される。
制御部２２は、例えばＣＰＵであり、カメラ２全体を制御する。
通信部２３は、撮影部２１によって撮影された撮影画像をサーバ１へ送信する。なお、本実施の形態１では、通信部２３は、所定の時間間隔で撮影された静止画像をサーバ１へ所定の時間間隔（例えば、１秒間隔）で送信するが、本開示は特にこれに限定されず、動画像をサーバ１へ送信してもよい。
図４は、本開示の実施の形態１における端末装置の構成を示す図である。図４に示す端末装置４は、通信部４１、制御部４２、入力受付部４３及び表示部４４を備える。
入力受付部４３は、例えば、タッチパネル、キーボード又はマウスなどであり、子供（第１の人物）とは異なる保育者（第２の人物）による情報の入力を受け付ける。入力受付部４３は、子供を識別するための人物識別情報と、子供の状態を示す状態情報との保育者による入力を受け付ける。子供の保育日誌を作成する際、保育者は、保育日誌を作成する子供を指定するとともに、保育日誌に添付する画像を抽出するために必要な子供の状態を指定する。
通信部４１は、保育日誌を作成するための保育日誌作成指示をサーバ１へ送信する。保育日誌作成指示は、入力受付部４３によって入力された人物識別情報と状態情報とを含む。通信部４１は、保育日誌作成指示をサーバ１へ送信することにより、入力受付部４３によって入力された人物識別情報と状態情報とをサーバ１へ送信する。また、通信部４１は、サーバ１によって送信された候補画像を受信する。
制御部４２は、例えばＣＰＵであり、端末装置４全体を制御する。
表示部４４は、例えば液晶表示装置であり、通信部４１によって受信された画像を表示する。なお、通信部４１が複数の候補画像を受信した場合、表示部４４は、受信された複数の候補画像を表示し、入力受付部４３は、複数の候補画像の中から所望の候補画像の保育者による選択を受け付けてもよい。このとき、保育者は、複数の候補画像の中から、保育日誌に添付する１つの候補画像を選択してもよいし、保育日誌に添付する２つ以上の候補画像を選択してもよい。また、通信部４１が１の候補画像を受信した場合、表示部４４は、受信された１の候補画像を表示し、入力受付部４３は、１の候補画像を保育日誌に添付するか否かの保育者による決定を受け付けてもよい。
通信部４１は、入力受付部４３によって選択された候補画像を特定するための画像選択情報をサーバ１へ送信する。また、通信部４１は、サーバ１によって送信された日誌画像を受信する。
図５は、本開示の実施の形態１におけるサーバの構成を示す図である。図５に示すサーバ１は、通信部１１、制御部１２及び記憶部１３を備える。
通信部１１は、生体情報取得部１１１、撮影画像取得部１１２、日誌作成指示取得部１１３、候補画像送信部１１４、画像選択情報取得部１１５及び日誌画像送信部１１６を備える。制御部１２は、例えば、ＣＰＵであり、特定部１２１、記憶実行部１２２、抽出部１２３及び日誌作成部１２４を備える。記憶部１３は、例えば、半導体メモリであり、画像ＤＢ（データベース）１３１を備える。
生体情報取得部１１１は、子供（第１の人物）の生体情報を取得する。生体情報取得部１１１は、生体情報測定装置３によって送信された生体情報を所定の時間間隔（例えば、１秒間隔）で定期的に受信する。生体情報取得部１１１は、生体情報を受信した時刻を示すタイムスタンプとともに、受信した生体情報を記憶実行部１２２へ出力する。
撮影画像取得部１１２は、生体情報の取得タイミングに同期して、子供（第１の人物）を撮影した撮影画像を取得する。撮影画像取得部１１２は、カメラ２によって送信された撮影画像を所定の時間間隔（例えば、１秒間隔）で定期的に受信する。なお、撮影画像が静止画像である場合、撮影画像取得部１１２は、生体情報の取得タイミングに同期して静止像を受信する。また、撮影画像が動画像である場合、撮影画像取得部１１２は、受信した動画像から、生体情報の取得タイミングに同期して静止画像を抽出する。撮影画像取得部１１２は、撮影画像を受信した時刻を示すタイムスタンプとともに、受信した撮影画像を特定部１２１へ出力する。
特定部１２１は、撮影画像取得部１１２によって取得された撮影画像に基づいて、子供（第１の人物）を識別するための人物識別情報を特定する。人物識別情報を有するコードが、子供（第１の人物）の表面に付されている。特定部１２１は、撮影画像内のコードを読み取ることにより、撮影画像内に含まれる人物識別情報を特定する。
なお、コードとしては、例えば、カラービット（登録商標）が用いられる。カラービットは、複数の色のセルを連続して配列したものであり、人物識別情報が所定の規格に基づいて変換されることにより生成される。特定部１２１は、撮影画像内のカラービットをデコードすることにより、人物識別情報を得る。カラービットの特徴としては、撮影画像内のカラービットの位置を特定することができるとともに、撮影画像内の複数のカラービットを一括して読み取ることができる。そのため、特定部１２１は、撮影画像内の複数のカラービットを同時に読み取ることにより、複数の子供の人物識別情報及び位置情報を同時に特定することができる。
記憶実行部１２２は、特定部１２１によって特定された人物識別情報と、生体情報取得部１１１によって取得された生体情報と、撮影画像取得部１１２によって取得された撮影画像とを対応付けて記憶部１３の画像ＤＢ１３１に記憶する。
図６は、本開示の実施の形態１における画像ＤＢのデータ構造の一例を示す図である。図６の「子供ＩＤ－１」は、特定の子供の人物識別情報を表している。
画像ＤＢ１３１は、人物識別情報毎に、撮影画像と、生体情報と、時刻とを対応付けて記憶している。撮影画像は、当該撮影画像が格納されているファイル名を表し、時刻は、撮影画像及び生体情報がサーバ１において取得された時刻を表している。なお、時刻は、カメラ２及び生体情報測定装置３が撮影画像及び生体情報をサーバ１に送信した時刻であってもよい。また、生体情報は、例えば、心拍数などの数値である。
記憶実行部１２２は、同一時刻に取得された生体情報と撮影画像とを対応付けて画像ＤＢ１３１に記憶する。
日誌作成指示取得部１１３は、子供（第１の人物）とは異なる保育者（第２の人物）により選択された子供（第１の人物）の人物識別情報と、保育者により選択された子供の状態を示す状態情報とを含む日誌作成指示を取得する。日誌作成指示取得部１１３は、端末装置４によって送信された日誌作成指示を受信する。
抽出部１２３は、日誌作成指示取得部１１３によって取得された人物識別情報と、日誌作成指示取得部１１３によって取得された状態情報に対応する生体情報とに対応付けられている撮影画像を記憶部１３の画像ＤＢ１３１から抽出する。例えば、状態情報は、子供（第１の人物）の心理状態を示す心理状態情報を含む。心理状態は、例えば、興奮度が高い状態又は興奮度が低い状態である。興奮度が高い状態とは、例えば、生体情報である心拍数が第１の閾値以上である状態を表し、興奮度が低い状態とは、例えば、生体情報である心拍数が第１の閾値よりも低い第２の閾値以下である状態を表している。
そのため、状態情報が、子供の興奮度が高い状態である場合、抽出部１２３は、取得された人物識別情報に対応付けられている複数の撮影画像のうち、第１の閾値以上である心拍数に対応付けられている少なくとも１つの撮影画像を抽出する。また、状態情報が、子供の興奮度が低い状態である場合、抽出部１２３は、取得された人物識別情報に対応付けられている複数の撮影画像のうち、第２の閾値以下である心拍数に対応付けられている少なくとも１つの撮影画像を抽出する。
また、例えば、状態情報が、子供の興奮度が高い状態である場合、抽出部１２３は、取得された人物識別情報に対応付けられている複数の撮影画像のうち、最も高い値から順に所定数の心拍数のそれぞれに対応付けられている撮影画像を抽出してもよい。また、例えば、状態情報が、子供の興奮度が低い状態である場合、抽出部１２３は、取得された人物識別情報に対応付けられている複数の撮影画像のうち、最も低い値から順に所定数の心拍数のそれぞれに対応付けられている撮影画像を抽出してもよい。所定数は、例えば、３つである。
なお、短い時間間隔の間に複数の撮影画像が抽出された場合、当該複数の撮影画像は、同じ遊びを行っていて興奮していたときに撮影された撮影画像であると推定される。そのため、所定の時間間隔内に複数の撮影画像が抽出された場合、抽出部１２３は、複数の撮影画像のうちの１の撮影画像のみを選択してもよい。そして、抽出部１２３は、選択した１の撮影画像に対応付けられている時刻を含む所定の時間間隔以外から、残りの撮影画像を抽出してもよい。
また、興奮度が高い状態とは、例えば、生体情報である心拍数が最も高い状態を表してもよく、興奮度が低い状態とは、例えば、生体情報である心拍数が最も低い状態を表してもよい。そして、状態情報が、子供の興奮度が高い状態である場合、抽出部１２３は、取得された人物識別情報に対応付けられている複数の撮影画像のうち、最も高い心拍数に対応付けられている撮影画像を抽出してもよい。また、状態情報が、子供の興奮度が低い状態である場合、抽出部１２３は、取得された人物識別情報に対応付けられている複数の撮影画像のうち、最も低い心拍数に対応付けられている撮影画像を抽出してもよい。
また、端末装置４から受信される状態情報は、例えば、興奮状態、嬉しい状態、リラックス状態、退屈状態、憂鬱状態、悲しい状態、恐怖状態又は怒り状態などの子供の感情を示す情報であってもよい。この場合、抽出部１２３は、画像ＤＢ１３１の人物識別情報に対応付けられている複数の生体情報のそれぞれを感情に変換してもよい。そして、抽出部１２３は、変換した感情のうち、日誌作成指示取得部１１３によって取得された状態情報で示される感情と同じ感情に対応付けられている撮影画像を抽出してもよい。なお、生体情報を感情に変換する方法については、例えば、国際公開第２０１６／１７０８１０号、特開２００９－２０８７２７号公報及び特開２０１５－４６０６５号公報に開示されている技術を用いることが可能である。これにより、子供の感情が例えば嬉しい状態などの保育者が所望する感情であったときの撮影画像を抽出することができる。
候補画像送信部１１４は、抽出部１２３によって抽出された撮影画像を候補画像として端末装置４へ送信する。
画像選択情報取得部１１５は、保育者によって選択された候補画像を示す画像選択情報を取得する。画像選択情報取得部１１５は、端末装置４によって送信された画像選択情報を受信する。
日誌作成部１２４は、画像選択情報取得部１１５によって取得された画像選択情報に基づいて、保育者によって選択された候補画像を所定の日誌テンプレートに嵌め込んだ日誌画像を作成する。なお、日誌テンプレートは、記憶部１３に予め記憶されている。
日誌画像送信部１１６は、日誌作成部１２４によって作成された日誌画像を端末装置４へ送信する。
続いて、本実施の形態１におけるサーバ１の動作について説明する。
図７は、本開示の実施の形態１におけるサーバの動作について説明するためのフローチャートである。
まず、ステップＳ１において、生体情報取得部１１１は、生体情報測定装置３から子供の生体情報を取得する。なお、本実施の形態１では、複数の生体情報測定装置３のそれぞれから生体情報を取得する。
次に、ステップＳ２において、撮影画像取得部１１２は、カメラ２から子供がいる空間内を撮影した撮影画像を取得する。このとき、撮影画像取得部１１２は、生体情報の取得タイミングに同期して撮影画像を取得する。これにより、生体情報を取得する時刻と撮影画像を取得する時刻とを一致させることができる。
次に、ステップＳ３において、特定部１２１は、撮影画像取得部１１２によって取得された撮影画像内のコードを読み取る。
次に、ステップＳ４において、特定部１２１は、撮影画像内に含まれる人物識別情報を特定する。
次に、ステップＳ５において、記憶実行部１２２は、生体情報取得部１１１によって取得された生体情報と、特定部１２１によって特定された人物識別情報と、撮影画像取得部１１２によって取得された撮影画像とを対応付けて記憶部１３の画像ＤＢ１３１に記憶する。
なお、子供に付されたコードがカメラ２の死角にあるため、生体情報が取得されたものの、撮影画像内に含まれる人物識別情報が特定されない場合がある。そのため、記憶実行部１２２は、特定部１２１によって特定された人物識別情報と、特定された人物識別情報に対応する生体情報と、特定された人物識別情報が含まれる撮影画像と、撮影画像及び生体情報が取得された時刻とを対応付けて画像ＤＢ１３１に記憶することが好ましい。
次に、ステップＳ６において、日誌作成指示取得部１１３は、保育者により選択された子供の人物識別情報と、保育者により選択された子供の状態を示す状態情報とを含む日誌作成指示を端末装置４から取得したか否かを判断する。ここで、日誌作成指示を端末装置４から取得していないと判断された場合（ステップＳ６でＮＯ）、ステップＳ１に処理が戻る。
図８は、本開示の実施の形態１において、端末装置における日誌作成指示の入力画面の一例を示す図である。
端末装置４の表示部４４は、子供の人物識別情報と、子供の状態を示す状態情報との入力を保育者から受け付ける際に、図８に示す入力画面を表示する。図８に示す入力画面は、子供の人物識別情報の入力を受け付けるための第１入力受付領域４４１と、子供の状態を示す状態情報の入力を受け付けるための第２入力受付領域４４２とを含む。
第１入力受付領域４４１には、予め登録されている子供の人物識別情報と、当該子供の名前と、当該子供の顔画像とを含む少なくとも１つの子供画像が選択可能に表示される。保育者は、第１入力受付領域４４１に表示される少なくとも１つの子供画像の中から、日誌を作成する１つの子供画像を選択する。なお、保育者は、第１入力受付領域４４１に対してスワイプ操作を行うことにより、複数の子供画像を表示することが可能であり、所望の子供画像をタップすることにより、日誌を作成する子供の人物識別情報を選択することが可能である。入力受付部４３は、第１入力受付領域４４１に対する保育者の入力操作を受け付ける。
また、第２入力受付領域４４２には、少なくとも１つの状態情報が選択可能に表示される。例えば、図８では、保育者は、興奮度が高い状態を示す状態情報、興奮度が低い状態を示す状態情報、嬉しい状態を示す状態情報及び悲しい状態を示す状態情報のうちの１つの状態情報を選択することが可能である。保育者は、第２入力受付領域４４２に表示される少なくとも１つの状態情報の中から、日誌に載せる撮影画像を抽出するために必要な子供の状態を示す１つの状態情報を選択する。なお、保育者は、所望の状態情報をタップすることにより、子供の状態情報を選択することが可能である。これにより、保育者によって指定された子供の状態に合致した撮影画像が抽出されることになる。入力受付部４３は、第２入力受付領域４４２に対する保育者の入力操作を受け付ける。
図９は、本開示の実施の形態１において、端末装置における日誌作成指示の送信画面の一例を示す図である。
端末装置４の表示部４４は、子供の人物識別情報と、子供の状態を示す状態情報とを含む日誌作成指示をサーバ１へ送信する際に、図９に示す送信画面を表示する。図９に示す送信画面は、保育者によって選択された人物識別情報と、保育者によって選択された状態情報と、日誌作成指示をサーバ１へ送信するか否かの入力を受け付けるための送信ボタン４４３とを含む。例えば、図９では、「子供ＩＤ－２」に対応する人物識別情報が選択され、興奮度が高い状態を示す状態情報が選択されている。保育者は、表示される人物識別情報及び状態情報で問題なければ、送信ボタン４４３をタップする。入力受付部４３は、送信ボタン４４３に対する保育者の入力操作を受け付ける。保育者により送信ボタン４４３がタップされると、通信部４１は、保育者によって入力された人物識別情報及び状態情報を含む日誌作成指示をサーバ１へ送信する。
図７に戻って、日誌作成指示を端末装置４から取得したと判断された場合（ステップＳ６でＹＥＳ）、ステップＳ７において、日誌作成指示取得部１１３は、取得した日誌作成指示に含まれる人物識別情報及び状態情報を抽出部１２３へ出力する。
次に、ステップＳ８において、抽出部１２３は、日誌作成指示取得部１１３によって取得された人物識別情報と、日誌作成指示取得部１１３によって取得された状態情報に対応する生体情報とに対応付けられている撮影画像を記憶部１３の画像ＤＢ１３１から抽出する。例えば、取得した状態情報が、興奮度が高い状態を示す場合、抽出部１２３は、取得した人物識別情報に対応付けられている撮影画像のうち、生体情報である心拍数が閾値以上である撮影画像を抽出する。
図１０は、本開示の実施の形態１において、抽出部によって抽出される撮影画像について説明するための図である。
図１０に示すグラフは、縦軸が、取得された人物識別情報に対応する子供の心拍数を表し、横軸が、取得された人物識別情報に対応する子供の保育開始時刻から保育終了時刻までの時間を表している。心拍数は、生体情報であり、所定のタイミングで取得される。また、撮影画像も、心拍数が取得されるタイミングに同期して取得される。図１０では、時刻ｔｐ、時刻ｔｑ及び時刻ｔｒにおいて、心拍数は、閾値以上となっている。この場合、抽出部１２３は、取得した人物識別情報に対応付けられている複数の撮影画像のうち、心拍数が閾値以上であった時刻ｔｐ，ｔｑ，ｔｒにおける撮影画像ｐ１，ｐ２，ｐ３を抽出する。
図７に戻って、次に、ステップＳ９において、候補画像送信部１１４は、抽出部１２３によって抽出された撮影画像を候補画像として端末装置４へ送信する。端末装置４の通信部４１は、サーバ１によって送信された候補画像を受信する。表示部４４は、通信部４１によって受信された候補画像を表示する。
図１１は、本開示の実施の形態１において、端末装置における候補画像の選択を受け付ける選択画面の一例を示す図である。
サーバ１によって送信された候補画像が受信されると、端末装置４の表示部４４は、図１１に示す選択画面を表示する。図１１に示す選択画面は、子供の名前と、子供の状態と、今日の日付と、少なくとも１つの候補画像と、各候補画像が取得された時刻と、子供がどの程度興奮していたかを示す興奮度レベルとを含む。
図１１では、「Ｂちゃん」という子供の名前と、興奮度が高いことを示す子供の状態と、「２０１８年２月２３日」という日付と、候補画像ｐ１，ｐ２，ｐ３と、時刻ｔｐ，ｔｑ，ｔｒと、興奮度レベルとが表示されている。興奮度レベルは、心拍数の値の大きさに応じて表示される。これらの情報は、候補画像とともにサーバ１から受信される。すなわち、候補画像送信部１１４は、人物識別情報に対応する子供の名前と、状態情報と、今日の日付と、少なくとも１つの候補画像と、各候補画像に対応付けられている時刻と、各候補画像に対応付けられている生体情報とを端末装置４へ送信する。端末装置４の通信部４１は、サーバ１によって送信されたこれらの情報を受信する。
保育者は、選択画面に表示される複数の候補画像ｐ１，ｐ２，ｐ３のうち、所望の候補画像をタップすることにより、日誌に載せる候補画像を選択する。入力受付部４３は、候補画像に対する保育者の選択操作を受け付ける。保育者により候補画像がタップされると、通信部４１は、選択された候補画像を示す画像選択情報をサーバ１へ送信する。なお、画像選択情報は、選択された候補画像であってもよいし、選択された候補画像を特定するための情報であってもよい。
図７に戻って、次に、ステップＳ１０において、画像選択情報取得部１１５は、端末装置４によって送信された画像選択情報を取得する。
次に、ステップＳ１１において、日誌作成部１２４は、画像選択情報取得部１１５によって取得された画像選択情報により示される保育者によって選択された候補画像を所定の日誌テンプレートに嵌め込んだ日誌画像を作成する。日誌画像は、例えば、日誌を作成した今日の日付、及び保育者によって選択された候補画像を含む。なお、日誌画像に含まれる情報は、上記に限定されず、日誌画像は、保育者により書き込み可能な文字入力欄を含んでもよい。また、日誌作成部１２４は、作成した日誌画像を記憶部１３に記憶してもよい。
次に、ステップＳ１２において、日誌画像送信部１１６は、日誌作成部１２４によって作成された日誌画像を端末装置４へ送信する。端末装置４の通信部４１は、サーバ１によって送信された日誌画像を受信する。表示部４４は、通信部４１によって受信された日誌画像を表示する。
サーバ１によって送信された日誌画像が受信されると、端末装置４の表示部４４は、日誌画像を表示する。日誌画像が文字入力欄を含む場合、保育者は、日誌画像に表示される文字入力欄に文字を入力する。入力受付部４３は、文字入力欄に対する保育者の入力操作を受け付ける。保育者により文字が入力されると、制御部４２は、文字入力欄に文字が入力された日誌画像を記憶部（不図示）に記憶する。なお、通信部４１は、文字入力欄に文字が入力された日誌画像をサーバ１へ送信してもよい。この場合、サーバ１の通信部１１は、端末装置４によって送信された日誌画像を受信し、受信した日誌画像を記憶部１３に記憶してもよい。
なお、制御部４２によって、文字入力欄に文字が入力された日誌画像が記憶部に記憶された後、表示部４４は、他の子供の人物識別情報と、他の子供の状態を示す状態情報との入力を保育者から受け付けるための入力画面（図８）を表示する。これにより、他の子供の日誌を作成することができる。
次に、ステップＳ１３において、日誌作成部１２４は、全ての人物識別情報の日誌画像を作成したか否かを判断する。ここで、全ての人物識別情報の日誌画像を作成したと判断された場合（ステップＳ１３でＹＥＳ）、処理が終了する。
一方、全ての人物識別情報の日誌画像を作成していないと判断された場合（ステップＳ１３でＮＯ）、ステップＳ６に処理が戻る。
このように、本実施の形態１では、子供が興味を持った遊び行動を特定することができるとともに、興味を持った遊び行動を行っていた際の子供の様子を示す画像を提供することができる。その結果、保育者による日誌の作成を補助することができ、日誌を作成する作業の効率化を図り、日誌を作成する作業を軽減することができる。
なお、本実施の形態１では、特定部１２１は、撮影画像内のコードを読み取ることにより、人物識別情報を特定しているが、本開示は特にこれに限定されず、特定部１２１は、撮影画像内の子供（第１の人物）の顔を認証することにより、人物識別情報を特定してもよい。この場合、記憶部１３は、子供の顔画像と、人物識別情報とを対応付けて予め記憶する。
（実施の形態２）
実施の形態１では、生体情報に基づいて抽出された撮影画像を端末装置に提示しているが、実施の形態２では、生体情報に基づいて抽出された撮影画像とともに、過去に保育者によって選択された撮影画像を端末装置に提示する。
図１２は、本開示の実施の形態２におけるサーバの構成を示す図である。なお、本実施の形態２における情報処理システムの構成は、実施の形態１における情報処理システムの構成と同じである。また、実施の形態２において、実施の形態１と同じ構成については、同じ符号を付し、説明を省略する。また、本実施の形態２では、幼稚園又は保育園において、保育者が子供を保育し、子供の保育日誌が作成される例について説明する。
図１２に示すサーバ１Ａは、通信部１１Ａ、制御部１２Ａ及び記憶部１３Ａを備える。
通信部１１Ａは、生体情報取得部１１１、撮影画像取得部１１２、日誌作成指示取得部１１３、候補画像送信部１１４Ａ、画像選択情報取得部１１５及び日誌画像送信部１１６を備える。制御部１２Ａは、例えば、ＣＰＵであり、特定部１２１、記憶実行部１２２、抽出部１２３Ａ、日誌作成部１２４及び履歴画像記憶実行部１２５を備える。記憶部１３Ａは、例えば、半導体メモリであり、画像ＤＢ１３１及び履歴画像ＤＢ１３２を備える。
履歴画像ＤＢ１３２は、過去の撮影画像と、撮影画像を取得した日付と、人物識別情報とを対応付けて記憶する。
履歴画像記憶実行部１２５は、抽出した撮影画像と、撮影画像を取得した日付と、日誌作成指示取得部１１３によって取得された人物識別情報とを対応付けて履歴画像ＤＢ１３２に記憶する。本実施の形態２では、履歴画像記憶実行部１２５は、抽出部１２３Ａによって抽出された撮影画像のうち、端末装置４において選択された撮影画像、すなわち、画像選択情報取得部１１５によって取得された画像選択情報によって特定される候補画像と、当該候補画像を用いて日誌画像を作成した日付と、取得された人物識別情報とを対応付けて履歴画像ＤＢ１３２に記憶する。なお、履歴画像記憶実行部１２５は、抽出部１２３Ａによって抽出された撮影画像を履歴画像ＤＢ１３２に記憶してもよい。
抽出部１２３Ａは、日誌作成指示取得部１１３によって取得された人物識別情報と、日誌作成指示取得部１１３によって取得された状態情報に対応する生体情報とに対応付けられている撮影画像を記憶部１３の画像ＤＢ１３１から抽出する。
また、抽出部１２３Ａは、画像選択情報取得部１１５によって取得された人物識別情報に対応付けられている過去の候補画像を履歴画像として履歴画像ＤＢ１３２から抽出する。
候補画像送信部１１４Ａは、抽出部１２３Ａによって抽出された撮影画像を候補画像として端末装置４へ送信するとともに、抽出部１２３Ａによって抽出された履歴画像を端末装置４へ送信する。
続いて、本実施の形態２におけるサーバ１Ａの動作について説明する。
図１３は、本開示の実施の形態２におけるサーバの動作について説明するためのフローチャートである。
なお、ステップＳ２１～ステップＳ２６の処理は、図７に示すステップＳ１～ステップＳ６の処理と同じであるので説明を省略する。
日誌作成指示を端末装置４から取得したと判断された場合（ステップＳ２６でＹＥＳ）、ステップＳ２７において、日誌作成指示取得部１１３は、取得した日誌作成指示に含まれる人物識別情報及び状態情報を抽出部１２３Ａへ出力する。
次に、ステップＳ２８において、抽出部１２３Ａは、日誌作成指示取得部１１３によって取得された人物識別情報と、日誌作成指示取得部１１３によって取得された状態情報に対応する生体情報とに対応付けられている撮影画像を記憶部１３Ａの画像ＤＢ１３１から抽出する。例えば、取得した状態情報が、興奮度が高い状態を示す場合、抽出部１２３Ａは、取得した人物識別情報に対応付けられている撮影画像のうち、生体情報である心拍数が閾値以上である撮影画像を抽出する。
次に、ステップＳ２９において、抽出部１２３Ａは、画像選択情報取得部１１５によって取得された人物識別情報に対応付けられている過去の撮影画像を履歴画像として履歴画像ＤＢ１３２から抽出する。このとき、抽出部１２３Ａは、例えば、過去の所定日数分の履歴画像を抽出する。所定日数は、例えば、３日である。抽出部１２３Ａは、例えば、前日の履歴画像、２日前の履歴画像、及び３日前の履歴画像を抽出する。
次に、ステップＳ３０において、候補画像送信部１１４Ａは、抽出部１２３Ａによって抽出された撮影画像を候補画像として端末装置４へ送信するとともに、抽出部１２３Ａによって抽出された履歴画像を端末装置４へ送信する。端末装置４の通信部４１は、サーバ１Ａによって送信された候補画像及び履歴画像を受信する。表示部４４は、通信部４１によって受信された候補画像及び履歴画像を表示する。
図１４は、本開示の実施の形態２において、端末装置における候補画像の選択を受け付ける選択画面の一例を示す図である。
サーバ１Ａによって送信された候補画像及び履歴画像が受信されると、端末装置４の表示部４４は、図１４に示す選択画面を表示する。図１４に示す選択画面は、子供の名前と、子供の状態と、今日の日付と、少なくとも１つの候補画像と、各候補画像が取得された時刻と、子供がどの程度興奮していたかを示す興奮度レベルと、少なくとも１つの履歴画像とを含む。
図１４では、「Ｂちゃん」という子供の名前と、興奮度が高いことを示す子供の状態と、「２０１８年２月２３日」という日付と、候補画像ｐ１，ｐ２，ｐ３と、時刻ｔｐ，ｔｑ，ｔｒと、興奮度レベルとが表示されている。興奮度レベルは、心拍数の値の大きさに応じて表示される。また、図１４では、履歴画像ｐ２０，ｐ２１，ｐ２２と、「２月２０日」、「２月２１日」及び「２月２２日」という履歴画像ｐ２０，ｐ２１，ｐ２２が撮影された日付とが表示されている。これらの情報は、候補画像とともにサーバ１Ａから受信される。すなわち、候補画像送信部１１４Ａは、人物識別情報に対応する子供の名前と、状態情報と、今日の日付と、少なくとも１つの候補画像と、各候補画像に対応付けられている時刻と、各候補画像に対応付けられている生体情報と、少なくとも１つの履歴画像とを端末装置４へ送信する。端末装置４の通信部４１は、サーバ１Ａによって送信されたこれらの情報を受信する。
保育者は、選択画面に表示される複数の候補画像ｐ１，ｐ２，ｐ３のうち、所望の候補画像をタップすることにより、日誌に載せる候補画像を選択する。このとき、保育者は、履歴画像ｐ２０，ｐ２１，ｐ２２を確認することにより、過去の画像と重複しないように、所望の候補画像を選択することができる。入力受付部４３は、候補画像に対する保育者の選択操作を受け付ける。保育者により候補画像がタップされると、通信部４１は、選択された候補画像を示す画像選択情報をサーバ１Ａへ送信する。なお、画像選択情報は、選択された候補画像であってもよいし、選択された候補画像を特定するための情報であってもよい。
図１３に戻って、ステップＳ３１～ステップＳ３３の処理は、図７に示すステップＳ１０～ステップＳ１２の処理と同じであるので説明を省略する。
次に、ステップＳ３４において、履歴画像記憶実行部１２５は、取得された画像選択情報により示される保育者によって選択された候補画像と、当該候補画像を用いて日誌画像を作成した日付と、日誌作成指示取得部１１３によって取得された人物識別情報とを対応付けて履歴画像ＤＢ１３２に記憶する。
ステップＳ３５の処理は、図７に示すステップＳ１３の処理と同じであるので説明を省略する。
このように、本実施の形態２では、抽出された撮影画像が候補画像として端末装置４へ送信されるとともに、抽出された履歴画像が端末装置４へ送信され、日誌に載せる候補画像とともに、過去に選択された履歴画像が保育者に提示されるので、保育者は、履歴画像を確認することにより、過去の画像と重複しないように、所望の候補画像を選択することができる。その結果、保育者による日誌の作成を補助することができる。
（実施の形態３）
実施の形態１では、生体情報に基づいて抽出された撮影画像を端末装置に提示しているが、実施の形態３では、生体情報に基づいて抽出された撮影画像とともに、当該撮影画像が撮影された際に子供が興味を持っていた遊具に関する情報を端末装置に提示する。
図１５は、本開示の実施の形態３におけるサーバの構成を示す図である。なお、本実施の形態３における情報処理システムの構成は、実施の形態１における情報処理システムの構成と同じである。また、実施の形態３において、実施の形態１と同じ構成については、同じ符号を付し、説明を省略する。また、本実施の形態３では、幼稚園又は保育園において、保育者が子供を保育し、子供の保育日誌が作成される例について説明する。
図１５に示すサーバ１Ｂは、通信部１１Ｂ、制御部１２Ｂ及び記憶部１３Ｂを備える。
通信部１１Ｂは、生体情報取得部１１１、撮影画像取得部１１２、日誌作成指示取得部１１３、候補画像送信部１１４Ｂ、画像選択情報取得部１１５及び日誌画像送信部１１６を備える。制御部１２Ｂは、例えば、ＣＰＵであり、特定部１２１Ｂ、記憶実行部１２２Ｂ、抽出部１２３Ｂ及び日誌作成部１２４を備える。記憶部１３Ｂは、例えば、半導体メモリであり、画像ＤＢ１３１Ｂを備える。
特定部１２１Ｂは、撮影画像取得部１１２によって取得された撮影画像に基づいて、子供を識別するための人物識別情報を特定する。特定部１２１Ｂは、撮影画像取得部１１２によって取得された撮影画像内の子供の顔を認証することにより、撮影画像内に含まれる人物識別情報を特定する。この場合、記憶部１３Ｂは、子供の顔画像と、人物識別情報とを対応付けて予め記憶する。また、特定部１２１Ｂは、撮影画像内の子供（第１の人物）の位置をさらに特定する。例えば、特定部１２１Ｂは、撮影画像内において、認証された子供の顔が存在する位置座標を、撮影画像内の子供の位置として特定する。
また、特定部１２１Ｂは、撮影画像取得部１１２によって取得された撮影画像に基づいて、遊具を識別するための遊具識別情報を特定する。遊具は、例えば、積み木、絵本又はブランコ等であり、子供と同じ空間内に存在している。遊具識別情報を有するコードが、遊具の表面に付されている。特定部１２１Ｂは、撮影画像内のコードを読み取ることにより、撮影画像内に含まれる遊具識別情報を特定する。また、特定部１２１Ｂは、撮影画像内の遊具の位置をさらに特定する。例えば、特定部１２１Ｂは、撮影画像内において、読み取られた遊具が存在する位置座標を、撮影画像内の遊具の位置として特定する。また、特定部１２１Ｂは、取得した現在の撮影画像よりも時間的に前に取得した過去の撮影画像内の遊具の位置をさらに特定する。
なお、コードとしては、例えば、上述のカラービットが用いられる。カラービットは、複数の色のセルを連続して配列したものであり、遊具識別情報が所定の規格に基づいて変換されることにより生成される。特定部１２１Ｂは、撮影画像内のカラービットをデコードすることにより、遊具識別情報を得る。カラービットの特徴としては、撮影画像内のカラービットの位置を特定することができるとともに、撮影画像内の複数のカラービットを一括して読み取ることができる。そのため、撮影画像内の複数のカラービットを読み取ることにより、複数の遊具の遊具識別情報及び位置情報を特定することができる。
また、本実施の形態３では、特定部１２１Ｂは、撮影画像内の子供の顔を認証することにより、撮影画像内に含まれる人物識別情報を特定しているが、本開示は特にこれに限定されず、遊具識別情報と同様に、人物識別情報を有するコードが、人物の表面に付されていてもよく、特定部１２１Ｂは、撮影画像内のコードを読み取ることにより、撮影画像内に含まれる人物識別情報を特定してもよい。
さらに、本実施の形態３では、特定部１２１Ｂは、撮影画像内のコードを読み取ることにより、遊具識別情報を特定しているが、本開示は特にこれに限定されず、特定部１２１Ｂは、撮影画像内の遊具を画像認証することにより、遊具識別情報を特定してもよい。この場合、記憶部１３Ｂは、遊具の画像と、遊具識別情報とを対応付けて予め記憶する。
記憶実行部１２２Ｂは、特定部１２１Ｂによって特定された人物識別情報と、生体情報取得部１１１によって取得された生体情報と、撮影画像取得部１１２によって取得された撮影画像と、特定部１２１Ｂによって特定された遊具識別情報とを対応付けて記憶部１３Ｂの画像ＤＢ１３１Ｂに記憶する。
図１６は、本開示の実施の形態３における画像ＤＢのデータ構造の一例を示す図である。図１６の「子供ＩＤ－１」は、特定の子供の人物識別情報を表している。
画像ＤＢ１３１Ｂは、人物識別情報毎に、撮影画像と、生体情報と、時刻と、遊具識別情報とを対応付けて記憶している。撮影画像は、当該撮影画像が格納されているファイル名を表し、時刻は、撮影画像及び生体情報がサーバ１Ｂにおいて取得された時刻を表している。なお、時刻は、カメラ２及び生体情報測定装置３が撮影画像及び生体情報をサーバ１Ｂに送信した時刻であってもよい。また、生体情報は、例えば、心拍数などの数値である。遊具識別情報は、特定部１２１Ｂによって特定された遊具識別情報を表している。
記憶実行部１２２Ｂは、子供（第１の人物）の位置と遊具の位置との距離が所定の閾値より短く、かつ位置が移動している遊具の遊具識別情報と、人物識別情報と、生体情報と、撮影画像とを対応付けて画像ＤＢ１３１Ｂに記憶する。
ここで、子供がどの遊具に興味を持って遊んでいるのかを特定する必要がある。そのため、記憶実行部１２２Ｂは、撮影画像内における子供の位置と、撮影画像内における遊具の位置との距離が所定の閾値より短く、かつ位置が移動している遊具を、当該子供が興味を持って遊んでいる遊具として推定する。遊具の位置が移動しているか否かの判断は、現在の撮影画像内の遊具の位置と、現在の撮影画像よりも時間的に前に取得した過去の撮影画像内の遊具の位置とを比較することにより行われる。なお、記憶実行部１２２Ｂは、撮影画像内における子供の位置と、撮影画像内における遊具の位置との距離が最も短く、かつ位置が移動している遊具を、当該子供が興味を持って遊んでいる遊具として推定してもよい。このように、子供の近くに存在し、かつ位置が移動している遊具を、当該子供が興味を持って遊んでいる遊具として推定する。
また、記憶実行部１２２Ｂは、撮影画像内における子供の位置と、撮影画像内における遊具の位置との距離が所定の閾値より短い遊具を、当該子供が興味を持って遊んでいる遊具として推定してもよい。なお、記憶実行部１２２Ｂは、撮影画像内における子供の位置と、撮影画像内における遊具の位置との距離が最も短い遊具を、当該子供が興味を持って遊んでいる遊具として推定してもよい。このように、単に子供の近くに存在する遊具を、当該子供が興味を持って遊んでいる遊具として推定してもよい。
さらに、特定部１２１Ｂによって１つの遊具識別情報のみが特定された場合、当該遊具識別情報で示される遊具を用いて子供が遊んでいると推定することができる。そのため、特定部１２１Ｂによって１つの遊具識別情報のみが特定された場合、記憶実行部１２２Ｂは、特定された１つの遊具識別情報と、人物識別情報と、生体情報と、撮影画像とを対応付けて画像ＤＢ１３１Ｂに記憶してもよい。
抽出部１２３Ｂは、日誌作成指示取得部１１３によって取得された人物識別情報と、日誌作成指示取得部１１３によって取得された状態情報に対応する生体情報とに対応付けられている撮影画像及び遊具識別情報を記憶部１３Ｂの画像ＤＢ１３１Ｂから抽出する。
候補画像送信部１１４Ｂは、抽出部１２３Ｂによって抽出された撮影画像を候補画像として端末装置４へ送信するとともに、撮影画像とともに抽出された遊具識別情報を端末装置４へ送信する。
続いて、本実施の形態３におけるサーバ１Ｂの動作について説明する。
図１７は、本開示の実施の形態３におけるサーバの動作について説明するためのフローチャートである。
なお、ステップＳ４１～ステップＳ４４の処理は、図７に示すステップＳ１～ステップＳ４の処理と同じであるので説明を省略する。
次に、ステップＳ４５において、特定部１２１Ｂは、撮影画像内に含まれる遊具識別情報を特定する。
次に、ステップＳ４６において、記憶実行部１２２Ｂは、生体情報取得部１１１によって取得された生体情報と、特定部１２１Ｂによって特定された人物識別情報と、撮影画像取得部１１２によって取得された撮影画像と、特定部１２１Ｂによって特定された遊具識別情報とを対応付けて記憶部１３Ｂの画像ＤＢ１３１Ｂに記憶する。このとき、記憶実行部１２２Ｂは、子供の位置と遊具の位置との距離が所定の閾値より短く、かつ位置が移動している遊具の遊具識別情報と、人物識別情報と、生体情報と、撮影画像とを対応付けて画像ＤＢ１３１Ｂに記憶する。
ステップＳ４７～ステップＳ４８の処理は、図７に示すステップＳ６～ステップＳ７の処理と同じであるので説明を省略する。
次に、ステップＳ４９において、抽出部１２３Ｂは、日誌作成指示取得部１１３によって取得された人物識別情報と、日誌作成指示取得部１１３によって取得された状態情報に対応する生体情報とに対応付けられている撮影画像及び遊具識別情報を記憶部１３Ｂの画像ＤＢ１３１Ｂから抽出する。例えば、取得した状態情報が、興奮度が高い状態を示す場合、抽出部１２３Ｂは、取得した人物識別情報に対応付けられている撮影画像及び遊具識別情報のうち、生体情報である心拍数が閾値以上である撮影画像及び遊具識別情報を抽出する。
次に、ステップＳ５０において、候補画像送信部１１４Ｂは、抽出部１２３Ｂによって抽出された撮影画像を候補画像として端末装置４へ送信するとともに、抽出部１２３Ｂによって抽出された遊具識別情報を端末装置４へ送信する。端末装置４の通信部４１は、サーバ１Ｂによって送信された候補画像及び遊具識別情報を受信する。表示部４４は、通信部４１によって受信された候補画像及び遊具識別情報を表示する。
図１８は、本開示の実施の形態３において、端末装置における候補画像の選択を受け付ける選択画面の一例を示す図である。
サーバ１Ｂによって送信された候補画像及び遊具識別情報が受信されると、端末装置４の表示部４４は、図１８に示す選択画面を表示する。図１８に示す選択画面は、子供の名前と、子供の状態と、今日の日付と、少なくとも１つの候補画像と、各候補画像が取得された時刻と、子供がどの程度興奮していたかを示す興奮度レベルと、各候補画像内で子供が利用している遊具を示す遊具識別情報とを含む。
図１８では、「Ｂちゃん」という子供の名前と、興奮度が高いことを示す子供の状態と、「２０１８年２月２３日」という日付と、候補画像ｐ１，ｐ２，ｐ３と、時刻ｔｐ，ｔｑ，ｔｒと、興奮度レベルとが表示されている。興奮度レベルは、心拍数の値の大きさに応じて表示される。また、図１８では、「積み木」、「絵本」及び「ブランコ」という遊具識別情報が、各候補画像ｐ１，ｐ２，ｐ３の上部に表示されている。これらの情報は、候補画像とともにサーバ１Ｂから受信される。すなわち、候補画像送信部１１４Ｂは、人物識別情報に対応する子供の名前と、状態情報と、今日の日付と、少なくとも１つの候補画像と、各候補画像に対応付けられている時刻と、各候補画像に対応付けられている生体情報と、候補画像に対応付けられている遊具識別情報とを端末装置４へ送信する。端末装置４の通信部４１は、サーバ１Ｂによって送信されたこれらの情報を受信する。
保育者は、選択画面に表示される複数の候補画像ｐ１，ｐ２，ｐ３のうち、所望の候補画像をタップすることにより、日誌に載せる候補画像を選択する。このとき、保育者は、表示される遊具識別情報により、子供がどのような遊具に興味を持っていたのかを確認しながら、所望の候補画像を選択することができる。入力受付部４３は、候補画像に対する保育者の選択操作を受け付ける。保育者により候補画像がタップされると、通信部４１は、選択された候補画像を示す画像選択情報をサーバ１Ｂへ送信する。なお、画像選択情報は、選択された候補画像であってもよいし、選択された候補画像を特定するための情報であってもよい。
図１７に戻って、ステップＳ５１～ステップＳ５４の処理は、図７に示すステップＳ１０～ステップＳ１３の処理と同じであるので説明を省略する。
このように、本実施の形態３では、抽出された撮影画像が候補画像として端末装置４へ送信されるとともに、抽出された遊具識別情報が端末装置４へ送信され、日誌に載せる候補画像とともに、遊具識別情報が保育者に提示されるので、保育者は、子供が興味を持った遊具を確認しながら、所望の候補画像を選択することができる。その結果、保育者による日誌の作成を補助することができる。
また、本実施の形態３に上記の実施の形態２を組み合わせてもよい。すなわち、本実施の形態３において、抽出された撮影画像が候補画像として端末装置４へ送信されるとともに、抽出された履歴画像及び遊具識別情報が端末装置４へ送信され、日誌に載せる候補画像とともに、過去に選択された履歴画像及び遊具識別情報が保育者に提示されてもよい。
また、本実施の形態１～３では、第１の人物が子供であり、第２の人物が保育者であり、幼稚園又は保育園において、保育者が子供を保育し、子供の保育日誌が作成される例について説明しているが、本開示は特にこれに限定されず、第１の人物が高齢者などの被介護者であり、第２の人物が介護者であり、デイサービスセンター又は老人ホーム等の福祉施設において、介護者が被介護者を介護し、被介護者の介護日誌が作成される例にも適用可能である。
以上、本開示の装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の一つまたは複数の態様の範囲内に含まれてもよい。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
本開示の実施の形態に係る装置の機能の一部又は全ては典型的には集積回路であるＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）として実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
また、本開示の実施の形態に係る装置の機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。
また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。
また、上記フローチャートに示す各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、同様の効果が得られる範囲で上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
さらに、本開示の主旨を逸脱しない限り、本開示の各実施の形態に対して当業者が思いつく範囲内の変更を施した各種変形例も本開示に含まれる。
本開示に係る情報処理方法、情報処理装置及び情報処理システムは、第１の人物が興味を持った行動を特定することができるとともに、興味を持った行動を行っていた際の第１の人物の様子を示す画像を提供することができ、所定の画像を抽出する情報処理方法、情報処理装置及び情報処理システムとして有用である。
１，１Ａ，１Ｂ サーバ
２ カメラ
３ 生体情報測定装置
４ 端末装置
５ ネットワーク
１１，１１Ａ，１１Ｂ 通信部
１２，１２Ａ，１２Ｂ 制御部
１３，１３Ａ，１３Ｂ 記憶部
２１ 撮影部
２２ 制御部
２３ 通信部
３１ 生体情報測定部
３２ 制御部
３３ 通信部
４１ 通信部
４２ 制御部
４３ 入力受付部
４４ 表示部
１１１ 生体情報取得部
１１２ 撮影画像取得部
１１３ 日誌作成指示取得部
１１４，１１４Ａ，１１４Ｂ 候補画像送信部
１１５ 画像選択情報取得部
１１６ 日誌画像送信部
１２１，１２１Ｂ 特定部
１２２，１２２Ｂ 記憶実行部
１２３，１２３Ａ，１２３Ｂ 抽出部
１２４ 日誌作成部
１２５ 履歴画像記憶実行部
１３１，１３１Ｂ 画像ＤＢ
１３２ 履歴画像ＤＢ

Claims (12)

  1. コンピュータが、
    第１の人物の生体情報を取得し、
    前記生体情報の取得タイミングに同期して、前記第１の人物を撮影した画像を取得し、
    前記画像に基づいて、前記第１の人物を識別するための人物識別情報を特定し、
    前記画像に基づいて、遊具を識別するための遊具識別情報を特定し、
    特定した前記人物識別情報と、取得した前記生体情報と、取得した前記画像と、特定した前記遊具識別情報とを対応付けて記憶部に記憶し、
    前記第１の人物とは異なる第２の人物により選択された前記第１の人物の前記人物識別情報と、前記第２の人物により選択された前記第１の人物の状態を示す状態情報とを取得し、
    取得した前記人物識別情報と、取得した前記状態情報に対応する前記生体情報とに対応付けられている前記画像及び前記遊具識別情報を前記記憶部から抽出する、
    情報処理方法。
  2. 前記状態情報は、前記第１の人物の心理状態を示す心理状態情報を含む、
    請求項１記載の情報処理方法。
  3. さらに、抽出した前記画像を、前記第２の人物が利用している端末装置へ送信する、
    請求項１又は２記載の情報処理方法。
  4. さらに、抽出した前記画像と、前記画像を取得した日付と、取得した前記人物識別情報とを対応付けて前記記憶部に記憶し、
    さらに、取得した前記人物識別情報に対応付けられている過去の前記画像を履歴画像として前記記憶部から抽出する、
    請求項１又は２記載の情報処理方法。
  5. さらに、抽出した前記画像とともに、抽出した前記履歴画像を、前記第２の人物が利用している端末装置へ送信する、
    請求項４記載の情報処理方法。
  6. 前記人物識別情報を有するコードが、前記第１の人物の表面に付されており、
    前記人物識別情報の特定は、前記画像内の前記コードを読み取ることにより、前記人物識別情報を特定する、
    請求項１～５のいずれか１項に記載の情報処理方法。
  7. 前記人物識別情報の特定は、前記画像内の前記第１の人物の顔を認証することにより、前記人物識別情報を特定する、
    請求項１～５のいずれか１項に記載の情報処理方法。
  8. 前記遊具識別情報を有するコードが、前記遊具の表面に付されており、
    前記遊具識別情報の特定は、前記画像内の前記コードを読み取ることにより、前記遊具識別情報を特定する、
    請求項１～７のいずれか１項に記載の情報処理方法。
  9. 前記人物識別情報の特定は、前記画像内の前記第１の人物の位置をさらに特定し、
    前記遊具識別情報の特定は、前記画像内の前記遊具の位置をさらに特定するとともに、取得した前記画像よりも時間的に前に取得した過去画像内の前記遊具の位置をさらに特定し、
    前記記憶は、前記第１の人物の位置と前記画像内の前記遊具の位置との距離が所定の閾値より短く、かつ位置が移動している前記遊具の前記遊具識別情報と、前記人物識別情報と、前記生体情報と、前記画像とを対応付けて前記記憶部に記憶する、
    請求項１～８のいずれか１項に記載の情報処理方法。
  10. 前記人物識別情報の特定は、前記画像内の前記第１の人物の位置をさらに特定し、
    前記遊具識別情報の特定は、前記画像内の前記遊具の位置をさらに特定し、
    前記記憶は、前記第１の人物の位置と前記遊具の位置との距離が所定の閾値より短い前記遊具の前記遊具識別情報と、前記人物識別情報と、前記生体情報と、前記画像とを対応付けて前記記憶部に記憶する、
    請求項１～８のいずれか１項に記載の情報処理方法。
  11. 通信部と、
    プロセッサと、
    メモリと、
    を備え、
    前記通信部が、第１の人物の生体情報を取得し、
    前記通信部が、前記生体情報の取得タイミングに同期して、前記第１の人物を撮影した画像を取得し、
    前記プロセッサが、前記画像に基づいて、前記第１の人物を識別するための人物識別情報を特定し、
    前記プロセッサが、前記画像に基づいて、遊具を識別するための遊具識別情報を特定し、
    前記プロセッサが、特定した前記人物識別情報と、取得した前記生体情報と、取得した前記画像と、特定した前記遊具識別情報とを対応付けて前記メモリに記憶し、
    前記通信部が、前記第１の人物とは異なる第２の人物により選択された前記第１の人物の前記人物識別情報と、前記第２の人物により選択された前記第１の人物の状態を示す状態情報とを取得し、
    前記プロセッサが、取得した前記人物識別情報と、取得した前記状態情報に対応する前記生体情報とに対応付けられている前記画像及び前記遊具識別情報を前記メモリから抽出する、
    情報処理装置。
  12. カメラと、生体情報測定装置と、情報処理装置と、端末装置とを備える情報処理システムであって、
    前記カメラは、
    第１の人物を撮影する撮影部と、
    前記撮影部によって撮影された画像を前記情報処理装置へ送信する送信部と、
    を備え、
    前記生体情報測定装置は、
    前記第１の人物の生体情報を測定する測定部と、
    前記測定部によって測定された前記生体情報を前記情報処理装置へ送信する送信部と、
    を備え、
    前記情報処理装置は、
    記憶部と、
    前記生体情報測定装置によって送信された前記生体情報を取得する第１取得部と、
    前記生体情報の取得タイミングに同期して、前記カメラによって送信された前記画像を取得する第２取得部と、
    前記画像に基づいて、前記第１の人物を識別するための人物識別情報を特定する第１特定部と、
    前記画像に基づいて、遊具を識別するための遊具識別情報を特定する第２特定部と、
    特定した前記人物識別情報と、取得した前記生体情報と、取得した前記画像と、特定した前記遊具識別情報とを対応付けて前記記憶部に記憶する記憶実行部と、
    前記第１の人物とは異なる第２の人物により選択された前記第１の人物の前記人物識別情報と、前記第２の人物により選択された前記第１の人物の状態を示す状態情報とを前記端末装置から取得する第３取得部と、
    取得された前記人物識別情報と、取得された前記状態情報に対応する前記生体情報とに対応付けられている前記画像及び前記遊具識別情報を前記記憶部から抽出する抽出部と、
    抽出された前記画像及び前記遊具識別情報を前記端末装置へ送信する送信部と、
    を備え、
    前記端末装置は、
    前記第１の人物の前記人物識別情報と、前記第１の人物の状態を示す前記状態情報との前記第２の人物による入力を受け付ける入力受付部と、
    入力された前記人物識別情報と前記状態情報とを前記情報処理装置へ送信する送信部と、
    前記情報処理装置によって送信された前記画像及び前記遊具識別情報を受信する受信部と、
    前記受信部によって受信された前記画像及び前記遊具識別情報を表示する表示部と、
    を備える、
    情報処理システム。
JP2018071841A 2018-04-03 2018-04-03 情報処理方法、情報処理装置及び情報処理システム Active JP7034808B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018071841A JP7034808B2 (ja) 2018-04-03 2018-04-03 情報処理方法、情報処理装置及び情報処理システム
US16/284,506 US10952658B2 (en) 2018-04-03 2019-02-25 Information processing method, information processing device, and information processing system
CN201910171151.6A CN110351326B (zh) 2018-04-03 2019-03-07 信息处理方法、信息处理装置以及信息处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018071841A JP7034808B2 (ja) 2018-04-03 2018-04-03 情報処理方法、情報処理装置及び情報処理システム

Publications (2)

Publication Number Publication Date
JP2019185188A JP2019185188A (ja) 2019-10-24
JP7034808B2 true JP7034808B2 (ja) 2022-03-14

Family

ID=68057538

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018071841A Active JP7034808B2 (ja) 2018-04-03 2018-04-03 情報処理方法、情報処理装置及び情報処理システム

Country Status (3)

Country Link
US (1) US10952658B2 (ja)
JP (1) JP7034808B2 (ja)
CN (1) CN110351326B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11232685B1 (en) * 2018-12-04 2022-01-25 Amazon Technologies, Inc. Security system with dual-mode event video and still image recording
JP2021092945A (ja) * 2019-12-10 2021-06-17 株式会社ベネッセコーポレーション 情報処理装置、プログラム、および情報処理方法
JP7507400B2 (ja) 2020-06-25 2024-06-28 パナソニックＩｐマネジメント株式会社 対象者関心推定システム、対象者関心推定装置、対象者関心推定方法、及び、プログラム
JP2023019738A (ja) * 2021-07-29 2023-02-09 富士フイルム株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004213623A (ja) 2002-11-25 2004-07-29 Eastman Kodak Co 健康管理及び個人セキュリティのための画像生成方法、及び画像生成システム
JP2005039508A (ja) 2003-07-14 2005-02-10 Nec Corp 託児モニタシステム、託児モニタ方法、およびコンピュータプログラム
JP2005305631A (ja) 2004-03-25 2005-11-04 Nec Corp ロボットおよびその制御方法
JP2006051317A (ja) 2004-08-13 2006-02-23 Research Institute Of Human Engineering For Quality Life 感情伝達システム
JP2006080644A (ja) 2004-09-07 2006-03-23 Toshiba Tec Corp カメラ
JP2014026428A (ja) 2012-07-26 2014-02-06 Hybridmom Llc 監督システム
WO2016202166A1 (zh) 2015-06-16 2016-12-22 杭州萤石网络有限公司 一种智能家居视频监控方法和系统
JP2017504153A (ja) 2013-12-19 2017-02-02 フィリップス ライティング ホールディング ビー ヴィ 遊び場内の玩具との相互作用に基づく照明制御
JP2020502698A (ja) 2016-10-11 2020-01-23 アンファン テリブル デザイン アーベー 監視システム

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001125662A (ja) * 1999-08-18 2001-05-11 Fujitsu Ltd 情報処理装置用の認証情報入力手段付き拡張装置、認証情報入力ユニット及び情報処理装置
JP2004234355A (ja) * 2003-01-30 2004-08-19 Toshiba Corp 人物認識装置、人物認識方法および通行制御装置
JP2006133937A (ja) * 2004-11-04 2006-05-25 Fuji Xerox Co Ltd 動作識別装置
JP2006209376A (ja) * 2005-01-27 2006-08-10 Oki Electric Ind Co Ltd 窓口の本人確認システム
JP4624933B2 (ja) * 2005-03-16 2011-02-02 富士フイルム株式会社 撮像装置、撮像方法、アルバム作成装置、アルバム作成方法、アルバム作成システム、及びプログラム
JP2006293912A (ja) * 2005-04-14 2006-10-26 Toshiba Corp 情報表示システム、情報表示方法および携帯端末装置
JP5172167B2 (ja) * 2006-02-15 2013-03-27 株式会社東芝 人物認識装置および人物認識方法
JP5152570B2 (ja) 2008-03-06 2013-02-27 株式会社デンソー 自動車用ユーザーもてなしシステム
DE102008040258A1 (de) * 2008-07-08 2010-01-14 Psylock Gmbh Verfahren und Vorrichtung zur Verbesserung biometrischer Identifizierungssysteme
JP2010146095A (ja) * 2008-12-16 2010-07-01 Toyota Motor Corp 生体認証システム
JP2010282148A (ja) * 2009-06-08 2010-12-16 Brother Ind Ltd 画像表示装置、画像表示方法、及び画像表示プログラム
JP2011090620A (ja) * 2009-10-26 2011-05-06 Hitachi Omron Terminal Solutions Corp 生体情報読取ユニット、および個人認証装置
JP5549504B2 (ja) * 2010-09-27 2014-07-16 ブラザー工業株式会社 画像処理プログラムおよび画像処理装置
JP5625692B2 (ja) * 2010-09-30 2014-11-19 セイコーエプソン株式会社 生体運動情報表示処理装置、生体運動情報処理システム、生体情報処理用のサーバー装置、生体運動情報表示装置、及びプログラム
EP2842491A4 (en) * 2012-04-27 2015-05-27 Toyota Motor Co Ltd DEVICE FOR CALCULATING A RETAINED AMOUNT OF PHYSICAL ACTIVITY, METHOD FOR CALCULATING A RETAINED PHYSICAL ACTIVITY QUANTITY, AND SYSTEM FOR CALCULATING A QUANTITY OF RETAINED PHYSICAL ACTIVITY
JP6040640B2 (ja) * 2012-08-29 2016-12-07 株式会社バッファロー 画像処理装置及びプログラム
CN103413270A (zh) * 2013-08-15 2013-11-27 北京小米科技有限责任公司 一种图像的处理方法、装置和终端设备
JP5735592B2 (ja) * 2013-08-28 2015-06-17 ヤフー株式会社 情報処理装置、制御方法および制御プログラム
JP6281164B2 (ja) 2013-12-25 2018-02-21 株式会社国際電気通信基礎技術研究所 遊び行動認識システム、遊び行動認識プログラム、遊び行動認識方法および遊び行動認識装置
JP6150019B2 (ja) * 2014-09-30 2017-06-21 日本電気株式会社 利用制御システム、人物情報管理システムおよび端末装置
CN104361276B (zh) * 2014-11-18 2017-07-18 新开普电子股份有限公司 一种多模态生物特征身份认证方法及系统
JP5991496B2 (ja) * 2014-11-21 2016-09-14 株式会社ＮｔｔデータＳｍｓ 監視システム、監視方法、及びプログラム
US11160479B2 (en) * 2015-04-23 2021-11-02 Sony Corporation Information processing device and control method
JP6815104B2 (ja) * 2015-12-28 2021-01-20 大和ハウス工業株式会社 映像表示装置及び映像表示方法
JP6022115B1 (ja) * 2016-02-01 2016-11-09 アライドテレシスホールディングス株式会社 情報処理システム
KR102314241B1 (ko) * 2017-03-28 2021-10-20 삼성전자주식회사 적응적 인증 수행 방법 및 이를 지원하는 전자 장치

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004213623A (ja) 2002-11-25 2004-07-29 Eastman Kodak Co 健康管理及び個人セキュリティのための画像生成方法、及び画像生成システム
JP2005039508A (ja) 2003-07-14 2005-02-10 Nec Corp 託児モニタシステム、託児モニタ方法、およびコンピュータプログラム
JP2005305631A (ja) 2004-03-25 2005-11-04 Nec Corp ロボットおよびその制御方法
JP2006051317A (ja) 2004-08-13 2006-02-23 Research Institute Of Human Engineering For Quality Life 感情伝達システム
JP2006080644A (ja) 2004-09-07 2006-03-23 Toshiba Tec Corp カメラ
JP2014026428A (ja) 2012-07-26 2014-02-06 Hybridmom Llc 監督システム
JP2017504153A (ja) 2013-12-19 2017-02-02 フィリップス ライティング ホールディング ビー ヴィ 遊び場内の玩具との相互作用に基づく照明制御
WO2016202166A1 (zh) 2015-06-16 2016-12-22 杭州萤石网络有限公司 一种智能家居视频监控方法和系统
JP2020502698A (ja) 2016-10-11 2020-01-23 アンファン テリブル デザイン アーベー 監視システム

Also Published As

Publication number Publication date
US10952658B2 (en) 2021-03-23
CN110351326B (zh) 2023-06-30
US20190298241A1 (en) 2019-10-03
JP2019185188A (ja) 2019-10-24
CN110351326A (zh) 2019-10-18

Similar Documents

Publication Publication Date Title
JP7034808B2 (ja) 情報処理方法、情報処理装置及び情報処理システム
CN110780707B (zh) 信息处理设备、信息处理方法与计算机可读介质
US11744495B2 (en) Method for objectively tracking and analyzing the social and emotional activity of a patient
CN105745662A (zh) 持久用户标识
CN107004373A (zh) 信息处理装置、信息处理方法以及计算机程序
US20180204480A1 (en) Cognitive training system
JP2007287014A (ja) 画像処理装置、画像処理方法
KR102466438B1 (ko) 인지 기능 평가 시스템 및 인지 기능 평가 방법
JP6649005B2 (ja) ロボット撮影システムおよび画像管理方法
KR102158910B1 (ko) 부모의 성향과 아이의 성향을 동시에 고려한 육아가이드를 제공하는 육아코칭 및 상담 서비스 제공방법 및 제공시스템
WO2021192702A1 (ja) ライフログ提供システムおよびライフログ提供方法
JP6375597B2 (ja) ネットワークシステム、サーバー、プログラム、並びにトレーニング支援方法
Badejo et al. Integrating Automated Fingerprint-based Attendance into a University Portal System
US20160271498A1 (en) System and method for modifying human behavior through use of gaming applications
JP2018109893A (ja) 情報処理方法、装置、及びプログラム
US20230049225A1 (en) Emotion tag assigning system, method, and program
JP2021077218A (ja) 情報処理装置、情報処理方法、および情報処理プログラム
JP6958795B1 (ja) 情報処理方法、コンピュータプログラム及び情報処理装置
KR102464925B1 (ko) 웨어러블 디바이스 및 웨어러블 디바이스의 제어방법
KR102508889B1 (ko) 디지털 트윈 기반의 영유아 시설 모니터링 방법 및 시스템
JP2003162188A5 (ja)
TWI640898B (zh) 即時互動分析之擴增實境方法及系統
JP2012226085A (ja) 電子機器、制御方法、および制御プログラム
WO2024190070A1 (ja) 情報処理装置及び情報処理方法、コンピュータプログラム、並びに情報処理システム
KR20150112370A (ko) 도서 및 장난감을 이용한 조기 적성 및 교육 상태 모니터링 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201013

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211019

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220302

R150 Certificate of patent or registration of utility model

Ref document number: 7034808

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150