WO2020118882A1 - 学习状态监测方法、装置及智能设备 - Google Patents

学习状态监测方法、装置及智能设备 Download PDF

Info

Publication number
WO2020118882A1
WO2020118882A1 PCT/CN2019/073758 CN2019073758W WO2020118882A1 WO 2020118882 A1 WO2020118882 A1 WO 2020118882A1 CN 2019073758 W CN2019073758 W CN 2019073758W WO 2020118882 A1 WO2020118882 A1 WO 2020118882A1
Authority
WO
WIPO (PCT)
Prior art keywords
preset
character
image
reader
character information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2019/073758
Other languages
English (en)
French (fr)
Inventor
李梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Water World Co Ltd
Original Assignee
Shenzhen Water World Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Water World Co Ltd filed Critical Shenzhen Water World Co Ltd
Publication of WO2020118882A1 publication Critical patent/WO2020118882A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the invention relates to the field of information processing technology, in particular to a learning state monitoring method, device and intelligent equipment.
  • the reading robot can only automatically turn over books and read books automatically, but it cannot test whether the children are seriously studying or doing other unrelated things while reading.
  • the main purpose of the present invention is to provide a learning state monitoring method, device and intelligent equipment.
  • the learning state monitoring method can check whether the reader is studying seriously during the reading process using the intelligent equipment.
  • the present invention provides a learning state monitoring method, including:
  • the second image is collected
  • the invention also proposes a learning state monitoring device, including:
  • the first acquisition module is used to acquire the first image
  • the first analysis module is used to analyze whether the first image contains the specified content information
  • the second collection module is used to collect the second image when the first image contains the specified content information
  • the second analysis module is used to analyze whether the second image contains person information
  • the third analysis module is used to analyze whether the character information meets the preset character status standard when the second image contains the character information
  • the first forming module is used to form a first monitoring result corresponding to the reader's learning state when the character information does not meet the preset character state standard;
  • the second forming module is used to form a second monitoring result corresponding to the reader's learning state when the character information meets the preset character state standard.
  • the present invention also provides an intelligent device including a memory, a processor, and a computer program.
  • the computer program is stored in the memory and configured to be executed by the processor, and the computer program is configured to perform the foregoing learning state monitoring method.
  • the present invention has the beneficial effect that the learning state monitoring method of the present invention acquires the image during reading learning by the reader, and then analyzes whether the character information in the image meets the preset character state standard to obtain Whether the reader is currently studying seriously, when the character information does not meet the preset character status standards, it means that the reader is not studying seriously, and then can set the reminder to urge the reader to study hard, such as by alerting the reader Readers study hard, or inform the supervisor by sending a prompt message to the supervisor’s terminal device that the current reader is not studying seriously, and the supervisor urges the reader to study carefully, so that it can effectively use the smart device for reading Monitor the reader's learning status to improve children's learning efficiency.
  • FIG. 1 is a schematic flowchart of a learning state monitoring method in an implementation of the present invention
  • FIG. 2 is a schematic structural diagram of an intelligent device in an embodiment of the present invention.
  • FIG. 3 is a schematic structural diagram of a learning state monitoring device in an implementation of the present invention.
  • FIG. 4 is a schematic structural diagram of a learning state monitoring device in another implementation of the present invention.
  • FIG. 5 is a schematic diagram of the specific structure of FIG. 3.
  • an embodiment of the present invention proposes a learning state monitoring method, which is applied to a smart device.
  • the smart device may be a speaker, a robot, a mobile phone, or a tablet.
  • the robot may be a reading robot.
  • the present invention regards the reading robot as Examples.
  • the method includes:
  • a camera can be installed on the reading robot to acquire a desired image.
  • a first camera for scanning content information and a first camera for monitoring the activity status of the reader can be provided on the reading robot
  • Two cameras to collect the required images separately, for example, a panoramic camera can be set on the reading robot to scan the content information and monitor the reader's activity status to collect the required images, etc.
  • the embodiment of the present invention sets a first camera for scanning content information and a second camera for monitoring the reader's activity status on the reading robot to separately collect the required
  • the image is used as an example to explain and explain;
  • the reader faces the reading robot, and at the same time, places the book at the designated position of the reading robot, wherein the angle of view of the first camera covers the designated position to scan the content of the book.
  • the angle of view of the two cameras covers the upper body area of the reader to monitor the reader's activity status; when in use, the content of the book can be scanned by turning on the first camera to collect the first image, so that the subsequent reading robot can An image reads the content of the book correctly and determines whether to turn on the second camera for shooting.
  • the specified content information may be text on the book, pictures on the book, or text and pictures on the book.
  • the first image After collecting the first image, perform text recognition on the first image or Image recognition, you can know whether the first image contains the specified content information, for example, by performing text recognition on the first image, you can analyze whether the first image contains text, when it is analyzed that the first image contains text, then Through the existing speech synthesis technology, the recognized text can be converted into corresponding speech, thereby realizing the reading function of the reading robot.
  • the reading robot when it is analyzed that the first image contains the specified content information, the reading robot performs "reading", and at the same time turns on the second camera, and shoots the scene within its own angle of view through the second camera, thereby collecting continuous Multiple frames of the second image for subsequent related operations based on the second image.
  • the character information in the second image meets the preset character status standard. If the character information meets the preset character status standard, it indicates that the current The reader is studying carefully, but if the character information does not meet the preset character status standards, it indicates that the current reader is not studying seriously, but is doing other things that have nothing to do with reading.
  • the reading robot when the character information in the second image does not meet the preset character status standard, the reading robot forms a monitoring result corresponding to the reader's learning status as inadequate learning, that is, the first monitoring result; and when the character information in the second image meets the preset character status standard, the reading robot forms a monitoring result corresponding to the reader's learning status as serious learning, that is, the above-mentioned second monitoring result, so as to achieve the purpose of checking whether the reader is studying seriously.
  • the method further includes:
  • the reading robot when the reading robot forms the second monitoring result corresponding to the reader's learning state, it can initially indicate that the current reader is studying seriously, and at this time, after the first preset time (such as 30 seconds), the first The third image is acquired by the camera, that is, the image is acquired by the first camera again after an interval of time, so as to perform related operations later.
  • the first preset time such as 30 seconds
  • the third image is compared with the first image previously collected, and whether the third image is the same as the first image is analyzed to facilitate subsequent related operations.
  • the fourth image contains character information
  • the reading robot can accordingly obtain the monitoring result that the reader does not study seriously, namely the first monitoring result; if the fourth image The character information in the file meets the preset character status standard, which means that the current reader is reading the book seriously. At this time, the reading robot can obtain the monitoring result of the reader's serious learning based on this, that is, the above-mentioned second monitoring result.
  • the character information includes the angle between the shoulders and the horizontal direction. At this time, it can be analyzed whether the character information in the second image or the fourth image meets the preset character status standard in the following manner:
  • the angle between the shoulder and the horizontal direction is greater than the first preset angle (such as 30 degrees).
  • the angle from the horizontal direction is greater than the first preset angle, indicating that the current reader's body tilt is too large, such as lying on the table or leaning on a chair to lazy or sleep, at this time it can be determined that the person information is not It meets the preset character status standard, that is, the current reader is not studying seriously, so as to facilitate the follow-up to set the reminder to urge the reader to study carefully, so as to improve the reader's learning efficiency.
  • the reader is reading It is necessary to maintain a good reading posture so as not to be "misjudged" by the reading robot, which is conducive to urging readers to develop a good reading posture.
  • the character information includes the angle between the head and any shoulder. In this case, it can be analyzed whether the character information in the second image or the fourth image meets the preset character status standard in the following manner:
  • the angle between the head and any shoulder is less than the second preset angle (such as 60 degrees)
  • the angle between the head and any shoulder is less than the second preset angle
  • it indicates that the current reader's head tilt is too large, such as dozing at this time it can be determined that the character information does not meet the preset
  • the character status standard that is, the current reader is not studying seriously, so as to facilitate the follow-up to set the reminder to urge the reader to study carefully, so as to improve the reader's learning efficiency.
  • the reader needs to maintain good while reading The reading posture will not be "misjudged" by the reading robot, which is conducive to urging the reader to develop a good reading posture.
  • the character information includes the time that the eyes continue to be closed. At this time, whether the character information in the second image or the fourth image meets the preset character status standard can be analyzed in the following manner:
  • the second preset time such as 20 seconds
  • the time that the eyes continue to close exceeds the second preset time
  • the character information does not meet the preset character status standards, that is At present, the reader is not studying seriously, so as to facilitate the follow-up to set the reminder to urge the reader to study seriously, so as to improve the reader's learning efficiency.
  • the character information includes the number of blinks within a third preset time, and at this time, it can be analyzed whether the character information in the second image or the fourth image meets the preset character status standard in the following manner:
  • the third preset time such as 20 seconds
  • the number of times such as 10 times. If the number of blinks in the third preset time exceeds the preset number, it indicates that the current reader is blinking frequently, for example, dozing off or opening a small gap. At this time, it can be determined that the person information does not match
  • the preset character status standard that is, the current reader is not studying seriously, and then facilitates the follow-up to set the reminder to urge the reader to study carefully, so as to improve the reader's learning efficiency.
  • the character information includes the ratio of the height of the mouth to the width. At this time, it can be analyzed whether the character information in the second image or the fourth image meets the preset character status standard in the following manner:
  • the ratio of the height of the mouth to the width is greater than a preset value (for example, the preset value can be set to "1" ), if the ratio of the height of the mouth to the width is greater than the preset value, it means that the current reader’s mouth movement is too large, such as yawning, at this time it can be determined that the character information does not meet the preset character status standards, That is, the current reader is not studying seriously, and it is convenient for the follow-up to set the reminder to urge the reader to study seriously, so as to improve the reader's learning efficiency.
  • a preset value for example, the preset value can be set to "1"
  • the method further includes:
  • S16a issue an alarm to the reader or/and send prompt information to the terminal device of the supervisor.
  • the reading robot when the reading robot forms the first monitoring result corresponding to the learning state of the reader, it indicates that the current reader is not studying seriously, but is doing other things that have nothing to do with reading.
  • the reader issues an alert to remind the reader to study seriously, or by sending a prompt message to the terminal device (such as a smartphone) of the supervisor (parent) to inform the supervisor that the current reader (child) is not studying seriously so that the supervisor can urge reading
  • the learners study carefully, which is conducive to improving the learning efficiency of the readers.
  • the method further includes:
  • S22b If the length of time for which no reminder information is sent exceeds the preset time length, play a voice message to encourage the reader or/and send the status information that the reader is studying carefully to the terminal device of the supervisor.
  • the character information in the fourth image meets the preset character status standard, it means that the reader is in a state of serious study for a considerable period of time.
  • the length of time that no reminder message is issued Exceeds the preset length of time (such as 30 minutes)
  • the length of time without a reminder message exceeds the preset length of time
  • the reading robot can play a voice message to encourage the reader (child), such as "baby, you have been studying hard for 30 minutes, great!
  • the learning state monitoring method acquires the image of the reader during reading learning, and then analyzes whether the character information in the image meets the preset character state standard to obtain whether the reader is currently studying seriously.
  • the character information does not meet the preset character status standard, it means that the reader is not studying seriously, and then can set the reminder to urge the reader to study seriously, such as by alerting the reader to remind the reader to study seriously, or by
  • the supervisor’s terminal device sends a prompt message to inform the supervisor that the current reader is not studying seriously.
  • the supervisor urges the reader to study carefully, so that the reader’s learning status can be effectively monitored during the reading process using the reading robot. Improve children's learning efficiency.
  • an embodiment of the present invention further provides a learning state monitoring device, including:
  • the first acquisition module 1 is used to acquire the first image
  • the first analysis module 2 is used to analyze whether the first image contains the specified content information
  • the second collection module 3 is used to collect a second image when the first image contains specified content information
  • the second analysis module 4 is used to analyze whether the second image contains person information
  • the third analysis module 5 is used to analyze whether the character information meets the preset character status standard when the second image contains the character information
  • the first forming module 6 is used to form a first monitoring result corresponding to the reader's learning state when the character information does not meet the preset character state standard;
  • the second forming module 7 is used to form a second monitoring result corresponding to the reader's learning state when the character information meets the preset character state standard.
  • a camera can be set on the reading robot to acquire a desired image, for example, a first camera for scanning content information and a reader can be set on the reading robot The second camera in the active state to separately acquire the required images.
  • a panoramic camera for simultaneously scanning content information and monitoring the active state of the reader can be set on the reading robot to acquire the required images, etc.
  • the embodiment of the present invention sets a first camera for scanning content information and a second camera for monitoring the reader's activity status on the reading robot respectively Take the required images as an example to make relevant explanations and explanations;
  • the reader before using the reading robot for reading, faces the reading robot, and at the same time places the book at the designated position of the reading robot, wherein the viewing angle range of the first camera covers the designated position to scan the content of the book, and the second The angle of view of the camera covers the upper body area of the reader to monitor the state of the reader; when in use, the first acquisition module 1 can scan the content of the book by turning on the first camera to acquire the first image for subsequent reading The robot correctly reads the content of the book according to the first image and determines whether to turn on the second camera to shoot.
  • the specified content information may be text on the book, or pictures on the book, or text and pictures on the book.
  • the first analysis module 2 from the first collection module 1 After obtaining the first image, by performing text recognition or image recognition on the first image, you can know whether the first image contains the specified content information. For example, by performing text recognition on the first image, you can analyze whether the first image Contains text.
  • the first analysis module 2 analyzes that the first image contains text, the recognized text can be converted into the corresponding voice through the existing speech synthesis technology, thereby realizing the reading function of the reading robot.
  • the reading robot when the first analysis module 2 analyzes that the first image contains the specified content information, the reading robot performs "reading", and at the same time, the second collection module 3 can view its own perspective by turning on the second camera The scene within the range is photographed, so as to collect a second image of consecutive multiple frames, so as to subsequently perform related operations according to the second image.
  • the second analysis module 4 can perform visual inspection on the second image to analyze whether the second image contains person information. If the second image contains person information, it indicates that there is currently a reader Reading.
  • the third analysis module 5 when the second analysis module 4 analyzes that the second image contains person information, the third analysis module 5 further analyzes whether the person information in the second image meets the preset person status standard , If the character information meets the preset character status standard, it indicates that the current reader is studying seriously, but if the character information does not meet the preset character status standard, it indicates that the current reader is not studying seriously, but doing other irrelevant Things to read.
  • the third analysis module 5 when the third analysis module 5 analyzes that the character information in the second image does not meet the preset character status standard, the corresponding reading is formed by the first forming module 6
  • the learner's learning status is the monitoring result of inattentive learning, that is, the above-mentioned first monitoring result; and when the character information in the second image analyzed by the third analysis module 5 meets the preset character status standard, the second forming module 7 A monitoring result corresponding to the learning status of the reader is carefully studied, that is, the above-mentioned second monitoring result, so as to achieve the purpose of checking whether the reader is studying seriously.
  • the learning state monitoring device further includes a third collection module 8, a fourth analysis module 9, and a fourth collection module 10, wherein,
  • the third acquisition module 8 is used to acquire the third image after the first preset time
  • the fourth analysis module 9 is used to analyze whether the third image is the same as the first image
  • the fourth collection module 10 is used to collect a fourth image when the third image is the same as the first image
  • the second analysis module 4 is also used to analyze whether the fourth image contains person information
  • the third analysis module 5 is also used to analyze whether the character information meets the preset character status standard when the fourth image contains the character information.
  • the second forming module 7 when the second forming module 7 forms a second monitoring result corresponding to the reader's learning state, it can initially indicate that the current reader is studying seriously, and at this time the third collection module 8 is in the first After setting the time (for example, 30 seconds), the third image can be collected by the first camera, so as to perform related operations later.
  • the fourth analysis module 9 specifically, after the fourth analysis module 9 obtains the third image from the third acquisition module 8, the fourth analysis module 9 compares the third image with the previously acquired first image to analyze Whether the third image is the same as the first image, so as to perform related operations later.
  • the fourth analysis module 9 when the fourth analysis module 9 analyzes that the third image is the same as the first image, it indicates that the reader has not turned the book within a certain period of time, and the fourth collection module 10 can pass
  • the second camera is turned on to take pictures of the scene within its own angle of view again, so as to acquire fourth images in consecutive multiple frames, so that the subsequent second analysis module 4 performs related operations according to the fourth images.
  • the second analysis module 4 visually inspects the fourth image to analyze whether the fourth image contains person information. If the fourth image contains person information, it indicates that a reader is currently in Read it.
  • the third analysis module 5 when the second analysis module 4 analyzes that the fourth image contains person information, the third analysis module 5 further analyzes whether the person information in the fourth image meets the preset person status standard If the character information in the fourth image does not meet the preset character status standard, the first forming module 6 can accordingly obtain the monitoring result that the reader does not study seriously, that is, the above-mentioned first monitoring result; if the fourth image The character information of the user meets the preset character status standard, which means that the current reader is reading the book seriously. At this time, the second forming module 7 can obtain the monitoring result of the reader's serious study, that is, the above-mentioned second monitoring result.
  • the character information includes the angle between the shoulders and the horizontal direction
  • the third analysis module 5 includes a first analysis unit 5a and a first determination unit 5b, where,
  • the first analysis unit 5a is configured to analyze whether the angle between the shoulders and the horizontal direction is greater than the first preset angle
  • the first determining unit 5b is configured to determine that the character information does not meet the preset character status standard when the angle between the shoulders and the horizontal direction is greater than the first preset angle.
  • the first analysis unit 5a performs visual detection on the continuous multi-frame character images collected by the second camera to analyze whether the angle between the shoulders and the horizontal direction is greater than the first preset angle (such as 30 Degrees), if the angle between the shoulders and the horizontal direction is greater than the first preset angle, it means that the current reader’s body tilt is too large, such as lying on the table or leaning on the chair to lazy or sleep, the first judgment Unit 5b can determine that the character information does not meet the preset character status standards, that is, the current reader is not studying seriously, which is convenient for subsequent follow-up through setting reminder module 11 to urge the reader to study carefully, so as to improve the learning efficiency of the reader, At the same time, this also means that the reader needs to maintain a good reading posture in order not to be "misjudged" by the reading robot, which is conducive to urging the reader to develop a good reading posture.
  • the first preset angle such as 30 Degrees
  • the character information includes the angle between the head and any shoulder
  • the third analysis module 5 includes a second analysis unit 5c and a second determination unit 5d, where,
  • the second analysis unit 5c is used to analyze whether the angle between the head and any shoulder is smaller than the second preset angle
  • the second determining unit 5d is configured to determine that the character information does not meet the preset character status standard when the angle between the head and any shoulder is smaller than the second preset angle.
  • the second analysis unit 5c performs visual detection on the continuous multi-frame character images collected by the second camera to analyze whether the angle between the head and any shoulder is less than the second preset angle (for example, 60 degrees), if the angle between the head and any shoulder is less than the second preset angle, it indicates that the current reader’s head tilt is too large, for example, while dozing, at this time the second determination unit 5d can This determines that the character information does not meet the preset character status standards, that is, the current reader is not studying seriously, and it is convenient for the follow-up to set the reminder module 11 to urge the reader to study carefully to improve the reader's learning efficiency. At the same time, this also It means that the reader needs to maintain a good reading posture in order not to be "misjudged" by the reading robot, which is conducive to urging the reader to develop a good reading posture.
  • the second preset angle For example, 60 degrees
  • the character information includes the time that the eyes continue to be closed, and at this time, the third analysis module 5 includes a third analysis unit 5e and a third determination unit 5f, where,
  • the third analysis unit 5e is used to analyze whether the time of continuous eye closure exceeds the second preset time
  • the third determining unit 5f is configured to determine that the character information does not meet the preset character status standard when the time that the eyes continue to close exceeds the second preset time.
  • the third analysis unit 5e performs face detection and face recognition on the continuous multi-frame character images collected by the second camera, and it can be analyzed whether the duration of continuous eye closure exceeds the second preset time (such as 20 seconds), if the time that the eyes continue to close exceeds the second preset time, it means that the current reader's eyes continue to close for too long, for example, while dozing, at this time, the third determination unit 5f can determine the person information according to this It does not meet the preset character status standard, that is, the current reader is not studying seriously, and it is convenient for the follow-up to set the reminder module 11 to urge the reader to study carefully, so as to improve the reader's learning efficiency.
  • the second preset time such as 20 seconds
  • the person information includes the number of blinks within a third preset time, and at this time, the third analysis module 5 includes a fourth analysis unit 5g and a fourth determination unit 5h, where,
  • the fourth analysis unit 5g is configured to analyze whether the number of blinks in the third preset time exceeds the preset number of times;
  • the fourth determining unit 5h is configured to determine that the character information does not meet the preset character status standard when the number of blinks in the third preset time exceeds the preset number of times.
  • the fourth analysis unit 5g performs face detection and face recognition on the continuous multi-frame character images collected by the second camera to analyze the blink within a third preset time (such as 20 seconds) Whether the number of times exceeds the preset number of times (such as 10 times), if the number of blinks exceeds the preset number of times within the third preset time, it indicates that the current reader is blinking frequently, for example, dozing off or opening a small gap, at this time the fourth determination unit According to 5h, it can be determined that the character information does not meet the preset character status standard, that is, the current reader is not studying seriously, which is convenient for subsequent follow-up through setting the reminder module 11 to urge the reader to study carefully, so as to improve the reader's learning efficiency.
  • the character information includes the ratio of the height of the mouth to the width.
  • the third analysis module 5 includes a fifth analysis unit 5i and a fifth determination unit 5j, where,
  • the fifth analysis unit 5i is used to analyze whether the ratio of the height of the mouth to the width is greater than a preset value
  • the fifth determining unit 5j is configured to determine that the character information does not meet the preset character status standard when the ratio of the height of the mouth to the width is greater than the preset value.
  • the fifth analysis unit 5i performs visual detection on the continuous multi-frame character images collected by the second camera, and it can be analyzed whether the ratio of the mouth height to the width is greater than a preset value (for example, the preset value can be Set to "1"), if the ratio of the height of the mouth to the width is greater than the preset value, it means that the current reader’s mouth movement is too large, such as yawning, at this time the fifth judgment unit 5j can judge the character accordingly
  • the information does not conform to the preset character status standard, that is, the current reader is not studying seriously, which is convenient for subsequent follow-up by setting the reminder module 11 to urge the reader to study seriously, so as to improve the reader's learning efficiency.
  • the learning state monitoring device further includes a reminder module 11, which is used to issue an alarm to the reader or/and send prompt information to the terminal device of the supervisor.
  • the first forming module 6 forms the first monitoring result corresponding to the learning state of the reader, it indicates that the current reader is not studying seriously, but is doing other things that have nothing to do with reading.
  • the reminder module 11 can alert the reader to remind the reader to study seriously, or the reminder module 11 can send a prompt message to the terminal device (such as a smartphone) of the supervisor (parent) to inform the supervisor of the current reader (child) There is no serious study, so that the supervisor urges the reader to study carefully, which is conducive to improving the reader's learning efficiency.
  • These two reminder methods can be used one at a time or at the same time. There are no specific restrictions on this.
  • the learning state monitoring device further includes a fifth analysis module 12 and a reporting module 13, wherein,
  • the fifth analysis module 12 is used to analyze whether the length of time that no reminder information is sent exceeds the preset time length when the character information in the fourth image meets the preset character status standard, wherein the issue of the reminder information includes an alert to the reader Or/and send prompt information to the supervisor's terminal equipment;
  • the reporting module 13 is used to play a voice message to encourage the reader or/and send the status of the reader to the terminal device of the supervisor when the reminder message is not sent out beyond the preset length of time information.
  • the fifth analysis module 12 can further analyze and remind Whether the length of time that the module 11 does not issue a reminder message exceeds the preset length of time (such as 30 minutes). If the length of time that the reminder module 11 does not issue a reminder message exceeds the preset length of time, it means that the reader has been in a considerable period of time ( The length of this time period is determined by the preset time length) are in a state of serious learning, at this time, the voice message used to encourage the reader can be played to the reader (child) through the reporting module 13, such as "baby you have studied hard 30 minutes, great!
  • the learning status monitoring device of the embodiment of the present invention can acquire whether the reader is currently studying seriously by collecting the image of the reader during reading learning and then analyzing whether the character information in the image meets the preset character status standard.
  • the character information does not meet the preset character status standard, it means that the reader is not studying seriously, and then can set the reminder to urge the reader to study seriously, such as by alerting the reader to remind the reader to study seriously, or by
  • the supervisor’s terminal device sends a prompt message to inform the supervisor that the current reader is not studying seriously.
  • the supervisor urges the reader to study carefully, so that the reader’s learning status can be effectively monitored during the reading process using the reading robot. Improve children's learning efficiency.
  • an embodiment of the present invention further provides an intelligent device, including a memory 100, a processor 200, and a computer program 300.
  • the computer program 300 is stored in the memory 100 and configured to be executed by the processor 200, and the computer program 300 is It is configured to perform the learning state monitoring method in any of the above embodiments.

Landscapes

  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明揭示了一种学习状态监测方法、装置及智能设备，其中，学习状态监测方法包括：采集第一图像；分析第一图像中是否含有内容信息；若是，则采集第二图像；分析第二图像中是否含有人物信息；若是，则分析人物信息是否符合预设的人物状态标准；若否，则形成第一监测结果。该学习状态监测方法可检验阅读者是否在认真学习。

Description

学习状态监测方法、装置及智能设备 技术领域
本发明涉及到信息处理技术领域，特别是涉及到一种学习状态监测方法、装置及智能设备。
 背景技术
现有技术中，阅读机器人只能自动翻书，自动读书，但是无法做到在读书的时候，检验小孩子是否有在认真学习，还是在做其他无关的事。
因此，如何在使用阅读机器人的过程中检验小孩是否在认真学习，以对小孩的学习进行监督，提高小孩的学习效率，是本领域技术人员亟待解决的技术问题。
 技术问题
本发明的主要目的为提供一种学习状态监测方法、装置及智能设备，该学习状态监测方法可在使用智能设备进行阅读的过程中检验阅读者是否在认真学习。
 技术解决方案
本发明提出一种学习状态监测方法，包括：
采集第一图像；
分析第一图像中是否含有指定的内容信息；
若第一图像中含有指定的内容信息，则采集第二图像；
分析第二图像中是否含有人物信息；
若第二图像中含有人物信息，则分析人物信息是否符合预设的人物状态标准；
若否，则形成对应阅读者学习状态的第一监测结果；
若是，则形成对应阅读者学习状态的第二监测结果。
本发明还提出一种学习状态监测装置，包括：
第一采集模块，用于采集第一图像；
第一分析模块，用于分析第一图像中是否含有指定的内容信息；
第二采集模块，用于当第一图像中含有指定的内容信息时，采集第二图像；
第二分析模块，用于分析第二图像中是否含有人物信息；
第三分析模块，用于当第二图像中含有人物信息时，分析人物信息是否符合预设的人物状态标准；
第一形成模块，用于当人物信息不符合预设的人物状态标准时，形成对应阅读者学习状态的第一监测结果；
第二形成模块，用于当人物信息符合预设的人物状态标准时，形成对应阅读者学习状态的第二监测结果。
本发明还提出一种智能设备，包括存储器、处理器和计算机程序，计算机程序被存储在存储器中并被配置为由处理器执行，计算机程序被配置为用于执行前述的学习状态监测方法。
 有益效果
本发明与现有技术相比，有益效果在于：本发明的学习状态监测方法通过采集阅读者进行阅读学习时的图像，进而通过分析图像中的人物信息是否符合预设的人物状态标准，得出阅读者当前是否在认真学习，当人物信息不符预设的人物状态标准时，则说明阅读者当前没有在认真学习，进而可以通过设置提醒来督促阅读者认真学习，如通过向阅读者发出警报来提醒阅读者认真学习，又或者通过向监督者的终端设备发送提示信息来告知监督者当前阅读者没有认真学习，由监督者督促阅读者认真学习，从而能有效地在使用智能设备进行阅读的过程中对阅读者的学习状态进行监测，提高小孩的学习效率。
 附图说明
图1是本发明一实施中学习状态监测方法的流程示意图；
图2是本发明一实施例中智能设备的结构示意图；
图3是本发明一实施中学习状态监测装置的结构示意图；
图4是本发明另一实施中学习状态监测装置的结构示意图；
图5是图3的具体结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
 本发明的最佳实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，本发明实施例提出一种学习状态监测方法，应用于智能设备，该智能设备可以为音箱、机器人、手机、平板，机器人可以为阅读机器人，为方便理解，本发明以阅读机器人为例进行阐述。该方法包括：
S11，采集第一图像；
S12，分析第一图像中是否含有指定的内容信息；
S13，若第一图像中含有指定的内容信息，则采集第二图像；
S14，分析第二图像中是否含有人物信息；
S15，若第二图像中含有人物信息，则分析人物信息是否符合预设的人物状态标准；
若否，则执行S16，形成对应阅读者学习状态的第一监测结果；
若是，则执行S17, 形成对应阅读者学习状态的第二监测结果。
在上述S11中，具体地，可通过在阅读机器人上设置摄像头来采集所需的图像，例如，可在阅读机器人上设置用于扫描内容信息的第一摄像头以及用于监视阅读者活动状态的第二摄像头来分别采集所需的图像，又例如，可在阅读机器人上设置用于同时扫描内容信息和监视阅读者活动状态的全景摄像头来采集所需的图像，等等，对此不作具体的限制，为了方便说明和解释本发明实施例的内容，本发明实施例以在阅读机器人上设置用于扫描内容信息的第一摄像头以及用于监视阅读者活动状态的第二摄像头来分别采集所需的图像为例，进行相关的说明和解释；
具体地，在使用阅读机器人进行阅读之前，阅读者面向阅读机器人，同时，将图书放于阅读机器人的指定位置上，其中，第一摄像头的视角范围覆盖指定位置以对图书的内容进行扫描，第二摄像头的视角范围覆盖阅读者的上半身区域以对阅读者的活动状态进行监视；使用时，可通过开启第一摄像头对图书的内容进行扫描，从而采集到第一图像，以便后续阅读机器人根据第一图像正确读出图书的内容以及确定是否开启第二摄像头进行拍摄。
在上述S12中，指定的内容信息可以是图书上的文字，也可以是图书上的图画，也可以是图书上的文字和图画，采集到第一图像后，通过对第一图像进行文字识别或图像识别，可获知第一图像中是否含有指定的内容信息，例如，通过对第一图像进行文字识别，可分析出第一图像中是否含有文字，当分析出第一图像中含有文字时，再通过现有的语音合成技术即可将识别出的文字转换成对应的语音，从而实现阅读机器人的读书功能。
在上述S13中，当分析出第一图像中含有指定的内容信息时，阅读机器人进行“读书”，同时开启第二摄像头，通过第二摄像头对自身视角范围内的景象进行拍摄，从而采集到连续多帧的第二图像，以便后续根据第二图像进行相关操作。
在上述S14中，通过对第二图像进行视觉检测，分析出第二图像中是否含有人物信息，若第二图像中含有人物信息，则表明当前有阅读者在进行阅读。
在上述S15中，当分析出第二图像中含有人物信息时，则进一步分析第二图像中的人物信息是否符合预设的人物状态标准，若人物信息符合预设的人物状态标准，则表明当前阅读者正在认真学习，但若人物信息不符合预设的人物状态标准，则表明当前阅读者没有在认真学习，而是在做其他无关阅读的事。
在上述S16、S17中，当第二图像中的人物信息不符合预设的人物状态标准时，则阅读机器人形成对应阅读者学习状态为不认真学习的监测结果，即上述第一监测结果；而当第二图像中的人物信息符合预设的人物状态标准时，则阅读机器人形成对应阅读者学习状态为认真学习的监测结果，即上述第二监测结果，从而达到检验阅读者是否在认真学习的目的。
在一个优选的实施例中，形成对应阅读者学习状态的第二监测结果的步骤之后，还包括：
S18，在第一预设时间后采集第三图像；
S19，分析第三图像与第一图像是否相同；
S20，若第三图像与第一图像相同，则采集第四图像；
S21，分析第四图像中是否含有人物信息；
S22，若第四图像中含有人物信息，则分析人物信息是否符合预设的人物状态标准；
S23，若人物信息不符合预设的人物状态标准，则形成对应阅读者学习状态的第一监测结果。
在上述S18中，当阅读机器人形成对应阅读者学习状态的第二监测结果时，则可初步说明当前阅读者正在认真学习，此时在第一预设时间（如30秒）后可通过第一摄像头来采集第三图像，即隔段时间后再次通过第一摄像头进行图像的采集，以便后续进行相关操作。
在上述S19中，具体地，采集到第三图像后，将第三图像与之前采集到的第一图像进行比较，分析第三图像与第一图像是否相同，以便后续进行相关操作。
在上述S20中，当分析出第三图像与第一图像相同时，则表明在相当一段时间内阅读者并没有翻书，此时再次开启第二摄像头，通过第二摄像头对自身视角范围内的景象再次进行拍摄，从而采集到连续多帧的第四图像，以便后续根据第四图像进行相关操作。
在上述S21中，通过对第四图像进行视觉检测，分析出第四图像中是否含有人物信息，若第四图像中含有人物信息，则表明当前有阅读者在进行阅读。
在上述S22中，当分析出第四图像中含有人物信息时，则进一步分析第四图像中的人物信息是否符合预设的人物状态标准，若人物信息符合预设的人物状态标准，则表明当前阅读者正在认真学习，但若人物信息不符合预设的人物状态标准时，则表明当前阅读者没有在认真学习，而是在做其他无关阅读的事。
在上述S23中，若第四图像中的人物信息不符合预设的人物状态标准，则阅读机器人可据此得到阅读者不认真学习的监测结果，即上述的第一监测结果；若第四图像中的人物信息符合预设的人物状态标准，则说明当前阅读者正在认真看书，此时阅读机器人可据此得到阅读者认真学习的监测结果，即上述的第二监测结果。
在本实施例中，当初步发现阅读者处于认真学习的状态时，则通过每隔一段时间检测阅读者是否有翻书的方式，来进一步确认接下来的时间里阅读者是否仍处于认真学习的状态，使得阅读机器人可持续地对阅读者的学习状态进行监测，提高了阅读机器人的实用性。
在一个优选的实施例中，人物信息包括双肩与水平方向之间的角度，此时可通过以下方式分析第二图像或第四图像中的人物信息是否符合预设的人物状态标准：
S15a，分析双肩与水平方向之间的角度是否大于第一预设角度；
S15b，若双肩与水平方向之间的角度大于第一预设角度，则判定人物信息不符合预设的人物状态标准。
在本实施例中，通过对第二摄像头采集到的连续多帧的人物图像进行视觉检测，可分析出双肩与水平方向之间的角度是否大于第一预设角度（如30度），若双肩与水平方向之间的角度大于第一预设角度，则表明当前阅读者的身体倾斜幅度过大，如趴在桌子上或倚靠在椅子上偷懒或睡觉，此时可据此判定出人物信息不符合预设的人物状态标准，即当前阅读者没有在认真学习，进而便于后续通过设置提醒来督促阅读者认真学习，以提高阅读者的学习效率，同时，这也意味着阅读者在进行阅读时需要保持较好的阅读姿势才不会被阅读机器人“误判”，这样有利于督促阅读者养成良好的阅读姿势。
在一个优选的实施例中，人物信息包括头部与任意一肩膀之间的角度，此时可通过以下方式分析第二图像或第四图像中的人物信息是否符合预设的人物状态标准：
S15c，分析头部与任意一肩膀之间的角度是否小于第二预设角度；
S15d，若头部与任意一肩膀之间的角度小于第二预设角度，则判定人物信息不符合预设的人物状态标准。
在本实施例中，通过对第二摄像头采集到的连续多帧的人物图像进行视觉检测，可分析出头部与任意一肩膀之间的角度是否小于第二预设角度（如60度），若头部与任意一肩膀之间的角度小于第二预设角度，则表明当前阅读者的头部倾斜幅度过大，例如在打瞌睡，此时可据此判定出人物信息不符合预设的人物状态标准，即当前阅读者没有在认真学习，进而便于后续通过设置提醒来督促阅读者认真学习，以提高阅读者的学习效率，同时，这也意味着阅读者在进行阅读时需要保持较好的阅读姿势才不会被阅读机器人“误判”，这样有利于督促阅读者养成良好的阅读姿势。
在一个优选的实施例中，人物信息包括眼睛持续闭合的时间，此时可通过以下方式分析第二图像或第四图像中的人物信息是否符合预设的人物状态标准：
S15e，分析眼睛持续闭合的时间是否超出第二预设时间；
S15f，若眼睛持续闭合的时间超出第二预设时间，则判定人物信息不符合预设的人物状态标准。
在本实施例中，通过对第二摄像头采集到的连续多帧的人物图像进行人脸检测和人脸识别，可分析出眼睛持续闭合的时间是否超出第二预设时间（如20秒），若眼睛持续闭合的时间超出第二预设时间，则表明当前阅读者眼睛持续闭合的时间过长，例如在打瞌睡，此时可据此判定出人物信息不符合预设的人物状态标准，即当前阅读者没有在认真学习，进而便于后续通过设置提醒来督促阅读者认真学习，以提高阅读者的学习效率。
在一个优选的实施例中，人物信息包括第三预设时间内的眨眼次数，此时可通过以下方式分析第二图像或第四图像中的人物信息是否符合预设的人物状态标准：
S15g，分析第三预设时间内的眨眼次数是否超出预设次数；
S15h，若第三预设时间内的眨眼次数超出预设次数，则判定人物信息不符合预设的人物状态标准。
在本实施例中，通过对第二摄像头采集到的连续多帧的人物图像进行人脸检测和人脸识别，可分析出第三预设时间（如20秒）内的眨眼次数是否超出预设次数（如10次），若第三预设时间内的眨眼次数超出预设次数，则表明当前阅读者在频繁地眨眼，例如在打瞌睡或者开小差，此时可据此判定出人物信息不符合预设的人物状态标准，即当前阅读者没有在认真学习，进而便于后续通过设置提醒来督促阅读者认真学习，以提高阅读者的学习效率。
在一个优选的实施例中，人物信息包括嘴巴的高度与宽度之比，此时可通过以下方式分析第二图像或第四图像中的人物信息是否符合预设的人物状态标准：
S15i，分析嘴巴的高度与宽度之比是否大于预设值；
S15j，若嘴巴的高度与宽度之比大于预设值，则判定人物信息不符合预设的人物状态标准。
在本实施例中，通过对第二摄像头采集到的连续多帧的人物图像进行视觉检测，可分析出嘴巴的高度与宽度之比是否大于预设值（例如预设值可设置为“1”），若嘴巴的高度与宽度之比大于预设值，则表明当前阅读者嘴巴的动作幅度过大，例如在打哈欠，此时可据此判定出人物信息不符合预设的人物状态标准，即当前阅读者没有在认真学习，进而便于后续通过设置提醒来督促阅读者认真学习，以提高阅读者的学习效率。
优选地，形成对应阅读者学习状态的第一监测结果的步骤之后，还包括：
S16a，向阅读者发出警报或/和向监督者的终端设备发送提示信息。
在本实施例中，具体地，当阅读机器人形成对应阅读者学习状态的第一监测结果时，则表明当前阅读者没有在认真学习，而是在做其他无关阅读的事，此时可通过向阅读者发出警报来提醒阅读者认真学习，又或者通过向监督者（家长）的终端设备（如智能手机）发送提示信息来告知监督者当前阅读者（小孩）没有认真学习，以便监督者督促阅读者认真学习，从而有利于提高阅读者的学习效率，这两种提醒方式可择一使用，亦可同时进行使用，对此不作具体的限制。
在一个可选的实施例中，若第四图像中含有人物信息，则分析人物信息是否符合预设的人物状态标准的步骤之后，还包括：
S22a，若第四图像中的人物信息符合预设的人物状态标准，则分析未发出提醒信息的时间长度是否超出预设时间长度，其中，发出提醒信息包括向阅读者发出警报或/和向监督者的终端设备发送提示信息；
S22b，若未发出提醒信息的时间长度超出预设时间长度，则向阅读者播放用于鼓励阅读者的语音信息或/和向监督者的终端设备发送阅读者正在认真学习的状态信息。
在本实施例中，若第四图像中的人物信息符合预设的人物状态标准，则说明阅读者在相当一段时间内均处于认真学习的状态，此时进一步分析未发出提醒信息的时间长度是否超出预设时间长度（如30分钟），若未发出提醒信息的时间长度超出预设时间长度，则说明阅读者在相当长的一段时间内（该时间段的长度由预设时间长度而定）均处于认真学习的状态，此时阅读机器人可向阅读者（小孩）播放用于鼓励阅读者的语音信息，如“宝宝你已经认真学习30分钟啦，好棒哦！要继续加油哦！”，又或者向监督者（家长）的终端设备发送阅读者正在认真学习的状态信息，如“您的小孩已经认真学习30分钟啦，值得表扬哦！”，从而有利于提高用户的使用体验，这两种提醒方式可择一使用，亦可同时进行使用，对此不作具体的限制。
因此，本发明实施例的学习状态监测方法通过采集阅读者进行阅读学习时的图像，进而通过分析图像中的人物信息是否符合预设的人物状态标准，得出阅读者当前是否在认真学习，当人物信息不符预设的人物状态标准时，则说明阅读者当前没有在认真学习，进而可以通过设置提醒来督促阅读者认真学习，如通过向阅读者发出警报来提醒阅读者认真学习，又或者通过向监督者的终端设备发送提示信息来告知监督者当前阅读者没有认真学习，由监督者督促阅读者认真学习，从而能有效地在使用阅读机器人进行阅读的过程中对阅读者的学习状态进行监测，提高小孩的学习效率。
参照图3，本发明实施例还提出一种学习状态监测装置，包括：
第一采集模块1，用于采集第一图像；
第一分析模块2，用于分析第一图像中是否含有指定的内容信息；
第二采集模块3，用于当第一图像中含有指定的内容信息时，采集第二图像；
第二分析模块4，用于分析第二图像中是否含有人物信息；
第三分析模块5，用于当第二图像中含有人物信息时，分析人物信息是否符合预设的人物状态标准；
第一形成模块6，用于当人物信息不符合预设的人物状态标准时，形成对应阅读者学习状态的第一监测结果；
第二形成模块7，用于当人物信息符合预设的人物状态标准时，形成对应阅读者学习状态的第二监测结果。
在上述第一采集模块1中，具体地，可通过在阅读机器人上设置摄像头来采集所需的图像，例如，可在阅读机器人上设置用于扫描内容信息的第一摄像头以及用于监视阅读者活动状态的第二摄像头来分别采集所需的图像，又例如，可在阅读机器人上设置用于同时扫描内容信息和监视阅读者活动状态的全景摄像头来采集所需的图像，等等，对此不作具体的限制；为了方便说明和解释本发明实施例的内容，本发明实施例以在阅读机器人上设置用于扫描内容信息的第一摄像头以及用于监视阅读者活动状态的第二摄像头来分别采集所需的图像为例，进行相关的说明和解释；
具体地，在使用阅读机器人进行阅读之前，阅读者面向阅读机器人，同时将图书放于阅读机器人的指定位置上，其中，第一摄像头的视角范围覆盖指定位置以对图书的内容进行扫描，第二摄像头的视角范围覆盖阅读者的上半身区域以对阅读者的状态进行监视；使用时，第一采集模块1可通过开启第一摄像头对图书的内容进行扫描，从而采集到第一图像，以便后续阅读机器人根据第一图像正确读出图书的内容以及确定是否开启第二摄像头进行拍摄。
在上述第一分析模块2中，指定的内容信息可以是图书上的文字，也可以是图书上的图画，也可以是图书上的文字和图画，第一分析模块2从第一采集模块1中获得第一图像后，通过对第一图像进行文字识别或图像识别，可获知第一图像中是否含有指定的内容信息，例如，通过对第一图像进行文字识别，可分析出第一图像中是否含有文字，当第一分析模块2分析出第一图像中含有文字时，再通过现有的语音合成技术即可将识别出的文字转换成对应的语音，从而实现阅读机器人的读书功能。
在上述第二采集模块3中，当第一分析模块2分析出第一图像中含有指定的内容信息时，阅读机器人进行“读书”，同时第二采集模块3可通过开启第二摄像头对自身视角范围内的景象进行拍摄，从而采集到连续多帧的第二图像，以便后续根据第二图像进行相关操作。
在上述第二分析模块4中，可通过第二分析模块4对第二图像进行视觉检测，分析出第二图像中是否含有人物信息，若第二图像中含有人物信息，则表明当前有阅读者在进行阅读。
在上述第三分析模块5中，当第二分析模块4分析出第二图像中含有人物信息时，则进一步通过第三分析模块5分析第二图像中的人物信息是否符合预设的人物状态标准，若人物信息符合预设的人物状态标准，则表明当前阅读者正在认真学习，但若人物信息不符合预设的人物状态标准，则表明当前阅读者没有在认真学习，而是在做其他无关阅读的事。
在上述第一形成模块6、第二形成模块7中，当通过第三分析模块5分析出第二图像中的人物信息不符合预设的人物状态标准时，则通过第一形成模块6形成对应阅读者学习状态为不认真学习的监测结果，即上述第一监测结果；而当通过第三分析模块5分析出第二图像中的人物信息符合预设的人物状态标准时，则通过第二形成模块7形成对应阅读者学习状态为认真学习的监测结果，即上述第二监测结果，从而达到检验阅读者是否在认真学习的目的。
参照图4，该学习状态监测装置还包括第三采集模块8、第四分析模块9、第四采集模块10，其中，
第三采集模块8，用于在第一预设时间后采集第三图像；
第四分析模块9，用于分析第三图像与第一图像是否相同；
第四采集模块10，用于当第三图像与第一图像相同时，采集第四图像；
第二分析模块4，还用于分析第四图像中是否含有人物信息；
第三分析模块5，还用于当第四图像中含有人物信息时，分析人物信息是否符合预设的人物状态标准。
在上述第三采集模块8中，当第二形成模块7形成对应阅读者学习状态的第二监测结果时，则可初步说明当前阅读者正在认真学习，此时第三采集模块8在第一预设时间（如30秒）后可通过第一摄像头来采集第三图像，以便后续进行相关操作。
在第四分析模块9中，具体地，第四分析模块9从第三采集模块8中获得第三图像后，第四分析模块9将第三图像与之前采集到的第一图像进行比较，分析第三图像与第一图像是否相同，以便后续进行相关操作。
在上述第四采集模块10中，当第四分析模块9分析出第三图像与第一图像相同时，则表明在相当一段时间内阅读者并没有翻书，此时第四采集模块10可通过开启第二摄像头对自身视角范围内的景象再次进行拍摄，从而采集到连续多帧的第四图像，以便后续第二分析模块4根据第四图像进行相关操作。
在上述第二分析模块4中，通过第二分析模块4对第四图像进行视觉检测，分析出第四图像中是否含有人物信息，若第四图像中含有人物信息，则表明当前有阅读者在进行阅读。
在上述第三分析模块5中，当第二分析模块4分析出第四图像中含有人物信息时，则通过第三分析模块5进一步分析第四图像中的人物信息是否符合预设的人物状态标准，若第四图像中的人物信息不符合预设的人物状态标准，则第一形成模块6可据此得到阅读者不认真学习的监测结果，即上述的第一监测结果；若第四图像中的人物信息符合预设的人物状态标准，则说明当前阅读者正在认真看书，此时第二形成模块7可据此得到阅读者认真学习的监测结果，即上述的第二监测结果。
在本实施例中，当初步发现阅读者处于认真学习的状态时，则通过每隔一段时间检测阅读者是否有翻书的方式，来进一步确认接下来的时间里阅读者是否仍处于认真学习的状态，使得阅读机器人可持续地对阅读者的学习状态进行监测，提高了阅读机器人的实用性。
参照图3和图5，具体地，人物信息包括双肩与水平方向之间的角度，此时第三分析模块5包括第一分析单元5a和第一判定单元5b，其中，
第一分析单元5a，用于分析双肩与水平方向之间的角度是否大于第一预设角度；
第一判定单元5b，用于当双肩与水平方向之间的角度大于第一预设角度时，判定人物信息不符合预设的人物状态标准。
在本实施例中，通过第一分析单元5a对第二摄像头采集到的连续多帧的人物图像进行视觉检测，可分析出双肩与水平方向之间的角度是否大于第一预设角度（如30度），若双肩与水平方向之间的角度大于第一预设角度，则表明当前阅读者的身体倾斜幅度过大，如趴在桌子上或倚靠在椅子上偷懒或睡觉，此时第一判定单元5b可据此判定出人物信息不符合预设的人物状态标准，即当前阅读者没有在认真学习，进而便于后续通过设置提醒模块11来督促阅读者认真学习，以提高阅读者的学习效率，同时，这也意味着阅读者在进行阅读时需要保持较好的阅读姿势才不会被阅读机器人“误判”，这样有利于督促阅读者养成良好的阅读姿势。
参照图3和图5，具体地，人物信息包括头部与任意一肩膀之间的角度，此时第三分析模块5包括第二分析单元5c和第二判定单元5d，其中，
第二分析单元5c，用于分析头部与任意一肩膀之间的角度是否小于第二预设角度；
第二判定单元5d，用于当头部与任意一肩膀之间的角度小于第二预设角度时，判定人物信息不符合预设的人物状态标准。
在本实施例中，通过第二分析单元5c对第二摄像头采集到的连续多帧的人物图像进行视觉检测，可分析出头部与任意一肩膀之间的角度是否小于第二预设角度（如60度），若头部与任意一肩膀之间的角度小于第二预设角度，则表明当前阅读者的头部倾斜幅度过大，例如在打瞌睡，此时第二判定单元5d可据此判定出人物信息不符合预设的人物状态标准，即当前阅读者没有在认真学习，进而便于后续通过设置提醒模块11来督促阅读者认真学习，以提高阅读者的学习效率，同时，这也意味着阅读者在进行阅读时需要保持较好的阅读姿势才不会被阅读机器人“误判”，这样有利于督促阅读者养成良好的阅读姿势。
参照图3和图5，人物信息包括眼睛持续闭合的时间，此时第三分析模块5包括第三分析单元5e和第三判定单元5f，其中，
第三分析单元5e，用于分析眼睛持续闭合的时间是否超出第二预设时间；
第三判定单元5f，用于当眼睛持续闭合的时间超出第二预设时间时，判定人物信息不符合预设的人物状态标准。
在本实施例中，通过第三分析单元5e对第二摄像头采集到的连续多帧的人物图像进行人脸检测和人脸识别，可分析出眼睛持续闭合的时间是否超出第二预设时间（如20秒），若眼睛持续闭合的时间超出第二预设时间，则表明当前阅读者眼睛持续闭合的时间过长，例如在打瞌睡，此时第三判定单元5f可据此判定出人物信息不符合预设的人物状态标准，即当前阅读者没有在认真学习，进而便于后续通过设置提醒模块11来督促阅读者认真学习，以提高阅读者的学习效率。
参照图3和图5，人物信息包括第三预设时间内的眨眼次数，此时第三分析模块5包括第四分析单元5g和第四判定单元5h，其中，
第四分析单元5g，用于分析第三预设时间内的眨眼次数是否超出预设次数；
第四判定单元5h，用于当第三预设时间内的眨眼次数超出预设次数时，判定人物信息不符合预设的人物状态标准。
在本实施例中，通过第四分析单元5g对第二摄像头采集到的连续多帧的人物图像进行人脸检测和人脸识别，可分析出第三预设时间（如20秒）内的眨眼次数是否超出预设次数（如10次），若第三预设时间内的眨眼次数超出预设次数，则表明当前阅读者在频繁地眨眼，例如在打瞌睡或者开小差，此时第四判定单元5h可据此判定出人物信息不符合预设的人物状态标准，即当前阅读者没有在认真学习，进而便于后续通过设置提醒模块11来督促阅读者认真学习，以提高阅读者的学习效率。
参照图3和图5，人物信息包括嘴巴的高度与宽度之比，此时第三分析模块5包括第五分析单元5i和第五判定单元5j，其中，
第五分析单元5i，用于分析嘴巴的高度与宽度之比是否大于预设值；
第五判定单元5j，用于当嘴巴的高度与宽度之比大于预设值时，判定人物信息不符合预设的人物状态标准。
在本实施例中，通过第五分析单元5i对第二摄像头采集到的连续多帧的人物图像进行视觉检测，可分析出嘴巴的高度与宽度之比是否大于预设值（例如预设值可设置为“1”），若嘴巴的高度与宽度之比大于预设值，则表明当前阅读者嘴巴的动作幅度过大，例如在打哈欠，此时第五判定单元5j可据此判定出人物信息不符合预设的人物状态标准，即当前阅读者没有在认真学习，进而便于后续通过设置提醒模块11来督促阅读者认真学习，以提高阅读者的学习效率。
参照图4，优选地，该学习状态监测装置还包括提醒模块11，该提醒模块11用于向阅读者发出警报或/和向监督者的终端设备发送提示信息。
在本实施例中，具体地，当第一形成模块6形成对应阅读者学习状态的第一监测结果时，则表明当前阅读者没有在认真学习，而是在做其他无关阅读的事，此时可通过提醒模块11向阅读者发出警报来提醒阅读者认真学习，又或者通过提醒模块11向监督者（家长）的终端设备（如智能手机）发送提示信息来告知监督者当前阅读者（小孩）没有认真学习，以便监督者督促阅读者认真学习，从而有利于提高阅读者的学习效率，这两种提醒方式可择一使用，亦可同时进行使用，对此不作具体的限制。
参照图4，优选地，该学习状态监测装置还包括第五分析模块12和汇报模块13，其中，
第五分析模块12，用于当第四图像中的人物信息符合预设的人物状态标准时，分析未发出提醒信息的时间长度是否超出预设时间长度，其中，发出提醒信息包括向阅读者发出警报或/和向监督者的终端设备发送提示信息；
汇报模块13，用于当未发出提醒信息的时间长度超出预设时间长度时，向阅读者播放用于鼓励阅读者的语音信息或/和向监督者的终端设备发送阅读者正在认真学习的状态信息。
在本实施例中，若第四图像中的人物信息符合预设的人物状态标准，则说明阅读者在相当一段时间内均处于认真学习的状态，此时可通过第五分析模块12进一步分析提醒模块11未发出提醒信息的时间长度是否超出预设时间长度（如30分钟），若提醒模块11未发出提醒信息的时间长度超出预设时间长度，则说明阅读者在相当长的一段时间内（该时间段的长度由预设时间长度而定）均处于认真学习的状态，此时可通过汇报模块13向阅读者（小孩）播放用于鼓励阅读者的语音信息，如“宝宝你已经认真学习30分钟啦，好棒哦！要继续加油哦！”，又或者通过汇报模块13向监督者（家长）的终端设备发送阅读者正在认真学习的状态信息，如“您的小孩已经认真学习30分钟啦，值得表扬哦！”，从而有利于提高用户的使用体验，这两种提醒方式可择一使用，亦可同时进行使用，对此不作具体的限制。
因此，本发明实施例的学习状态监测装置通过采集阅读者进行阅读学习时的图像，进而通过分析图像中的人物信息是否符合预设的人物状态标准，得出阅读者当前是否在认真学习，当人物信息不符预设的人物状态标准时，则说明阅读者当前没有在认真学习，进而可以通过设置提醒来督促阅读者认真学习，如通过向阅读者发出警报来提醒阅读者认真学习，又或者通过向监督者的终端设备发送提示信息来告知监督者当前阅读者没有认真学习，由监督者督促阅读者认真学习，从而能有效地在使用阅读机器人进行阅读的过程中对阅读者的学习状态进行监测，提高小孩的学习效率。
参照图2，本发明实施例还提出一种智能设备，包括存储器100、处理器200和计算机程序300，计算机程序300被存储在存储器100中并被配置为由处理器200执行，计算机程序300被配置为用于执行上述任一实施例中的学习状态监测方法。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (19)

  1. 一种学习状态监测方法，其特征在于，包括：
    采集第一图像；
    分析所述第一图像中是否含有指定的内容信息；
    若所述第一图像中含有指定的内容信息，则采集第二图像；
    分析所述第二图像中是否含有人物信息；
    若所述第二图像中含有人物信息，则分析所述人物信息是否符合预设的人物状态标准；
    若否，则形成对应阅读者学习状态的第一监测结果；
    若是，则形成对应阅读者学习状态的第二监测结果。
  2. 根据权利要求1所述的学习状态监测方法，其特征在于，所述形成对应阅读者学习状态的第二监测结果的步骤之后，还包括：
    在第一预设时间后采集第三图像；
    分析所述第三图像与所述第一图像是否相同；
    若所述第三图像与所述第一图像相同，则采集第四图像；
    分析所述第四图像中是否含有人物信息；
    若所述第四图像中含有人物信息，则分析所述人物信息是否符合预设的人物状态标准；
    若所述人物信息不符合预设的人物状态标准，则形成对应所述阅读者学习状态的所述第一监测结果。
  3. 根据权利要求1所述的学习状态监测方法，其特征在于，所述形成对应阅读者学习状态的第一监测结果的步骤之后，还包括：
    向阅读者发出警报或/和向监督者的终端设备发送提示信息。
  4. 根据权利要求2所述的学习状态监测方法，其特征在于，所述若所述第四图像中含有人物信息，则分析所述人物信息是否符合预设的人物状态标准的步骤之后，还包括：
    若所述第四图像中的人物信息符合预设的人物状态标准，则分析未发出提醒信息的时间长度是否超出预设时间长度，其中，发出提醒信息包括向阅读者发出警报或/和向监督者的终端设备发送提示信息；
    若未发出提醒信息的时间长度超出预设时间长度，则向所述阅读者播放用于鼓励所述阅读者的语音信息或/和向监督者的终端设备发送所述阅读者正在认真学习的状态信息。
  5. 根据权利要求1至4任一项所述的学习状态监测方法，其特征在于，所述人物信息包括双肩与水平方向之间的角度，所述分析所述人物信息是否符合预设的人物状态标准的步骤，包括：
    分析所述双肩与水平方向之间的角度是否大于第一预设角度；
    若所述双肩与水平方向之间的角度大于第一预设角度，则判定所述人物信息不符合预设的人物状态标准。
  6. 根据权利要求1至4任一项所述的学习状态监测方法，其特征在于，所述人物信息包括头部与任意一肩膀之间的角度，所述分析所述人物信息是否符合预设的人物状态标准的步骤，包括：
    分析所述头部与任意一肩膀之间的角度是否小于第二预设角度；
    若所述头部与任意一肩膀之间的角度小于第二预设角度，则判定所述人物信息不符合预设的人物状态标准。
  7. 根据权利要求1至4任一项所述的学习状态监测方法，其特征在于，所述人物信息包括眼睛持续闭合的时间，所述分析所述人物信息是否符合预设的人物状态标准的步骤，包括：
    分析所述眼睛持续闭合的时间是否超出第二预设时间；
    若所述眼睛持续闭合的时间超出第二预设时间，则判定所述人物信息不符合预设的人物状态标准。
  8. 根据权利要求1至4任一项所述的学习状态监测方法，其特征在于，所述人物信息包括第三预设时间内的眨眼次数，所述分析所述人物信息是否符合预设的人物状态标准的步骤，包括：
    分析所述第三预设时间内的眨眼次数是否超出预设次数；
    若第三预设时间内的眨眼次数超出预设次数，则判定所述人物信息不符合预设的人物状态标准。
  9. 根据权利要求1至4任一项所述的学习状态监测方法，其特征在于，所述人物信息包括嘴巴的高度与宽度之比，所述分析所述人物信息是否符合预设的人物状态标准的步骤，包括：
    分析所述嘴巴的高度与宽度之比是否大于预设值；
    若所述嘴巴的高度与宽度之比大于预设值，则判定所述人物信息不符合预设的人物状态标准。
  10. 一种学习状态监测装置，其特征在于，包括：
    第一采集模块，用于采集第一图像；
    第一分析模块，用于分析所述第一图像中是否含有指定的内容信息；
    第二采集模块，用于当所述第一图像中含有指定的内容信息时，采集第二图像；
    第二分析模块，用于分析所述第二图像中是否含有人物信息；
    第三分析模块，用于当所述第二图像中含有人物信息时，分析所述人物信息是否符合预设的人物状态标准；
    第一形成模块，用于当所述人物信息不符合预设的人物状态标准时，形成对应阅读者学习状态的第一监测结果；
    第二形成模块，用于当所述人物信息符合预设的人物状态标准时，形成对应阅读者学习状态的第二监测结果。
  11. 根据权利要求10所述的学习状态监测装置，其特征在于，还包括第三采集模块、第四分析模块、第四采集模块，其中，
    所述第三采集模块，用于在第一预设时间后采集第三图像；
    所述第四分析模块，用于分析所述第三图像与所述第一图像是否相同；
    所述第四采集模块，用于当所述第三图像与所述第一图像相同时，采集第四图像；
    所述第二分析模块，还用于分析所述第四图像中是否含有人物信息；
    所述第三分析模块，还用于当所述第四图像中含有人物信息时，分析所述人物信息是否符合预设的人物状态标准。
  12. 根据权利要求10所述的学习状态监测装置，其特征在于，还包括：
    提醒模块，用于向阅读者发出警报或/和向监督者的终端设备发送提示信息。
  13. 根据权利要求11所述的学习状态监测装置，其特征在于，还包括：
    第五分析模块，用于当所述第四图像中的人物信息符合预设的人物状态标准时，分析未发出提醒信息的时间长度是否超出预设时间长度，其中，发出提醒信息包括向阅读者发出警报或/和向监督者的终端设备发送提示信息；
    汇报模块，用于当未发出提醒信息的时间长度超出预设时间长度时，向所述阅读者播放用于鼓励阅读者的语音信息或/和向监督者的终端设备发送阅读者正在认真学习的状态信息。
  14. 根据权利要求10至13任一项所述的学习状态监测装置，其特征在于，所述人物信息包括双肩与水平方向之间的角度，所述第三分析模块包括第一分析单元和第一判定单元，其中，
    所述第一分析单元，用于分析所述双肩与水平方向之间的角度是否大于第一预设角度；
    所述第一判定单元，用于当所述双肩与水平方向之间的角度大于第一预设角度时，判定所述人物信息不符合预设的人物状态标准。
  15. 根据权利要求10至13任一项所述的学习状态监测装置，其特征在于，所述人物信息包括头部与任意一肩膀之间的角度，所述第三分析模块包括第二分析单元和第二判定单元，其中，
    所述第二分析单元，用于分析所述头部与任意一肩膀之间的角度是否小于第二预设角度；
    所述第二判定单元，用于当所述头部与任意一肩膀之间的角度小于第二预设角度时，判定所述人物信息不符合预设的人物状态标准。
  16. 根据权利要求10至13任一项所述的学习状态监测装置，其特征在于，所述人物信息包括眼睛持续闭合的时间，所述第三分析模块包括第三分析单元和第三判定单元，其中，
    所述第三分析单元，用于分析所述眼睛持续闭合的时间是否超出第二预设时间；
    所述第三判定单元，用于当所述眼睛持续闭合的时间超出第二预设时间时，判定所述人物信息不符合预设的人物状态标准。
  17. 根据权利要求10至13任一项所述的学习状态监测装置，其特征在于，所述人物信息包括第三预设时间内的眨眼次数，所述第三分析模块包括第四分析单元和第四判定单元，其中，
    所述第四分析单元，用于分析所述第三预设时间内的眨眼次数是否超出预设次数；
    所述第四判定单元，用于当所述第三预设时间内的眨眼次数超出预设次数时，判定所述人物信息不符合预设的人物状态标准。
  18. 根据权利要求10至13任一项所述的学习状态监测装置，其特征在于，所述人物信息包括嘴巴的高度与宽度之比，所述第三分析模块包括第五分析单元和第五判定单元，其中，
    所述第五分析单元，用于分析所述嘴巴的高度与宽度之比是否大于预设值；
    所述第五判定单元，用于当所述嘴巴的高度与宽度之比大于预设值时，判定所述人物信息不符合预设的人物状态标准。
  19. 一种智能设备，其特征在于，包括存储器、处理器和计算机程序，所述计算机程序被存储在所述存储器中并被配置为由所述处理器执行，所述计算机程序被配置为用于执行如权利要求1至9任一项所述的学习状态监测方法。
PCT/CN2019/073758 2018-12-12 2019-01-29 学习状态监测方法、装置及智能设备 Ceased WO2020118882A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811519099.0 2018-12-12
CN201811519099.0A CN109658673A (zh) 2018-12-12 2018-12-12 学习状态监测方法、装置、可读存储介质及智能设备

Publications (1)

Publication Number Publication Date
WO2020118882A1 true WO2020118882A1 (zh) 2020-06-18

Family

ID=66114277

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/073758 Ceased WO2020118882A1 (zh) 2018-12-12 2019-01-29 学习状态监测方法、装置及智能设备

Country Status (2)

Country Link
CN (1) CN109658673A (zh)
WO (1) WO2020118882A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111594773B (zh) * 2020-05-19 2022-01-25 马鞍山三投光电科技有限公司 一种智能护眼可调节led灯
CN112613444A (zh) * 2020-12-29 2021-04-06 北京市商汤科技开发有限公司 一种行为检测的方法、装置、电子设备及存储介质
CN112990677B (zh) * 2021-03-04 2022-03-01 青岛海科虚拟现实研究院 一种基于人工智能的教学系统、计算机设备、存储介质
CN118897495B (zh) * 2024-10-08 2025-02-18 上海傅利叶智能科技有限公司 作息辅助方法、人形机器人的控制装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150070263A1 (en) * 2013-09-09 2015-03-12 Microsoft Corporation Dynamic Displays Based On User Interaction States
CN105354986A (zh) * 2015-11-12 2016-02-24 熊强 汽车司机驾驶状态监测系统及方法
CN106023693A (zh) * 2016-05-25 2016-10-12 北京九天翱翔科技有限公司 一种基于虚拟现实技术和模式识别技术的教育系统及方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100980470B1 (ko) * 2008-02-27 2010-09-07 주식회사 글맥학원 책상형 학습 장치 및 이를 이용한 학습 방법
CN103824481B (zh) * 2014-02-28 2016-05-25 广东小天才科技有限公司 一种检测用户背诵的方法及装置
CN106101827A (zh) * 2016-06-19 2016-11-09 乐视控股（北京）有限公司 终端提醒方法及装置
CN107358213B (zh) * 2017-07-20 2020-02-21 湖南科乐坊教育科技股份有限公司 一种儿童阅读习惯检测方法及装置
CN107392146A (zh) * 2017-07-20 2017-11-24 湖南科乐坊教育科技股份有限公司 一种儿童坐姿检测方法及装置
CN108521606A (zh) * 2018-04-25 2018-09-11 上海与德科技有限公司 一种观看电视的监控方法、装置、存储介质及智能电视
CN108874122A (zh) * 2018-04-28 2018-11-23 深圳市赛亿科技开发有限公司 智能眼镜及其控制方法、计算机可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150070263A1 (en) * 2013-09-09 2015-03-12 Microsoft Corporation Dynamic Displays Based On User Interaction States
CN105354986A (zh) * 2015-11-12 2016-02-24 熊强 汽车司机驾驶状态监测系统及方法
CN106023693A (zh) * 2016-05-25 2016-10-12 北京九天翱翔科技有限公司 一种基于虚拟现实技术和模式识别技术的教育系统及方法

Also Published As

Publication number Publication date
CN109658673A (zh) 2019-04-19

Similar Documents

Publication Publication Date Title
US20180089499A1 (en) Face recognition method and device and apparatus
CN105022981B (zh) 一种检测人眼健康状态的方法、装置及移动终端
CN109345156A (zh) 一种基于机器视觉的课堂教学质量评价系统
CN113792625A (zh) 一种具有状态监控功能的智能桌、状态监控系统及服务器
CN109637097B (zh) 学习状态监测方法、装置及智能设备
CN106128188A (zh) 桌面教育专注度分析系统及其分析方法
CN108898079A (zh) 一种监控方法及装置、存储介质、拍摄终端
TW201137795A (en) System and method for detecting baby sleeping
CN106210663A (zh) 一种面向无人监考的防止他人协助方法
CN104994335A (zh) 一种报警的方法及终端
CN105719439A (zh) 护眼系统及方法
CN107566643B (zh) 信息处理方法、装置、存储介质以及电子设备
CN114339149A (zh) 电子设备及学习监督方法
CN103617421A (zh) 基于综合视频特征分析的疲劳检测方法及系统
KR20210012713A (ko) 공부시간 측정 시스템 및 방법
WO2017049843A1 (zh) 可穿戴设备及其信息处理方法、信息处理装置
KR20170053906A (ko) 유아 감정상태 분석 방법 및 이를 이용한 심리상태 분석 시스템과 스마트폰 연동 앱 개발
CN106325514B (zh) 一种手持智能终端的防掉落方法、装置及其电子设备
CN114926957A (zh) 基于智能家居的婴幼儿监护系统及监护方法
CN107918726A (zh) 距离感应方法、设备及存储介质
CN203118082U (zh) 网络课程学习与考试防作弊的监控装置
CN119484761A (zh) 基于大模型的视频监控方法、系统和相关设备
CN111402096A (zh) 一种在线授课质量管理方法、系统、设备和介质
CN109658673A (zh) 学习状态监测方法、装置、可读存储介质及智能设备
TWI709915B (zh) 課程指數檢測告警方法、裝置、電子設備、及存儲介質

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19894804

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19894804

Country of ref document: EP

Kind code of ref document: A1