WO2021131465A1 - 業務管理システム、業務管理方法、及び業務管理プログラム - Google Patents

業務管理システム、業務管理方法、及び業務管理プログラム Download PDF

Info

Publication number
WO2021131465A1
WO2021131465A1 PCT/JP2020/043793 JP2020043793W WO2021131465A1 WO 2021131465 A1 WO2021131465 A1 WO 2021131465A1 JP 2020043793 W JP2020043793 W JP 2020043793W WO 2021131465 A1 WO2021131465 A1 WO 2021131465A1
Authority
WO
WIPO (PCT)
Prior art keywords
application
user
screen
time
captured image
Prior art date
Application number
PCT/JP2020/043793
Other languages
English (en)
French (fr)
Inventor
祐典 飯塚
Original Assignee
Necプラットフォームズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Necプラットフォームズ株式会社 filed Critical Necプラットフォームズ株式会社
Priority to CA3165931A priority Critical patent/CA3165931A1/en
Priority to EP20907591.0A priority patent/EP4064153B1/en
Priority to AU2020414584A priority patent/AU2020414584A1/en
Priority to CN202080090242.8A priority patent/CN114846489A/zh
Priority to US17/787,790 priority patent/US20230025023A1/en
Publication of WO2021131465A1 publication Critical patent/WO2021131465A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0631Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311Scheduling, planning or task assignment for a person or group
    • G06Q10/063114Status monitoring or status determination for a person or group
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398Performance of employee with respect to a job function
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris

Definitions

  • the present invention relates to a business management system, a business management method, and a business management program, and in particular, a business management system for grasping the actual business conditions of a worker who uses an application program (hereinafter, simply referred to as "application"). Regarding business management methods and business management programs.
  • Patent Document 1 the remote work status monitoring system disclosed in Patent Document 1 is intended to monitor the work status of a worker based on the operating state of the worker's PC (Personal Computer).
  • PC Personal Computer
  • An object of the present invention is to provide a business management system, a business management method, and a business management program capable of grasping the actual business conditions of a worker who uses an application in view of the above-mentioned problems.
  • the analysis unit that analyzes the captured image to detect the user's black eye and the position of the user's black eye in the captured image when the user's black eye is detected are applications.
  • the application identification unit, the application determination unit that determines whether the specified application is the default application used in business, and the default application if the specified application is determined to be the default application. Includes a time calculation unit that calculates the usage time of the application determined to be.
  • FIG. 1 is a schematic view showing an embodiment of the business management system 1 of the present invention.
  • the business management system 1 includes a user PC 10, a management server 20, an administrator PC 30, a user PC 50, and a photographing device 60.
  • the user PC 10, the management server 20, and the administrator PC 30 can be installed at the work place of the worker to be managed, for example, a company.
  • the user PC 10, the management server 20, and the administrator PC 30 can communicate data with each other via an in-house network 40 such as a LAN (Local Area Network).
  • an in-house network 40 such as a LAN (Local Area Network).
  • the user PC 10 is an information processing device that supports a remote desktop function that can be operated remotely, and a managed worker can use the user PC 50 to use applications and data possessed by the user PC 10. Details of the functions of the user PC 10 will be described later with reference to FIG.
  • the management server 20 is an information processing device that calculates the usage time, non-business work time, and time when the managed worker is absent for each application by using the information provided by the user PC 10. Details of the functions of the management server 20 will be described later with reference to FIG.
  • the administrator PC 30 is an information processing device used by the administrator of the worker to be managed.
  • the administrator PC 30 requests the management server 20 for an image showing the usage time, non-business work time, and time when the managed worker is away from the management server 20, and the administrator PC 30 obtains the image acquired from the management server 20. It is displayed on the display device of the PC 30.
  • the user PC 50 and the photographing device 60 are installed in a work space such as the home of the worker to be managed.
  • the user PC 50 has a remote desktop function capable of remotely operating the user PC 10, accesses the user PC 10 in the company via a VPN (Virtual Private Network) 70, and uses the applications and data possessed by the user PC 10. can do.
  • VPN Virtual Private Network
  • the photographing device 60 is communicatively connected to the user PC 50, and is installed at a position where the user's face, particularly the user's eyes, can be photographed.
  • the photographing device 60 executes the photographing process at predetermined time intervals.
  • the predetermined time interval can generally be the time (200 milliseconds, etc.) that a person keeps an eye on when reading a sentence.
  • the photographing device 60 transmits the photographed image to the user PC 50.
  • a photographing device integrally incorporated in the user PC 50 may be used instead of the photographing device 60.
  • the user PC 50 is a photographed image provided by the photographing device 60, coordinate information of a screen provided by an application used by a user who is a managed worker (hereinafter referred to as an “application screen”), and an application screen.
  • Information indicating the context is transmitted to the user PC 10 in the company via the VPN 70 and the in-house network 40.
  • the coordinate information of the application screen includes information indicating the coordinates of the application screen displayed on the display device of the user PC 50, identification information of the application that provides the application screen, and date and time information when the application screen is displayed. ..
  • the information indicating the context of the application screen includes the information indicating the context of the application screen that is virtually duplicated, the identification information of the application that provides the application screen, and the date and time information that the application screen was displayed. included.
  • the user PC 50 can transmit this information to the user PC 10 at the predetermined time intervals described above.
  • FIG. 2 is a block diagram showing a detailed configuration of the user PC 10 according to the embodiment of the present invention.
  • the user PC 10 includes an arithmetic unit 100, a communication interface (I / F) 110, and a storage device 120.
  • the arithmetic unit 100 is an arithmetic unit such as a CPU (Central Processing Unit) or an MPU (Micro Processing Unit), and relates to an embodiment of the present invention by executing a business management program according to the embodiment of the present invention. Execute the business management method.
  • a CPU Central Processing Unit
  • MPU Micro Processing Unit
  • the programs executed by the arithmetic unit 100 include a monitoring unit 101, an analysis unit 102, a position calculation unit 103, a position determination unit 104, a viewpoint coordinate calculation unit 105, an application (AP) specific unit 106, a database (DB) processing unit 107, and the like. And the information providing unit 108 is included.
  • These program modules can be implemented as a function of a UC (Unified Communications) application.
  • the monitoring unit 101 is a program module that determines whether or not the photographed image, the coordinate information of the application screen, and the information indicating the context are received from the user PC 50. When the monitoring unit 101 receives such information, it stores it in the storage device 120.
  • the analysis unit 102 is a program module that analyzes the captured image stored in the storage device 120 and detects the user's black eyes.
  • the analysis unit 102 acquires the captured image from the storage device 120, and determines whether or not the user's black eyes are included in the captured image.
  • the position calculation unit 103 is a program module that calculates the position of the user's black eye in the captured image. As shown in FIG. 10, the position calculation unit 103 can calculate the center position C of the user's black eye, that is, the center position of the pupil.
  • the position determination unit 104 is a program module that determines whether or not the center position C of the user's black eye is in the area corresponding to the display screen of the display device of the user PC 50 (hereinafter, referred to as “screen compatible area”). is there.
  • the upper left end portion Ptl, the left lower end portion Pbl, the upper right end portion Ptr, and the right lower end portion Pbr of the screen corresponding area are the upper right end portion and the right lower end portion of the display screen of the user PC 50, respectively.
  • the left upper end and the left lower end corresponds to the left upper end and the left lower end.
  • the upper left end Ptl of the screen corresponding area corresponds to the center position C of the black eye when the user is looking at the upper right end of the display screen of the display device of the user PC 50.
  • the left lower end Pbl of the screen corresponding area corresponds to the center position C of the black eye when the user is looking at the right lower end of the display screen.
  • the upper right end Ptr of the screen corresponding area corresponds to the center position C of the black eye when the user is looking at the upper left end of the display screen.
  • the right lower end Pbr of the screen corresponding area corresponds to the center position C of the black eye when the user is looking at the left lower end of the display screen.
  • Each end of the screen corresponding area Ptl, Pbl, Ptr, Pbr individually lights each end of the display screen of the display device of the user PC 50, and is a captured image when the user is looking at each end of the display screen. Can be determined using.
  • the viewpoint coordinate calculation unit 105 is a program module that calculates the viewpoint coordinates indicating the user's viewpoint on the display screen of the display device of the user PC 50 based on the center position C of the user's black eye in the screen corresponding area. Specifically, as shown in FIG. 11, when the origin is the left lower end of the display screen of the display device of the user PC 50, the viewpoint coordinate calculation unit 105 sets the right lower end Pbr of the screen corresponding area corresponding to the origin. The distances in the X and Y directions from the center position C to the center position C are calculated. For example, assuming that the lengths of the screen corresponding area in the X direction and the Y direction are 1, respectively, the distances of the center position C shown in FIG.
  • the AP identification unit 106 is a program module that identifies an application that provides an application screen that the user is viewing by using the coordinate information of the application screen displayed on the display screen of the user PC 50 and the viewpoint coordinates of the user.
  • the AP identification unit 106 acquires the coordinate information of the application screen from the storage device 120, and determines whether or not the viewpoint coordinates of the user are included in the area defined by the coordinate information, that is, in the application screen. When the user's viewpoint coordinates are included in the application screen, the AP identification unit 106 identifies the application that provides the application screen.
  • the AP identification unit 106 acquires information indicating the context of the application screen in addition to the coordinate information of the application screen from the storage device 120.
  • the AP identification unit 106 provides an application that provides the frontmost application screen based on the information indicating the context of the application screen. Can be identified.
  • the DB processing unit 107 is a program module that registers information in a data storage table generated in the storage device 120 in response to a request from another program module. As shown in FIG. 5, in the data storage table, date and time information indicating the generation date and time of the captured image, the determination result regarding the user's black eye and the viewpoint, the viewpoint coordinates, and the identification information of the application are registered.
  • the judgment results regarding the user's black eyes and the viewpoint include a judgment result that the center position C of the user's black eyes is within the screen compatible area, a judgment result that the center position C of the user's black eyes is outside the screen compatible area, and the user. There is a judgment result that the black eye of is not detected.
  • the determination result that the center position C of the black eye of the user is in the screen corresponding area means that the user is looking at the display screen of the display device of the user PC 50.
  • the determination result that the center position C of the black eye of the user is outside the screen corresponding area means that the user is looking at a screen other than the display screen of the display device of the user PC 50.
  • the application identification information is the identification information of the application that provides the application screen that the user is viewing.
  • the center position C of the user's black eye When the center position C of the user's black eye is within the screen compatible area, the judgment result indicating that fact, the viewpoint coordinates, and the application identification information are registered in association with the date and time information.
  • the center position C of the user's black eye When the center position C of the user's black eye is outside the screen corresponding area, a determination result indicating that fact is registered in association with the date and time information. If the user's black eyes are not detected, a determination result indicating that fact is registered in association with the date and time information.
  • the information providing unit 108 is a program module that provides the information recorded in the data storage table to the management server 20.
  • the information providing unit 108 can provide the information recorded in the data storage table to the management server 20 at an arbitrary timing such as when the user's business is completed.
  • the communication I / F 110 is a device that transmits and receives various data between the user PC 10 and the user PC 50 and the management server 20 via the in-house network 40 and the VPN 70.
  • the storage device 120 is a storage device that stores various information such as a program according to an embodiment of the present invention, a photographed image provided by the user PC 50, coordinate information of an application screen and information indicating a context, and a data recording table. Is.
  • FIG. 3 is a block diagram showing a detailed configuration of the management server 20 according to the embodiment of the present invention.
  • the management server 20 includes an arithmetic unit 200, a communication interface (I / F) 210, and a storage device 220.
  • the arithmetic unit 200 is an arithmetic unit such as a CPU or an MPU, and by executing the program according to the embodiment of the present invention, the method according to the embodiment of the present invention is executed.
  • the program executed by the arithmetic unit 200 includes a monitoring unit 201, an application (AP) determination unit 202, a browsing determination unit 203, a time calculation unit 204, and a display image generation unit 205.
  • AP application
  • the monitoring unit 201 is a program module that determines whether or not the information transmitted by the user PC 10 has been received. When the monitoring unit 201 receives the information from the user PC 10, that is, the information recorded in the data storage table of the user PC 10, the monitoring unit 201 registers the information in the data recording table of the storage device 220.
  • the AP determination unit 202 is a program module that determines whether or not the application in which the identification information is registered in the data recording table of the storage device 220 is the default application used by the user of the user PC 50 in business.
  • the default application can be determined in advance by a person who manages the business of the user.
  • the AP determination unit 202 determines whether or not the application identification information registered in the data recording table of the storage device 220 matches the identification information of the default application, so that the identification information is registered in the data recording table. It can be determined whether or not the application is the default application.
  • the browsing determination unit 203 is a program module that determines whether or not the user of the user PC 50 has viewed the application screen in the past specific period based on the generation date and time of the captured image.
  • the specific period in the past can be, for example, a period 10 seconds back from the time indicated by the date and time information which is the generation date and time of the captured image.
  • the browsing determination unit 203 refers to the data recording table of the storage device 220, determines whether or not the identification information of the application is associated with the date and time information corresponding to the specific period in the past, and thereby determines whether or not the identification information of the application is associated with the user PC 50 in the specific period. It is possible to determine whether or not the user of the user is viewing the application screen.
  • the time calculation unit 204 is a program module that calculates the usage time of the application, the non-business work time, and the time during leaving the desk by the user of the user PC 50.
  • the time calculation unit 204 calculates the application usage time, the non-business work time, and the time while leaving by adding a predetermined time (for example, 200 milliseconds) based on the execution cycle of the shooting process of the shooting device 60. can do.
  • the display image generation unit 205 includes at least one of the usage time for each application determined to be the default application and the usage rate for each application per unit time (for example, working hours per day), and non-business. It is a program module that generates an image to display the working time and the time spent leaving the desk. The application usage rate can be calculated based on the application usage time.
  • the display image generation unit 205 generates the image in response to the request from the administrator PC 30, and provides the image to the administrator PC 30. An image as shown in FIG. 12 is displayed on the display device of the administrator PC 30. The image shown in FIG. 12 displays the usage time, the non-business work time, and the time during leaving the desk for each application.
  • the communication I / F 210 is a device that transmits and receives various data between the management server 20, the user PC 10 and the administrator PC 30 via the in-house network 40.
  • the storage device 220 is a storage device that stores various information such as a program and a data recording table according to an embodiment of the present invention.
  • FIG. 4 is a block diagram showing the main components included in the user PC 10 and the management server 20 according to the embodiment of the present invention.
  • the user PC 10 includes an analysis unit 102, a position determination unit 104, a viewpoint coordinate calculation unit 105, and an AP identification unit 106.
  • the management server 20 includes an AP determination unit 202, a browsing determination unit 203, and a time calculation unit 204.
  • FIG. 6 is a flowchart showing an example of processing executed by the user PC 10 according to the embodiment of the present invention.
  • the user PC 10 executes the process of FIG. 6 for all the captured images stored in the storage device 120.
  • the analysis unit 102 of the user PC 10 acquires the captured image provided by the user PC 50 from the storage device 120 and analyzes it.
  • the analysis unit 102 determines whether or not the user's black eyes have been detected. When the user's black eyes are not detected (NO), the analysis unit 102 uses the DB processing unit 107 to register the determination result that the black eyes are not detected in the data recording table in step S103, and the result of the determination is registered in the data recording table.
  • NO the user's black eyes
  • step S104 the position calculation unit 103 calculates the center position C of the user's black eye in the captured image.
  • step S105 the position determination unit 104 determines whether or not the center position C of the black eye is within the screen corresponding area. When the center position C of the black eye is outside the screen compatible area (NO), the position determination unit 104 uses the DB processing unit 107 in step S106 to determine that the center position C of the black eye is outside the screen compatible area. Is registered in the data recording table, and the process of FIG. 6 is completed.
  • the viewpoint coordinate calculation unit 105 displays the display device of the user PC 50 based on the center position C of the user's black eye in the screen compatible area in step S107. Calculate the user's viewpoint coordinates on the screen.
  • the AP identification unit 106 acquires from the storage device 120 the coordinate information of the application screen displayed on the display device of the user PC 50 and the information indicating the context related to the captured image acquired in step S101. ..
  • the AP specifying unit 106 can specify the coordinate information of the application screen related to the captured image and the information indicating the context based on the generation date and time of the captured image and the date and time information when the application screen is displayed.
  • step S109 the AP identification unit 106 identifies the application that provides the application screen that the user is viewing, based on the user's viewpoint coordinates, the coordinate information of the application screen, and the information indicating the context.
  • step S110 the AP identification unit 106 uses the DB processing unit 107 to store the determination result that the center position C of the black eye is in the screen corresponding area and the identification information of the application that the user is viewing in the data recording table. Registration is completed, and the process of FIG. 6 is completed.
  • FIG. 7 is a flowchart showing an example of processing executed by the management server 20 according to the embodiment of the present invention.
  • the AP determination unit 202 selects the recorded data related to one time from the recorded data stored in the storage device 220.
  • the AP determination unit 202 branches the process according to the content of the selected recorded data based on the determination result. Specifically, in the case of a determination result that the center position C of the user's black eye is within the screen corresponding area, the process branches to step S203. If it is a determination result that the center position C of the user's black eye is outside the screen corresponding area, the process branches to step S207. If the result is a determination that the user's black eyes have not been detected, the process branches to step S209.
  • step S203 the AP determination unit 202 determines whether or not the application indicated by the AP identification information of the selected recorded data is the default application.
  • the time calculation unit 204 adds the default time to the usage time of the application in step S204.
  • the time calculation unit 204 adds the default time to the non-business work time in step S205.
  • step S206 the AP determination unit 202 determines whether or not there is recorded data that has not yet been selected. If there is recorded data that has not yet been selected (YES), the process returns to step S201, and the above process is executed for the recorded data related to the next one time. On the other hand, if there is no recorded data that has not yet been selected (NO), the process of FIG. 7 ends.
  • step S207 the browsing determination unit 203 refers to the data recording table of the storage device 220, and determines whether or not the application identification information is associated with the date and time information indicating the date and time corresponding to the specific period in the past. This past specific period is a period based on the date and time indicated by the date and time information of the recorded data selected in step S201.
  • the process branches to step S203.
  • the AP determination unit 202 determines whether or not the application is the default application.
  • the time calculation unit 204 adds the default time to the usage time of the application. That is, the time calculation unit 204 adds the period during which the center position C of the user's black eye is outside the screen corresponding area to the usage time of the application determined to be the default application.
  • step S208 the time calculation unit 204 adds a predetermined time to the non-business work time, and the process proceeds to step S206.
  • step S209 the browsing determination unit 203 refers to the data recording table of the storage device 220 as in step S207, and is the application identification information associated with the date and time information indicating the date and time corresponding to the specific period in the past? Judge whether or not.
  • the process branches to step S203.
  • the AP determination unit 202 determines whether or not the application is the default application.
  • the time calculation unit 204 adds the default time to the usage time of the application. That is, the time calculation unit 204 adds the period during which the user's black eyes are not detected to the usage time of the application determined to be the default application.
  • step S210 the time calculation unit 204 adds a predetermined time to the time while leaving the desk, and the process proceeds to step S206.
  • the analysis unit 102 of the user PC 10 analyzes the captured image generated by the photographing device 60 and determines whether or not the user's black eye is detected.
  • the position determination unit 104 determines whether or not the position of the user's black eye in the captured image is within the screen corresponding area, and registers the determination result in the data recording table.
  • the viewpoint coordinate calculation unit 105 calculates the viewpoint coordinate based on the position of the black eye in the screen-compatible area and registers it in the data recording table.
  • the AP identification unit 106 identifies the application that provides the application screen that the user is viewing by using the coordinate information and the viewpoint coordinates of the application screen displayed on the display screen, and records the identification information of the application as data. Register in the table. Then, the information providing unit 108 transmits the information registered in the data recording table to the management server 20.
  • the AP determination unit 202 determines whether or not the application indicated by the identification information included in the information is the default application.
  • the time calculation unit 204 calculates the usage time of the application determined to be the default application. As a result, the usage time of the application used in the business is calculated, so that the administrator can grasp the actual business situation of the worker who uses the application used in the business.
  • the viewing determination unit 203 allows the user to view the screen of the application in the past specific period based on the generation date and time of the captured image. Determine if it was.
  • the AP determination unit 202 determines whether or not the application is the default application.
  • the time calculation unit 204 adds the period during which the user's black eyes are not detected to the usage time of the application.
  • the usage time of the application by the user can be accurately recorded, and the administrator can accurately grasp the actual business condition of the worker to be managed.
  • the viewing determination unit 203 allows the user to apply the application in the past specific period based on the generation date and time of the captured image. Judge whether or not you were looking at the screen of.
  • the AP determination unit 202 determines whether or not the application is the default application.
  • the time calculation unit 204 adds the period during which the position of the user's black eye is outside the screen corresponding area to the usage time of the application.
  • the position of the user's black eye is outside the screen compatible area by looking at the keyboard, mouse, document, etc. at hand, the position of the black eye is changed.
  • the period outside the screen compatible area can be added to the usage time of the application. Therefore, it is possible to record the actual usage time of the application by the user, and the administrator can accurately grasp the actual business condition of the worker to be managed.
  • the display image generation unit 205 determines at least one of the usage time of the application determined to be the default application and the usage rate of the application per unit time based on the usage time of the application. , Generate an image to be displayed for each application. As a result, the manager can easily grasp the actual work condition of the worker to be managed.
  • Non-temporary computer-readable media include various types of tangible storage media.
  • Examples of non-temporary computer-readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks), CD-ROMs, CD-Rs, CD-Rs. / W, including semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM).
  • the program may also be provided to the computer by various types of temporary computer readable medium. Examples of temporary computer-readable media include electrical, optical, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
  • a virtual PC such as a VPC (Virtual Personal Computer) may be mounted on an information processing device such as a management server 20 instead of the user PC 10.
  • a single information processing device such as the management server 20 executes the program according to the embodiment of the present invention including the above-mentioned program module included in the user PC 10 and the management server 20, and the embodiment of the present invention is obtained. Perform such a method.
  • the user PC 50 transmits the photographed image, the coordinate information of the application screen, and the information indicating the context to the information processing apparatus via the VPNN 70 and the in-house network 40. Then, the arithmetic unit included in the information processing apparatus executes the processes shown in FIGS. 6 to 8.
  • the user PC 10 may have a face recognition function for identifying a worker to be managed.
  • the date and time information of the captured image, the determination result, the viewpoint coordinates, and the identification information of the application described above are registered in the data recording table only when the user is recognized as a genuine user. As a result, spoofing can be prevented, and the administrator can grasp the actual business conditions of the managed worker in detail.
  • the management server 20 may be an external server installed at a place other than the work place of the worker to be managed.
  • the functions of the program module included in the user PC 10 and the management server 20 may be realized by circuits such as FPGA (Field-Programmable Gate Array) and ASIC (Application Specific Integrated Circuit).

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Game Theory and Decision Science (AREA)
  • Quality & Reliability (AREA)
  • Marketing (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)

Abstract

本発明の一実施形態に係る業務管理システム(1)では、ユーザPC(10)が、撮影画像を解析して検出されたユーザの黒目の位置が画面対応領域内にあるか否か判定し、ユーザの黒目の位置が画面対応領域内にある場合に、表示画面における視点座標を算出し、表示画面に表示されているアプリケーション画面の座標情報と、当該視点座標を用いて、ユーザが見ているアプリケーション画面を提供するアプリケーションを特定する。そして、管理サーバ(20)が、特定されたアプリケーションが、業務で使用される既定のアプリケーションであるか否か判定し、既定のアプリケーションであると判定されたアプリケーションの使用時間を算出する。

Description

業務管理システム、業務管理方法、及び業務管理プログラム
 本発明は、業務管理システム、業務管理方法、及び業務管理プログラムに関し、特に、アプリケーションプログラム(以下、単に「アプリケーション」とする。)を使用する作業者の業務実態を把握するための業務管理システム、業務管理方法、及び業務管理プログラムに関する。
 従来、テレワークを行っている作業者の作業状況を監視するための種々の技術が提案されている。例えば、特許文献1が開示する遠隔作業状況監視システムでは、作業者のPC(Personal Computer)の動作状態に基づいて、作業者の作業状況を監視することを意図している。
特開2000-48078号公報
 しかしながら、特許文献1が開示する遠隔作業状況監視システムでは、PCの動作状態として、ゲーム等の非職務プロセスやスクリーンセーバの作動状態を監視するのみであるため、作業者が業務で使用するアプリケーションの使用時間を把握することができず、作業者の業務実態を詳細に把握できないという問題があった。
 本発明の目的は、上述した課題を鑑み、アプリケーションを使用する作業者の業務実態を把握することが可能な業務管理システム、業務管理方法、及び業務管理プログラムを提供することにある。
 本発明の一実施形態に係る業務管理システムは、撮影画像を解析してユーザの黒目を検出する解析部と、ユーザの黒目が検出された場合に、撮影画像におけるユーザの黒目の位置が、アプリケーション画面が表示される表示画面に対応する画面対応領域内にあるか否か判定する位置判定部と、ユーザの黒目の位置が画面対応領域内にある場合に、黒目の位置に基づき、表示画面におけるユーザの視点を示す視点座標を算出する視点座標算出部と、表示画面に表示されているアプリケーション画面の座標情報と、視点座標を用いて、ユーザが見ているアプリケーション画面を提供するアプリケーションを特定するアプリケーション特定部と、特定されたアプリケーションが、業務で使用される既定のアプリケーションであるか否か判定するアプリケーション判定部と、特定されたアプリケーションが既定のアプリケーションであると判定された場合、既定のアプリケーションであると判定されたアプリケーションの使用時間を算出する時間算出部とを含む。
 本発明により、アプリケーションを使用する作業者の業務実態を把握することが可能な業務管理システム、業務管理方法、及び業務管理プログラムを提供することができる。
本発明の一実施形態に係る業務管理システムの一実施形態を示す概略図である。 本発明の一実施形態に係るユーザPCの詳細な構成を示すブロック図である。 本発明の一実施形態に係る管理サーバの詳細な構成を示すブロック図である。 本発明の一実施形態に係るユーザPC及び管理サーバが備える主要な構成要素を示すブロック図である。 データ記憶テーブルの一例を示す図である。 本発明の一実施形態に係るユーザPCが実行する処理の一例を示すフローチャートである。 本発明の一実施形態に係る管理サーバが実行する処理の一例を示すフローチャートである。 本発明の一実施形態に係る管理サーバが実行する処理の一例を示すフローチャートである。 既定の時間が加算される加算対象時間の一例を示す図である。 撮影画像の一例を示す図である。 視点座標の算出方法を説明するための図である。 本発明の一実施形態に係る管理サーバが生成する画像の一例を示す図である。
 以下、図面を参照して、本発明の一実施形態について説明する。図1は、本発明の業務管理システム1の一実施形態を示す概略図である。業務管理システム1は、ユーザPC10と、管理サーバ20と、管理者PC30と、ユーザPC50と、撮影装置60とを含む。
 ユーザPC10、管理サーバ20及び管理者PC30は、管理対象の作業者の勤務先、例えば、企業等に設置することができる。ユーザPC10、管理サーバ20及び管理者PC30は、LAN(Local Area Network)等の社内ネットワーク40を介して、相互にデータを通信することができる。
 ユーザPC10は、遠隔で操作可能なリモートデスクトップ機能に対応した情報処理装置であり、管理対象の作業者がユーザPC50を用いて、ユーザPC10が有するアプリケーションやデータを利用することができる。ユーザPC10の機能の詳細については、図2を参照して後述する。
 管理サーバ20は、ユーザPC10が提供した情報を用いて、アプリケーション毎の使用時間、業務外作業時間、管理対象の作業者が退席している時間を算出する情報処理装置である。管理サーバ20の機能の詳細については、図3を参照して後述する。
 管理者PC30は、管理対象の作業者の管理者が使用する情報処理装置である。管理者PC30は、管理サーバ20に対し、アプリケーション毎の使用時間、業務外作業時間、管理対象の作業者が退席している時間を示す画像を要求し、管理サーバ20から取得した画像を管理者PC30の表示装置に表示する。
 ユーザPC50及び撮影装置60は、管理対象の作業者の自宅等の作業空間に設置される。ユーザPC50は、ユーザPC10を遠隔で操作可能なリモートデスクトップ機能を有しており、VPN(Virtual Private Network)70を介して、会社内のユーザPC10にアクセスし、ユーザPC10が有するアプリケーションやデータを利用することができる。
 撮影装置60は、ユーザPC50と通信可能に接続され、ユーザPC50のユーザの顔、特にユーザの目を撮影可能な位置に設置される。撮影装置60は、所定の時間間隔で撮影処理を実行する。所定の時間間隔は、一般的に人が文章を読み際に一箇所に目を留めている時間(200ミリ秒等)とすることができる。撮影装置60は、撮影処理を実行して撮影画像を生成すると、当該撮影画像をユーザPC50に送信する。なお、ユーザPC50に一体的に組み込まれた撮影装置を、撮影装置60の代わりに使用してもよい。
 ユーザPC50は、撮影装置60が提供した撮影画像、管理対象の作業者であるユーザが使用しているアプリケーションが提供する画面(以下、「アプリケーション画面」とする。)の座標情報、及びアプリケーション画面の前後関係を示す情報を、VPN70及び社内ネットワーク40を介して、会社内のユーザPC10に送信する。アプリケーション画面の座標情報には、ユーザPC50の表示装置に表示されたアプリケーション画面の座標を示す情報と、当該アプリケーション画面を提供するアプリケーションの識別情報と、当該アプリケーション画面が表示された日時情報が含まれる。アプリケーション画面の前後関係を示す情報は、仮想的に重複表示されているアプリケーション画面の前後関係を示す情報と、当該アプリケーション画面を提供するアプリケーションの識別情報と、当該アプリケーション画面が表示された日時情報が含まれる。ユーザPC50は、これらの情報を、上述した所定の時間間隔でユーザPC10に送信することができる。
 図2は、本発明の一実施形態に係るユーザPC10の詳細な構成を示すブロック図である。ユーザPC10は、演算装置100と、通信インタフェース(I/F)110、記憶装置120とを備える。演算装置100は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等の演算装置であり、本発明の一実施形態に係る業務管理プログラムを実行することにより、本発明の一実施形態に係る業務管理方法を実行する。演算装置100が実行するプログラムには、監視部101、解析部102、位置算出部103、位置判定部104、視点座標算出部105、アプリケーション(AP)特定部106、データベース(DB)処理部107、及び情報提供部108が含まれる。これらのプログラムモジュールは、UC(Unified Communications)アプリケーションの機能として実装することができる。
 監視部101は、ユーザPC50から、撮影画像、並びにアプリケーション画面の座標情報及び前後関係を示す情報を受信したか否か判断するプログラムモジュールである。監視部101は、これらの情報を受信すると、記憶装置120に保存する。
 解析部102は、記憶装置120に保存されている撮影画像を解析して、ユーザの黒目を検出するプログラムモジュールである。解析部102は、記憶装置120から撮影画像を取得し、ユーザの黒目が撮影画像に含まれるか否か判断する。
 位置算出部103は、撮影画像におけるユーザの黒目の位置を算出するプログラムモジュールである。位置算出部103は、図10に示すように、ユーザの黒目の中心位置C、すなわち、瞳孔の中心位置を算出することができる。
 位置判定部104は、ユーザPC50の表示装置の表示画面に対応する領域(以下、「画面対応領域」とする。)内に、ユーザの黒目の中心位置Cがあるか否か判定するプログラムモジュールである。図10に示すように、画面対応領域の左上端部Ptl、左下端部Pbl、右上端部Ptr、右下端部Pbrは、それぞれユーザPC50の表示装置の表示画面の右上端部、右下端部、左上端部、左下端部に対応する。
 画面対応領域の左上端部Ptlは、ユーザがユーザPC50の表示装置の表示画面の右上端部を見ているときの黒目の中心位置Cに相当する。画面対応領域の左下端部Pblは、ユーザが表示画面の右下端部を見ているときの黒目の中心位置Cに相当する。画面対応領域の右上端部Ptrは、ユーザが表示画面の左上端部を見ているときの黒目の中心位置Cに相当する。画面対応領域の右下端部Pbrは、ユーザが表示画面の左下端部を見ているときの黒目の中心位置Cに相当する。画面対応領域の各端部Ptl,Pbl,Ptr,Pbrは、ユーザPC50の表示装置の表示画面の各端部を個別に点灯させ、ユーザが表示画面の各端部を見ているときの撮影画像を用いて決定することができる。
 視点座標算出部105は、画面対応領域におけるユーザの黒目の中心位置Cに基づき、ユーザPC50の表示装置の表示画面におけるユーザの視点を示す視点座標を算出するプログラムモジュールである。具体的には、図11に示すように、ユーザPC50の表示装置の表示画面の左下端部を原点とする場合、視点座標算出部105は、当該原点に対応する画面対応領域の右下端部Pbrから中心位置CまでのX方向及びY方向の距離を算出する。例えば、画面対応領域のX方向及びY方向の長さをそれぞれ1とすると、図11に示す中心位置CのX方向及びY方向の距離は、それぞれ0.7及び0.5となる。ユーザPC50の表示装置の表示画面の解像度が1920×1080である場合、ユーザの視点座標は、(X,Y)=(1344(=1920×0.7),540(=1080×0.5))となる。
 AP特定部106は、ユーザPC50の表示画面に表示されているアプリケーション画面の座標情報と、ユーザの視点座標を用いて、ユーザが見ているアプリケーション画面を提供するアプリケーションを特定するプログラムモジュールである。AP特定部106は、記憶装置120からアプリケーション画面の座標情報を取得し、当該座標情報が規定する領域内、すなわち、アプリケーション画面内にユーザの視点座標が含まれるか否か判断する。アプリケーション画面内にユーザの視点座標が含まれる場合、AP特定部106は、当該アプリケーション画面を提供するアプリケーションを特定する。
 アプリケーション画面が仮想的に重複表示されている場合、AP特定部106は、記憶装置120からアプリケーション画面の座標情報に加えて、アプリケーション画面の前後関係を示す情報を取得する。AP特定部106は、アプリケーション画面が仮想的に重複表示されている領域内にユーザの視点座標が含まれる場合、アプリケーション画面の前後関係を示す情報に基づき、最前面のアプリケーション画面を提供するアプリケーションを特定することができる。
 DB処理部107は、他のプログラムモジュールの要求に応じて、記憶装置120に生成されるデータ記憶テーブルに情報を登録するプログラムモジュールである。図5に示すように、データ記憶テーブルには、撮影画像の生成日時を示す日時情報と、ユーザの黒目及び視点に関する判定結果と、視点座標と、アプリケーションの識別情報とが登録される。
 ユーザの黒目及び視点に関する判定結果には、ユーザの黒目の中心位置Cが画面対応領域内にある旨の判定結果、ユーザの黒目の中心位置Cが画面対応領域外にある旨の判定結果、ユーザの黒目が検出されなかった旨の判定結果がある。ユーザの黒目の中心位置Cが画面対応領域内にある旨の判定結果は、ユーザがユーザPC50の表示装置の表示画面を見ていることを意味する。ユーザの黒目の中心位置Cが画面対応領域外にある旨の判定結果は、ユーザがユーザPC50の表示装置の表示画面以外を見ていることを意味する。アプリケーションの識別情報は、ユーザが見ているアプリケーション画面を提供するアプリケーションの識別情報である。
 ユーザの黒目の中心位置Cが画面対応領域内にある場合、その旨を示す判定結果と、視点座標と、アプリケーションの識別情報が、日時情報に関連付けて登録される。ユーザの黒目の中心位置Cが画面対応領域外にある場合、その旨を示す判定結果が、日時情報に関連付けて登録される。ユーザの黒目が検出されなかった場合、その旨を示す判定結果が、日時情報に関連付けて登録される。
 情報提供部108は、データ記憶テーブルに記録された情報を管理サーバ20に提供するプログラムモジュールである。情報提供部108は、ユーザの業務の終了時等の任意のタイミングで、データ記憶テーブルに記録された情報を管理サーバ20に提供することができる。
 通信I/F110は、ユーザPC10とユーザPC50及び管理サーバ20との間で、社内ネットワーク40及びVPN70を介した種々のデータを送受信する装置である。記憶装置120は、本発明の一実施形態に係るプログラム、ユーザPC50が提供した撮影画像、アプリケーション画面の座標情報及び前後関係を示す情報、並びにデータ記録テーブル等の種々の情報が保存される記憶装置である。
 図3は、本発明の一実施形態に係る管理サーバ20の詳細な構成を示すブロック図である。管理サーバ20は、演算装置200と、通信インタフェース(I/F)210と、記憶装置220とを備える。
 演算装置200は、CPUやMPU等の演算装置であり、本発明の一実施形態に係るプログラムを実行することにより、本発明の一実施形態に係る方法を実行する。演算装置200が実行するプログラムには、監視部201、アプリケーション(AP)判定部202、閲覧判定部203、時間算出部204、及び表示画像生成部205が含まれる。
 監視部201は、ユーザPC10が送信した情報を受信したか否か判断するプログラムモジュールである。監視部201は、ユーザPC10から当該情報、すなわち、ユーザPC10のデータ記憶テーブルに記録された情報を受信すると、当該情報を記憶装置220のデータ記録テーブルに登録する。
 AP判定部202は、記憶装置220のデータ記録テーブルに識別情報が登録されているアプリケーションが、ユーザPC50のユーザが業務で使用する既定のアプリケーションであるか否か判定するプログラムモジュールである。既定のアプリケーションは、当該ユーザの業務を管理する者等が予め決定することができる。AP判定部202は、記憶装置220のデータ記録テーブルに登録されているアプリケーションの識別情報が、既定のアプリケーションの識別情報と一致するか否か判定することにより、データ記録テーブルに識別情報が登録されているアプリケーションが、既定のアプリケーションであるか否か判定できる。
 閲覧判定部203は、撮影画像の生成日時を基準とする過去の特定期間において、ユーザPC50のユーザがアプリケーション画面を見ていたか否か判定するプログラムモジュールである。過去の特定期間は、例えば、撮影画像の生成日時である日時情報が示す時刻から10秒遡った期間とすることができる。閲覧判定部203は、記憶装置220のデータ記録テーブルを参照し、過去の特定期間に相当する日時情報に、アプリケーションの識別情報が関連付けられているか否か判定することにより、当該特定期間においてユーザPC50のユーザがアプリケーション画面を見ていたか否か判定することができる。
 時間算出部204は、ユーザPC50のユーザによるアプリケーションの使用時間、業務外作業時間、及び退席中の時間を算出するプログラムモジュールである。時間算出部204は、撮影装置60の撮影処理の実行周期に基づく既定の時間(例えば、200ミリ秒)を加算することにより、アプリケーションの使用時間、業務外作業時間、及び退席中の時間を算出することができる。
 表示画像生成部205は、既定のアプリケーションであると判定されたアプリケーション毎の使用時間、及び単位時間(例えば、一日の労働時間等)当たりの当該アプリケーション毎の使用率の少なくとも一方と、業務外作業時間と、退席中の時間と表示する画像を生成するプログラムモジュールである。アプリケーションの使用率は、アプリケーションの使用時間に基づいて算出することができる。表示画像生成部205は、管理者PC30からの要求に応じて、当該画像を生成し、当該画像を管理者PC30に提供する。管理者PC30の表示装置には、図12に示すような画像が表示される。図12に示す画像は、アプリケーション毎の使用時間、業務外作業時間、及び退席中の時間を表示する。
 通信I/F210は、管理サーバ20とユーザPC10及び管理者PC30との間で、社内ネットワーク40を介した種々のデータの送受信を行う装置である。記憶装置220は、本発明の一実施形態に係るプログラム及びデータ記録テーブル等の種々の情報が保存される記憶装置である。
 図4は、本発明の一実施形態に係るユーザPC10及び管理サーバ20が備える主要な構成要素を示すブロック図である。ユーザPC10は、解析部102と、位置判定部104と、視点座標算出部105と、AP特定部106とを備える。管理サーバ20は、AP判定部202と、閲覧判定部203と、時間算出部204とを備える。
 図6は、本発明の一実施形態に係るユーザPC10が実行する処理の一例を示すフローチャートである。ユーザPC10は、記憶装置120の保存されている全ての撮影画像について図6の処理を実行する。ステップS101では、ユーザPC10の解析部102は、ユーザPC50が提供した撮影画像を、記憶装置120から取得して解析する。ステップS102では、解析部102は、ユーザの黒目を検出したか否か判断する。ユーザの黒目を検出しなかった場合(NO)、ステップS103で解析部102は、DB処理部107を用いて、黒目が検出されなかった旨の判定結果をデータ記録テーブルに登録し、図6の処理が終了する。
 一方、ユーザの黒目を検出した場合(YES)、ステップS104に処理が分岐する。ステップS104では、位置算出部103が、撮影画像におけるユーザの黒目の中心位置Cを算出する。ステップS105では、位置判定部104が、黒目の中心位置Cが画面対応領域内にあるか否か判定する。黒目の中心位置Cが画面対応領域外にある場合(NO)、ステップS106で位置判定部104は、DB処理部107を用いて、黒目の中心位置Cが画面対応領域外にある旨の判定結果をデータ記録テーブルに登録し、図6の処理が終了する。
 一方、黒目の中心位置Cが画面対応領域内にある場合(YES)、ステップS107で視点座標算出部105が、画面対応領域におけるユーザの黒目の中心位置Cに基づき、ユーザPC50の表示装置の表示画面におけるユーザの視点座標を算出する。ステップS108では、AP特定部106が、ステップS101で取得した撮影画像に関連する、ユーザPC50の表示装置に表示されているアプリケーション画面の座標情報及び前後関係を示す情報を、記憶装置120から取得する。AP特定部106は、撮影画像の生成日時と、当該アプリケーション画面が表示された日時情報に基づいて、撮影画像に関連するアプリケーション画面の座標情報及び前後関係を示す情報を特定することができる。
 ステップS109では、AP特定部106は、ユーザの視点座標と、アプリケーション画面の座標情報及び前後関係を示す情報に基づき、ユーザが見ているアプリケーション画面を提供するアプリケーションを特定する。ステップS110では、AP特定部106は、DB処理部107を用いて、黒目の中心位置Cが画面対応領域内にある旨の判定結果と、ユーザが見ているアプリケーションの識別情報をデータ記録テーブルに登録し、図6の処理が終了する。
 図7は、本発明の一実施形態に係る管理サーバ20が実行する処理の一例を示すフローチャートである。ステップS201では、AP判定部202が、記憶装置220に保存されている記録データの中から1つの時刻に関連する記録データを選択する。ステップS202では、AP判定部202は、選択した記録データの判定結果に基づき、その内容に応じて処理を分岐させる。具体的には、ユーザの黒目の中心位置Cが画面対応領域内にある旨の判定結果の場合、ステップS203に処理が分岐する。ユーザの黒目の中心位置Cが画面対応領域外にある旨の判定結果である場合、ステップS207に処理が分岐する。ユーザの黒目が検出されなかった旨の判定結果である場合、ステップS209に処理が分岐する。
 ステップS203では、AP判定部202は、選択した記録データのAP識別情報が示すアプリケーションが既定のアプリケーションであるか否か判定する。AP識別情報が示すアプリケーションが既定のアプリケーションである場合(YES)、ステップS204で時間算出部204が、当該アプリケーションの使用時間に既定の時間を加算する。一方、AP識別情報が示すアプリケーションが既定のアプリケーションでない場合(NO)、ステップS205で時間算出部204は、業務外作業時間に既定の時間を加算する。
 ステップS206では、AP判定部202は、未だ選択していない記録データが有るか否か判断する。未だ選択していない記録データが有る場合(YES)、ステップS201に処理が戻り、次の1つの時刻に関連する記録データについて上記処理が実行される。一方、未だ選択していない記録データが無い場合(NO)、図7の処理が終了する。
 ステップS202においてユーザの黒目の中心位置Cが画面対応領域外にある旨の判定結果である場合、ステップS207の処理が実行される。ステップS207では、閲覧判定部203は、記憶装置220のデータ記録テーブルを参照し、過去の特定期間に相当する日時を示す日時情報に、アプリケーションの識別情報が関連付けられているか否か判定する。この過去の特定期間は、ステップS201で選択した記録データの日時情報が示す日時を基準とする期間である。当該特定期間の日時情報の少なくとも一つにアプリケーションの識別情報が関連付けられている場合(YES)、ステップS203に処理が分岐する。
 この場合、AP判定部202は、当該アプリケーションが既定のアプリケーションであるか否か判定する。当該アプリケーションが既定のアプリケーションである場合、時間算出部204は、当該アプリケーションの使用時間に既定の時間を加算する。すなわち、時間算出部204は、ユーザの黒目の中心位置Cが画面対応領域外にあった期間を、既定のアプリケーションであると判定されたアプリケーションの使用時間に加算する。
 一方、当該特定期間の日時情報のいずれにもアプリケーションの識別情報が関連付けられていない場合(NO)、ステップS208に処理が分岐する。ステップS208では、時間算出部204は、業務外作業時間に既定の時間を加算し、ステップS206に処理が進む。
 ステップS202においてユーザの黒目が検出されなかった旨の判定結果である場合、ステップS209の処理が実行される。ステップS209では、閲覧判定部203は、ステップS207と同様に、記憶装置220のデータ記録テーブルを参照し、過去の特定期間に相当する日時を示す日時情報に、アプリケーションの識別情報が関連付けられているか否か判定する。当該特定期間の日時情報の少なくとも一つにアプリケーションの識別情報が関連付けられている場合(YES)、ステップS203に処理が分岐する。
 この場合、AP判定部202は、当該アプリケーションが既定のアプリケーションであるか否か判定する。当該アプリケーションが既定のアプリケーションである場合、時間算出部204は、当該アプリケーションの使用時間に既定の時間を加算する。すなわち、時間算出部204は、ユーザの黒目が検出されなかった期間を、既定のアプリケーションであると判定されたアプリケーションの使用時間に加算する。
 一方、当該特定期間の日時情報のいずれにもアプリケーションの識別情報が関連付けられていない場合(NO)、ステップS210に処理が分岐する。ステップS210では、時間算出部204は、退席中の時間に既定の時間を加算し、ステップS206に処理が進む。
 上述した実施形態では、ユーザPC10の解析部102が、撮影装置60が生成した撮影画像を解析してユーザの黒目を検出したか否か判断する。ユーザの黒目が検出された場合、位置判定部104が、撮影画像におけるユーザの黒目の位置が画面対応領域内にあるか否か判定し、判定結果をデータ記録テーブルに登録する。ユーザの黒目の位置が画面対応領域内にある場合、視点座標算出部105が、画面対応領域内の黒目の位置に基づいて視点座標を算出し、データ記録テーブルに登録する。次いで、AP特定部106が、表示画面に表示されているアプリケーション画面の座標情報と視点座標を用いて、ユーザが見ているアプリケーション画面を提供するアプリケーションを特定し、当該アプリケーションの識別情報をデータ記録テーブルに登録する。そして、情報提供部108が、データ記録テーブルに登録された情報を管理サーバ20に送信する。
 管理サーバ20は、ユーザPC10から当該情報を受信すると、AP判定部202が、当該情報に含まれる識別情報が示すアプリケーションが既定のアプリケーションであるか否か判定する。当該アプリケーションが既定のアプリケーションであると判定された場合、時間算出部204が、既定のアプリケーションであると判定されたアプリケーションの使用時間を算出する。これにより、業務で使用されるアプリケーションの使用時間が算出されるため、管理者が、業務で使用されるアプリケーションを使用する作業者の業務実態を把握することができる。
 また、上述した実施形態では、撮影画像においてユーザの黒目が検出されなかった場合、閲覧判定部203が、当該撮影画像の生成日時を基準とする過去の特定期間においてユーザが、アプリケーションの画面を見ていたか否か判定する。過去の特定期間においてユーザがアプリケーションの画面を見ていたと判定された場合、AP判定部202が、当該アプリケーションが既定のアプリケーションであるか否か判定する。当該アプリケーションが既定のアプリケーションであると判定された場合、時間算出部204は、ユーザの黒目が検出されなかった期間を当該アプリケーションの使用時間に加算する。
 これにより、ユーザが作業中に瞬きをしたことによって黒目が検出されなかった場合でも、図9に示すように黒目が検出されなかった期間をアプリケーションの使用時間に加算することができる。そのため、ユーザによるアプリケーションの使用時間を正確に記録することができ、管理者が、管理対象の作業者の業務実態を正確に把握することができる。
 さらに、上述した実施形態では、撮影画像においてユーザの黒目の位置が画面対応領域外にある場合、閲覧判定部203が、当該撮影画像の生成日時を基準とする過去の特定期間においてユーザが、アプリケーションの画面を見ていたか否か判定する。過去の特定期間においてユーザがアプリケーションの画面を見ていたと判定された場合、AP判定部202が、当該アプリケーションが既定のアプリケーションであるか否か判定する。当該アプリケーションが既定のアプリケーションであると判定された場合、時間算出部204は、ユーザの黒目の位置が画面対応領域外にあった期間を当該アプリケーションの使用時間に加算する。
 これにより、例えば、ユーザがアプリケーションを使用しているときに、手元のキーボードやマウス、資料等を見たことにより、ユーザの黒目の位置が画面対応領域外にあった場合でも、黒目の位置が画面対応領域外にあった期間をアプリケーションの使用時間に加算することができる。そのため、ユーザによるアプリケーションの実質的な使用時間を記録することができ、管理者が、管理対象の作業者の業務実態を正確に把握することができる。
 さらに、上述した実施形態では、表示画像生成部205が、既定のアプリケーションであると判定されたアプリケーションの使用時間、及び当該アプリケーションの使用時間に基づく単位時間当たりの当該アプリケーションの使用率の少なくとも一方を、アプリケーション毎に表示する画像を生成する。これにより、管理者が、管理対象の作業者の業務実態を容易に把握することができる。
 上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに提供することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば、光磁気ディスク)、CD-ROM、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM)を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに提供されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
 本発明は上述した実施形態に限られたものではなく、本発明の趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、他の実施形態では、ユーザPC10の代わりに、VPC(Virtual Personal Computer)等の仮想的なPCを管理サーバ20等の情報処理装置に実装してもよい。この場合、管理サーバ20等の単一の情報処理装置が、ユーザPC10及び管理サーバ20が備える上述したプログラムモジュールを含む本発明の一実施形態に係るプログラムを実行し、本発明の一実施形態に係る方法を実行する。本実施形態では、ユーザPC50は、撮影画像、アプリケーション画面の座標情報及び前後関係を示す情報を、VPN70及び社内ネットワーク40を介して、当該情報処理装置に送信する。そして、当該情報処理装置が備える演算装置が、図6~図8に示す処理を実行する。
 また、他の実施形態では、ユーザPC10は、管理対象の作業者を識別する顔認証機能を備えてもよい。この場合、真正のユーザであると認識された場合にのみ、上述した撮影画像の日時情報、判定結果、視点座標及びアプリケーションの識別情報が、データ記録テーブルに登録される。これにより、なり済ましを防止することができ、管理者が、管理対象の作業者の業務実態を詳細に把握することができる。
 さらに、他の実施形態では、管理サーバ20は、管理対象の作業者の勤務先以外の場所に設置された外部サーバとしてもよい。さらに、ユーザPC10及び管理サーバ20が備える上記プログラムモジュールの機能を、FPGA(Field-Programmable Gate Array)やASIC(Application Specific Integrated Circuit)等の回路によって実現してもよい。
 この出願は、2019年12月25日に出願された日本出願特願2019-234345を基礎とする優先権を主張し、その開示の全てをここに取り込む。
1   業務管理システム
10  ユーザPC
100 演算装置
102 解析部
104 位置判定部
105 視点座標算出部
106 AP特定部
20  管理サーバ
200 演算装置
202 AP判定部
204 時間算出部
203 閲覧判定部
205 表示画像生成部

Claims (13)

  1.  撮影画像を解析してユーザの黒目を検出する解析部と、
     前記ユーザの黒目が検出された場合に、前記撮影画像における前記ユーザの黒目の位置が、アプリケーション画面が表示される表示画面に対応する画面対応領域内にあるか否か判定する位置判定部と、
     前記ユーザの黒目の位置が前記画面対応領域内にある場合に、前記黒目の位置に基づき、前記表示画面における前記ユーザの視点を示す視点座標を算出する視点座標算出部と、
     前記表示画面に表示されているアプリケーション画面の座標情報と、前記視点座標を用いて、前記ユーザが見ているアプリケーション画面を提供するアプリケーションを特定するアプリケーション特定部と、
     特定された前記アプリケーションが、業務で使用される既定のアプリケーションであるか否か判定するアプリケーション判定部と、
     特定された前記アプリケーションが前記既定のアプリケーションであると判定された場合、前記既定のアプリケーションであると判定されたアプリケーションの使用時間を算出する時間算出部と
     を含む、業務管理システム。
  2.  前記ユーザの黒目が検出されなかった場合、前記撮影画像の生成日時を基準とする過去の特定期間において前記ユーザが、特定された前記アプリケーションの画面を見ていたか否か判定する閲覧判定部を含み、
     前記アプリケーション判定部は、前記過去の特定期間において前記ユーザが、特定された前記アプリケーションの画面を見ていたと判定された場合、特定された前記アプリケーションが前記既定のアプリケーションであるか否か判定し、
     前記時間算出部は、前記ユーザの黒目が検出されなかった期間を、前記既定のアプリケーションであると判定されたアプリケーションの使用時間に加算する、請求項1に記載の業務管理システム。
  3.  前記ユーザの黒目の位置が前記画面対応領域外にある場合、前記撮影画像の生成日時を基準とする過去の特定期間において前記ユーザが、特定された前記アプリケーションの画面を見ていたか否か判定する閲覧判定部を含み、
     前記アプリケーション判定部は、前記過去の特定期間において前記ユーザが、特定された前記アプリケーションの画面を見ていたと判定された場合、特定された前記アプリケーションが前記既定のアプリケーションであるか否か判定し、
     前記時間算出部は、前記ユーザの黒目の位置が前記画面対応領域外にあった期間を、前記既定のアプリケーションであると判定されたアプリケーションの使用時間に加算する、請求項1又は2に記載の業務管理システム。
  4.  前記アプリケーション特定部は、
     前記ユーザの黒目が検出された場合、特定された前記アプリケーションの識別情報と、前記撮影画像の日時情報とを関連付け、
     前記ユーザの黒目が検出されなかった場合、特定された前記アプリケーションの識別情報と、前記撮影画像の日時情報とを関連付けず、
     前記閲覧判定部は、特定された前記アプリケーションの識別情報が、前記過去の特定期間に対応する前記撮影画像の日時情報に関連付けられているか否か判定することにより、前記過去の特定期間において前記ユーザが、特定された前記アプリケーションの画面を見ていたか否か判定する、請求項2に記載の業務管理システム。
  5.  前記アプリケーション特定部は、
     前記ユーザの黒目の位置が前記画面対応領域内にある場合、特定された前記アプリケーションの識別情報と、前記撮影画像の日時情報とを関連付け、
     前記ユーザの黒目の位置が前記画面対応領域外にある場合、特定された前記アプリケーションの識別情報と、前記撮影画像の日時情報とを関連付けず、
     前記閲覧判定部は、特定された前記アプリケーションの識別情報が、前記過去の特定期間に対応する前記撮影画像の日時情報に関連付けられているか否か判定することにより、前記過去の特定期間において前記ユーザが、特定された前記アプリケーションの画面を見ていたか否か判定する、請求項3に記載の業務管理システム。
  6.  前記既定のアプリケーションであると判定されたアプリケーションの使用時間、及び当該アプリケーションの使用時間に基づく単位時間当たりの当該アプリケーションの使用率の少なくとも一方を、アプリケーション毎に表示する画像を生成する表示画像生成部をさらに含む、請求項1~5のいずれか1項に記載の業務管理システム。
  7.  撮影画像を解析してユーザの黒目を検出し、
     前記ユーザの黒目が検出された場合に、前記撮影画像における前記ユーザの黒目の位置が、アプリケーション画面が表示される表示画面に対応する画面対応領域内にあるか否か判定し、
     前記ユーザの黒目の位置が前記画面対応領域内にある場合に、前記ユーザの黒目の位置に基づき、前記表示画面における前記ユーザの視点を示す視点座標を算出し、
     前記表示画面に表示されているアプリケーション画面の座標情報と、前記視点座標を用いて、前記ユーザが見ているアプリケーション画面を提供するアプリケーションを特定し、
     特定された前記アプリケーションが、業務で使用される既定のアプリケーションであるか否か判定し、
     特定された前記アプリケーションが前記既定のアプリケーションであると判定された場合、前記既定のアプリケーションであると判定されたアプリケーションの使用時間を算出する、業務管理方法。
  8.  前記ユーザの黒目が検出されなかった場合、前記撮影画像の生成日時を基準とする過去の特定期間において前記ユーザが、特定された前記アプリケーションの画面を見ていたか否か判定し、
     前記過去の特定期間において前記ユーザが、特定された前記アプリケーションの画面を見ていたと判定された場合、特定された前記アプリケーションが前記既定のアプリケーションであるか否か判定し、
     前記ユーザの黒目が検出されなかった期間を、前記既定のアプリケーションであると判定されたアプリケーションの使用時間に加算する、
     請求項7に記載の業務管理方法。
  9.  前記ユーザの黒目の位置が前記画面対応領域外にある場合、前記撮影画像の生成日時を基準とする過去の特定期間において前記ユーザが、特定された前記アプリケーションの画面を見ていたか否か判定し、
     前記過去の特定期間において前記ユーザが、特定された前記アプリケーションの画面を見ていたと判定された場合、特定された前記アプリケーションが前記既定のアプリケーションであるか否か判定し、
     前記ユーザの黒目の位置が前記画面対応領域外にあった期間を、前記既定のアプリケーションであると判定されたアプリケーションの使用時間に加算する、
     請求項7又は8に記載の業務管理方法。
  10.  前記ユーザの黒目が検出された場合、特定された前記アプリケーションの識別情報と、前記撮影画像の日時情報とを関連付け、
     前記ユーザの黒目が検出されなかった場合、特定された前記アプリケーションの識別情報と、前記撮影画像の日時情報とを関連付けず、
     特定された前記アプリケーションの識別情報が、前記過去の特定期間に対応する前記撮影画像の日時情報に関連付けられているか否か判定することにより、前記過去の特定期間において前記ユーザが、特定された前記アプリケーションの画面を見ていたか否か判定する、
     請求項8に記載の業務管理方法。
  11.  前記ユーザの黒目の位置が前記画面対応領域内にある場合、特定された前記アプリケーションの識別情報と、前記撮影画像の日時情報とを関連付け、
     前記ユーザの黒目の位置が前記画面対応領域外にある場合、特定された前記アプリケーションの識別情報と、前記撮影画像の日時情報とを関連付けず、
     特定された前記アプリケーションの識別情報が、前記過去の特定期間に対応する前記撮影画像の日時情報に関連付けられているか否か判定することにより、前記過去の特定期間において前記ユーザが、特定された前記アプリケーションの画面を見ていたか否か判定する、
     請求項9に記載の業務管理方法。
  12.  前記既定のアプリケーションであると判定されたアプリケーションの使用時間、及び当該アプリケーションの使用時間に基づく単位時間当たりの当該アプリケーションの使用率の少なくとも一方を、アプリケーション毎に表示する画像を生成する、
     請求項7~11のいずれか1項に記載の業務管理方法。
  13.  コンピュータに、請求項7~12のいずれか1項に記載の業務管理方法を実行させる、業務管理プログラム。
PCT/JP2020/043793 2019-12-25 2020-11-25 業務管理システム、業務管理方法、及び業務管理プログラム WO2021131465A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CA3165931A CA3165931A1 (en) 2019-12-25 2020-11-25 Business management system, business management method, and business management program
EP20907591.0A EP4064153B1 (en) 2019-12-25 2020-11-25 Business management system, business management method, and business management program
AU2020414584A AU2020414584A1 (en) 2019-12-25 2020-11-25 Business management system, business management method, and business management program
CN202080090242.8A CN114846489A (zh) 2019-12-25 2020-11-25 业务管理系统、业务管理方法和业务管理程序
US17/787,790 US20230025023A1 (en) 2019-12-25 2020-11-25 Business management system, business management method, and business management program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019234345A JP6908297B2 (ja) 2019-12-25 2019-12-25 業務管理システム、業務管理方法、及び業務管理プログラム
JP2019-234345 2019-12-25

Publications (1)

Publication Number Publication Date
WO2021131465A1 true WO2021131465A1 (ja) 2021-07-01

Family

ID=76574332

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/043793 WO2021131465A1 (ja) 2019-12-25 2020-11-25 業務管理システム、業務管理方法、及び業務管理プログラム

Country Status (7)

Country Link
US (1) US20230025023A1 (ja)
EP (1) EP4064153B1 (ja)
JP (1) JP6908297B2 (ja)
CN (1) CN114846489A (ja)
AU (1) AU2020414584A1 (ja)
CA (1) CA3165931A1 (ja)
WO (1) WO2021131465A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000048078A (ja) 1998-07-30 2000-02-18 Hitachi Ltd 遠隔作業状況監視システム
JP2012063885A (ja) * 2010-09-14 2012-03-29 Canon Electronics Inc 情報分析装置、情報分析方法、情報分析システムおよびプログラム
JP2015079498A (ja) * 2013-10-04 2015-04-23 由田新技股▲ふん▼有限公司 閲覧行動の記録方法および装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5831594A (en) * 1996-06-25 1998-11-03 Sun Microsystems, Inc. Method and apparatus for eyetrack derived backtrack
US8260008B2 (en) * 2005-11-11 2012-09-04 Eyelock, Inc. Methods for performing biometric recognition of a human eye and corroboration of same
US20090317019A1 (en) * 2008-06-19 2009-12-24 Venkatesh Rangarajan Puliur Placement of advertisements on electronic documents containing images
US9240011B2 (en) * 2011-07-13 2016-01-19 Visa International Service Association Systems and methods to communicate with transaction terminals
US10139987B2 (en) * 2014-07-18 2018-11-27 Google Llc Automated group recommendation
US9509825B2 (en) * 2014-12-07 2016-11-29 Chon Hock LEOW System and method of secure personal identification
CN105843376A (zh) * 2016-03-07 2016-08-10 乐视移动智能信息技术(北京)有限公司 一种移动终端应用操作方法及移动终端
US10740409B2 (en) * 2016-05-20 2020-08-11 Magnet Forensics Inc. Systems and methods for graphical exploration of forensic data
EP3447684A1 (en) * 2017-08-22 2019-02-27 Eyn Limited Verification method and system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000048078A (ja) 1998-07-30 2000-02-18 Hitachi Ltd 遠隔作業状況監視システム
JP2012063885A (ja) * 2010-09-14 2012-03-29 Canon Electronics Inc 情報分析装置、情報分析方法、情報分析システムおよびプログラム
JP2015079498A (ja) * 2013-10-04 2015-04-23 由田新技股▲ふん▼有限公司 閲覧行動の記録方法および装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4064153A4

Also Published As

Publication number Publication date
EP4064153A4 (en) 2023-01-18
JP2021103425A (ja) 2021-07-15
US20230025023A1 (en) 2023-01-26
EP4064153A1 (en) 2022-09-28
CN114846489A (zh) 2022-08-02
JP6908297B2 (ja) 2021-07-21
AU2020414584A1 (en) 2022-06-16
EP4064153B1 (en) 2024-09-04
CA3165931A1 (en) 2021-07-01

Similar Documents

Publication Publication Date Title
CN106708712B (zh) 用于对便携式计算机测试工具进行云服务资产管理的系统和方法
JP6945373B2 (ja) 作業改善支援システム
US10937241B2 (en) Systems, methods, and apparatus for identifying an augmented reality service
JP6442751B2 (ja) 情報処理装置、情報処理システム、制御方法、及びプログラム
JP6823267B2 (ja) 情報処理装置、情報処理システム、制御方法、及びプログラム
US20160330217A1 (en) Security breach prediction based on emotional analysis
JP2017504121A (ja) 端末デバイスにおけるユーザインタフェースを用いたユーザ行動および関与の計測機
CN104137028A (zh) 控制被显示图像的旋转的设备和方法
US11915519B2 (en) Information processing system, method for managing object to be authenticated, and program
US20200374202A1 (en) Industrial field services automation platform
WO2017054705A1 (zh) 一种局域网内基于物理位置的终端监控方法及系统
JP2017182294A (ja) 情報処理装置、情報処理方法、プログラム
CN109831358A (zh) 一种客户端流量统计方法、装置、服务器及可读存储介质
RU2018115965A (ru) Система проверки летательного аппарата с визуализацией и записью
CN113447128A (zh) 一种多人体温检测方法、装置、电子设备及存储介质
WO2021131465A1 (ja) 業務管理システム、業務管理方法、及び業務管理プログラム
KR102231648B1 (ko) 소방시설의 점검 이력 정보 관리 방법, 장치 및 컴퓨터-판독가능 기록 매체
JP2018142137A (ja) 情報処理装置、情報処理方法、及びプログラム
JP6780326B2 (ja) 情報処理装置及びプログラム
JP7067593B2 (ja) 情報処理システム、認証対象の管理方法、及びプログラム
CN108052555A (zh) 一种照片分类方法和系统
CN111481177A (zh) 头戴设备、投屏系统及方法、计算机可读的存储介质
JP2022036825A (ja) 画像処理装置、画像処理方法およびプログラム
JP6473059B2 (ja) 査定装置、査定方法、および査定プログラム
JP2019139491A (ja) 位置情報管理装置、位置情報管理システム、位置情報管理方法、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20907591

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020414584

Country of ref document: AU

Date of ref document: 20201125

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 3165931

Country of ref document: CA

ENP Entry into the national phase

Ref document number: 2020907591

Country of ref document: EP

Effective date: 20220624

NENP Non-entry into the national phase

Ref country code: DE