KR101047573B1 - A posture-care system for users who use computer - Google Patents

A posture-care system for users who use computer Download PDF

Info

Publication number
KR101047573B1
KR101047573B1 KR1020100129612A KR20100129612A KR101047573B1 KR 101047573 B1 KR101047573 B1 KR 101047573B1 KR 1020100129612 A KR1020100129612 A KR 1020100129612A KR 20100129612 A KR20100129612 A KR 20100129612A KR 101047573 B1 KR101047573 B1 KR 101047573B1
Authority
KR
South Korea
Prior art keywords
user
information
agent
eye
posture
Prior art date
Application number
KR1020100129612A
Other languages
Korean (ko)
Inventor
김영운
Original Assignee
주식회사 좋은정보기술
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 좋은정보기술 filed Critical 주식회사 좋은정보기술
Priority to KR1020100129612A priority Critical patent/KR101047573B1/en
Application granted granted Critical
Publication of KR101047573B1 publication Critical patent/KR101047573B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Child & Adolescent Psychology (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

PURPOSE: A health management system for a computer user is provided to monitor a computer using pose of the user by detecting a facial area of the user from image information of a user obtained from a PC camera. CONSTITUTION: An agent(200) includes as follows. A blinking detecting module analyzes the blinking of an eye in a detected facial area by using brightness information of an eye area. A head bowing detecting module analyzes a head bowing in the detected facial area. An upper body detecting module establishes a candidate area about the top half area by using the detected facial area. The top half detection module analyzes the top half posture by using motion tracking information.

Description

컴퓨터 사용자를 위한 건강지킴이 시스템{A posture-care system for users who use computer}A posture-care system for users who use computer}

본 발명은PC카메라; 에이전트; 서버;를 포함하는 컴퓨터 사용자를 위한 건강지킴이 시스템에 관한 것으로서, 상기 PC 카메라는 사용자의 영상정보를 획득하고; 상기 에이전트는 PC 카메라에서 획득한 영상정보로부터 사용자의 얼굴영역을 검출한 후에, 컴퓨터 이용자세를 모니터링하여 분석하고, 사용자에게 이용자세에 대한 분석 정보 및 이에 대응되는 의학정보를 제공하며; 상기 서버는 상기 에이전트와 연동하는 데이터베이스를 포함하는 것을 특징으로 하는 컴퓨터 사용자를 위한 건강지킴이 시스템에 관한 것이다. The present invention is a PC camera; agent; A health care system for a computer user comprising a server, the PC camera obtaining image information of the user; The agent detects the user's face area from the image information acquired by the PC camera, monitors and analyzes the computer user tax, and provides the user with analysis information on the user tax and corresponding medical information; The server relates to a health care system for a computer user, characterized in that it comprises a database interoperating with the agent.

현대 사회에서, 컴퓨터는 업무의 필수도구일 뿐만 아니라 학습 및 여가활동 등에서도 떼어낼 수 없는 도구가 됨에 따라, 장시간 동안 과도하게 컴퓨터를 사용하거나 또는 잘못된 자세로 컴퓨터를 사용하여 야기되는 컴퓨터 관련 질환이 급증하고 있는 추세이다.In today's society, computers are not only essential tools for work but also inseparable from learning and leisure activities, so that computer-related diseases caused by excessive use of the computer for a long time or using the computer in the wrong posture The trend is soaring.

컴퓨터 관련 질환의 예로는, 안구 표면이 손상되고 눈이 시리고 이물질이 들어있는 것 같은 자극증상을 느끼는 안구건조증, 목의 긴장과 어깨 결림 증상 등이 나타나는 VDT 증후군이나 근골격계 질환 및 가만히 앉아 있어도 머리가 거북이처럼 구부정하게 나와있는 거북목 증후군 등을 들 수 있다.Examples of computer-related disorders include VDT syndrome or musculoskeletal disorders, such as dry eye syndrome, which causes damage to the surface of the eye, irritation of the eyes, and foreign bodies, stiff neck and shoulder stiffness, and even when sitting still. Like the bent turtle neck syndrome is mentioned.

그런데 컴퓨터 사용자들은 이 같은 컴퓨터 관련 질환의 원인이 무엇이고, 질환을 예방하기 위해서는 컴퓨터 사용 도중에 정기적으로 휴식을 취하거나 바른 자세를 유지하는 것이 중요하다는 것을 알고 있으나, 자율적으로 실천을 하는 경우는 흔치 않는 것이 가장 큰 문제라고 할 수 있겠다.By the way, computer users know what causes such computer-related diseases, and it is important to take regular breaks or keep a good posture while using the computer to prevent them, but it is rare to practice them autonomously. That is the biggest problem.

따라서 컴퓨터 사용자들에게 질환이 올 수 있는 가능성을 예고한다거나 그 대처 방안 등을 제시해주는 등과 같이 컴퓨터 사용자의 건강을 지켜줄 수 있는 시스템의 개발이 절실하다 하겠다. Therefore, it is urgent to develop a system that can protect the health of computer users, such as foretelling the possibility of disease to the computer users or suggesting countermeasures.

본 발명의 목적은, PC카메라; 에이전트; 서버;를 포함하는 컴퓨터 사용자를 위한 건강지킴이 시스템에 관한 것으로서, 상기 PC 카메라는 사용자의 영상정보를 획득하고; 상기 에이전트는 PC 카메라에서 획득한 영상정보로부터 사용자의 얼굴영역을 검출한 후에, 컴퓨터 이용자세를 모니터링하여 분석하고, 사용자에게 이용자세에 대한 분석 정보 및 이에 대응되는 의학정보를 제공하며; 상기 서버는 상기 에이전트와 연동하는 데이터베이스를 포함하는 것을 특징으로 하는 컴퓨터 사용자를 위한 건강지킴이 시스템을 제공함에 있다. An object of the present invention, a PC camera; agent; A health care system for a computer user comprising a server, the PC camera obtaining image information of the user; The agent detects the user's face area from the image information acquired by the PC camera, monitors and analyzes the computer user tax, and provides the user with analysis information on the user tax and corresponding medical information; The server provides a health care system for a computer user, characterized in that it comprises a database interoperating with the agent.

본 발명인 컴퓨터 사용자를 위한 건강지킴이 시스템은, PC 카메라에서 획득한 사용자의 영상정보로부터, 사용자의 얼굴영역을 검출한 후에, 컴퓨터 이용자세를 모니터링하여 분석하고, 사용자에게 이용자세에 대한 분석 정보 및 이에 대응되는 의학정보를 제공함으로써, 컴퓨터 사용자의 올바른 컴퓨터 이용자세를 유도하여 건강을 지킬 수 있도록 도와주는 현저한 효과가 있다. The health care system for the computer user of the present invention, after detecting the user's face region from the user's image information obtained from the PC camera, monitors and analyzes the computer user tax, and analyzes the user tax information to the user and By providing the corresponding medical information, there is a remarkable effect of helping the computer user to keep the health by inducing the correct computer user tax.

도 1은 본 발명의 일실시예에 따른 컴퓨터 사용자를 위한 건강지킴이 시스템을 개략적으로 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 컴퓨터 사용자를 위한 건강지킴이 시스템에 포함된 건강지킴이 에이전트의 주요 구성을 구체화한 도면이다.
도 3은 본 발명의 일실시예에 따른 컴퓨터 사용자를 위한 건강지킴이 시스템에 포함된 건강지킴이 서버의 주요 구성을 구체화한 도면이다.
도 4는 본 발명의 일실시예에 따른 건강지킴이 에이전트에서 얼굴특징을 검출하는 과정의 일예이다.
도 5는 본 발명의 일실시예에 따른 건강지킴이 에이전트에서 얼굴특징을 검출한 후 얼굴영역을 표시하는 것을 나타내는 일예이다.
도 6은 본 발명의 일실시예에 따른 건강지킴이 에이전트에서 눈깜박임을 검출하는 것을 나타내는 일예이다.
도 7은 본 발명의 일실시예에 따른 건강지킴이 에이전트에서 고개숙임을 검출하는 것을 나타내는 일예이다.
도 8은 본 발명의 일실시예에 따른 건강지킴이 에이전트에서 상반신을 검출하는 것을 나타내는 일예이다.
도 9는 본 발명의 일실시예에 따른 건강지킴이 에이전트에서 수평/수직자세를 검출하는 것을 나타내는 일예이다.
도 10 은 본 발명의 일실시예에 따른 건강지킴이 에이전트에서 개인의 컴퓨터 사용자세를 리포팅하는 일예이다.1 is a view schematically showing a health care system for a computer user according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating a main configuration of a health care agent included in a health care system for a computer user according to an exemplary embodiment of the present invention.
3 is a diagram illustrating the main configuration of a health guard server included in the health guard system for a computer user according to an embodiment of the present invention.
4 is an example of a process for detecting facial features in a health guard agent according to an embodiment of the present invention.
5 is an example illustrating the display of a facial region after detecting a facial feature in an agent for health guarding according to an embodiment of the present invention.
Figure 6 is an example showing that the health guard according to an embodiment of the present invention detects eye blink.
Figure 7 is an example showing that the health guard according to an embodiment of the present invention detects the high locus in the agent.
8 is an example showing that the health guard according to an embodiment of the present invention detects the upper body in the agent.
Figure 9 is an example showing that the health care agent detects the horizontal / vertical posture in the agent according to an embodiment of the present invention.
10 is an example of reporting a computer user tax of an individual in a health care agent according to an embodiment of the present invention.

본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 안 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.The terms and words used in the present specification and claims should not be construed as limited to ordinary or dictionary terms and the inventor may properly define the concept of the term in order to best describe its invention It should be construed as meaning and concept consistent with the technical idea of the present invention.

따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
Therefore, the embodiments described in the present specification and the configurations shown in the drawings are merely the most preferred embodiments of the present invention and are not intended to represent all of the technical ideas of the present invention. Therefore, various equivalents It should be understood that water and variations may be present.

이하, 도면을 참조하여 설명하기에 앞서, 본 발명의 요지를 드러내기 위해서 필요하지 않은 사항 즉 통상의 지식을 가진 당업자가 자명하게 부가할 수 있는 공지 구성에 대해서는 도시하지 않거나, 구체적으로 기술하지 않았음을 밝혀둔다.
Before describing the present invention with reference to the drawings, it is not shown or specifically described for the matters that are not necessary to reveal the gist of the present invention, that is, those skilled in the art can obviously add. Make a note.

도 1은 본 발명의 일실시예에 따른 컴퓨터 사용자를 위한 건강지킴이 시스템을 개략적으로 도시한 도면이다. 1 is a view schematically showing a health care system for a computer user according to an embodiment of the present invention.

본 발명의 일실시예에 따른 컴퓨터 사용자를 위한 건강지킴이 시스템은 건강지킴이 에이전트와 건강지킴이 서버를 포함하고 있으며, 건강지킴이 에이전트는 웹브라우저에 적용되는 웹에이전트 및/또는 일반 PC 등의 컴퓨터에 적용되는 PC 에이전트 형태로 제공되도록 구성될 수 있으며, 건강지킴이 서버는 웹서버, 어플리케이션 서버 및 데이터베이스 서버를 포함한다.  The health guard system for a computer user according to an embodiment of the present invention includes a health guard agent and a health guard server, the health guard agent is applied to a computer such as a web agent and / or a general PC that is applied to a web browser It can be configured to be provided in the form of a PC agent, the health server includes a web server, an application server and a database server.

바람직하게, 건강지킴이 에이전트 및 건강지킴이 서버는 다양한 시스템과 연동되어 동작되도록 설계되며, 또한 조건에 따라서는 에이전트에 포함되는 구성요소가 서버에 포함되거나 또는 그 반대의 경우도 가능하도록 구성될 수 있다는 것을 미리 밝혀둔다.Preferably, the health agent and the health server are designed to operate in conjunction with various systems, and depending on the conditions, the components included in the agent may be configured to be included in the server or vice versa. Find out in advance.

도 2는 본 발명의 일실시예에 따른 컴퓨터 사용자를 위한 건강지킴이 시스템에 포함된 건강지킴이 에이전트의 주요 구성을 구체화한 도면이고, 도 3은 건강지킴이 서버의 주요 구성을 구체화한 도면이다.2 is a view showing the main configuration of the health guard agent included in the health guard system for a computer user according to an embodiment of the present invention, Figure 3 is a diagram showing the main configuration of the health guard server.

먼저, PC 카메라(100)에서부터 획득된 영상신호는 건강지킴이 에이전트(200)로 전달되어 처리되는데, 먼저 영상처리부(210)에서 사람의 얼굴과 상반신 정보 등을 검출하게 된다.First, the image signal obtained from the PC camera 100 is delivered to the health guard agent 200 and processed. First, the image processor 210 detects a face and upper body information of a person.

바람직하게, 설계조건에 따라서는 PC 카메라(100) 이외의 다른 촬상수단도 적용될 수 있도록 구성될 수 있음은 물론이다.
일예로, PC 카메라(100)는 건강지킴이 에이전트가 설치된 컴퓨터에 연결된 웹카메라이거나, 또는 건강지킴이 에이전트가 설치된 모바일 기기에 내장된 카메라로 설계될 수 있다. Preferably, depending on the design conditions, it can be configured that other imaging means other than the PC camera 100 can be applied.
For example, the PC camera 100 may be a web camera connected to a computer on which a health guard agent is installed, or may be designed as a camera embedded in a mobile device in which the health guard agent is installed.

영상처리부(210)는 영상획득모듈, 얼굴검출모듈 및 얼굴특징모듈을 포함한다. 영상획득모듈은 PC 카메라(100)로부터 영상을 획득 처리하는 모듈로서, 사용자가 사용하는 컴퓨터 운영체제에 대응되도록 구성된다.The image processor 210 includes an image acquisition module, a face detection module, and a face feature module. The image acquisition module is a module that acquires and processes an image from the PC camera 100 and is configured to correspond to a computer operating system used by a user.

일예로, 사용자가 마이크로소프트 운영체제를 사용하는 경우에는, 마이크로소프트의 다이렉트쇼 라이브러리를 활용할 수 있는데, 즉 소스필터, 변환필터 및 렌더필터 등의 필터처리과정을 활용하여 영상신호를 획득하게 된다.
For example, when the user uses a Microsoft operating system, the direct show library of Microsoft may be used. That is, an image signal is obtained by using a filter process such as a source filter, a transform filter, and a render filter.

얼굴검출모듈은 영상획득모듈에서 획득한 영상신호에서 얼굴을 검출하는데, 본 발명에서는 전처리 과정을 통해 일단 대략적으로 얼굴영역을 빠르게 검출하고, 그 다음에 얼굴특징검출모듈에서 도 4에서 서술하는 과정을 통해 얼굴특징을 검출하게 된다.The face detection module detects a face from the image signal acquired by the image acquisition module. In the present invention, the face region is detected quickly quickly through a preprocessing process, and then the process described in FIG. Facial features are detected through this.

이렇게 처리하는 이유는, 본 발명이 컴퓨터 사용자의 이용자세를 모니터링하는데 주 목적이 있는 만큼 얼굴이나 상반신을 검출하는 것에서 그치지 않고 지속적으로 얼굴이나 상반신을 추적하기 위함이다.
The reason for this is that the present invention is not only for detecting a face or torso as the main purpose of monitoring the user posture of a computer user, but to continuously track the face or torso.

바람직하게, 얼굴검출모듈은 전처리 알고리즘으로서, Camshift 알고리즘이 사용할 수 있는데, 이는 컬러분할방법인 Meanshift 알고리즘을 개선한 것으로서 색상을 기반으로 하고 있어서 고속으로 객체 영상을 처리할 수 있는 장점을 보유하고 있다.Preferably, the face detection module is a preprocessing algorithm, which can be used by the Camshift algorithm, which is an improvement on the Meanshift algorithm, which is a color division method, and has an advantage of processing an object image at high speed because it is based on color.

즉 화면 중앙에서부터 사람의 피부색과 유사한 영역을 확장해 나가면서 얼굴영역을 고속으로 검출하게 된다.In other words, the face area is detected at high speed while extending the area similar to the human skin color from the center of the screen.

바람직하게, 설계조건에 따라서는 본 발명의 의도에 부합할 수 있는 다른 전처리 알고리즘이 채용될 수 있음은 물론이다. Preferably, of course, other preprocessing algorithms may be employed depending on the design conditions, which may be compatible with the intention of the present invention.

얼굴특징검출모듈에 대해서는, 도 4에 도시되어 있는 얼굴특징을 검출하는 과정의 일예를 이용하여 서술한다.The facial feature detection module will be described using an example of a process of detecting the facial feature shown in FIG. 4.

먼저, 얼굴특징검출모듈은 얼굴검출모듈에서 전처리 과정을 통해 개략적으로 획득한 얼굴영역 영상에서 바로 얼굴특징을 구하는 것이 아니라, 얼굴특징을 검증하는 절차 등을 통해 적응적 임계값을 구하고 이를 근거로 다시 얼굴특징을 획득하는데 기술적 특징이 있음을 밝혀둔다. First, the face feature detection module does not directly obtain the face features from the face region image obtained through the preprocessing process in the face detection module, but instead obtains an adaptive threshold value through a procedure for verifying the face features, and again It should be noted that there are technical features in obtaining facial features.

얼굴특징검출모듈은 얼굴검출모듈에서 전달된 얼굴영역 RGB 영상을 YCbCr 영상으로 변환하는데, 이러한 변환으로 시각적으로 화질의 저하가 없으면서도 색차 성분을 나타내는데 필요한 데이터 양이 줄어들게 된다.The face feature detection module converts the face region RGB image transmitted from the face detection module into a YCbCr image. This conversion reduces the amount of data required to represent the color difference component without visually degrading the image quality.

또한 휘도성분인 Y 값을 이용하여 얼굴특징을 검출하고, 각 객체를 찾기 위해 레이블링을 수행하여 눈, 눈썹, 코, 입 등과 같은 얼굴특징 후보들을 검출하게 된다.
In addition, facial features are detected using the Y component, which is a luminance component, and labeling is performed to find each object, thereby detecting facial feature candidates such as eyes, eyebrows, nose, and mouth.

그 다음에는, 검출된 얼굴특징 후보를 대상으로 검증을 하여 적응적 임계값을 설정하게 되는데, 본 발명에서는 3가지 조건이 만족되는지 검사하게 된다.Then, the detected facial feature candidates are verified and the adaptive threshold value is set. In the present invention, three conditions are checked.

첫째, 눈과 눈썹은 일정 크기의 너비(width) 및 높이(height)를 가지므로, 눈과 눈썹의 크기가 최소한의 범위에 만족하는지를 검증한다.First, since eyes and eyebrows have a certain width and height, it is verified whether the eye and eyebrows satisfy the minimum range.

일예로, 너비가 15픽셀 이상, 높이가 10픽셀 이하 일 때 이 조건이 만족되도록 설정할 수 있다.For example, when the width is 15 pixels or more and the height is 10 pixels or less, the condition may be set to be satisfied.

둘째, 눈과 눈썹은 너비, 높이가 일정 비율을 가지므로, 비율을 계산한 뒤 일정 범위를 만족하는지를 검증한다.Second, since eyes and eyebrows have a certain ratio of width and height, the ratio is calculated and then verified to meet a certain range.

일예로, 눈과 눈썹의 형태는 너비가 높이보다 항상 큰 값을 가지므로, 높이가 너비에 비해 3배 이상 클 때 이 조건이 만족되도록 설정할 수 있다.For example, since the shape of the eye and the eyebrows always has a value larger than the height, the condition can be set to be satisfied when the height is three times or more than the width.

셋째, 눈과 눈썹은 항상 좌우 한 쌍을 이루고 있으므로, 검출된 얼굴특징 후보들의 중심점을 찾아서 축의 값을 비교하여 비슷한 위치에 있는 객체들이 한 쌍이 되는지를 검증한다. Third, since eyes and eyebrows are always paired left and right, the center points of the detected facial feature candidates are found and the values of the axes are compared to verify whether the paired objects are in similar positions.

이러한 세 가지 조건이 모두 만족되면 적응적 임계값을 설정하게 되고, 이를 이용하여 다시 얼굴특징을 검출하게 된다. When all three conditions are satisfied, the adaptive threshold value is set, and the facial feature is detected again.

바람직하게, 정확한 눈 위치를 찾은 후 기하학적 정보를 이용하여 입술후보영역을 찾고, 좌측 눈과 우측 눈의 축 상의 중심을 찾고 그 중심으로부터 좌측 눈과 우측 눈 간의 거리에 1.12배를 계산하여 축 상의 입술 위치를 찾게 된다.
Preferably, after finding the correct eye position, find the lip candidate area using geometric information, find the center on the axis of the left eye and the right eye, and calculate 1.12 times the distance between the left eye and the right eye from the center of the lip on the axis. You will find a location.

얼굴특징모듈에서 얼굴특징이 검출된 후에는, 도 5에서 도시한 바와 같이 얼굴특징 검출 결과에 근거하여 얼굴영역을 사각형으로 표현하게 된다.
After the facial feature is detected in the facial feature module, as shown in FIG. 5, the face region is represented by a rectangle based on the facial feature detection result.

얼굴 및 얼굴특징을 검출하여, 얼굴영역을 지속적으로 추적할 수 있게 되면, 자세모니터링부(220)에서 사용자의 자세를 모니터링하게 된다.When the face and the facial features are detected and the face region can be continuously tracked, the posture monitoring unit 220 monitors the posture of the user.

자세모니터링부(220)는 눈깜박임 검출모듈, 고개숙임 검출모듈, 상반신 검출모듈 및 수평/수직자세 검출모듈을 포함한다.
The posture monitoring unit 220 includes a blinking detection module, a high bow detection module, a torso detection module, and a horizontal / vertical posture detection module.

눈깜박임 검출모듈은 검출된 눈 영역을 이용하여 눈의 상태를 검출하는 모듈로서, 일예로 밝기(Y) 정보를 이용하여 눈의 상태를 검출할 수 있다.The eye blink detection module detects the state of the eye by using the detected eye region. For example, the eye blink detection module may detect the state of the eye by using brightness (Y) information.

도 6에는 눈 뜬 상태 및 눈 감은 상태가 검출된 일예가 도시되어 있다.
6 shows an example in which the open state and the closed state are detected.

고개숙임 검출모듈은 고개의 자세를 검출하는 모듈로서, 일예로 검출된 눈의 축과 입술의 거리를 측정하여 고개숙임 정보를 검출할 수 있다.The high slumber detection module is a module for detecting the head posture, and for example, the high slumber information can be detected by measuring the distance between the axis of the eye and the lips.

또한 좌측 눈과 우측 눈의 축 기울기 정보를 이용하여 고개의 왼쪽, 오른쪽 기울임 상태를 검출할 수 있다.In addition, the left and right tilt states of the head may be detected using the axial tilt information of the left eye and the right eye.

도 7에는 고개를 뒤로 한 상태, 고개를 숙인 상태, 고개를 왼쪽 또는 오른쪽으로 한 상태가 검출된 일예가 도시되어 있다.
7 shows an example in which a state of turning the head back, a state of bowing the head, and a state of turning the head to the left or the right is detected.

상반신 검출모듈은 상반신의 자세를 검출하는 모듈로서, 일예로 검출된 얼굴영역을 이용하여 상반신 영역에 대한 후보 영역을 설정한 뒤 모션 추적 정보를 이용하여 검출할 수 있다.The torso detection module is a module for detecting a posture of the torso. For example, a candidate region for the torso region may be set using the detected face region and then detected using motion tracking information.

도 8에는 검출된 상반신 영역이 사각형으로 표시된 일예가 도시되어 있다.8 illustrates an example in which the detected torso region is indicated by a rectangle.

수평/수직자세 검출모듈은 어깨 기울림 및 몸 기울임을 검출하는 모듈로서, 일예로 검출된 얼굴 영역 및 상반신 영역의 중심축을 이용하여 검출할 수 있다. The horizontal / vertical posture detection module is a module for detecting shoulder inclination and body inclination. For example, the horizontal / vertical posture detection module may detect using the center axis of the detected face region and the upper body region.

도 9에는 왼쪽 또는 오른쪽으로 기운 상태가 검출된 일예가 도시되어 있다.
9 illustrates an example in which the tilted state to the left or the right is detected.

서비스부(230)는 영상처리부(210) 및 자세모니터링부(220)의 정보를 분석하여 이벤트를 구동시키거나 리포팅을 제공하며 또한 사용자 인터페이스를 제공하는 등의 기능을 수행한다.The service unit 230 analyzes the information of the image processor 210 and the posture monitoring unit 220 to drive an event, provide a report, and provide a user interface.

사용자인터페이스모듈은 사용자 인터페이스의 영상처리는 물론 인터페이스가 각종 메신저 프로그램에 플러그인 형태로서 제공될 수 있도록 하는 등의 기능을 수행한다.The user interface module not only performs image processing of the user interface, but also functions such that the interface can be provided as a plug-in to various messenger programs.

설계조건에 따라서, 건강지킴이 서버(300)에 포함되어 있는 각종 모듈에서 제공하는 정보를 제공할 수 있도록 구성되어짐은 물론이다.
According to the design conditions, health care is of course configured to provide information provided by various modules included in the server 300.

상황감시모듈은 자세모니터링부(220)에서 제공하는 눈깜박임, 고색숙임, 기울림 등의 정보를 수집하고 분석하여 자세활동량 정보를 발생시키고 또한 사용자의 자세활동량 정보에 근거하여 질환이 발생할 가능성이 있는지를 분석한다.The situation monitoring module collects and analyzes information such as eye blinking, high color lodging, and tilting provided by the posture monitoring unit 220 to generate posture activity information and whether the disease may occur based on posture activity information of the user. Analyze

설계조건에 따라서는, 건강지킴이 서버(300)에 포함되어 있는 데이터베이스 서버와 연동하여 사용자의 자세활동량 정보와 의학정보를 대응시켜 분석할 수 있음은 물론이다.
Depending on the design conditions, health guards can be analyzed in association with the user's posture activity amount information and medical information in conjunction with the database server included in the server 300.

리포팅모듈은 상황감시모듈에서 제공하는 분석 정보에 근거하여, 사용자에게 자세활동량이나 관련 의학정보를 리포팅하는 모듈이다.The reporting module is a module for reporting posture activity or related medical information to the user based on the analysis information provided by the situation monitoring module.

도 10에는 개인의 컴퓨터 사용자세를 리포팅하는 일예가 도시되어 있다.10 illustrates an example of reporting a personal computer user tax.

설계조건에 따라서, 건강지킴이 서버(300)에 포함된 웹리포팅모듈, 리포팅발생모듈과 연동되어 동작되도록 구성됨은 물론이다.
According to the design conditions, the health guard is configured to operate in conjunction with the web reporting module, reporting generation module included in the server 300, of course.

광고서비스 모듈은 건강지킴이 서버(300)의 광고/콘텐츠 처리모듈과 연동되는 것으로서, 리포팅모듈이 사용자에게 컴퓨터 사용자세를 리포팅하는 것과 동시에 배너 등을 이용하여 광고나 의학콘텐츠를 제공하는 모듈이다.The advertisement service module is linked with the advertisement / content processing module of the health guard server 300. The reporting module reports a computer user's posture to the user and simultaneously provides a advertisement or medical content by using a banner.

설계조건에 따라서는, 관련 유료 서비스 회사로 하이퍼링크될 수 있도록 구성될 수 있음은 물론이다.
Depending on the design conditions, of course, it can be configured to be hyperlinked to the relevant paid service company.

DB 동기화모듈은 검출된 원시데이터와 분석된 자료가 건강지킴이 서버(200)의 데이터베이스 서버(330)과 동기화되도록 하는 모듈이다.The DB synchronization module is a module that allows the detected raw data and the analyzed data to be synchronized with the database server 330 of the health care server 200.

설계조건에 따라서는, 분석된 정보가 의료기관이나 광고회사 등과 연계될 수 있도록 구성될 수도 있다.
Depending on the design conditions, the analyzed information may be configured to be linked with a medical institution or an advertising company.

한편, 상기에서 도 1 내지 도 10을 이용하여 서술한 것은, 본 발명의 주요 사항만을 서술한 것으로, 그 기술적 범위 내에서 다양한 설계가 가능한 만큼, 본 발명이 도 1 내지 도 10의 구성에 한정되는 것이 아님은 자명하다. In addition, what was described above using FIG. 1 thru | or 10 described only the main matter of this invention, and this invention is limited to the structure of FIG. 1 thru | or 10 as many designs are possible within the technical scope. It is not clear.

100 : PC 카메라200 : 건강지킴이 에이전트
210 : 영상처리부220 : 자세모니터링부
230 : 서비스부300 : 건강지킴이서버
310 : 웹서버320 : 어플리케이션서버
330 : 데이터베이스서버100: PC camera 200: health care agent
210: image processing unit 220: posture monitoring unit
230: service unit 300: health guard server
310: Web Server 320: Application Server
330 Database Server

Claims (3)

PC카메라; 에이전트; 서버;를 포함하는 컴퓨터 사용자를 위한 건강지킴이 시스템에 관한 것으로서,
상기 PC 카메라는 사용자의 영상정보를 획득하고;
상기 에이전트는 PC 카메라에서 획득한 영상정보로부터 사용자의 얼굴영역을 검출한 후에, 컴퓨터 이용자세를 모니터링하여 분석하고, 사용자에게 이용자세에 대한 분석 정보 및 이에 대응되는 의학정보를 제공하되,
(1) 상기 모니터링 되는 컴퓨터 이용자세는 눈깜박임, 고개숙임, 상반신자세 및 몸과 어깨의 기울림 자세로서,
- 상기 에이전트에 포함된 눈깜박임 검출모듈은 검출된 얼굴영역에서 눈 영역의 밝기 정보를 이용하여 눈깜박임을 분석하고,
- 상기 에이전트에 포함된 고개숙임 검출모듈은 검출된 얼굴영역에서 눈의 축과 입술의 거리 정보 및 좌측 눈과 우측 눈의 축 기울기 정보를 이용하여 고개숙임을 분석하고,
- 상기 에이전트에 포함된 상반신 검출모듈은 검출된 얼굴영역을 이용하여 상반신 영역에 대한 후보 영역을 설정한 뒤 모션 추적 정보를 이용하여 상반신자세를 분석하고,
- 상기 에이전트에 포함된 수평/수직자세 검출모듈은 검출된 얼굴영역 및 상반신영역의 중심축을 이용하여 몸과 어깨의 기울림 자세를 분석하고,
(2) 상기 이용자세에 대한 분석 정보 및 이에 대응되는 의학정보는, 눈깜박임, 고개숙임, 상반신자세 및 몸과 어깨의 기울림 자세에 근거하여 질환이 발생할 가능성이 있는지에 대한 정보를 포함하고;
상기 서버는 상기 에이전트와 연동하는 데이터베이스를 포함하는 것을 특징으로 하는 컴퓨터 사용자를 위한 건강지킴이 시스템.
PC camera; agent; A health care system for a computer user including a server;
The PC camera acquires image information of a user;
After detecting the face area of the user from the image information obtained from the PC camera, the agent monitors and analyzes the computer user tax, and provides the user with analysis information on the user tax and medical information corresponding thereto,
(1) The monitored computer user postures are blinking, bowing, upper body posture and body and shoulder tilting,
The eye blink detection module included in the agent analyzes the eye blink using the brightness information of the eye area in the detected face area,
-The high maturity detection module included in the agent analyzes the high maturity using the distance information of the axis of the eye and the lips and the axis tilt information of the left eye and the right eye in the detected face region,
The upper body detection module included in the agent sets a candidate region for the upper body region using the detected face region and analyzes the upper body position using motion tracking information.
The horizontal / vertical posture detection module included in the agent analyzes the body and shoulder inclination posture using the center axes of the detected face region and the upper body region,
(2) the analysis information on the user posture and the corresponding medical information include information on whether there is a possibility of the disease based on blinking eyes, bowels, upper body postures, and body and shoulder postures;
And said server comprises a database interoperating with said agent.
제 1 항에 있어서,
상기 얼굴영역의 검출은 눈 및 눈썹의 기하학적 정보를 이용하여 얼굴특징을 검출한 후에 수행되는 것을 특징으로하는 컴퓨터 사용자를 위한 건강지킴이 시스템. The method of claim 1,
The detection of the face region is performed after detecting the facial features using geometric information of the eye and the eyebrows. 삭제delete
KR1020100129612A 2010-12-17 2010-12-17 A posture-care system for users who use computer KR101047573B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100129612A KR101047573B1 (en) 2010-12-17 2010-12-17 A posture-care system for users who use computer

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100129612A KR101047573B1 (en) 2010-12-17 2010-12-17 A posture-care system for users who use computer

Publications (1)

Publication Number Publication Date
KR101047573B1 true KR101047573B1 (en) 2011-07-07

Family

ID=44923316

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100129612A KR101047573B1 (en) 2010-12-17 2010-12-17 A posture-care system for users who use computer

Country Status (1)

Country Link
KR (1) KR101047573B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101198445B1 (en) * 2011-08-26 2012-11-06 (주) 나인원 An Apparatus for analyzing image of interview and a method thereof

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050111653A (en) * 2004-05-21 2005-11-28 주식회사 비즈모델라인 System and method for payment by using picture information of face, information storing medium
KR100893823B1 (en) * 2007-06-18 2009-04-20 금오공과대학교 산학협력단 Atopy diagnosis method and apparatus based on image processing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050111653A (en) * 2004-05-21 2005-11-28 주식회사 비즈모델라인 System and method for payment by using picture information of face, information storing medium
KR100893823B1 (en) * 2007-06-18 2009-04-20 금오공과대학교 산학협력단 Atopy diagnosis method and apparatus based on image processing

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101198445B1 (en) * 2011-08-26 2012-11-06 (주) 나인원 An Apparatus for analyzing image of interview and a method thereof

Similar Documents

Publication Publication Date Title
JP7229174B2 (en) Person identification system and method
Kawato et al. Detection and tracking of eyes for gaze-camera control
Bulling et al. Multimodal recognition of reading activity in transit using body-worn sensors
US10262196B2 (en) System and method for predicting neurological disorders
Cristina et al. Model-based head pose-free gaze estimation for assistive communication
US20220270287A1 (en) Eye gaze detection method, eye gaze detection device, and non-transitory computer readable storage medium
Nie et al. SPIDERS: Low-cost wireless glasses for continuous in-situ bio-signal acquisition and emotion recognition
JP7299923B2 (en) Personal identification system and method
Nie et al. SPIDERS+: A light-weight, wireless, and low-cost glasses-based wearable platform for emotion sensing and bio-signal acquisition
CN105095885A (en) Human eyes state detection method and human eyes state detection device
KR101198445B1 (en) An Apparatus for analyzing image of interview and a method thereof
Khilari Iris tracking and blink detection for human-computer interaction using a low resolution webcam
KR101047573B1 (en) A posture-care system for users who use computer
Saraswati et al. Eye gaze system to operate virtual keyboard
Kraft et al. CareCam: Towards user-tailored Interventions at the Workplace using a Webcam
Duchowski et al. Art facing science: Artistic heuristics for face detection: tracking gaze when looking at faces
Abdulin et al. Method to detect eye position noise from video-oculography when detection of pupil or corneal reflection position fails
Kunka et al. Non-intrusive infrared-free eye tracking method
JP2021043869A (en) Image processing method, image processing device, and image processing program
Kondo et al. Pupil center detection for infrared irradiation eye image using CNN
Attivissimo et al. Performance evaluation of image processing algorithms for eye blinking detection
Jaimes Posture and activity silhouettes for self-reporting, interruption management, and attentive interfaces
JP2019021002A (en) Watching support system, and control method thereof
Kim et al. A new objective visual fatigue measurement system by using a remote infrared camera
Manousos et al. Contactless detection of facial signs related to stress: A preliminary study

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140621

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150610

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160727

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170713

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180802

Year of fee payment: 8