KR102240485B1 - 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 시스템 및 그 분석 방법 - Google Patents
신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 시스템 및 그 분석 방법 Download PDFInfo
- Publication number
- KR102240485B1 KR102240485B1 KR1020200147868A KR20200147868A KR102240485B1 KR 102240485 B1 KR102240485 B1 KR 102240485B1 KR 1020200147868 A KR1020200147868 A KR 1020200147868A KR 20200147868 A KR20200147868 A KR 20200147868A KR 102240485 B1 KR102240485 B1 KR 102240485B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- data
- analysis
- applicant
- image data
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/168—Evaluating attention deficit, hyperactivity
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
Abstract
본 발명은 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 시스템 및 그 분석 방법에 관한 것으로서, 더욱 상세하게는, 신청자로부터 기설정된 주제에 대한 이미지 데이터를 시계열 순으로 입력받는 이미지 입력부(110)와, 상기 이미지 입력부(110)을 통해서 상기 이미지 데이터를 입력하는 신청자의 상체 영상을 촬영하는 영상 촬영부(120)를 포함하여 구성되는 신청자 단말수단(100) 및 상기 신청자 단말수단(100)으로부터 시계열적 순으로 상기 이미지 데이터와 상기 상체 영상을 전달받아, 상기 상체 영상에 포함되어 있는 적어도 하나의 영상 특징 데이터를 추출하고 상기 이미지 데이터에 포함되어 있는 적어도 하나의 이미지 특징 데이터를 추출하여, 추출한 상기 영상 특징 데이터를 기반으로 상기 상체 영상의 분석을 수행하고, 추출한 상기 이미지 특징 데이터를 기반으로 상기 이미지 데이터의 분석을 수행하는 통합 분석수단(200)을 포함하여 구성되는 것을 특징으로 하는 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 시스템에 관한 것이다.
Description
본 발명은 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 시스템 및 그 분석 방법에 관한 것으로, 더욱 상세하게는, 신청자의 심리 상태를 분석하기 위하여, 신청자가 별도의 이미지 입력 수단을 통해 입력한 이미지 데이터를 입력받고 이미지 데이터를 입력하는 동안의 상체 영상 데이터를 입력받아, 신청자의 감정의 변화, 집중도의 변화 등을 세부 분석하여 보다 정확하게 심리 상담 결과를 도출해 낼 수 있는 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 시스템 및 그 분석 방법에 관한 것이다.
최근들어 우울증이나 ADHD 등의 아동 청소년 정신 장애 질환이 큰 폭으로 증가하고 있다. 건강보험공단 자료에 의하면, 매년 대상자는 3% 이상 증가하고 있으며, 이에 따른 진료비도 증가하고 있어, 청소년 정신질환에 따른 사회적 비용이 크게 증가되고 있다. 또한, 코로나 이후, 비대면으로의 시대적 시스템 전환으로 오프라인 기반의 심리상담 시스템 역시도 비대면으로의 전환이 요구되고 있다.
그렇지만, 상담이 필요한 아동 청소년은 증가하고 있으나, 공공 심리지원 서비스는 여전히 미흡하기 때문에, 전문가 상담 비율은 약 17%에 그치고 있는 현실이며, 오프라인 상담소는 코로나 이후로 내담자가 전무한 상태가 되었다.
종래의 오프라인의 대면 상담 및 관련 상담 지침, 절차에 따르면, 상담 신청자(신청자 등)가 그림을 그리게 하고, 전문 상담사는 신청자가 그린 그림의 구성 내역을 전문가의 관점으로 분해(일 예를 들자면, 집 그림이라면, 그림의 구성 요소인 문, 창문, 지붕, 굴뚝 등으로 분해)하여 심리 판단 기준에 의해 심리를 진단하게 되는데, 코로나와 같은 팬더믹으로 비대면, 온라인으로의 전환이 요구되고 있다.
특히, 부족한 공공 심리지원 서비스의 양을 늘리는 것은 현실적으로 어렵기 때문에, 온라인을 통해서 효율적으로 서비스를 제공할 수 있어, 비대면 진료의 활성화를 기대할 수 있다.
종래에도 이와 같이, 온라인 상의 심리 진단 방법이 일부 개발되었으나, 신청자에게 문제를 풀게 하거나, 입력되는 이미지 자체를 비교하여 유사한 이미지를 찾는 형태의 시스템이 제공되고 있어, 심리 상담의 중요한 과정인 이미지를 분해하여 구성되고 있는 특징에 대한 추출 등을 수행할 수 없는 문제점이 있다.
이와 관련해서, 국내 등록 특허 제10-1554961호("피검사자의 심리 상태를 진단하기 위한 이미지 분석 방법, 장치 및 기록매체")에서는 피검사자가 입력한 이미지를 심리 검사 항목 별로 분석하여 분석 결과에 따라 피검사자의 심리 상태를 진단하는 과정을 전산화, 자동화하기 위한 이미지 분석 기술을 개시하고 있다.
본 발명은 상기한 바와 같은 종래 기술의 문제점을 해결하기 위하여 안출된 것으로, 신청자의 심리 상태를 분석하기 위하여, 신청자가 별도의 이미지 입력 수단을 통해 입력한 이미지 데이터를 입력받고 이미지 데이터를 입력하는 동안의 상체 영상 데이터를 입력받아, 이미지 데이터를 입력하는 동안의 신청자의 감정의 변화, 집중도의 변화 등을 세부 분석할 수 있으며, 이미지 데이터를 통해서 추출한 특징점들에 대한 다양한 기준을 통한 세부 분석을 통해서 보다 정확하게 심리 상담 결과를 도출할 수 있는 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 시스템 및 그 분석 방법을 제공하는 것이다.
본 발명의 일 실시예에 따른 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 시스템은, 신청자로부터 기설정된 주제에 대한 이미지 데이터를 시계열 순으로 입력받는 이미지 입력부(110)와, 상기 이미지 입력부(110)을 통해서 상기 이미지 데이터를 입력하는 신청자의 상체 영상을 촬영하는 영상 촬영부(120)를 포함하여 구성되는 신청자 단말수단(100) 및 상기 신청자 단말수단(100)으로부터 시계열적 순으로 상기 이미지 데이터와 상기 상체 영상을 전달받아, 상기 상체 영상에 포함되어 있는 적어도 하나의 영상 특징 데이터를 추출하고 상기 이미지 데이터에 포함되어 있는 적어도 하나의 이미지 특징 데이터를 추출하여, 추출한 상기 영상 특징 데이터를 기반으로 상기 상체 영상의 분석을 수행하고, 추출한 상기 이미지 특징 데이터를 기반으로 상기 이미지 데이터의 분석을 수행하는 통합 분석수단(200)을 포함하여 구성되는 것이 바람직하다.
더 나아가, 상기 통합 분석수단(200)은 전달받은 상기 상체 영상을 1초 당 기설정된 소정 프레임 개수로 분석하여, 분석한 각 프레임 별 적어도 하나의 영상 특징 데이터를 추출하여 상기 상체 영상의 분석을 수행하는 것이 바람직하다.
더 나아가, 상기 통합 분석수단(200)은 전달받은 상기 상체 영상과 상기 이미지 데이터를 시계열적 순으로 동기화시켜, 상기 상체 영상을 분석한 각 프레임 별로 시간상 매칭되는 상기 이미지 데이터를 분석하여, 매칭되는 상기 이미지 데이터 별 적어도 하나의 이미지 특징 데이터를 추출하여 상기 이미지 데이터의 분석을 수행하는 것이 바람직하다.
더 나아가, 상기 통합 분석수단(200)은 상기 상체 영상의 분석 결과 데이터와 상기 이미지 데이터의 분석 결과 데이터를 각각 생성하여, 외부로 출력하는 것이 바람직하다.
더 나아가, 상기 통합 분석수단(200)은 상기 상체 영상의 분석 결과 데이터와 상기 이미지 데이터의 분석 결과 데이터를 각각 생성하고, 상기 상체 영상의 분석 결과 데이터를 기준으로 상기 이미지 데이터의 분석 결과 데이터를 보정하여 외부로 출력하는 것이 바람직하다.
더 나아가, 상기 통합 분석수단(200)은 상기 상체 영상의 분석 결과 데이터와 상기 이미지 데이터의 분석 결과 데이터를 각각 생성하고, 상기 이미지 데이터의 분석 결과 데이터를 기준으로 상기 상체 영상의 분석 결과 데이터를 보정하여 외부로 출력하는 것이 바람직하다.
더 나아가, 상기 신청자 단말수단(100)은 상기 이미지 입력부(110)를 통해서 입력된 상기 이미지 데이터를 실시간으로 출력하거나, 상기 통합 분석수단(200)으로부터 실시간으로 전송되는 질문 정보가 출력되는 출력부(130)를 더 포함하여 구성되며, 상기 통합 분석수단(200)은 기설정된 주제에 따라 입력 가능한 이미지 데이터와 상기 이미지 데이터에 매칭되는 질문 정보들을 데이터베이스화하여 저장 및 관리하여, 상기 신청자 단말수단(100)으로부터 실시간으로 시계열적 순으로 상기 이미지 데이터를 전달받아, 전달되는 상기 이미지 데이터에 해당되는 상기 질문 정보를 추출하여 상기 출력부(130)로 전송하는 것이 바람직하다.
더 나아가, 상기 신청자 단말수단(100)은 상기 이미지 입력부(110)을 통해서 상기 이미지 데이터를 입력하는 신청자의 신체 정보를 시계열 순으로 획득하는 신체정보 획득부(140)를 더 포함하여 구성되며, 상기 통합 분석수단(200)은 상기 신체정보 획득부(140)를 통해서 획득된 상기 신체 정보를 기준으로 상기 신체 영상의 분석 결과 데이터 또는 상기 이미지 데이터의 분석 결과 데이터를 보정하는 것이 바람직하다.
더 나아가, 상기 통합 분석수단(200)은 상기 영상 특징 데이터들 또는 상기 이미지 특징 데이터들 중 상기 질문 정보를 전송하고 난 후의 시간상 매칭되는 데이터들과, 상기 질문 정보를 전송하고 난 후의 시간상 매칭되는 상기 신체 정보를 상기 질문 정보에 대한 답변 정보로 설정하여, 상기 신체 영상의 분석 결과 데이터 또는 상기 이미지 데이터의 분석 결과 데이터를 생성하는 것이 바람직하다.
본 발명의 일 실시예에 따른 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 방법은, 신청자 단말수단에서, 신청자로부터 기설정된 주제에 대한 이미지 데이터를 시계열 순으로 입력받는 이미지 입력단계(S100), 신청자 단말수단에서, 신청자의 상체 영상을 촬영하는 영상 촬영단계(S200), 통합 분석수단에서, 시계열적 순으로 상기 이미지 데이터와 상기 상체 영상을 전달받아, 상기 상체 영상에 포함되어 있는 적어도 하나의 영상 특징 데이터를 추출하고 상기 이미지 데이터에 포함되어 있는 적어도 하나의 이미지 특징 데이터를 추출하는 특징점 추출단계(S300), 통합 분석수단에서, 기저장된 인공지능 학습 모델을 활용하여, 상기 특징점 추출단계(S300)에 의해 추출한 특징점들의 라벨링 정보를 부여하는 특징 비교단계(S400), 통합 분석수단에서, 상기 특징 비교단계(S400)에 의해 라벨링 정보를 부여한 상기 특징점들을 조합하여, 추출한 상기 영상 특징 데이터를 기반으로 상기 상체 영상의 분석을 수행하고 추출한 상기 이미지 특징 데이터를 기반으로 상기 이미지 데이터의 분석을 수행하는 세부 분석단계(S500) 및 통합 분석수단에서, 저장된 정량분석 DB 또는 저장된 정성분석 DB를 이용하여 상기 세부 분석단계(S500)에 의해 수행한 상기 영상 특징 데이터와 이미지 특징 데이터의 세부 분석 결과를 추출하여, 각각의 분석 결과 데이터를 생성하는 결과 생성단계(S600)를 포함하여 구성되는 것이 바람직하다.
더 나아가, 상기 특징점 추출단계(S300)는 전달받은 상기 상체 영상을 1초 당 기설정된 소정 프레임 개수로 분석하여, 분석한 각 프레임 별 적어도 하나의 영상 특징 데이터를 추출하는 것이 바람직하다.
더 나아가, 상기 특징점 추출단계(S300)는 전달받은 상기 상체 영상과 상기 이미지 데이터를 시계열적 순으로 동기화시켜, 상기 상체 영상을 분석한 각 프레임 별로 시간상 매칭되는 상기 이미지 데이터를 추출하여, 매칭되는 상기 이미지 데이터 별 적어도 하나의 이미지 특징 데이터를 추출하는 것이 바람직하다.
더 나아가, 상기 결과 생성단계(S600)는 각각 생성한 상기 상체 영상의 분석 결과 데이터와 상기 이미지 데이터의 분석 결과 데이터를 이용하여, 상기 상체 영상의 분석 결과 데이터를 기준으로 상기 이미지 데이터의 분석 결과 데이터를 보정하는 것이 바람직하다.
더 나아가, 상기 결과 생성단계(S600)는 각각 생성한 상기 상체 영상의 분석 결과 데이터와 상기 이미지 데이터의 분석 결과 데이터를 이용하여, 상기 이미지 데이터의 분석 결과 데이터를 기준으로 상기 상체 영상의 분석 결과 데이터를 보정하는 것이 바람직하다.
더 나아가, 상기 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 방법은, 상기 이미지 입력단계(S100)를 수행하고 난 후, 통합 분석수단에서, 실시간으로 시계열적 순으로 상기 이미지 데이터를 전달받아, 전달되는 상기 이미지 데이터에 해당되는 질문 정보를 추출하여 신청자 단말수단으로 전송하는 질문 제공단계(S110)를 더 포함하여 구성되며, 상기 통합 분석수단은 외부로부터 입력되는 기설정된 주제에 따른 입력 가능한 이미지 데이터와 상기 입력 가능한 이미지 데이터에 매칭되는 질문 정보들을 데이터베이스화하여 저장 및 관리하는 것이 바람직하다.
더 나아가, 상기 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 방법은, 상기 질문 제공단계(S110)를 수행하고 난 후, 신청자 단말수단에서, 신청자의 신체 정보를 시계열 순으로 획득하여 신체 정보 획득단계(S120)를 더 포함하여 구성되며, 상기 통합 분석수단은 상기 신체 정보 획득단계(S120)에 의해 획득된 상기 신체 정보를 기준으로 각각 생성한 상기 상체 영상의 분석 결과 데이터와 상기 이미지 데이터의 분석 결과 데이터를 보정하는 것이 바람직하다.
더 나아가, 상기 결과 생성단계(S600)는 상기 영상 특징 데이터들 또는 상기 이미지 특징 데이터들 중 상기 질문 제공단계(S110)에 의해 상기 질문 정보를 제공하고 난 후의 시간상 매칭되는 데이터들과, 상기 질문 정보를 전송하고 난 후 시간상 매칭되는 상기 신체 정보를 상기 질문 정보에 대한 답변 정보로 설정하여, 상기 상체 영상의 분석 결과 데이터와 상기 이미지 데이터의 분석 결과 데이터를 생성하는 것이 바람직하다.
상기와 같은 구성에 의한 본 발명의 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 시스템 및 그 분석 방법은 심리 상태의 분석을 원하는 신청자로부터 입력받은 이미지 데이터 뿐 아니라, 이미지 데이터를 입력하는 동안의 상체 영상 데이터, 매칭되는 질문 정보, 질문 정보에 따른 답변 정보를 종합하여 분석함으로써, 보다 정확한 이미지 분석 결과 데이터, 다시 말하자면, 신청자의 심리 상태 분석 결과 데이터를 얻을 수 있는 장점이 있다.
또한, 이미지 데이터를 분석함에 있어서, 포함되어 있는 다양한 특징점(특징 데이터 등)들을 추출하고 이를 세부적으로 분석할 수 있는 장점이 있다.
더불어, 비대면 상담 또는 비대면 진료가 가능하여, 상담 신청자가 언제 어디서나 원하는 경우에 미리 정해져 있는 주제에 대한 이미지를 그려 업로드하고, 이미지를 그리는 동안의 상체 영상 데이터, 매칭되는 질문 정보 등을 획득하여 업로드함으로써, 실시간으로 이미지에 내포되어 있는 심리 진단 결과를 얻을 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 시스템을 나타낸 구성 예시도이다.
도 2 내지 도 4는 본 발명의 일 실시예에 따른 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 시스템의 신청자 단말수단(100)에서의 다양한 예시도이다.
도 5 내지 도 11은 본 발명의 일 실시예에 따른 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 시스템의 통합 분석수단(200)에서의 이미지 데이터 분석의 다양한 예시도이다.
도 12는 본 발명의 일 실시예에 따른 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 시스템의 통합 분석수단(200)에서의 분석 결과 데이터의 예시도이다.
도 13은 본 발명의 일 실시예에 따른 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 방법을 나타낸 순서 예시도이다.
도 2 내지 도 4는 본 발명의 일 실시예에 따른 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 시스템의 신청자 단말수단(100)에서의 다양한 예시도이다.
도 5 내지 도 11은 본 발명의 일 실시예에 따른 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 시스템의 통합 분석수단(200)에서의 이미지 데이터 분석의 다양한 예시도이다.
도 12는 본 발명의 일 실시예에 따른 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 시스템의 통합 분석수단(200)에서의 분석 결과 데이터의 예시도이다.
도 13은 본 발명의 일 실시예에 따른 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 방법을 나타낸 순서 예시도이다.
이하 첨부한 도면들을 참조하여 본 발명의 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 시스템 및 그 분석 방법을 상세히 설명한다. 다음에 소개되는 도면들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서, 본 발명은 이하 제시되는 도면들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 또한, 명세서 전반에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다.
이 때, 사용되는 기술 용어 및 과학 용어에 있어서 다른 정의가 없다면, 이 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 통상적으로 이해하고 있는 의미를 가지며, 하기의 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 설명은 생략한다.
더불어, 시스템은 필요한 기능을 수행하기 위하여 조직화되고 규칙적으로 상호 작용하는 장치, 기구 및 수단 등을 포함하는 구성 요소들의 집합을 의미한다.
도 1은 본 발명의 일 실시예에 따른 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 시스템을 나타낸 구성 예시도이다. 도 1을 참조로 하여 본 발명의 일 실시예에 따른 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 시스템을 상세히 설명한다.
본 발명의 일 실시예에 따른 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 시스템은 도 1에 도시된 바와 같이, 신청자 단말수단(100) 및 통합 분석수단(200)을 포함하여 구성되는 것이 바람직하며, 인공지능 학습 모델을 활용하여 신청자의 심리 상태를 분석하기 위한 이미지 분석 시스템으로, 상기 신청자 단말수단(100) 및 통합 분석수단(200)은 하나의 연산처리수단 또는 각각의 연산처리수단에 구비되어 동작을 수행하는 것이 바람직하며, 이에 대해 한정하는 것은 아니다.
각 구성에 대해서 상세히 알아보자면,
상기 신청자 단말수단(100)은 도 1에 도시된 바와 같이, 이미지 입력부(110) 및 영상 촬영부(120)를 포함하여 구성되는 것이 바람직하다.
상기 이미지 입력부(110)는 신청자(심리 상태의 분석을 원하는 신청자 등)로부터 미리 설정된 주제에 대한 이미지 데이터를 시계열 순으로 입력받는 것이 바람직하다. 즉, 단순하게 미리 설정된 주제에 대한 완성된 그림 이미지 데이터를 입력받는 것이 아니라, 상기 이미지 입력부(110)를 통해서 시계열 순으로 입력되는 상기 이미지 데이터를 입력받는 것이 바람직하다. 이를 통해서, 상기 이미지 데이터를 그리는 순서 정보, 그리는데 걸리는 시간 정보 등을 분석할 수 있다. 일 예를 들자면, 미리 설정된 주제에 인해 '집'을 그릴 경우, 기둥, 지붕, 창문, 벽, 대문 등을 포함하여 구성되어 있는 집일 경우, 신청자가 어떠한 순서로 그림을 완성하였는지, 지붕을 그리는데 소요된 시간 정보 등을 분석할 수 있다.
이 때, 상기 미리 설정된 주제의 일 예를 들자면, 심리 상태를 분석하는데 널리 이용되고 있는 HTP 검사를 기초로, 집(Home), 나무(Tree) 및 사람(People)을 포함하여 그림을 그려 상기 이미지 데이터로 입력받을 수 있으며, 이 외에도 다양한 심리 상태 분석에 활용되는 그림 주제를 설정하여 입력받을 수 있다.
또한, 상기 이미지 입력부(110)는 도 2에 도시된 바와 같이, 신청자가 소지하고 있는 단말수단, 다시 말하자면, 상기 신청자 단말수단(100)으로 별도의 모듈, 또는 프로그램 형태로 이미지 데이터를 입력할 수 있는 어플리케이션을 제공하는 것이 바람직하며, 도 2에 도시된 바와 같이, 그림판 어플리케이션 등을 제공하여 신청자로부터 미리 설정된 주제에 대한 이미지 데이터를 시계열 순으로 입력받는 것이 바람직하다.
이 때, 상기 이미지 입력부(110)는 신청자가 입력한 이미지 데이터를 그대로 입력받아 상기 통합 분석수단(200)으로 전달하는 것이 바람직하며, 이를 통해서, 상기 통합 분석수단(200)은 신청자가 어떠한 순서로 객체(요소 등)들을 그려서 그림을 완성하였는지, 각 객체를 그리는데 소요된 시간 정보를 분석할 수 있을 뿐 아니라, 부가적으로 각 객체의 색상 정보, 선 굵기 정보, 전체 이미지 내에서의 객체의 위치 정보, 전체 이미지 내에서의 객체의 면적 정보 등을 분석하여 활용할 수 있다.
더불어, 상기 통합 분석수단(200)은 상기 이미지 입력부(110)를 통해서 신청자로부터 상기 이미지 데이터를 입력받기 전에, 사전에 배경 이미지 사이즈를 설정함으로써, 신청자로부터 상기 배경 이미지 사이즈 내의 전경 이미지로 상기 이미지 데이터를 입력받는 것이 바람직하다.
이를 통해서, 상술한 바와 같이, 상기 통합 분석수단(200)에서 상기 배경 이미지 사이즈를 기준으로 상기 전경 이미지의 위치, 상기 전경 이미지가 차지하는 면적 등에 대한 분석을 수행하여, 신청자의 심리 상태를 분석하는 데에 활용할 수 있으며, 이에 대해서는 추후에 자세히 설명하도록 한다.
뿐만 아니라, 상기 배경 이미지 사이즈를 설정하지 않을 경우, 상기 이미지 입력부(110)를 통해서 상기 이미지 데이터를 입력받는 과정에서 사이즈를 변환하는 추가 과정이 요구될 수 있을 뿐 아니라, 사이즈가 변환되는 과정에서 신청자가 그린 상기 전경 이미지, 즉 이미지 데이터의 해상도가 깨져 상기 통합 분석수단(200)에서 상기 이미지 데이터의 세부 분석을 용이하게 수행하지 못할 수도 있기 때문에, 상기 이미지 입력부(110)는 신청자로부터 상기 이미지 데이터를 입력받기 전에, 사전에 배경 이미지 사이즈를 설정하는 것이 바람직하다.
또한, 상기 통합 분석수단(200)은 도 3에 도시된 바와 같이, 상기 이미지 입력부(110)를 통해서 상기 이미지 데이터 뿐 아니라, 신청자의 나이 정보, 성별 정보, 가족관계 정보, 상기 이미지 데이터의 부가정보(집의 위치, 집 주변 정보, 집에 사는 사람 정보, 날씨 정보, 계절 정보, 분위기 정보 등) 등의 입력을 요청하여, 상기 통합 분석수단(200)에서 상기 이미지 데이터의 세부 분석을 수행하는 데 추가적으로 활용될 수 있도록 하는 것이 바람직하다. 이를 통해서, 좀 더 정확도 높게 신청자의 심리 상태를 분석할 수 있는 장점이 있다.
상기 영상 촬영부(120)는 신청자가 상기 이미지 입력부(110)를 통해서 상기 이미지 데이터를 입력하는 동안, 신청자의 상체 영상을 촬영하는 촬영 수단을 포함하여 구성되는 것이 바람직하다. 상기 영상 촬영부(120) 역시도 상기 이미지 입력부(110)와 마찬가지로 도 2에 도시된 바와 같이, 신청자가 소지하고 있는 단말수단, 다시 말하자면, 상기 신청자 단말수단(100)으로 별도의 모듈, 또는 프로그램 형태로 동영상을 촬영할 수 있는 어플리케이션을 제공하는 것이 바람직하다.
상기 통합 분석수단(200)은 상기 영상 촬영부(120)를 통해서 입력된 상기 상체 영상 데이터를 이용하여, 신청자의 표정을 분석하거나, 동공의 움직임, 눈 깜빡임 등을 분석하여, 신청자의 감정 정보, 집중도 정보 등을 분석하여 신청자의 심리 상태를 분석하는 데에 활용할 수 있으며, 이에 대해서는 추후에 자세히 설명하도록 한다.
상기 통합 분석수단(200)은 상기 신청자 단말수단(100)으로부터 시계열적 순으로 상기 이미지 데이터와 상체 영상 데이터를 전달받아, 상기 상체 영상에 포함되어 있는 적어도 하나의 영상 특징 데이터를 추출하고 상기 이미지 데이터에 포함되어 있는 적어도 하나의 이미지 특징 데이터를 추출하는 것이 바람직하다.
또한, 추출한 상기 영상 특징 데이터를 기반으로 상기 상체 영상의 분석을 수행하고, 추출한 상기 이미지 특징 데이터를 기반으로 상기 이미지 데이터의 분석을 수행하는 것이 바람직하다.
상세하게는, 상기 통합 분석수단(200)은 전달받은 상기 상체 영상 데이터를 1초 당 미리 설정된 소정 프레임 개수로 분석하여, 분석한 각 프레임 별로 적어도 하나의 영상 특징 데이터를 추출하여 상기 상체 영상의 분석을 수행하는 것이 바람직하다.
일 예를 들자면, 상기 통합 분석수단(200)은 1초당 20 ~ 30 프레임으로 분석하여, 각 프레임 별로 적어도 하나의 영상 특징 데이터를 추출하는 것이 바람직하다.
또한, 상기 통합 분석수단(200)은 전달받은 상기 상체 영상 데이터와 상기 이미지 데이터를 시계열적 순으로 동기화시킴으로써, 상기 상체 영상 데이터를 분석한 각 프레임 별로 시간상 매칭되는 상기 이미지 데이터를 분석하여, 매칭되는 상기 이미지 데이터 별 적어도 하나의 특징 데이터를 추출하여 상기 이미지 데이터의 분석을 수행하는 것이 바람직하다
다시 말하자면, 도 4에 도시된 바와 같이, 시간의 흐름에 따라 분석한 프레임 별 상기 상체 영상 데이터와 시간상 매칭되는 상기 이미지 데이터를 통합 분석하여, 상기 이미지 데이터를 입력하는 동안의 신청자의 상체 영상을 통한 분석 정보를 획득할 수 있다.
이를 위해, 상기 통합 분석수단(200)은 상기 이미지 입력부(110)로부터 입력된 상기 이미지 데이터를 전달받아, 상기 전경 이미지 영역을 추출하고, 상기 전경 이미지 영역 내 다수의 특징점을 추출하여, 상기 이미지 특징 데이터를 추출하는 것이 바람직하다.
상기 통합 분석수단(200)은 미리 저장된 이미지 특징 추출 알고리즘을 적용하여, 상기 이미지 입력부(110)로부터 입력된 상기 이미지 데이터를 전달받아, 신청자가 그린 이미지인 상기 전경 이미지 영역을 추출하고, 상기 전경 이미지 영역 내 적어도 하나의 특징점을 추출하여 상기 이미지 특징 데이터를 추출하는 것이 바람직하다.
즉, 미리 저장된 인공지능 학습 모델을 활용하여, 사전에 확보된 이미지(설정 가능한 각 주제에 맞는 이미지 데이터)와 이미지를 구성하는 특징 별 레이블링 정보를 학습하여 이에 따라 생성되는 학습 모델을 통해서 분석을 수행하는 것이 바람직하다.
이러한 학습 모델을 통해서, 도 5의 a)에 도시된 바와 같이, 신청자가 그린 그림의 윤곽선을 분석하여 상기 전경 이미지 영역을 추출하고, 추출한 상기 전경 이미지 영역 내 다수의 특징점을 추출하여 다수의 상기 이미지 특징 데이터를 추출할 수 있다. 이 때, 상기 전경 이미지 영역 내에서 다수의 특징점을 추출하기 위한 상기 이미지 특징 추출 알고리즘으로는 Fast R-CNN 알고리즘, SSD 알고리즘 등을 적용하는 것이 바람직하나, 이는 일 실시예에 불과하다.
그렇지만, 추출한 상기 이미지 특징 데이터는, 단순하게 이미지 형태만을 이용하여 추출한 데이터이기 때문에, 상기 이미지 특징 데이터만을 이용하여 이미지 분석을 수행할 경우, 종래의 이미지 분석 시스템인 이미지 비교하여 유사한 이미지를 찾는 기술에 불과하다.
이에 따라, 본 발명의 일 실시예에 따른 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 시스템은 도 5의 b)에 도시된 바와 같이, 추출한 각 특징점들, 다시 말하자면, 상기 이미지 특징 데이터에 라벨링 정보를 부여하는 것이 바람직하다.
이를 위해, 상기 통합 분석수단(200)은 미리 저장된 인공지능 학습 모델을 활용하여, 추출한 각 특징점들의 라벨링 정보를 부여, 즉, 추가하는 것이 바람직하다.
일 예를 들자면, 도 5의 b)에 도시된 바와 같이, 추출한 상기 이미지 특징 데이터에 라벨링(tree, grass, door 등) 정보를 추가하고, 각 이미지 특징 데이터의 추출 좌표 및 상기 인공지능 학습 모델의 결과인 학습 데이터와의 유사도 점수를 추가하는 것이 바람직하다.
이 때, 상기 인공지능 학습 모델은 상기 주제에 대해 그린 이미지 데이터들 신청자의 심리 상태를 분석하기 위한 이미지 분석이 종료된 상기 이미지 데이터들에 대해 도 6에 도시된 바와 같이, 각 특징점(창문, 굴뚝, 세모난 지붕 등)에 대한 라벨링을 수행한 후, 미리 설정된 인공지능 학습 알고리즘을 통해 학습을 수행하여 상기 인공지능 학습 모델을 생성하는 것이 바람직하다. 여기서, 상기 인공지능 학습 알고리즘으로는 CNN(합성곱 신경망) 등의 필터링 인공신경망 알고리즘을 활용하는 것이 가장 바람직하다.
상기 통합 분석수단(200)은 라벨링 정보를 부여한 상기 특징점들을 전달받아, 상기 특징점들을 조합하여 상기 이미지 데이터의 세부 분석을 수행하는 것이 바람직하다.
즉, 상기 라벨링 정보가 추가된 상기 이미지 특징 데이터들을 전달받아 상기 이미지 특징 데이터들을 조합하여, 상기 이미지 특징 데이터들로 이루어져있는 상기 이미지 데이터의 세부 분석을 수행하는 것이 바람직하다.
이를 위해, 상기 통합 분석수단(200)은 상기 배경 이미지 사이즈를 기준으로 상기 전경 이미지의 사이즈 비율을 분석하여, 상기 이미지 데이터의 세부 분석을 수행할 수 있다. 전체 이미지 사이즈를 의미하는 상기 배경 이미지 사이즈를 기준으로, 신청자가 그린 상기 전경 이미지가 차지하는 사이즈 비율(약 25%)이나, 상기 전경 이미지가 위치하고 있는 영역(우측 상단) 등을 분석하여 상기 이미지 데이터의 세부 분석을 수행할 수 있다. 상기 전경 이미지가 위치하고 있는 영역의 분석은, 상기 배경 이미지를 기준으로 상기 전경 이미지의 위치가 미리 설정된 영역(사전에 9영역으로 분할하여 구분, 상중, 상좌, 상우, 중앙중, 중앙좌, 중앙우, 하중, 하좌, 하우 등) 중 어느 위치에 있는지 판단하여 상기 이미지 데이터의 세부 분석을 수행하는 것이 바람직하다.
또한, 상기 통합 분석수단(200)은 각 특징점들의 위치 영역, 다시 말하자면, 각 상기 이미지 특징 데이터의 위치 영역을 분석하여, 위치 영역이 겹치는 상기 이미지 특징 데이터들을 추출하여, 상기 이미지 데이터의 세부 분석을 수행할 수 있다. 다시 말하자면, 상기 이미지 특징 데이터는 추출 좌표 정보가 추가되게 된다. 이를 이용하여 하나의 이미지 특징 데이터인 지붕의 위치 영역과 또하나의 이미지 특징 데이터인 창문의 위치 영역이 겹치는 것을 추출하여, 상기 이미지 데이터의 세부 분석을 수행할 수 있다.
또한, 상기 통합 분석수단(200)은 상기 특징점들을 부여한 라벨링 정보 별로 분류하고, 분류한 각 라벨링의 개수 또는 각 라벨링 정보 별로 분류된 상기 특징점들의 개수를 분석하여, 상기 이미지 데이터의 세부 분석을 수행할 수 있다. 상세하게는, 도 5에 도시된 바와 같이, 7개의 이미지 특징 데이터를 추출하여 각 이미지 특징 데이터마다 tree1, tree2, tree3, tree4, tree5, grass, door와 같이 라벨링 정보를 부여받은 것을 이용하여, 분류한 각 라벨링의 개수인 3개 또는 각 라벨링 정보 별로 분류된 상기 특징점들의 개수인 tree 5개, grass 1개, door 1개 등을 분석하여 상기 이미지 데이터의 세부 분석을 수행할 수 있다.
더불어, 상기 통합 분석수단(200)은 각 이미지 특징 데이터들의 대표 색상 정보를 추출하여 상기 이미지 데이터의 세부 분석을 수행할 수 있다. 즉, 도 7에 도시된 바와 같이, 추출된 하나의 이미지 특징 데이터인 창문의 위치 영역을 이용하여, 해당 위치에서 추출된 RGB 정보를 추출하여 가장 비율이 높은 색상을 대표색으로 추출하여 상기 이미지 데이터의 세부 분석을 수행할 수 있다.
또한, 상기 통합 분석수단(200)은 각 이미지 특징 데이터들의 선 굵기 정보를 추출하여 상기 이미지 데이터의 세부 분석을 수행할 수 있다. 상세하게는 도 8에 도시된 바와 같이, 추출된 하나의 이미지 특징 데이터인 지붕의 위치 영역을 이용하여, 겹치는 다른 이미지 특징 데이터를 제거하는 필터링 과정을 수행하고, 필터링된 이미지에서 노이즈 제거를 수행하는 binarized 과정을 수행한 후, binarized의 외곽선(edge) 검출을 통해서 최종적으로 binarized의 픽셀 수를 edge의 픽셀 수로 나눈 것을 선 굵기라 가정하고, 가정한 선 굵기 정보를 다른 이미지 특징 데이터들의 선 굵기 정보와 비교하여 상대적으로 선이 굵은 상기 이미지 특징 데이터를 추출하여 상기 이미지 데이터의 세부 분석을 수행할 수 있다.
이 때, 상술한 바와 같이, 단순히 완성된 이미지 데이터를 전달받는 것이 아니라, 시계열 순으로 상기 이미지 데이터를 전달받기 때문에, 상기 이미지 데이터를 완성시키는데 순차적으로 입력된 객체들의 순서 정보, 각 객체를 그리는데 소요된 시간 정보 등, 상기 이미지 데이터가 완성되는 과정에서 획득할 수 있는 정보들을 분석하여 상기 이미지 데이터의 세부 분석을 수행할 수 있다.
상기 통합 분석수단(200)은 저장된 정량분석 DB(도 9, 도 10 참조) 또는 저장된 정성분석 DB(도 11 참조)를 이용하여, 상기 이미지 데이터의 세부 분석 결과와 매칭시켜 도 12에 도시된 바와 같은 분석 결과 데이터를 생성하는 것이 바람직하다.
정량분석의 예를 들자면, 7개의 이미지 특징 데이터를 추출하여 세부 분석 결과에 따라, '3개 이상의 나무 표현이 이루어짐', '잔디와 같은 화단 표현' 등의 매칭시켜 저장된 정량분석 DB를 통한 계량 스코어 연산을 통해 상기 분석 결과 데이터를 생성할 수 있다.
더불어, 또다른 예를 들자면, 세부 분석 결과에 따라, 하나의 이미지 특징 데이터인 커튼의 위치 영역과 또하나의 이미지 특징 데이터인 창문의 위치 영역이 겹치는 것을 추출하여, 저장된 정성분석 DB와 매칭시켜 '보호, 강한 강박'을 해석할 수 있는 상기 분석 결과 데이터를 생성할 수도 있다.
또한, 상기 통합 분석수단(200)은 상기 상체 영상 데이터를 전달받아, 신청자의 안면부 뿐 아니라, 어깨의 움직임을 분석하는 것이 바람직하다.
상세하게는, 전달받은 상기 상체 영상 데이터를 1초당 미리 설정된 소정 프레임 개수로 분석하여, 미리 설정된 영상분석 알고리즘에 적용하여 집중도, 감정 정보 등을 분석할 수 있다.
일 예를 들자면, 상기 영상 특징 데이터를 추출하기 위하 Open CV, Dlib, Openface 등의 안면인식 및 집중도 파악 알고리즘을 적용하는 것이 바람직하나, 이는 본 발명의 일 실시예에 불과하며, 집중도 분석은 안면의 랜드마크에서 눈의 위치를 파악하고 동공의 위치를 집중도 판단에 사용하게 된다. 물론, 눈 깜빡임 정도나 눈과 눈썹, 입술의 모양 등을 토대로 감정 정보를 판단할 수도 있다.
이를 통해서, 상기 통합 분석수단(200)은 상기 이미지 데이터에 포함되어 있는 하나의 객체를 그리는데 소요된 시간 동안 해당하는 상기 상체 영상 데이터의 프레임을 분석하여 집중도 및 감정 정보 등을 알 수 있다.
즉, 도 4에 도시된 바와 같이, 상기 이미지 데이터에 포함되어 있는 '지붕' 객체를 그리는데 소요된 시간 동안 해당하는 상기 상체 영상 데이터의 프레임인 5개의 프레임을 분석한 결과, 평균적으로 감정 정보는 'happy'를 나타내고 있으며, 집중도 역시 '82.04 %'인 것을 알 수 있도록 세부 분석을 수행하는 것이 바람직하다.
이와 같이, 상기 통합 분석수단(200)은 상기 이미지 데이터 분석을 통해서, 신청자의 그림을 통한 심리 분석을 수행할 수 있으며, 상기 상체 영상 데이터 분석을 통해서, 신청자의 표정, 태도를 통한 심리 분석을 수행할 수 있다.
이를 통해서, 상기 통합 분석수단(200)은 상기 상체 영상의 분석 결과 데이터와 상기 이미지 데이터의 분석 결과 데이터를 각각 생성하여 출력할 수 있다.
상기 상체 영상의 분석 결과 데이터와 상기 이미지 데이터의 분석 결과 데이터가 모두 유사한 방향으로 해석될 수 있지만, 경우에 따라, 상기 상체 영상의 분석 결과 데이터와 상기 이미지 데이터의 분석 결과 데이터가 서로 상이한 방향으로 해석될 수 있다.
일 예를 들자면, 상술한 바와 같이, 도 4에 도시된 바와 같이, 상기 이미지 데이터에 포함되어 있는 '지붕' 객체를 그리는데 소요된 시간 동안 해당하는 상기 상체 영상 데이터의 프레임인 5개의 프레임을 분석한 결과, 평균적으로 감정 정보는 'happy'를 나타내고 있으며, 집중도 역시 '82.04 %'로 상기 상체 영상 데이터의 세부 분석 결과가 도출되었으나, 상기 이미지 데이터의 세부 분석 결과로 '지붕' 객체가 네모 지붕 형태로 완성되어 부정적인 감정으로 분류되는 '열등감'이 높은 것으로 분석 결과가 도출될 경우, 상기 상체 영상의 분석 결과 데이터와 상기 이미지 데이터의 분석 결과 데이터가 서로 상이한 방향으로 해석되게 된다.
이러한 경우를 대비하여, 본 발명의 일 실시예에 따른 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 시스템은, 외부 요청, 설정, 상담사, 관리자 등의 설정에 따라, 상기 상체 영상의 분석 결과 데이터와 상기 이미지 데이터의 분석 결과 데이터를 각각 생성하여 출력하거나, 상기 상체 영상의 분석 결과 데이터에 소정의 가중치값을 두어 상기 상체 영상의 분석 결과 데이터를 기준으로 상기 이미지 데이터의 분석 결과 데이터를 보정하여 출력할 수 있다.
물론, 이와 반대로, 상기 이미지 데이터의 분석 결과 데이터에 소정의 가중치값을 두어 상기 이미지 데이터의 분석 결과 데이터를 기준으로 상기 상체 영상의 분석 결과 데이터를 보정하여 출력할 수도 있다.
이 때, 상기 신청자 단말수단(100)은 도 1에 도시된 바와 같이, 상기 이미지 입력부(110)를 통해서 입력된 상기 이미지 데이터를 실시간으로 출력하거나, 상기 통합 분석수단(200)으로부터 상기 분석 결과 데이터를 전달받아 실시간으로 출력하기 위한 출력부(130)를 더 포함하여 구성되는 것이 바람직하다.
상기 출력부(130)는 상기 이미지 데이터, 상기 분석 결과 데이터 외에, 상기 통합 분석수단(200)으로부터 실시간으로 질문 정보를 전송받아 출력하는 것이 바람직하다.
이를 위해, 상기 통합 분석수단(200)은 미리 설정된 주제에 따라 입력 가능한 이미지 데이터와 상기 입력 가능한 이미지 데이터에 매칭되는 질문 정보들을 데이터베이스화하여 저장 및 관리하는 것이 바람직하다.
이를 통해서, 상기 통합 분석수단(200)은 상기 신청자 단말수단(100)으로부터 실시간으로 시계열적 순으로 전달되는 상기 이미지 데이터를 이용하여, 상기 이미지 데이터에 해당하는 상기 질문 정보를 상기 데이터베이스에서 추출하여 상기 출력부(130)로 전송하는 것이 바람직하다.
상기 질문 정보는 심리상담 매뉴얼 및 교제에 제시된 설문 항목이 될 수 있으며, 연구 조사를 통한 또다른 설문 조사 등이 포함되어 구성될 수 있다.
상기 통합 분석수단(200)은 상기 신청자 단말수단(100)으로부터 전달되는 상기 상체 영상 데이터 및 상기 이미지 데이터들 중 상기 질문 정보를 전송하고 난 후, 시간상 매칭되는 데이터들을 상기 질문 정보에 대한 답변 정보로 설정하여, 상기 분석 결과 데이터를 생성하는데 활용하는 것이 바람직하다.
일 예를 들자면, 신청자가 창문이라는 객체를 그리는 과정에 매칭되는 상기 질문 정보를 전송할 경우, 이 후로 창문을 마무리하는 과정이나 창문 다음의 객체를 그리는 과정에서의 상기 이미지 데이터의 세부 분석 결과나 상기 상체 영상 데이터의 세부 분석 결과가 이 전과는 상이하게 분석될 수 있다. 이를 활용하여 상기 분석 결과 데이터를 보정할 수 있다.
더불어, 상기 신청자 단말수단(100)은 도 1에 도시된 바와 같이, 상기 이미지 입력부(110)를 통해서 상기 이미지 데이터를 입력하는 신청자의 신체 정보를 시계열 순으로 획득하는 신체정보 획득부(140)를 더 포함하여 구성되는 것이 바람직하다.
즉, 상기 신체정보 획득부(140)를 통해서 상기 이미지 데이터를 그리는 동안의 신청자의 심박수, 혈압 정보 등을 획득하여 상기 분석 결과 데이터를 보정하는데 활용하는 것이 바람직하다.
일 예를 들자면, 신청자가 창문이라는 객체를 그리는 과정에 매칭되는 상기 질문 정보를 전송할 경우, 이 후로 창문을 마무리하는 과정이나 창문 다음의 객체를 그리는 과정에서의 상기 이미지 데이터의 세부 분석 결과나 상기 상체 영상 데이터의 세부 분석 결과 뿐 아니라, 신체정보도 이 전과는 상이하게 분석될 수 있다. 이를 활용하여 상기 분석 결과 데이터를 보정할 수 있다.
도 13은 본 발명의 일 실시예에 따른 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 방법을 나타낸 순서 예시도이다. 도 12를 참조로 하여 본 발명의 일 실시예에 따른 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 방법을 상세히 설명한다.
본 발명의 일 실시예에 따른 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 방법은 도 13에 도시된 바와 같이, 이미지 입력단계(S100), 영상 촬영단계(S200), 특징점 추출단계(S300), 특징 비교단계(S400), 세부 분석단계(S500), 결과 생성단계(S600)를 포함하여 구성되는 것이 바람직하다.
각 단계에 대해서 상세히 알아보자면,
상기 이미지 입력단계(S100)는 상기 신청자 단말수단(100)에서, 신청자로부터 미리 설정된 주제에 대한 이미지 데이터를 시계열 순으로 입력받는 것이 바람직하다. 즉, 단순하게 미리 설정된 주제에 대한 완성된 그림 이미지 데이터를 입력받는 것이 아니라, 상기 이미지 입력부(110)를 통해서 시계열 순으로 입력되는 상기 이미지 데이터를 입력받는 것이 바람직하다. 이를 통해서, 상기 이미지 데이터를 그리는 순서 정보, 그리는데 걸리는 시간 정보 등을 분석할 수 있다. 일 예를 들자면, 미리 설정된 주제에 인해 '집'을 그릴 경우, 기둥, 지붕, 창문, 벽, 대문 등을 포함하여 구성되어 있는 집일 경우, 신청자가 어떠한 순서로 그림을 완성하였는지, 지붕을 그리는데 소요된 시간 정보 등을 분석할 수 있다.
이 때, 상기 미리 설정된 주제의 일 예를 들자면, 심리 상태를 분석하는데 널리 이용되고 있는 HTP 검사를 기초로, 집(Home), 나무(Tree) 및 사람(People)을 포함하여 그림을 그려 상기 이미지 데이터로 입력받을 수 있으며, 이 외에도 다양한 심리 상태 분석에 활용되는 그림 주제를 설정하여 입력받을 수 있다.
이러한 상기 이미지 입력부(110)는 신청자가 소지하고 있는 단말수단, 다시 말하자면, 상기 신청자 단말수단(100)으로 별도의 모듈, 또는 프로그램 형태로 이미지 데이터를 입력할 수 있는 어플리케이션을 제공하는 것이 바람직하며, 도 2에 도시된 바와 같이, 그림판 어플리케이션 등을 제공하여 신청자로부터 미리 설정된 주제에 대한 이미지 데이터를 시계열 순으로 입력받는 것이 바람직하다.
이 때, 상기 이미지 입력부(110)는 신청자가 입력한 이미지 데이터를 그대로 입력받아 상기 통합 분석수단(200)으로 전달하는 것이 바람직하며, 이를 통해서, 상기 통합 분석수단(200)은 신청자가 어떠한 순서로 객체(요소 등)들을 그려서 그림을 완성하였는지, 각 객체를 그리는데 소요된 시간 정보를 분석할 수 있을 뿐 아니라, 부가적으로 각 객체의 색상 정보, 선 굵기 정보, 전체 이미지 내에서의 객체의 위치 정보, 전체 이미지 내에서의 객체의 면적 정보 등을 분석하여 활용할 수 있다.
또한, 상기 이미지 입력단계(S100)를 통해서 신청자로부터 상기 이미지 데이터를 입력받기 전에, 사전에 배경 이미지 사이즈를 설정함으로써, 신청자로부터 상기 배경 이미지 사이즈 내의 전경 이미지로 상기 이미지 데이터를 입력받는 것이 바람직하다.
이를 통해서, 상술한 바와 같이, 상기 통합 분석수단(200)에서 상기 배경 이미지 사이즈를 기준으로 상기 전경 이미지의 위치, 상기 전경 이미지가 차지하는 면적 등에 대한 분석을 수행하여, 신청자의 심리 상태를 분석하는 데에 활용할 수 있으며, 이에 대해서는 추후에 자세히 설명하도록 한다.
뿐만 아니라, 상기 배경 이미지 사이즈를 설정하지 않을 경우, 상기 이미지 입력부(110)를 통해서 상기 이미지 데이터를 입력받는 과정에서 사이즈를 변환하는 추가 과정이 요구될 수 있을 뿐 아니라, 사이즈가 변환되는 과정에서 신청자가 그린 상기 전경 이미지, 즉 이미지 데이터의 해상도가 깨져 상기 통합 분석수단(200)에서 상기 이미지 데이터의 세부 분석을 용이하게 수행하지 못할 수도 있기 때문에, 상기 이미지 입력부(110)는 신청자로부터 상기 이미지 데이터를 입력받기 전에, 사전에 배경 이미지 사이즈를 설정하는 것이 바람직하다.
또한, 상기 통합 분석수단(200)은 도 3에 도시된 바와 같이, 상기 이미지 입력부(110)를 통해서 상기 이미지 데이터 뿐 아니라, 신청자의 나이 정보, 성별 정보, 가족관계 정보, 상기 이미지 데이터의 부가정보(집의 위치, 집 주변 정보, 집에 사는 사람 정보, 날씨 정보, 계절 정보, 분위기 정보 등) 등의 입력을 요청하여, 상기 통합 분석수단(200)에서 상기 이미지 데이터의 세부 분석을 수행하는 데 추가적으로 활용될 수 있도록 하는 것이 바람직하다. 이를 통해서, 좀 더 정확도 높게 신청자의 심리 상태를 분석할 수 있는 장점이 있다.
상기 영상 촬영단계(S200)는 상기 신청자 단말수단(100)에서, 신청자가 상기 이미지 입력단계(S100)에 의해 상기 이미지 데이터를 입력하는 동안, 상체 영상을 촬영하는 촬영 수단을 포함하여 구성되는 것이 바람직하다. 상기 통합 분석수단(200)은 상기 영상 촬영부(120)를 통해서 입력된 상기 상체 영상 데이터를 이용하여, 신청자의 표정을 분석하거나, 동공의 움직임, 눈 깜빡임 등을 분석하여, 신청자의 감정 정보, 집중도 정보 등을 분석하여 신청자의 심리 상태를 분석하는 데에 활용할 수 있으며, 이에 대해서는 추후에 자세히 설명하도록 한다.
상기 특징점 추출단계(S300)는 상기 통합 분석수단(200)에서, 시계열적 순으로 전달받은 상기 이미지 데이터와 상체 영상 데이터를 이용하여, 상기 상체 영상에 포함되어 있는 적어도 하나의 영상 특징 데이터를 추출하고 상기 이미지 데이터에 포함되어 있는 적어도 하나의 이미지 특징 데이터를 추출하는 것이 바람직하다.
이 때, 상기 상체 영상 데이터는 1초 당 미리 설정된 소정 프레임 개수로 분석하여, 분석한 각 프레임 별로 적어도 하나의 영상 특징 데이터를 추출하여 상기 상체 영상의 분석을 수행하는 것이 바람직하다.
일 예를 들자면, 상기 통합 분석수단(200)은 1초당 20 ~ 30 프레임으로 분석하여, 각 프레임 별로 적어도 하나의 영상 특징 데이터를 추출하는 것이 바람직하다.
또한, 전달받은 상기 상체 영상 데이터와 상기 이미지 데이터를 시계열적 순으로 동기화시킴으로써, 상기 상체 영상 데이터를 분석한 각 프레임 별로 시간상 매칭되는 상기 이미지 데이터를 분석하여, 매칭되는 상기 이미지 데이터 별 적어도 하나의 특징 데이터를 추출하여 상기 이미지 데이터의 분석을 수행하는 것이 바람직하다
다시 말하자면, 도 4에 도시된 바와 같이, 시간의 흐름에 따라 분석한 프레임 별 상기 상체 영상 데이터와 시간상 매칭되는 상기 이미지 데이터를 통합 분석하여, 상기 이미지 데이터를 입력하는 동안의 신청자의 상체 영상을 통한 분석 정보를 획득할 수 있다.
상세하게는, 상기 특징점 추출단계(S300)는 상기 전경 이미지 영역을 추출하고, 상기 전경 이미지 영역 내 다수의 특징점을 추출하여, 상기 이미지 특징 데이터를 추출하며, 미리 저장된 이미지 특징 추출 알고리즘을 적용하여, 신청자가 그린 이미지인 상기 전경 이미지 영역을 추출하고, 상기 전경 이미지 영역 내 적어도 하나의 특징점을 추출하여 상기 이미지 특징 데이터를 추출하는 것이 바람직하다.
즉, 도 5의 a)에 도시된 바와 같이, 신청자가 그린 그림의 윤곽선을 분석하여 상기 전경 이미지 영역을 추출하고, 추출한 상기 전경 이미지 영역 내 다수의 특징점을 추출하여 다수의 상기 이미지 특징 데이터를 추출할 수 있다.
그렇지만, 상기 특징점 추출단계(S300)를 통해서 추출한 상기 이미지 특징 데이터는, 단순하게 이미지 형태만을 이용하여 추출한 데이터이기 때문에, 상기 이미지 특징 데이터만을 이용하여 이미지 분석을 수행할 경우, 종래의 이미지 분석 시스템인 이미지 비교하여 유사한 이미지를 찾는 기술에 불과하다.
이에 따라, 본 발명의 일 실시예에 따른 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 방법은 도 5의 b)에 도시된 바와 같이, 상기 특징점 추출단계(S300)를 통해서 추출한 각 특징점들, 다시 말하자면, 상기 이미지 특징 데이터에 라벨링 정보를 부여하는 것이 바람직하다.
이를 위해, 상기 특징 비교단계(S400)는 미리 저장된 인공지능 학습 모델을 활용하여, 상기 특징점 추출단계(S300)에 의해 추출한 각 특징점들의 라벨링 정보를 부여, 즉, 추가하는 것이 바람직하다. 일 예를 들자면, 도 5의 b)에 도시된 바와 같이, 상기 특징점 추출단계(S300)에 의해 추출한 상기 이미지 특징 데이터에 라벨링(tree, grass, door 등) 정보를 추가하고, 각 이미지 특징 데이터의 추출 좌표 및 상기 인공지능 학습 모델의 결과인 학습 데이터와의 유사도 점수를 추가하는 것이 바람직하다.
이 때, 상기 인공지능 학습 모델은 상기 주제에 대해 그린 이미지 데이터들 신청자의 심리 상태를 분석하기 위한 이미지 분석이 종료된 상기 이미지 데이터들에 대해 도 6에 도시된 바와 같이, 각 특징점(창문, 굴뚝, 세모난 지붕 등)에 대한 라벨링을 수행한 후, 미리 설정된 인공지능 학습 알고리즘을 통해 학습을 수행하여 상기 인공지능 학습 모델을 생성하는 것이 바람직하다. 여기서, 상기 인공지능 학습 알고리즘으로는 CNN(합성곱 신경망) 등의 필터링 인공신경망 알고리즘을 활용하는 것이 가장 바람직하다.
즉, 상기 특징 비교단계(S400)를 수행하기 전에, 학습데이터 입력단계, 학습단계 및 학습모델 적용단계를 더 포함하여 구성되는 것이 바람직하다.
상기 학습데이터 입력단계는 상기 통합 분석수단(200)에서, 학습을 위해 상기 주제에 대해 그린 이미지 데이터들 중 신청자의 심리 상태를 분석하기 위한 이미지 분석이 종료된 상기 이미지 데이터들을 입력받게 된다. 특히, 상기 학습데이터 입력단계는 도 6에 도시된 바와 같이, 각 특징점(창문, 굴뚝, 세모난 지붕 등)에 대한 라벨링을 수행한 상기 이미지 데이터들을 입력받는 것이 바람직하다.
상기 학습단계는 미리 설정된 인공지능 학습 알고리즘을 통해 학습을 수행하게 되며, 여기서, 상기 인공지능 학습 알고리즘으로는 CNN(합성곱 신경망) 등의 필터링 인공신경망 알고리즘을 활용하는 것이 가장 바람직하다.
상기 학습모델 적용단계는 상기 학습단계에 의해 생성된 학습 모델을 상기 인공지능 학습 모델로 저장하는 것이 바람직하다. 이를 통해서, 상기 특징 비교단계(S400)에서 라벨링 정보가 포함되어 학습한 결과 생성된 모델을 이용하여 상기 특징점 추출단계(S300)에 의해 추출한 상기 이미지 특징 데이터에 라벨링(tree, grass, door 등) 정보를 추가하고, 각 이미지 특징 데이터의 추출 좌표 및 상기 인공지능 학습 모델의 결과인 학습 데이터와의 유사도 점수를 추가하게 된다.
상기 세부 분석단계(S500)는 상기 특징 비교단계(S400)에 의해 라벨링 정보를 부여한 상기 특징점들을 전달받아, 상기 특징점들을 조합하여 상기 이미지 데이터의 세부 분석을 수행하게 된다.
상세하게는, 상기 세부 분석단계(S500)는 상기 특징 비교단계(S400)에 의해 라벨링 정보가 추가된 상기 이미지 특징 데이터들을 전달받아 상기 이미지 특징 데이터들을 조합하여, 상기 이미지 특징 데이터들로 이루어져있는 상기 이미지 데이터의 세부 분석을 수행하는 것이 바람직하다.
상기 세부 분석단계(S500)는 상기 배경 이미지 사이즈를 기준으로 상기 전경 이미지의 사이즈 비율을 분석하여, 상기 이미지 데이터의 세부 분석을 수행할 수 있다. 일 예를 들자면, 전체 이미지 사이즈를 의미하는 상기 배경 이미지 사이즈를 기준으로, 신청자가 그린 상기 전경 이미지가 차지하는 사이즈 비율(약 25%)이나, 상기 전경 이미지가 위치하고 있는 영역(우측 상단) 등을 분석하여 상기 이미지 데이터의 세부 분석을 수행할 수 있다. 상기 전경 이미지가 위치하고 있는 영역의 분석은, 상기 배경 이미지를 기준으로 상기 전경 이미지의 위치가 미리 설정된 영역(사전에 9영역으로 분할하여 구분, 상중, 상좌, 상우, 중앙중, 중앙좌, 중앙우, 하중, 하좌, 하우 등) 중 어느 위치에 있는지 판단하여 상기 이미지 데이터의 세부 분석을 수행하는 것이 바람직하다.
또한, 상기 세부 분석단계(S500)는 각 특징점들의 위치 영역, 다시 말하자면, 각 상기 이미지 특징 데이터의 위치 영역을 분석하여, 위치 영역이 겹치는 상기 이미지 특징 데이터들을 추출하여, 상기 이미지 데이터의 세부 분석을 수행할 수 있다. 다시 말하자면, 상기 이미지 특징 데이터는 상기 특징 비교단계(S400)에 의해 추출 좌표 정보가 추가되게 된다. 이를 이용하여 하나의 이미지 특징 데이터인 지붕의 위치 영역과 또하나의 이미지 특징 데이터인 창문의 위치 영역이 겹치는 것을 추출하여, 상기 이미지 데이터의 세부 분석을 수행할 수 있다.
또한, 상기 세부 분석단계(S500)는 상기 특징점들을 부여한 라벨링 정보 별로 분류하고, 분류한 각 라벨링의 개수 또는 각 라벨링 정보 별로 분류된 상기 특징점들의 개수를 분석하여, 상기 이미지 데이터의 세부 분석을 수행할 수 있다. 상세하게는, 도 2에 도시된 바와 같이, 상기 특징 비교단계(S400)에 의해 7개의 이미지 특징 데이터를 추출하여 각 이미지 특징 데이터마다 tree1, tree2, tree3, tree4, tree5, grass, door와 같이 라벨링 정보를 부여받은 것을 이용하여, 분류한 각 라벨링의 개수인 3개 또는 각 라벨링 정보 별로 분류된 상기 특징점들의 개수인 tree 5개, grass 1개, door 1개 등을 분석하여 상기 이미지 데이터의 세부 분석을 수행할 수 있다.
또한, 상기 세부 분석단계(S500)는 각 이미지 특징 데이터들의 대표 색상 정보를 추출하여 상기 이미지 데이터의 세부 분석을 수행할 수 있다. 즉, 도 7에 도시된 바와 같이, 상기 특징 비교단계(S400)에 의해 추출된 하나의 이미지 특징 데이터인 창문의 위치 영역을 이용하여, 해당 위치에서 추출된 RGB 정보를 추출하여 가장 비율이 높은 색상을 대표색으로 추출하여 상기 이미지 데이터의 세부 분석을 수행할 수 있다.
또한, 상기 세부 분석단계(S500)는 각 이미지 특징 데이터들의 선 굵기 정보를 추출하여 상기 이미지 데이터의 세부 분석을 수행할 수 있다. 상세하게는 도 8에 도시된 바와 같이, 상기 특징 비교단계(S400)에 의해 추출된 하나의 이미지 특징 데이터인 지붕의 위치 영역을 이용하여, 겹치는 다른 이미지 특징 데이터를 제거하는 필터링 과정을 수행하고, 필터링된 이미지에서 노이즈 제거를 수행하는 binarized 과정을 수행한 후, binarized의 외곽선(edge) 검출을 통해서 최종적으로 binarized의 픽셀 수를 edge의 픽셀 수로 나눈 것을 선 굵기라 가정하고, 가정한 선 굵기 정보를 다른 이미지 특징 데이터들의 선 굵기 정보와 비교하여 상대적으로 선이 굵은 상기 이미지 특징 데이터를 추출하여 상기 이미지 데이터의 세부 분석을 수행할 수 있다.
이 때, 상술한 바와 같이, 단순히 완성된 이미지 데이터를 전달받는 것이 아니라, 시계열 순으로 상기 이미지 데이터를 전달받기 때문에, 상기 이미지 데이터를 완성시키는데 순차적으로 입력된 객체들의 순서 정보, 각 객체를 그리는데 소요된 시간 정보 등, 상기 이미지 데이터가 완성되는 과정에서 획득할 수 있는 정보들을 분석하여 상기 이미지 데이터의 세부 분석을 수행할 수 있다.
상기 결과 생성단계(S600)는 상기 통합 분석부(200)에서, 저장된 정량분석 DB(도 9, 도 10 참조) 또는 저장된 정성분석 DB를 이용하여, 상기 세부 분석단계(S500)에 의한 세부 분석 결과와 매칭시켜 도 12에 도시된 바와 같은 분석 결과 데이터를 생성하는 것이 바람직하다.
정량분석의 예를 들자면, 상기 특징 비교단계(S400)에 의해 7개의 이미지 특징 데이터를 추출하고, 상기 세부 분석단계(S500)를 통한 세부 분석 결과에 따라, '3개 이상의 나무 표현이 이루어짐', '잔디와 같은 화단 표현' 등의 매칭시켜 저장된 정량분석 DB를 통한 계량 스코어 연산을 통해 상기 분석 결과 데이터를 생성할 수 있다.
더불어, 정성분석의 예를 들자면, 상기 세부 분석단계(S500)를 통한 세부 분석 결과에 따라, 하나의 이미지 특징 데이터인 커튼의 위치 영역과 또하나의 이미지 특징 데이터인 창문의 위치 영역이 겹치는 것을 추출하여, 저장된 정성분석 DB와 매칭시켜 '보호, 강한 강박'을 해석할 수 있는 상기 분석 결과 데이터를 생성할 수도 있다.
더불어, 상기 세부 분석단계(S500)는 상기 상체 영상 데이터를 전달받아, 신청자의 안면부 뿐 아니라, 어깨의 움직임을 분석하는 것이 바람직하다.
상세하게는, 전달받은 상기 상체 영상 데이터를 1초당 미리 설정된 소정 프레임 개수로 분석하여, 미리 설정된 영상분석 알고리즘에 적용하여 집중도, 감정 정보 등을 분석할 수 있다.
일 예를 들자면, 상기 영상 특징 데이터를 추출하기 위하 Open CV, Dlib, Openface 등의 안면인식 및 집중도 파악 알고리즘을 적용하는 것이 바람직하나, 이는 본 발명의 일 실시예에 불과하며, 집중도 분석은 안면의 랜드마크에서 눈의 위치를 파악하고 동공의 위치를 집중도 판단에 사용하게 된다. 물론, 눈 깜빡임 정도나 눈과 눈썹, 입술의 모양 등을 토대로 감정 정보를 판단할 수도 있다.
이를 통해서, 상기 통합 분석수단(200)은 상기 이미지 데이터에 포함되어 있는 하나의 객체를 그리는데 소요된 시간 동안 해당하는 상기 상체 영상 데이터의 프레임을 분석하여 집중도 및 감정 정보 등을 알 수 있다.
즉, 도 4에 도시된 바와 같이, 상기 이미지 데이터에 포함되어 있는 '지붕' 객체를 그리는데 소요된 시간 동안 해당하는 상기 상체 영상 데이터의 프레임인 5개의 프레임을 분석한 결과, 평균적으로 감정 정보는 'happy'를 나타내고 있으며, 집중도 역시 '82.04 %'인 것을 알 수 있도록 세부 분석을 수행하는 것이 바람직하다.
이를 통해서, 상기 결과 생성단계(S600)는 상기 이미지 데이터 분석을 통해서, 신청자의 그림을 통한 심리 분석을 수행할 수 있으며, 상기 상체 영상 데이터 분석을 통해서, 신청자의 표정, 태도를 통한 심리 분석을 수행할 수 있다.
이를 통해서, 상기 통합 분석수단(200)은 상기 상체 영상의 분석 결과 데이터와 상기 이미지 데이터의 분석 결과 데이터를 각각 생성하여 출력할 수 있다.
상기 상체 영상의 분석 결과 데이터와 상기 이미지 데이터의 분석 결과 데이터가 모두 유사한 방향으로 해석될 수 있지만, 경우에 따라, 상기 상체 영상의 분석 결과 데이터와 상기 이미지 데이터의 분석 결과 데이터가 서로 상이한 방향으로 해석될 수 있다.
일 예를 들자면, 상술한 바와 같이, 도 4에 도시된 바와 같이, 상기 이미지 데이터에 포함되어 있는 '지붕' 객체를 그리는데 소요된 시간 동안 해당하는 상기 상체 영상 데이터의 프레임인 5개의 프레임을 분석한 결과, 평균적으로 감정 정보는 'happy'를 나타내고 있으며, 집중도 역시 '82.04 %'로 상기 상체 영상 데이터의 세부 분석 결과가 도출되었으나, 상기 이미지 데이터의 세부 분석 결과로 '지붕' 객체가 네모 지붕 형태로 완성되어 부정적인 감정으로 분류되는 '열등감'이 높은 것으로 분석 결과가 도출될 경우, 상기 상체 영상의 분석 결과 데이터와 상기 이미지 데이터의 분석 결과 데이터가 서로 상이한 방향으로 해석되게 된다.
이러한 경우를 대비하여, 본 발명의 일 실시예에 따른 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 방법은, 외부 요청, 설정, 상담사, 관리자 등의 설정에 따라, 상기 상체 영상의 분석 결과 데이터와 상기 이미지 데이터의 분석 결과 데이터를 각각 생성하여 출력하거나, 상기 상체 영상의 분석 결과 데이터에 소정의 가중치값을 두어 상기 상체 영상의 분석 결과 데이터를 기준으로 상기 이미지 데이터의 분석 결과 데이터를 보정하여 출력할 수 있다.
물론, 이와 반대로, 상기 이미지 데이터의 분석 결과 데이터에 소정의 가중치값을 두어 상기 이미지 데이터의 분석 결과 데이터를 기준으로 상기 상체 영상의 분석 결과 데이터를 보정하여 출력할 수도 있다.
더불어, 본 발명의 일 실시예에 따른 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 방법은, 도 13에 도시된 바와 같이, 상기 이미지 입력단계(S100)를 수행하고 난 후, 질문 제공단계(S110)를 더 포함하여 구성되는 것이 바람직하다.
상기 질문 제공단계(S110)는 상기 통합 분석수단(100)에서, 실시간으로 시계열적 순으로 상기 이미지 데이터를 전달받아, 전달되는 상기 이미지 데이터에 해당되는 질문 정보를 추출하여 상기 신청자 단말수단(100)으로 전송하는 것이 바람직하다.
이를 위해, 상기 통합 분석수단(200)은 외부로부터 입력되는 미리 설정된 주제에 따라 입력 가능한 이미지 데이터와 상기 입력 가능한 이미지 데이터에 매칭되는 질문 정보들을 데이터베이스화하여 저장 및 관리하는 것이 바람직하다.
상기 질문 정보는 심리상담 매뉴얼 및 교제에 제시된 설문 항목이 될 수 있으며, 연구 조사를 통한 또다른 설문 조사 등이 포함되어 구성될 수 있다.
이를 통해서, 상기 통합 분석수단(200)은 상기 신청자 단말수단(100)으로부터 실시간으로 시계열적 순으로 전달되는 상기 이미지 데이터를 이용하여, 상기 이미지 데이터에 해당하는 상기 질문 정보를 상기 데이터베이스에서 추출하여 상기 출력부(130)로 전송하게 된다.
상기 통합 분석수단(200)은 상기 신청자 단말수단(100)으로부터 전달되는 상기 상체 영상 데이터 및 상기 이미지 데이터들 중 상기 질문 정보를 전송하고 난 후, 시간상 매칭되는 데이터들을 상기 질문 정보에 대한 답변 정보로 설정하여, 상기 분석 결과 데이터를 생성하는데 활용하는 것이 바람직하다.
일 예를 들자면, 신청자가 창문이라는 객체를 그리는 과정에 매칭되는 상기 질문 정보를 전송할 경우, 이 후로 창문을 마무리하는 과정이나 창문 다음의 객체를 그리는 과정에서의 상기 이미지 데이터의 세부 분석 결과나 상기 상체 영상 데이터의 세부 분석 결과가 이 전과는 상이하게 분석될 수 있다. 이를 활용하여 상기 분석 결과 데이터를 보정할 수 있다.
또한, 본 발명의 일 실시예에 따른 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 방법은, 도 13에 도시된 바와 같이, 상기 질문 제공단계(S110)를 수행하고 난 후, 신체정보 획득단계(S120)를 수행하는 것이 바람직하다.
상기 신체정보 획득단계(S120)는 상기 신청자 단말수단(100)에서, 상기 이미지 데이터를 그리는 동안의 신청자의 심박수, 혈압 정보 등을 획득하여 상기 통합 분석수단(200)에서 상기 분석 결과 데이터를 보정하는데 활용하는 것이 바람직하다.
일 예를 들자면, 신청자가 창문이라는 객체를 그리는 과정에 매칭되는 상기 질문 정보를 전송할 경우, 이 후로 창문을 마무리하는 과정이나 창문 다음의 객체를 그리는 과정에서의 상기 이미지 데이터의 세부 분석 결과나 상기 상체 영상 데이터의 세부 분석 결과 뿐 아니라, 신체정보도 이 전과는 상이하게 분석될 수 있다. 이를 활용하여 상기 분석 결과 데이터를 보정할 수 있다.
이와 같이, 본 발명의 일 실시예에 따른 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 방법은, 종래 기술인 신청자로부터 입력받은 이미지 데이터에 내포되어 있는 심리 상태를 분석하기 위해 표본 이미지(기준 이미지 등)와의 단순 비교가 아닌 입력되는 이미지 데이터를 시계열적 순으로 전달받으면서 이미지 데이터를 입력하는 신청자의 상체 영상 역시 전달받아, 이를 종합적으로 이용하여 보다 정확한 이미지 분석 결과 데이터, 다시 말하자면, 신청자의 심리 상태 분석 결과 데이터를 얻을 수 있는 장점이 있다.
한편, 본 발명의 실시예에 따른 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 방법은 다양한 전자적으로 정보를 처리하는 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 저장 매체에 기록될 수 있다. 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
저장 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 저장 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 본 발명에서는 구체적인 구성 소자 등과 같은 특정 사항들과 한정된 실시예 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것 일 뿐, 본 발명은 상기의 일 실시예에 한정되는 것이 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허 청구 범위뿐 아니라 이 특허 청구 범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
100 : 신청자 단말수단
110 : 이미지 입력부 120 : 영상 촬영부
130 : 출력부 140 : 신체정보 획득부
200 : 통합 분석수단
110 : 이미지 입력부 120 : 영상 촬영부
130 : 출력부 140 : 신체정보 획득부
200 : 통합 분석수단
Claims (17)
- 신청자로부터 기설정된 주제에 대한 이미지 데이터를 시계열 순으로 입력받는 이미지 입력부(110)와, 상기 이미지 입력부(110)을 통해서 상기 이미지 데이터를 입력하는 신청자의 상체 영상을 촬영하는 영상 촬영부(120)를 포함하여 구성되는 신청자 단말수단(100); 및
상기 신청자 단말수단(100)으로부터 시계열적 순으로 상기 이미지 데이터와 상기 상체 영상을 전달받아, 상기 상체 영상에 포함되어 있는 적어도 하나의 영상 특징 데이터를 추출하고 상기 이미지 데이터에 포함되어 있는 적어도 하나의 이미지 특징 데이터를 추출하여, 추출한 상기 영상 특징 데이터를 기반으로 상기 상체 영상의 분석을 수행하고, 추출한 상기 이미지 특징 데이터를 기반으로 상기 이미지 데이터의 분석을 수행하는 통합 분석수단(200);
을 포함하여 구성되며,
상기 통합 분석수단(200)은
전달받은 상기 상체 영상을 1초당 기설정된 소정 프레임 개수로 분석하고, 전달받은 상기 상체 영상과 상기 이미지 데이터를 시계열적 순으로 동기화시켜,
상기 상체 영상을 분석한 각 프레임 별로 시간상 매칭되는 상기 이미지 데이터를 분석하여, 매칭되는 상기 이미지 데이터 별 적어도 하나의 영상 특징 데?어를 추출하여 상기 이미지 데이터의 분석을 수행하는 것을 특징으로 하는 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 시스템.
- 삭제
- 삭제
- 제 1항에 있어서,
상기 통합 분석수단(200)은
상기 상체 영상의 분석 결과 데이터와 상기 이미지 데이터의 분석 결과 데이터를 각각 생성하여, 외부로 출력하는 것을 특징으로 하는 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 시스템.
- 제 1항에 있어서,
상기 통합 분석수단(200)은
상기 상체 영상의 분석 결과 데이터와 상기 이미지 데이터의 분석 결과 데이터를 각각 생성하고, 상기 상체 영상의 분석 결과 데이터를 기준으로 상기 이미지 데이터의 분석 결과 데이터를 보정하여 외부로 출력하는 것을 특징으로 하는 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 시스템.
- 제 1항에 있어서,
상기 통합 분석수단(200)은
상기 상체 영상의 분석 결과 데이터와 상기 이미지 데이터의 분석 결과 데이터를 각각 생성하고, 상기 이미지 데이터의 분석 결과 데이터를 기준으로 상기 상체 영상의 분석 결과 데이터를 보정하여 외부로 출력하는 것을 특징으로 하는 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 시스템.
- 제 1항에 있어서,
상기 신청자 단말수단(100)은
상기 이미지 입력부(110)를 통해서 입력된 상기 이미지 데이터를 실시간으로 출력하거나, 상기 통합 분석수단(200)으로부터 실시간으로 전송되는 질문 정보가 출력되는 출력부(130);
를 더 포함하여 구성되며,
상기 통합 분석수단(200)은
기설정된 주제에 따라 입력 가능한 이미지 데이터와 상기 이미지 데이터에 매칭되는 질문 정보들을 데이터베이스화하여 저장 및 관리하여,
상기 신청자 단말수단(100)으로부터 실시간으로 시계열적 순으로 상기 이미지 데이터를 전달받아, 전달되는 상기 이미지 데이터에 해당되는 상기 질문 정보를 추출하여 상기 출력부(130)로 전송하는 것을 특징으로 하는 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 시스템.
- 제 7항에 있어서,
상기 신청자 단말수단(100)은
상기 이미지 입력부(110)을 통해서 상기 이미지 데이터를 입력하는 신청자의 신체 정보를 시계열 순으로 획득하는 신체정보 획득부(140);
를 더 포함하여 구성되며,
상기 통합 분석수단(200)은
상기 신체정보 획득부(140)를 통해서 획득된 상기 신체 정보를 기준으로 상기 신체 영상의 분석 결과 데이터 또는 상기 이미지 데이터의 분석 결과 데이터를 보정하는 것을 특징으로 하는 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 시스템.
- 제 8항에 있어서,
상기 통합 분석수단(200)은
상기 영상 특징 데이터들 또는 상기 이미지 특징 데이터들 중 상기 질문 정보를 전송하고 난 후의 시간상 매칭되는 데이터들과, 상기 질문 정보를 전송하고 난 후의 시간상 매칭되는 상기 신체 정보를 상기 질문 정보에 대한 답변 정보로 설정하여, 상기 신체 영상의 분석 결과 데이터 또는 상기 이미지 데이터의 분석 결과 데이터를 생성하는 것을 특징으로 하는 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 시스템.
- 신청자 단말수단에서, 신청자로부터 기설정된 주제에 대한 이미지 데이터를 시계열 순으로 입력받는 이미지 입력단계(S100);
신청자 단말수단에서, 신청자의 상체 영상을 촬영하는 영상 촬영단계(S200);
통합 분석수단에서, 시계열적 순으로 상기 이미지 데이터와 상기 상체 영상을 전달받아, 상기 상체 영상에 포함되어 있는 적어도 하나의 영상 특징 데이터를 추출하고 상기 이미지 데이터에 포함되어 있는 적어도 하나의 이미지 특징 데이터를 추출하는 특징점 추출단계(S300);
통합 분석수단에서, 기저장된 인공지능 학습 모델을 활용하여, 상기 특징점 추출단계(S300)에 의해 추출한 특징점들의 라벨링 정보를 부여하는 특징 비교단계(S400);
통합 분석수단에서, 상기 특징 비교단계(S400)에 의해 라벨링 정보를 부여한 상기 특징점들을 조합하여, 추출한 상기 영상 특징 데이터를 기반으로 상기 상체 영상의 분석을 수행하고 추출한 상기 이미지 특징 데이터를 기반으로 상기 이미지 데이터의 분석을 수행하는 세부 분석단계(S500); 및
통합 분석수단에서, 저장된 정량분석 DB 또는 저장된 정성분석 DB를 이용하여 상기 세부 분석단계(S500)에 의해 수행한 상기 영상 특징 데이터와 이미지 특징 데이터의 세부 분석 결과를 추출하여, 각각의 분석 결과 데이터를 생성하는 결과 생성단계(S600);
를 포함하여 구성되며,
상기 특징점 추출단계(S300)는
전달받은 상기 상체 영상을 1초당 기설정된 소정 프레임 개수로 분석하고, 전달받은 상기 상체 영상과 상기 이미지 데이터를 시계열적 순으로 동기화 시켜,
상기 상체 영상을 분석한 각 프레임 별로 시간상 매칭되는 상기 이미지 데이터를 추출하여, 매칭되는 상기 이미지 데이터 별 적어도 하나의 이미지 특징 데이터를 추출하는 것을 특징으로 하는 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 방법.
- 삭제
- 삭제
- 제 10항에 있어서,
상기 결과 생성단계(S600)는
각각 생성한 상기 상체 영상의 분석 결과 데이터와 상기 이미지 데이터의 분석 결과 데이터를 이용하여, 상기 상체 영상의 분석 결과 데이터를 기준으로 상기 이미지 데이터의 분석 결과 데이터를 보정하는 것을 특징으로 하는 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 방법.
- 제 10항에 있어서,
상기 결과 생성단계(S600)는
각각 생성한 상기 상체 영상의 분석 결과 데이터와 상기 이미지 데이터의 분석 결과 데이터를 이용하여, 상기 이미지 데이터의 분석 결과 데이터를 기준으로 상기 상체 영상의 분석 결과 데이터를 보정하는 것을 특징으로 하는 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 방법.
- 제 10항에 있어서,
상기 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 방법은,
상기 이미지 입력단계(S100)를 수행하고 난 후,
통합 분석수단에서, 실시간으로 시계열적 순으로 상기 이미지 데이터를 전달받아, 전달되는 상기 이미지 데이터에 해당되는 질문 정보를 추출하여 신청자 단말수단으로 전송하는 질문 제공단계(S110);
를 더 포함하여 구성되며,
상기 통합 분석수단은
외부로부터 입력되는 기설정된 주제에 따른 입력 가능한 이미지 데이터와 상기 입력 가능한 이미지 데이터에 매칭되는 질문 정보들을 데이터베이스화하여 저장 및 관리하는 것을 특징으로 하는 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 방법.
- 제 15항에 있어서,
상기 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 방법은,
상기 질문 제공단계(S110)를 수행하고 난 후,
신청자 단말수단에서, 신청자의 신체 정보를 시계열 순으로 획득하여 신체 정보 획득단계(S120);
를 더 포함하여 구성되며,
상기 통합 분석수단은
상기 신체 정보 획득단계(S120)에 의해 획득된 상기 신체 정보를 기준으로 각각 생성한 상기 상체 영상의 분석 결과 데이터와 상기 이미지 데이터의 분석 결과 데이터를 보정하는 것을 특징으로 하는 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 방법.
- 제 16항에 있어서,
상기 결과 생성단계(S600)는
상기 영상 특징 데이터들 또는 상기 이미지 특징 데이터들 중 상기 질문 제공단계(S110)에 의해 상기 질문 정보를 제공하고 난 후의 시간상 매칭되는 데이터들과, 상기 질문 정보를 전송하고 난 후 시간상 매칭되는 상기 신체 정보를 상기 질문 정보에 대한 답변 정보로 설정하여, 상기 상체 영상의 분석 결과 데이터와 상기 이미지 데이터의 분석 결과 데이터를 생성하는 것을 특징으로 하는 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200147868A KR102240485B1 (ko) | 2020-11-06 | 2020-11-06 | 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 시스템 및 그 분석 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200147868A KR102240485B1 (ko) | 2020-11-06 | 2020-11-06 | 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 시스템 및 그 분석 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102240485B1 true KR102240485B1 (ko) | 2021-04-15 |
Family
ID=75440728
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200147868A KR102240485B1 (ko) | 2020-11-06 | 2020-11-06 | 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 시스템 및 그 분석 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102240485B1 (ko) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102391154B1 (ko) * | 2021-05-17 | 2022-04-26 | 이연정 | 감정발산 유도시스템 |
| KR102435556B1 (ko) * | 2021-05-17 | 2022-08-22 | 이연정 | 표현대상을 이용한 감정인식장치 및 그 동작방법 |
| KR20230019713A (ko) | 2021-08-02 | 2023-02-09 | 주식회사 오션블루 | 금융 정보 기반 심리 상태 분석을 위한 서비스 제공 장치 및 방법 |
| KR102528760B1 (ko) * | 2022-04-19 | 2023-05-03 | 한경은 | 유아용 단어학습 서비스 제공시스템 |
| KR20230067444A (ko) | 2021-11-08 | 2023-05-16 | 양성훈 | 인공 지능 기반 심리 분석 서비스 제공 방법, 이를 위한 장치 및 프로그램 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101554961B1 (ko) | 2013-04-18 | 2015-09-24 | (주) 마이크로사이텍 | 피검사자의 심리 상태를 진단하기 위한 이미지 분석 방법, 장치 및 기록매체 |
| KR20150118594A (ko) * | 2014-04-14 | 2015-10-23 | (주)메쏘드소프트 | 미술 치료 정보 관리 방법 및 시스템 |
| KR20160109101A (ko) * | 2015-03-10 | 2016-09-21 | 김성재 | 터치스크린을 이용한 주의력결핍 과잉행동 진단 시스템 |
| KR20170068239A (ko) * | 2015-12-09 | 2017-06-19 | 김보경 | 디지탈화 된 결과를 도출하는 미술 심리 진단 장치 및 이를 이용한 심리 진단 방법 |
| KR20180097912A (ko) * | 2017-02-24 | 2018-09-03 | 트라이큐빅스 인크. | 사용자 단말을 이용하여 사용자의 감정을 분석하는 감정 분석 방법 및 시스템 |
| KR20200090021A (ko) * | 2019-01-18 | 2020-07-28 | (주)지영커뮤니티 | 미술심리검사 장치 |
-
2020
- 2020-11-06 KR KR1020200147868A patent/KR102240485B1/ko active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101554961B1 (ko) | 2013-04-18 | 2015-09-24 | (주) 마이크로사이텍 | 피검사자의 심리 상태를 진단하기 위한 이미지 분석 방법, 장치 및 기록매체 |
| KR20150118594A (ko) * | 2014-04-14 | 2015-10-23 | (주)메쏘드소프트 | 미술 치료 정보 관리 방법 및 시스템 |
| KR20160109101A (ko) * | 2015-03-10 | 2016-09-21 | 김성재 | 터치스크린을 이용한 주의력결핍 과잉행동 진단 시스템 |
| KR20170068239A (ko) * | 2015-12-09 | 2017-06-19 | 김보경 | 디지탈화 된 결과를 도출하는 미술 심리 진단 장치 및 이를 이용한 심리 진단 방법 |
| KR20180097912A (ko) * | 2017-02-24 | 2018-09-03 | 트라이큐빅스 인크. | 사용자 단말을 이용하여 사용자의 감정을 분석하는 감정 분석 방법 및 시스템 |
| KR20200090021A (ko) * | 2019-01-18 | 2020-07-28 | (주)지영커뮤니티 | 미술심리검사 장치 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102391154B1 (ko) * | 2021-05-17 | 2022-04-26 | 이연정 | 감정발산 유도시스템 |
| KR102435556B1 (ko) * | 2021-05-17 | 2022-08-22 | 이연정 | 표현대상을 이용한 감정인식장치 및 그 동작방법 |
| KR20230019713A (ko) | 2021-08-02 | 2023-02-09 | 주식회사 오션블루 | 금융 정보 기반 심리 상태 분석을 위한 서비스 제공 장치 및 방법 |
| KR20230067444A (ko) | 2021-11-08 | 2023-05-16 | 양성훈 | 인공 지능 기반 심리 분석 서비스 제공 방법, 이를 위한 장치 및 프로그램 |
| KR102528760B1 (ko) * | 2022-04-19 | 2023-05-03 | 한경은 | 유아용 단어학습 서비스 제공시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102240485B1 (ko) | 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 시스템 및 그 분석 방법 | |
| CN110313923B (zh) | 基于联合注意能力测试和音视频行为分析的孤独症早期筛查系统 | |
| US9767349B1 (en) | Learning emotional states using personalized calibration tasks | |
| CN110349667B (zh) | 结合调查问卷及多模态范式行为数据分析的孤独症评估系统 | |
| CN110945522B (zh) | 一种学习状态的判断方法、装置及智能机器人 | |
| CN111461176A (zh) | 基于归一化互信息的多模态融合方法、装置、介质及设备 | |
| Järvelä et al. | Human and artificial intelligence collaboration for socially shared regulation in learning | |
| CN109431523A (zh) | 基于非社会性声音刺激行为范式的孤独症初级筛查装置 | |
| WO2007043712A1 (ja) | 感情評価方法および感情表示方法、並びに、それらのための、プログラム、記録媒体およびシステム | |
| CN113069080A (zh) | 一种基于人工智能的困难气道评估方法及装置 | |
| KR102415103B1 (ko) | 음성 데이터와 텍스트 데이터를 이용하여 생성된 인공지능모델를 기초로 심리를 분석하는 장치 | |
| Szwoch | FEEDB: a multimodal database of facial expressions and emotions | |
| CN111126280B (zh) | 基于融合手势识别的失语症患者辅助康复训练系统及方法 | |
| CN108937407A (zh) | 一种智能镜子化妆指导方法及系统 | |
| CN110060753A (zh) | 认知障碍患者干预效果评价系统及方法 | |
| KR102234241B1 (ko) | 신청자의 심리 상태를 분석하기 위한 이미지 분석 시스템 및 그 분석 방법 | |
| CN113313168A (zh) | 无人监考的智能防作弊自助考试系统 | |
| CN115188074A (zh) | 一种互动式体育训练测评方法、装置、系统及计算机设备 | |
| CN117438048B (zh) | 一种精神科患者用心理障碍测评方法及系统 | |
| CN114242235A (zh) | 一种基于多层级关键特征行为的孤独症患者画像方法 | |
| CN112488165A (zh) | 一种基于深度学习模型的红外行人识别方法及系统 | |
| CN111723869A (zh) | 一种面向特殊人员的行为风险智能预警方法及系统 | |
| CN116110122A (zh) | 一种隐私场景下的护理行为识别方法 | |
| CN110298301A (zh) | 一种组织人员心态预测方法 | |
| Rajawat et al. | Face Recognition based Attendance System |