KR20200008838A - 가상 면접 제공 방법 및 이를 이용하는 장치 - Google Patents
가상 면접 제공 방법 및 이를 이용하는 장치 Download PDFInfo
- Publication number
- KR20200008838A KR20200008838A KR1020180082994A KR20180082994A KR20200008838A KR 20200008838 A KR20200008838 A KR 20200008838A KR 1020180082994 A KR1020180082994 A KR 1020180082994A KR 20180082994 A KR20180082994 A KR 20180082994A KR 20200008838 A KR20200008838 A KR 20200008838A
- Authority
- KR
- South Korea
- Prior art keywords
- interview
- virtual
- user
- virtual interview
- providing
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000004458 analytical method Methods 0.000 claims abstract description 76
- 230000008451 emotion Effects 0.000 claims description 127
- 230000006399 behavior Effects 0.000 claims description 19
- 230000008921 facial expression Effects 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 3
- 238000012217 deletion Methods 0.000 claims description 2
- 230000037430 deletion Effects 0.000 claims description 2
- 238000010195 expression analysis Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 12
- 230000002996 emotional effect Effects 0.000 description 12
- 230000004044 response Effects 0.000 description 12
- 238000011156 evaluation Methods 0.000 description 9
- 239000000284 extract Substances 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000000994 depressogenic effect Effects 0.000 description 4
- 230000007935 neutral effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 206010002368 Anger Diseases 0.000 description 1
- 206010016275 Fear Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/105—Human resources
- G06Q10/1053—Employment or hiring
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
- G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- General Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Educational Technology (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Primary Health Care (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 가상 면접 제공 방법 및 이를 이용하는 장치에 관한 것으로서, 본 발명의 일 실시예에 따른 가상 면접 제공 방법은, 사용자로부터 가상 면접의 종류를 선택하는 입력을 수신하는 단계, 사용자로부터 면접의 사전 정보에 대한 입력을 수신하는 단계, 사용자에게 가상 연습 면접을 제공하는 단계, 사용자에게 가상 실전 면접을 제공하는 단계 및 가상 면접의 분석 결과를 제공하는 단계를 포함할 수 있다. 이에, 사용자의 가상 면접에 대한 피드백을 제공할 수 있다. 이에, 사용자에게 가상 면접을 제공하고, 가상 면접 중 수신한 데이터를 이용하여 실시간으로 사용자에게 면접에 대하 피드백을 제공할 수 있으며, 가상 면접 중 수신한 데이터를 이용하여 사용자의 면접 성향을 분석한 데이터를 제공할 수 있는 효과가 있다.
Description
본 발명은 가상 면접 제공 방법 및 이를 이용하는 장치에 관한 것으로서, 보다 상세하게는 연습 면접 및 실전 면접을 가상으로 제공하고, 가상 면접의 수행 결과 데이터를 이용하여 가상 면접의 분석 결과를 제공할 수 있는 가상 면접 제공 장치 및 이를 이용하는 방법에 관한 것이다.
최근 기업의 사원 채용에 있어 이력을 고려하지 않는 블라인드 평가가 도입되는 등, 서류 평가의 간소화가 강화되고 있다. 이에, 서류 평가 이외의 면접 평가가 중요해지고 있으며, 대기업, 공기업, 공무원 채용을 준비하는 구직자들은 면접을 중심적으로 취업 준비를 하고 있다.
면접 경험이 상대적으로 적은 구직자들은 면접을 어떠한 방식으로 준비해야 하는지 모르는 경우가 많으며, 다양한 면접 경험의 부재로 면접 준비에 어려움을 겪고 있다. 또한, 구직자들의 면접 준비를 위한 스피치 학원 등의 전문 업체도 존재하지만, 업체에 방문해야 면접 준비가 가능한 바, 구직자들의 시간 투자가 필요하며, 전문 업체에 학원 등록비 등을 납부해야 하는 바, 금전적인 부담이 존재하여 문제되고 있다.
이에, 본 발명이 해결하고자 하는 과제는 가상으로 이루어지는 연습 면접 또는 실전 면접을 사용자에게 제공하고, 가상 면접을 통하여 영상 데이터 및 음성 데이터를 수신하고 이를 분석함으로써 사용자에게 가상 면접에 대한 피드백을 제공할 수 있는 가상 면접 제공 방법 및 이를 이용하는 장치를 제공하는 것이다.
또한, 본 발명이 해결하고자 하는 다른 과제는 가상 면접 중 실시간으로 사용자에게 금지된 감정, 단어 또는 행동이 탐지되었는지 여부를 제공함으로써, 사용자가 가상 면접 중 금지된 감정, 단어 또는 행동의 표출을 조절할 수 있는 가상 면접 제공 방법 및 이를 이용하는 장치를 제공하는 것이다.
또한, 본 발명이 해결하고자 하는 또 다른 과제는 가상 면접 중 수신한 영상 데이터 및 음성 데이터를 이용하여 사용자의 성향을 분석하고 이를 제공함으로써, 가상 면접에 기초한 피드백을 사용자에게 제공할 수 있는 가상 면접 제공 방법 및 이를 이용하는 장치를 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 가상 면접 제공 방법은, 사용자로부터 가상 면접의 종류를 선택하는 입력을 수신하는 단계, 사용자로부터 면접의 사전 정보에 대한 입력을 수신하는 단계, 사용자에게 가상 연습 면접을 제공하는 단계, 사용자에게 가상 실전 면접을 제공하는 단계 및 가상 면접의 분석 결과를 제공하는 단계를 포함할 수 있다. 이에, 사용자의 가상 면접에 대한 피드백을 제공할 수 있다.
기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명은 사용자에게 가상 면접을 제공하고, 가상 면접 중 수신한 데이터를 이용하여 실시간으로 사용자에게 면접에 대하 피드백을 제공할 수 있는 효과가 있다.
본 발명은 가상 면접 중 수신한 데이터를 이용하여 사용자의 면접 성향을 분석한 데이터를 제공할 수 있는 효과가 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 제1 사용자, 제2 사용자, 사용자 인터페이스 및 서버의 관계를 설명하기 위한 개략도이다.
도 2는 본 발명의 일 실시예에 따른 가상 면접 제공 방법을 설명하기 위한 순서도이다.
도 3은 본 발명의 일 실시예에 따른 가상 면접 제공 방법을 설명하기 위한 순서도이다.
도 4는 본 발명의 일 실시예에 따른 가상 면접 제공 방법을 설명하기 위한 순서도이다.
도 5는 본 발명의 다른 실시예에 따른 가상 면접 제공 방법을 설명하기 위한 순서도이다.
도 6은 본 발명의 또 다른 실시예에 따른 가상 면접 제공 방법을 설명하기 위한 순서도이다.
도 7은 본 발명의 또 다른 실시예에 따른 가상 면접 제공 방법을 설명하기 위한 순서도이다.
도 8은 본 발명의 일 실시예에 따른 가상 면접 제공 방법의 UI(User Interface)의 개략도이다.
도 9는 본 발명의 일 실시예에 따른 가상 면접 제공 방법의 UI(User Interface)의 개략도이다.
도 10은 본 발명의 일 실시예에 따른 가상 면접 제공 방법의 UI(User Interface)의 개략도이다.
도 11은 본 발명의 일 실시예에 따른 가상 면접 제공 방법의 UI(User Interface)의 개략도이다.
도 12는 본 발명의 일 실시예에 따른 가상 면접 제공 방법의 UI(User Interface)의 개략도이다.
도 2는 본 발명의 일 실시예에 따른 가상 면접 제공 방법을 설명하기 위한 순서도이다.
도 3은 본 발명의 일 실시예에 따른 가상 면접 제공 방법을 설명하기 위한 순서도이다.
도 4는 본 발명의 일 실시예에 따른 가상 면접 제공 방법을 설명하기 위한 순서도이다.
도 5는 본 발명의 다른 실시예에 따른 가상 면접 제공 방법을 설명하기 위한 순서도이다.
도 6은 본 발명의 또 다른 실시예에 따른 가상 면접 제공 방법을 설명하기 위한 순서도이다.
도 7은 본 발명의 또 다른 실시예에 따른 가상 면접 제공 방법을 설명하기 위한 순서도이다.
도 8은 본 발명의 일 실시예에 따른 가상 면접 제공 방법의 UI(User Interface)의 개략도이다.
도 9는 본 발명의 일 실시예에 따른 가상 면접 제공 방법의 UI(User Interface)의 개략도이다.
도 10은 본 발명의 일 실시예에 따른 가상 면접 제공 방법의 UI(User Interface)의 개략도이다.
도 11은 본 발명의 일 실시예에 따른 가상 면접 제공 방법의 UI(User Interface)의 개략도이다.
도 12는 본 발명의 일 실시예에 따른 가상 면접 제공 방법의 UI(User Interface)의 개략도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서 상에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우 '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다.
구성요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.
비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않는다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있다.
별도로 명시하지 않는 한 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 도시된 것이며, 본 발명이 도시된 구성의 크기 및 두께에 반드시 한정되는 것은 아니다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예들을 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 제1 사용자, 제2 사용자, 사용자 인터페이스 및 가상 면접 제공 장치의 관계를 설명하기 위한 개략도이다. 도 1을 참조하면, 가상 면접 제공 시스템은 제1 사용자, 제2 사용자, 사용자 인터페이스 및 가상 면접 제공 장치(100)를 포함한다. 제1 사용자는 가상 면접 제공 장치(100)를 사용자는 복수의 사용자 중 가상 면접을 수행하는 사용자를 의미한다. 제1 사용자는 가상 면접 제공 시스템에서 가상 면접을 제공 받는 사용자이다.
제2 사용자는 가상 면접 제공 장치(100)를 사용하는 복수의 사용자 중 가상 면접에 사용되는 질문을 생성, 삭제 및 수정하는 관리자일 수 있다. 가상 면접 제공 장치(100)는 제2 사용자로부터 복수의 질문을 수신하고 이를 저장할 수 있다. 그리고, 가상 면접 제공 장치(100)는 제2 사용자로부터 복수의 질문에 대한 수정 입력 또는 삭제 입력을 수신할 수 있고, 이에 대응하여 저장된 복수의 질문을 수정하거나 삭제할 수 있다.
사용자 인터페이스는 복수의 사용자가 가상 면접 제공 장치(100)를 통하여 가상 면접을 제공받을 수 있는 웹 브라우저(Web Browser) 형태의 인터페이스이다. 구체적으로, 복수의 사용자 중 제1 사용자는 사용자 인터페이스를 통하여 가상 면접을 제공받을 수 있다. 가상 면접 제공 장치(100)에 사용자 인터페이스를 이용하여 복수의 질문에 대한 생성 입력, 수정 입력 및 삭제 입력을 제2 사용자로부터 수신할 수 있다.
가상 면접 제공 장치(100)는 제1 사용자에게 가상 면접을 제공하는 장치이다. 가상 면접 제공 장치(100)는 사용자 인터페이스와 연결되어 복수의 사용자에게 정보를 전달하거나 복수의 사용자로부터 정보를 전달받는다. 구체적으로, 가상 면접 제공 장치(100)는 사용자 인터페이스를 이용하여 제1 사용자로부터 가상 면접에 대한 대답을 전달받을 수 있고, 가상 면접에 대한 면접 결과를 데이터 베이스에 저장할 수 있다. 가상 면접 제공 장치(100)는 제1 사용자로부터 가상 면접에 대한 음성 입력 및 이미지 입력을 수신할 수 있고, 이를 데이터 베이스에 저장할 수 있다. 그리고, 가상 면접 제공 장치(100)는 데이터 베이스에 저장되어 있는 면접 결과를 분석하여 제1 사용자의 가상 면접에 대한 얼굴 감정 분석 결과를 생성하고, 이를 저장하며, 제1 사용자에게 사용자 인터페이스를 이용하여 얼굴 감정 분석 결과를 전달할 수 있다.
가상 면접 제공 장치(100)는 머신러닝 기반으로 제1 사용자의 사진 또는 영상에서 얼굴을 인식하여 특징을 분석할 수 있다. 그리고, 가상 면접 제공 장치(100)는 제1 사용자의 사진 또는 영상을 이용하여 제1 사용자의 감정을 분석하거나, 제1 상요자의 고개를 기울인 정도 등의 자세를 분석할 수 있다.
가상 면접 제공 장치(100)는 제1 사용자의 음성 인식을 통해 얻은 음성을 텍스트로 변환할 수 있다. 이에, 가상 면접 제공 장치(100)는 제1 사용자의 가상 면접에 대응하여 답변한 음성을 텍스트로 변환하여 저장할 수 있다.
가상 면접 제공 장치(100)는 텍스트로 변환된 제1 사용자의 가상 면접에 대한 답변을 기초로 제1 사용자의 성향을 분석할 수 있다.
가상 면접 제공 장치(100)는 제1 사용자의 가상 면접에 대한 답변을 기초로 제1 사용자가 사용한 단어의 빈도를 생성할 수 있다. 즉, 가상 면접 제공 장치(100)는 제1 사용자가 가상 면접에 대한 답변에 포함된 단어를 빈도가 높은 순서 별로 추출할 수 있고, 이를 저장하거나 제1 사용자에게 제공할 수 있다.
이하에서는 도 1의 가상 면접 제공 장치(100)의 가상 면접 제공 방법을 설명하기 위해 도 2를 참조하여 설명한다.
도 2는 본 발명의 일 실시예에 따른 가상 면접 제공 방법을 설명하기 위한 순서도이다. 설명의 편의를 위하여 도 1을 참조하여 설명한다.
도 2를 참조하면, 가상 면접 제공 장치(100)는 제1 사용자로부터 회원가입 및 로그인 정보를 수신한다(S110). 구체적으로, 가상 면접 제공 장치(100)는 제1 사용자로부터 회원가입에 필요한 정보를 수신할 수 있다. 회원가입에 필요한 정보는 ID, 비밀번호, 제1 사용자의 이름 및 나이 중 적어도 하나를 포함할 수 있으나, 이에 제한되지는 않는다.
그리고, 가상 면접 제공 장치(100)는 제1 사용자로부터 로그인 정보를 수신하여 제1 사용자를 가상 면접 제공 시스템의 사용자 인터페이스에 로그인시킬 수 있다. 구체적으로, 가상 면접 제공 장치(100)는 제1 사용자로부터 제1 사용자의 ID 및 비밀번호를 수신할 수 있고, 이를 인증하여 제1 사용자를 가상 면접 제공 시스템의 사용자 인터페이스에 로그인 시킬 수 있다.
이어서, 가상 면접 제공 장치(100)는 제1 사용자로부터 가상 면접 종류에 대한 선택을 수신한다(S120). 가상 면접의 종류는 가상 연습 면접 및 가상 실전 면접을 포함할 수 있다. 가상 연습 면접은 가상 실전 면접에 앞서 가상 면접을 연습할 수 있는 면접을 의미한다. 그리고, 가상 실전 면접은 가상 연습 면접을 진행한 후에 실제 면접과 동일한 상황에서 가상으로 진행되는 면접을 의미할 수 있다.
가상 면접 제공 장치(100)는 제1 사용자로부터 가상 연습 면접을 진행하겠다는 의미의 가상 연습 면접에 대한 선택을 수신할 수 있다. 이와 달리, 가상 면접 제공 장치(100)는 제1 사용자로부터 가상 실전 면접을 진행하겠다는 의미의 가상 실전 면접에 대한 선택을 수신할 수 있다.
이어서, 가상 면접 제공 장치(100)는 제1 사용자로부터 면접 사전 정보에 대한 입력을 수신한다(S130). 면접 사전 정보는 가상 실전 면접 또는 가상 연습 면접을 진행하는데 필요한 제1 사용자에 대한 정보를 의미한다. 가상 면접 제공 장치(100)는 제1 사용자로부터 가상 연습 면접에 대한 선택을 수신한 경우, 제1 사용자로부터 면접 사전 정보로서 가상 연습 면접의 진행 중 금지할 행동이나 단어에 대한 입력을 수신할 수 있다. 그리고, 가상 면접 제공 장치(100)는 제1 사용자로부터 가상 실전 면접에 대한 선택을 수신한 경우, 제1 사용자로부터 면접 사전 정보로서 제1 사용자의 신입 사원으로서의 면접인지 경력 사원으로서의 면접인지에 대한 여부를 수신할 수 있다. 그러나, 이와 달리, 가상 면접 제공 장치(100)는 제1 사용자로부터 면접 사전 정보로서 신입 사원으로서의 면접인지 경력 사원으로서의 면접인지에 대한 여부를 수신하지 않을 수도 있다.
이어서, 가상 면접 제공 장치(100)는 제1 사용자에게 가상 연습 면접을 제공한다(S140). 가상 면접 제공 장치(100)는 제1 사용자로부터 가상 연습 면접에 대한 선택 입력을 수신한 경우, 제1 사용자에게 가상 연습 면접에 대한 질문을 제공할 수 있다. 가상 면접 제공 장치(100)는 가상 연습 면접에 답변하는 제1 사용자의 영상 데이터 및 음성 데이터를 수신하고 이를 저장할 수 있다. 그리고, 가상 면접 제공 장치(100)는 제1 사용자의 영상 데이터 및 음성 데이터를 실시간 분석하여 금지 행동, 금지 표정 또는 금지 단어가 포함되었는지 여부를 판단할 수 있다. 또한, 가상 면접 제공 장치(100)는 금지 행동, 금지 표정 또는 금지 단어가 포함된 경우, 실시간으로 제1 사용자에게 경고 신호를 전달할 수 있다.
이어서, 가상 면접 제공 장치(100)는 제1 사용자에게 가상 실전 면접을 제공한다(S150). 가상 면접 제공 장치(100)는 제1 사용자로부터 가상 실전 면접에 대한 선택을 수신한 경우, 제1 사용자에게 가상 실전 면접에 대한 질문을 제공할 수 있다. 가상 면접 제공 장치(100)는 가상 실전 면접에 답변하는 제1 사용자의 영상 데이터 및 음성 데이터를 수신하고 이를 저장할 수 있다.
이어서, 가상 면접 제공 장치(100)는 제1 사용자에게 가상 면접 분석 결과를 제공한다(S160). 가상 면접 제공 장치(100)는 제1 사용자의 가상 연습 면접 중 수신한 데이터 또는 가상 실전 면접 중 수신한 데이터에 기초하여 가상 연습 면접 결과 또는 가상 실전 면접 결과를 생성할 수 있다. 가상 면접 제공 장치(100)는 면접 결과를 가상 연습 면접과 가상 실전 면접 별로 분류하며, 각 면접에 대한 감정 분석 결과, 성향 분석 결과를 제1 사용자에게 제공할 수 있다. 또한, 가상 면접 제공 장치(100)는 가상 연습 면접 결과 및 가상 실전 면접 결과를 종합하여 진행된 모든 가상 면접에서의 제1 사용자의 감정 빈도, 성향 빈도를 차트의 형태로 포함하는 면접 종합 결과를 제1 사용자에게 제공할 수도 있다. 그러나, 이에 제한되지는 않는다.
도 3은 본 발명의 일 실시예에 따른 가상 면접 제공 방법을 설명하기 위한 순서도이다. 도 3의 순서도는 도 2의 가상 면접 제공 방법 중 가상 연습 면접 제공 단계(S140)를 구체화한 것이다. 설명의 편의를 위해 도 1 및 도 2를 참조하여 설명한다.
도 3을 참조하면, 가상 면접 제공 장치(100)는 제1 사용자로부터 가상 연습 면접 페이지에 대한 접속 입력을 수신한다(S201). 가상 면접 제공 장치(100)는 제1 사용자로부터 가상 연습 면접 페이지에 대한 접속 입력을 수신할 수 있고, 이에, 제1 사용자에게 가상 연습 면접 페이지를 제공할 수 있다.
이어서, 가상 면접 제공 장치(100)는 제1 사용자로부터 금지 감정 및 금지 단어에 대한 입력을 수신한다(S202). 가상 면접 제공 장치(100)는 제1 사용자로부터 가상 연습 면접 도중 금지되어야 할 감정 및 금지되어야 한 단어에 대한 입력을 수신할 수 있다. 구체적으로, 감정은 분노, 경멸, 싫음, 공포, 행복, 중립, 슬픔 및 놀람을 포함할 수 있고, 이 중 제1 사용자는 금지되어야 할 감정을 선택할 수 있다. 그리고, 제1 사용자는 가상 연습 면접 도중 사용이 금지될 단어를 입력할 수 있다. 예를 들면, 가상 면접 제공 장치(100)는 제1 사용자로부터 '저기', '사실', '아니' 등의 사용이 금지되어야 단어에 대한 입력을 수신할 수 있다.
이어서, 가상 면접 제공 장치(100)는 제1 사용자의 가상 연습 면접을 시작하며, 가상 연습 면접의 질문을 표시한다(S203). 가상 면접 제공 장치(100)는 제1 사용자에게 복수의 가상 연습 면접의 질문을 제공할 수 있다. 가상 면접 제공 장치(100)는 복수의 가상 연습 면접의 질문을 순차적으로 제공할 수 있으며, 질문은 음성으로 제공되거나 가상 면접 제공 장치(100)의 표시부에 글의 형태로 제공될 수도 있다.
이어서, 가상 면접 제공 장치(100)는 제1 사용자로부터 가상 연습 면접의 질문에 대한 답변을 수신한다(S204). 가상 면접 제공 장치(100)는 카메라 또는 마이크를 통하여 제1 사용자로부터 질문에 대한 답변을 수신할 수 있다. 제1 사용자는 가상 연습 면접의 질문에 대한 답변을 말할 수 있고, 제1 사용자의 답변은 설치된 카메라 또는 마이크를 통하여 입력될 수 있다. 가상 면접 제공 장치(100)는 음성 데이터 또는 영상 데이터의 형태로 제1 사용자의 답변을 수신할 수 있다.
이어서, 가상 면접 제공 장치(100)는 실시간 음성 및 영상 인식을 통하여 제1 사용자의 감정을 분석한다(S205). 가상 면접 제공 장치(100)는 제1 사용자로부터 가상 연습 면접에 대한 답변을 수신하는 동안 실시간으로 제1 사용자의 감정을 분석할 수 있다. 즉, 가상 면접 제공 장치(100)는 가상 연습 면접에 대한 답변인 제1 사용자의 음성 데이터 및 영상 데이터를 수신하며, 영상 데이터를 기초로 제1 사용자의 얼굴을 인식하고, 음성 데이터를 텍스트로 변환하여 이를 실시간으로 분석함으로써, 제1 사용자의 실시간 감정을 분석할 수 있다.
구체적으로, 가상 면접 제공 장치(100)는 가상 연습 면접이 시작될 경우, 제1 사용자의 영상 데이터를 추출하고, 영상 데이터로부터 특정 시간 주기에 따른 제1 사용자의 얼굴 이미지를 추출한다. 가상 면접 제공 장치(100)는 특정 시간 주기에 따라 추출한 복수의 얼굴 이미지를 분석하여 제1 사용자의 감정을 판단할 수 있다. 예를 들면, 가상 면접 제공 장치(100)는 0.5초 단위로 영상 데이터로부터 제1 사용자의 얼굴 이미지를 추출하고, 복수의 얼굴 이미지를 기초로 제1 사용자의 감정을 분노, 경멸, 싫음, 공포, 행복, 중립, 슬픔, 놀람 중 하나로 판단할 수 있다.
그리고, 가상 면접 제공 장치(100)는 판단된 제1 사용자의 감정의 신뢰도를 산출할 수 있다. 감정의 신뢰도는 판단된 제1 사용자의 감정을 신뢰할 수 있는 정도를 의미하며, 0에서 100까지의 수치중 하나일 수 있다.
8가지로 분석하며, 각 감정 분석의 수치가 0과 1 사이의 신뢰도로 제공되기 때문에 소수점 연산을 피하고자 1000을 곱해 정수형으로 변환하여 계산했다. 이 수치에 따라 연습 면접의 카메라 화면 오른쪽의 감정 이모티콘 이미지를 활용하여 어떤 감정이 어느 정도 수치로 나타나고 있는지 이미지별로 바뀌며 사용자에게 알려준다
이어서, 가상 면접 제공 장치(100)는 제1 사용자의 감성 상태를 실시간으로 표시한다(S206). 가상 면접 제공 장치(100)는 영상 데이터를 이용하여 판단한 제1 사용자의 감정 및 감정에 대한 신뢰도를 제1 사용자에게 제공할 수 있다. 가상 면접 제공 장치(100)는 분노, 경멸, 싫음, 공포, 행복, 중립, 슬픔, 놀람 각각에 대한 이모티콘을 사용하여 실시간으로 제1 사용자의 감정을 표시할 수 있으며, 표시된 감정의 신뢰도를 0부터 100까지의 수치 중 하나로 함께 표시할 수 있다. 가상 면접 제공 장치(100)는 제1 사용자의 가상 연습 면접 중 추출한 제1 사용자의 감정이 변화될 경우, 실시간으로 변화되는 감정에 따라 감정 이모티콘을 변화하여 표시할 수도 있다. 그러나, 이에 제한되는 것은 아니다.
이어서, 가상 면접 제공 장치(100)는 금지 감정, 금지 단어 또는 금지 행동이 탐지되었는지 여부를 판단한다(S207). 가상 면접 제공 장치(100)는 가상 연습 면접에 답변하는 제1 사용자의 영상 데이터를 이용하여 판단한 제1 사용자의 감정이 금지 감정인 경우, 금지 감정이 탐지되었다고 실시간으로 판단할 수 있다. 예를 들면, 가상 면접 제공 장치(100)는 제1 사용자로부터 '분노'를 금지 감정으로 수신할 수 있고, 제1 사용자의 영상 데이터를 실시간으로 분석하여 '분노'의 감정이 탐지된 경우, '분노'의 금지 감정이 탐지되었다고 판단할 수 있다.
그리고, 가상 면접 제공 장치(100)는 가상 연습 면접에 답변하는 제1 사용자의 영상 데이터 또는 음성 데이터를 이용하여 금지 단어가 존재하는지 여부를 실시간으로 탐지할 수 있다. 예를 들면, 가상 면접 제공 장치(100)는 제1 사용자로부터 '사실'이라는 단어를 금지 단어로 수신할 수 있고, 제1 사용자의 영상 데이터 또는 음성 데이터를 분석하여 실시간으로 제1 사용자의 음성 데이터를 문자 데이터로 변환할 수 있다. 그리고, 가상 면접 제공 장치(100)는 변환된 문자 데이터에 '사실'이라는 금지 단어가 포함되는지 여부를 실시간으로 검색할 수 있다. 그리고, 가상 면접 제공 장치(100)는 문자 데이터에 '사실'이라는 금지 단어가 탐지된 경우, 금지 단어가 탐지되었다고 판단할 수 있다.
또한, 가상 면접 제공 장치(100)는 가상 연습 면접에 답변하는 제1 사용자의 영상 데이터를 이용하여 금지 행동이 탐지되었는지 여부를 판단할 수 있다. 가상 면접 제공 장치(100)는 제1 사용자로부터 고개를 기울이는 행동을 금지 행동으로 수신할 수 있고, 제1 사용자의 영상 데이터를 기초로 고개를 기울이는 행동이 존재하는지 여부를 실시간으로 판단할 수 있다. 가상 면접 제공 장치(100)는 제1 사용자의 영상 데이터를 실시간으로 분석하여 금지 행동이 존재하는 경우, 금지 행동이 탐지되었다고 판단할 수 있다.
이어서, 가상 면접 제공 장치(100)는 금지 감정, 금지 단어 또는 금지 행동이 탐지되었다고 판단한 경우, 제1 사용자에게 경고 알림을 표시한다(S208).
구체적으로, 가상 면접 제공 장치(100)는 금지 감정이 탐지되었다고 판단한 경우, 제1 사용자에게 금지 감정이 탐지되었다는 경고를 표시할 수 있다. 가상 면접 제공 장치(100)는 금지 감정의 정도를 산출할 수 있으며, 제1 사용자의 금지 감정의 정도가 특정 기준 이상일 경우, 제1 사용자에게 금지 감정이 탐지되었다는 경고 알람을 제공할 수 있다.
그리고, 가상 면접 제공 장치(100)는 제1 사용자의 음성 데이터를 실시간으로 문자로 변환한 문자 데이터에 금지 단어가 포함된 경우, 실시간으로 금지 단어의 탐지 사실을 저장하며, 제1 사용자에게 금지 단어가 탐지되었다는 경고 알람을 제공할 수 있다.
그리고, 가상 면접 제공 장치(100)는 제1 사용자의 영상 데이터를 실시간으로 분석하여 금지 행동이 탐지되었다고 판단한 경우, 금지 행동이 특정 기준 이상의 강도로 탐지된 경우에 제1 사용자에게 금지 행동이 탐지되었다는 경고 알람을 제공할 수 있다. 예를 들어, 제1 사용자의 금지 행동이 고개를 기울이는 행동인 경우, 제1 사용자가 특정 각도 이상으로 고개를 기울인 경우, 가상 면접 제공 장치(100)는 실시간으로 고개를 기울이는 행동이 탐지되었다는 경고 알람을 표시할 수 있다.
그리고, 가상 면접 제공 장치(100)는 금지 감정, 금지 단어 또는 금지 행동이 탐지되지 않았다고 판단한 경우, 제1 사용자의 답변이 종료되었는지 여부를 판단한다(S209). 가상 면접 제공 장치(100)는 제1 사용자의 가상 연습 면접의 질문에 대한 답변이 종료되었는지 여부를 판단할 수 있다. 구체적으로, 가상 면접 제공 장치(100)는 제1 사용자로부터 답변을 종료했다는 신호를 수신하거나, 제1 사용자의 답변이 특정 시간 이상 수신되지 않는 경우, 가상 연습 면접의 질문에 대한 답변이 종료되었다고 판단할 수 있다. 그러나, 이에 제한되는 것은 아니다.
그리고, 가상 면접 제공 장치(100)는 가상 연습 면접의 질문에 대한 답변이 종료되지 않았다고 판단한 경우, 계속적으로 제1 사용자의 답변을 수신하는 단계(S203)을 수행할 수 있다. 즉, 가상 면접 제공 장치(100)는 제1 사용자의 답변이 수신되는 경우, 지속적으로 제1 사용자의 답변을 수신하는 단계(S204), 실시간 음성 및 영상 인식을 통한 감정 분석 단계(S205), 제1 사용자의 감정 상태 실시간 표시 단계(S206), 금지 감정, 금지 단어, 금지 행동이 탐지되었는지 여부를 판단하는 단계(S207), 및 경고 알람 표시 단계(S208)를 수행할 수 있다.
그리고, 가상 면접 제공 장치(100)는 제1 사용자의 종료된 답변이 5번째 질문에 대한 답변이라고 판단한 경우, 가상 연습 면접을 종료하고 가상 연습 면접의 결과를 제1 사용자에게 제공한다(S212). 가상 면접 제공 장치(100)는 제1 사용자의 종료된 답변이 5번째 질문에 대한 답변이라고 판단한 경우, 가상 연습 면접의 모든 질문에 대한 답변이 수신되었다고 판단하며, 이에, 가상 연습 면접을 종료할 수 있다. 그리고, 가상 연습 면접의 제공 중 수신한 제1 사용자의 영상 데이터 및 음성 데이터, 제1 사용자의 감정 분석 데이터, 및 금지 감정, 금지 단어 또는 금지 행동의 탐지 여부에 대한 데이터를 기초로 가상 연습 면접에 대한 결과를 생성할 수 있다. 그리고, 제1 사용자에게 가상 연습 면접에 대한 결과를 제공할 수 있다.
도 4는 본 발명의 일 실시예에 따른 가상 면접 제공 방법을 설명하기 위한 순서도이다. 도 4의 순서도는 도 2의 가상 면접 제공 방법 중 가상 실전 면접 제공 단계(S150)를 구체화한 것이다. 설명의 편의를 위해 도 1 내지 도 3을 참조하여 설명한다.
도 4를 참조하면, 가상 면접 제공 장치(100)는 제1 사용자로부터 가상 실전 면접 페이지에 대한 접속 입력을 수신한다(S301). 가상 면접 제공 장치(100)는 제1 사용자로부터 가상 실전 면접 페이지에 대한 접속 입력을 수신할 수 있고, 이에, 제1 사용자에게 가상 실전 면접 페이지를 제공할 수 있다.
이어서, 가상 면접 제공 장치(100)는 제1 사용자의 가상 실전 면접을 시작하며, 가상 실전 면접의 질문을 표시한다(S302). 가상 면접 제공 장치(100)는 제1 사용자에게 복수의 가상 실전 면접의 질문을 제공할 수 있다. 가상 면접 제공 장치(100)는 복수의 가상 실전 면접의 질문을 순차적으로 제공할 수 있으며, 질문은 음성으로 제공되거나 가상 면접 제공 장치(100)의 표시부에 글의 형태로 제공될 수도 있다.
이어서, 가상 면접 제공 장치(100)는 제1 사용자로부터 가상 실전 면접의 질문에 대한 답변을 수신한다(S303). 가상 면접 제공 장치(100)는 카메라 또는 마이크를 통하여 제1 사용자로부터 질문에 대한 답변을 수신할 수 있다. 제1 사용자는 가상 실전 면접의 질문에 대한 답변을 말할 수 있고, 제1 사용자의 답변은 설치된 카메라 또는 마이크를 통하여 입력될 수 있다. 가상 면접 제공 장치(100)는 음성 데이터 또는 영상 데이터의 형태로 제1 사용자의 답변을 수신할 수 있다.
이이서, 가상 면접 제공 장치(100)는 실시간 음성 및 영상 인식을 통하여 제1 사용자의 감정을 분석한다(S304). 제1 사용자의 감정을 분석하는 단계(S304)는 도 3의 제1 사용자의 감정을 분석하는 단계(S205)와 실질적으로 동일한 바, 중복 설명은 생략한다.
이어서, 가상 면접 제공 장치(100)는 제1 사용자의 답변이 종료되었는지 여부를 판단한다(S305). 가상 면접 제공 장치(100)는 제1 사용자의 가상 실전 면접의 질문에 대한 답변이 종료되었는지 여부를 판단할 수 있다. 구체적으로, 가상 면접 제공 장치(100)는 제1 사용자로부터 답변을 종료했다는 신호를 수신하거나, 제1 사용자의 답변이 특정 시간 이상 수신되지 않는 경우, 가상 실전 면접의 질문에 대한 답변이 종료되었다고 판단할 수 있다. 그러나, 이에 제한되는 것은 아니다.
이어서, 가상 면접 제공 장치(100)는 가상 실전 면접의 질문에 대한 답변이 종료되지 않았다고 판단한 경우, 계속적으로 제1 사용자의 답변을 수신하는 단계(S303)을 수행할 수 있다. 즉, 가상 면접 제공 장치(100)는 제1 사용자의 답변이 수신되는 경우, 지속적으로 제1 사용자의 답변을 수신하는 단계(S303) 및 실시간 음성 및 영상 인식을 통한 감정 분석 단계(S304)를 수행할 수 있다.
이어서, 가상 면접 제공 장치(100)는 제1 사용자의 답변이 종료되었다고 판단한 경우, 제1 사용자의 감성 분석 결과와 음성 인식 결과를 저장할 수 있다. 구체적으로 가상 면접 제공 장치(100)는 가상 실전 면접 중 생성한 제1 사용자의 감정 분석 데이터와, 음성 데이터를 변환한 문자 데이터를 저장할 수 있다.
이어서, 가상 면접 제공 장치(100)는 종료된 답변이 5번째 질문에 대한 답변인지 여부를 판단한다(S210). 이어서, 가상 면접 제공 장치(100)는 제1 사용자의 종료된 답변이 5번째 질문에 대한 답변이 아니라고 판단한 경우, 제1 사용자로부터 가상 실전 면접에 대한 답변을 수신하는 단계(S303)를 계속적으로 수행할 수 있다.
이어서, 가상 면접 제공 장치(100)는 종료된 답변이 5번째 질문에 대한 답변이라고 판단한 경우, 음성 인식 결과를 이용하여 제1 사용자의 성향 분석 데이터를 생성하고 이를 제1 사용자에게 제공한다(S308) 성향 분석 데이터는 가상 실전 면접에 대한 제1 사용자의 면접 성향을 분석한 데이터를 의미한다. 구체적으로 가상 면접 제공 장치(100)는 가상 실전 면접의 질문에 대한 제1 사용자의 답변을 실시간 음성 인식 및 영상 인식에 의한 영상 데이터 및 음성 데이터로 수신한다. 그리고, 가상 면접 제공 장치(100)는 수신한 영상 데이터로부터 특정 시간 주기에 따른 제1 사용자의 얼굴 이미지를 추출할 수 있다. 그리고, 가상 면접 제공 장치(100)는 가상 실전 면접의 질문에 대한 제1 사용자의 답변의 음성 데이터로부터 문자 데이터를 생성할 수 있다.
그리고, 가상 면접 제공 장치(100)는 가상 면접 제공 장치(100)는 특정 시간 주기에 따라 추출한 복수의 얼굴 이미지 및 문자 데이터를 분석하여 제1 사용자의 성향 분석 데이터를 생성할 수 있다. 가상 면접 제공 장치(100)는 복수의 얼굴 이미지를 이용하여 제1 사용자의 감정 상태를 분석할 수 있으며, 분석한 제1 사용자의 감정 상태를 누적하여 감정 상태에 대한 데이터를 생성할 수 있다.
가상 면접 제공 장치(100)는 제1 사용자의 성향 분석 데이터로서 제1 사용자의 첫인상 데이터를 생성할 수 있다. 첫인상 데이터는 제1 사용자의 가상 실전 면접에서의 첫인상에 대한 정보를 의미할 수 있다. 구체적으로, 가상 면접 제공 장치(100)는 가상 실전 면접의 질문에 대한 제1 사용자의 답변이 시작되는 부분을 이용하여 첫인상 데이터를 생성할 수 있다. 예를 들면, 가상 면접 제공 장치(100)는 가상 실전 면접의 복수의 질문 중 첫번째 질문에 대한 제1 사용자의 답변에 있어 처음 3초 동안의 감정 상태 분석 데이터를 분석하여 제1 사용자의 행복한 정도를 추출할 수 있다. 그리고, 가상 면접 제공 장치(100)는 제1 사용자의 행복한 정도에 따라 제1 사용자의 첫인상 데이터를 생성하여 이를 제1 사용자에게 제공할 수 있다. 이때, 가상 면접 제공 장치(100)는 제1 사용자의 첫인상 데이터가 특정 값보다 작을 경우, 제1 사용자에게 첫인상을 개선하기 위하여 웃는 표정을 짓는 것을 조언한다는 피드백을 함께 제공할 수도 있다.
가상 면접 제공 장치(100)는 제1 사용자의 성향 분석 데이터로서 제1 사용자의 당황도 데이터를 생성할 수 있다. 당황도 데이터는 제1 사용자의 가상 실전 면접에서의 당황한 정도에 대한 정보를 의미할 수 있다. 구체적으로, 가상 면접 제공 장치(100)는 가상 실전 면접의 질문에 대한 제1 사용자의 답변이 시작되는 부분을 이용하여 당황도 데이터를 생성할 수 있다. 예를 들면, 가상 면접 제공 장치(100)는 가상 실전 면접의 질문에 대한 제1 사용자의 답변에 있어 처음 4초 동안의 행복한 감정 분석 데이터 및 중립 감정 분석 데이터를 분석하여 제1 사용자의 당황한 정도를 추출할 수 있다. 가상 면접 제공 장치(100)는 제1 사용자의 행복한 감정 분석 데이터 및 중립 감정 분석 데이터 값의 합이 특정 값보다 작을 경우, 제1 사용자가 질문에 당황했다고 판단할 수 있고, 제1 사용자에게 질문에 당황했다는 것을 숨길 수 있도록 피드백을 제공할 수 있다.
가상 면접 제공 장치(100)는 제1 사용자의 성향 분석 데이터로서 제1 사용자의 웃는 표정의 빈도 데이터를 생성할 수 있다. 웃는 표정의 빈도 데이터는 제1 사용자의 가상 실전 면접에서의 웃는 표정을 지은 정도에 대한 정보를 의미할 수 있다. 구체적으로, 가상 면접 제공 장치(100)는 가상 실전 면접의 질문에 대한 제1 사용자의 답변의 행복한 감정 분석 데이터의 평균값을 이용할 수 있다. 예를 들면, 가상 면접 제공 장치(100)는 제1 사용자의 가상 실전 면접의 질문에 대한 답변에 있어 전체적인 행복한 감정 분석 데이터의 평균값을 산출할 수 있고, 행복한 감정 데이터의 평균값이 특정값 이상인 빈도를 산출하여 웃는 표정의 빈도 데이터를 생성할 수 있다. 또한, 가상 면접 제공 장치(100)는 웃는 표정의 빈도가 절반 이하인 경우, 웃는 표정을 더욱 지을 것을 조언하는 피드백을 제1 사용자에게 제공할 수도 있다.
가상 면접 제공 장치(100)는 제1 사용자의 성향 분석 데이터로서 제1 사용자의 우울한 표정의 빈도 데이터를 생성할 수 있다. 우울한 표정의 빈도 데이터는 제1 사용자의 가상 실전 면접에서의 우울한 감정의 정도에 대한 정보를 의미할 수 있다. 구체적으로, 가상 면접 제공 장치(100)는 가상 실전 면접의 질문에 대한 제1 사용자의 답변의 슬픈 감정 분석 데이터의 평균값을 이용할 수 있다. 예를 들면, 가상 면접 제공 장치(100)는 제1 사용자의 가상 실전 면접의 질문에 대한 답변에 있어 전체적인 슬픈 감정 분석 데이터의 평균값을 산출할 수 있고, 슬픈 감정 데이터의 평균값이 특정값 이상인 빈도를 산출하여 우울한 표정의 빈도 데이터를 생성할 수 있다. 또한, 가상 면접 제공 장치(100)는 슬픈 감정의 빈도가 10% 이하인 경우, 웃는 표정을 더욱 지을 것을 조언하는 피드백을 제1 사용자에게 제공할 수도 있다.
가상 면접 제공 장치(100)가 제공하는 성향 분석 데이터의 종류는 이에 제한되지는 않는다.
본 발명의 일 실시예에 따른 가상 면접 제공 방법 및 이를 이용하는 장치(100)는 가상 연습 면접 및 이에 대한 결과를 제공함으로써, 제1 사용자에게 실시간 감정 분석 및 금지 감정, 금지 단어 또는 금지 행동의 탐지 여부를 제공할 수 있다. 구체적으로, 가상 면접 제공 장치(100)는 가상 연습 면접에 대한 제1 사용자의 이미 촬영된 영상을 분석하는 것이 아닌 실시간으로 제1 사용자의 영상 데이털르 분석하고, 실시간으로 제1 사용자의 감성을 분석하여 이를 표시할 수 있다. 그리고, 가상 면접 제공 장치(100)는 실시간으로 금지 감정, 금지 단어, 금지 행동의 탐지 여부를 판단하고 제1 사용자에게 탐지 여부를 제공할 수 있다. 따라서, 가상 면접 제공 장치(100)는 실시간으로 제1 사용자의 가상 연습 면접에 대한 피드백을 전달할 수 있으며, 제1 사용자가 실시간으로 감정을 조절할 수 있도록 할 수 있다.
또한, 본 발명의 일 실시예에 다른 가상 면접 제공 방법 및 이를 이용하는 장치(100)는 가상 연습 면접 및 가상 실전 면접을 제1 사용자에게 제공하고, 성향 분석 데이터를 제공함으로써 제1 사용자의 면접에 대한 객관적인 평가를 제공할 수 있다. 면접의 평가는 주관적인 평가가 반영될 수 있고, 이에, 객관적인 평가는 어려움이 존재한다. 주관적인 평가는 면접자에게 혼란을 야기할 수 있다. 따라서 가상 면접 제공 장치(100)는 객관적인 판단에 의한 성향 분석 데이터 및 피드백을 제1 사용자에게 제공함으로써, 보다 객관적인 면접의 평가를 제공할 수 있다.
그리고, 본 발명의 일 실시예에 따른 가상 면접 제공 방법 및 이를 이용하는 장치(100)는 인공지능 면접을 수행하는 기업의 면접을 준비하는 사용자에게 보다 객관적인 피드백을 제공할 수 있다. 가상 면접 제공 장치(100)는 실시간으로 제1 사용자의 감정을 분석하고 이에 따라 성향 분석 데이터 및 피드백을 제공할 수 있다. 이에, 실제 사람이 평가하는 것이 아닌 인공지능을 통하여 사용자를 평가하는 면접에 있어 보다 객관적인 가상 면접의 결과를 제공할 수 있다.
도 5는 본 발명의 다른 실시예에 따른 가상 면접 제공 방법을 설명하기 위한 순서도이다.
도 5를 참조하면, 먼저 제1 사용자는 가상 면접 제공 장치(500)로 하드웨어 점검 기능 요청을 전달한다(S510). 구체적으로, 제1 사용자는 가상 면접 제공 시스템에 로그인 후 가상 연습 면접 또는 가상 실전 면접을 진행하기 전에 마이크, 카메라 등의 하드웨어의 점검을 요청할 수 있다.
이어서, 가상 면접 제공 장치(500)는 제1 사용자의 마이크, 카메라의 권한을 요청한다(S520). 이어서, 제1 사용자는 제1 사용자의 마이크, 카메라의 권한을 허용하는 신호를 가상 면접 제공 장치(500)에 전달한다(S530). 이어서, 가상 면접 제공 장치(500)는 제1 사용자에게 하드웨어 점검을 확인한다(S540). 구체적으로, 가상 면접 제공 장치(500)가 제1 사용자에게 마이크 및 카메라에의 접근 권한을 요청하고, 이에 대응하여 제1 사용자가 접근을 허용할 수 있다. 가상 면접 제공 장치(500)는 마이크 및 카메라의 점검을 확인할 수 있다.
본 발명의 다른 실시예에 따른 가상 면접 제공 방법 및 이를 이용하는 장치(500)는 하드웨어 점검 기능의 요청에 따라 마이크 및 카메라등의 점검을 수행함으로써, 가상 면접 제공에 사용되는 하드웨어의 정상 동작 여부를 확인하고 이상 동작시, 이를 수정하여 보다 안정적으로 가상 면접을 제공할 수 있는 효과가 있다.
도 6은 본 발명의 또 다른 실시예에 따른 가상 면접 제공 방법을 설명하기 위한 순서도이다. 도 6의 가상 면접 제공 방법은 도 2의 가상 연습 면접 제공 단계(S140)을 구체화한 것이다.
도 6을 참조하면, 제1 사용자가 가상 면접 제공 시스템에 로그인 후 연습 면접 탭을 클릭하면 DB에서 랜덤으로 5개의 질문과 팁을 가져오고 연습 면접 페이지가 표시될 수 있다.
그리고, 가상 면접 제공 장치(600)는 getKey()를 통해 가상 면접 제공에 필요한 subscription Key를 가져올 수 있다. 이어서, 제1 사용자는 연습 면접에서 환경 설정을 통해 금지할 표정, 금지 단어를 입력할 수 있다.
이어서, 제1 사용자가 면접 시작 버튼을 누르면 질문이 가상 면접 제공 장치(600)의 화면에 표시되며, 가상 면접 제공 장치(600)는 startTick()을 통해 시간을 카운트 하며, startRecording()을 통해 영상 데이터를 추출하고, startSpeechToText()를 통해 실시간 음성 인식 및 Speech To Text 동작을 수행할 수 있다. 그리고, 가상 면접 제공 장치(600)는 StartDetectFace()를 통해 실시간 감정 분석을 수행할 수 있다.
이어서, 가상 면접 제공 장치(600)는 StartDetectFace()를 통해 0.5초 단위로 영상 데이터에서 이미지를 추출하여 Blob 형태로 변환한 뒤 POST 방식으로 감정 분석을 요청하는 processImage(blob)을 호출할 수 있다.
이어서, 가상 면접 제공 장치(600)는 processImage(blob)를 통해 blob 형태의 이미지 파일을 POST방식으로 요청하고 JSON형식으로 감정 분석 결과 데이터를 돌려 받을 수 있다.
가상 면접 제공 장치(600)는 감정 분석 결과 데이터를 돌려 받으면, 돌려 받은 감정 분석 데이터 값을 활용해 실시간 감정 상태를 이모티콘으로 나타내는 각 감정별로 함수를 호출할 수 있다. 만약, 감정 분석 데이터 결과가 에러 메세지를 포함하고 있을 경우, 가상 면접 제공 장치(600)는 errorToast()를 호출하여 얼굴 인식이 실패했다는 알람을 제공할 수 있다.
가상 면접 제공 장치(600)는 금지 표정으로 설정한 감정 결과 값이 설정한 Threshold 이상 일 때, banEmotionToast()를 호출하여 해당 금지 감정이 탐지되었다는 것에 대한 경고 알람을 제공할 수 있다.
그리고, 가상 면접 제공 장치(600)는 고개 기울기에 대한 결과 값이 Threshold 이상 일 때, banPoseToast()를 호출하여 고개가 기울어졌다는 것에 대한 경고 알람을 제공할 수 있다.
또한, 가상 면접 제공 장치(600)는 금지 단어로 설정한 단어가 startSpeechToText()를 통해 탐지될 경우, banWordToast()를 호출하여 해당 금지 단어가 탐지되었다는 것에 대한 경고 알람을 제공할 수 있다.
제1 사용자가 질문에 대한 답변을 마치고 답변 종료 버튼을 누르면 가상 면접 제공 장치(600)는 stopTick()을 통해 시간 카운트를 정지하고, stopRecording()을 통해 영상 데이터의 추출을 중지하며, stopSpeechToText()를 통해 실시간 음성 인식 및 Speech To Text를 중지할 수 있다. 그리고 가상 면접 제공 장치(600)는 StopDetectFace()를 통해 실시간 감정 분석을 중지하고, tipToast(questionCount)를 통해 면접 팁을 표시한 후, 답변 횟수를 뜻하는 questionCount값이 1 증가가 이루어질 경우 해당 질문에 대한 연습을 종료할 수 있다. 그리고, 가상 면접 제공 장치(600)는 questionCount가 5일 경우, 연습 면접이 종료되고 연습 결과를 제1 사용자에게 제공할 수 있다.
도 7은 본 발명의 또 다른 실시예에 따른 가상 면접 제공 방법을 설명하기 위한 순서도이다. 도 7의 가상 면접 제공 방법은 도 2의 가상 실전 면접 제공 단계(S150)을 구체화한 것이다.
제1 사용자가 AI Interview Simulator 웹사이트에서 로그인 후 실전 면접 탭을 클릭하면 가상 면접 제공 장치(700)는 랜덤으로 5개의 질문을 가져오고 실전 면접 페이지를 제1 사용자에게 제공할 수 있다.
이어서, 가상 면접 제공 장치(700)는 getKey()를 통해 subscription Key를 가져올 수 있다. 그리고, 제1 사용자가 면접 시작 버튼을 누르면 가상 면접 제공 장치(700)는 btnShow()를 통해 질문이 화면에 5초동안 표시되도록 하며, btnHide()를 통해 질문을 화면에서 사라지게 한다. 그리고 가상 면접 제공 장치(700)는 startTick()을 통해 시간을 카운트하며, startRecording()을 통해 영상 데이터를 추출한다. 그리고 가상 면접 제공 장치(700)는 startSpeechToText()를 통해 실시간 음성 인식 및 Speech To Text 동작을 수행하고, StartDetectFace()를 통해 실시간 감정 분석을 수행할 수 있다.
그리고, 가상 면접 제공 장치(700)는 StartDetectFace()를 이용하여 1초 단위로 영상 데이터에서 이미지를 추출하여, Blob 형태로 변환한 뒤 processImage(blob)을 호출할 수 있다.
그리고, 가상 면접 제공 장치(700)는 processImage(blob)를 통해 blob 형태의 이미지 파일을 POST방식으로 요청하고 감정 분석 결과 데이터를 전달 받아 변수에 저장할 수 있다.
그리고, 가상 면접 제공 장치(700) 제1 사용자가 질문에 대한 답변을 마치고 답변 종료 버튼을 누르면, stopTick()을 통해 시간 카운트를 정지하고, StopDetectFace()를 통해 실시간 감정 분석을 중지하며, 답변 횟수를 뜻하는 questionCount값이 1 증가가 이루어지고 난 후 음성 입력이 다시 들어오도록 대기 시간을 3초 가진다. 그 후, 가상 면접 제공 장치(700)는 stopRecording()을 통해 영상 데이터 추출을 중지하고, stopSpeechToText()를 통해 실시간 음성 인식 및 Speech To Text 중지하며, 해당 질문에 대한 답변을 종료할 수 있다.
이어서, 가상 면접 제공 장치(700)는 stopRecording()와 setData()를 호출하고, setData()를 통해 변수에 저장된 감정 분석 값과 음성 인식 결과 데이터, 질문 정보 데이터를 formData 형식으로 생성 및 할당하고 uploadToServer(formData)를 호출할 수 있다. 이어서, 가상 면접 제공 장치(700)는 uploadToServer(formData)를 통해 POST 형식으로 새로운 질문에 대한 답변을 formData 데이터로서 저장하는 요청을 보낼 수 있다.
가상 면접 제공 장치(700)는 questionCount값이 5일 경우, 모든 답변 내용을 종합해 성향 분석의 결과값을 저장되고 실전 면접을 종료한다. 가상 면접 제공 장치(700)는 questionCount값이 1 이상 5 미만일 때 페이지를 종료할 경우, 서버에 POST 형식으로 면접의 모든 질문에 대한 답변 데이터 삭제를 요청할 수 있다.
한편, 가상 면접 제공 장치는 제1 사용자에게 면접 전문가의 매칭을 제공할 수 있다. 구체적으로, 가상 면접 제공 장치는 제1 사용자가 가상 실전 면접을 진행할 경우, 가상 실전 면접의 진행 결과 데이터를 저장하며, 저장된 가상 실전 면접 진행 결과 데이터를 이용하여 면접 전문가를 제1 사용자에게 매칭할 수 있다. 즉, 제1 사용자가 더 자세한 분석결과나 분석 결과 해설, 직접 면접 코칭을 받기를 원하는 경우, 가상 면접 제공 장치는 등록되어 있는 전문 면접 컨설턴트를 제1 사용자와 매칭할 수 있다.
한편, 가상 면접 제공 장치는 제1 사용자의 가상 실전 면접에 대한 영상 데이터를 이용하여 실제 면접에 대리 응시할 수 있다. 구체적으로, 가상 면접 제공 장치는 제1 사용자의 가살 실전 면접에 대한 영상 데이터를 저장할 수 있고, 제1 사용자가 저장된 영상 데이터 중 일부를 선택하여 실제 면접에 대리 응시할 것을 요청한 경우, 가상 면접 제공 장치는 선택된 영상 데이터를 이용하여 제1 사용자를 실제 회사의 면접에 영상 데이터를 전달할 수 있다. 이에, 실제 회사의 채용 담당자는 제1 사용자의 영상 데이터를 이용하여 제1 사용자의 채용 여부를 결정할 수 있다.
도 8은 본 발명의 일 실시예에 따른 가상 면접 제공 방법의 UI(User Interface)의 개략도이다. 도 8의 UI는 도 1 내지 도 7의 가상 면접 제공 장치(800)의 제1 사용자에게 제공하는 화면의 UI이다. 설명의 편의를 위하여 도 1 내지 도 7을 참조하여 설명한다.
도 8을 참조하면, 가상 면접 제공 장치(800)의 표시 화면은 가상 면접 제공 장치의 가상 연습 면접의 수행 단계의 표시 화면이다. 가상 연습 면접의 표시 화면은 질문 표시 영역(810), 면접 화상 표시 영역(820) 및 실시간 감정 표시 영역(830)을 포함한다. 질문 표시 영역(810)은 가상 연습 면접의 질문을 표시하는 영역을 의미한다. 구체적으로, 질문 표시 영역(810)에는 가상 연습 면접의 진행중인 질문이 표시될 수 있으며, 예를 들면, 첫번? 질문으로서 '프로젝트를 진행하면서 겪은 문제점을 말해보세요'라는 질문이 표시될 수 있다.
면접 화상 표시 영역(820)은 제1 사용자의 실시간 화상이 표시되는 영역을 의미한다. 구체적으로 제1 사용자의 얼굴은 카메라 등을 이용하여 가상 면접 제공 장치(800)에 전달될 수 있고, 제1 사용자의 얼굴은 실시간으로 면접 화상 표시 영역(820)에 표시될 수 있다. 이에, 제1 사용자는 가상 연습 면접이 진행되는 동안 제1 사용자 자신의 얼굴을 면접 화상 표시 영역(820)에서 확인할 수 있다.
그리고, 실시간 감정 표시 영역(830)은 제1 사용자의 가상 연습 면접의 진행 동안의 실시간 감정이 표시되는 영역이다. 실시간 감정 표시 영역(830)에는 제1 사용자의 가능한 감정이 이모티콘의 형태로 표시될 수 있다. 예를 들면, 실시간 감정 표시 영역(830)에는 분노, 경멸, ?음, 공포, 행복, 중립, 슬픔, 놀람의 감정 이모티콘이 표시될 수 있고, 실시간으로 인식된 제1 사용자의 감정이 강조 표시될 수 있다. 이에, 제1 사용자는 실시간으로 가상 연습 면접을 진행하는 동안의 자신의 감정을 확인할 수 있다.
도 9는 본 발명의 일 실시예에 따른 가상 면접 제공 방법의 UI(User Interface)의 개략도이다. 도 9의 UI는 도 8의 가상 면접 제공 장치(900)의 표시 화면에서 감정 및 금지 단어 환경 설정 화면이 더 표시된 UI이다. 설명의 편의를 위해 도 1 내지 도 8을 참조하여 설명한다.
도 9를 참조하면, 가상 면접 제공 장치(900)의 표시 화면은 감정 및 금지 단어 환경 설정 화면을 더 표시할 수 있다. 감정 및 금지 단어 환경 설정 화면은 제1 사용자로부터 금지 감정 및 금지 단어에 대한 설정을 수신하기 위한 화면을 의미한다.
구체적으로, 감정 및 금지 단어 환경 설정 화면은 금지 감정 설정 영역(910) 및 금지 단어 설정 영역(920)을 포함한다. 금지 감정 설정 영역(910)은 제1 사용자로부터 가상 연습 면접의 진행 중 금지되어야 할 감정에 대한 선택을 수신할 수 있는 영역을 의미한다. 제1 사용자는 금지 감정 설정 영역(910)에서 금지되어야 할 감정을 선택할 수 있고, 예를 들면, 도 9에 도시된 것과 같이 분노 감정과 싫음 감정을 금지 감정으로 선택할 수 있다.
그리고, 금지 단어 설정 영역(920)은 제1 사용자로부터 가상 연습 면접의 진행 중 금지되어야 할 단어에 대한 선택을 수신할 수 있는 영역을 의미한다. 제1 사용자는 금지 단어 설정 영역(920)에서 금지되어야 할 단어를 선택할 수 있고, 예를 들면, 도 9에 도시된 것과 같이 '저기', '사실' 및 '아니'를 금지 단어로 설정할 수 있다.
도 10은 본 발명의 일 실시예에 따른 가상 면접 제공 방법의 UI(User Interface)의 개략도이다. 도 10의 UI는 도 1 내지 도 4의 가상 면접 제공 장치(100)가 제1 사용자에게 제공하는 종합 분석 결과 화면에 대한 UI이다.
도 10을 참조하면, 가상 면접 제공 장치(100)는 제1 사용자에게 종합 분석 결과 화면을 제공할 수 있다. 종합 분석 결과 화면은 가상 연습 면접 및 가상 실전 면접에 대한 데이터를 분석한 종합적인 결과를 제공하는 화면을 의미한다. 구체적으로, 종합 분석 결과 화면은 총 면접 시간, 길게 답변한 질문에 대한 시간, 가장 짧게 답변한 질문에 대한 시간이 포함될 수 있다. 예를 들면, 도 10에 도시된 것과 같이, 총 면접 시간은 3분 46초 이며, 가장 길게 답변한 질문은 52초 동안 답변했으며, 가장 짧게 답변한 질문은 40초 동안 답변했다는 것을 표시할 수 있다.
그리고, 가상 면접 제공 장치(100)는 종합 분석 결과 화면에 출체된 문제를 모두 표시할 수 있다. 구체적으로 종합 분석 결과 화면은 가상 면접 동안 제1 사용자에게 제공한 질문으로서 도 10에 도시된 것과 같이 질문 1 내지 질문 5의 구체적인 내용을 표시할 수 있다.
그리고, 가상 면접 제공 장치(100)는 종합 분석 결과 화면에 제1 사용자의 감정 빈도 및 단어 빈도를 표시할 수 있다. 구체적으로, 감정 빈도는 가상 면접의 진행 중 산출된 제1 사용자의 감정 중 빈도가 높은 감정을 의미한다. 예를 들면, 감정 빈도는 1위부터 3위까지의 높은 빈도의 감정이 포함될 수 있고, 도 10에 도시된 것과 같이 1위로서 '중립', 2위로서 '행복', 3위로서 '놀람'의 감정이 표시될 수 있다.
그리고, 단어 빈도는 가상 면접의 진행 중 산출된 제1 사용자가 사용한 단어 중 빈도가 높은 단어를 의미한다. 예를 들면, 단어 빈도는 1위부터 3위까지의 높은 빈도로 사용된 단어가 포함될 수 있고, 도 10에 도시된 것과 같이 1위로서 '생각', 2위로서 '영화', 3위로서 '것'의 단어가 표시될 수 있다.
도 11은 본 발명의 일 실시예에 따른 가상 면접 제공 방법의 UI(User Interface)의 개략도이다. 도 11의 UI는 도 1 내지 도 4의 가상 면접 제공 장치(100)가 제1 사용자에게 제공하는 감정 분석 상세 결과 화면에 대한 UI이다.
도 11을 참조하면, 가상 면접 제공 장치(100)는 제1 사용자의 가상 면접에 대한 데이터를 이용하여 제1 사용자의 감정을 분석한 상세 결과를 감정 분석 상세 결과 화면에 표시할 수 있다. 구체적으로 감정 분석 상세 결과 화면에는 감정 변화 추이 그래프(1110) 및 감정 빈도 그래프(1120)이 표시된다.
감정 변화 추이 그래프(1110)는 가상 면접이 진행되는 동안 제1 사용자의 감정의 변화를 시간을 기준으로 나타낸 그래프를 의미한다. 구체적으로, 제1 사용자의 감정의 정도는 시간 가로 축을 기준으로 0에서 1로 표현될 수 있다. 예를 들면, 도 11에 도시된 것과 같이 감정 변화 추이 그래프는 화남, 경멸, 역겨움, 공포, 행복, 중립, 슬픔, 놀람 각각에 대한 감정의 시간에 따른 변화를 표시할 수 있다.
그리고, 도 11을 참조하면, 감정 빈도 그래프(1120)는 가상 면접이 진행되는 전체 시간 동안 제1 사용자의 감정의 빈도를 원그래프를 이용하여 표시할 수 있다. 예를 들면, 도 11에 도시된 것과 같이, 감정 빈도 그래프(1120)는 제1 사용자의 가상 면접 중의 감정 중 행복한 감정이 65%의 빈도를 차지하며, 중립의 감정이 35%의 빈도를 차지한다는 것을 원그래프를 이용하여 표시할 수 있다.
도 12는 본 발명의 일 실시예에 따른 가상 면접 제공 방법의 UI(User Interface)의 개략도이다. 도 12의 UI는 도 1 내지 도 4의 가상 면접 제공 장치(100)가 제1 사용자의 성향 분석 상세 결과를 제1 사용자에게 제공하는 화면에 대한 UI이다.
도 12를 참조하면, 가상 면접 제공 장치(100)는 제1 사용자의 가상 면접에 대한 성향 분석 데이터를 성향 분석 상세 결과창에 표시할 수 있다. 구체적으로, 성향 분석 상세 결과 창은 결과 수치 영역(1210) 및 성향 분석 영역(1220)을 포함한다.
도 12를 참조하면, 결과 수치 영역(1210)은 제1 사용자의 가상 면접에 대한 데이터를 이용하여 분석한 제1 사용자의 성향에 대한 데이터를 표시한 영역을 의미한다. 결과 수치 영역(1210)은 각각의 성향에 대하여 제1 사용자가 가상 면접 동안 보인 정도를 수치로 환산하여 표시한다. 예를 들면, 결과 수치 영역(1210)은 제1 사용자의 성향 중 개방성, 성실성, 외향성, 친화성 등의 성향 각각의 정도를 백분위를 기준으로 수치화하여 표시할 수 있다.
그리고, 성향 분석 영역(1220)은 제1 사용자의 가상 면접에 대한 데이터를 이용하여 분석한 성향에 대한 데이터를 기초로 제1 사용자의 성향을 분석한 문장이 표시되는 영역을 의미한다. 성향 분석 영역(1220)은 제1 사용자의 가장 높은 백분위 점수인 성향을 풀이하여 제1 사용자의 가상 면접 진행 동안의 주요한 성향에 대한 설명을 표시할 수 있다. 그리고, 성향 분석 영역(1220)은 제1 사용자의 주요한 성향을 기초로 제1 사용자에게 필요한 조언을 표시할 수 있다.
본 명세서에서, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또한, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서에 의해 실행되는 하드웨어, 소프트웨어 모듈 또는 그 2 개의 결합으로 직접 구현될 수도 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM 또는 당업계에 알려진 임의의 다른 형태의 저장 매체에 상주할 수도 있다. 예시적인 저장 매체는 프로세서에 커플링되며, 그 프로세서는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시 될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시 적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100, 500, 600, 700, 800, 900: 가상 면접 제공 장치
810: 질문 표시 영역
820: 면접 화상 표시 영역
830: 실시간 감정 표시 영역
910: 금지 감정 설정 영역
920: 금지 단어 설정 영역
1110: 감정 변화 추이 그래프
1120: 감정 빈도 그래프
1210: 결과 수치 영역
1220: 성향 분석 영역
810: 질문 표시 영역
820: 면접 화상 표시 영역
830: 실시간 감정 표시 영역
910: 금지 감정 설정 영역
920: 금지 단어 설정 영역
1110: 감정 변화 추이 그래프
1120: 감정 빈도 그래프
1210: 결과 수치 영역
1220: 성향 분석 영역
Claims (9)
- 프로세서에 의해 구현되는 가상 면접 제공 방법으로서,
상기 사용자로부터 진행하고자 하는 가상 면접에 대한 선택을 수신하는 단계;
선택된 상기 가상 면접에 대한 사전 정보를 입력 받는 단계;
상기 사전 정보에 기초하여 구현된 가상 면접을 제공하는 단계;
상기 사용자로부터 상기 가상 면접에 대한 답변을 수신하는 단계;
상기 답변을 분석하는 단계, 및
상기 사용자에게 상기 분석에 대한 결과를 제공하는 단계를 포함하는, 가상 면접 제공 방법. - 제1항에 있어서,
상기 가상 면접을 제공하는 단계는,
상기 사용자에게, 미리 결정된 질의를 제공하는 단계를 포함하고,
상기 가상 면접에 대한 답변을 수신하는 단계는,
상기 사용자의 영상 데이터 또는 음성 데이터를 수신하는 단계를 포함하고,
상기 답변을 분석하는 단계는,
상기 영상 데이터 또는 상기 음성 데이터에 대한 분석을 수행하는 단계를 포함하는, 가상 면접 제공 방법. - 제2항에 있어서,
상기 가상 면접에 대한 답변을 수신하는 단계는,
상기 사용자의 영상 데이터를 수신하는 단계를 포함하고,
상기 답변을 분석하는 단계는,
기저장된 사용자에 대한 사진 또는 영상, 및 상기 영상 데이터에 기초하여 상기 사용자의 행동 분석, 표정 분석, 및 감정 분석 중 적어도 하나의 분석을 수행하는 단계를 포함하는, 가상 면접 제공 방법. - 제2항에 있어서,
상기 가상 면접에 대한 답변을 수신하는 단계는,
상기 사용자의 음성 데이터를 수신하는 단계를 포함하고,
상기 답변을 분석하는 단계는,
상기 음성 데이터를 문자 데이터로 변환하는 단계, 및
상기 문자 데이터에 대하여, 기저장된 금지 단어가 있는지 여부를 판단하는 단계를 포함하는, 가상 면접 제공 방법. - 제1항에 있어서,
상기 가상 면접을 제공하는 단계는,
미리 결정된 가상 연습 면접 및 가상 실전 면접을 각각 순차적으로 제공하는 단계를 포함하고,
상기 가상 면접에 대한 답변을 수신하는 단계는,
상기 가상 연습 면접 및 가상 실전 면접 각각에 대한 사용자의 답변을 수신하는 단계를 포함하고,
상기 답변을 분석하는 단계는,
상기 가상 연습 면접 및 상기 가상 실전 면접 각각에 대한, 상기 사용자의 감정 및 성향을 각각 분석하는 단계, 및
상기 감정 및 성향을 기초로 종합 분석 결과를 생성하는 단계를 포함하고,
상기 분석에 대한 결과를 제공하는 단계는,
상기 종합 분석 결과를 제공하는 단계를 포함하는, 가상 면접 제공 방법. - 제1항에 있어서,
상기 사전 정보는, 금지 행동, 금지 표정, 금지 감정, 및 금지 단어 중 적어도 하나이고,
상기 방법은,
상기 가상 면접에 대한 답변을 수신하는 단계가 수행되는 중에,
상기 사전 정보가 감지될 경우, 상기 사용자에게 경고 알림을 제공하는 단계를 더 포함하는, 가상 면접 제공 방법. - 제1항에 있어서,
상기 가상 면접을 제공하는 단계는,
복수의 가상 면접 질문을 음성 또는 문자 형태로 제공하는 단계를 포함하는, 가상 면접 제공 방법. - 제7항에 있어서,
상기 사용자는,
제1 사용자 및 상기 제1 사용자와 상이한 제2 사용자를 포함하고,
상기 가상 면접을 제공하는 단계 이전에,
상기 제2 사용자로부터 상기 복수의 가상 면접 질문에 대한 생성 입력, 수정 입력 및 삭제 입력 중 적어도 하나의 입력를 수신하는 단계, 및
상기 적어도 하나의 입력에 기초하여 상기 복수의 가상 면접 질문을 재구성하는 단계를 더 포함하고,
상기 가상 면접을 제공하는 단계는,
재구성된 상기 복수의 가상 면접 질문을 상기 제1 사용자에게 음성 또는 문자 형태로 제공하는 단계를 포함하는, 가상 면접 제공 방법. - 상기 사용자로부터 진행하고자 하는 가상 면접에 대한 선택을 수신하도록 구성된 수신부;
선택된 상기 가상 면접에 대한 사전 정보를 입력 받도록 구성된 입력부;
상기 사전 정보에 기초하여 구현된 가상 면접을 제공하도록 구성된 출력부, 및
상기 수신부와 연결된 프로세서를 포함하고,
상기 수신부는, 상기 사용자로부터 상기 가상 면접에 대한 답변을 수신하도록 더 구성되고,
상기 프로세서는, 상기 사전 정보에 기초하여 가상 면접을 생성하고, 수신된 상기 답변을 분석하도록 구성되고,
상기 출력부는 상기 사용자에게 상기 분석에 대한 결과를 제공하도록 더 구성된, 가상 면접 제공용 디바이스.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180082994A KR102187125B1 (ko) | 2018-07-17 | 2018-07-17 | 가상 면접 제공 방법 및 이를 이용하는 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180082994A KR102187125B1 (ko) | 2018-07-17 | 2018-07-17 | 가상 면접 제공 방법 및 이를 이용하는 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200008838A true KR20200008838A (ko) | 2020-01-29 |
| KR102187125B1 KR102187125B1 (ko) | 2020-12-04 |
Family
ID=69322472
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180082994A KR102187125B1 (ko) | 2018-07-17 | 2018-07-17 | 가상 면접 제공 방법 및 이를 이용하는 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102187125B1 (ko) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102173821B1 (ko) * | 2020-02-26 | 2020-11-03 | 주식회사 진언스피치커뮤니케이션그룹 | 스피치 훈련 시스템 |
| KR102257427B1 (ko) * | 2021-01-29 | 2021-06-01 | 전다정 | 실시간 감정분석이 가능한 심리 상담 시스템 및 그 방법 |
| KR20210109704A (ko) * | 2020-02-27 | 2021-09-07 | 주식회사 제네시스랩 | 기계학습 모델을 이용하여 복수의 프레임으로부터 특징정보를 도출하는 시스템, 방법, 컴퓨터 판독가능매체, 및 면접준비 서비스를 제공하는 방법 |
| KR20220004288A (ko) * | 2020-07-03 | 2022-01-11 | 주식회사 스마트크리에이터 | Vr을 이용한 강의력 향상 시스템 |
| KR20220007189A (ko) * | 2020-07-10 | 2022-01-18 | 주식회사 제네시스랩 | 기계학습모델을 이용하여 면접영상에 대한 자동화된 평가를 제공하는 방법, 시스템 및 컴퓨터-판독가능 매체 |
| US11436934B2 (en) | 2020-07-08 | 2022-09-06 | Inquiry Technologies, LLC | Systems and methods for providing a dialog assessment platform |
| WO2023038125A1 (ja) * | 2021-09-09 | 2023-03-16 | 株式会社Zenkigen | フィードバック装置及びプログラム |
| KR102599466B1 (ko) * | 2022-06-16 | 2023-11-07 | 주식회사 학토재 | 메타버스 기반의 토의토론 학습 서비스 시스템 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040014123A (ko) * | 2002-08-06 | 2004-02-14 | 윤재민 | 가상인격체의 감정표현과 동작구현 시스템 및 그 방법 |
| KR20140004515A (ko) * | 2012-07-03 | 2014-01-13 | 삼성전자주식회사 | 디스플레이 장치, 대화형 시스템 및 응답 정보 제공 방법 |
| KR20170066920A (ko) * | 2015-12-07 | 2017-06-15 | (주)스펙업애드 | 모바일 기반 모의 면접 방법 및 시스템 |
| KR101747712B1 (ko) | 2016-04-22 | 2017-06-16 | 동서대학교산학협력단 | 스마트폰을 통한 면접 자동인식 실시간관리방법 |
| KR20170070773A (ko) * | 2015-12-14 | 2017-06-22 | (주)스펙업애드 | 입체영상을 이용한 가상 모의면접방법 및 시스템 |
-
2018
- 2018-07-17 KR KR1020180082994A patent/KR102187125B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040014123A (ko) * | 2002-08-06 | 2004-02-14 | 윤재민 | 가상인격체의 감정표현과 동작구현 시스템 및 그 방법 |
| KR20140004515A (ko) * | 2012-07-03 | 2014-01-13 | 삼성전자주식회사 | 디스플레이 장치, 대화형 시스템 및 응답 정보 제공 방법 |
| KR20170066920A (ko) * | 2015-12-07 | 2017-06-15 | (주)스펙업애드 | 모바일 기반 모의 면접 방법 및 시스템 |
| KR20170070773A (ko) * | 2015-12-14 | 2017-06-22 | (주)스펙업애드 | 입체영상을 이용한 가상 모의면접방법 및 시스템 |
| KR101747712B1 (ko) | 2016-04-22 | 2017-06-16 | 동서대학교산학협력단 | 스마트폰을 통한 면접 자동인식 실시간관리방법 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102173821B1 (ko) * | 2020-02-26 | 2020-11-03 | 주식회사 진언스피치커뮤니케이션그룹 | 스피치 훈련 시스템 |
| KR20210109704A (ko) * | 2020-02-27 | 2021-09-07 | 주식회사 제네시스랩 | 기계학습 모델을 이용하여 복수의 프레임으로부터 특징정보를 도출하는 시스템, 방법, 컴퓨터 판독가능매체, 및 면접준비 서비스를 제공하는 방법 |
| KR20220004288A (ko) * | 2020-07-03 | 2022-01-11 | 주식회사 스마트크리에이터 | Vr을 이용한 강의력 향상 시스템 |
| US11436934B2 (en) | 2020-07-08 | 2022-09-06 | Inquiry Technologies, LLC | Systems and methods for providing a dialog assessment platform |
| KR20220007189A (ko) * | 2020-07-10 | 2022-01-18 | 주식회사 제네시스랩 | 기계학습모델을 이용하여 면접영상에 대한 자동화된 평가를 제공하는 방법, 시스템 및 컴퓨터-판독가능 매체 |
| KR102257427B1 (ko) * | 2021-01-29 | 2021-06-01 | 전다정 | 실시간 감정분석이 가능한 심리 상담 시스템 및 그 방법 |
| WO2023038125A1 (ja) * | 2021-09-09 | 2023-03-16 | 株式会社Zenkigen | フィードバック装置及びプログラム |
| KR102599466B1 (ko) * | 2022-06-16 | 2023-11-07 | 주식회사 학토재 | 메타버스 기반의 토의토론 학습 서비스 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102187125B1 (ko) | 2020-12-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102187125B1 (ko) | 가상 면접 제공 방법 및 이를 이용하는 장치 | |
| US10628571B2 (en) | Systems and methods for high fidelity multi-modal out-of-band biometric authentication with human cross-checking | |
| CN115413348B (zh) | 用于自动验证和量化面试问题回答的系统和方法 | |
| JP2005235142A (ja) | ユーザ間親密度測定システム及びユーザ間親密度測定プログラム | |
| JP7123856B2 (ja) | プレゼンテーションを評価するシステム、方法、学習済みモデル及びプログラム、情報処理装置並びに端末装置 | |
| WO2022064621A1 (ja) | ビデオミーティング評価システム及びビデオミーティング評価サーバ | |
| JP2023097789A (ja) | ビデオ会議分析システムおよびビデオ会議分析プログラム | |
| CN111741250A (zh) | 视频对话场景的参与度分析方法、装置、设备及存储介质 | |
| WO2022137502A1 (ja) | ビデオミーティング評価端末、ビデオミーティング評価システム及びビデオミーティング評価プログラム | |
| WO2022145041A1 (ja) | ビデオミーティング評価端末、ビデオミーティング評価システム及びビデオミーティング評価プログラム | |
| WO2022145039A1 (ja) | ビデオミーティング評価端末、ビデオミーティング評価システム及びビデオミーティング評価プログラム | |
| WO2022145038A1 (ja) | ビデオミーティング評価端末、ビデオミーティング評価システム及びビデオミーティング評価プログラム | |
| WO2022145043A1 (ja) | ビデオミーティング評価端末、ビデオミーティング評価システム及びビデオミーティング評価プログラム | |
| WO2020256108A1 (ja) | 一人ひとりの相手に対する最適なコミュニケーションの仕方についてアドバイスを提供するコンピュータシステム、プログラム、方法 | |
| WO2022145042A1 (ja) | ビデオミーティング評価端末、ビデオミーティング評価システム及びビデオミーティング評価プログラム | |
| WO2022145040A1 (ja) | ビデオミーティング評価端末、ビデオミーティング評価システム及びビデオミーティング評価プログラム | |
| WO2022145044A1 (ja) | 反応通知システム | |
| WO2022064622A1 (ja) | 感情解析システム | |
| WO2022074785A1 (ja) | ビデオミーティング評価端末、ビデオミーティング評価システム及びビデオミーティング評価プログラム | |
| WO2022064620A1 (ja) | ビデオミーティング評価システム及びビデオミーティング評価サーバ | |
| JP7253371B2 (ja) | 抽出プログラム、抽出方法、および、抽出装置 | |
| JP7123028B2 (ja) | 情報処理システム、情報処理方法、及びプログラム | |
| WO2022113248A1 (ja) | ビデオミーティング評価端末及びビデオミーティング評価方法 | |
| WO2022064619A1 (ja) | ビデオミーティング評価システム及びビデオミーティング評価サーバ | |
| CN115956910A (zh) | 信息处理装置以及程序 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| AMND | Amendment | ||
| A302 | Request for accelerated examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |