KR20230051021A - 학습을 보조하기 위한 방법 및 장치 - Google Patents

학습을 보조하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20230051021A
KR20230051021A KR1020210158752A KR20210158752A KR20230051021A KR 20230051021 A KR20230051021 A KR 20230051021A KR 1020210158752 A KR1020210158752 A KR 1020210158752A KR 20210158752 A KR20210158752 A KR 20210158752A KR 20230051021 A KR20230051021 A KR 20230051021A
Authority
KR
South Korea
Prior art keywords
lecture
page
information
neural network
scene
Prior art date
Application number
KR1020210158752A
Other languages
English (en)
Inventor
정재일
박찬종
반동하
장준익
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP22878821.2A priority Critical patent/EP4358010A1/en
Priority to PCT/KR2022/014747 priority patent/WO2023059000A1/ko
Priority to US18/081,092 priority patent/US20230109737A1/en
Publication of KR20230051021A publication Critical patent/KR20230051021A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G06Q50/2057—Career enhancement or continuing education service
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G06F16/7328—Query by example, e.g. a complete video frame or video sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Technology (AREA)
  • Databases & Information Systems (AREA)
  • Educational Administration (AREA)
  • Human Resources & Organizations (AREA)
  • Library & Information Science (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

전자 장치를 이용한 학습 보조 방법이 개시된다. 상기 방법은 강의 자료를 수신하는 단계; 문서에 포함된 페이지들을 서로 구분하도록 학습된 제1 신경망을 이용하여, 강의 자료에 포함된 페이지들에 대응하는 제1 특징 벡터들을 생성하는 단계; 강의 자료에 기초한 강의 장면을 포함하는 입력 영상을 수신하는 단계; 제2 신경망을 이용하여, 강의 장면에 대응하는 제2 특징 벡터를 생성하는 단계; 및 제2 특징 벡터와 제1 특징 벡터들 사이의 유사도에 기초하여 강의 자료에 포함된 페이지들 중 강의 장면에 대응하는 페이지를 지시하는 출력 페이지 정보를 결정하는 단계를 포함할 수 있다.

Description

학습을 보조하기 위한 방법 및 장치{MEHTODS AND DEVICES FOR ASSITING LEARNING}
학습을 보조하기 위한 방법 및 장치에 관한 것이다.
인터넷을 포함한 정보 통신 기술의 발달로 인하여, 오프라인 상에서만 이루어지던 강의를 동영상으로 제작하여 인터넷을 통해 제공하는 온라인 강의 보급이 활성화되고 있다.
온라인 강의는 오프라인 강의에 비해 시공간적 제약이 적으므로, 인터넷 환경이 구비된 장소라면 원하는 강의를 시청할 수 있다는 장점 때문에, 이러한 온라인 강의 시스템이 각광을 받고 있으며, 이에 따라 온라인 강의 관련 기술들이 개발되고 있는 추세이다.
나아가 이미지 처리 분야에서 딥러닝 기술의 비약적인 발전으로 인해, 딥러닝 기술을 활용하여 강의 영상으로부터 유의미한 분석 결과를 획득하여, 생성된 분석 결과를 활용하는 기술에 대한 관심도가 높아지고 있는 추세이다.
온라인 강의를 시청하면서, 해당 강의 장면에 대응하는 페이지를 수백 페이지가 넘는 강의 자료에서 사용자가 찾는 것은 많은 시간이 소요되므로, 강의 장면에 대응하는 페이지를 찾아주는 기술에 대한 요구사항이 발생할 수 있다.
본 문서에 개시되는 다양한 실시예에 따르면, 이미지 처리 딥러닝 기술을 이용함으로써 강의 장면에 대응하는 페이지를 찾을 수 있다.
또한, 다양한 실시예에 따르면, 이미지 처리 딥러닝 기술을 이용함으로써 강의 장면에 포함된 필기 내용을 강의 자료에 합성시킬 수도 있다.
일 실시예에 따른 전자 장치를 이용한 학습 보조 방법은 강의 자료를 수신하는 단계; 문서에 포함된 페이지들을 서로 구분하도록 학습된 제1 신경망을 이용하여, 강의 자료에 포함된 페이지들에 대응하는 제1 특징 벡터들을 생성하는 단계; 강의 자료에 기초한 강의 장면을 포함하는 입력 영상을 수신하는 단계; 제2 신경망을 이용하여, 강의 장면에 대응하는 제2 특징 벡터를 생성하는 단계; 및 제2 특징 벡터와 제1 특징 벡터들 사이의 유사도에 기초하여 강의 자료에 포함된 페이지들 중 강의 장면에 대응하는 페이지를 지시하는 출력 페이지 정보를 결정하는 단계를 포함할 수 있다.
일 실시예에 따른, 출력 페이지 정보는, 강의 장면에 대응되는 적어도 하나의 페이지 정보, 페이지가 포함된 문서 정보 및 문서를 디스플레이에 출력하기 위한 가이드 정보 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른 상기 방법은 강의 장면에 대응하는 적어도 하나의 페이지 정보 및 사용자 입력 정보에 기초하여 적어도 하나의 페이지에서 사용자가 선택한 페이지를 디스플레이에 출력하는 단계를 더 포함할 수 있다.
일 실시예에 따른, 상기 방법은 문서를 디스플레이에 출력하기 위한 가이드 정보를 디스플레이에 출력하는 단계를 더 포함할 수 있다.
일 실시예에 따른, 제1 신경망은 강의 자료에서 서로 다른 학습 정보를 포함하는 각각의 페이지에 대응하는 특징 벡터 간의 거리가 멀어지도록 학습되고, 그리고 강의 자료에서 유사한 학습 정보를 포함하는 각각의 페이지에 대응하는 특징 벡터 간의 거리가 가까워지도록 학습될 수 있다.
일 실시예에 따른, 제1 특징 벡터는 페이지에 포함된 학습 정보와 관련된 특징 벡터를 포함할 수 있다.
일 실시예에 따른, 제2 신경망은, 영상 왜곡이 존재하는 입력 영상에서 학습 정보와 관련된 제2 특징 벡터를 생성하도록 학습된 신경망을 포함할 수 있다.
일 실시예에 따른, 영상 왜곡은 촬영 장치의 기계적 특성으로 인해 발생하는 제1 왜곡 및 촬영 환경으로 인해 발생하는 제2 왜곡 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른, 제2 신경망은, 영상 왜곡을 보정하기 위한 제1 서브 신경망 및 영상 왜곡이 보정된 영상으로부터 학습 정보와 관련된 특징 벡터를 획득하기 위한 제2 서브 신경망을 포함할 수 있다.
일 실시예에 따른 전자 장치를 이용한 학습 보조 방법은 강의 자료에 기초한 강의 장면을 포함하는 입력 영상을 수신하는 단계; 문서에 포함된 페이지를 기초로 해당 페이지에 필기되는 내용을 추출하도록 학습된 신경망을 이용하여, 강의 장면에 포함된 필기 정보를 획득하는 단계; 및 강의 자료에 포함된 페이지들 중 강의 장면에 대응하는 페이지에 필기 정보를 합성시키는 단계를 포함할 수 있다.
일 실시예에 따른, 상기 방법은 필기 정보가 합성된 페이지를 디스플레이에 출력하는 단계; 및 사용자 입력 정보에 기초하여 상기 필기 정보가 합성된 페이지를 사용할지 여부를 결정하는 단계를 더 포함할 수 있다.
일 실시예에 따른, 문서에 포함된 페이지는, 강의 자료에 포함된 페이지들 중 강의 장면에 대응하는 페이지를 지시하는 출력 페이지 정보 또는 강의 자료 포함된 페이지에 대한 사용자의 선택 정보를 포함하는 사용자 입력 정보 중 적어도 하나에 기초하여 결정된 페이지를 포함할 수 있다.
일 실시예에 따른, 신경망은 강의 장면에서 배경과 구분되는 강의 자료의 특징점을 추출하고, 특징점과 대응되는 페이지에서의 대응점을 추출하도록 학습된 신경망을 포함할 수 있다.
일 실시예에 따른, 필기 정보를 합성시키는 단계는, 특징점과 대응점 간의 변환 관계 정보에 기초하여, 필기 정보를 합성시키는 단계를 포함할 수 있다.
일 실시예에 따른, 필기 정보는, 입력 영상에서 필기가 표시된 위치 정보 및 입력 영상에서 표시된 필기의 형태 정보 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른 전자 장치는 프로세서; 및 상기 프로세서에 의해 실행 가능한 적어도 하나의 명령어를 포함하는 메모리를 포함하고, 상기 적어도 하나의 명령어가 상기 프로세서에서 실행되면, 상기 프로세서는 강의 자료를 수신하고, 문서에 포함된 페이지들을 서로 구분하도록 학습된 제1 신경망을 이용하여, 강의 자료에 포함된 페이지들에 대응하는 제1 특징 벡터들을 생성하고, 강의 자료에 기초한 강의 장면을 포함하는 입력 영상을 수신하는 단계; 제2 신경망을 이용하여, 강의 장면에 대응하는 제2 특징 벡터를 생성하고, 그리고 제2 특징 벡터와 제1 특징 벡터들 사이의 유사도에 기초하여 강의 자료에 포함된 페이지들 중 강의 장면에 대응하는 페이지를 지시하는 출력 페이지 정보를 결정할 수 있다.
일 실시예에 따른 전자 장치는 프로세서; 및 상기 프로세서에 의해 실행 가능한 적어도 하나의 명령어를 포함하는 메모리를 포함하고, 상기 적어도 하나의 명령어가 상기 프로세서에서 실행되면, 상기 프로세서는 강의 자료에 기초한 강의 장면을 포함하는 입력 영상을 수신하고, 문서에 포함된 페이지를 기초로 해당 페이지에 필기되는 내용을 추출하도록 학습된 신경망을 이용하여, 강의 장면에 포함된 필기 정보를 획득하고, 그리고 강의 자료에 포함된 페이지들 중 강의 장면에 대응하는 페이지에 필기 정보를 합성시킬 수 있다.
이 외에 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1 은 일 실시예에 따른 강의 장면에 대응되는 페이지를 검색하기 위한 방법을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 강의 자료의 유형을 설명하기 위한 도면이다.
도 3 은 일 실시예에 따른 영상 왜곡을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 강의 장면에 대응되는 페이지 검색 결과 화면을 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 강의 장면에 대응되는 페이지를 검색하기 위한 순서도이다.
도 6은 일 실시예에 따른 필기 합성 방법을 설명하기 위한 도면이다.
도 7a 내지 7b는 일 실시예에 따른 대응점 정보를 이용한 필기 합성 방법을 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 합성 방법을 설명하기 위한 순서도이다.
도 9는 일 실시예에 따른 전자 장치를 설명하기 위한 블록도이다.
본 명세서에서 개시되어 있는 특정한 구조적 또는 기능적 설명들은 단지 기술적 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 실시예들은 다양한 다른 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.
제1 또는 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 이해되어야 한다. 예를 들어 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "~간에"와 "바로~간에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
실시예들은 퍼스널 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트 폰, 텔레비전, 스마트 가전 기기, 지능형 자동차, 키오스크, 웨어러블 장치 등 다양한 형태의 제품으로 구현될 수 있다. 이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 `부호는 동일한 부재를 나타낸다.
도 1 은 일 실시예에 따른 강의 장면에 대응되는 페이지를 검색하기 위한 방법을 설명하기 위한 도면이다.
도1에서는 강의 자료(110), 복수의 페이지들(111, 112, 113, 114, 115), 제1 신경망(120), 복수의 제1 특징 벡터들(131, 132, 133, 134, 135), 입력 영상(140), 강의 장면(141), 제2 신경망(150), 제2 특징 벡터(160), 벡터 공간(170), 벡터 공간에 표시된 복수의 벡터들(171, 172, 173, 174, 175, 176)이 도시되어 있다. 강의 장면에 대응되는 페이지를 검색하기 위하여 일부 컴포넌트가 생략될 수도 있으며, 다른 컴포넌트가 추가될 수도 있다.
본 개시의 일 실시예에 따른 프로세서(920)는 강의 자료(110)를 수신할 수 있다. 일 실시예에 따른 강의 자료(110)는 사람들에게 특정한 과목에 대해 가르치거나 정보를 제시하기 위한 자료를 의미할 수 있다. 예를 들어, 강의 자료(110)는 강의 내용을 포함하는 이미지 형태의 데이터 또는 텍스트 형태의 데이터일 수 있다. 또 다른 예를 들어, 강의 자료(110)는 pdf 파일, ppt 파일, word 파일 등 다양한 데이터 형태일 수 있다.
일 실시예에 따른 프로세서(920)는 사용자로부터 강의 자료(110)를 수신할 수 있다. 사용자는 자신이 사용하고자 하는 강의 자료를 전자 장치(901)에 다운로드할 수 있다. 다운로드 된 강의 자료는 전자 장치(901)의 메모리(930)에 저장될 수 있다.
일 실시예에 따른 프로세서(920)는 사용자가 다운 받은 강의 자료(110)를 전자 장치(901)에 포함된 어플리케이션(946)에 등록할 수 있다. 일 실시예에 따른 어플리케이션은 강의 자료를 디스플레이에 출력하는 어플리케이션, 강의 자료에 편집 기능을 허용하는 어플리케이션 등을 포함할 수 있다. 따라서, 프로세서(920)는 사용자가 다운 받은 강의 자료(110)를 어플리케이션(946)에 등록시킴으로써, 사용자가 해당 어플리케이션(946)을 실행하면, 등록된 강의 자료를 디스플레이를 통해 볼 수 있도록 할 수 있다.
일 실시예에 따른 프로세서(920)는 문서에 포함된 페이지들을 서로 구분하도록 학습된 제1 신경망(120)을 이용하여, 강의 자료(110)에 포함된 페이지들에 각각에 대응하는 제1 특징 벡터들(131, 132, 133, 134, 135)을 생성할 수 있다. 일 실시예에 따른 제1 신경망(120)은 특징 벡터를 추출하기 위한 인코더(encoder)를 포함할 수도 있다.
일 실시예에 따른 문서는 페이지가 구분이 되지 않은 문서일 수 있다. 페이지가 구분되지 않은 문서인 경우, 사용자가 직접 페이지를 구분하여 구분된 페이지 각각을 프로세서(920)가 수신하여 각 페이지에 대응하는 특징 벡터를 생성할 수도 있다. 사용자가 수백 페이지를 포함하는 문서의 페이지를 직접 구분할 경우, 시간 및 비용이 많이 소모될 수 있다. 따라서, 프로세서(920)는 자동으로 문서에 포함된 복수의 페이지들을 구분할 수 있는 제1 신경망(120)을 이용하여 복수의 제1 특징 벡터를 생성할 수 있다.
일 실시예에 따른 제1 신경망은 메트릭 학습(Metric Learnin) 방법을 이용하여 학습된 신경망일 수 있다. 메트릭 학습은 유사한 데이터(특징 벡터)들 간의 거리(예를 들어, 유사인 유사도, 유클리디안 유사도 등)는 가깝게 하고, 서로 다른 데이터들 간의 거리는 멀어지도록 학습하는 방법을 의미할 수 있다. 일 실시예에 따른 제1 신경망(120)은 강의 자료에서 서로 다른 학습 정보를 포함하는 각각의 페이지에 대응하는 특징 벡터 간의 거리가 멀어지도록 학습되고, 그리고 강의 자료에서 유사한 학습 정보를 포함하는 각각의 페이지에 대응하는 특징 벡터 간의 거리가 가까워지도록 학습된 신경망을 포함할 수 있다. 이를 통해, 프로세서(920)는 제1 신경망(120)을 이용하여, 서로 다른 학습 정보를 포함하는 페이지를 구분할 수 있도록 할 수 있다.
일 실시예에 따른 프로세서(920)는 제1 신경망(120)을 이용하여 복수의 페이지들을 구분할 수 있다. 나아가 일 실시예에 따른 프로세서(920)는 제1 신경망(120)을 이용하여 각 페이지들 각각에 포함되어 있는 학습 정보와 관련된 특징 벡터를 생성할 수 있다. 프로세서(920)가 제1 신경망(120)을 이용하여 생성한 제1 특징 벡터들(131, 132, 133, 134, 135)은 페이지에 포함된 학습 정보와 관련된 특징 벡터를 포함할 수 있다. 일 실시예에 따른 프로세서(920)는 복수의 페이지들 각각에 대응하는 제1 특징 벡터들(131, 132, 133, 134, 135)을 메모리(930)에 저장할 수 있다. 이후에 프로세서(920)가 강의 장면(141)에 대응하는 페이지를 검색하는 경우, 프로세서(920)는 메모리(930)에 저장된 복수의 제1 특징 벡터들(131, 132, 133, 134, 135)을 호출하여 강의 장면(141)에 대응하는 제2 특징 벡터(160)와 비교할 수 있다.
일 실시예에 따른 제1 특징 벡터1(131)는 페이지1(111)에 포함된 학습 정보와 관련된 특징 벡터일 수 있다. 또 다른 실시예에 따른 제2 특징 벡터2(132)는 페이지2(112)에 포함된 학습 정보와 관련된 특징 벡터일 수 있다. 또 다른 실시예에 따른 제1 특징 벡터3(133)는 페이지3(113)에 포함된 학습 정보와 관련된 특징 벡터일 수 있다. 각 페이지의 유형에 대한 구체적인 설명은 이하에서 도 2를 참조하여 구체적으로 후술된다.
일 실시예에 따른 프로세서(920)는 강의 자료에 기초한 강의 장면(141)을 포함하는 입력 영상(140)을 수신할 수 있다. 일 실시예에 따른 강의 장면(141)은 사용자가 페이지 검색이 필요한 강의 장면일 수 있다. 일 실시예에 따른 프로세서(920)는 사용자가 선택한 강의 장면에 대해서 페이지 검색을 수행할 수 있다. 일 실시예에 따른 강의 장면은 사용자가 오프라인 강의에서 촬영한 강의 장면 또는 사용자가 온라인 강의에서 캡처한 강의 장면을 포함할 수 있다. 이를 통해, 프로세서(920)는 검색이 필요한 강의 장면(141)에 대해서 페이지 검색 동작을 수행하므로, 검색 동작에 소모되는 연산량, 시간 및 비용 등을 절약할 수 있다. 다른 일 실시예에 따른 프로세서(920)는 온라인 강의에 포함된 모든 강의 장면에 대응하는 페이지를 검색할 수도 있다.
일 실시예에 따른 프로세서(920)는 제2 신경망(150)을 이용하여 강의 장면(141)에 대응하는 제2 특징 벡터(160)를 생성할 수 있다. 일 실시예에 따른 제2 신경망(150)은 강의 장면(141)에서 학습 정보와 관련된 특징 벡터를 생성하기 위해 학습된 신경망일 수 있다. 이를 통해 프로세서(920)는 제2 신경망(150)을 이용하여 강의 장면(141)에 포함된 학습 정보와 관련된 제2 특징 벡터(160)를 생성할 수 있다. 프로세서(920)는 생성된 제2 특징 벡터(160) 및 메모리(930)에 저장된 복수의 제1 특징 벡터들을 이용하여 강의 장면에 대응하는 강의 자료에 포함된 페이지를 검색할 수 있다.
일 실시예에 따른 제1 신경망(120) 및 제2 신경망(150)은 동일한 학습 정보에 대하여 거리가 가까운 특징 벡터를 생성하도록 학습된 신경망일 수 있다. 예를 들어, 프로세서(920)는 제1 신경망(120)을 이용하여 페이지에 포함된 학습 정보A(예를 들어, 과적합을 설명하는 학습 정보)와 관련된 제1 특징 벡터를 생성할 수 있다. 또한, 프로세서(920)는 제2 신경망(150)을 이용하여 강의 장면(141)에 포함된 학습 정보A(예를 들어, 과적합을 설명하는 학습 정보)와 관련된 제2 특징 벡터를 생성할 수 있다. 제1 특징 벡터 및 제2 특징 벡터 모두 동일한 학습 정보A(예를 들어, 과적합을 설명하는 학습 정보)에 대한 특징 벡터이므로, 프로세서(920)는 각각의 특징 벡터 간의 거리가 가까워지도록 제1 신경망(120) 및 제2 신경망을 학습시킬 수 있다.
일 실시예에 따른 제1 신경망(120) 및 제2 신경망(150)은 서로 다른 학습 정보에 대하여 거리가 먼 특징 벡터를 생성하도록 학습된 신경망일 수 있다. 예를 들어, 프로세서(920)는 제1 신경망(120)을 이용하여 페이지에 포함된 학습 정보A(예를 들어, 과적합을 설명하는 학습 정보)와 관련된 제1 특징 벡터를 생성할 수 있다. 또한, 프로세서(920)는 제2 신경망(150)을 이용하여 강의 장면(141)에 포함된 학습 정보B(예를 들어, 소크라테스 철학을 설명하는 학습 정보)와 관련된 제2 특징 벡터를 생성할 수 있다. 제1 특징 벡터 및 제2 특징 벡터는 각각 다른 학습 정보에 대한 특징 벡터이므로, 프로세서(920)는 각각의 특징 벡터 간의 거리가 멀어지도록 제1 신경망(120) 및 제2 신경망을 학습시킬 수 있다.
일 실시예에 따른 제2 신경망(150)은 영상 왜곡이 존재하는 입력 영상에서 학습 정보와 관련된 제2 특징 벡터를 생성하도록 학습된 신경망을 포함할 수 있다. 영상 왜곡에 대해서는 도3을 참조하여 구체적으로 후술된다.
일 실시예에 따른 프로세서(920)는 제2 특징 벡터(160)와 제1 특징 벡터들(131, 132, 133, 134, 135) 사이의 유사도에 기초하여 강의 자료에 포함된 페이지들 중 강의 장면에 대응하는 페이지를 지시하는 출력 페이지 정보를 결정할 수 있다. 일 실시예에 따른 프로세서(920)는 제1 특징 벡터1(131)과 제2 특징 벡터(160) 사이의 유사도, 제1 특징 벡터2(132)와 제2 특징 벡터(160) 사이의 유사도, 제1 특징 벡터3(133)과 제2 특징 벡터(160) 사이의 유사도, 제1 특징 벡터4(134)와 제2 특징 벡터(160) 사이의 유사도, 제1 특징 벡터5(135)와 제2 특징 벡터(160) 사이의 유사도를 각각 산출할 수 있다.
일 실시예에 따른 유사도는 각각의 특징 벡터 간의 거리를 의미할 수 있다. 유사도는 각각의 특징 벡터가 얼마나 서로 유사한지에 대한 정보를 포함할 수 있다. 각각의 특징 벡터 간의 거리가 가까울수록, 각각의 특징 벡터는 서로 유사한 것으로 프로세서(920)는 결정할 수 있다. 또 다른 예를 들어, 각각의 특징 벡터 간의 거리가 멀어질수록, 각각의 특징 벡터는 서로 다른 데이터로 프로세서(920)는 결정할 수 있다. 유사도는 예를 들어, 유클리디안 거리, 코사인 유사도, 마할라노비스 거리 등을 포함할 수 있다.
일 실시예에 따른 복수의 제1 특징 벡터들(131, 132, 133, 134, 135) 및 제2 특징 벡터(160)는 벡터 공간(170)에 표시될 수 있다. 벡터 공간(170)에서 서로 유사한 벡터들은 동일한 군집에 포함될 수 있으며, 서로 다른 벡터들은 다른 군집에 각각 포함될 수 있다. 예를 들어, 제1 특징 벡터1(131)은 벡터 공간(170)에서 점1(171)로 표시될 수 있으며, 제2 특징 벡터2(132)는 벡터 공간(170)에서 점2(172)로 표시될 수 있다. 점1(171)과 점2(172)는 서로 다른 군집에 포함되어 있으므로, 서로 다른 데이터로 결정할 수 있다. 즉, 프로세서(920)는 점1(171)과 점2(172)를 서로 다른 학습 정보를 포함하고 있는 특징 벡터라고 결정할 수 있다. 또 다른 예를 들어, 제1 특징 벡터4(134)는 벡터 공간(170)에서 점4(174)로 표시될 수 있으며, 제1 특징 벡터5(135)는 벡터 공간(170)에서 점5(175)로 표시될 수 있다. 점4(174)와 점5(175)는 서로 같은 군집에 포함되어 있으므로, 프로세서(920)는 점4(174)와 점5(175) 각각 대응하는 특징 벡터를 서로 같은 데이터로 결정할 수 있다. 즉, 프로세서(920)는 점4(174)와 점5(175)는 서로 같은 학습 정보를 포함하고 있는 페이지라고 결정할 수 있다.
일 실시예에 따른 프로세서(920)는 유사도가 사전 결정된 기준 이하인 제1 특징 벡터를 선택하여, 해당 제1 특징 벡터에 대응되는 페이지를 강의 장면(141)과 대응되는 페이지로 결정할 수 있다. 사전 결정된 기준은 제2 특징 벡터와 제1 특징 벡터 간의 거리가 일정 기준 이하일 것을 의미할 수 있다. 도1에서 점4(174) 및 점5(175)는 제2 특징 벡터(160)에 대응되는 점인 점6(176)과 사전 결정된 기준 이하에 있는 점일 수 있다. 이에 반해 점1(171) 및 점2(172)는 사전 결정된 기준 이상에 있는 점일 수 있다. 따라서, 프로세서(920)는 점4(174) 및 점5(175)를 강의 장면과 대응되는 페이지로 결정할 수 있다. 또 다른 예를 들어, 프로세서(920)는 점4(174)와 점5(175) 중 점6(176)과 더 가까운 점4(174)를 선택하여 강의 장면과 대응되는 페이지로 결정할 수 있다. 프로세서(920)는 강의 장면과 대응되는 적어도 하나의 페이지를 결정하며, 해당 페이지를 지시하는 출력 페이지 정보를 결정할 수 있다.
일 실시예에 따른 프로세서(920)는 출력 페이지 정보를 이용하여 디스플레이에 검색 결과를 출력할 수 있다. 검색 결과 출력에 대한 설명은 도4를 참조하여 구체적으로 후술된다.
본 개시를 통해, 사용자들은 전자 장치(901)에 강의 자료 및 강의 장면만 입력시킴으로써, 강의 장면에 대응하는 강의 자료를 신속하게 획득할 수 있다. 온라인 강의 활성화 추세 및 오프라인 강의에서 전자 장치(예를 들어, 노트북, 태블릿 등)의 활용도의 증가 추세에 따라, 강의 장면에 대응하는 강의 자료의 특정 페이지를 신속하게 찾아내는 것은 매우 중요할 수 있다. 강의는 계속 진행되지만, 강의 장면에 상응하는 페이지를 수백 페이지가 포함된 강의 자료에서 신속하게 찾지 못하면, 강의에 대한 집중도가 저하될 수 있다. 또한, 강의 중에 강사가 수업을 강의 자료에 포함된 페이지 순서대로 하는 것이 아니라, 규칙성 없이 임의의 페이지를 선정하여 수업하고 다른 페이지로 넘어가는 경우도 많을 수 있다. 따라서, 시시각각 변하는 강의 상황에 대비하여, 강의 장면에 대응하는 페이지를 신속하게 찾는 것은 더욱 더 중요해질 수 있다. 따라서 본 개시에 따라 신경망을 이용하여, 강의 장면에 대응하는 강의 자료의 특정 페이지를 검색하는 구성은 사용자의 강의에 대한 집중도를 높일 수 있고 나아가 강의를 수강하는 사람들에 대하여 해당 전자 장치의 구매 의욕을 상승시킬 수 있다.
다른 일 실시예에서, 프로세서(920)는 제1 특징 벡터들 및 제2 특징 벡터(160)를 획득하기 위하여 단일 신경망을 사용할 수 있다. 해당 신경망은 강의 자료 또는 강의 장면으로부터 학습 정보와 관련된 특징 벡터를 추출하도록 학습된 신경망일 수 있다. 따라서 프로세서(920)는 해당 신경망을 이용하여 강의 자료의 각 페이지에 포함된 학습 정보와 관련된 특징 벡터를 생성할 수 있고, 또한 해당 신경망을 이용하여 강의 장면에 포함된 학습 정보와 관련된 특징 벡터를 생성할 수도 있다. 일 실시예에 따른 단일 신경망은 문서에 포함된 페이지들을 서로 구분하도록 학습된 신경망일 수 있다. 일 실시예에 따른 단일 신경망은 강의 자료에서 서로 다른 학습 정보를 포함하는 각각의 페이지에 대응하는 특징 벡터 간의 거리가 멀어지도록 학습되고, 그리고 강의 자료에서 유사한 학습 정보를 포함하는 각각의 페이지에 대응하는 특징 벡터 간의 거리가 가까워지도록 학습된 신경망을 포함할 수 있다. 일 실시예에 따른 단일 신경망은 영상 왜곡이 존재하는 입력 영상에서 학습 정보와 관련된 제2 특징 벡터를 생성하도록 학습된 신경망을 포함할 수 있다.
도 2는 일 실시예에 따른 강의 자료의 유형을 설명하기 위한 도면이다.
도2에서는 강의 자료(110), 강의 자료에 포함된 페이지1(111), 페이지2(112), 페이지5(230), 페이지6(270)이 도시되어 있다.
일 실시예에 따른 페이지1(111)은 텍스트만 포함하는 페이지일 수 있다. 프로세서(920)는 텍스트만 포함하는 페이지1(111)이 이미지 형태의 데이터인 경우, 제1 신경망(120)을 이용하여 제1 특징 벡터를 생성할 수 있다. 다른 일 실시예에 따른 프로세서(920)는 페이지1(111)이 텍스트 데이터인 경우, 이미지 데이터로 변환 후 제1 신경망(120)을 이용하여 제1 특징 벡터를 생성할 수 있다. 일 실시예에 따른 제1 신경망(120)은 이미지 처리에 특화된 신경망일 수 있다. 따라서 프로세서(920)는 제1 신경망(120)에 페이지를 이미지 데이터로 입력시켜 신경망의 예측 정확도를 높일 수 있다.
일 실시예에 따른 페이지2(112)는 신경망 구조가 포함된 페이지일 수 있다. 또한 페이지5(230)는 결과 그래프가 포함된 페이지일 수 있다. 페이지2(112)와 페이지5(230)처럼 학습 정보가 텍스트가 아닌 그림의 형태로 표현될 수 있다. 이 경우, 제1 신경망이 텍스트 데이터 처리에 특화된 경우 신경망의 예측 정확도가 하락할 수 있다. 따라서 이미지 처리에 특화된 제1 신경망을 사용함으로써, 학습 정보가 그림의 형태로 표현된 경우에도 강의 장면과 대응하는 페이지를 높은 정확도로 검색할 수 있다.
일 실시예에 따른 페이지6(270)은 학습 정보가 그림 및 텍스트 형태 모두를 포함하고 있는 경우일 수 있다. 프로세서(920)가 텍스트 데이터 처리에 특화된 신경망을 사용할 경우, 그림 및 텍스트 형태 모두를 포함하는 페이지6(270)에서 학습 정보와 관련된 특징을 정확하게 추출하기 어려울 수 있다. 즉, 텍스트 데이터 처리에 특화된 신경망은 그림 형태의 데이터를 입력시킬 수 없고, 전처리를 통해 입력하여도 예측 정확도가 떨어질 수 있다. 따라서 페이지6(270) 전체를 이미지 데이터로, 이미지 데이터 처리에 특화된 제1 신경망(120)에 입력시킴으로써, 페이지6(270)에 포함된 학습 정보와 관련된 특징을 정확하게 추출할 수 있다.
일 실시예에 따른 강의 자료(110)에는 텍스트 뿐만 아니라, 그래프, 표, 캐릭터 등 다양한 그림들이 포함될 수 있다. 따라서, 다양한 형태로 표현된 학습 정보의 특징을 정확하게 추출하여 강의 장면과 비교할 필요성이 존재할 수 있다. 그러므로 본 개시의 이미지 데이터 처리에 특화된 신경망을 강의 자료의 각 페이지들에 대한 특징 벡터를 생성하는데 사용함으로써, 프로세서(920)는 높은 정확도로 각 페이지의 특징 정보를 포함하는 특징 벡터를 생성할 수 있다.
도 3 은 일 실시예에 따른 영상 왜곡을 설명하기 위한 도면이다.
도 3에서는 강의 장면1(310), 강의 장면2(330), 강의 장면3(350), 강의 장면4(370), 학습 정보를 가리는 강사(331), 강의 장면3(350)에 포함된 학습 정보1(351) 및 강의 장면4(370)에 포함된 학습 정보2(371)가 도시되어 있다.
일 실시예에 따른 영상 왜곡은 강의 장면에서 학습 정보를 정확하게 추출하는데 방해가 되는 요소가 포함된 것을 의미할 수 있다. 일 실시예에 따른 영상 왜곡은 촬영 장치의 기계적 특성으로 인해 발생하는 제1 왜곡 및 촬영 환경으로 인해 발생하는 제2 왜곡 중 적어도 하나를 포함할 수 있다. 제1 왜곡은 볼록렌즈의 굴절률에 의해 발생하는 왜곡인 방사 왜곡 및 카메라 제조 과정에서 카메라 렌즈와 이미지센서의 수평이 맞지 않아서 발생하는 왜곡인 접선 왜곡을 포함할 수 있다. 즉, 제1 왜곡은 영상에서 직선이 변형되거나 부자연스럽게 꺾인 것으로 표현되는 것을 의미할 수 있다. 일 실시예에 따라, 강의 장면에 포함된 텍스트 또는 그림이 변형되면, 프로세서(920)는 제2 신경망을 이용하여 정확한 특징 정보를 생성할 수 없을 수도 있다. 프로세서(920)가 제2 신경망을 이용하여 정확도가 떨어지는 특징 정보를 생성하면, 강의 장면에 대응되는 페이지를 정확하게 찾을 확률도 감소될 수 있다.
일 실시예에 따른 제2 왜곡은 촬영 환경으로 인해 발생하는 영상 왜곡을 포함할 수 있다. 강의 장면에서 강의 자료 뿐만 아니라 강사, 강의를 수강하는 학생들, 그 외 다른 객체들이 학습 정보를 가리는 요소로서 작용할 수 있다. 강의 장면1(310)은 영상 왜곡이 없는 영상일 수 있다. 하지만 강의 장면2(330)는 학습 정보를 강사(331)가 일부 가릴 수 있다. 제2 왜곡은 강의 장면2(330)처럼 학습 정보를 다른 객체(예를 들어, 강사)가 가려서, 정확한 학습 정보 관련 특징 벡터를 추출하는데 어려움이 존재하는 상황일 수 있다. 다른 일 실시예에서 제2 왜곡은 강의 장면을 촬영하는 카메라와 강의 장면에 포함된 학습 정보가 이루는 각도에 따라서 발생하는 왜곡을 포함할 수 있다. 강의 장면3(350) 및 강의 장면4(370)는 제2 왜곡을 설명하기 위한 하나의 예시일 수 있다. 강의 장면3(350) 및 강의 장면4(370)는 강의 장면을 정면이 아닌 비스듬한 각도에서 카메라로 촬영할 것일 수 있다. 강의 장면을 비스듬한 각도에서 촬영을 한 경우, 강의 장면3(350)에 포함된 학습 정보1(351) 및 강의 장면4(370)에 포함된 학습 정보2(371)처럼 강의 자료가 직사각형이 아닌, 사다리꼴 형태가 되어 강의 자료에 있는 내용들도 왜곡이 발생할 수 있다. 일 실시예처럼 강의 장면에 포함된 강의 자료가 왜곡되면, 전자 장치에 저장된 강의 자료의 각 페이지와 강의 장면의 유사도를 산출함에 있어, 산출된 유사도의 정확도가 매우 낮을 수 있다. 즉, 영상 왜곡으로 인하여 같은 학습 정보를 포함하는 강의 장면과 강의 영상이라도 유사도는 매우 낮게 산출될 수도 있다. 따라서, 영상 왜곡을 보정하여 학습 정보와 관련된 특징 벡터를 생성하는 것은 매우 중요한 문제일 수 있다.
일 실시예에 따른 프로세서(920)는 제2 신경망을 이용하여 제2 특징 벡터를 생성할 수 있으며, 제2 신경망은 영상 왜곡이 존재하는 입력 영상에서 학습 정보와 관련된 제2 특징 벡터를 생성하도록 학습된 신경망을 포함할 수 있다. 이를 통해, 프로세서(920)는 강의 장면에 영상 왜곡이 존재하더라도, 높은 정확도로 강의 장면과 대응되는 페이지를 강의 자료에서 찾을 수 있다.
다른 일 실시예에 따른 제2 신경망은 영상 왜곡을 보정하기 위한 제1 서브 신경망 및 영상 왜곡이 보정된 영상으로부터 학습 정보와 관련된 특징 벡터를 획득하기 위한 제2 서브 신경망을 포함할 수 있다. 제2 신경망은 영상 왜곡을 보정하기 위한 제1 서브 신경망과 특징 벡터를 획득하기 위한 제2 서브 신경망을 분리함으로써, 새로운 유형의 영상 왜곡이 존재하는 강의 장면이 입력된 경우, 해당 영상 왜곡을 보정하기 위하여 제1 서브 신경망만 업데이트하고, 제2 서브 신경망은 그대로 유지할 수 있다. 이를 통해, 프로세서(920)는 제2 신경망의 일부만을 업데이트하여 새로운 환경에 대응할 수 있는 신경망을 이용함으로써, 적은 학습 시간과 연산량으로 새로운 영상 왜곡에 대해서 높은 정확도로 제2 특징 벡터를 생성할 수 있다.
도 4는 일 실시예에 따른 강의 장면에 대응되는 페이지 검색 결과 화면을 설명하기 위한 도면이다.
도 4에서는 페이지 검색 결과 화면(400), 강의 장면(410), 강의 장면에 포함된 학습 정보(411), 페이지 추천 영역(430), 추천 페이지(440), 페이지가 포함된 문서 정보(460), 문서 이름(461), 문서 저장 위치(462), 문서 수정 날짜(463), 문서 작성자(464) 및 가이드(470)가 도시되어 있다. 도4에서 페이지 검색 결과 화면은 예시일 뿐이며, 도4에서 일부 구성이 추가될 수도 있으며, 일부 구성이 생략될 수 있다.
일 실시예에 따른, 페이지 검색 결과 화면(400)은 강의 자료에 포함된 페이지들 중 강의 장면에 대응되는 페이지 검색 결과를 나타내는 화면일 수 있다. 프로세서(920)는 강의 장면에 대응하는 페이지를 지시하는 출력 페이지 정보를 결정하고, 결정된 출력 페이지 정보에 기초하여 페이지 검색 결과 화면(400)을 디스플레이에 출력할 수 있다.
일 실시예에 따른 프로세서(920)는 강의 장면(410)에 포함된 학습 정보(411)와 대응하는 페이지에 대한 정보를 페이지 추천 영역(430)에서 표시할 수 있다. 페이지 추천 영역(430)은 강의 장면(410)과 대응하는 페이지와 관련된 정보가 표시되는 영역일 수 있다.
일 실시예에 따른 출력 페이지 정보는 입력 영상에 대응되는 적어도 하나의 페이지 정보, 페이지가 포함된 문서 정보 및 문서를 디스플레이에 출력하기 위한 가이드 정보 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른 추천 페이지(440)는 강의 장면(410)과 대응하는 적어도 하나의 페이지일 수 있다. 프로세서(920)는 복수의 제1 특징 벡터들과 제2 특징 벡터 사이의 유사도를 산출한 뒤, 강의 장면(410)에 포함된 학습 정보(411)와 가장 유사한 학습 정보를 포함하는 페이지를 사용자에게 추천할 수 있다. 하지만, 다른 일 실시예에 따라, 강의 장면에 포함된 학습 정보와 유사한 학습 정보를 포함하는 페이지가 복수개 존재할 수도 있다. 이 경우, 프로세서(920)는 복수개의 페이지를 추천 페이지(440)로 결정하여 디스플레이에 출력함으로써, 사용자로 하여금 현재 강의 장면에 대응하는 페이지를 선택하거나, 현재 강의 장면에서 가장 필요한 페이지를 선택하도록 유도할 수 있다.
일 실시예에 따른 프로세서(920)는 강의 장면에 대응하는 적어도 하나의 페이지 정보 및 사용자 입력 정보에 기초하여 적어도 하나의 페이지에서 사용자가 선택한 페이지를 디스플레이에 출력할 수 있다. 프로세서(920)는 제2 특징 벡터 및 복수의 제1 특징 벡터들 간의 유사도 산출 결과에 기초하여 강의 장면에 대응하는 적어도 하나의 후보 페이지를 결정할 수 있다. 프로세서(920)는 적어도 하나의 후보 페이지들 중에서, 사용자 입력 정보에 기초하여 디스플레이에 최종적으로 출력할 페이지를 결정할 수 있다. 즉, 프로세서(920)는 사용자에게 페이지 검색 결과를 디스플레이를 통해 보여준 후, 사용자로부터 검색 결과로 산출된 페이지를 사용하겠다는 입력을 수신하면 해당 페이지를 디스플레이에 출력할 수 있다. 예를 들어, 프로세서(920)는 사용자로부터 페이지 선택 입력을 수신하면, 디스플레이 전체 또는 디스플레이 일부에서 사용자가 선택한 페이지를 출력할 수 있다.
다른 일 실시예에 따른 프로세서(920)는 강의 장면에 대응하는 적어도 하나의 페이지를 사용자의 페이지 선택 입력 없이도 바로 디스플레이 전체 또는 디스플레이 일부에서 출력할 수도 있다. 이를 통해, 강의 장면 변환에 따른 신속한 강의 자료 이동이 가능할 수 있다.
일 실시예에 따른 페이지가 포함된 문서 정보(460)는 강의 장면과 대응되는 페이지가 포함된 문서에 관한 정보를 포함할 수 있다. 페이지가 포함된 문서 정보(460)는 예를 들어, 문서 이름(461), 문서 저장 위치(462), 문서 수정 날짜(463), 문서 작성자(464) 등의 정보를 포함할 수 있다. 전술한 문서 정보는 예시일 뿐 본 개시는 이에 제한되지 않는다.
일 실시예에 따른 가이드 정보는 문서를 디스플레이에 출력하기 위한 방법을 사용자에게 안내하기 위한 가이드에 대한 정보를 포함할 수 있다. 가이드는 검색 결과 찾아낸 강의 장면과 대응되는 적어도 하나의 페이지 또는 해당 페이지가 포함된 문서를 사용자가 전자 장치에서 찾을 수 있도록 하는 가이드에 대한 정보를 포함할 수 있다.
도 5는 일 실시예에 따른 강의 장면에 대응되는 페이지를 검색하기 위한 순서도이다.
일 실시예에 따른 전자 장치(901)는 학습 정보를 포함하는 문서를 제1 신경망에 입력시켜 문서에 포함된 적어도 하나의 페이지 각각에 대한 제1 특징 벡터를 획득(510)할 수 있다.
일 실시예에 따른 프로세서(920)는 제1사용자 입력 정보에 기초하여 학습 정보를 포함하는 입력 영상을 수신(520)할 수 있다.
일 실시예에 따른 프로세서(920)는 입력 영상을 제2 신경망에 입력시켜 입력 영상에 포함된 학습 정보와 관련된 제2 특징 벡터를 획득(530)할 수 있다.
일 실시예에 따른 프로세서(920)는 제2 특징 벡터와 적어도 하나의 제1 특징 벡터 사이의 유사도를 각각 산출함으로써, 유사도에 기초하여 출력 페이지 정보를 결정(540)할 수 있다.
일 실시예에 따른 프로세서(920)는 문서를 디스플레이에 출력하기 위한 가이드 정보를 디스플레이에 출력할 수 있다. 일 실시예에 따른 가이드 정보는 문서를 디스플레이에 출력하기 위한 방법을 사용자에게 안내하기 위한 가이드에 대한 정보를 포함할 수 있다. 일 실시예에 따른 가이드 정보는 입력 영상에 대응하는 페이지를 찾을 수 있는 정보를 포함할 수 있다. 예를 들어, 가이드 정보는 강의 장면과 대응되는 페이지를 사용하는 방법, 강의 장면과 대응되는 페이지가 포함된 문서를 로드(load)하기 위한 방법 등을 포함할 수 있다.
도 6은 일 실시예에 따른 필기 합성 방법을 설명하기 위한 도면이다.
도 6에서는 강의 장면(620), 필기(621), 강의 자료에 포함된 페이지(610), 신경망(630), 필기 정보(640), 대응점 정보(650), 필기가 합성된 페이지(660)가 도시되어 있다.
일 실시예에 따른 프로세서(920)는 강의 자료에 기초한 강의 장면(620)을 포함하는 입력 영상을 수신할 수 있다. 강의 자료에 기초한 강의 장면(620)은 도6에서 도시된 바와 같이 필기(621)를 포함할 수 있다. 필기(621)는 강사가 강의를 진행하면서 강의 장면에 표시된 강의 자료에 입력하는 정보일 수 있다. 일 실시예에 따른 강의에서 필기(621)의 양은 매우 많을 수 있다. 강의 장면에 포함된 필기(621)의 양이 매우 많을 경우 수강생은 필기하느라 강의에 집중하지 못할 수 있다. 따라서 본 개시에서 사용자가 강의 자료에 직접 필기하지 않더라도, 프로세서(920)가 강의 장면(620)에서 필기되는 내용을 추출하여, 필기 정보(640)를 강의 자료에 합성시킬 수 있다. 이를 통해, 사용자는 필기보다 강의에 더 집중할 수 있다.
일 실시예에 따른 프로세서(920)는 문서에 포함된 페이지를 기초로 해당 페이지에 필기되는 내용을 추출하도록 학습된 신경망을 이용하여, 강의 장면에 포함된 필기 정보를 획득할 수 있다. 일 실시예에 따른 필기 정보는 입력 영상에서 필기가 표시된 위치 정보 및 입력 영상에서 표시된 필기의 형태 정보 중 적어도 하나를 포함할 수 있다. 일 실시예에 따른 신경망은 강의 장면에서 학습 정보를 제외하고 필기만 생성하도록 학습된 신경망일 수 있다. 즉, 도6에 도시된 바와 같이 프로세서(920)는 신경망(630)을 이용하여, 필기 정보(640)만 추출하고, 강의 장면(620)에 포함된 학습 정보(예를 들어, 도6에 도시된 과대적합에 대한 학습 정보)를 생성하지 않을 수 있다. 일 실시예에 따른 신경망은 인코더 및 디코더를 포함할 수 있다. 프로세서(920)는 인코더를 이용하여 강의 장면(620) 및 강의 자료에 포함된 페이지(610)를 입력 받아 특징 벡터를 생성할 수 있다. 프로세서(920)는 디코더를 이용하여 특징 벡터로부터 필기 정보(640)를 획득할 수 있다.
일 실시예에 따른 프로세서(920)는 강의 자료에 포함된 페이지들 중 강의 장면에 대응하는 페이지에 필기 정보를 합성시킬 수 있다. 프로세서(920)는 신경망(630)에 강의 장면(620) 및 강의 자료에 포함된 페이지(610)를 모두 입력시킴으로써, 강의 장면(620)에 포함된 필기 정보(640)가 강의 자료에 포함된 페이지(610)에 합성시킬 수 있다. 일 실시예에 따라, 프로세서(920)는 필기 정보(640)만 이용하고 대응점 정보(650) 이용하지 않으면서 강의 장면(620)에 포함된 필기 정보(640)를 강의 자료에 포함된 페이지(610)에 합성시킬 수도 있다.
다른 일 실시예에 따라, 프로세서(920)는 필기 정보(640) 및 대응점 정보(650)를 이용하여 필기(621)를 강의 자료에 포함된 페이지(610)에 합성시킬 수 있다. 대응점 정보(650)는 강의 장면에 포함된 점과 대응되는 강의 자료에 포함된 점 간의 변환 관계에 대한 정보를 포함할 수 있다. 변환 관계 정보는 예를 들어, 호모그래피일 수 있다. 변환 관계 정보에 대해서는 도 7a 내지 7b를 참조하여 구체적으로 후술된다.
일 실시예에 따른 문서에 포함된 페이지는 강의 영상과 대응되는 페이지일 수 있다. 문서에 포함된 페이지는 강의 자료에 포함된 페이지들 중 강의 장면에 대응하는 페이지를 지시하는 출력 페이지 정보에 기초하여 결정된 페이지를 포함할 수 있다. 즉, 프로세서(920)는 제1 신경망(120) 및 제2 신경망(150)을 이용하여, 강의 장면과 대응되는 페이지를 검색한 후, 해당 페이지에 대하여 필기 정보를 합성할 수 있다. 일 실시예에 따른 프로세서(920)는 제1 신경망(120) 및 제2 신경망(150)을 이용하여 획득한 강의 장면과 대응되는 페이지에 필기를 합성함으로써 사용자는 강의 장면과 대응되는 페이지를 강의 자료에서 찾아서 직접 필기할 필요 없이, 필기 정보가 합성된 페이지를 디스플레이를 통해 볼 수 있다.
다른 일 실시예에 따른 문서에 포함된 페이지는 사용자가 선택한 페이지일 수 있다. 따라서, 프로세서(920)는 사용자가 선택한 페이지에 필기 정보를 합성할 수 있다. 이를 통해, 사용자는 자신이 원하는 페이지에 대하여 필기 정보가 합성된 페이지를 디스플레이를 통해 볼 수 있다.
도 7a 내지 7b는 일 실시예에 따른 대응점 정보를 이용한 필기 합성 방법을 설명하기 위한 도면이다.
도 7a에서는 강의 장면(720), 강의 자료에 포함된 페이지(730), 복수의 특징점들 (721, 722, 723), 복수의 대응점들(731,732, 733)이 도시되어 있다. 도 7a에서의 특징점 및 대응점은 예시일 뿐 본 개시는 이에 제한되지 않는다.
일 실시예에 따른 특징점은 강의 장면에서 특징이 되는 점을 의미할 수 있다. 예를 들어, 특징점은 강의 장면에 포함된 학습 정보 중 배경과 구분되는 강의 내용에 대한 점을 포함할 수 있다. 예를 들어, 특징점은 텍스트 형태의 강의 내용에서의 한 점, 그래프 형태의 강의 내용에서의 한 점, 강의 목차에 포함된 점, 지시선, 구분점 등이 포함할 수 있다. 일 실시예에 따른 프로세서(920)는 신경망(630)을 이용하여 강의 장면에서 특징점을 생성할 수 있다. 일 실시예에 따른 신경망은 강의 장면에서 배경과 구분되는 강의 자료의 특징점을 추출하도록 학습된 신경망일 수 있다. 또 다른 실시예에서, 프로세서(920)는 강의 장면에서 사용자가 선택한 점을 특징점으로 결정할 수도 있다.
일 실시예에 따른 대응점은 강의 자료에 포함된 페이지에서 특징점과 대응되는 점을 의미할 수 있다. 일 실시예에 따른 프로세서(920)는 신경망(630)을 이용하여 대응점을 강의 자료에 포함된 페이지에서 생성할 수 있다. 일 실시예에 따른 신경망(630)은 특징점과 대응되는 페이지에서의 대응점을 추출하도록 학습된 신경망을 포함할 수 있다. 다른 일 실시예에 따른 프로세서(920)는 페이지에서 사용자가 선택한 점을 대응점으로 결정할 수도 있다.
도7b에서는 강의 장면(760), 강의 장면에 포함된 특징점들(761), 변환 관계 정보(750), 강의 자료에 포함된 페이지(740), 특징점에 대응되는 대응점들(741), 크기 요소(Scale Factor)(770)가 도시되어 있다.
일 실시예에 따른 변환 관계 정보(750)는 한 평면을 다른 평면에 투영시켰을 때 투영된 점들 사이에 성립하는 일정한 변환 관계에 대한 정보를 포함할 수 있다. 예를 들어, 변환 관계 정보(750)는 호모그래피 행렬(751)로 표현될 수도 있다. 프로세서(920)는 적어도 4개의 (특징점, 대응점) 쌍을 이용하여 호모그래피 행렬(751)에 포함된 인자값들을 결정할 수 있다.
일 실시예에 따른 프로세서(920)는 인자값들이 결정된 호모그래피 행렬(751)을 이용하여 특징점들(761)을 각각에 대응하는 대응점들(741)로 변환할 수 있다. 도 7b에서의 강의 장면(760)에는 특징점들(
Figure pat00001
)이 도시되어 있고 강의 자료에 포함된 페이지에는 대응점들(
Figure pat00002
)이 도시되어 있을 수 있다. 프로세서(920)는 변환 관계 정보(750)를 이용하여 각각의 특징점들(
Figure pat00003
)에 대응하는 대응점들(
Figure pat00004
)점들을 찾을 수 있다. 이를 통해 프로세서(920)는 높은 정확도로 페이지에서 강의 장면에 포함된 필기 정보와 대응되는 위치에 필기 정보를 합성할 수 있다.
도 8은 일 실시예에 따른 합성 방법을 설명하기 위한 순서도이다.
일 실시예에 따른, 프로세서(920)는 강의 자료에 기초한 강의 장면을 포함하는 입력 영상을 수신(810)할 수 있다.
일 실시예에 따른 프로세서(920)는 문서에 포함된 페이지를 기초로 해당 페이지에 필기되는 내용을 추출하도록 학습된 신경망을 이용하여, 강의 장면에 포함된 필기 정보를 획득(820)할 수 있다.
일 실시예에 따른 프로세서(920)는 강의 자료에 포함된 페이지들 중 강의 장면에 대응하는 페이지에 필기 정보를 합성(830)할 수 있다.
일 실시예에 따른 프로세서(920)는 필기 정보가 합성된 페이지를 디스플레이에 출력할 수 있다. 이를 통해, 사용자는 필기 정보가 합성된 페이지를 디스플레이를 통해 확인할 수 있다. 사용자는 강의 화면에 포함된 필기 내용이 강의 자료에 포함된 페이지에 올바르게 합성되었는지 확인할 수 있다. 프로세서(920)가 신경망을 이용하여 생성한 필기 정보에는 잘못된 정보가 존재할 수 있다. 예를 들어, 강의 화면에 포함된 필기 정보는 "신경망을 학습시키는 과정에서 과대적합이 일어날 수 있다"일 수 있다. 하지만 프로세서(920)가 신경망(630)을 이용하여 생성한 필기 정보는 "신경망을 학습시키는 과정에서 과소적합이 일어날 수 있다"일 수 있다. 이 경우, 강의 화면에 포함된 필기 정보와 프로세서(920)가 신경망(630)을 이용하여 생성한 필기 정보(640)가 달라서 오류가 발생할 수 있다.
일 실시예에 따른 프로세서(920)는 사용자 입력 정보에 기초하여 필기 정보가 합성된 페이지를 사용할지 여부를 결정할 수 있다. 사용자는 디스플레이에 출력된 필기 정보가 합성된 페이지를 확인할 수 있다. 이를 통해, 사용자는 프로세서(920)가 신경망(630)을 이용하여 생성한 필기 정보(640)에 오류가 있는지 확인할 수 있다. 나아가 프로세서(920)는 사용자로부터 필기 정보가 합성된 페이지를 사용할지 여부에 대한 정보를 수신할 수 있다. 프로세서(920)가 사용자로부터 필기 정보가 합성된 페이지를 사용한다는 요청을 수신한 경우, 프로세서(920)는 최종적으로 필기 정보가 합성된 페이지를 메모리(930)에 저장할 수 있다. 일 실시예에 따른 프로세서(920)는 사용자로부터 필기 정보(640) 수정 요청을 수신하여, 프로세서(920)가 신경망(630)을 이용하여 생성한 필기 정보(640)를 수정할 수도 있다. 예를 들어, 프로세서(920)는 사용자의 수정 요청을 수신하여, 필기가 표시되는 위치, 필기 내용 등을 수정할 수 있다. 이 때 사용자의 수정 요청은 어노테이션 기능을 통해 전자 장치(901)로 입력될 수 있다. 따라서, 프로세서(920)는 사용자가 수정한 필기 정보(640)가 합성된 페이지를 메모리(930)에 저장할 수도 있다. 다른 일 실시예에 따른 프로세서(920)는 사용자로부터 필기 정보가 합성된 페이지를 사용하지 않는다는 요청을 수신한 경우, 해당 페이지를 메모리(930)에 저장하지 않고 삭제할 수도 있다.
도 9는 일 실시예에 따른 전자 장치를 설명하기 위한 블록도이다.
도 9은, 다양한 실시예들에 따른, 네트워크 환경(900) 내의 전자 장치(901)의 블록도이다. 도 9을 참조하면, 네트워크 환경(900)에서 전자 장치(901)는 제 1 네트워크(998)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(902)와 통신하거나, 또는 제 2 네트워크(999)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(904) 또는 서버(908) 중 적어도 하나 와 통신할 수 있다. 일실시예에 따르면, 전자 장치(901)는 서버(908)를 통하여 전자 장치(904)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(901)는 프로세서(920), 메모리(930), 입력 모듈(950), 음향 출력 모듈(955), 디스플레이 모듈(960), 오디오 모듈(970), 센서 모듈(976), 인터페이스(977), 연결 단자(978), 햅틱 모듈(979), 카메라 모듈(980), 전력 관리 모듈(988), 배터리(989), 통신 모듈(990), 가입자 식별 모듈(996), 또는 안테나 모듈(997)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(901)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(978))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(976), 카메라 모듈(980), 또는 안테나 모듈(997))은 하나의 구성요소(예: 디스플레이 모듈(960))로 통합될 수 있다.
프로세서(920)는, 예를 들면, 소프트웨어(예: 프로그램(940))을 실행하여 프로세서(920)에 연결된 전자 장치(901)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(920)는 다른 구성요소(예: 센서 모듈(976) 또는 통신 모듈(990))로부터 수신된 명령 또는 데이터를 휘발성 메모리(932)에 저장하고, 휘발성 메모리(932)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(934)에 저장할 수 있다. 일실시예에 따르면, 프로세서(920)는 메인 프로세서(921)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(923)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(901)가 메인 프로세서(921) 및 보조 프로세서(923)를 포함하는 경우, 보조 프로세서(923)는 메인 프로세서(921)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(923)는 메인 프로세서(921)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(923)는, 예를 들면, 메인 프로세서(921)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(921)를 대신하여, 또는 메인 프로세서(921)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(921)와 함께, 전자 장치(901)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(960), 센서 모듈(976), 또는 통신 모듈(990))과 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(923)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(980) 또는 통신 모듈(990))의 일부로서 구현될 수 있다. 일실시예에 따르면, 보조 프로세서(923)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(901) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(908))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(930)는, 전자 장치(901)의 적어도 하나의 구성요소(예: 프로세서(920) 또는 센서 모듈(976))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(940)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(930)는, 휘발성 메모리(932) 또는 비휘발성 메모리(934)를 포함할 수 있다.
프로그램(940)은 메모리(930)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(942), 미들 웨어(944) 또는 어플리케이션(946)을 포함할 수 있다.
입력 모듈(950)은, 전자 장치(901)의 구성요소(예: 프로세서(920))에 사용될 명령 또는 데이터를 전자 장치(901)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(950)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(955)은 음향 신호를 전자 장치(901)의 외부로 출력할 수 있다. 음향 출력 모듈(955)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(960)은 전자 장치(901)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(960)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 디스플레이 모듈(960)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(970)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(970)은, 입력 모듈(950)을 통해 소리를 획득하거나, 음향 출력 모듈(955), 또는 전자 장치(901)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(902))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(976)은 전자 장치(901)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(976)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(977)는 전자 장치(901)가 외부 전자 장치(예: 전자 장치(902))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(977)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(978)는, 그를 통해서 전자 장치(901)가 외부 전자 장치(예: 전자 장치(902))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(978)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(979)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(979)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(980)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(980)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(988)은 전자 장치(901)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(988)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(989)는 전자 장치(901)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(989)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(990)은 전자 장치(901)와 외부 전자 장치(예: 전자 장치(902), 전자 장치(904), 또는 서버(908)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(990)은 프로세서(920)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(990)은 무선 통신 모듈(992)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(994)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(998)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(999)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(904)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(992)은 가입자 식별 모듈(996)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(998) 또는 제 2 네트워크(999)와 같은 통신 네트워크 내에서 전자 장치(901)를 확인 또는 인증할 수 있다.
무선 통신 모듈(992)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(992)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(992)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(992)은 전자 장치(901), 외부 전자 장치(예: 전자 장치(904)) 또는 네트워크 시스템(예: 제 2 네트워크(999))에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시예에 따르면, 무선 통신 모듈(992)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(997)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(997)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(997)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(998) 또는 제 2 네트워크(999)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(990)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 선택된 적어도 하나의 안테나를 통하여 통신 모듈(990)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(997)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(997)은 mmWave 안테나 모듈을 형성할 수 있다. 일실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(999)에 연결된 서버(908)를 통해서 전자 장치(901)와 외부의 전자 장치(904)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(902, 또는 904) 각각은 전자 장치(901)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(901)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(902, 904, 또는 908) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(901)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(901)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(901)로 전달할 수 있다. 전자 장치(901)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(901)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(904)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(908)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일실시예에 따르면, 외부의 전자 장치(904) 또는 서버(908)는 제 2 네트워크(999) 내에 포함될 수 있다. 전자 장치(901)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.

Claims (18)

  1. 전자 장치를 이용한 학습 보조 방법에 있어서,
    강의 자료를 수신하는 단계;
    문서에 포함된 페이지들을 서로 구분하도록 학습된 제1 신경망을 이용하여, 상기 강의 자료에 포함된 페이지들에 대응하는 제1 특징 벡터들을 생성하는 단계;
    상기 강의 자료에 기초한 강의 장면을 포함하는 입력 영상을 수신하는 단계;
    제2 신경망을 이용하여, 상기 강의 장면에 대응하는 제2 특징 벡터를 생성하는 단계; 및
    상기 제2 특징 벡터와 상기 제1 특징 벡터들 사이의 유사도에 기초하여 상기 강의 자료에 포함된 페이지들 중 상기 강의 장면에 대응하는 페이지를 지시하는 출력 페이지 정보를 결정하는 단계;
    를 포함하는,
    학습 보조 방법.
  2. 제1항에 있어서,
    상기 출력 페이지 정보는,
    상기 강의 장면에 대응되는 적어도 하나의 페이지 정보, 상기 페이지가 포함된 문서 정보 및 상기 문서를 디스플레이에 출력하기 위한 가이드 정보 중 적어도 하나를 포함하는,
    학습 보조 방법.
  3. 제1항에 있어서,
    상기 강의 장면에 대응하는 적어도 하나의 페이지 정보 및 사용자 입력 정보에 기초하여 상기 적어도 하나의 페이지에서 사용자가 선택한 페이지를 디스플레이에 출력하는 단계;
    를 더 포함하는,
    학습 보조 방법.
  4. 제1항에 있어서,
    상기 문서를 디스플레이에 출력하기 위한 가이드 정보를 디스플레이에 출력하는 단계;
    를 더 포함하는,
    학습 보조 방법.
  5. 제1항에 있어서,
    상기 제1 신경망은
    상기 강의 자료에서 서로 다른 학습 정보를 포함하는 각각의 페이지에 대응하는 특징 벡터 간의 거리가 멀어지도록 학습되고, 그리고
    상기 강의 자료에서 유사한 학습 정보를 포함하는 각각의 페이지에 대응하는 특징 벡터 간의 거리가 가까워지도록 학습된,
    학습 보조 방법.
  6. 제1항에 있어서,
    상기 제1 특징 벡터는
    상기 페이지에 포함된 학습 정보와 관련된 특징 벡터를 포함하는,
    학습 보조 방법.
  7. 제1항에 있어서,
    상기 제2 신경망은,
    영상 왜곡이 존재하는 입력 영상에서 학습 정보와 관련된 제2 특징 벡터를 생성하도록 학습된 신경망을 포함하는,
    학습 보조 방법.
  8. 제7항에 있어서,
    상기 영상 왜곡은
    촬영 장치의 기계적 특성으로 인해 발생하는 제1 왜곡 및 촬영 환경으로 인해 발생하는 제2 왜곡 중 적어도 하나를 포함하는,
    학습 보조 방법.
  9. 제1항에 있어서,
    상기 제2 신경망은,
    영상 왜곡을 보정하기 위한 제1 서브 신경망 및
    영상 왜곡이 보정된 영상으로부터 학습 정보와 관련된 특징 벡터를 획득하기 위한 제2 서브 신경망을 포함하는,
    학습 보조 방법.
  10. 전자 장치를 이용한 학습 보조 방법에 있어서,
    강의 자료에 기초한 강의 장면을 포함하는 입력 영상을 수신하는 단계;
    문서에 포함된 페이지를 기초로 해당 페이지에 필기되는 내용을 추출하도록 학습된 신경망을 이용하여, 상기 강의 장면에 포함된 필기 정보를 획득하는 단계; 및
    상기 강의 자료에 포함된 페이지들 중 상기 강의 장면에 대응하는 페이지에 상기 필기 정보를 합성시키는 단계;
    를 포함하는,
    학습 보조 방법.
  11. 제10항에 있어서,
    상기 필기 정보가 합성된 페이지를 디스플레이에 출력하는 단계; 및
    사용자 입력 정보에 기초하여 상기 필기 정보가 합성된 페이지를 사용할지 여부를 결정하는 단계;
    를 더 포함하는,
    학습 보조 방법.
  12. 제10항에 있어서,
    상기 문서에 포함된 페이지는,
    상기 강의 자료에 포함된 페이지들 중 상기 강의 장면에 대응하는 페이지를 지시하는 출력 페이지 정보 또는 상기 강의 자료 포함된 페이지에 대한 사용자의 선택 정보를 포함하는 사용자 입력 정보 중 적어도 하나에 기초하여 결정된 페이지를 포함하는,
    학습 보조 방법.
  13. 제10항에 있어서,
    상기 신경망은,
    상기 강의 장면에서 배경과 구분되는 강의 자료의 특징점을 추출하고, 상기 특징점과 대응되는 상기 페이지에서의 대응점을 추출하도록 학습된 신경망을 포함하는,
    학습 보조 방법.
  14. 제13항에 있어서,
    상기 필기 정보를 합성시키는 단계는,
    상기 특징점과 상기 대응점 간의 변환 관계 정보에 기초하여, 상기 필기 정보를 합성시키는 단계를 포함하는,
    학습 보조 방법.
  15. 제10항에 있어서,
    상기 필기 정보는,
    상기 입력 영상에서 필기가 표시된 위치 정보 및 상기 입력 영상에서 표시된 필기의 형태 정보 중 적어도 하나를 포함하는,
    학습 보조 방법.
  16. 제1항 내지 제15항 중에서 어느 하나의 항의 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 저장 매체.
  17. 전자 장치에 있어서,
    프로세서; 및
    상기 프로세서에 의해 실행 가능한 적어도 하나의 명령어를 포함하는 메모리
    를 포함하고,
    상기 적어도 하나의 명령어가 상기 프로세서에서 실행되면, 상기 프로세서는
    강의 자료를 수신하고,
    문서에 포함된 페이지들을 서로 구분하도록 학습된 제1 신경망을 이용하여, 상기 강의 자료에 포함된 페이지들에 대응하는 제1 특징 벡터들을 생성하고,
    상기 강의 자료에 기초한 강의 장면을 포함하는 입력 영상을 수신하는 단계;
    제2 신경망을 이용하여, 상기 강의 장면에 대응하는 제2 특징 벡터를 생성하고, 그리고
    상기 제2 특징 벡터와 상기 제1 특징 벡터들 사이의 유사도에 기초하여 상기 강의 자료에 포함된 페이지들 중 상기 강의 장면에 대응하는 페이지를 지시하는 출력 페이지 정보를 결정하는,
    전자 장치.
  18. 전자 장치에 있어서,
    프로세서; 및
    상기 프로세서에 의해 실행 가능한 적어도 하나의 명령어를 포함하는 메모리
    를 포함하고,
    상기 적어도 하나의 명령어가 상기 프로세서에서 실행되면, 상기 프로세서는
    강의 자료에 기초한 강의 장면을 포함하는 입력 영상을 수신하고,
    문서에 포함된 페이지를 기초로 해당 페이지에 필기되는 내용을 추출하도록 학습된 신경망을 이용하여, 상기 강의 장면에 포함된 필기 정보를 획득하고, 그리고
    상기 강의 자료에 포함된 페이지들 중 상기 강의 장면에 대응하는 페이지에 상기 필기 정보를 합성시키는,
    전자 장치.
KR1020210158752A 2021-10-08 2021-11-17 학습을 보조하기 위한 방법 및 장치 KR20230051021A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP22878821.2A EP4358010A1 (en) 2021-10-08 2022-09-30 Method and device for assisting learning
PCT/KR2022/014747 WO2023059000A1 (ko) 2021-10-08 2022-09-30 학습을 보조하기 위한 방법 및 장치
US18/081,092 US20230109737A1 (en) 2021-10-08 2022-12-14 Methods and devices for assisting learning

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20210134103 2021-10-08
KR1020210134103 2021-10-08

Publications (1)

Publication Number Publication Date
KR20230051021A true KR20230051021A (ko) 2023-04-17

Family

ID=86128007

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210158752A KR20230051021A (ko) 2021-10-08 2021-11-17 학습을 보조하기 위한 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20230051021A (ko)

Similar Documents

Publication Publication Date Title
WO2022042120A1 (zh) 目标图像提取方法、神经网络训练方法及装置
US20230076342A1 (en) Method and apparatus for providing image
US20230224573A1 (en) Method and device for photography guidance of flexible display
CN110555102A (zh) 媒体标题识别方法、装置及存储介质
EP4177727A1 (en) Electronic device, and method for processing writing input thereof
KR20230051021A (ko) 학습을 보조하기 위한 방법 및 장치
EP4358010A1 (en) Method and device for assisting learning
WO2023059000A1 (ko) 학습을 보조하기 위한 방법 및 장치
KR20220061763A (ko) 화상 회의를 제공하는 전자 장치 및 화상 회의를 제공하는 방법
US11829408B2 (en) Method and electronic device for providing personalized media content
US20230244351A1 (en) Audio playback and screen display method and device therefor
US12026339B2 (en) Electronic device, and method for displaying content in electronic device
US20230156317A1 (en) Electronic device for obtaining image at user-intended moment and method for controlling the same
US20240040234A1 (en) Electronic device and method for displaying image based on interaction
US12026850B2 (en) Electronic device, and method for processing writing input thereof
US20230143688A1 (en) Electronic device and method for automatically generating edited video
US20240005928A1 (en) Electronic device and method by which electronic device stores tag information of content
US20230236696A1 (en) Electronic device, and method for displaying content in electronic device
US20240037722A1 (en) Electronic device for encoding video, and control method therefor
US20230367459A1 (en) Electronic device for performing screen capture and method for capturing screen by electronic device
US20240020084A1 (en) Screen sharing method and electronic device therefor
KR20230143470A (ko) 손글씨 동기화 방법 및 전자 장치
KR20230100091A (ko) 전자 장치 및 전자 장치의 동작 방법
KR20230065668A (ko) 동영상을 촬영을 제공하는 전자 장치 및 그 방법
KR20240029474A (ko) 텍스트를 포함하는 이미지를 처리하기 위한 전자 장치 및 방법