KR102321408B1 - 개인화된 메모패드 서비스 제공 방법, 장치 및 시스템 - Google Patents

Abstract

개인화된 메모패드 서비스 제공 방법, 장치 및 시스템이 개시된다. 일실시예에 따른 개인화된 메모패드 서비스 제공 방법은, 사용자의 수기 이미지를 획득하고, 수기 이미지로부터 텍스트 객체를 검출하며, 검출된 텍스트 객체를 이용하여 사용자의 메모 유형을 분류하고, 메모 유형에 따라서 검출된 텍스트 객체를 처리하여 개인화된 메모 템플릿을 생성한다.

Description

개인화된 메모패드 서비스 제공 방법, 장치 및 시스템{METHOD, APPARATUS AND SYSTEM FOR　PROVIDING PERSONALIZED MEMO PAD SERVICE}

아래 실시예들은 개인화된 메모패드 서비스 제공 방법, 장치 및 시스템에 관한 것이다.

실시예들과 관련된 배경기술로,　대한민국 등록특허공보　KR 10-1457801 B1은 메모 입력이 가능한 터치 메모패드 및 터치 메모패드와 연동되는 모바일 디바이스를 이용한 메모 전송 방법을 개시한다.　　구체적으로,　선행문헌은 메모 입력이 가능한 터치 메모패드 및 터치 메모패드와 연동되는 모바일 디바이스를 이용한 메모 전송 방법에 관한 것으로서, 더욱 상세하게는 모바일 디바이스의 케이스 등에 부착되는 터치 메모패드에 기록된 메모 내용을 무선통신을 통해 모바일 디바이스로 전송하고, 메모를 수신한 모바일 디바이스가 해당 메모를 어플리케이션을 통해 사용할 수 있는 메모 입력이 가능한 터치 메모패드 및 터치 메모패드와 연동되는 모바일 디바이스를 이용한 메모 전송 방법을 개시한다.

이를 통해, 선행문헌은 사용자가 터치 메모패드에 입력한 텍스트 및 이미지 등을 입력과 동시에 터치 메모패드에 출력하고 저장한 후, 사용자의 요청에 따라 모바일 디바이스로 전송함으로써, 모바일 디바이스의 전원이 종료된 경우에도 메모를 저장할 수 있는 효과가 있다.

또한, 대한민국 공개특허공보 KR 10-2013-0065867 A는 개인화된 정보 제공 시스템, 방법 및 그에 대한 기록매체를 개시한다. 구체적으로, 선행문헌은 메모장에 기록된 메모 내용 중 선택된 내용을 인텐트로 등록하여 개인화 정보 제공 장치로부터 인텐트에 대한 추천 정보를 수신하고, 메모에서 인텐트가 선택된 경우 선택된 인텐트에 대한 추천 정보를 표시하며, 추천 정보 중에서 선택된 개인화된 정보를 아이템 리스트로 등록하여 메모의 일정 영역에 표시하는 사용자 단말, 사용자 단말기로부터의 인텐트 등록 요청에 따라 해당 인텐트를 등록하고, 개인화된 검색 데이터베이스를 이용하여 인텐트에 대응되는 정보를 검색하고, 검색된 정보를 개인화 알고리즘을 이용하여 우선순위를 부여하고 우선순위가 높은 개인화된 정보를 추천 정보로 사용자 단말에 제공하는 개인화 정보 제공 장치를 개시한다.

이를 통해, 선행문헌은 메모장에 등록된 인텐트와 연관된 관련정보를 아이템 리스트로 등록하여 인텐트와 그에 대한 관련정보를 메모로 동시에 관리할 수 있으므로, 사용자는 자신이 원하는 정보를 쉽게 확인할 수 있다.

그러나 선행문헌들은 사용자의 수기 이미지를 획득하고, 수기 이미지로부터 텍스트 객체를 검출하며, 검출된 텍스트 객체를 이용하여 사용자의 메모 유형을 분류하고, 메모 유형에 따라서 검출된 텍스트 객체를 처리하여 개인화된 메모 템플릿을 생성하는 기술적 특징을 개시하지 않는다.

대한민국 등록특허공보　KR 10-1457801 B1 대한민국 공개특허공보 KR 10-2013-0065867 A

실시예들은 사용자의 수기(手記)를 인식하여 개인화된 메모 템플릿을 제공하고자 한다.

실시예들은 사용자 선호 정보를 반영한 템플릿 모델을 사용자에게 제공하고자 한다.

실시예들은 개인화된 메모 템플릿 생성 시 루틴에서 벗어나는 경우 사용자에게 인식시키고자 한다.

본 발명의 실시예에 따른 개인화된 메모패드 서비스 제공 방법은, 사용자의 수기 이미지를 획득하는 단계; 상기 수기 이미지로부터 텍스트 객체를 검출하는 단계; 상기 검출된 텍스트 객체를 이용하여 상기 사용자의 메모 유형을 분류하는 단계; 및 상기 메모 유형에 따라서 상기 검출된 텍스트 객체를 처리하여 개인화된 메모 템플릿을 생성하는 단계를 포함할 수 있다.

일 실시예로서, 상기 개인화된 메모 템플릿을 생성하는 단계는 상기 검출된 텍스트 객체의 글꼴을 인식하는 단계; 상기 인식된 글꼴을 이용하여 제1　메모 템플릿 모델을 생성하는 단계; 상기 제1　메모 템플릿 모델을 상기 사용자 단말로 전송하여 상기 제1　메모 템플릿 모델에 대한 승인을 획득하고,　사용자 선호 정보를 문의하는 단계; 상기 사용자 단말에 의해서 상기 사용자 선호 정보　-　상기 사용자 선호 정보는,　글꼴,　글씨 색,　글씨 굵기,　여백, 년간 템플릿, 월간 템플릿, 주간 템플릿, 일간 템플릿 중 적어도 하나의 정보를 포함함　-　를 획득하는 단계; 미리 학습된 제1 뉴럴 네트워크에 상기 제1　메모 템플릿 및 상기 사용자 선호 정보를 적용하여 상기 제1　메모 템플릿 모델을 수정한 제2　메모 템플릿 모델을 생성하는 단계; 상기 제2　메모 템플릿 모델을 상기 사용자 단말로 전송하여 사용자의 승인을 획득하는 단계;　및 상기 제2　메모 템플릿 모델을 제작 서버로 전송하여 상기 제2　메모 템플릿에 따른 실제 모형 제작을 요청하는 단계를 포함할 수 있다.

일 실시예로서, 상기 텍스트 객체가 포함하는 일자 정보 및 키워드 정보를 추출하는 단계; 상기 추출된 일자 정보를 이용하여 미리 설정된 기간 동안의 동일한 일자에 기록된 텍스트 정보들을 추출하는 단계; 미리 학습된 제2 뉴럴 네트워크에 상기 추출된 텍스트 정보들을 적용하여 루틴 정보를 추출하는 단계; 상기 텍스트 객체와 상기 루틴 정보를 비교하여 상기 키워드 정보가 상기 루틴 정보와 일치하는지 여부를 판단하는 단계; 상기 키워드 정보가 상기 루틴 정보와 일치하지 않을 경우 알람 정보를 생성하는 단계; 상기 알람 정보를 상기 사용자 단말로 전송하여 사용자 루틴과 일치하지 않음을 알리는 단계; 및 상기 사용자의 승인에 의하여 상기 텍스트 객체가 나타내는 정보를 상기 개인화된 메모 템플릿에서 제외시키는 단계를 더 포함할 수 있다.

일 실시예로서, 상기 개인화된 메모 템플릿을 생성하는 단계는 상기 개인화된 메모 템플릿의 생성 횟수를 산출하는 단계; 상기 산출된 생성 횟수가 미리 설정된 임계값 이상인 경우 상기 개인화된 메모 템플릿의 정기 구독을 위한 결제 정보를 상기 사용자 단말로 전송하여 사용자의 승인을 획득하는 단계; 및 상기 개인화된 메모 템플릿을 제작 서버로 전송하여 상기 개인화된 메모 템플릿에 따른 메모 템플릿을 정기적으로 제작하도록 요청하는 단계를 포함할 수 있다.

일 실시예로서, 상기 수기 이미지를 획득하는 단계는 제1 사용자 계정이 로그인된 제1 사용자 단말로부터 제1 파트 수기 이미지를 수신하는 단계; 제2 사용자 계정이 로그인된 제2 사용자 단말로부터 제2 파트 수기 이미지를 수신하는 단계; 상기 제1 파트 수기 이미지 및 상기 제2 파트 수기 이미지를 결합하여 제1 수기 이미지를 생성하는 단계; 상기 제1 수기 이미지에서 상기 제1 파트 수기 이미지가 차지하는 비율인 제1 비율을 획득하고, 상기 제1 수기 이미지에서 상기 제2 파트 수기 이미지가 차지하는 비율인 제2 비율을 획득하는 단계; 상기 제1 비율이 상기 제2 비율 보다 큰 것으로 확인되면, 상기 제1 사용자 계정의 정보를 상기 제1 수기 이미지의 제1 저작자 정보로 등록하고, 상기 제2 사용자 계정의 정보를 상기 제1 수기 이미지의 제2 저작자 정보로 등록하는 단계; 상기 제1 비율이 상기 제2 비율 보다 작은 것으로 확인되면, 상기 제2 사용자 계정의 정보를 상기 제1 수기 이미지의 제1 저작자 정보로 등록하고, 상기 제1 사용자 계정의 정보를 상기 제1 수기 이미지의 제2 저작자 정보로 등록하는 단계; 상기 제1 수기 이미지의 원저작자 정보와 상기 제1 사용자 계정의 정보 및 상기 제2 사용자 계정의 정보 중 어느 하나가 일치하는지 여부를 확인하는 단계; 상기 제1 수기 이미지의 원저작자 정보와 상기 제1 사용자 계정의 정보 및 상기 제2 사용자 계정의 정보가 모두 일치하지 않는 것으로 확인되면, 상기 제1 수기 이미지를 상기 제2 수기 이미지의 수정으로 생성된 2차 저작물로 판정하는 단계; 상기 제1 비율이 상기 제2 비율 보다 큰 것으로 확인되면, 상기 제1 사용자 계정의 정보를 상기 제1 수기 이미지의 제1 저작자 정보로 등록하고, 상기 제2 사용자 계정의 정보를 상기 제1 수기 이미지의 제2 저작자 정보로 등록하고, 상기 제1 수기 이미지의 원저작자로 등록된 제3 사용자 계정의 정보를 상기 제1 수기 이미지의 제3 저작자를 나타내는 제3 저작자 정보로 등록하는 단계; 및 상기 제1 비율이 상기 제2 비율 보다 작은 것으로 확인되면, 상기 제2 사용자 계정의 정보를 상기 제1 수기 이미지의 제1 저작자 정보로 등록하고, 상기 제1 사용자 계정의 정보를 상기 제1 수기 이미지의 제2 저작자 정보로 등록하고, 상기 제3 사용자 계정의 정보를 상기 제1 수기 이미지의 제3 저작자 정보로 등록하는 단계를 포함할 수 있다.

실시예들은 사용자의 수기를 자동 인식하고 사용자의 선호 정보를 반영하여 개인화된 메모 템플릿을 제공함으로써 메모 템플릿에 대한 사용자 만족도를 향상시킬 수 있고, 사용자의 루틴에서 벗어난 메모가 추출될 경우 사용자에게 알림으로써 중요한 일정을 개인화된 메모 템플릿에서 제외시키기 때문에 사용자의 실수로 인해서 중요한 일정 생성에 있어서의 오류를 감소시킬 수 있다.

도 1은 일실시예에 따른 개인화된 메모패드 서비스 제공 시스템을 설명하기 위한 도면이다.
도 2는 일실시예에 따른 뉴럴 네트워크의 학습을 설명하기 위한 도면이다.
도 3은 일실시예에 따른 개인화된 메모패드 서비스 제공 장치를 설명하기 위한 도면이다.
도 4는 일실시예에 따른 필요 개인화된 메모패드 서비스 제공 방법의 흐름도이다.
도 5는 일실시예에 따른 장치 구성의 예시도이다.
도 6 내지 도 8은 일실시예에 따른 개인화된 메모 템플릿의 예시도이다.
도 9는 일실시예에 따른 루틴 관련 서비스의 개념도이다.

이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.

실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

실시예들은 퍼스널 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트 폰, 텔레비전, 스마트 가전 기기, 지능형 자동차, 키오스크, 웨어러블 장치 등 다양한 형태의 제품으로 구현될 수 있다.

인공지능(Artificial Intelligence, AI) 시스템은 인간 수준의 지능을 구현하는 컴퓨터 시스템이며, 기존 규칙(Rule) 기반의 스마트 시스템과 달리 기계가 스스로 학습하고 판단하는 시스템이다. 인공지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 규칙 기반의 스마트 시스템은 점차 심층 학습(Deep Learning) 기반 인공지능 시스템으로 대체되고 있다.

인공지능 기술은 기계 학습 및 기계 학습을 활용한 요소기술들로 구성된다. 기계 학습은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘 기술이며, 요소기술은 심층 학습 등의 기계 학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성된다.

인공지능 기술이 응용되는 다양한 분야는 다음과 같다. 언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어 처리, 기계 번역, 대화시스템, 질의 응답, 음성 인식/합성 등을 포함한다. 시각적 이해는 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 인식, 객체 추적, 영상 검색, 사람 인식, 장면 이해, 공간 이해, 영상 개선 등을 포함한다. 추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론, 최적화 예측, 선호 기반 계획, 추천 등을 포함한다. 지식 표현은 인간의 경험정보를 지식데이터로 자동화 처리하는 기술로서, 지식 구축(데이터 생성/분류), 지식 관리(데이터 활용) 등을 포함한다. 동작 제어는 차량의 자율 주행, 로봇의 움직임을 제어하는 기술로서, 움직임 제어(항법, 충돌, 주행), 조작 제어(행동 제어) 등을 포함한다.

일반적으로 기계 학습 알고리즘을 실생활에 적용하기 위해서는 기계 학습의 기본 방법론의 특성상 Trial and Error 방식으로 학습을 수행하게 된다. 특히, 심층 학습의 경우 수십만 번의 반복 실행을 필요로 한다. 이를 실제 물리적인 외부 환경에서 실행하기는 불가능하여 대신 실제 물리적인 외부 환경을 컴퓨터상에서 가상으로 구현하여 시뮬레이션을 통해 학습을 수행한다.

도 1은 일실시예에 따른 개인화된 메모패드 서비스 제공 시스템을 설명하기 위한 도면이다.

도 1에 도시한 바와 같이, 개인화된 메모패드 서비스 제공 시스템(100)은, 다수의 사용자 단말(110-1, … , 110-n), 개인화된 메모패드 서비스 제공 장치(120), 데이터베이스(130), 제작 서버(140) 및 네트워크(N)를 포함할 수 있다. 일 실시예에 따르면, 데이터베이스(130)는 개인화된 메모패드 서비스 제공 장치(120)와 별도로 구성된 것으로 도시되었지만 이에 한정되지 않고, 데이터베이스(130)가 개인화된 메모패드 서비스 제공 장치(120) 내에 구비될 수도 있다. 예를 들어, 개인화된 메모패드 서비스 제공 장치(120)는, 기계 학습 알고리즘의 수행을 위한 다수의 뉴럴 네트워크를 포함할 수 있다.

개인화된 메모패드 서비스 제공 장치(120)는, 다수의 사용자 단말(110-1, … , 110-n) 중 어느 하나의 사용자 단말(예를 들어, 110-1)로부터 사용자의 수기(手記) 이미지를 획득할 수 있다. 일 실시예에 따르면, 개인화된 메모패드 서비스 제공 장치(120)는, 미리 설정된 기간(예를 들어, 3일, 1주일, 1개월 등) 동안의 수기 이미지들을 획득할 수 있다.

개인화된 메모패드 서비스 제공 장치(120)는, 획득한 수기 이미지로부터 텍스트 객체를 검출할 수 있다. 일 실시예에 따르면, 텍스트 객체는 수기 이미지가 획득된 일자 정보 및 텍스트 객체의 자연 언어 처리를 수행하여 생성된 키워드 정보를 포함할 수 있다.

개인화된 메모패드 서비스 제공 장치(120)는, 수기 이미지로부터 검출된 텍스트 객체를 이용하여 사용자의 메모 유형의 분류를 수행할 수 있다. 일 실시예에 따르면, 개인화된 메모패드 서비스 제공 장치(120)는, 수기 이미지로부터 검출된 텍스트 객체를 이용하여 사용자의 메모 유형이 일정에 관한 메모인지, 특별한 목적을 두지 않고 자유롭게 기재한 내용인지 등으로 메모 유형의 분류를 수행할 수 있다. 예를 들어, 개인화된 메모패드 서비스 제공 장치(120)는, 텍스트 객체가 시간 및 장소 정보를 포함하는 경우 메모 유형을 일정에 관한 메모로 분류할 수 있고, 텍스트 객체가 시간 및 장소 정보를 포함하지 않는 경우 특별한 목적을 두지 않고 자유롭게 기재한 내용으로 분류할 수 있지만, 메모 유형 분류 방법이 이에 한정되지 않는다.

개인화된 메모패드 서비스 제공 장치(120)는, 메모 유형에 따라서 검출된 텍스트 객체를 처리하여 개인화된 메모 템플릿을 생성할 수 있다. 일 실시예에 따르면, 개인화된 메모패드 서비스 제공 장치(120)는, 분류된 메모 유형에 따라서 텍스트 객체가 시간 및 장소 정보를 포함하여 일정에 관한 메모로 분류된 경우 해당 일정 정보를 캘린더에 표시하는 형태로 개인화된 메모 템플릿을 생성할 수 있고, 분류된 메모 유형에 따라서 텍스트 객체가 시간 및 장소 정보를 포함하지 않아서 특별한 목적을 두지 않고 자유롭게 기재한 내용으로 분류된 경우 텍스트 객체가 포함하는 내용을 자유 기입란에 표시하는 형태로 개인화된 메모 템플릿을 생성할 수 있지만, 이에 한정되지 않는다.

개인화된 메모패드 서비스 제공 장치(120)는, 아날로그 메모패드에 사용자가 수기로 기재한 내용을 포함하는 사용자의 수기 이미지를 다수의 사용자 단말(110-1, … , 110-n) 중 어느 하나의 사용자 단말(예를 들어, 110-1)로부터 획득하고, 수기 이미지로부터 텍스트 객체를 검출할 수 있다. 일 실시예에 따르면, 개인화된 메모패드 서비스 제공 장치(120)는, 아날로그 메모패드에 미리 기재되어 있는 내용을 제외하고 사용자가 수기로 기재한 내용만을 텍스트 객체로 검출할 수 있다. 예를 들어, 아날로그 메모패드는, 사용자가 오프라인에서 구매한 실물 메모패드를 포함할 수 있지만 이에 한정되지 않는다.

개인화된 메모패드 서비스 제공 장치(120)는, 아날로그 메모패드와 동일한 양식의 디지털 메모패드에 수기 이미지로부터 검출된 텍스트 객체를 입력하여 아날로그 메모패드에 수기로 기재된 내용이 디지털 메모패드에도 동기화되도록 할 수 있다. 일 실시예에 따르면, 개인화된 메모패드 서비스 제공 장치(120)는, 수기 이미지로부터 아날로그 메모패드와 디지털 메모패드에 동일하게 기재된 내용을 제외한 텍스트 객체를 검출할 수 있어서 아날로그 메모패드에서 새롭게 업데이트된 내용만을 디지털 메모패드에 업데이트되도록 할 수 있다. 이와 같은 구성으로 인하여 개인화된 메모패드 서비스 제공 장치(120)는, 아날로그 메모패드에 기재된 모든 데이터를 디지털 메모패드에 동기화하지 않고 변경된 내용만을 디지털 메모패드에 동기화하여 데이터 처리의 효율성 및 속도를 향상시킬 수 있다.

개인화된 메모패드 서비스 제공 장치(120)는, 아날로그 메모패드의 새로운 버전이 출시될 경우, 새롭게 출시된 버전의 아날로그 메모패드와 동기화되도록 디지털 매모패드를 아날로그 메모패드와 동일한 버전으로 업데이트할 수 있다.

개인화된 메모패드 서비스 제공 장치(120)는, 디지털 매모패드의 새로운 버전이 출시될 경우, 새롭게 출시된 버전의 디지털 메모패드와 동일한 버전의 아날로그 메모패드를 사용자에게 제공하도록 아날로그 메모패드 제작 신호를 형성하여 제작 서버(140)로 전송할 수 있다. 제작 서버(140)는, 아날로그 메모패드 제작 신호를 수신할 경우 메모패드 제작 신호가 포함하는 버전의 아날로그 메모패드를 제작하여 해당 디지털 메모패드를 사용하는 사용자의 주소지로 배송하도록 할 수 있다. 이와 같은 구성으로 인하여 아날로그 및 디지털 메모패드 사용자는 자신이 사용하고 있는 아날로그 매모패드와 일치하는 디지털 매모패드 또는 자신이 사용하고 있는 디지털 메모패드와 일치하는 아날로그 메모패드를 온/오프라인에서 동시에 사용하고 있다는 일체감을 느낄 수 있고, 온/오프라인에서 아날로그 및 디지털 메모패드에 기재한 내용을 연동시킬 수 있어서 메모패드 사용자의 편의성을 향상시킬 수 있다.

개인화된 메모패드 서비스 제공 장치(120)는, 개인화된 메모 템플릿을 생성하는 경우, 수기 이미지로부터 검출된 텍스트 객체의 글꼴 인식하고, 인식된 글꼴을 이용하여 제1　메모 템플릿 모델을 생성할 수 있다.

개인화된 메모패드 서비스 제공 장치(120)는, 제1　메모 템플릿 모델을 사용자 단말(110-1)로 전송하여 제1　메모 템플릿 모델에 대한 승인을 획득하고,　사용자 선호 정보를 문의할 수 있다.

개인화된 메모패드 서비스 제공 장치(120)는, 사용자 단말(110-1)에 의해서 사용자 선호 정보를 획득할 수 있다. 일 실시예에 따르면, 사용자 선호 정보는,　글꼴,　글씨 색,　글씨 굵기,　여백, 년간 템플릿, 월간 템플릿, 주간 템플릿, 일간 템플릿 중 적어도 하나의 정보를 포함할 수 있지만, 이에 한정되지 않는다.

개인화된 메모패드 서비스 제공 장치(120)는, 미리 학습된 제1 뉴럴 네트워크에 제1　메모 템플릿 및 사용자 선호 정보를 적용하여 제1　메모 템플릿 모델을 수정한 제2　메모 템플릿 모델을 생성할 수 있다.

개인화된 메모패드 서비스 제공 장치(120)는, 제2　메모 템플릿 모델을 사용자 단말(110-1)로 전송하여 사용자의 승인을 획득할 수 있다. 이와 같이, 개인화된 메모패드 서비스 제공 장치(120)는, 생성된 메모 템플릿 모델에 대하여 사용자의 승인을 2차례 획득하기 때문에 오프라인 메모 템플릿을 제작하는 경우 오류 또는 변심으로 인한 재제작 횟수를 현저하게 감소시킬 수 있다.

개인화된 메모패드 서비스 제공 장치(120)는, 제2　메모 템플릿 모델을 제작 서버(140)로 전송하여 제2　메모 템플릿에 따른 메모 템플릿을 실제 모형으로 제작하도록 요청할 수 있다.

개인화된 메모패드 서비스 제공 장치(120)는, 텍스트 객체가 포함하는 일자 정보 및 키워드 정보를 추출하고, 추출된 일자 정보를 이용하여 미리 설정된 기간 동안의 동일한 일자에 기록된 텍스트 정보들을 추출할 수 있다. 일 실시예에 따르면, 개인화된 메모패드 서비스 제공 장치(120)는, 텍스트 객체로부터 일자 정보(예를 들어, 2021년 2월 23일(화요일) 오후 2시 30분)를 추출하고, 추출된 일자 정보를 이용하여 미리 설정된 기간 동안의 동일한 일자(예를 들어, 직전 5개년도의 동일한 일자인 2020년 2월 23일, 2019년 2월 23일, 2018년 2월 23일, 2017년 2월 23일 및 2016년 2월 23일 또는 직전 3주동안의 동일한 요일인 2월 16일, 2월 9일 및 2월 2일 등)에 기록된 텍스트 정보들을 추출할 수 있다.

개인화된 메모패드 서비스 제공 장치(120)는, 미리 학습된 제2 뉴럴 네트워크에 추출된 텍스트 정보들을 적용하여 루틴 정보를 추출할 수 있고, 텍스트 객체와 루틴 정보를 비교하여 키워드 정보가 루틴 정보와 일치하는지 여부를 판단할 수 있다.

개인화된 메모패드 서비스 제공 장치(120)는, 키워드 정보가 루틴 정보와 일치하지 않을 경우 알람 정보를 생성하고, 알람 정보를 사용자 단말(110-1)로 전송하여 사용자 루틴과 일치하지 않음을 사용자에게 알릴 수 있다.

개인화된 메모패드 서비스 제공 장치(120)는, 사용자의 승인에 의하여 텍스트 객체가 나타내는 정보를 개인화된 메모 템플릿에서 제외시킬 수 있다. 이와 같이, 개인화된 메모패드 서비스 제공 장치(120)는, 사용자의 루틴에서 벗어난 메모가 추출될 경우 사용자에게 알림으로써 중요한 일정을 개인화된 메모 템플릿에서 제외시키기 때문에 사용자의 실수로 인해서 중요한 일정 생성에 있어서의 오류를 감소시킬 수 있다.

개인화된 메모패드 서비스 제공 장치(120)는, 개인화된 메모 템플릿을 생성할 경우, 개인화된 메모 템플릿의 생성 횟수를 산출하고, 산출된 생성 횟수가 미리 설정된 임계값(예를 들어, 3회, 5회, 10회 등) 이상인 경우 개인화된 메모 템플릿의 정기 구독을 위한 결제 정보를 사용자 단말(110-1)로 전송하여 사용자의 승인을 획득하며, 개인화된 메모 템플릿을 제작 서버(140)로 전송하여 개인화된 메모 템플릿에 따른 메모 템플릿의 실제 모형을 정기적으로 제작하도록 요청할 수 있다.

개인화된 메모패드 서비스 제공 장치(120)는, 수기 이미지를 획득할 경우 제1 사용자 계정이 로그인된 제1 사용자 단말(110-1)로부터 제1 파트 수기 이미지를 수신하고, 제2 사용자 계정이 로그인된 제2 사용자 단말(110-n)로부터 제2 파트 수기 이미지를 수신하며, 제1 파트 수기 이미지 및 제2 파트 수기 이미지를 결합하여 제1 수기 이미지를 생성하고, 제1 수기 이미지에서 제1 파트 수기 이미지가 차지하는 비율인 제1 비율을 획득하고, 제1 수기 이미지에서 제2 파트 수기 이미지가 차지하는 비율인 제2 비율을 획득하며, 제1 비율이 제2 비율 보다 큰 것으로 확인되면, 제1 사용자 계정의 정보를 제1 수기 이미지의 제1 저작자 정보로 등록하고, 제2 사용자 계정의 정보를 제1 수기 이미지의 제2 저작자 정보로 등록하고, 제1 비율이 제2 비율 보다 작은 것으로 확인되면, 제2 사용자 계정의 정보를 제1 수기 이미지의 제1 저작자 정보로 등록하고, 제1 사용자 계정의 정보를 제1 수기 이미지의 제2 저작자 정보로 등록하며, 제1 수기 이미지의 원저작자 정보와 제1 사용자 계정의 정보 및 제2 사용자 계정의 정보 중 어느 하나가 일치하는지 여부를 확인하고, 제1 수기 이미지의 원저작자 정보와 제1 사용자 계정의 정보 및 제2 사용자 계정의 정보가 모두 일치하지 않는 것으로 확인되면, 제1 수기 이미지를 제2 수기 이미지의 수정으로 생성된 2차 저작물로 판정하며, 제1 비율이 제2 비율 보다 큰 것으로 확인되면, 제1 사용자 계정의 정보를 제1 수기 이미지의 제1 저작자 정보로 등록하고, 제2 사용자 계정의 정보를 제1 수기 이미지의 제2 저작자 정보로 등록하고, 제1 수기 이미지의 원저작자로 등록된 제3 사용자 계정의 정보를 제1 수기 이미지의 제3 저작자를 나타내는 제3 저작자 정보로 등록하고, 제1 비율이 제2 비율 보다 작은 것으로 확인되면, 제2 사용자 계정의 정보를 제1 수기 이미지의 제1 저작자 정보로 등록하고, 제1 사용자 계정의 정보를 제1 수기 이미지의 제2 저작자 정보로 등록하고, 제3 사용자 계정의 정보를 제1 수기 이미지의 제3 저작자 정보로 등록할 수 있다.

제작 서버(140)는 개인화된 메모패드 서비스 제공 장치(120)로부터 수신된 요청에 따라서 개인화된 메모 템플릿에 따른 실제 모형을 제작할 수 있다.

네트워크(N)는, 다수의 사용자 단말(110-1, … , 110-n), 개인화된 메모패드 서비스 제공 장치(120), 데이터베이스(130), 제작 서버(140) 등 간의 무선 또는 유선 통신을 수행하도록 할 수 있다. 예를 들어, 네트워크는 LTE(long-term evolution), LTE-A(LTE Advanced), CDMA(code division multiple access), WCDMA(wideband CDMA), WiBro(Wireless BroadBand), WiFi(wireless fidelity), 블루투스(Bluetooth), NFC(near field communication), GPS(Global Positioning System) 또는 GNSS(global navigation satellite system) 등의 방식에 따른 무선 통신을 수행하도록 할 수 있다. 예를 들어, 네트워크는 USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard 232) 또는 POTS(plain old telephone service) 등의 방식에 따른 유선 통신을 수행하도록 할 수도 있다.

데이터베이스(130)는, 다양한 데이터를 저장할 수 있다. 데이터베이스(130)에 저장되는 데이터는, 다수의 사용자 단말(110-1, … , 110-n), 개인화된 메모패드 서비스 제공 장치(120), 제작 서버(140)의 적어도 하나의 구성요소에 의해 획득되거나, 처리되거나, 사용되는 데이터로서, 소프트웨어(예를 들어: 프로그램)를 포함할 수 있다. 데이터베이스(130)는, 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 일 실시예로서, 데이터베이스(130)는, 다수의 사용자 단말(110-1, … , 110-n)로부터 획득된 수기 이미지들 및 사용자 선호 정보, 개인화된 메모패드 서비스 제공 장치(120)에서 생성된 텍스트 객체, 개인화된 메모 템플릿, 일자 정보, 키워드 정보, 루틴 정보, 알람 정보, 디지털 메모패드 등을 저장할 수 있다.

본 발명에서, 인공지능(Artificial Intelligence, AI)은 인간의 학습능력, 추론능력, 지각능력 등을 모방하고, 이를 컴퓨터로 구현하는 기술을 의미하고, 기계 학습, 심볼릭 로직(Symbolic Logic) 등의 개념을 포함할 수 있다. 기계 학습(Machine Learning, ML)은 입력 데이터들의 특징을 스스로 분류 또는 학습하는 알고리즘 기술이다. 인공지능의 기술은 기계 학습의 알고리즘으로써 입력 데이터를 분석하고, 그 분석의 결과를 학습하며, 그 학습의 결과에 기초하여 판단이나 예측을 할 수 있다. 또한, 기계 학습의 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술들 역시 인공지능의 범주로 이해될 수 있다. 예를 들어, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야가 포함될 수 있다.

기계 학습은 데이터를 처리한 경험을 이용해 신경망 모델을 훈련시키는 처리를 의미할 수 있다. 기계 학습을 통해 컴퓨터 소프트웨어는 스스로 데이터 처리 능력을 향상시키는 것을 의미할 수 있다. 신경망 모델은 데이터 사이의 상관 관계를 모델링하여 구축된 것으로서, 그 상관 관계는 복수의 파라미터에 의해 표현될 수 있다. 신경망 모델은 주어진 데이터로부터 특징들을 추출하고 분석하여 데이터 간의 상관 관계를 도출하는데, 이러한 과정을 반복하여 신경망 모델의 파라미터를 최적화해 나가는 것이 기계 학습이라고 할 수 있다. 예를 들어, 신경망 모델은 입출력 쌍으로 주어지는 데이터에 대하여, 입력과 출력 사이의 매핑(상관 관계)을 학습할 수 있다. 또는, 신경망 모델은 입력 데이터만 주어지는 경우에도 주어진 데이터 사이의 규칙성을 도출하여 그 관계를 학습할 수도 있다.

인공지능 학습모델 또는 신경망 모델은 인간의 뇌 구조를 컴퓨터 상에서 구현하도록 설계될 수 있으며, 인간의 신경망의 뉴런(neuron)을 모의하며 가중치를 가지는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 노드들은 뉴런이 시냅스(synapse)를 통하여 신호를 주고받는 뉴런의 시냅틱(synaptic) 활동을 모의하여, 서로 간의 연결 관계를 가질 수 있다. 인공지능 학습모델에서 복수의 네트워크 노드들은 서로 다른 깊이의 레이어에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고받을 수 있다. 인공지능 학습모델은, 예를 들어, 인공 신경망 모델(Artificial Neural Network), 컨볼루션 신경망 모델(Convolution Neural Network: CNN) 등일 수 있다. 일 실시예로서, 인공지능 학습모델은, 지도학습(Supervised Learning), 비지도 학습(Unsupervised Learning), 강화 학습(Reinforcement Learning) 등의 방식에 따라 기계 학습될 수 있다. 기계 학습을 수행하기 위한 기계 학습 알고리즘에는, 의사결정트리(Decision Tree), 베이지안 망(Bayesian Network), 서포트 벡터 머신(Support Vector Machine), 인공 신경망(Artificial Neural Network), 에이다부스트(Ada-boost), 퍼셉트론(Perceptron), 유전자 프로그래밍(Genetic Programming), 군집화(Clustering) 등이 사용될 수 있다.

이중, CNN은 최소한의 전처리(preprocess)를 사용하도록 설계된 다계층 퍼셉트론(multilayer perceptrons)의 한 종류이다. CNN은 하나 또는 여러 개의 합성곱 계층과 그 위에 올려진 일반적인 인공 신경망 계층들로 이루어져 있으며, 가중치와 통합 계층(pooling layer)들을 추가로 활용한다. 이러한 구조 덕분에 CNN은 2차원 구조의 입력 데이터를 충분히 활용할 수 있다. 다른 딥러닝 구조들과 비교해서, CNN은 영상, 음성 분야 모두에서 좋은 성능을 보여준다. CNN은 또한 표준 역전달을 통해 훈련될 수 있다. CNN은 다른 피드포워드 인공신경망 기법들보다 쉽게 훈련되는 편이고 적은 수의 매개변수를 사용한다는 이점이 있다.

컨볼루션 네트워크는 묶인 파라미터들을 가지는 노드들의 집합들을 포함하는 신경 네트워크들이다. 사용 가능한 트레이닝 데이터의 크기 증가와 연산 능력의 가용성이, 구분적 선형 단위 및 드롭아웃 트레이닝과 같은 알고리즘 발전과 결합되어, 많은 컴퓨터 비전 작업들이 크게 개선되었다. 오늘날 많은 작업에 사용할 수 있는 데이터 세트들과 같은 엄청난 양의 데이터 세트에서는 초과 맞춤(outfitting)이 중요하지 않으며, 네트워크의 크기를 늘리면 테스트 정확도가 향상된다. 컴퓨팅 리소스들의 최적 사용은 제한 요소가 된다. 이를 위해, 심층 신경 네트워크들의 분산된, 확장 가능한 구현예가 사용될 수 있다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

도 2는 일실시예에 따른 뉴럴 네트워크의 학습을 설명하기 위한 도면이다.

도 2에 도시한 바와 같이, 학습 장치는 수기 이미지가 포함하는 텍스트 객체의 글꼴 인식을 위하여 뉴럴 네트워크(124)를 학습시킬 수 있다. 일 실시예에 따르면, 학습 장치는 개인화된 메모패드 서비스 제공 장치(120)와 다른 별개의 주체일 수 있지만, 이에 제한되는 것은 아니다.

뉴럴 네트워크(124)는 트레이닝 샘플들이 입력되는 입력 레이어(122)와 트레이닝 출력들을 출력하는 출력 레이어(126)를 포함하고, 트레이닝 출력들과 레이블들 사이의 차이에 기초하여 학습될 수 있다. 여기서, 레이블들은 텍스트 객체 대응하는 글꼴 정보에 기초하여 정의될 수 있다. 뉴럴 네트워크(124)는 복수의 노드들의 그룹으로 연결되어 있고, 연결된 노드들 사이의 가중치들과 노드들을 활성화시키는 활성화 함수에 의해 정의된다.

학습 장치는 GD(Gradient Decent) 기법 또는 SGD(Stochastic Gradient Descent) 기법을 이용하여 뉴럴 네트워크(124)를 학습시킬 수 있다. 학습 장치는 뉴럴 네트워크의 출력들 및 레이블들 의해 설계된 손실 함수(Loss Function)를 이용할 수 있다.

학습 장치는 미리 정의된 손실 함수를 이용하여 트레이닝 에러를 계산할 수 있다. 손실 함수는 레이블, 출력 및 파라미터를 입력 변수로 미리 정의될 수 있고, 여기서 파라미터는 뉴럴 네트워크(124) 내 가중치들에 의해 설정될 수 있다. 예를 들어, 손실 함수는 MSE(Mean Square Error) 형태, 엔트로피(entropy) 형태 등으로 설계될 수 있는데, 손실 함수가 설계되는 실시예에는 다양한 기법 또는 방식이 채용될 수 있다.

학습 장치는 역전파(Backpropagation) 기법을 이용하여 트레이닝 에러에 영향을 주는 가중치들을 찾아낼 수 있다. 여기서, 가중치들은 뉴럴 네트워크(124) 내 노드들 사이의 관계들이다. 학습 장치는 역전파 기법을 통해 찾아낸 가중치들을 최적화시키기 위해 레이블들 및 출력들을 이용한 SGD 기법을 이용할 수 있다. 예를 들어, 학습 장치는 레이블들, 출력들 및 가중치들에 기초하여 정의된 손실 함수의 가중치들을 SGD 기법을 이용하여 갱신할 수 있다.

일 실시예에 따르면, 학습 장치는 트레이닝 수기 이미지들을 획득하고, 트레이닝 수기 이미지들로부터 트레이닝 텍스트 객체들을 추출할 수 있다. 학습 장치는 트레이닝 텍스트 객체들에 대해서 각각 미리 레이블링 된 정보(제1 레이블들)를 획득할 수 있는데, 트레이닝 텍스트 객체들에 미리 정의된 글꼴 정보 나타내는 제1 레이블들을 획득할 수 있다.

일 실시예에 따르면, 학습 장치는 트레이닝 텍스트 객체들의 외관 특징들, 패턴 특징들 및 색상 특징들에 기초하여 제1 트레이닝 특징 벡터들을 생성할 수 있다. 특징을 추출하는 데는 다양한 방식이 채용될 수 있다.

일 실시예에 따르면, 학습 장치는 제1 트레이닝 특징 벡터들을 뉴럴 네트워크(124)에 적용하여 트레이닝 출력들을 획득할 수 있다. 학습 장치는 트레이닝 출력들과 제1 레이블들에 기초하여 뉴럴 네트워크(124)를 학습시킬 수 있다. 학습 장치는 트레이닝 출력들에 대응하는 트레이닝 에러들을 계산하고, 그 트레이닝 에러들을 최소화하기 위해 뉴럴 네트워크(124) 내 노드들의 연결 관계를 최적화하여 뉴럴 네트워크(124)를 학습시킬 수 있다. 개인화된 메모패드 서비스 제공 장치(120)는 학습이 완료된 뉴럴 네트워크(124)를 이용하여 수기 이미지로부터 텍스트 객체의 글꼴을 추출할 수 있다.

도 3은 일실시예에 따른 개인화된 메모패드 서비스 제공 장치를 설명하기 위한 도면이다.

도 3에 도시한 바와 같이, 개인화된 메모패드 서비스 제공 장치(120)는 하나 이상의 프로세서(121), 하나 이상의 메모리(123) 및/또는 송수신기(125)를 포함할 수 있다. 일 실시예로서, 개인화된 메모패드 서비스 제공 장치(120)의 이 구성요소들 중 적어도 하나가 생략되거나, 다른 구성요소가 개인화된 메모패드 서비스 제공 장치(120)에 추가될 수 있다. 추가적으로(additionally) 또는 대체적으로(alternatively), 일부의 구성요소들이 통합되어 구현되거나, 단수 또는 복수의 개체로 구현될 수 있다. 개인화된 메모패드 서비스 제공 장치(120) 내, 외부의 구성요소들 중 적어도 일부의 구성요소들은 버스, GPIO(general purpose input/output), SPI(serial peripheral interface) 또는 MIPI(mobile industry processor interface) 등을 통해 서로 연결되어, 데이터 및/또는 시그널을 주고받을 수 있다.

하나 이상의 프로세서(122)는 소프트웨어(예: 명령, 프로그램 등)를 구동하여 프로세서(122)에 연결된 개인화된 메모패드 서비스 제공 장치(120)의 적어도 하나의 구성요소를 제어할 수 있다. 또한, 프로세서(122)는 본 발명과 관련된 다양한 연산, 처리, 데이터 생성, 가공 등의 동작을 수행할 수 있다. 또한, 프로세서(122)는 데이터 등을 하나 이상의 메모리(124)로부터 로드하거나, 하나 이상의 메모리(124)에 저장할 수 있다.

전술한 바와 같이, 하나 이상의 프로세서(122)는, 송수신기(126)를 통하여 다수의 사용자 단말(110-1, … , 110-n) 중 어느 하나의 사용자 단말(예를 들어, 110-1)로부터 수기 이미지들을 디지털 패킷의 형태로 실시간 또는 비실시간으로 수신할 수 있다.

하나 이상의 프로세서(122)는, 송수신기(126)를 통해서 사용자 단말(110-1)로부터 수신된 수기 이미지들을 이용하여 대변 객체 및 색상 코드를 검출할 수 있다. 일 실시예에 따르면, 하나 이상의 프로세서(122)는, 딥러닝과 같은 기계 학습 알고리즘을 이용하여 기저귀 대변 이미지들로부터 텍스트 객체를 검출할 수 있다.

하나 이상의 프로세서(122)는, 검출된 텍스트 객체를 이용하여, 사용자의 메모 유형을 분류할 수 있다. 일 실시예에 따르면, 하나 이상의 프로세서(122)는, 수기 이미지로부터 검출된 텍스트 객체를 이용하여 사용자의 메모 유형이 일정에 관한 메모인지, 특별한 목적을 두지 않고 자유롭게 기재한 내용인지 등으로 메모 유형의 분류를 수행할 수 있다.

하나 이상의 프로세서(122)는, 분류된 메모 유형에 따라서 검출된 텍스트 객체를 처리하여 개인화된 메모 템플릿을 생성할 수 있다. 일 실시예에 따르면, 하나 이상의 프로세서(122)는, 분류된 메모 유형에 따라서 텍스트 객체가 시간 및 장소 정보를 포함하여 일정에 관한 메모로 분류된 경우 해당 일정 정보를 캘린더에 표시하는 형태로 개인화된 메모 템플릿을 생성할 수 있고, 분류된 메모 유형에 따라서 텍스트 객체가 시간 및 장소 정보를 포함하지 않아서 특별한 목적을 두지 않고 자유롭게 기재한 내용으로 분류된 경우 텍스트 객체가 포함하는 내용을 자유 기입란에 표시하는 형태로 개인화된 메모 템플릿을 생성할 수 있지만, 이에 한정되지 않는다.

하나 이상의 메모리(124)는 다양한 데이터를 저장할 수 있다. 메모리(124)에 저장되는 데이터는, 개인화된 메모패드 서비스 제공 장치(120)의 적어도 하나의 구성요소에 의해 획득되거나, 처리되거나, 사용되는 데이터로서, 소프트웨어(예: 명령, 프로그램 등)를 포함할 수 있다. 메모리(124)는 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 본 발명에서, 명령 내지 프로그램은 메모리(124)에 저장되는 소프트웨어로서, 개인화된 메모패드 서비스 제공 장치(120)의 리소스를 제어하기 위한 운영체제, 어플리케이션 및/또는 어플리케이션이 개인화된 메모패드 서비스 제공 장치(120)의 리소스들을 활용할 수 있도록 다양한 기능을 어플리케이션에 제공하는 미들 웨어 등을 포함할 수 있다.

하나 이상의 메모리(124)는 상술한 다수의 사용자 단말(110-1, … , 110-n)로부터 네트워크(N)를 통하여 수신한 수기 이미지들, 하나 이상의 프로세서(122)에서 형성된 텍스트 객체, 개인화된 메모 템플릿, 일자 정보, 키워드 정보, 루틴 정보, 알람 정보 등을 저장할 수 있다. 또한, 하나 이상의 메모리(124)는, 하나 이상의 프로세서(122)에 의한 실행 시, 하나 이상의 프로세서(122)가 연산을 수행하도록 하는 명령들을 저장할 수 있다.

일 실시예로서, 개인화된 메모패드 서비스 제공 장치(120)는 송수신기(126)를 더 포함할 수 있다. 송수신기(126)는, 다수의 사용자 단말(110-1, … , 110-n), 개인화된 메모패드 서비스 제공 장치(120), 데이터베이스(130), 제작 서버(140) 및/또는 기타 다른 장치 간의 무선 또는 유선 통신을 수행할 수 있다. 예를 들어, 송수신기(126)는 eMBB(enhanced Mobile Broadband), URLLC(Ultra Reliable Low-Latency Communications), MMTC(Massive Machine Type Communications), LTE(long-term evolution), LTE-A(LTE Advance), UMTS(Universal Mobile Telecommunications System), GSM(Global System for Mobile communications), CDMA(code division multiple access), WCDMA(wideband CDMA), WiBro(Wireless Broadband), WiFi(wireless fidelity), 블루투스(Bluetooth), NFC(near field communication), GPS(Global Positioning System) 또는 GNSS(global navigation satellite system) 등의 방식에 따른 무선 통신을 수행할 수 있다. 예를 들어, 송수신기(126)는 USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard232) 또는 POTS(plain old telephone service) 등의 방식에 따른 유선 통신을 수행할 수 있다.

일 실시예로서, 하나 이상의 프로세서(122)는 송수신기(126)를 제어하여 다수의 사용자 단말(110-1, … , 110-n), 개인화된 메모패드 서비스 제공 장치(120)로부터 정보를 획득할 수 있다. 다수의 사용자 단말(110-1, … , 110-n), 개인화된 메모패드 서비스 제공 장치(120)로부터 획득된 정보는 하나 이상의 메모리(124)에 저장될 수 있다.

일 실시예로서, 개인화된 메모패드 서비스 제공 장치(120)는 다양한 형태의 장치가 될 수 있다. 예를 들어, 개인화된 메모패드 서비스 제공 장치(120)는 휴대용 통신 장치, 컴퓨터 장치, 또는 상술한 장치들 중 하나 또는 그 이상의 조합에 따른 장치일 수 있다. 본 발명의 개인화된 메모패드 서비스 제공 장치(120)는 전술한 장치들에 한정되지 않는다.

본 발명에 따른 개인화된 메모패드 서비스 제공 장치(120)의 다양한 실시예들은 서로 조합될 수 있다. 각 실시예들은 경우의 수에 따라 조합될 수 있으며, 조합되어 만들어진 개인화된 메모패드 서비스 제공 장치(120)의 실시예 역시 본 발명의 범위에 속한다. 또한 전술한 본 발명에 따른 개인화된 메모패드 서비스 제공 장치(120)의 내/외부 구성 요소들은 실시예에 따라 추가, 변경, 대체 또는 삭제될 수 있다. 또한 전술한 개인화된 메모패드 서비스 제공 장치(120)의 내/외부 구성 요소들은 하드웨어 컴포넌트로 구현될 수 있다.

도 4는 일실시예에 따른 필요 개인화된 메모패드 서비스 제공 방법의 흐름도이다.

도 4의 흐름도에서 프로세스 단계들, 방법 단계들, 알고리즘들 등이 순차적인 순서로 설명되었지만, 그러한 프로세스들, 방법들 및 알고리즘들은 임의의 적합한 순서로 작동하도록 구성될 수 있다. 다시 말하면, 본 발명의 다양한 실시예들에서 설명되는 프로세스들, 방법들 및 알고리즘들의 단계들이 본 발명에서 기술된 순서로 수행될 필요는 없다. 또한, 일부 단계들이 비동시적으로 수행되는 것으로서 설명되더라도, 다른 실시예에서는 이러한 일부 단계들이 동시에 수행될 수 있다. 또한, 도면에서의 묘사에 의한 프로세스의 예시는 예시된 프로세스가 그에 대한 다른 변화들 및 수정들을 제외하는 것을 의미하지 않으며, 예시된 프로세스 또는 그의 단계들 중 임의의 것이 본 발명의 다양한 실시예들 중 하나 이상에 필수적임을 의미하지 않으며, 예시된 프로세스가 바람직하다는 것을 의미하지 않는다.

도 4에 도시한 바와 같이, 단계(S410)에서, 사용자의 수기 이미지가 획득된다. 예를 들어, 도 1 내지 도 3을 참조하면, 개인화된 메모패드 서비스 제공 장치(120)는, 다수의 사용자 단말(110-1, … , 110-n) 중 어느 하나의 사용자 단말(예를 들어, 110-1)로부터 네트워크(N)를 통하여 수기 이미지를 획득할 수 있다.

단계(S420)에서, 수기 이미지로부터 텍스트 객체가 검출된다. 예를 들어, 도 1 내지 도 3을 참조하면, 개인화된 메모패드 서비스 제공 장치(120)는, 단계 S410에서 획득된 수기 이미지로부터 텍스트 객체를 검출할 수 있다. 일 실시예에 따르면, 개인화된 메모패드 서비스 제공 장치(120)는, 미리 학습된 뉴럴 네트워크를 이용하여 수기 이미지로부터 텍스트 객체를 검출할 수 있다.

단계(S430)에서, 수기 이미지로부터 검출된 텍스트 객체를 이용하여 사용자의 메모 유형의 분류가 수행된다. 예를 들어, 도 1 내지 도 3을 참조하면, 개인화된 메모패드 서비스 제공 장치(120)는, 단계 S420에서 검출된 텍스트 객체를 이용하여, 사용자의 메모 유형의 분류를 수행할 수 있다. 일 실시예에 따르면, 개인화된 메모패드 서비스 제공 장치(120)는, 검출된 텍스트 객체가 시간 및 장소 정보를 포함하는 경우 메모 유형을 일정에 관한 메모로 분류할 수 있고, 검출된 텍스트 객체가 시간 및 장소 정보를 포함하지 않는 경우 특별한 목적을 두지 않고 자유롭게 기재한 내용으로 분류할 수 있지만, 메모 유형 분류 방법이 이에 한정되지 않는다.

단계(S440)에서, 메모 유형에 따라서 검출된 텍스트 객체를 처리하여 개인화된 메모 템플릿이 생성된다. 예를 들어, 도 1 내지 도 3을 참조하면, 개인화된 메모패드 서비스 제공 장치(120)는, 단계 S430에서 분류된 메모 유형에 따라서 단계 S420에서 검출된 텍스트 객체를 처리하여 개인화된 메모 템플릿을 생성할 수 있다. 일 실시예에 따르면, 개인화된 메모패드 서비스 제공 장치(120)는, 분류된 메모 유형에 따라서 텍스트 객체가 시간 및 장소 정보를 포함하여 일정에 관한 메모로 분류된 경우 해당 일정 정보를 캘린더에 표시하는 형태로 개인화된 메모 템플릿을 생성할 수 있고, 분류된 메모 유형에 따라서 텍스트 객체가 시간 및 장소 정보를 포함하지 않아서 특별한 목적을 두지 않고 자유롭게 기재한 내용으로 분류된 경우 텍스트 객체가 포함하는 내용을 자유 기입란에 표시하는 형태로 개인화된 메모 템플릿을 생성할 수 있지만, 이에 한정되지 않는다.

도 5는 일실시예에 따른 장치 구성의 예시도이다.

일실시예에 따른 장치(401)는 프로세서(402) 및 메모리(403)를 포함한다. 일실시예에 따른 장치(401)는 상술한 서버 또는 단말일 수 있다. 프로세서는 도 1 내지 도 4를 통하여 전술한 적어도 하나의 장치들을 포함하거나, 도 1 내지 도 4를 통하여 전술한 적어도 하나의 방법을 수행할 수 있다. 메모리(403)는 상술한 방법과 관련된 정보를 저장하거나 상술한 방법이 구현된 프로그램을 저장할 수 있다. 메모리(403)는 휘발성 메모리 또는 비휘발성 메모리일 수 있다.

프로세서(402)는 프로그램을 실행하고, 장치(401)를 제어할 수 있다. 프로세서(402)에 의하여 실행되는 프로그램의 코드는 메모리(403)에 저장될 수 있다. 장치(401)는 입출력 장치(도면 미 표시)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 데이터를 교환할 수 있다.

도 6 내지 도 8은 일실시예에 따른 개인화된 메모 템플릿의 예시도이다.

도 6 내지 도 8에 도시한 바와 같이, 개인화된 메모패드 서비스 제공 장치(120)가 제공하는 개인화된 메모 템플릿은 일간 템플릿(Daily), 주간 템플릿(Weekly), 월간 템플릿(Monthly), 점검 템플릿(Check), 비용 템플릿(Expense tracker), 예산 관리 템플릿(Budget keeper), 계획 템플릿(Plan A & Plan B), 갈곳 템플릿(The place to go), 리뷰 템플릿(Review), 레시피 템플릿(Recipe), 건강 템플릿(Health tracker), 소원 목록 템플릿(Wish list) 등을 포함할 수 있지만, 이에 한정되지 않는다.

일간 템플릿(Daily)은 요일, 시간, 제목, 메모를 기록할 수 있는 공간을 포함할 수 있다.

주간 템플릿(Weekly)에는 해당월을 선택할 수 있도록 상단에 1~12가 표시되어 있고, 일주일 단위로 기록이 가능하도록 월요일(M)부터 일요일(S)까지의 기록 공간을 각각 포함할 수 있다.

월간 템플릿(Monthly)은 해당월을 선택할 수 있도록 상단에 1~12가 표시되어 있고, 1개월 단위로 기록이 가능하도록 가로 7칸, 세로 5칸의 기록 공간을 포함할 수 있다.

점검 템플릿(Check)은 요일, 시간을 기록할 수 있는 공간을 포함하고, 실행 여부를 확인할 수 있도록 체크란을 별도로 포함할 수 있다.

비용 템플릿(Expense tracker)은 날짜, 비용, 타입, 아이템, 금액, 총 비용, 코멘트를 기록할 수 있는 공간을 각각 포함할 수 있다.

예산 관리 템플릿(Budget keeper)은 해당월을 선택할 수 있도록 상단에 1~12가 표시되고, 총 비용, 주중(weekday) 1일당 비용, 주말(weekend) 1일당 비용, 날짜별 비용, 잔액(Balance) 등을 기록할 수 있는 공간을 각각 포함할 수 있다.

계획 템플릿(Plan A & Plan B)은 계획의 제1안(A) 및 제2안(B)을 기록할 수 있는 공간을 각각 포함할 수 있다.

갈곳 템플릿(The place to go)은 해당 장소의 종류(예를 들어, restaurant, cafe, shopping, culture 등), 위치(where), 주소(address), 연락처(contact), 요일별 오픈 시간, 브레이크 타임, 정보(tip), 주변 장소(Around here), 코멘트(comment) 등을 기록할 수 있는 공간을 각각 포함할 수 있다.

리뷰 템플릿(Review)은 컨텐츠 종류(예를 들어, movie, book, musical, concert, exhibition, music, place, website, product 등), 제목(Title), 별점, 코멘트(Comment), 추천자(Recommend to) 등을 기록할 수 있는 공간을 각각 포함할 수 있다.

레시피 템플릿(Recipe)은 총 소요 시간(Total time), 메뉴, 레벨 별점, 재료(Ingredients), 지시(Direction) 등을 기록할 수 있는 공간을 각각 포함할 수 있다.

건강 템플릿(Health tracker)은 날짜(Date), 비용(Budget), 형태(Type), 아이템, 물 섭취량 등을 기록할 수 있는 공간을 각각 포함할 수 있다.

소원 목록 템플릿(Wish list)은 원하는 것(what)과 이유(Why) 등을 기록할 수 있는 공간을 각각 포함할 수 있다.

도 9는 일실시예에 따른 루틴 관련 서비스의 개념도이다.

도 9에 도시한 바와 같이, 개인화된 메모패드 서비스 제공 장치(120)는, 수기 이미지(HWI)로부터 텍스트 객체가 포함하는 일자 정보(DI) 및 키워드 정보(KI)를 추출하고, 추출된 일자 정보(DI)를 이용하여 미리 설정된 기간 동안의 동일한 일자에 기록된 텍스트 정보들을 추출할 수 있다. 일 실시예에 따르면, 개인화된 메모패드 서비스 제공 장치(120)는, 텍스트 객체로부터 일자 정보(DI)로 예를 들어, 2021년 2월 23일(화요일) 오후 2시 30분으로 추출하고, 추출된 일자 정보(DI)를 이용하여 미리 설정된 기간 동안의 동일한 일자 예를 들어, 직전 3주동안의 동일한 요일인 2월 16일, 2월 9일 및 2월 2일에 기록된 텍스트 정보들(TI)을 추출할 수 있다.

개인화된 메모패드 서비스 제공 장치(120)는, 미리 학습된 제2 뉴럴 네트워크에 추출된 텍스트 정보들(TI)을 적용하여 루틴 정보(예를 들어, 매주 화요일 오후 2시 30분 부서 정기 회의)를 추출할 수 있고, 텍스트 객체와 루틴 정보를 비교하여 키워드 정보(KI)가 루틴 정보와 일치하는지 여부를 판단할 수 있다.

개인화된 메모패드 서비스 제공 장치(120)는, 키워드 정보(KI)가 루틴 정보와 일치하지 않을 경우(직전 3주동안 매주 화요일 오후 2시 30분에 부서 정기 회의가 있었지만 이번주에는 고객 미팅이 입력됨) 알람 정보를 생성하고, 알람 정보를 사용자 단말(110-1)로 전송하여 사용자 루틴과 일치하지 않음을 사용자에게 알릴 수 있다.

개인화된 메모패드 서비스 제공 장치(120)는, 사용자의 승인에 의하여 텍스트 객체가 나타내는 정보를 개인화된 메모 템플릿에서 제외시킬 수 있다. 이와 같이, 개인화된 메모패드 서비스 제공 장치(120)는, 사용자의 루틴에서 벗어난 메모가 추출될 경우 사용자에게 알림으로써 중요한 일정을 개인화된 메모 템플릿에서 제외시키기 때문에 사용자의 실수로 인해서 중요한 일정 생성에 있어서의 오류를 감소시킬 수 있다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (3)

1. 사용자의 수기 이미지를 획득하는 단계;
   상기 수기 이미지로부터 텍스트 객체를 검출하는 단계;
   상기 검출된 텍스트 객체를 이용하여 상기 사용자의 메모 유형을 분류하는 단계;
   상기 메모 유형에 따라서 상기 검출된 텍스트 객체를 처리하여 개인화된 메모 템플릿을 생성하는 단계;
   상기 텍스트 객체가 포함하는 일자 정보 및 키워드 정보를 추출하는 단계;
   상기 추출된 일자 정보를 이용하여 미리 설정된 기간 동안의 동일한 일자에 기록된 텍스트 정보들을 추출하는 단계;
   미리 학습된 제2 뉴럴 네트워크에 상기 추출된 텍스트 정보들을 적용하여 루틴 정보를 추출하는 단계;
   상기 텍스트 객체와 상기 루틴 정보를 비교하여 상기 키워드 정보가 상기 루틴 정보와 일치하는지 여부를 판단하는 단계;
   상기 키워드 정보가 상기 루틴 정보와 일치하지 않을 경우 알람 정보를 생성하는 단계;
   상기 알람 정보를 사용자 단말로 전송하여 사용자 루틴과 일치하지 않음을 알리는 단계; 및
   상기 사용자의 승인에 의하여 상기 텍스트 객체가 나타내는 정보를 상기 개인화된 메모 템플릿에서 제외시키는 단계
   를 포함하는,
   개인화된 메모패드 서비스 제공 방법.
2. 제1항에 있어서,
   상기 개인화된 메모 템플릿을 생성하는 단계는
   상기 검출된 텍스트 객체의 글꼴을 인식하는 단계;
   상기 인식된 글꼴을 이용하여 제1　메모 템플릿 모델을 생성하는 단계;
   상기 제1　메모 템플릿 모델을 상기 사용자 단말로 전송하여 상기 제1　메모 템플릿 모델에 대한 승인을 획득하고,　사용자 선호 정보를 문의하는 단계;
   상기 사용자 단말에 의해서 상기 사용자 선호 정보　-　상기 사용자 선호 정보는,　글꼴,　글씨 색,　글씨 굵기,　여백, 년간 템플릿, 월간 템플릿, 주간 템플릿, 일간 템플릿 중 적어도 하나의 정보를 포함함　-　를 획득하는 단계;
   미리 학습된 제1 뉴럴 네트워크에 상기 제1　메모 템플릿 및 상기 사용자 선호 정보를 적용하여 상기 제1　메모 템플릿 모델을 수정한 제2　메모 템플릿 모델을 생성하는 단계;
   상기 제2　메모 템플릿 모델을 상기 사용자 단말로 전송하여 사용자의 승인을 획득하는 단계;　및
   상기 제2　메모 템플릿 모델을 제작 서버로 전송하여 상기 제2　메모 템플릿에 따른 실제 모형 제작을 요청하는 단계
   를 포함하는,
   개인화된 메모패드 서비스 제공 방법.
3. 삭제

Images