KR102467616B1

KR102467616B1 - 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 시스템

Info

Publication number: KR102467616B1
Application number: KR1020200119350A
Authority: KR
Inventors: 최종호
Original assignee: 최종호
Priority date: 2020-09-16
Filing date: 2020-09-16
Publication date: 2022-11-15
Also published as: KR20220036772A

Abstract

기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 시스템이 제공되며, 민간기록 중 개인업무나 개인사와 관련하여 생산 및 수집된 텍스트, 이미지 및 동영상을 포함하는 개인기록 콘텐츠를 주기적 또는 실시간으로 업로드하는 사용자 단말, 개인기록 콘텐츠를 식별코드의 입력으로 출력되도록 하고, 개인기록 콘텐츠의 관리 및 보존하는 적어도 하나의 기관 리포지토리(Repository) 및 사용자 단말로부터 개인기록 콘텐츠를 주기적 또는 실시간으로 업로드받는 수신부, 사용자 단말로부터 개인기록 콘텐츠에 접근가능한 엑세스권을 부여할 대상을 입력받는 입력부, 개인기록 콘텐츠를 메타데이터 또는 태그로 분류 및 카테고리화하여 기 설정된 구조화된 포맷에 맞게 재배치 및 편집하는 구조화부, 적어도 하나의 기관 리포지토리에 개인기록 콘텐츠를 분산저장하는 분산부를 포함하는 관리 서비스 제공 서버를 포함한다.

Description

기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 시스템{PERSONAL RECORD INTEGRATED MANAGEMENT SERVICE CONNECTING TO REPOSITORY}

본 발명은 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 시스템에 관한 것으로, 민간기록 중 개인기록을 기관과 연계하여 수집, 저장 및 관리할 수 있는 플랫폼을 제공한다.

전자매체가 등장한 이래 빠른 속도로 전자책, 전자잡지, 디지털 도서관 등의 다양한 방식으로 디지털 출판이 활성화되었고, 개인 단위 기록에 대한 접근성 또한 증가하였다. 특히, 소셜미디어와 전자책 분야의 발전은 개인의 기록 욕구와 맞물려 새로운 문화로 이어지기도 했다. 이와 동시에 디지털 플랫폼은 개인의 공간에 대한 항구성 확보가 취약하기 때문에 디지털 형태의 자료들은 영구보존이라는 새로운 문제를 갖게 되었다. 개인이 웹으로 기록한 자료는 물리적으로 사본의 존재가능성이 인쇄자료에 비해 극히 낮은 실정인데, 대부분의 디지털 자원은 태생적 디지털자원(Born Digital)이기 때문에 종이와 같은 물리적 매체에 기록하여 업로드하지 않고 디지털 형태로 공유된다. 따라서 업로드한 공간의 폐쇄 혹은 업로드 자료의 부주의한 삭제는 해당 자료의 완전한 망실을 의미한다.

이때, 개인기록을 디지털화하고 개인사를 박물관 형태로 보관하는 리포지토리(Repository)를 구축하는 방법이 연구 및 개발되었는데, 이와 관련하여, 선행기술인 한국공개특허 제2000-0072603호(2000년12월05일 공개) 및 한국공개특허 제2013-0116551호(2013년10월24일 공개)에는, 한 개인의 출생부터 사망까지의 일대기를 디지털 데이터화하여 데이터뱅크에 저장하고, 운영자는 개인에 대한 데이터를 일정주기로 업데이트함과 동시에 이용자 또는 이용자의 자손을 인식하여 데이터뱅크에 축적된 데이터를 확인 또는 열람할 수 있도록 하며, 이용자의 사망시 고인에 대한 정보를 열람하거나 데이터를 제공받을 수 있도록 한 구성과, 개인기록에 저장된 URL 주소에 QR 코드를 부여하고, 사용자 단말에서 QR 코드를 리딩하여 URL 주소에 접속하는 경우 개인기록을 동영상 콘텐츠로 출력하는 구성이 각각 개시되어 있다.

다만, 개인기록이 포함되는 범주인 민간 기록은 비(非) 정부 기관의 출처로부터 비롯된 기록, 즉 중앙정부기관, 정부산하기관 및 부서와 같은 공공영역 이외에 속하는 기관 및 개인이 생산한 기록으로 정의하며, 세부적으로 민간기록의 유형 부문에서 민간기록물은 그 형식이나 내용, 물리적인 형태에 관계없이 민간에서 생산되거나 보유 중인 모든 유형의 기록물이지만, 공공 기록과 민간 기록의 결정적인 차이는, 체계적으로 구조화되어 정부기관에서 주체적으로 기관 리포지토리와 연계하며 지속적으로 관리하는지의 여부이다. 즉, 개인이 소장하고 있는 기록은 구조화되지 못하였고 중요한 자료와 아닌 것이 무질서하게 혼재되어 있으며, 업로드한 공간의 폐쇄 혹은 업로드 자료의 부주의한 삭제는 해당 자료의 완전한 망실로 이어져 영구히 사라진다. 이에, 개인이 다양한 분야에서 생산·취득한 모든 형태의 기록정보 자료와 박물 중 디지털 형태로 제공되며, 형식적인 부분 뿐만 아니라 내용적인 부분에서도 구조화된 형식을 지닌 기록을, 기관 리포지토리와 연계하여 지속적인 관리를 할 수 있는 통합 플랫폼이 요구된다.

본 발명의 일 실시예는, 개인이 개인 업무나 개인사와 관련하여 생산·수집한 기록으로, 텍스트, 이미지 및 동영상을 포함하는 개인기록 콘텐츠를 사용자 단말로부터 주기적으로 업로드받고, 기 설정된 포맷에 의해 개인기록 콘텐츠가 분류 및 카테고리화되도록 메타데이터 또는 태그를 자동으로 생성 또는 부착시켜 히스토리 데이터로 변환하며, 적어도 하나의 기관 리포지토리와 연계하여 데이터의 망실 또는 유실을 방지하고, 자손 노드에 대응하는 단말에서 각 박물관이나 도서관의 키오스크에 단말을 QR 코드나 근거리 통신으로 인식 및 식별시켰을 때 각 키오스크에서 부모 노드에 대응하는 단말에서 저장했던 개인기록 콘텐츠를 가상현실 또는 증강현실로 출력시킬 수 있도록 하는, 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 방법을 제공할 수 있다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는, 민간기록 중 개인업무나 개인사와 관련하여 생산 및 수집된 텍스트, 이미지 및 동영상을 포함하는 개인기록 콘텐츠를 주기적 또는 실시간으로 업로드하는 사용자 단말, 개인기록 콘텐츠를 식별코드의 입력으로 출력되도록 하고, 개인기록 콘텐츠의 관리 및 보존하는 적어도 하나의 기관 리포지토리(Repository) 및 사용자 단말로부터 개인기록 콘텐츠를 주기적 또는 실시간으로 업로드받는 수신부, 사용자 단말로부터 개인기록 콘텐츠에 접근가능한 엑세스권을 부여할 대상을 입력받는 입력부, 개인기록 콘텐츠를 메타데이터 또는 태그로 분류 및 카테고리화하여 기 설정된 구조화된 포맷에 맞게 재배치 및 편집하는 구조화부, 적어도 하나의 기관 리포지토리에 개인기록 콘텐츠를 분산저장하는 분산부를 포함하는 관리 서비스 제공 서버를 포함한다.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 개인이 개인 업무나 개인사와 관련하여 생산·수집한 기록으로, 텍스트, 이미지 및 동영상을 포함하는 개인기록 콘텐츠를 사용자 단말로부터 주기적으로 업로드받고, 기 설정된 포맷에 의해 개인기록 콘텐츠가 분류 및 카테고리화되도록 메타데이터 또는 태그를 자동으로 생성 또는 부착시켜 히스토리 데이터로 변환하며, 적어도 하나의 기관 리포지토리와 연계하여 데이터의 망실 또는 유실을 방지하고, 자손 노드에 대응하는 단말에서 각 박물관이나 도서관의 키오스크에 단말을 QR 코드나 근거리 통신으로 인식 및 식별시켰을 때 각 키오스크에서 부모 노드에 대응하는 단말에서 저장했던 개인기록 콘텐츠를 가상현실 또는 증강현실로 출력시킬 수 있도록 함으로써, 궁극적으로 개인의 일상이나 개인의 창작물과 같은 개인 기록물을 안전하고 영구히 보존할 수 있다.

도 1은 본 발명의 일 실시예에 따른 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 시스템을 설명하기 위한 도면이다.
도 2는 도 1의 시스템에 포함된 통합 관리 서비스 제공 서버를 설명하기 위한 블록 구성도이다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 기관 리포지토리와 연계된 개인기록 통합 관리 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 방법을 설명하기 위한 동작 흐름도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체 지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.

본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Matching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.

이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 시스템을 설명하기 위한 도면이다. 도 1을 참조하면, 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 시스템(1)은, 적어도 하나의 사용자 단말(100), 관리 서비스 제공 서버(300), 적어도 하나의 검색 단말(400), 적어도 하나의 기관 리포지토리(500) 및 키오스크(600)를 포함할 수 있다. 다만, 이러한 도 1의 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 시스템(1)은, 본 발명의 일 실시예에 불과하므로, 도 1을 통하여 본 발명이 한정 해석되는 것은 아니다.

이때, 도 1의 각 구성요소들은 일반적으로 네트워크(network, 200)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 적어도 하나의 사용자 단말(100)은 네트워크(200)를 통하여 관리 서비스 제공 서버(300)와 연결될 수 있다. 그리고, 관리 서비스 제공 서버(300)는, 네트워크(200)를 통하여 적어도 하나의 사용자 단말(100), 적어도 하나의 검색 단말(400), 적어도 하나의 기관 리포지토리(500) 및 키오스크(600)와 연결될 수 있다. 또한, 적어도 하나의 검색 단말(400)은, 네트워크(200)를 통하여 관리 서비스 제공 서버(300)와 연결될 수 있다. 그리고, 적어도 하나의 기관 리포지토리(500)는, 네트워크(200)를 통하여 적어도 하나의 사용자 단말(100), 관리 서비스 제공 서버(300) 및 적어도 하나의 검색 단말(400)과 연결될 수 있다. 마지막으로, 키오스크(600)는, 네트워크(200)를 통하여 사용자 단말(100), 검색 단말(400), 관리 서비스 제공 서버(300), 적어도 하나의 기관 리포지토리(500)와 연결될 수 있다.

여기서, 네트워크는, 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷(WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), 5GPP(5th Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), RF(Radio Frequency), 블루투스(Bluetooth) 네트워크, NFC(Near-Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.

하기에서, 적어도 하나의 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다. 또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시예에 따라 변경가능하다 할 것이다.

적어도 하나의 사용자 단말(100)은, 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 이메일, 일기, 사진, 동영상, 문자 등 개인사 또는 개인업무와 관련된 다양한 정보를 포함하는 개인기록 콘텐츠를 관리 서비스 제공 서버(300)로 전송하는 단말일 수 있다. 그리고, 사용자 단말(100)은, 개인기록 콘텐츠에 엑세스권을 가질 적어도 하나의 검색 단말(400)을 지정하여 관리 서비스 제공 서버(300)로 전송하는 단말일 수 있다. 또, 사용자 단말(100)은, 관리 서비스 제공 서버(300)에서 정보를 수집할 수 있도록 정보접근권한을 부여하는 단말일 수 있고, 관리 서비스 제공 서버(300)에 의해 백그라운드 모드에서 다양한 개인기록 콘텐츠를 업로드하는 단말일 수 있다. 또, 정보에 접근이 가능하게 하기 위하여, 사용자 단말(100)은, 관리 서비스 제공 서버(300)로 사용자가 보유한 다양한 사이트, 소셜미디어, 이메일 등의 아이디와 패스워드 등을 업로드하거나 관리 서비스 제공 서버(300)로의 공유를 허용하는 사용자의 단말일 수 있다.

여기서, 적어도 하나의 사용자 단말(100)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 사용자 단말(100)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 사용자 단말(100)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.

관리 서비스 제공 서버(300)는, 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 제공하는 서버일 수 있다. 그리고, 관리 서비스 제공 서버(300)는, 적어도 하나의 기관 리포지토리(500)과 연계되도록 채널을 형성하는 서버일 수 있다. 또, 관리 서비스 제공 서버(300)는 사용자 단말(100)로부터 사용자 등록을 받은 후, 사용자 단말(100)에서 입력 및 수집되는 개인기록 콘텐츠를 업로드받는 서버일 수 있다. 그리고, 관리 서비스 제공 서버(300)는 사용자 단말(100)에서 지정하는 적어도 하나의 검색 단말(400)로 엑세스권을 부여할 수 있는 서버일 수 있다. 또한, 관리 서비스 제공 서버(300)는, 적어도 하나의 검색 단말(400)에서 사용자의 이름이 포함된 부고 문자가 발송되는 경우 적어도 하나의 검색 단말(400)에서 사용자의 사망을 확인받고 업데이트되지 않은 개인기록 콘텐츠를 사용자 단말(100)로부터 추출하는 서버일 수 있다. 그리고, 관리 서비스 제공 서버(300)는, 개인기록 콘텐츠를 기 설정된 구조화된 포맷에 재배치 및 편집한 후, 사용자의 얼굴이 피사체로 포함된 사진을 추출하여 2D로부터 3D 모델링을 실시하며, VR 또는 AR 콘텐츠를 생성하는 서버일 수 있다. 또, 관리 서비스 제공 서버(300)는 개인기록 콘텐츠를 학습 데이터셋으로 생성하여 챗봇을 학습시키고, 사용자와 같은 말투로 검색 단말(400)과 채팅을 할 수 있도록 하는 서버일 수 있다.

여기서, 관리 서비스 제공 서버(300)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다.

적어도 하나의 검색 단말(400)은, 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하는 사용자의 직계가족 또는 방계가족의 단말일 수 있다. 이때, 검색 단말(400)은 사용자가 엑세스권을 부여한 경우, 가족이 아닌 지인의 단말일 수도 있다. 그리고, 검색 단말(400)은, 애플리케이션 또는 키오스크(600)를 통하여 사용자의 개인기록 콘텐츠를 조회 및 열람할 수 있는 단말일 수 있다. 검색 단말(400)은 키오스크(600)를 이용할 때, 적어도 하나의 기관 리포지토리(500)와 연계된 키오스크(600)로 QR 코드와 같은 식별코드로 검색자를 식별시키고, 키오스크(600)로부터 개인기록 콘텐츠를 수신하여 출력하는 단말일 수 있다. 이때, 검색 단말(400)은, 키오스크(600)에서 개인기록 콘텐츠가 출력되도록 할 수도 있다. 개인기록 콘텐츠가 증강현실로 출력될 때에는 검색 단말(400)의 전면 또는 후면 카메라가 동작할 수도 있고, 카메라 실행화면 상에 3D로 모델링된 사용자의 모습이 출력될 수도 있다.

여기서, 적어도 하나의 검색 단말(400)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 검색 단말(400)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 검색 단말(400)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.

적어도 하나의 기관 리포지토리(500)는, 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 관리 서비스 제공 서버(300)에서 분산저장한 개인기록 콘텐츠를 저장 및 관리하는 서버나 장치 또는 데이터베이스 시스템(Database Management Systems)일 수 있다. 이때, 리포지토리란, 일반적으로 대학이나 기관 등에 소속된 구성원들이 생산한 디지털 자료를 관리 및 배포하는 이용자 대상의 서비스로, 디지털 자료의 관리부터 보존까지의 모든 사항을포함하여 학술 콘텐츠를 수집·배포하는 기능을 갖는다. 온라인과 오프라인 자료를 모두 수집하는 일반적인 기록관과는 달리 리포지토리는 온라인으로만 정보를 제공하며, 리포지토리는 오픈 엑세스(Open Access) 운동의 영향을 받아 활성화되어 왔다. 일반적으로 리포지토리는 적용하는 분야 및 목적에 따라 교육 리포지토리와 기관별 리포지토리, 지식 리포지토리 등의 다양한 용어로 사용되고 있다. 이때, 기관 리포지토리(500)는 기관에서 생산된 지적 생산물을 보존·공개하는 것을 목적으로 하는 전자아카이브 시스템인데, 본 발명의 일 실시예에서는 민간기록 중 개인기록 콘텐츠를 기관에서 보존 및 공개하는 것으로 정의한다.

여기서, 적어도 하나의 기관 리포지토리(500)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 기관 리포지토리(500)는, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 기관 리포지토리(500)는, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.

키오스크(600)는, 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 적어도 하나의 기관 리포지토리(500)와 연계되어 검색 단말(400)을 식별하고, 식별된 검색자에게 부여된 엑세스권, 즉 사용자의 개인기록 콘텐츠를 검색하고 출력할 수 있도록 하는 장치일 수 있다.

여기서, 키오스크(600)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 키오스크(600)는, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 키오스크(600)는, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.

도 2는 도 1의 시스템에 포함된 통합 관리 서비스 제공 서버를 설명하기 위한 블록 구성도이고, 도 3 및 도 4는 본 발명의 일 실시예에 따른 기관 리포지토리와 연계된 개인기록 통합 관리 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.

도 2를 참조하면, 관리 서비스 제공 서버(300)는, 수신부(310), 입력부(320), 구조화부(330), 분산부(340), 챗봇부(350), 수집부(360), 모델링부(370), 유언관리부(380) 및 매크로봇(390)을 포함할 수 있다.

본 발명의 일 실시예에 따른 관리 서비스 제공 서버(300)나 연동되어 동작하는 다른 서버(미도시)가 적어도 하나의 사용자 단말(100), 적어도 하나의 검색 단말(400), 적어도 하나의 기관 리포지토리(500) 및 적어도 하나의 키오스크(600)로 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 전송하는 경우, 적어도 하나의 사용자 단말(100), 적어도 하나의 검색 단말(400), 적어도 하나의 기관 리포지토리(500) 및 적어도 하나의 키오스크(600)는, 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 설치하거나 열 수 있다. 또한, 웹 브라우저에서 실행되는 스크립트를 이용하여 서비스 프로그램이 적어도 하나의 사용자 단말(100), 적어도 하나의 검색 단말(400), 적어도 하나의 기관 리포지토리(500) 및 적어도 하나의 키오스크(600)에서 구동될 수도 있다. 여기서, 웹 브라우저는 웹(WWW: World Wide Web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(Hyper Text Mark-up Language)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크롬(Chrome) 등을 포함한다. 또한, 애플리케이션은 단말 상의 응용 프로그램(Application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(App)을 포함한다.

도 2를 참조하면, 수신부(310)는, 사용자 단말(100)로부터 개인기록 콘텐츠를 주기적 또는 실시간으로 업로드받을 수 있다. 이때, 사용자 단말(100)은, 민간기록 중 개인업무나 개인사와 관련하여 생산 및 수집된 텍스트, 이미지 및 동영상을 포함하는 개인기록 콘텐츠를 주기적 또는 실시간으로 업로드할 수 있다. 또는, 사용자가 설정한 범위라면 그 어느 것도 가능하다. 사용자가 그린 그림이나, 책, 일기, 편지, 소셜미디어에 업로드한 개인기록 등 다양할 수 있으며 나열된 것들로 한정되지 않고 열거되지 않은 이유로 배제되지 않는다. 이때, 수신부(310)는, 사용자의 계정, 예를 들어, 이메일, 클라우드, 웹하드 등에 접근하여 사용자의 자료를 모으는 것도 가능하다.

입력부(320)는, 사용자 단말(100)로부터 개인기록 콘텐츠에 접근가능한 엑세스권을 부여할 대상을 입력받을 수 있다. 엑세스권은 개인기록 콘텐츠를 열람할 수 있는 자격으로, 사용자가 자신의 개인기록인 개인기록 콘텐츠를 열람할 수 있는 대상을 설정하는 것이다. 직계가족이나 방계혈족 등과 같이 가족 위주로 설정할 수도 있고, 가족 및 지인으로 설정할 수도 있으며, 전부 공개로 설정하여 일반인도 볼 수 있도록 모두에게 공개를 할 수도 있다.

구조화부(330)는, 개인기록 콘텐츠를 메타데이터 또는 태그로 분류 및 카테고리화하여 기 설정된 구조화된 포맷에 맞게 재배치 및 편집할 수 있다. 디지털 아카이브(Digital Archive)는 다양한 도메인 및 매체에 저장된 자료들을 디지털 형식으로 변환하여 저장하며, 이를 통해 자료를 영구적으로 보관하고 효율적인 검색 및 관리를 가능하게 하는 기반 기술인데, 디지털로 변환된 자료를 저장하는 것은 자료의 효율적 검색 및 관리와 높은 관련성을 가진다. 정보 기술의 발전으로 디지털 정보의 생산과 유통이 증가하면서 다양한 자료를 정리해야 하기 때문에, 개인기록 콘텐츠를 구조화하기 위하여 일단 개인기록 콘텐츠를 식별 및 분류를 할 수 있어야 한다.

사진이나 동영상과 같은 시각 데이터들은 표준 메타데이터를 설계하고 이를 적용하는 경우, 기록물 호환성을 높이고 사진의 기본 정보와 특성을 나타낼 수 있는 요소들을 메타데이터 항목에 포함하여 개인기록 콘텐츠의 효율적인 관리, 더 나아가 재배치 및 편집까지 가능하게 한다. 또한, 본 발명의 일 실시예에서는 광학식 문자 인식 기술인 OCR(Optical Character Recognition)과 딥러닝 기반 객체 인식(Deep Learning-based Object Detection) 알고리즘인 Faster R-CNN(Regions-CNN)을 사용하여 사진이나 동영상에서 텍스트와 객체를 추출함으로써 사진이나 동영상을 저장할 때 중요 메타데이터를 자동으로 저장하도록 한다. 이렇게 저장된 사진의 텍스트와 객체는 사진의 특성을 나타내는 주요 정보로써 활용되어, 보다 체계적인 구조화가 가능해지고 검색의 편의성을 높일 수 있다.

예를 들어, 기록물을 정리할 때에는 시계열순이나 중요 사건 순 등으로 정리할 수 있는데, 기 설정된 포맷이 존재하고, 각 레이아웃이 고정되어 있으며, 레이아웃 내 각 프레임 영역에 어떠한 사진이나 동영상 또는 텍스트가 들어가야 한다는 템플릿(Template)이 존재하는 경우, 각 영역에 수동으로 사람이 하나하나 각 사진과 동영상 또는 텍스트 등을 배치하여 편집을 수행할 수도 있지만, 태그나 메타데이터로 각 사진이나 동영상이 분류가 되어 있고, 각 프레임 영역에 태그나 메타데이터가 설정되어 있다면 매칭되는 프레임 영역에 이에 대응하는 사진이나 동영상을 자동으로 삽입 및 배치할 수 있기 때문에 자동으로도 정리가 가능하다. 예를 들어, 시계열순으로 정리하는 포맷이라면, 10대, 20대 등으로 연대기순으로 1 페이지, 2 페이지가 마련되어 있고, 1 페이지의 (x1, y1)에는 중학교 입학 사진, (x2, y2)에는 고등학교 입학 사진이 배치되어야 한다면, 각각의 사진 중 중학교 입학 사진과 고등학교 입학 사진을 추출하여 해당 영역에 자동으로 삽입할 수 있다.

이때, 메타데이터는 미디어 기록물 메타데이터 표준인 IPTC(International Press Telecommunications Council), 사진 기록물 파일 형식인 EXIF(EXchangable Image File format)의 메타데이터 항목 등을 이용할 수 있지만 이에 한정되지는 않는다. 먼저 IPTC는 텍스트, 사진, 다른 미디어 타입에 적용할 수 있는 메타데이터 속성의 집합이다. IPTC는 사진에 적용할 수 있는 IIM(Infromation Interchange Model) 메타데이터 속성 표준을 정의하였으며, 이후 어도비(Adobe)는 포토샵(Photoshop)에 IIM을 채택하고 IRB(Image Resource Block) 메타데이터 저장 기술을 개발하여 사진 파일에 IIM 메타데이터를 사용하였으며, XML/RDF 기반의 XMP(Extensible Metadata Platform)를 개발하였다. 그 후 IPTC와 Adobe가 공동으로 XMP 용 IPTC 코어 스키마(IPTC Core Schema for XMP)를 개발하였으며, IPTC는 사진 촬영 분야의 필요 속성을 반영한 IPTC 확장 스키마(IPTC Extension Schema)를 개발하고 IPTC 코어 스키마를 수정하였다. 이후, 두 사양 모두 IPTC 사진 메타데이터 표준(IPTC Photo Metadata Standard)이라는 단일 문서로 발표되었다

IPTC 코어 스키마는 총 23개의 메타데이터 항목을 가지고 있다. 이를 모두 사용할 수도 있고 선택적으로 사용할 수도 있다. 먼저, 코어 스키마 메타데이터 항목에서 ‘City(도시)’, ‘Country(나라)’, ‘Country Code(나라 코드)’, ‘Province or State(지방 혹은 주)’는 사진에 있는 특정 도시, 나라, 지방, 주와 같은 요소들이 입력되는 메타데이터 항목이며, 해당 항목들은 사진의 세부적인 요소들을 설명하기에 적합하다. GPS 태그가 부착된 사진은 상술한 메타데이터를 추출하기가 용이하지만 만약 없다면 이를 삭제해도 무방하다. ‘Title(제목)’, ‘Creator(촬영자)’, ‘Date Created(촬영일)’, ‘Sublocation(설명 장소)’, ‘Description (설명)’은 지자체가 다루는 사진 기록물의 메타데이터 범위에서 벗어나지 않고 사진에서 필요한 가장 기본적인 메타데이터 항목이다. 또한, ‘Keywords(키워드)’는 코어 스키마에서 사진 기록물의 주제, 내용 등을 나타낼 수 있는 일반적인 단어들을 포함하므로, 메타데이터 항목으로 선정할 수 있다.

또, ‘Person Shown in the Image(사진 속 사람)’는 사진에 포함된 사람을 저장하는 항목으로, 사진 기록물에 포함된 사용자와 같이 특정이 가능한 사람을 저장하기 위한 메타데이터 항목으로써 이용할 수 있고, 마찬가지로‘Artwork/Object in the Image(사진 속 아트워크/객체)’는 사진에 포함된 사용자를 제외한 객체를 저장하는 항목으로, 책상, 동물, 건물 등 사진의 특성을 반영하는 정보를 나타낼 수 있는 메타데이터 항목으로 선정할 수 있다. 사용자와 객체 모두 딥러닝 기반 객체 인식 알고리즘으로 자동으로 메타데이터나 태그가 태깅될 수 있다.

만약 사진 내에 글자가 포함되어 있다면 이를 추출하여 메타데이터에 포함시킬 수도 있다. 예를 들어, GPS 태그가 없는데, "쌍용캠핑장"이라는 단어가 포함되어 있다면, 이를 추출하여 장소 메타데이터로 설정할 수 있다. 이처럼 사진 기록물 내에 포함된 텍스트는 사진 속 사건을 나타내는 유의미한 정보가 되기 때문에, OCR 라이브러리를 사용하여 사진 기록물에 포함된 전체 텍스트를 추출할 수 있다. OCR은 PDF, 출력된 스캔 문서나 아날로그 자료, 상품 카탈로그 사진, 혹은 사진에서 텍스트가 있는 영역을 인식하고, 이미지 처리(Image Processing), 딥러닝(Deep Learning) 기술을 사용하여 디지털화 가능한 텍스트를 추출하는 기술이다.

OCR은 Tesseract, 구글 OCR, 마이크로소프트 OCR, Abbyy OCR 등 다른 성능을 가진 여러 회사의 라이브러리가 존재한다. 먼저 많이 활용되는 OCR 라이브러리로 Tesseract가 있는데, Tesseract는 아파치(Apache) 라이센스로 릴리즈된 무료 OCR 라이브러리이다. 다른 라이브러리인 구글 OCR은 구글 클라우드 비전 API(Google Cloud Vision API)의 여러 기능 중 OCR 기능을 제공하고 있으며, 무료 API 호출 횟수는 월 1,000건으로 제한되어있다. 또한, 마이크로소프트 OCR은 구글과 마찬가지로 마이크로소프트 컴퓨터 비전 API(Microsoft Computer Vision API)의 여러 기능 중 OCR 기능을 제공하고 있으며, 무료 API 호출 건수는 월 5,000건으로 제한된다. 마지막으로, 사진 혹은 PDF 파일을 편집 가능 문서로 변환하는 OCR 소프트웨어인 Abbyy OCR이 있다. 이 중 어느 것을 사용해도 무방하지만 한글에 강인한 특성을 보이는 Tesseract와 구글 OCR 라이브러리를 고려하는 것도 바람직하다.

이 중 구글에서 제공하는 OCR 라이브러리는 사진이 입력되었을 때, 사진의 픽셀을 그룹핑하는 과정에서 텍스트로 추정되는 영역을 바운딩 박스(Bounding Box)로 설정하고 텍스트를 감지하여 추출하며, 이렇게 추출된 텍스트는 JSON 형태로 반환된다. 텍스트는 띄어쓰기가 된 단어 단위로 추출되는데, 텍스트를 그대로 인식하여 정상 단어로 구성할 수 없는 글자들도 포함되어있다. 이러한 텍스트들은 메타데이터로 바로 저장하여 활용하기에는 어려움이 있기에, 형태소 분석 라이브러리를 사용하여 OCR 라이브러리에 의해 추출된 텍스트에서 명사 단위의 단어들을 다시 추출하는 과정을 수행할 수 있다. 이렇게 추출된 단어들은 사진 기록물의 메타데이터로 저장되는데, 사진 기록물 검색 시 해당 단어들을 활용하기 위해서, 사진 기록물 메타데이터 항목 중 ‘키워드(Keywords)’ 항목에 추출한 단어들을 저장할 수 있다.

<객체 인식 알고리즘 기반 자동 인덱싱>

사진 기록물에 포함된 객체는 사진 기록물이 속한 카테고리의 특성을 나타내는 유의미한 정보가 될 수 있기 때문에, 딥러닝 기반 객체 인식 알고리즘을 사용하여 사진 기록물에 포함된 객체들을 추출할 수 있다. 객체 인식은 디지털 사진과 영상에서 특정 클래스의 의미 객체 인스턴스를 감지하는 컴퓨터 비전 및 이미지 처리와 관련된 기술로써, 딥러닝 알고리즘을 사용한 여러 객체 인식 알고리즘들이 활용되고 있다. 본 발명의 일 실시예에서는, 사진 기록물의 객체 인식을 위해 특히 많이 활용되는 딥러닝 기반 객체 인식 알고리즘인 Faster R-CNN(Regions-CNN), YOLO(You Only Look Once), SSD(Single Shot Detector)를 이용할 수 있다..

Faster R-CNN(Regions-CNN)은 슬라이딩 윈도우(Sliding Window) 방식을 사용하여 특징(Feature)을 추출하는 RPN(Region Proposal Network)으로 사진 파일을 변형하여 객체를 인식하는 알고리즘이다. 하나의 사진을 여러 샘플로 분할하고, 분할한 각 샘플을 네트워크에 입력하여 검출하기 때문에 낮은 인식 속도를 가지며, 높은 인식 정확도를 가진다. 다른 객체 인식 알고리즘인 YOLO(You Only Look Once)는 단일 컨볼루션 네트워크(Single Convolutional Network)를 사용하여 여러 바운딩 박스에 대한 클래스 분류 가능성(Class Probability)을 계산하는 방식을 사용한다. 바운딩 박스의 예측 분류 점수와 바운딩 박스에 실제 객체의 포함을 나타내는 신뢰도, 두 개의 출력 값을 결합하여 바운딩 박스 안에 객체가 있을 확률을 계산한다. YOLO는 전체 사진을 고려하여 클래스를 예측하기 때문에 거짓 양성(False Positive) 오류를 피할 수 있지만, 작은 객체에 대해 인식 정확도가 떨어지는 문제점을 가진다. 마지막으로, 또 다른 객체 인식 알고리즘 SSD(Single Shot Detector)는 사진의 변형 없이 입력 사진에 대해 CNN을 실행하고 특징 맵(Feature Map)을 계산할 수 있다.

YOLO의 문제점을 개선하기 위해 멀티스케일 특징 맵(Multi-scale Feature Map)이라는 보조 수단을 사용할 수도 있는데, 특징 맵을 여러 크기로 나누어 큰 맵에서는 작은 객체를, 작은 맵에서는 큰 객체를 인식할 수 있도록 설정한다. 만약 동영상과 같이 여러 사진 프레임이 빠르게 변환되는 영상이 아닌 사진 기록물을 대상으로 하는 경우에는, 객체 인식 속도보다 인식 정확도를 기준으로 Faster R-CNN을 사용 모델을 선정할 수 있다. 하지만, 동영상과 같은 경우에는 화면전환이 빠르게 되는 경우도 있으므로 객체 인식 속도가 가장 빠른 YOLO를 이용할 수 있다. 이때, SSD와 YOLO는 Faster R-CNN에 비하여 작은 크기의 객체에 대해 낮은 인식 정확도를 가지므로, 객체가 기 설정된 픽셀 이하인 경우에는 Faster R-CNN을 사진 기록물 객체 인식을 위한 모델로 선정하는 것이 바람직하다.

사진 기록물에서 특정화된 객체 인스턴스를 인식하는 것이 아닌, ‘사람’, ‘책상’과 같은 일반적인 객체를 정확하게 인식하는 것이 목적이므로, 사전에 COCO(Common Objects in Context) 데이터 셋으로 학습된 Faster R-CNN 모델을 사용할 수도 있다. COCO 데이터 셋은 총 122,218장의 사진에서 80개의 객체 클래스로 구성되어있는 학습 데이터이다. COCO 데이터 셋의 객체 클래스는 사람, 물품(Accessory), 동물(Animal), 탈것(Vehicle), 음식(Food), 가구(Furniture), 가전제품(Appliance)과 같은 상위 카테고리 밑에 다양한 클래스로 구성되어 사진 기록물에 포함된 객체를 인식하기에 적합하다.

이렇게 Faster R-CNN 모델을 사용하여 사진 기록물에서 객체들을 전부 추출하는 경우, 추출된 객체들은 사진 기록물의 메타데이터로 저장되는데, 사진 기록물 검색 시 해당 객체들을 활용하기 위해서 사진 기록물 메타데이터 항목 중‘사진 속 객체(Object in the Image)’ 항목에 추출한 객체들을 저장할 수 있다.

분산부(340)는, 적어도 하나의 기관 리포지토리(500)에 개인기록 콘텐츠를 분산저장할 수 있다. 이때, 적어도 하나의 기관 리포지토리(500)는, 개인기록 콘텐츠를 식별코드의 입력으로 출력되도록 하고, 개인기록 콘텐츠의 관리 및 보존할 수 있다. 이때, 개인기록 콘텐츠는 사용자의 고향의 기관 리포지토리(500)에 분산저장할 수 있다. 여기서, S/W 시스템, 인프라, 플랫폼 등 모든 ICT 개발 산출물에 핵심적인 역할을 하는 것은 DB(Database) 이다. 어떠한 시스템을 만든다는 것은 즉, 데이터를 어떻게 보여줄 것이며, 데이터를 어떤 형태로 저장, 관리할 것이며, 데이터를 어떠한 방법으로 획득할 것인지를 만드는 것이라 해도 과언이 아닐 것이다. 이처럼 시스템에서 핵심적인 역할을 하는 것은 데이터 이며, 이를 관리하는 것이 DBMS(Data Base Management System) 이다. 이러한 DBMS에는 다양한 종류의 것들이 있다. 전 세계적으로 가장 많이 쓰이는 오라클에서부터 MySQL, Microsoft SQL Server, MongoDB, PostgreSQL 등 다양한 DBMS가 존재한다. 시스템을 운영할 때의 실시예에 따라 상술한 DBMS나 또는 다른 종류의 DBMS를 선택하여 이용할 수 있다.

이때, 적어도 하나의 기관 리포지토리(500) 중 사용자 단말(100)의 사용자 고향 또는 사용자 단말(100)에서 선택한 위치를 관할하는 기관의 기관 리포지토리(500)에, 개인기록 콘텐츠가 저장될 수 있다. 예를 들어, 사용자의 고향이 서울이라면, 서울 관할 지자체나 박물관 또는 도서관 등에 개인기록 콘텐츠가 저장될 수도 있다. 적어도 하나의 검색 단말(400)은, 적어도 하나의 기관 리포지토리(500)에 식별코드를 입력하여 개인기록 콘텐츠에 엑세스할 수 있다. 이때, 식별코드는 적어도 하나의 검색 단말(400)을 식별하는 1차원 바코드 또는 2차원 바코드를 포함할 수 있다. 또, 적어도 하나의 키오스크(600)는, 적어도 하나의 기관 리포지토리(500)와 연동되고, 식별코드의 스캔 또는 리딩으로 엑세스권이 부여된 대상인지의 여부를 확인하며, 엑세스권이 부여된 대상에게 식별코드에 기 매핑되어 저장된 개인기록 콘텐츠를 전송할 수 있다.

이때, 적어도 하나의 기관 리포지토리(500)에서 개인기록 콘텐츠를 출력되도록 할 때의 개인기록 콘텐츠는, 가상현실(Virtual Reality) 또는 증강현실(Augment Reality) 콘텐츠일 수 있다. 이때, 개인기록 콘텐츠는 2차원 기록물이다. 예를 들어, 사진도 2차원 평면이고 동영상도 마찬가지로 2차원 평면 기록물이다. 이때, 2D 이미지에서 3D 데이터를 획득해야 상술한 가상현실 및 증강현실 콘텐츠의 제작이 가능해진다. 이는 이하 모델링부(370)를 통하여 후술한다.

또는, 슈도 홀로그램(Pseudo Hologram)을 더 포함할 수 있다. 슈도홀로그램이란 디지털 콘텐츠를 투명한 특수 스크린으로 프로젝터 혹은 디스플레이를 통해 간접 투영하여 홀로그램 영상을 가시화할 수 있는 기술로써 유사 홀로그램으로도 불린다. 예를 들어, 목업(Mock-up) 위에 디지털 콘텐츠를 투영하는 3D 슈도 홀로그램을 이용할 수도 있고, 2차원 평면에 2차원 이미지를 맵핑(Mapping)하는 2D-2D 프로젝션 맵핑 과정이나, 3차원 목업에 2차원 이미지를 맵핑하는 2D-3D 프로젝션 맵핑 과정을 수행할 수 있다. 또한, 현재의 홀로그램 영상은 정적인 이미지를 사용하거나 디자이너가 제작한 이미지들을 사용하기 때문에 콘텐츠의 사실적인 표현이 불가능하다. 따라서 이를 극복하기 위해 대상 콘텐츠의 표면 거칠기를 효과적으로 가시화할 수 있는 광원 보간법(Light interpolation) 과정을 수행함으로써 콘텐츠의 사실감과 동적 효과들을 향상시킬 수도 있다.

3차원 홀로그램을 위해서는 3차원 프로젝션 맵핑 기술과 콘텐츠에 3차원 효과를 극대화 할 수 있는 기술이 필요하다. 이러한 3차원 프로젝션 맵핑은 디지털 콘텐츠와 같은 크기의 목업을 제작하고 프로젝터를 이용해 콘텐츠를 3차원 목업에 직접 투사하게 된다. 하지만 2차원 평면이 아닌 3차원 물체에 프로젝션 맵핑을 할 경우에는 많은 왜곡이 발생하기 때문에 이러한 왜곡을 최소화하기 위한 연구가 계속해서 진행되고 있다. 프로젝터와 투사면 사이의 왜곡 보정을 위해서는 우선 프로젝터-카메라 시스템을 구축하고 프로젝터와 카메라 간의 픽셀 대응관계가 정의 되어야 한다. 이를 위해 구분적 선형근사(Piecewise linear approximation)를 이용할 수 있고, 구분적 2차 다항식(Piecewise second-order polynomials), 베지어 패치(Bezier patch)를 사용하여 프로젝터와 투사면 사이의 왜곡을 보정할 수 있다. 이 외에도 다양한 방법이 이용될 수 있으며, 홀로그램을 제공하는데 필요한 장비(프로젝터 등)이 더 필요할 수 있다. 물론, 홀로그램을 제공하는데 상술한 방법에 한정되지 않고 다양한 공지기술이 이용될 수 있음은 자명하다 할 것이다.

챗봇부(350)는, 개인기록 콘텐츠를 입력 데이터셋(DataSet)으로 챗봇(Chatbot)을 훈련 및 테스트할 수 있다. 챗봇(Chatbot)은 사람과 기계가 자연어로 대화를 주고 받는 시스템을 말한다. 페르소나(Persona) 챗봇이란 일반적인 응답을 생성하는 기존 챗봇과 다르게 개인 특성을 의미하는 페르소나를 반영하여 답변을 생성하는 챗봇을 말한다. 예를 들어, 돌아가신 어머니와 대화를 하고 싶다고 하면, 어머니가 딸과 대화를 하던 문자, 메신저, 이메일, 전화 등을 이용하여 페르소나 챗봇을 훈련시키면, 어머니가 하던 말투를 자주 사용하던 말뭉치(Corpus) 구축으로 사용하도록 하고, 어머니의 음성발화를 학습하여 목소리를 흉내낼 수도 있다. 이렇게 사용자가 원하는 페르소나를 반영한 챗봇과 대화를 하게 되면 더욱 친근한 대화가 가능하다. 이때, 페르소나를 반영한 챗봇 연구에 필수적인 요소 중 하나는 개인 특성 반영 여부에 대한 성능 측정 방법이다. 하지만 페르소나를 반영한 챗봇의 개인 특성 반영 여부를 측정할 수 있는 방법은 정성평가 외에 찾아보기 어렵다. 따라서 본 발명의 일 실시예에서는, 페르소나 챗봇의 성능 평가를 위해 챗봇의 발화에 대하여 페르소나 반영 여부에 대한 성능을 자동으로 평가하는 과정을 더 진행할 수 있다.

우선 페르소나 챗봇은, 디코더(Decoder)가 단어를 생성할 때 매 단계(Step)마다 학습 가능한 페르소나 벡터를 같이 반영하여 페르소나 정보를 반영한 모델과 페르소나 데이터를 구축하여 디코더의 매 단계마다 해당 정보를 반영한 모델 등이 이용될 수 있다. 다만, 해당 모델들은 페르소나 반영 여부에 대한 성능 평가가 진행되지 않았거나 정성평가로만 진행됐다. 페르소나 챗봇에서 개인 특성을 반영했는지 여부는 매우 중요한 문제이지만 뚜렷한 기준이 없기 때문에 해당 성능을 평가하기가 어렵다. 따라서, 이하의 과정을 거쳐 특성의 반영 여부를 확인할 수 있다.

<개인 특성 반영 여부 분류기>

페르소나 챗봇에 대한 개인 특성 반영 여부 측정을 위하여 복수의 문장 인코더(Sentence Encoder)가 연결되고, 복수의 문장 인코더의 출력은 소프트맥스 분류기(Softmax Classifier)로 입력되는 기본 모델 구조를 이용할 수 있다.

이때, 문장 인코더 (Sentence Encoder)는, GRU(Gated Recurrent Unit)으로 이루어진 순환 신경망(Recurrent Neural Networks : RNN)일 수 있다. 이때, 두 가지의 다른 다른 인코더 구조에 대하여, 즉, RNN-STATE는, 순방향 순환 신경망의 마지막 은닉 상태(Hidden State) 정보를 분류기의 입력으로 제공하도록 설정하고, Bi-RNN-STATE 그순방향 순환 신경망 대신 양방향 순환 신경망(Bi-directional Neural Networks)을 사용하여 신경망의 마지막 은닉 상태들을 연결(Concatenate)한 정보를 분류기의 입력으로 제공하도록 한다.

두 번째로 분류 모델, 즉 소프트맥스 분류기는, 분류 모델의 일종인데, 문장 인코더에 의해 인코딩된 입력 문장이 어떤 페르소나를 가진 인물의 발화인지 분류하는 역할을 한다. 모델 구조는 기본적인 소프트맥스(Softmax) 분류 모델의 구조를 사용하지만, 다른 분류기를 사용하는 것도 가능하다.

수학식 1에서 H는 순환 신경망의 마지막 은닉 상태 벡터이고 W와 B는 각각 가중치(Weight)와 편향(Bias)을 의미한다.

수학식 2에서 다중 분류를 수행하기 위해 수학식 1에서 구한 K에 소프트맥스 함수를 취하여 입력을 확률값으로 변환한다.

상술한 구성을 바탕으로, 사용자인 어머니가 사망하기 전, 자녀들이 어머니께서 돌아가신 후에도 어머니와 채팅을 하고 싶어 챗봇 서비스를 신청했다고 가정하자. 이때, 챗봇부(350)는, 사용자 단말(100)로부터 음성발화로 녹음된 음성 파일, 이메일, 문자, 카카오톡과 같은 메신저 등을 수집하고 정제할 수 있다. 어머니에 대한 페르소나는, 어머니의 인적사항, 성격 등으로 이루어질 수 있으며, 발화 데이터를 이용함으로써 어머니가 자주 쓰는 표현(Expression)이나 단어(Corpus)와 같은 어투 데이터셋을 구축할 수 있다. 그리고 수집한 데이터를 학습 데이터셋, 검증 데이터셋 및 평가 데이터셋으로 각각 나누어 진행하며, 만약 부족한 경우 사용자 단말(100)로부터 더 수집하거나 만약 사용자가 사망한 후라면 이미 구축된 발화 데이터로 자가증식시켜 더 만들 수도 있다. 이때, 임베딩(Embedding)은 미 등록어에 강건한 복합 표현 단위 임베딩을 이용할 수 있는데, 복합 표현 단위 임베딩은 형태소 단위의 임베딩과 열린 단어(고유 명사, 미등록어 형태소)에 대해 음절 단위로 합성곱 신경망(Convolutional Neural Networks : CNN)을 적용하여 형태소 단위 임베딩을 보완하는 역할을 한다.

어머니 페르소나를 가지는 챗봇이 완성되었으면, 성능을 평가해보아야 한다. 이때, 성능 평가 지표로 정확도(Accuracy)를 사용할 수 있으나 이에 한정되는 것은 아니다. 복수의 클래스의 발화 데이터에 대해 분류 정확도를 측정할 수 있고, 순환 신경망의 은닉층 크기(Hidden Size)롤 조절하여 설정할 수 있다. 이는 성능 평가때마다 달라질 수 있으므로 어느 하나의 숫자로 제한하지는 않는다. 페르소나 생성에 있어서 중요한 특성인 어투 정보는 문장의 끝 부분에 많이 등장하기 때문에 인코더의 마지막 은닉 상태를 입력으로 사용한 모델이 가장 성능이 좋을 수 있다. 이때 성능 평가에서 기준값을 넘지 못하는 경우 사용자가 아직 살아있는 경우에는 계속하여 음성발화를 수집하고 메신저나 이메일 등에서 새로운 데이터셋을 더 얻어 지속적으로 재학습을 진행할 수도 있다. 각 개인마다 사용하는 어휘나 단어가 어느 정도 고정되어 있고 문장을 만드는 방법도 각 패턴이 대부분 일정하기 때문에 충분한 데이터셋의 확보만 가능하다면 "어머니"와 똑같이 묻고 말하며 대답하는 챗봇의 설계가 가능하다.

수집부(360)는, 사용자 단말(100)을 부모 노드로, 엑세스권을 획득한 대상을 자식 노드로 하는 이진트리를 생성하고, 자식 노드에 대응하는 적어도 하나의 검색 단말(400)에 저장된 적어도 하나의 사진 또는 동영상 중 사용자의 얼굴이 피사체로 포함된 사진 또는 동영상을 주기적 또는 실시간으로 업로드받을 수 있다. 개인기록은 지금이 아니면 나중에는 수집할 수 없거나 수집할 가능성이 낮아지게 된다. 이에 따라, 수집부(360)는, 사용자가 예를 들어, 어머니라면, 어머니의 자녀들의 스마트폰, 즉 검색 단말(400)에서 어머니의 사진을 찍거나, 녹음을 하거나 동영상을 촬영한 것들을 실시간으로 수집할 수 있다. 이때, 어머니라는 것을 파악하기 위하여, 안면인식 알고리즘을 이용할 수도 있다. 피사체 내에 어머니의 얼굴 특징점이 인식되는 경우, 해당 사진을 수집부(360)에서 수집할 수 있다. 문자나 메신저와 같은 경우에는 상호 간 메세지가 표시되기 때문에 사용자 단말(100) 단(End)에서 수집가능하므로 이는 검색 단말(400)에서 수집하지 않는다.

얼굴을 인식할 때에는 크게 세 가지 단계를 거치게 된다. 첫 번째는 얼굴 정렬(줄맞춤), 두 번째는 얼굴 인식, 세 번째는 검출이다. 첫 번째 과정은 두 눈 양측의 점에 1 개씩 총 4개의 점(눈의 좌측점 및 우측점)과, 코 중심 부분과 인중 사이의 경계선에 1 개의 점과 같이, 총 5 개의 얼굴 랜드마크를 기준으로 얼굴을 줄맞춤하게 된다. 두 눈이 동일한 가로선에 위치하도록 얼굴을 회전시키고, 두 눈의 위치와 코 사이의 거리가 48 픽셀이 되도록 사진 크기를 조정하며, 마지막으로 눈 위와 코 아래로 40 픽셀 거리만 남기고 잘라내면 얼굴 세트, 즉 기준값으로 작용할 얼굴 데이터가 얻어진다.

인식 과정에서는 후보 얼굴과 등록된 얼굴 세트를 매칭시키는 방향으로 진행된다. 실제적으로는 특정 각도에서 등록된 얼굴과 다른 각도로 검출된 후보 얼굴이 비교되는데, 이런 경우 허위양성 또는 허위음성의 오류가 발생할 수 있다. 따라서, 사람의 얼굴을 등록할 때 3x3 배열로 총 9 개의 얼굴을 등록하여 같은 각도의 얼굴을 비교할 확률을 높일 수 있다. 이를 통하여, 인식 과정은 인식률에 종속된다. 이에 따라, 얼굴 데이터를 등록할 때, 각 방향을 바라보도록 얼굴 세트를 구성할 수도 있는데, 예를 들어, 가운데 얼굴은 0 도의 각도로 정면에 얼굴면과 직각 위치에 있는 카메라로 촬영될 수 있고, 다른 사진의 경우 정면 45도의 각도로 상, 하, 좌, 우 그리고 대각선 방향으로 촬영될 수 있다.

세 번째 단계는 검출 단계인데, 개인기록 콘텐츠 중 피사체가 사용자인 동영상이나 사진을 검출하는 것이다. 추적중에 각 트랙렛에서 얼굴 이미지 셋을 추출하여 인식 과정에 넘겨줄 수 있고, 얼굴은 평가되어 가장 확률이 높은 얼굴이 투표 시스템을 통하여 뽑히게 된다. 각 얼굴은 매칭 방식을 통하여 인식될 수 있다. 각 얼굴은 등록 과정과 같은 방법으로 전처리(줄맞춤)될 수 있고, SeqFace를 이용하여 각 얼굴의 특징점을 512-D 벡터 형태로 추출한다. 이후, 매칭 단계에서 후보 얼굴들은 등록된 얼굴과 벡터의 코사인 유사도를 계산 후 비교하여 후보와 제일 높은 점수를 갖는, 즉 부합하는(Matched) 얼굴이 선택된다.

다만, 후보의 얼굴 크기, 환경조건 및 각도에 따라 매칭 과정에서 의도치 않은 결과를 낼 수도 있다. 따라서, 투표자(Voter)에게 점수와 발생 빈도를 기반으로 모든 부합하는(Matched) 얼굴을 평가하도록 설계할 수 있다. 첫 째로, 각 부합하는 얼굴의 발생횟수를 카운트하여 빈도순으로 정리한다. 두 번째로, 코사인 유사도 점수가 가장 높은 얼굴이 가장 부합하는(Matched) 얼굴이 되도록 한다. 만일, 발생빈도가 가장 높은 얼굴이 2 개 이상일 경우, 코사인 유사도 점수에 기반하여 가장 부합하는 얼굴을 결정한다. 결론적으로, 최종 결과는, 가장 많이 검출된 얼굴과, 가장 높은 점수로 결정된다.

모델링부(370)는, 사용자 단말(100)로부터 수신한 개인기록 콘텐츠 내 사진 또는 동영상을 추출하고, 사진 또는 동영상 내 사용자가 피사체인 사진 또는 동영상으로부터 2D 피사체를 3D 모델링할 수 있다. 2D 이미지에서 3D 데이터 획득을 위한 블록 알고리즘을 이용하여, 2D 이미지를 이용하여 회색의 이미지(Gray Scale)로 변형한 뒤 엣지(Edge) 검출 처리를 한다. 이는 이미지의 외각라인만을 위하여 3D 데이터를 만들기 위해 사용할 수 있고, 3D의 공간적인 면을 위해 앞면과 뒷면의 면을 생성하고 3D 이미지를 완성한다.

<세그멘테이션>

2D 이미지에서 3차원 데이터로 변환하기 위한 첫번째 단계로 세그멘테이션 과정을 거치게 된다. 세그멘테이션(Segmentation)은 개인기록 콘텐츠에서 얻은 2D 이미지에서 3D 모델로 변환 시 2D 이미지의 객체 영역을 찾아 그것을 이미지 배경 부분과 전경 부분을 분리하는 것이다. 단순한 모형의 전경과 배경의 분리는 비교적 단순한 방법에 의하여 분리가 가능하다. 하지만 다소 복잡한 외곽선을 갖는 도형은 전경과 배경 분리 작업 시 다소 복잡한 연산이 필요하다. 전경과 배경을 분리하는 방법은 매우 다양한 방법이 있는데, 피사체가 사용자, 즉 사람이므로, 이에 강건하도록 에지를 검출하고 Waterfront 알고리즘을 이용하여 객체(피사체) 영역을 검출하도록 한다.

이때, 3D 모델링 제작을 위해 사용하는 2D 이미지는 전경 이미지 분리를 비교적 쉽게 하기 위하여 중심 도형의 외부에 여백이 있는 이미지를 이용할 수 있다. 만일 여백이 없는 경우에는 임의로 여백을 만들어 전경과 배경을 분리한다. 이런 가정 하에 배경 부분에는 정보가 없음으로 에지(Edge)를 검출하여 경계 영역을 검출할 수 있다. 에지 탐지(Edge Detection) 기법은 데이터 크기를 줄이며, 의미없는 자료를 없애주고, 영상의 구조적 정보 보존 측면에 영상처리에 많이 사용되는 기법이다. 대부분의 에지추출 마스크는 잡음에 대해 민감하므로, 작은 잡음이라도 그것을 에지로 간주하여 추출하는 경우가 많다. 이러한 부분의 단점을 보완하기 위한 방법이 캐니 마스크를 이용한 에지추출기법으로 실제로 잡음에 민감하지 않게 하며 효과적인 에지추출을 할 수 있다.

Waterfront 알고리즘은 배경 이미지를 바다로 표현한다면 전경 이미지는 섬으로 간주될 수 있으며 바다와 섬 사이의 경계 부분을 검출하는 알고리즘이다. 예를 들어, 바닷물이 가로축과 세로축으로만 흐른다는 가정 하에 최상단에서 부터 수평 오른쪽 방향과 수직 아래쪽 방향으로만 물이 흐를 때 에지(Edge)를 만나는 부분에서 물의 흐름이 멈추게 된다. 이때 물이 지나가는 자리는 배경으로 분류한다. 다음은 배경이 아닌 최하단 위치를 찾아 수평 왼쪽 방향과 수직 방향으로 물이 흐를 때 에지를 만날 때까지 배경으로 분류한다. 여기까지를 한 사이클(Cycle)이라고 하고 더 이상 배경이 검출되지 않는 사이클이 되면 알고리즘이 종료된다. 한 사이클 연산에 대부분의 배경이 분류되며 일부 영역만 아직 전경으로 분류된 경우에는 여러 사이클을 거치는 동안 전경과 배경이 정확히 분류될 수 있다.

<전경영역 세그먼테이션>

Waterfront 알고리즘을 이용하여 배경과 분리된 전경 영역은 전경영역 세그멘테이션 방법에 의해 라벨링을 한다. 이는 복잡한 도형을 3D 모델로 만들기 위해서는 비교적 단순한 모델의 조합에 의해 전체 3D 모델을 구성하기 위함이다. 전경영역 세그멘테이션은 Waterfront 알고리즘과 유사하다. 라벨링이 적용되지 않은 부분의 최상단 수평 우측 방향과 수직 우측 방향으로 이동 시 배경영역과 접점까지의 영역이 같은 라벨링 영역이 된다.

그 다음으로 버텍스(Vertex) 분배인데, 같은 라벨 별로 3D 모델을 각각 따로 작성하고 최종 모델은 이들을 조합하여 전체를 구성하게 된다. 이런 방법을 이용하면 복잡한 도형의 모델도 구성할 수 있다. 버텍스의 분배는 라벨링 영역을 일정한 구획으로 세분화를 하는데, 예를 들어, 수평축을 기준으로 같은 수평 축에는 같은 개수의 버텍스를 할당한다. 영역이 작으면 버텍스의 간격이 작아지고 영역이 넓어지면 버텍스 간격도 벌이지게 된다. 같은 수평축에 할당되는 버텍스 수가 많아질수록 고해상도의 3D 모델이 된다. 물론, 이렇게 3D 모델을 완성하고 나서도 사람의 개입으로 3D 모델을 변경하거나 변형하는 과정이 더 필요할 수도 있다. 자연스럽지 않거나 변형이 필요한 부분에 대하여 각 담당자가 수동으로 작업을 더 진행할 수도 있다.

유언관리부(380)는, 사용자 단말(100)로부터 수집된 개인기록 콘텐츠 중 유언에 대응하는 키워드가 포함된 텍스트 또는 유언에 대응하는 키워드를 음성발화하는 동영상이 존재하는 경우, 유언 카테고리로 분류하여 시간순으로 정렬하여 저장할 수 있다. 한국의 친족상속법에 의하면 배우자는 1.5, 자녀들은 균등하게 1 씩 분배된다. 다만, 본 발명의 일 실시예에 따른 유언은 장례의 방법이나 부동산과 같이 등기가 되지 않은 동산 등의 처분을 사용자가 생전에 말하는 것을 녹음해두었다가 이를 분배하는 것을 의미할 수 있다. 또는, 부동산을 한 사람에게 주고 싶다고 가정하면, 이는 부동산은 한 자녀 앞으로 등기하고 나머지 상속인들이 동의서를 작성하거나 만약 다툼이 있다면 부동산을 모두 받은 자녀가 상속인들에게 보상을 하는 방법으로 이루어져 사용자의 사망 후 자녀나 형제 간 유산상속에 다툼이 없도록 한다.

장례식에서는 늘 해당 부동산이나 동산을 누가 가질 것인지에 대해 다툼이 많다. 서로 고인을부터 들은 이야기가 다르고 이를 판가름해줄 고인은 이미 사망 후이기 때문에 고인의 뜻을 서로 추측하는 동안 싸움은 심해지고 감정의 골은 깊어진다. 이에 따라, 유언이 포함되는 키워드, 예를 들어, 부동산 명이나 동산 명과, 이를 받을 "사람"의 이름이 함께 등장하고, "누구에게 준다"와 같은 동사 및 어미로 종결되면 이를 유언 콘텐츠로 분류하고 이를 장례가 시작하면 상속인들에게 배포하는 것일 수 있다. 그럼에도 불구하고 유언의 앞뒤가 맞지 않거나 서로 대치되는 내용이 있는 경우에는 다툼이 여전히 존재할 수 있지만, 아무런 증거가 없는 것보다는 이후 분쟁이 발생할 소지가 훨씬 줄어든다.

매크로봇(390)은, 사용자 단말(100)에서 정보접근에 승인하는 경우, 사용자 단말(100)의 사용자 계정으로 가입된 적어도 하나의 소셜미디어, 이메일 및 사이트와, 사용자 단말(100)로 수발신된 호(Call), 문자(SMS/MMS) 및 메신저에 접근하여 업로드된 데이터를 수집할 수 있다. 이때, 매크로 프로그램은 단순/반복적 작업을 자동으로 프로그램화하여 처리하는 소프트웨어로 통상 수작업을 통해 이루어지는 키보드 및 마우스 입력값, 입력순서 등의 작업을 사전에 입력하여 자동적, 반복적으로 실행하도록 함으로써 컴퓨터를 이용한 단순작업의 효율성을 증대시키는 데 사용된다. 매크로 프로그램을 이용하여 단순/반복적 작업을 자동화하는 것 자체는 효율적인 업무처리를 위하여 필요하기 때문에, 허용된 명령을 자동화하는 방식으로 구성될 수 있다. 또는 매크로 봇과 유사한 웹 크롤러를 이용할 수도 있다. 다만, 웹 크롤러는 공개된 데이터만 수집할 수 있기 때문에 키보드나 마우스 입력값을 넣을 수가 없다. 따라서, 소셜미디어, 예를 들어, 페이스북이나 인스타그램에 전체공개가 아닌 나에게만 공개(Only Me)로 설정된 것들은 계정 정보, 예를 들어, 아이디와 패스워드를 매크로 봇이 입력하여 수집하는 것으로 설정할 수 있다.

이하, 상술한 도 2의 통합 관리 서비스 제공 서버의 구성에 따른 동작 과정을 도 3 및 도 4를 예로 들어 상세히 설명하기로 한다. 다만, 실시예는 본 발명의 다양한 실시예 중 어느 하나일 뿐, 이에 한정되지 않음은 자명하다 할 것이다.

도 3을 참조하면, (a) 관리 서비스 제공 서버(300)는 사용자 단말(100)에서 국민행복 기록관(본 발명의 일 실시예에 따른 페이지나 애플리케이션 명칭)에 접속하여 사용자 등록을 한 후, 엑세스권을 가진 대상자를 정하는 경우 이를 저장하면서 사용자 단말(100)의 등록을 완료한다. 그리고, (b) 관리 서비스 제공 서버(300)는 이메일, 문자, 메신저, 소셜미디어, 사진, 녹음, 영상 등 다양한 종류의 개인기록 콘텐츠를 수집하고, 클라우드에 저장된 자료나 사진 또는 동영상도 모두 수집한 후 메타데이터나 태그로 분류를 시작하고 구조화된 포맷에 재배치 및 편집할 수 있다. 이때, 사용자의 얼굴 특징점을 학습한 후에는, 적어도 하나의 검색 단말(400)로부터도 사용자의 얼굴이 포함된 사진이나 동영상은 모두 수집한다.

(c) 그리고 관리 서비스 제공 서버(300)는 적어도 하나의 검색 단말(400)에서 사용자의 이름이 포함된 부고 문자가 발송되는 경우, 사용자의 사망으로 간주하고 업데이트되지 못했던 잔존 콘텐츠를 사용자 단말(100)로부터 모두 독출하여 업로드받는다. (d) 이렇게 수집되어 분류 및 구조화된 자료들은 도서관, 국가기록원, 박물관 등 연계된 기관 리포지토리(500)에 분산되어 저장될 수 있다.

도 4의 (a)와 같이 사용자가 할머니이고 검색자가 손자 또는 손녀인 경우, 검색 단말(400)에서 엑세스권을 받은 대상자임을 알리는 QR 코드를 출력하고, 키오스크(600)는 이를 인식하여 관리 서비스 제공 서버(300)로 QR 코드에 매핑된 정보가 엑세스권이 있는 정보인지 확인받은 후 (b)와 같이 AR 또는 VR로 할머니의 모습을 보여주거나, 저장된 동영상 또는 사진 등을 보여줄 수 있다. 이때 출력 주체는 키오스크(600)일 수도 있고 검색 단말(400)일 수도 있다. (c)와 같이 사용자 단말(100)에서 유언을 의미하는 음성발화, 동영상 또는 글 등이 존재하는 경우, 이를 수집하여 검색 단말(400)에서 부고 문자를 발송할 때, 관리 서비스 제공 서버(300)는 검색 단말(400)로 유언을 전송할 수 있다. 이때, 부고 문자는 모친상, 부친상 등 사용자의 이름이 포함되지 않지만, 이미 부모노드-자식노드와 같이 이진트리로 가족 관계를 저장했으므로, 모친상, 부친상 등으로부터도 사용자의 부고인지 아닌지를 파악할 수 있다.

또, 관리 서비스 제공 서버(300)는 개인기록 콘텐츠를 이용하여 챗봇을 학습 및 테스트함으로써 사용자와 같이 말하거나 채팅을 하도록 훈련시킬 수 있고, 사용자의 사후에 검색 단말(400)에서 대화를 나눌 수 있도록 서비스할 수 있다.

이와 같은 도 2 내지 도 4의 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1을 통해 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.

도 5는 본 발명의 일 실시예에 따른 도 1의 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 시스템에 포함된 각 구성들 상호 간에 데이터가 송수신되는 과정을 나타낸 도면이다. 이하, 도 5를 통해 각 구성들 상호간에 데이터가 송수신되는 과정의 일 예를 설명할 것이나, 이와 같은 실시예로 본원이 한정 해석되는 것은 아니며, 앞서 설명한 다양한 실시예들에 따라 도 5에 도시된 데이터가 송수신되는 과정이 변경될 수 있음은 기술분야에 속하는 당업자에게 자명하다.

도 5를 참조하면, 통합 관리 서비스 제공 서버는, 사용자 단말로부터 개인기록 콘텐츠를 주기적 또는 실시간으로 업로드받는다(S5100).

그리고, 통합 관리 서비스 제공 서버는, 사용자 단말로부터 개인기록 콘텐츠에 접근가능한 엑세스권을 부여할 대상을 입력받고(S5200), 개인기록 콘텐츠를 메타데이터 또는 태그로 분류 및 카테고리화하여 기 설정된 구조화된 포맷에 맞게 재배치 및 편집한다(S5300).

마지막으로, 통합 관리 서비스 제공 서버는, 적어도 하나의 기관 리포지토리에 개인기록 콘텐츠를 분산저장한다(S5400).

상술한 단계들(S5100~S5400)간의 순서는 예시일 뿐, 이에 한정되지 않는다. 즉, 상술한 단계들(S5100~S5400)간의 순서는 상호 변동될 수 있으며, 이중 일부 단계들은 동시에 실행되거나 삭제될 수도 있다.

이와 같은 도 5의 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 4를 통해 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.

도 5를 통해 설명된 일 실시예에 따른 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

전술한 본 발명의 일 실시예에 따른 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 본 발명의 일 실시예에 따른 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims

민간기록 중 개인업무나 개인사와 관련하여 생산 및 수집된 텍스트, 이미지 및 동영상을 포함하는 개인기록 콘텐츠를 주기적 또는 실시간으로 업로드하는 사용자 단말;
상기 개인기록 콘텐츠를 식별코드의 입력으로 출력되도록 하고, 상기 개인기록 콘텐츠의 관리 및 보존하는 적어도 하나의 기관 리포지토리(Repository);
상기 사용자 단말로부터 개인기록 콘텐츠를 주기적 또는 실시간으로 업로드받는 수신부, 상기 사용자 단말로부터 상기 개인기록 콘텐츠에 접근가능한 엑세스권을 부여할 대상을 입력받는 입력부, 상기 개인기록 콘텐츠를 메타데이터 또는 태그로 분류 및 카테고리화하여 기 설정된 구조화된 포맷에 맞게 재배치 및 편집하는 구조화부, 상기 적어도 하나의 기관 리포지토리에 상기 개인기록 콘텐츠를 분산저장하는 분산부, 상기 사용자 단말로부터 수집된 개인기록 콘텐츠 중 유언에 대응하는 키워드가 포함된 텍스트 또는 상기 유언에 대응하는 키워드를 음성발화하는 동영상이 존재하는 경우, 유언 카테고리로 분류하여 시간순으로 정렬하여 저장하는 유언관리부, 상기 사용자 단말을 부모 노드로, 상기 엑세스권을 획득한 대상을 자식 노드로 하는 이진트리를 생성하고, 상기 자식 노드에 대응하는 적어도 하나의 검색 단말에 저장된 적어도 하나의 사진 또는 동영상 중 상기 사용자의 얼굴이 피사체로 포함된 사진 또는 동영상을 주기적 또는 실시간으로 업로드받는 수집부를 포함하는 관리 서비스 제공 서버;
상기 적어도 하나의 기관 리포지토리에 상기 식별코드를 입력하여 상기 개인기록 콘텐츠에 엑세스하는 적어도 하나의 검색 단말; 및
상기 적어도 하나의 기관 리포지토리와 연동되고, 상기 식별코드의 스캔 또는 리딩으로 상기 엑세스권이 부여된 대상인지의 여부를 확인하며, 상기 엑세스권이 부여된 대상에게 상기 식별코드에 기 매핑되어 저장된 개인기록 콘텐츠를 전송하는 적어도 하나의 키오스크를 포함하고,
상기 키오스크는, 상기 식별코드의 스캔 또는 리딩으로 사용자의 개인기록 콘텐츠를 조회 및 열람하고자 하는 검색 단말이 사용자에 의해 기 설정된 사용자의 직계가족 및 방계혈족을 포함한 가족 및 지인인 경우, 상기 검색 단말을 엑세스권이 부여된 대상으로 인식하여 사용자의 개인기록인 상기 개인기록 콘텐츠를 전송하고,
상기 유언관리부는, 수집된 개인기록 콘텐츠 중 부동산 명, 부동산 명을 받게되는 사람의 이름, 및 기 설정된 동사와 어미의 종결어가 포함된 콘텐츠를 유언 콘텐츠로 분류하고, 상기 적어도 하나의 검색 단말에서 상기 사용자의 이름이 포함된 부고 문자가 발송될 때 사용자의 사망으로 간주하고 상기 유언 콘텐츠를 부고 문자가 발송된 검색 단말로 전송하고,
상기 사용자의 부고 여부는, 사용자의 이름이 포함된 부고 문자의 발송을 통해 파악되거나 사용자의 이름이 미포함된 경우일 때 상기 사용자 단말을 부모 노드로 하고 상기 엑세스권을 획득한 대상을 자식 노드로 하도록 생성된 이진트리를 이용한 가족 관계를 기반으로 기 설정된 단어가 포함된 부고 문자의 발송을 통해 파악되는 것이고,
상기 구조화부는, 상기 개인기록 콘텐츠의 구조화를 위해 Faster R-CNN(Regions-CNN) 및 YOLO(You Only Look Once)를 포함한 딥러닝 기반 객체 인식 알고리즘을 이용하여 이미지나 동영상에서 추출된 객체를 이미지나 동영상의 저장시 메타데이터로서 자동 저장하되, 상기 개인기록 콘텐츠가 이미지이고 객체가 기 설정된 픽셀 이하인 경우 Faster R-CNN을 이용하고, 상기 개인기록 콘텐츠가 동영상인 경우 YOLO를 이용하며,
상기 수집부에서 상기 자식 노드에 대응하는 적어도 하나의 검색 단말에 저장된 적어도 하나의 사진 또는 동영상에서 피사체인 상기 사용자의 얼굴의 인식은, 안면인식 알고리즘을 이용하여 파악되되, 두 눈 양측의 점에 1 개씩 총 4개의 점과 코 중심 부분과 인중 사이의 경계선에 1 개의 점을 포함한 총 5 개의 얼굴 랜드마크를 기준으로 얼굴을 줄맞춤시키고, 두 눈이 동일한 가로선에 위치하도록 얼굴을 회전시키고, 두 눈의 위치와 코 사이의 거리가 48 픽셀이 되도록 사진 크기를 조정하며, 눈 위와 코 아래로 40 픽셀 거리만 남기고 잘라냄으로써 기준값으로 작용하게 되는 얼굴 데이터를 획득하고, 상기 얼굴 데이터를 등록할 때 3x3 배열로 각 방향을 바라보도록 촬영된 9개의 얼굴을 얼굴 세트로 구성하여 등록하며, 등록된 얼굴 세트 내 얼굴과 후보 얼굴 간의 매칭 비교를 수행함으로써 이루어지고,
상기 얼굴 세트에서 가운데 얼굴은 0도의 각도로 정면에 얼굴면과 직각 위치에 있는 카메라로 촬영된 것이고, 상기 얼굴 세트에서 가운데 얼굴 외 다른 사진은 정면의 45도의 각도로 상, 하, 좌, 우 및 대각선 방향에서 촬영된 것인, 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 시스템.
제 1 항에 있어서,
상기 식별코드는 상기 적어도 하나의 검색 단말을 식별하는 1차원 바코드 또는 2차원 바코드를 포함하는 것을 특징으로 하는 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 시스템.
삭제
제 1 항에 있어서,
상기 적어도 하나의 기관 리포지토리에서 상기 개인기록 콘텐츠를 출력되도록 할 때의 상기 개인기록 콘텐츠는, 가상현실(Virtual Reality) 또는 증강현실(Augment Reality) 콘텐츠인 것을 특징으로 하는 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 시스템.
제 1 항에 있어서,
상기 관리 서비스 제공 서버는,
상기 개인기록 콘텐츠를 입력 데이터셋(DataSet)으로 챗봇(Chatbot)을 훈련 및 테스트하는 챗봇부;
를 더 포함하는 것을 특징으로 하는 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 시스템.
삭제
제 1 항에 있어서,
상기 관리 서비스 제공 서버는,
상기 사용자 단말로부터 수신한 개인기록 콘텐츠 내 사진 또는 동영상을 추출하고, 상기 사진 또는 동영상 내 사용자가 피사체인 사진 또는 동영상으로부터 2D 피사체를 3D 모델링하는 모델링부;
를 더 포함하는 것을 특징으로 하는 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 시스템.
제 1 항에 있어서,
상기 적어도 하나의 기관 리포지토리 중 상기 사용자 단말의 사용자 고향 또는 상기 사용자 단말에서 선택한 위치를 관할하는 기관의 기관 리포지토리에, 상기 개인기록 콘텐츠가 저장되는 것을 특징으로 하는 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 시스템.
삭제
제 1 항에 있어서,
상기 관리 서비스 제공 서버는,
상기 사용자 단말에서 정보접근에 승인하는 경우, 상기 사용자 단말의 사용자 계정으로 가입된 적어도 하나의 소셜미디어, 이메일 및 사이트와, 상기 사용자 단말로 수발신된 호(Call), 문자(SMS/MMS) 및 메신저에 접근하여 업로드된 데이터를 수집하는 매크로(Macro) 봇;
을 더 포함하는 것을 특징으로 하는 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 시스템.