KR20200084445A - 메타 데이터를 이용한 사진 기록물의 저장 방법 및 이를 수행하는 단말 장치 - Google Patents

메타 데이터를 이용한 사진 기록물의 저장 방법 및 이를 수행하는 단말 장치 Download PDF

Info

Publication number
KR20200084445A
KR20200084445A KR1020180169835A KR20180169835A KR20200084445A KR 20200084445 A KR20200084445 A KR 20200084445A KR 1020180169835 A KR1020180169835 A KR 1020180169835A KR 20180169835 A KR20180169835 A KR 20180169835A KR 20200084445 A KR20200084445 A KR 20200084445A
Authority
KR
South Korea
Prior art keywords
photo
record
photographic
text
records
Prior art date
Application number
KR1020180169835A
Other languages
English (en)
Other versions
KR102209316B1 (ko
Inventor
이규철
김인아
강영선
Original Assignee
충남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충남대학교산학협력단 filed Critical 충남대학교산학협력단
Priority to KR1020180169835A priority Critical patent/KR102209316B1/ko
Publication of KR20200084445A publication Critical patent/KR20200084445A/ko
Application granted granted Critical
Publication of KR102209316B1 publication Critical patent/KR102209316B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/268—Morphological analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

메타 데이터를 이용한 사진 기록물의 저장 방법 및 이를 수행하는 단말 장치가 개시된다. 개시된 방법은 복수의 사진 기록물 각각에 대한 메타 데이터를 생성하는 단계; 및 상기 복수의 사진 기록물을 대응되는 상기 메타 데이터와 매칭시켜 저장하는 단계;를 포함하되, 상기 메타 데이터는, 상기 사진 기록물에 대한 키워드 및 상기 사진 기록물 상에 존재하는 객체 정보 및 상기 사진 기록물 상에 존재하는 인물 정보 중 적어도 하나를 포함한다. 본 발명에 따르면, 표준화된 메타 데이터를 이용하여 사진 기록물을 보다 효율적으로 저장 및 관리하고, 검색할 수 있는 장점이 있다.

Description

메타 데이터를 이용한 사진 기록물의 저장 방법 및 이를 수행하는 단말 장치{METHOD FOR STORING PHOTO RECORDING USING METADATA AND TERMINALS DEVICE FOR PERFORMING THE METHOD}
본 발명의 실시예들은 메타 데이터를 이용하여 사진 기록물을 보다 효율적으로 저장 및 관리하고 검색할 수 있는 사진 기록물의 저장 방법 및 이를 수행하는 단말 장치에 관한 것이다.
최근 공공 기록물이 역사적 가치가 높은 중요한 사료로 인식되고 있으며, 각 지방자치단체에서는 기록물의 중요성을 인식하고 보존하기 위한 노력을 수행하고 있다.
일반 기록물, 즉 텍스트 기록물의 경우에는 메타데이터의 표준이 있어 통일성이 있게 관리되고 있지만, 사진 기록물의 경우에는 메타데이터를 표준이 없어 통일성 없이 관리하고 있다. 즉, 사진 기록물의 경우, 메타데이터의 표준이 존재하지 않아 서로 다른 방식으로 메타데이터를 저장하므로 다른 지방자치단체끼리의 사진 기록물의 호환을 어렵게 한다.
그리고, 새로운 사진을 등록할 때마다 메타데이터를 한 건씩 수동으로 입력하기 때문에 시간적 소모 및 인적 소모가 크다.
또한, 지방자치단체의 공무원들의 업무 특성상 특정 인물이나 행사와 관련된 사진을 검색해야 하는 경우가 많은데, 정교한 메타데이터의 부재로 인해 정확한 키워드를 모를 경우 검색에 어려움을 겪는다. 이는 공무원들이 사진을 관리할 때 일정한 메타데이터 설계 없이 파일명을 기준으로 사진을 관리하기 때문에, 담당자가 바뀔 때마다 사진을 기록하는 표기 방법 및 파일명 규칙 등이 달라지는 문제점이 있다.
상기한 바와 같은 종래기술의 문제점을 해결하기 위해, 본 발명에서는 표준화된 메타 데이터를 이용하여 사진 기록물을 보다 효율적으로 저장 및 관리하고 검색할 수 있는 사진 기록물의 저장 방법 및 이를 수행하는 단말 장치를 제안하고자 한다.
본 발명의 다른 목적들은 하기의 실시예를 통해 당업자에 의해 도출될 수 있을 것이다.
상기한 목적을 달성하기 위해 본 발명의 바람직한 일 실시예에 따르면, 프로세서가 포함된 장치에서 수행되는 사진 기록물의 저장 방법에 있어서, 복수의 사진 기록물 각각에 대한 메타 데이터를 생성하는 단계; 및 상기 복수의 사진 기록물을 대응되는 상기 메타 데이터와 매칭시켜 저장하는 단계;를 포함하되, 상기 메타 데이터는, 상기 사진 기록물에 대한 키워드 및 상기 사진 기록물 상에 존재하는 객체 정보 및 상기 사진 기록물 상에 존재하는 인물 정보를 포함하는 것을 특징으로 하는 사진 기록물의 저장 방법이 제공된다.
상기 생성하는 단계는, 상기 사진 기록물에 대해 문자 인식을 수행하여 상기 사진 기록물 상에 존재하는 텍스트를 추출하고, 상기 추출된 텍스트에 대해 형태소 분석을 수행하여 상기 키워드를 추출할 수 있다.
상기 생성하는 단계는, 상기 사진 기록물에 대해 문자 인식을 수행하여 상기 사진 기록물 상에 존재하는 텍스트를 추출하고, 상기 추출된 텍스트를 모두 포함하고 띄어쓰기가 없는 하나의 문자열을 생성하며, 상기 추출된 텍스트 및 상기 하나의 문자열에 대해 형태소 분석을 수행하여 상기 키워드를 추출할 수 있다.
상기 생성하는 단계는, 상기 사진 기록물을 미리 학습된 딥 러닝 기반의 알고리즘 모델에 입력하여 상기 사진 기록물 상에 존재하는 객체 정보 및 상기 사진 기록물 상에 존재하는 인물 정보를 추출할 수 있다.
상기 딥 러닝 기반의 알고리즘 모델 중 객체 인식 알고리즘 모델은 R-CNN(Regions-CNN), R-CNN에서 파생된 신경망, YOLO(You only Look Once), SSD Single Shot MultiBox Detector)을 포함할 수 있다.
미리 학습되지 않은 새로운 객체가 상기 사진 기록물에 존재하는 경우, 상기 새로운 객체의 이름 정보가 포함되고 새로운 객체를 둘러싸는 경계 박스가 표시된 복수 개의 이미지를 트레이닝 데이터를 이용하여 상기 객체 인식 알고리즘 모델이 추가적으로 학습될 수 있다.
상기 딥 러닝 기반의 알고리즘 모델 중 얼굴 인식 알고리즘 모델은 VGGFace, FaceNet, NAN(Neural Aggregation Network)을 포함할 수 있다.
상기 메타 데이터는, 상기 사진 기록물의 제목, 상기 사진 기록물의 촬영자, 상기 사진 기록물의 촬영일, 상기 사진 기록물의 촬영 장소, 상기 사진 기록물의 설명, 상기 사진 기록물에서 수행된 이벤트의 이름, 상기 사진 기록물의 원본 사진 파일의 이름인 원화 번호, 상기 사진 기록물을 등록하는 생성자, 상기 사진 기록물의 가로 및 세로 사이즈, 상기 사진 기록물이 상기 장치 내에서 저장된 위치, 상기 사진 기록물의 파일 사이즈, 상기 사진 기록물의 이미지 압축 포멧, 상기 사진 기록물의 카테고리, 상기 사진 기록물의 조회수를 더 포함할 수 있다.
상기 메타 데이터는, 상기 사진 기록물의 검색 시 사용될 수 있다.
또한, 본 발명의 다른 실시예에 따르면, 컴퓨터에서 판독 가능한 명령을 저장하는 메모리; 및 상기 명령을 실행하도록 구현되는 프로세서:를 포함하되, 상기 프로세서는, 복수의 사진 기록물 각각에 대한 메타 데이터를 생성하고, 상기 복수의 사진 기록물을 대응되는 상기 메타 데이터와 매칭시켜 저장하도록 제어하되, 상기 메타 데이터는, 상기 사진 기록물에 대한 키워드 및 상기 사진 기록물 상에 존재하는 객체 정보 및 상기 사진 기록물 상에 존재하는 인물 정보를 포함하는 것을 특징으로 하는 단말 장치가 제공된다.
본 발명에 따르면, 표준화된 메타 데이터를 이용하여 사진 기록물을 보다 효율적으로 저장 및 관리하고, 검색할 수 있는 장점이 있다.
또한, 본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시예에 따른 단말 장치의 개략적인 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 사진 기록물의 저장 방법의 흐름도를 도시한 도면이다.
도 3 내지 도 7는 본 발명의 일 실시예에 따른 메타 데이터를 생성하는 개념을 설명하기 위한 도면이다.
본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
이하, 본 발명의 다양한 실시예들을 첨부된 도면을 참조하여 상술한다.
도 1은 본 발명의 일 실시예에 따른 단말 장치의 개략적인 구성을 도시한 도면이다.
도 1을 참조하면, 단말 장치(100)는 사진 기록물의 저장 및 검색을 수행하는 장치로서, 입력부(110), 메모리부(120), 프로세서부(130) 및 디스플레이부(140)를 포함한다. 이하, 각 구성 요소 별로 수행되는 기능을 설명하면 다음과 같다.
입력부(110)는 사용자로부터 사진 기록물을 입력 받고, 사용자로부터 텍스트 정보를 입력 받는 구성요소이다. 일례로, 입력부(110)는 유선 통신 또는 무선 통신으로 통해 전송된 사진 기록물을 입력 받을 수도 있다. 또한, 입력부(110)는 마우스 및 키보드를 포함할 수 있다.
메모리부(120)는 휘발성 및/또는 비휘발성 메모리일 수 있고, 단말 장치(100)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장한다. 특히, 메모리부(120)는 하기에서 설명하는 메타 데이터를 생성하기 위한 컴퓨터 프로그램 내지 기록 매체에 관계된 명령어 또는 데이터를 저장할 수 있다.
프로세서부(130)는 중앙처리장치, 애플리케이션 프로세서, 또는 커뮤니케이션 프로세서 중 하나 또는 그 이상을 포함할 수 있다. 예를 들면, 프로세서부(130)는 단말 장치(100)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다. 특히, 프로세서부(130)는 상기 컴퓨터 프로그램의 실행에 관계된 명령을 실행할 수 있다.
디스플레이부(140)는 액정 디스플레이(LCD), 발광 다이오드 디스플레이(LED), 유기 발광 다이오드 디스플레이(OLED) 등으로 구성될 수 있으며, 프로세서부(130)에서 실행되는 컴퓨터 프로그램의 실행 화면 및 출력값을 표시할 수 있다.
본 발명의 일 실시예에 따르면, 단말 장치(100)는 복수의 사진 기록물 각각에 대한 메타 데이터를 생성하고, 복수의 사진 기록물을 대응되는 메타 데이터와 매칭시켜 저장하도록 제어한다. 이 때, 사용자는 메타 데이터를 이용하여 사진 기록물을 검색할 수 있다.
이하, 도 2를 참조하여 단말 장치(100) 내의 프로세서부(130)에서 수행되는 사진 기록물의 저장 동작에 대해 상세하게 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 사진 기록물의 저장 방법의 흐름도를 도시한 도면이다. 이하, 각 단계 별로 수행되는 과정을 설명하기로 한다.
먼저, 단계(210)에서는 복수의 사진 기록물 각각에 대한 메타 데이터를 생성한다.
메타 데이터는 사진 기록물에 대한 정보를 포함하는 것으로서, 복수의 텍스트 정보로 구성되어 있다.
그리고, 단계(220)에서는 복수의 사진 기록물을 대응되는 메타 데이터와 매칭시켜 저장하도록 제어한다. 따라서, 사용자는 메타 데이터를 이용하여 사진 기록물을 검색할 수 있다.
본 발명의 일 실시예에 따르면, 메타 데이터는 사진 기록물의 특성을 반영한 것으로서, 제목, 촬영자, 촬영일, 촬영 장소, 설명, 그룹명, 키워드, 원화 번호, 생성자, 가로 및 세로 사이즈, 이미지 파일의 위치, 이미지 파일 사이즈, 이미지 압축 포멧, 카테고리, 조회수, 사진에 존재하는 사람, 사진 속 객체 정보를 포함할 수 있다.
메타 데이터에 포함된 정보에 대해 보다 상세하게 설명하면 다음과 같다.
1) 제목(Name): 사진 기록물(즉, 사진 파일)의 이름
2) 촬영자(Creator): 사진 기록물을 촬영하는 촬영자의 이름, 촬영자가 식별되지 않는 경우 단체의 이름
3) 촬영일(Date Created): 사진 기록물을 촬영한 날짜
4) 촬영장소(Location Created): 사진 기록물을 촬영한 장소
5) 그룹명(Group Name): 사진 기록물에서 수행된 이벤트의 이름(즉, 특정 장소이나 인물과 관련된 이벤트의 이름)
6) 원화 번호(Original Name): 카메라로 사진 기록물을 촬영하는 경우의 원본 사진 파일의 이름
7) 생성자(Registrant): 사진 기록물을 등록하는 사람
8) 키워드(Keywords): 사진 기록물의 주제, 내용 등을 나타내는 정보
9) 가로 및 세로 사이즈(Width & Height Size): 사진 기록물인 이미지의 해상도 단위인 PPI(Pixels Per Inch)의 가로 및 세로 길이
10) 이미지 파일 위치(Image File Location): 사진 기록물이 단말 장치 내에서 저장된 위치(경로)
11) 이미지 파일 사이즈(Image File Size): 사진 기록물인 사진 파일의 사이즈
12) 이미지 압축 포맷(Image Compressed Format): 사진 기록물의 사진 파일의 압축 형식,
13) 설명(Description): 사진 기록물에서 발생하는 상황에 대한 설명
14) 분류(Category): 사진 기록물의 종류에 따른 카테고리
15) 조회 수(Views): 사진 기록물을 열어본 횟수(업데이트 됨)
16) 사진에 표시된 사람(Person Shown in the Image): 사진 기록물 상에 존재하는 인물에 관한 정보
17) 사진 속 객체(Object in the Image): 사진 기록물 상에 존재하는 객체에 관한 정보
여기서, 메타 데이터 중 1) 내지 12)는 필수 항목이고, 13) 내지 17)은 옵션 항목일 수 있다.
이하, 메타 데이터에 포함된 정보 중에서 "키워드", "사진에 표시된 사람" 및 "사진 속 객체"을 추출하는 동작을 보다 상세하게 설명하기로 한다.
먼저, "키워드"과 관련하여, 프로세서부(130)는 사진 기록물에 대해 문자 인식을 수행하여 사진 기록물 상에 존재하는 텍스트를 추출한다.
일례로서, 프로세서부(130)는 OCR(Optical Character Recognition) 라이브러리 알고리즘 내지 OCR 소프트웨어를 사용하여 사진 기록물에서 텍스트를 추출할 수 있다. 이 때, OCR 소프트웨어는 Google OCR, MS OCR, Abbyy OCR, Tesseract 일 수 있다. 도 3에서는 사진 기록물에서 텍스트를 추출하는 일례를 도시하고 있다.
그리고, 프로세서부(130)는 상기 추출된 텍스트에 대해 형태소 분석을 수행하여 키워드를 추출할 수 있다. 여기서, 형태소 분석을 통해 숫자, 조사, 한 음절, 특수문자를 제외한 명사를 기준으로 키워드를 추출할 수 있다. 추출된 키워드가 메타 데이터 내의 "키워드"로 매핑된다. 도 4에서는 형태소 분석기를 이용하여 키워드를 추출하는 일례를 도시하고 있다.
한편, 상기에서 설명한 키워드 추출 과정에는 오류가 발생할 수 있다.
즉, 도 5의 (a)를 참조하면, 추출된 키워드들 중에서 "소장품"이 한 음절씩 토큰화되는 경우가 발생할 수 있다. 이러한 오류를 방지하기 위해, 프로세서부(130)는 추출된 텍스트를 모두 포함하고 띄어쓰기가 없는 하나의 문자열을 생성하고 생성된 하나의 문자열에 대해 형태소 분석을 수행하여 키워드를 추출할 수 있다. 도 5의 (b)에서는 추출된 텍스트(즉, 전처리 전의 텍스트)에서 하나의 문자열(즉, 전처리 후의 텍스트)를 생성하는 개념을 도시하고 있다.
그러나, 하나의 문자열에서 키워드를 추출하는 경우, 전처리하지 않은 텍스트에서 정상적으로 출력되었던 키워드가 전처리 후 한 음절씩 토큰화되는 오류가 발생할 수 있다. 도 6의 (a)에서는 추출된 텍스트(즉, 전처리 전의 텍스트)에 대해 형태소 분석을 수행하여 키워드를 추출한 결과를 도시하고 있고, 도 6의 (b)에서는 하나의 문자열(즉, 전처리 후의 텍스트)에 대해 형태소 분석을 수행하여 키워드를 추출한 결과를 도시하고 있다.
따라서, 본 발명의 일 실시예에 따르면, 프로세서부(130)는 사진 기록물에 대해 문자 인식을 수행하여 사진 기록물 상에 존재하는 텍스트를 추출하고, 추출된 텍스트를 모두 포함하고 띄어쓰기가 없는 하나의 문자열을 생성하며, 추출된 텍스트 및 하나의 문자열 모두에 대해 형태소 분석을 수행하여 키워드를 추출할 수 있다. 도 7에서는 추출된 텍스트 및 하나의 문자열 모두에 대해 형태소 분석을 수행하여 키워드를 추출하는 일례를 도시하고 있다.
다음으로, "사진 속 객체"과 관련하여, 프로세서부(130)는 사진 기록물을 미리 학습된 딥 러닝 기반의 알고리즘 모델에 입력하여 사진 기록물 상에 존재하는 객체의 정보를 추출할 수 있다. 이 때, 딥 러닝 기반의 알고리즘 모델 중에서 객체를 인식하는 알고리즘 모델은 R-CNN(Regions-CNN), R-CNN에서 파생된 신경망(Fast R-CNN, FASTER R-CNN 등), YOLO(You only Look Once), SSD(Single Shot MultiBox Detector)를 포함할 수 있다.
보다 상세하게, CNN(Convolutional Neural Network)은 이미지의 특징 추출을 목적으로 만들어진 딥 러닝 알고리즘이고, R-CNN 내지 R-CNN에서 파생된 신경망은 영역을 제안하여 보다 빠른 연산이 가능한 CNN이다. 그리고, YOLO은 하나의 회귀 문제를 경계 박스와 클래스 확률에서 제외하고, 이미지를 하나의 객체로 선택하며, 하나의 길쌈 회선망에 여러 개의 경계 박스를 두어 경계 확률을 산출하는 알고리즘이고, SSD는 화면의 대상들을 다중의 박스로 인식해 통일된 프레임워크에서 인식을 수행하는 알고리즘이다. 상기한 알고리즘들은 당업자에게 널리 알려진 것이므로, 상세한 설명은 생략하기로 한다.
한편, 상기에서 설명한 객체 정보 추출 과정에는 사전에 정의되지 않아 인식이 되지 않는 새로운 객체가 사진 기록물에 존재할 수 있다. 따라서, 본 발명에서는 새로운 객체를 인식하기 위해 추가적인 학습이 수행된다. 이 때, 새로운 객체가 포함된 복수 개의 이미지 각각에 대해, 새로운 객체를 둘러싸는 경계 박스를 표시하고, 새로운 객체의 이름 정보가 포함되고 경계 박스가 표시된 복수 개의 이미지를 트레이닝 데이터로 이용한다.
다음으로, "사진에 표시된 사람"과 관련하여, 프로세서부(130)는 사진 기록물을 미리 학습된 딥 러닝 기반의 알고리즘 모델 중 얼굴 인식 알고리즘 모델에 입력하여 사진 기록물 상에 존재하는 특정 인물의 정보를 추출할 수 있다. 이 때, 얼굴 인식 알고리즘 모델은 VGGFace, FaceNet, NAN(Neural Aggregation Network)를 포함할 수 있다.
보다 상세하게, VGGFace는 5개의 컨볼루션 층으로 구성된 신경망 구조를 사용하여 얼굴을 인식하는 딥러닝 알고리즘이며, FaceNet은 동일한 인물 사진에서 추출한 특징들 사이의 유클리디언(Euclidean) 거리는 다른 인물 사진의 거리보다 작다는 특징에 기반하여 얼굴을 인식하는 딥러닝 알고리즘이다. 또한, NAN(Neural Aggregation Network)은 비디오의 여러 개 프레임에서 단일 특징을 추출하여 얼굴을 인식하는 딥러닝 알고리즘이다. 상기한 알고리즘들은 당업자에게 널리 알려진 것이므로, 상세한 설명은 생략하기로 한다.
요컨대, 본 발명은 사진 기록물에 대한 메타 데이터를 상기에서 설명한 정보들과 표준화함으로써 각 단체들 간의 사진 기록물의 호환을 가능하게 하고, 메타데이터의 정보 중 일부가 자동으로 입력되며, 사진 기록물을 보다 효율적으로 저장 및 관리하고, 검색할 수 있는 장점이 있다.
또한, 본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 일 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (12)

  1. 프로세서가 포함된 장치에서 수행되는 사진 기록물의 저장 방법에 있어서,
    복수의 사진 기록물 각각에 대한 메타 데이터를 생성하는 단계; 및
    상기 복수의 사진 기록물을 대응되는 상기 메타 데이터와 매칭시켜 저장하는 단계;를 포함하되,
    상기 메타 데이터는, 상기 사진 기록물에 대한 키워드 및 상기 사진 기록물 상에 존재하는 객체 정보 및 상기 사진 기록물 상에 존재하는 인물 정보를 포함하는 것을 특징으로 하는 사진 기록물의 저장 방법.
  2. 제1항에 있어서,
    상기 생성하는 단계는,
    상기 사진 기록물에 대해 문자 인식을 수행하여 상기 사진 기록물 상에 존재하는 텍스트를 추출하고, 상기 추출된 텍스트에 대해 형태소 분석을 수행하여 상기 키워드를 추출하는 것을 특징으로 하는 사진 기록물의 저장 방법.
  3. 제1항에 있어서,
    상기 생성하는 단계는,
    상기 사진 기록물에 대해 문자 인식을 수행하여 상기 사진 기록물 상에 존재하는 텍스트를 추출하고, 상기 추출된 텍스트를 모두 포함하고 띄어쓰기가 없는 하나의 문자열을 생성하며, 상기 추출된 텍스트 및 상기 하나의 문자열에 대해 형태소 분석을 수행하여 상기 키워드를 추출하는 것을 특징으로 하는 사진 기록물의 저장 방법.
  4. 제1항에 있어서,
    상기 생성하는 단계는,
    상기 사진 기록물을 미리 학습된 딥 러닝 기반의 알고리즘 모델에 입력하여 상기 사진 기록물 상에 존재하는 객체 정보 및 상기 사진 기록물 상에 존재하는 인물 정보를 추출하는 것을 특징으로 하는 사진 기록물의 저장 방법.
  5. 제4항에 있어서,
    상기 딥 러닝 기반의 알고리즘 모델 중 객체 인식 알고리즘 모델은 R-CNN(Regions-CNN), R-CNN에서 파생된 신경망, YOLO(You only Look Once), SSD(Single Shot MultiBox Detector)를 포함하는 것을 특징으로 하는 사진 기록물의 저장 방법.
  6. 제4항에 있어서,
    미리 학습되지 않은 새로운 객체가 상기 사진 기록물에 존재하는 경우, 상기 새로운 객체의 이름 정보가 포함되고 새로운 객체를 둘러싸는 경계 박스가 표시된 복수 개의 이미지를 트레이닝 데이터를 이용하여 상기 객체 인식 알고리즘 모델이 추가적으로 학습되는 것을 특징으로 하는 사진 기록물의 저장 방법.
  7. 제4항에 있어서,
    상기 딥 러닝 기반의 알고리즘 모델 중 얼굴 인식 알고리즘 모델은 VGGFace, FaceNet, NAN(Neural Aggregation Network)를 포함하는 것을 특징으로 하는 사진 기록물의 저장 방법.
  8. 제1항에 있어서,
    상기 메타 데이터는, 상기 사진 기록물의 제목, 상기 사진 기록물의 촬영자, 상기 사진 기록물의 촬영일, 상기 사진 기록물의 촬영 장소, 상기 사진 기록물의 설명, 상기 사진 기록물에서 수행된 이벤트의 이름, 상기 사진 기록물의 원본 사진 파일의 이름인 원화 번호, 상기 사진 기록물을 등록하는 생성자, 상기 사진 기록물의 가로 및 세로 사이즈, 상기 사진 기록물이 상기 장치 내에서 저장된 위치, 상기 사진 기록물의 파일 사이즈, 상기 사진 기록물의 이미지 압축 포멧, 상기 사진 기록물의 카테고리, 상기 사진 기록물의 조회수를 더 포함하는 것을 특징으로 하는 사진 기록물의 저장 방법.
  9. 제1항에 있어서,
    상기 메타 데이터는, 상기 사진 기록물의 검색 시 사용되는 것을 특징으로 하는 사진 기록물의 저장 방법.
  10. 컴퓨터에서 판독 가능한 명령을 저장하는 메모리; 및
    상기 명령을 실행하도록 구현되는 프로세서:를 포함하되,
    상기 프로세서는, 복수의 사진 기록물 각각에 대한 메타 데이터를 생성하고, 상기 복수의 사진 기록물을 대응되는 상기 메타 데이터와 매칭시켜 저장하도록 제어하되,
    상기 메타 데이터는, 상기 사진 기록물에 대한 키워드 및 상기 사진 기록물 상에 존재하는 객체 정보 및 상기 사진 기록물 상에 존재하는 인물 정보를 포함하는 것을 특징으로 하는 단말 장치.
  11. 제10항에 있어서,
    상기 프로세서는, 상기 사진 기록물에 대해 문자 인식을 수행하여 상기 사진 기록물 상에 존재하는 텍스트를 추출하고, 상기 추출된 텍스트를 모두 포함하고 띄어쓰기가 없는 하나의 문자열을 생성하며, 상기 추출된 텍스트 및 상기 하나의 문자열에 대해 형태소 분석을 수행하여 상기 키워드를 추출하는 것을 특징으로 하는 단말 장치.
  12. 제10항에 있어서,
    상기 메타 데이터는, 상기 사진 기록물의 제목, 상기 사진 기록물의 촬영자, 상기 사진 기록물의 촬영일, 상기 사진 기록물의 촬영 장소, 상기 사진 기록물의 설명, 상기 사진 기록물의 원본 사진 파일의 이름인 원화 번호, 상기 사진 기록물을 등록하는 생성자, 상기 사진 기록물의 가로 및 세로 사이즈, 상기 사진 기록물이 상기 장치 내에서 저장된 위치, 상기 사진 기록물의 파일 사이즈, 상기 사진 기록물의 이미지 압축 포멧, 상기 사진 기록물의 카테고리, 상기 사진 기록물의 조회수를 더 포함하는 것을 특징으로 단말 장치.
KR1020180169835A 2018-12-26 2018-12-26 메타 데이터를 이용한 사진 기록물의 저장 방법 및 이를 수행하는 단말 장치 KR102209316B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180169835A KR102209316B1 (ko) 2018-12-26 2018-12-26 메타 데이터를 이용한 사진 기록물의 저장 방법 및 이를 수행하는 단말 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180169835A KR102209316B1 (ko) 2018-12-26 2018-12-26 메타 데이터를 이용한 사진 기록물의 저장 방법 및 이를 수행하는 단말 장치

Publications (2)

Publication Number Publication Date
KR20200084445A true KR20200084445A (ko) 2020-07-13
KR102209316B1 KR102209316B1 (ko) 2021-01-29

Family

ID=71570788

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180169835A KR102209316B1 (ko) 2018-12-26 2018-12-26 메타 데이터를 이용한 사진 기록물의 저장 방법 및 이를 수행하는 단말 장치

Country Status (1)

Country Link
KR (1) KR102209316B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006164008A (ja) * 2004-12-09 2006-06-22 Matsushita Electric Ind Co Ltd 画像検索装置および画像検索方法
JP2009217741A (ja) * 2008-03-12 2009-09-24 Fujifilm Corp メタデータ付与方法及び装置、並びにメタデータ付与プログラム
JP2009217742A (ja) * 2008-03-12 2009-09-24 Fujifilm Corp メタデータ付与方法及び装置、並びにメタデータ付与プログラム
KR101887216B1 (ko) * 2017-11-24 2018-08-09 한태재 이미지 재구성 서버 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006164008A (ja) * 2004-12-09 2006-06-22 Matsushita Electric Ind Co Ltd 画像検索装置および画像検索方法
JP2009217741A (ja) * 2008-03-12 2009-09-24 Fujifilm Corp メタデータ付与方法及び装置、並びにメタデータ付与プログラム
JP2009217742A (ja) * 2008-03-12 2009-09-24 Fujifilm Corp メタデータ付与方法及び装置、並びにメタデータ付与プログラム
KR101887216B1 (ko) * 2017-11-24 2018-08-09 한태재 이미지 재구성 서버 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Yang, Jiaolong, et al. "Neural aggregation network for video face recognition." Proceedings of the IEEE conference on computer vision and pattern recognition. (2017.08.02. 공개)* *

Also Published As

Publication number Publication date
KR102209316B1 (ko) 2021-01-29

Similar Documents

Publication Publication Date Title
US20210319032A1 (en) Systems and methods for contextual retrieval and contextual display of records
US11514235B2 (en) Information extraction from open-ended schema-less tables
US11580763B2 (en) Representative document hierarchy generation
EP2565804B1 (en) Text-based searching of image data
US10803253B2 (en) Method and device for extracting point of interest from natural language sentences
US8577882B2 (en) Method and system for searching multilingual documents
US20080052262A1 (en) Method for personalized named entity recognition
US20130170738A1 (en) Computer-implemented method, a computer program product and a computer system for image processing
US10803252B2 (en) Method and device for extracting attributes associated with centre of interest from natural language sentences
US10210211B2 (en) Code searching and ranking
EP2806336A1 (en) Text prediction in a text input associated with an image
CN101611406A (zh) 文档存档系统
US20160063102A1 (en) Searching and ranking of code in videos
US20200312297A1 (en) Method and device for extracting factoid associated words from natural language sentences
WO2023108980A1 (zh) 基于文本对抗样例的信息推送方法及装置
US20220222292A1 (en) Method and system for ideogram character analysis
Li et al. Building structured personal health records from photographs of printed medical records
CN113094538A (zh) 图像的检索方法、装置和计算机可读存储介质
US20150082248A1 (en) Dynamic Glyph-Based Search
CN117873433A (zh) 描述文件获取方法、装置、电子设备及存储介质
KR102209316B1 (ko) 메타 데이터를 이용한 사진 기록물의 저장 방법 및 이를 수행하는 단말 장치
WO2022031283A1 (en) Video stream content
KR20200110880A (ko) 스타일 속성에 기반하여 문서에 대한 중요 키워드를 선정하는 전자 장치 및 그 동작 방법
Hast et al. TexT-Text Extractor Tool for Handwritten Document Transcription and Annotation
JP2549745B2 (ja) 文書検索装置

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant