KR20210083148A - 영상이미지 인식을 이용한 디지털포렌식 데이터베이스 구축 시스템 및 그 방법 - Google Patents

영상이미지 인식을 이용한 디지털포렌식 데이터베이스 구축 시스템 및 그 방법 Download PDF

Info

Publication number
KR20210083148A
KR20210083148A KR1020200072873A KR20200072873A KR20210083148A KR 20210083148 A KR20210083148 A KR 20210083148A KR 1020200072873 A KR1020200072873 A KR 1020200072873A KR 20200072873 A KR20200072873 A KR 20200072873A KR 20210083148 A KR20210083148 A KR 20210083148A
Authority
KR
South Korea
Prior art keywords
image
keyword
video
information
database
Prior art date
Application number
KR1020200072873A
Other languages
English (en)
Inventor
오희국
유동민
Original Assignee
한양대학교 에리카산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 에리카산학협력단 filed Critical 한양대학교 에리카산학협력단
Publication of KR20210083148A publication Critical patent/KR20210083148A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G06K9/00456—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

외장메모리에 저장된 영상이미지를 문서화하여 키워드 기반으로 특정 이미지의 검색이 가능한 영상이미지 인식을 이용한 디지털포렌식 데이터베이스 구축 시스템 및 그 방법이 제공된다. 영상이미지 인식을 이용한 디지털포렌식 데이터베이스 구축 방법은, 외장메모리에 저장된 다수의 영상이미지를 입력부를 통해 입력 받는 단계와, 영상이미지 내에 포함된 문자, 숫자, 사물, 사람의 얼굴 및 헤더의 정보를 인식하는 단계와, 영상이미지 내에서 인식된 정보에 따른 키워드를 생성하는 단계와, 영상이미지와 영상이미지에 포함된 정보에 따른 키워드를 연관시키는 단계와, 서로 연관된 영상이미지와 키워드에 따른 데이터베이스를 구축하는 단계를 포함할 수 있다.

Description

영상이미지 인식을 이용한 디지털포렌식 데이터베이스 구축 시스템 및 그 방법{System and method for constructing a digital forensics database using video image recognition}
본 발명은 영상이미지 인식을 이용한 디지털포렌식 데이터베이스 구축 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는, 외장메모리에 저장된 영상이미지를 문서화하여 키워드 기반으로 특정 영상이미지의 검색이 가능한 영상이미지 인식을 이용한 디지털포렌식 데이터베이스 구축 시스템 및 그 방법에 관한 것이다.
최근 전국 곳곳에 CCTV 또는 블랙박스가 설치되어 있고 사람들은 스마트폰과 디지털카메라를 이용해 하루에도 수많은 이미지와 영상을 만들어 낸다. 이같은 이미지파일은 모바일이나 컴퓨터에 저장되며, 최근에는 모바일에서 찍은 데이터가 클라우드를 통해 자동으로 서버에 저장된다.
이러한 추세에서 수사기관에서는 수색된 디지털매체를 분석할 때 증거의 단서를 찾기 위해 상당한 양의 파일을 확인해야 하며, 수많은 이미지파일을 확인해야 하는 조사관은 큰 난관에 봉착할 수 있다. 디지털 증거를 찾을 때 문서화된 파일들은 검색과 파서를 이용하여 원하는 데이터를 빠르게 접근할 수 있는 반면에, 이미지파일이나 동영상파일은 컴퓨터가 인식할 수 없는 바이너리 데이터로 구성되어 있어 검색이나 파서를 통해 이미지를 찾을 수 없기 때문에 조사관은 이미지파일을 하나씩 수동으로 확인해야 한다. 이는 조사관의 업무 강도를 높이는 것이고 작업이 비효율적으로 처리되는 문제가 있다.
따라서, 조사관들이 이미지 증거에 빠르게 접근하기 위해 이미지 파일을 문서화하고, 문서화된 정보를 이용하여 키워드 검색을 기반으로 이미지 증거들을 빠르게 수집하여 조사관들이 이미지 증거에 빠르게 접근할 수 있도록 이미지 파일을 키워드 검색을 기반으로 데이터베이스화 할 수 있는 작업을 필요로 하였다.
대한민국 등록특허공보 제10-1333064호(“멀티미디어 콘텐츠 기술자 추출시스템 및 그 방법”, 한국과학기술원, 2013.11.20) 대한민국 등록특허 제10-2039279호(“영상 인식을 이용한 경찰 업무 지원 시스템 및 그 방법”, 장승현, 2019.20.25) 대한민국 등록특허 제10-1228829호(“문자 및 이미지 인식을 이용한 제삼자호시스템 및 운영방법”, 심혁훈, 2013.01.28)
본 발명이 이루고자 하는 기술적 과제는 이러한 문제를 해결하기 위한 것으로서, 외장메모리에 저장된 영상이미지를 문서화하여 키워드 기반으로 특정 영상이미지의 검색이 가능한 영상이미지 인식을 이용한 디지털포렌식 데이터베이스 구축 시스템 및 그 방법에 관한 것이다.
본 발명의 영상이미지 인식을 이용한 디지털포렌식 데이터베이스 구축 방법은, 외장메모리에 저장된 다수의 영상이미지를 입력부를 통해 입력 받는 단계와, 상기 영상이미지 내에 포함된 문자, 숫자, 사물, 사람의 얼굴 및 헤더의 정보를 인식하는 단계와, 상기 영상이미지 내에서 인식된 상기 정보에 따른 키워드를 생성하는 단계와, 상기 영상이미지와 상기 영상이미지에 포함된 상기 정보에 따른 상기 키워드를 연관시키는 단계와, 서로 연관된 상기 영상이미지와 상기 키워드에 따른 데이터베이스를 구축하는 단계를 포함할 수 있다.
상기 정보에 따른 상기 키워드를 연관시키는 단계는, 다수의 상기 영상이미지를 상기 영상이미지가 각각 포함하는 정보와 일치하는 키워드와 함께 분류할 수 있다.
상기 정보에 따른 키워드를 생성하는 단계는, 상기 정보에 따른 키워드는 상기 영상이미지에 포함된 문자, 숫자, 사물, 사람의 얼굴 및 헤더의 정보가 동일한 의미로 분류되는 단어를 포함하는 것을 특징으로 할 수 있다.
상기 데이터베이스를 구축하는 단계 이후에, 상기 데이터베이스 내에서 미리 결정된 키워드를 검색하는 단계를 더 포함할 수 있다.
상기 미리 결정된 키워드를 검색하는 단계 이후에, 상기 미리 결정된 키워드를 포함하는 상기 영상이미지와, 상기 미리 결정된 키워드와 유사한 키워드를 포함하는 상기 영상이미지를 출력하는 단계를 더 포함할 수 있다.
본 발명의 영상이미지 인식을 이용한 디지털포렌식 데이터베이스 구축 시스템은, 외장메모리에 저장된 다수의 영상이미지를 입력 받는 입력부와, 상기 입력부로부터 상기 영상이미지를 입력 받아 상기 영상이미지 내의 문자 및 숫자를 인식하는 OCR인식부와, 상기 영상이미지 내의 사물을 인식하는 사물인식부와, 상기 영상이미지 내의 사람의 얼굴을 인식하는 안면인식부 및 상기 영상이미지의 헤더를 분석하는 헤더분석부를 포함하여 상기 영상이미지 내에 포함된 적어도 하나의 정보를 인식하는 영상인식부와, 상기 정보에 따른 키워드를 생성하고, 상기 영상이미지와 상기 영상이미지에 포함된 정보에 따른 키워드를 연관시키는 영상처리부와, 다수의 상기 영상이미지를 상기 키워드 별로 분류하여 저장하는 데이터베이스와, 검색된 키워드와 연관된 상기 영상이미지를 출력하는 영상출력부를 포함할 수 있다.
상기 정보에 따른 키워드는 상기 영상이미지에 포함된 문자, 숫자, 사물, 사람의 얼굴 및 헤더의 정보가 동일한 의미로 분류되는 단어를 포함하는 것을 특징으로 할 수 있다.
상기 영상출력부는 상기 검색된 키워드와 동일한 의미로 분류되는 키워드와 연관된 다른 영상이미지를 출력 가능할 수 있다.
본 발명의 영상이미지 인식을 이용한 디지털포렌식 데이터베이스 구축 시스템 및 그 방법은, 외장메모리에 저장된 동영상파일 또는 이미지파일을 시각적으로 분석하여 다수의 이미지 및 영상을 키워드 검색을 통해 출력할 수 있다. 특히, 본 발명은 특정 키워드를 검색하여 특정 키워드를 포함하는 다수의 이미지를 한 번에 출력할 수 있으며, 특정 키워드와 유사하거나 연관성이 높은 영상 및 이지를 빠르고 쉽게 검색할 수 있다.
도 1 및 도 2는 영상이미지 인식을 이용한 디지털포렌식 데이터베이스 구축 시스템의 구성도이다.
도 3은 영상이미지 인식을 이용한 디지털포렌식 데이터베이스 구축 방법의 순서도이다.
도 4는 외장메모리에 저장된 영상이미지의 예시를 도시하고 있는 도면이다.
도 5는 영상인식부로부터 인식된 키워드를 도시하고 있는 도면이다.
본 발명의 이점 및 특징 그리고 그것들을 달성하기 위한 방법들은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 단지 청구항에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조부호는 동일 구성요소를 지칭한다.
이하, 도 1 내지 도 5를 참조하여, 본 발명의 영상이미지 인식을 디지털포렌식 데이터베이스 구축 시스템 및 그 방법에 관하여 상세히 설명한다.
도 1 내지 도 2를 참조하여, 본 발명의 영상이미지 인식을 이용한 디지털포렌식 데이터베이스 구축 시스템에 관하여 설명한 후에, 도 3 내지 도 5를 참조하여 영상이미지 인식을 이용한 디지털포렌식 데이터베이스 구축 방법에 관하여 설명하도록 한다.
도 1 및 도 2는 본 발명의 일 실시예에 의한 영상이미지 인식을 이용한 디지털포렌식 데이터베이스 구축 시스템의 구성도이다.
도 1을 참조하면, 본 발명의 영상이미지 인식을 이용한 디지털포렌식 데이터베이스 구축 시스템은, 외장메모리(10)에 저장된 동영상파일 및 이미지파일을 시각적으로 분석하여 특정 키워드를 포함하는 이미지를 텍스트 형식으로 검색하여 출력할 수 있다. 본 발명은 외장메모리(10)에 저장된 동영상파일 및 이미지파일을 분석하여 동영상파일 및 이미지파일에 포함된 문자, 숫자, 사물, 사람의 얼굴 및 헤더 등의 정보를 인식하고, 인식된 정보에 따른 키워드를 생성한다. 동영상파일 및 이미지파일에 포함된 정보와 일치하는 키워드를 연관시켜 동영상파일 및 이미지파일이 포함하는 키워드를 텍스트 형태로 저장하여 데이터베이스(50)를 형성하며, 키워드 검색을 기반으로 데이터베이스(50) 내에서 키워드와 일치하거나 키워드와 연관성이 높은 영상 및 이미지를 빠르고 쉽게 출력할 수 있는 특징이 있다. 즉, 본 발명은 외장메모리(10)에 저장되어 있는 동영상파일과 이미지파일에 따른 데이터베이스(50)를 형성하고, 데이터베이스(50) 내에서 출력하고자 하는 간단한 키워드를 검색하여 키워드를 포함하고 있는 영상 및 이미지를 빠르게 검색할 수 있다.
본 발명의 영상이미지 인식을 이용한 디지털포렌식 데이터베이스 구축 시스템은 입력부(20)와, 영상인식부(30)와, 영상처리부(40)와, 데이터베이스(50) 및 영상출력부(60)를 포함할 수 있다. 구체적으로, 본 발명은 외장메모리(10)로부터 다수의 영상이미지(100)를 입력 받는 입력부(20)와, 입력부(20)로부터 영상이미지(100)를 입력 받아 영상이미지(100) 내의 문자 및 숫자를 인식하는 OCR인식부(31)와, 영상이미지(100) 내의 사물을 인식하는 사물인식부(32)와, 영상이미지(100) 내의 사람의 얼굴을 인식하는 안면인식부(33)와, 영상이미지(100)의 헤더를 분석하는 헤더분석부(34)를 포함하여 영상이미지(100) 내에 포함된 적어도 하나의 정보를 인식하는 영상인식부(30)와, 정보에 따른 키워드를 생성하고, 영상이미지(100)와 영상이미지(100)에 포함된 정보에 따른 키워드를 연관시키는 영상처리부(40)와, 다수의 영상이미지(100)를 키워드 별로 분류하여 저장하는 데이터베이스(50)와, 검색된 키워드와 연관된 영상이미지(100)를 출력하는 영상출력부(60)를 포함할 수 있다.
한편, 본 명세서 상에서의 정보는 외장메모리(10)에 저장된 동영상파일, 이미지파일 및 영상이미지(100)가 포함하고 있는 문자, 숫자, 사물, 사람의 얼굴, 헤더 등을 의미한다. 예를 들어, 영상이미지(100) 내에 건물과 택시가 포함되어 있다면, 사물을 인식하는 사물인식부(32)에서 택시, 건물 등의 사물을 인식하고, OCR인식부(31)에서 택시와 건물에 있는 번호판, 광고판, 간판 등의 텍스트를 인식할 수 있다. 이와 같이, 정보는 영상이미지(100) 내에 포함되어 있는 문자, 숫자, 사물, 사람의 얼굴, 헤더 등을 포함하며 영상인식부(30)를 통해 인식할 수 있다.
입력부(20)는 외장메모리(10)로부터 다수의 영상이미지(100)를 입력 받는 입력장치이다. 입력부(20)는 외장메모리(10)에 저장된 동영상파일이 시간에 따라 다수의 이미지로 분할된 영상이미지(100)를 입력 받거나, 외장메모리(10)에 저장된 이미지파일을 입력 받을 수 있다. 입력부(20)에서 입력 받은 다수의 영상이미지(100)는 문자, 숫자, 사물, 사람의 얼굴, 헤더 등의 정보를 포함하고 있을 수 있으며, 영상인식부(30)에서 정보를 인식할 수 있다.
영상인식부(30)는 입력부(20)로부터 영상이미지(100)를 입력 받아 영상이미지(100) 내에 포함된 정보를 인식하는 것으로, OCR인식부(31)와, 사물인식부(32)와, 안면인식부(33) 및 헤더분석부(34)를 포함할 수 있다.
도 2를 참조하여 구체적으로 설명하면, 본 발명의 영상인식부(30)는 입력부(20)로부터 영상이미지(100)를 입력 받아 영상이미지(100) 내의 문자 및 숫자를 인식하는 OCR인식부(31)와, 영상이미지(100) 내의 사물을 인식하는 사물인식부(32)와, 영상이미지(100) 내의 사람의 얼굴을 인식하는 안면인식부(33)와, 영상이미지(100)의 헤더를 분석하는 헤더분석부(34)를 포함하여, 영상이미지(100) 내에 포함된 정보를 인식한다.
OCR인식부(31)는 영상이미지(100) 내에 포함된 문자 또는 숫자를 인식하는 일종의 광학 문자 판독 장치로, 영상이미지(100) 내의 문자, 숫자 또는 다른 기호의 형태가 갖는 정보로부터 부호화된 전기신호로 변환할 수 있다. OCR인식부(31)는 영상이미지(100) 내의 문자 및 숫자 등의 정보를 인식하여, 영상처리부(40)에서 정보에 따른 키워드를 생성할 수 있다. 영상이미지(100) 내에 자동차가 포함되어 있다면, 자동차의 후면으로부터 판독되는 자동차의 번호판에 입력된 숫자 및 문자와, 자동차의 측면에 부착된 광고판이 포함하는 문자 또는 숫자를 인식할 수 있다. 또한, 영상이미지(100) 내에 건물이 포함되어 있다면, 간판에 포함된 상호명과 전화번호 등과 같은 문자 및 숫자를 인식할 수 있다. OCR인식부(31)는 영상이미지(100)로부터 인식된 숫자 또는 문자 등의 정보를 인식하고, 영상처리부(40)에서 정보에 따른 키워드와, 키워드에 따른 텍스트를 생성할 수 있다.
사물인식부(32)는 영상이미지(100) 내에 포함된 사물을 인식한다. 예를 들면, 영상이미지(100) 내에 포함된 자동차, 건물, 신호등, 우체통 등의 정보를 인식할 수 있다. 사물인식부(32)가 영상이미지(100) 내에 사물을 인식하면 영상처리부(40)에서 영상이미지(100)에 포함된 사물의 키워드를 생성할 수 있다.
안면인식부(33)는 영상이미지(100) 내에 포함된 사람의 얼굴을 인식한다. 안면인식부(33)는 영상이미지(100) 내의 얼굴영역을 인식하고 인식된 얼굴에서 얼굴 요소들에 대한 특징들을 추출하는 등 영상이미지(100) 내에 포함된 사람의 얼굴 및 표정 등을 인식할 수 있다. 또한, 안면인식부(33)는 영상이미지(100) 내에 포함된 사람의 얼굴형, 이목구비를 인식할 수도 있지만, 외장메모리(10)에 저장된 동영상파일로부터 사람의 걸음걸이 등을 인식할 수도 있다.
헤더분석부(34)는 영상이미지(100)의 헤더 정보를 분석하는 것으로, 외장메모리(10)에 포함된 동영상파일, 이미지파일, 영상이미지(100)가 포함하는 이미지 에디터(Software), 사진을 보정한 날짜(Datetime), Exif 버전(Exif Version), 촬영한 날짜(Shoot Datetime), 웹에 올려진 사진의 실제 크기(Image Size), 노출 시간(Exposure Time:셔터 스피드), 촬영 프로그램(Exposure Program), 렌즈 초점 길이(Focal Length), 조리개 개방 수치(F-Number), 플래시 사용 여부 등 세부적인 부가 정보를 분석할 수 있다.
OCR인식부(31), 사물인식부(32), 안면인식부(33), 헤더분석부(34) 등을 포함하는 영상인식부(30)로부터 정보를 인식하며, 영상처리부(40)가 영상인식부(30)에서 인식된 정보에 따른 키워드를 생성할 수 있다.
영상처리부(40)는 영상인식부(30)로부터 인식된 정보에 따른 키워드를 생성하고, 영상이미지(100)와 영상이미지(100)에 포함된 정보에 따른 키워드를 연관시킨다. 영상처리부(40)는 정보에 따른 키워드를 생성하며, 영상이미지(100)에 포함된 문자, 숫자, 사물, 사람의 얼굴 및 헤더 등의 정보 텍스트로 변환하여 키워드를 생성할 수 있다. 이때, 정보에 따른 키워드는 동일한 의미로 분류되는 단어를 모두 포함할 수 있다. 예를 들어, 사물인식부(32)가 영상이미지(100) 내에 포함된 차(車)를 인식하였을 경우, 버스, 화물차, 트럭, 캠핑카, 택시, 포터, 자동차, 소형차, 중형차, 대형차, 승용차 등과 같이 차(車)와 연관되어 동일한 의미로 분류될 수 있는 키워드를 모두 포함할 수 있다. 영상처리부(40)는 영상이미지(100)에 포함된 키워드뿐만 아니라, 키워드와 동일한 의미로 분류될 수 있는 다수의 키워드까지 포함할 수 있도록 연관시킬 수 있다. 영상처리부(40)는 영상이미지(100)를 영상이미지(100) 내에 포함된 키워드와 연관시켜 데이터베이스(50)에 저장할 수 있다.
외장메모리(10) 및 데이터베이스(50)는 다수의 영상이미지(100)를 키워드 별로 분류하여 저장하는 저장장치이다. 데이터베이스(50)는 롬(ROM), 고속 랜덤 액세스 메모리(RAM), 자기 디스크 저장 장치, 플래시 메모리 장치와 같은 불휘발성 메모리 또는 다른 불휘발성 반도체 메모리 장치를 포함할 수 있다. 예를 들어, 메모리는 반도체 메모리 장치로서 SD(Secure Digital) 메모리 카드, SDHC(Secure Digital High Capacity) 메모리 카드, mini SD 메모리 카드, mini SDHC 메모리 카드, TF(Trans Flach) 메모리 카드, micro SD 메모리 카드, micro SDHC 메모리 카드, 메모리 스틱, CF(Compact Flach), MMC(Multi-Media Card), MMC micro, XD(eXtreme Digital) 카드 등이 이용될 수 있다. 또한, 메모리는 네트워크를 통하여 액세스되는 네트워크 부착형(attached) 저장 장치를 포함할 수도 있다.
또한, 외장메모리(10) 및 데이터베이스(50)는 마이크로프로세서 등으로 구현된 중앙 처리 장치(Central Processing Unit; CPU), 그래픽 처리 장치(Graphic Processing Unit; GPU) 및 다양한 종류의 저장 장치를 포함할 수 있으며, 이와 같은 장치들은 내장된 인쇄 회로 기판(Printed Circuit Borard; PCB)에 마련될 수 있다.
영상출력부(60)는 데이터베이스(50) 내에서 검색된 키워드를 포함하는 영상이미지(100)를 출력하고, 검색된 키워드와 연관된 영상이미지(100)를 출력할 수 있다. 영상출력부(60)는 검색된 키워드를 포함하는 영상이미지(100)뿐만 아니라, 검색된 키워드와 동일한 의미로 분류되는 키워드와 연관된 다른 영상이미지(100)를 출력할 수 있다. 예를 들어, 영상출력부(60)는 사용자가 ‘차’라는 검색어를 입력하였을 때, ‘차’라는 키워드와 연관된 영상이미지(100)를 출력하고, ‘차’와 동일한 의미로 분류되는 ‘자동차’, ‘승용차’, ‘자가용’ 등과, ‘차’의 종류에 따른 키워드인 ‘트럭’, ‘택시’, ‘화물차’ 등과 같이 키워드와 연관된 키워드를 포함하는 영상이미지(100)도 함께 출력할 수 있다. 또한, 영상출력부(60)는 키워드를 검색하였을 때 유사(類似)한 키워드를 포함하는 영상 이미지를 모두 출력할 수도 있다. 볼펜을 키워드로 검색하면, 연필, 샤프, 사인펜 등과 같이 필기구로 분류되는 키워드를 볼펜과 유사한 키워드로 볼펜과 유사한 키워드는 필기구로 분류될 수 있는 키워드를 포함하는 영상이미지를 함께 출력할 수도 있다.
영상처리부(40)는 중앙 처리 장치로 가능하고, 중앙 처리 장치의 종류는 마이크로 프로세서를 포함할 수 있으며, 카이크로 프로세서는 적어도 하나의 실리콘 칩에 산술 논리 연산기, 레지스터, 프로그램 카운터, 명령 디코더나 제어 회로 등이 마련되어 있는 처리 장치를 포함할 수 있다.
또한, 마이크로 프로세서는 이미지 또는 비디오의 그래픽 처리를 위한 그래픽 프로세서(Graphuc Processing Unit, GPU)를 포함할 수 있다. 마이크로 프로세서는 코어(core)와 GPU를 포함하는 SoC(System On Chip) 형태로 구현될 수 있다. 마이크로 프로세서는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다.
또한, 영상처리부(40)는 마이크로 프로세서와 전기적으로 연결되는 별개의 회로 기판에 GPU, RAM 또는 ROM을 포함하는 그래픽 프로세싱 보드(Graphic Processing Board)를 포함할 수 있다.
이하, 도 3 내지 도 5를 참조하여 본 발명의 영상이미지 인식을 이용한 디지털포렌식 데이터베이스 구축 방법에 관하여 설명하도록 한다.
도 3은 본 발명의 일 실시예에 의한 영상이미지 인식을 이용한 디지털포렌식 데이터베이스 구축 방법의 순서도이고, 도 4는 외장메모리에 저장된 영상이미지의 예시를 도시하고 있는 도면이고, 도 5는 영상인식부로부터 인식된 키워드를 도시하고 있는 도면이다.
도 3을 참조하면, 본 발명의 영상이미지 인식을 이용한 디지털포렌식 데이터베이스 구축 방법은, 외장메모리(10)에 저장된 다수의 영상이미지(100)를 입력부(20)를 통해 입력 받는 단계(S200)와, 영상이미지(100) 내에 포함된 문자, 숫자, 사물, 사람의 얼굴 및 헤더의 정보를 인식하는 단계(S210)와, 영상이미지(100) 내에서 인식된 정보에 따른 키워드를 생성하는 단계(S220)와, 영상이미지(100)와 영상이미지(100)에 포함된 정보에 따른 키워드를 연관시키는 단계(S230)와, 서로 연관된 영상이미지(100)와 키워드에 따른 데이터베이스(50)를 구축하는 단계(S240)를 포함할 수 있다.
영상이미지 인식을 이용한 디지털포렌식 데이터베이스를 구축하기 위해 먼저 외장메모리(10)에 저장된 다수의 영상이미지(100)를 입력부(20)를 통해 입력(S200) 받을 수 있다. 외장메모리(10)에 저장된 다수의 동영상파일은 다수의 영상이미지(100)로 변환되어 입력부(20)를 통해 입력될 수 있으며, 이미지파일도 입력부(20)를 통해 입력될 수 있다. 입력부(20)를 통해 다수의 영상이미지(100)를 입력 받은 후에, 영상인식부(30)가 통해 영상이미지(100) 내에 포함된 문자, 숫자, 사물, 사람의 얼굴 및 헤더 등의 정보를 인식(S210)한다. 영상인식부(30)는 OCR인식부(31)와, 사물인식부(32)와, 안면인식부(33) 및 헤더분석부(34)가 영상이미지(100) 내에 포함된 문자, 숫자, 사물, 사람의 얼굴 및 헤더 등의 정보를 인식할 수 있다. 영상인식부(30)는 영상이미지(100) 내에 포함된 정보를 인식하고, 영상처리부(40)가 정보에 따른 키워드를 생성(S220)한다. 영상처리부(40)는 하나의 영상이미지(100)에서 다수의 키워드를 생성할 수 있으며, 문자, 숫자, 사물, 사람의 얼굴 및 헤더를 해당하는 키워드를 모두 생성하거나 하나의 영상이미지(100)에서 헤더에 포함되는 키워드만 생성할 수도 있다. 이때, 정보에 따른 키워드는 영상이미지(100)에 포함된 정보가 동일한 의미로 분류되는 단어를 모두 포함할 수 있다.
도 4 및 도 5를 참조하여 보다 구체적으로 설명하면, 도 4의 영상이미지(100)는 자동차, 건물 등을 포함하고 있다. 영상인식부(30)는 도 5a에서와 같이 도 4에 도시된 영상이미지(100) 내에 포함된 문자 및 숫자를 인식할 수 있다. OCR인식부(31)는 영상이미지(100) 내에 포함된 글자를 인식할 수 있으며 OCR인식부(31)에서 인식된 정보를 영상처리부(40)에서 키워드로 생성할 수 있다. 5a에 도시된 바와 같이, OCR인식부(31)는 영상이미지(100)에서 인식된 ‘TAXI’, ‘DUBAI’, ‘VILLA’, ‘48279’ 등의 텍스트를 키워드로 생성할 수 있으며, 자동차와 건물 이외에 간판, 표지판 등에 표시된 텍스트도 인식하여, 영상처리부(40)가 영상이미지(100)를 통해 영상인식부(30)에서 인식된 텍스트를 키워드로 생성할 수 있다. 도 4의 영상이미지(100)는 ‘TAXI’, ‘DUBAI’, ‘VILLA’, ‘48279’등의 키워드와 연관되어 데이터베이스(50)에 저장될 수 있다.
계속해서, 영상인식부(30)는 도 5b에서와 도 4에 도시된 영상이미지(100) 내에 포함된 사물을 인식할 수 있다. 사물인식부(32)는 영상이미지(100) 내에 포함된 사물을 인식할 수 있으며, 사물인식부(32)에서 인식된 정보를 영상처리부(40)에서 키워드로 생성할 수 있다. 도 5b에 도시된 바와 같이, 사물인식부(32)는 영상이미지(100) 내에서 인식된 ‘CAR’, ‘Vehicle’, ‘License Plate’, ‘Transportation’, ‘Automobile’ 등의 사물을 인식할 수 있으며, 사물인식부(32)에서 인식된 사물을 영상처리부(40)에서 키워드로 생성할 수 있다. 도 4의 영상이미지(100)는 OCR인식부(31)에서 인식된 문자 또는 숫자뿐만 아니라, ‘Car’, Vehicle’, ‘License Plate’, ‘Transportation’, ‘Automobile’등의 사물과 관련된 키워드도 함께 데이터베이스(50)에 저장될 수 있다.
영상인식부(30)는 도 5c에서와 같이 영상이미지(100) 내에 포함된 안면을 인식할 수 있다. 도 4의 영상이미지(100)에 사람의 얼굴이 포함되어 있지는 않지만, 영상이미지(100)에 사람의 얼굴이 포함되어 안면인식부(33)가 이를 인식할 경우, 얼굴에 고유한 페이스 아이디(Face ID)를 생성하여 Index에 집어넣을 수 있다. 만약, 다른 영상이미지에서 유사한 얼굴이 발견되면 결과에 출력될 수 있다.
영상인식부(30)는 도 5d에서와 같이 영상이미지(100) 파일에 포함된 헤더 정보를 인식할 수 있다. 헤더분석부(34)는 Python Open API를 활용하여 도 4의 영상이미지(100) 파일에 대한 EXIF 값을 분석할 수 있다. 헤더분석부(34)는 이미지 에디터(Software), 사진을 보정한 날짜(Datetime), Exif 버전(Exif Version), 촬영한 날짜(Shoot Datetime), 웹에 올려진 사진의 실제 크기(Image Size), 노출 시간(Exposure Time:셔터 스피드), 촬영 프로그램(Exposure Program), 렌즈 초점 길이(Focal Length), 조리개 개방 수치(F-Number), 플래시 사용 여부 등 세부적인 부가 정보를 분석하고, 이러한 헤더 정보는 데이터베이스(50)에 각 영상이미지(100)와 연관되어 데이터베이스(50)에 저장되어 다른 영상이미지(100)와 비교 분석할 때 사용될 수 있다.
이와 같이, 영상인식부(30)는 OCR인식부(31), 사물인식부(32), 안면인식부(33), 헤더분석부(34) 등을 포함하여 영상이미지(100) 내에 포함된 문자, 숫자, 사물, 사람의 얼굴 및 헤더 정보를 인식하고, 정보에 따른 키워드를 생성하여 영상처리부(40)가 영상이미지(100)와 영상이미지(100)에 포함된 정보에 따른 키워드를 연관(S230)시킨다. 다수의 영상이미지(100)를 영상이미지(100)가 각각 포함하는 정보와 일치하는 키워드와 함께 분류하고, 서로 연관된 영상이미지(100)와 키워드에 따른 데이터베이스(50)를 구축(S240)한다. 다시 말해, 데이터베이스(50)를 구축하는 단계에서 영상이미지(100)와, 영상이미지(100) 내에 포함된 키워드를 연관시켜 저장할 수 있으며, 영상이미지(100)에 포함된 키워드와 유사한 키워드도 연관시켜 저장할 수 있다. 예를 들어, 도 4의 영상이미지(100)가 ‘TAXI’, ‘DUBAI’, ‘VILLA’, ‘48279’, ‘CAR’, ‘Vehicle’, ‘License Plate’, ‘Transportation’, ‘Automobile’등의 키워드를 포함하여 데이터베이스(50)에 저장될 경우, ‘VILLA’와 유사한 키워드인 ‘HOUSE’, ‘BUILDING’ 등의 키워드도 함께 연관시켜 저장하거나, ‘VILLA’의 키워드를 포함하는 다른 영상이미지(100)도 연관시켜 저장할 수 있다.
데이터베이스(50)를 구축한 이후에, 데이터베이스(50) 내에서 미리 결정된 키워드를 검색(S250)한다. 특정 키워드를 포함하는 영상이미지(100)를 검색하고자 할 경우 데이터베이스(50) 내에서 미리 결정된 키워드를 검색하면, 미리 결정된 키워드를 포함하는 영상이미지(100)와, 미리 결정된 키워드와 유사한 키워드를 포함하는 영상이미지(100)를 출력(S260)할 수 있다.
이와 같이, 본 발명의 영상이미지 인식을 이용한 디지털포렌식 데이터베이스 구축 시스템 및 방법은, 외장메모리(10)에 저장된 동영상파일과 이미지파일을 포함하는 다수의 영상이미지(100)를 키워드 검색 기반으로 데이터베이스(50)를 구축하여, 데이터베이스(50) 내에서 간단하게 키워드를 검색하여 다수의 영상이나 이미지파일을 살펴보지 않고 키워드를 포함하거나 유사한 키워드를 포함하는 다수의 영상이미지(100)를 쉽게 출력할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였으나 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
1: 영상이미지 인식을 디지털포렌식 데이터베이스 구축 시스템
10: 외장메모리
20: 입력부
30: 영상인식부
31: OCR인식부
32: 사물인식부
33: 안면인식부
34: 헤더분석부
40: 영상처리부
50: 데이터베이스
60: 영상출력부
100: 영상이미지

Claims (8)

  1. 외장메모리에 저장된 다수의 영상이미지를 입력부를 통해 입력 받는 단계;
    상기 영상이미지 내에 포함된 문자, 숫자, 사물, 사람의 얼굴 및 헤더의 정보를 인식하는 단계;
    상기 영상이미지 내에서 인식된 상기 정보에 따른 키워드를 생성하는 단계;
    상기 영상이미지와 상기 영상이미지에 포함된 상기 정보에 따른 상기 키워드를 연관시키는 단계; 및
    서로 연관된 상기 영상이미지와 상기 키워드에 따른 데이터베이스를 구축하는 단계;
    를 포함하는 영상이미지 인식을 이용한 디지털포렌식 데이터베이스 구축 방법.
  2. 제1항에 있어서,
    상기 정보에 따른 상기 키워드를 연관시키는 단계는, 다수의 상기 영상이미지를 상기 영상이미지가 각각 포함하는 정보와 일치하는 키워드와 함께 분류하는 영상이미지 인식을 이용한 디지털포렌식 데이터베이스 구축 방법.
  3. 제1항에 있어서,
    상기 정보에 따른 키워드를 생성하는 단계는, 상기 정보에 따른 키워드는 상기 영상이미지에 포함된 문자, 숫자, 사물, 사람의 얼굴 및 헤더의 정보가 동일한 의미로 분류되는 단어를 포함하는 것을 특징으로 하는 디지털포렌식 데이터베이스 구축 방법.
  4. 제1항에 있어서,
    상기 데이터베이스를 구축하는 단계 이후에,
    상기 데이터베이스 내에서 미리 결정된 키워드를 검색하는 단계를 더 포함하는 영상이미지 인식을 이용한 디지털포렌식 데이터베이스 구축 방법.
  5. 제4항에 있어서,
    상기 미리 결정된 키워드를 검색하는 단계 이후에,
    상기 미리 결정된 키워드를 포함하는 상기 영상이미지와, 상기 미리 결정된 키워드와 유사한 키워드를 포함하는 상기 영상이미지를 출력하는 단계를 더 포함하는 영상이미지 인식을 이용한 디지털포렌식 데이터베이스 구축 방법.
  6. 외장메모리에 저장된 다수의 영상이미지를 입력 받는 입력부;
    상기 입력부로부터 상기 영상이미지를 입력 받아 상기 영상이미지 내의 문자 및 숫자를 인식하는 OCR인식부와, 상기 영상이미지 내의 사물을 인식하는 사물인식부와, 상기 영상이미지 내의 사람의 얼굴을 인식하는 안면인식부 및 상기 영상이미지의 헤더를 분석하는 헤더분석부를 포함하여 상기 영상이미지 내에 포함된 적어도 하나의 정보를 인식하는 영상인식부;
    상기 정보에 따른 키워드를 생성하고, 상기 영상이미지와 상기 영상이미지에 포함된 정보에 따른 키워드를 연관시키는 영상처리부;
    다수의 상기 영상이미지를 상기 키워드 별로 분류하여 저장하는 데이터베이스; 및
    검색된 키워드와 연관된 상기 영상이미지를 출력하는 영상출력부를 포함하는 영상이미지 인식을 이용한 디지털포렌식 데이터베이스 구축 시스템.
  7. 제6항에 있어서,
    상기 정보에 따른 키워드는 상기 영상이미지에 포함된 문자, 숫자, 사물, 사람의 얼굴 및 헤더의 정보가 동일한 의미로 분류되는 단어를 포함하는 것을 특징으로 하는 영상이미지 인식을 이용한 디지털포렌식 데이터베이스 구축 시스템.
  8. 제6항에 있어서,
    상기 영상출력부는 상기 검색된 키워드와 동일한 의미로 분류되는 키워드와 연관된 다른 영상이미지를 출력 가능한 영상이미지 인식을 이용한 디지털포렌식 데이터베이스 구축 시스템.
KR1020200072873A 2019-12-26 2020-06-16 영상이미지 인식을 이용한 디지털포렌식 데이터베이스 구축 시스템 및 그 방법 KR20210083148A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190175474 2019-12-26
KR20190175474 2019-12-26

Publications (1)

Publication Number Publication Date
KR20210083148A true KR20210083148A (ko) 2021-07-06

Family

ID=76861051

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200072873A KR20210083148A (ko) 2019-12-26 2020-06-16 영상이미지 인식을 이용한 디지털포렌식 데이터베이스 구축 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR20210083148A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230149597A (ko) 2022-04-20 2023-10-27 주식회사 지엠디소프트 시각 지도를 이용하여 대용량 동영상 증거물에 대하여 복구 대상 영역을 검색하는 디지털 포렌식 장치 및 그 동작 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101228829B1 (ko) 2010-10-14 2013-02-01 심혁훈 문자 및 이미지 인식을 이용한 제삼자호시스템 및 운영방법
KR101333064B1 (ko) 2009-08-14 2013-11-27 한국과학기술원 멀티미디어 콘텐츠 기술자 추출시스템 및 그 방법
KR102039279B1 (ko) 2018-12-18 2019-10-31 장승현 영상 인식을 이용한 경찰 업무 지원 시스템 및 그 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101333064B1 (ko) 2009-08-14 2013-11-27 한국과학기술원 멀티미디어 콘텐츠 기술자 추출시스템 및 그 방법
KR101228829B1 (ko) 2010-10-14 2013-02-01 심혁훈 문자 및 이미지 인식을 이용한 제삼자호시스템 및 운영방법
KR102039279B1 (ko) 2018-12-18 2019-10-31 장승현 영상 인식을 이용한 경찰 업무 지원 시스템 및 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230149597A (ko) 2022-04-20 2023-10-27 주식회사 지엠디소프트 시각 지도를 이용하여 대용량 동영상 증거물에 대하여 복구 대상 영역을 검색하는 디지털 포렌식 장치 및 그 동작 방법

Similar Documents

Publication Publication Date Title
US11380113B2 (en) Methods for mobile image capture of vehicle identification numbers in a non-document
US9626555B2 (en) Content-based document image classification
US10140511B2 (en) Building classification and extraction models based on electronic forms
US9710704B2 (en) Method and apparatus for finding differences in documents
CN109195007B (zh) 视频生成方法、装置、服务器及计算机可读存储介质
US10140510B2 (en) Machine print, hand print, and signature discrimination
WO2020233611A1 (zh) 图像化信息承载介质的识别方法、识别装置、计算机设备和介质
KR101552525B1 (ko) 폰트를 인식하고 폰트정보를 제공하는 시스템 및 그 방법
CN111507214A (zh) 文档识别方法、装置及设备
KR20210099152A (ko) 문서 관리를 위한 방법 및 장치
KR20210083148A (ko) 영상이미지 인식을 이용한 디지털포렌식 데이터베이스 구축 시스템 및 그 방법
CN112906671B (zh) 面审虚假图片识别方法、装置、电子设备及存储介质
CN113569858A (zh) 商品价签内容识别方法、系统、电子设备及存储介质
JP6658040B2 (ja) 車両情報取得システム、車両情報取得方法、車両情報取得プログラム、車両情報取得プログラムを記憶する記憶媒体
CN111598099A (zh) 图像文本识别性能的测试方法、装置、测试设备及介质
Van Nguyen et al. Digitalization of Administrative Documents A Digital Transformation Step in Practice
KR101116261B1 (ko) 영상 해석 장치를 이용한 컨텐츠 제공 시스템 및 방법
KR20220077845A (ko) 디지털포렌식 데이터베이스 구축 시스템 및 그 방법
CN113326785B (zh) 文件识别方法、装置
Ghosh et al. MOPO-HBT: A movie poster dataset for title extraction and recognition
CN115759032A (zh) 文档比对结果的优化方法、装置、设备以及存储介质
de F. Souza et al. New Approach in LPR Systems Using Deep Learning to Classify Mercosur License Plates with Perspective Adjustment
Rakesh et al. DEEP CONVOLUTIONAL NEURAL NETWORK BASED TEXT RECOGNITION FROM AN IMAGE
CN112989786A (zh) 基于图像识别的文档解析方法、系统、装置及存储介质
JP2022020869A (ja) 情報処理装置、情報処理方法、情報処理プログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application