KR20230149597A - 시각 지도를 이용하여 대용량 동영상 증거물에 대하여 복구 대상 영역을 검색하는 디지털 포렌식 장치 및 그 동작 방법 - Google Patents

시각 지도를 이용하여 대용량 동영상 증거물에 대하여 복구 대상 영역을 검색하는 디지털 포렌식 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR20230149597A
KR20230149597A KR1020220049001A KR20220049001A KR20230149597A KR 20230149597 A KR20230149597 A KR 20230149597A KR 1020220049001 A KR1020220049001 A KR 1020220049001A KR 20220049001 A KR20220049001 A KR 20220049001A KR 20230149597 A KR20230149597 A KR 20230149597A
Authority
KR
South Korea
Prior art keywords
visual
visual information
recognition
recovery
target area
Prior art date
Application number
KR1020220049001A
Other languages
English (en)
Other versions
KR102619090B1 (ko
Inventor
김현수
이경수
이창하
장재민
Original Assignee
주식회사 지엠디소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 지엠디소프트 filed Critical 주식회사 지엠디소프트
Priority to KR1020220049001A priority Critical patent/KR102619090B1/ko
Priority to US17/975,897 priority patent/US20230343096A1/en
Publication of KR20230149597A publication Critical patent/KR20230149597A/ko
Application granted granted Critical
Publication of KR102619090B1 publication Critical patent/KR102619090B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/44—Browsing; Visualisation therefor
    • G06F16/447—Temporal browsing, e.g. timeline
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/1444—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
    • G06V30/1448—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields based on markings or identifiers characterising the document or the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/16—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/16—Image preprocessing
    • G06V30/166—Normalisation of pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G06V30/18162—Extraction of features or characteristics of the image related to a structural representation of the pattern
    • G06V30/18181—Graphical representation, e.g. directed attributed graph
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 대용량 동영상 증거물에 대하여 OCR(Optical Character Recognition) 기능을 통하여 생성된 시각 지도를 이용하여 원하는 시각에 해당하는 프레임의 복구 영역을 자동으로 검색 및 복원하는 기술에 관한 것으로, 본 발명의 일실시예에 따른 시각 지도를 이용하여 대용량 동영상 증거물에 대하여 복구 대상 영역을 검색 및 복구하는 디지털 포렌식 장치에 있어서, 디지털 포렌식 장치는 저장 장치로부터 동영상 증거물을 수집하고, 상기 저장 장치의 물리적인 공간을 고려하여 상기 수집된 동영상 증거물을 복수의 공간으로 분할하며, 상기 분할된 복수의 공간 각각에서 대표 프레임을 복구하는 분할 복구부, OCR 기능을 이용하여 상기 복구된 대표 프레임에서 시각 정보를 인식하는 시각 정보 인식부, 상기 인식된 시각 정보를 기반으로 상기 분할된 복수의 공간을 시각 기준으로 정렬한 시각 지도를 생성하는 시각 지도 생성부 및 사용자로부터 입력된 특정 시각 정보를 상기 생성된 시각 지도에 매칭하여 복구 대상 영역을 검색하고, 상기 검색된 복구 대상 영역을 복구하는 선택 복구부를 포함할 수 있다.

Description

시각 지도를 이용하여 대용량 동영상 증거물에 대하여 복구 대상 영역을 검색하는 디지털 포렌식 장치 및 그 동작 방법{DIGITAL FORENSICS APPARATUS OF SEARCHING RECOVERY TARGET REGION FOR LARGE-CAPACITY VIDEO EVIDENCE BY USING TIME MAP}
본 발명은 시각 지도를 이용하여 대용량 동영상 증거물에 대하여 복구 대상 영역을 검색하는 디지털 포렌식 장치 및 그 동작 방법에 관한 것으로, 대용량 동영상 증거물에 대하여 OCR(Optical Character Recognition) 기능을 통하여 생성된 시각 지도를 이용하여 원하는 시각에 해당하는 프레임의 복구 영역을 자동으로 검색 및 복원하는 기술에 관한 것이다.
현재 날로 증가하고 있는 각종 범죄사건과 사고들에 있어서, 증거자료로 사용할 수 있는 CCTV, 블랙박스 및 스마트폰 등에 대한 증거물 수집과 분석에 대한 필요성이 날로 증가하고 있다.
그러나, 저장매체의 대용량화로 인해 녹화할 수 있는 시간과 그 용량도 함께 증가하고 있다.
특히, 증거자료로 많이 활용되고 있는 CCTV의 녹화 영상은 해상도와 저장매체의 용량에 따라 최소 수일에서 최대 수개월까지의 데이터를 녹화할 수 있다.
이러한 대용량의 동영상은 기본적으로 수백만 장 이상의 키 프레임 이미지 정보를 담고 있으며, 세부 프레임 이미지까지 고려할 경우 분석해야 하는 영상의 프레임의 개수는 수배 내지 수십배 이상 늘어나게 된다.
동영상에 관련된 포렌식(Forensic) 분석을 위한 환경에서는 사건에 관련된 프레임 이미지를 빠르고 정확하게 검색해내야 한다.
그러나 수백만 장에 달하는 프레임 이미지를 사람이 하나씩 확인하는 방법으로는 효율적인 검출을 하기에 상당한 어려움과 많은 시간을 소모하게 된다.
또한, 동영상의 경우는 매우 유사한 프레임 이미지들이 연속적으로 구성되어 있기 때문에 불필요한 이미지 검색작업이 많아지는 문제점이 있다.
종래의 기술은 온전한 동영상을 전부 확인하거나, 직접 동영상 프레임과, 프레임 이미지를 모두 복구하여 확인하는 기술을 사용할 수밖에 없었다.
이로 인해 소요되는 시간이 증가함에 따라 중요한 사건들의 디지털 증거물 분석 작업에 많은 시간이 소요되고, 이로 인해 사건 해결이 늦어질 수밖에 없는 문제점이 있다.
또한, 디지털 증거물 분석 작업에서는 사건 시간이 중요한 요소임에 따라 시각적인 측면이 반드시 고려되야 하는 필요성이 존재하는데 종래의 기술에서는 시각적인 측면을 고려하지 않아서 사용자 편의성이 감소하는 문제점이 존재한다.
한국공개특허 제10-2021-0083148호, "영상이미지 인식을 이용한 디지털포렌식 데이터베이스 구축 시스템 및 그 방법" 한국등록특허 제10-2219250호, "영상 제공 방법 및 이를 이용한 영상 제공 장치" 한국등록특허 제10-1623321호, "디지털 포렌식에서 대용량 동영상 증거물에 대한 고속 검색 장치 및 방법" 한국등록특허 제10-1968539호, "타임 라인 기반의 라이브 포렌식 시각화 시스템 및 방법"
본 발명은 대용량 동영상 증거물에 대하여 OCR(Optical Character Recognition) 기능을 통하여 생성된 시각 지도를 이용하여 원하는 시각에 해당하는 프레임의 복구 영역을 자동으로 검색 및 복원하는 것을 목적으로 한다.
본 발명은 사용자가 원하는 시각을 입력하는 것만으로도 대용량 저장 장치에 저장된 대용량 동영상 증거물에서 일부 공간만을 선택하여 빠르게 복구 결과를 제공하는 것을 목적으로 한다.
본 발명은 사용자는 원하는 시각을 입력하여 복구 타겟 영역을 선택할 수 있을 뿐만 아니라, 선택된 복구 타겟 영역의 물리적 주소를 기반으로 인접한 섹터를 추가적으로 확인 가능함에 따라 시간과 물리적 배치의 관계를 추가적으로 분석 및 확인 가능하도록 하여 디지털 포렌식의 효율성을 향상시키는 것을 목적으로 한다.
본 발명의 일실시예에 따른 시각 지도를 이용하여 대용량 동영상 증거물에 대하여 복구 대상 영역을 검색 및 복구하는 디지털 포렌식 장치에 있어서, 디지털 포렌식 장치는 저장 장치로부터 동영상 증거물을 수집하고, 상기 저장 장치의 물리적인 공간을 고려하여 상기 수집된 동영상 증거물을 복수의 공간으로 분할하며, 상기 분할된 복수의 공간 각각에서 대표 프레임을 복구하는 분할 복구부, OCR(Optical Character Recognition) 기능을 이용하여 상기 복구된 대표 프레임에서 시각 정보를 인식하는 시각 정보 인식부, 상기 인식된 시각 정보를 기반으로 상기 분할된 복수의 공간을 시각 기준으로 정렬한 시각 지도를 생성하는 시각 지도 생성부 및 사용자로부터 입력된 특정 시각 정보를 상기 생성된 시각 지도에 매칭하여 복구 대상 영역을 검색하고, 상기 검색된 복구 대상 영역을 복구하는 선택 복구부를 포함할 수 있다.
상기 분할 복구부는, 상기 물리적인 공간의 전체 크기에 대하여 미리 사전에 결정된 크기 또는 비율을 적용하여 상기 수집된 동영상 증거물을 상기 복수의 공간으로 분할하고, 상기 분할된 복수의 공간 각각에서 가장 앞부분에 존재하는 제1 프레임을 상기 대표 프레임으로 복구할 수 있다.
상기 시각 정보 인식부는, 상기 복구된 대표 프레임에서 상기 시각 정보에 해당하는 영역에 인식 상자를 위치하고, 상기 위치된 인식 상자에서 숫자의 특징을 추출하고, 상기 추출된 숫자의 특징에 따라 분류된 숫자에 따라 상기 시각 정보를 인식할 수 있다.
상기 시각 정보 인식부는, 상기 인식 상자를 통해 인식되는 이미지의 크기를 변환하고, 상기 이미지의 픽셀 값을 정규화 하며, 상기 이미지에서 숫자의 특징을 추출하고, 상기 추출된 숫자의 특징을 이용하여 상기 이미지를 숫자로 분류하며, 상기 분류된 숫자에 대하여 시각 값 검증을 수행하여 상기 추출된 숫자에 따라 상기 시각 정보를 인식할 수 있다.
상기 시각 정보 인식부는, 상기 인식 상자를 년(year), 월(month), 일(day), 시(hour), 분(minute) 및 초(second)로 시간 단위로 구분하고, 상기 구분된 시간 단위에 상기 분류된 숫자에 따라 상기 시각 정보를 인식할 수 있다.
상기 시각 지도 생성부는, 상기 시각 정보에 기반하여 상기 물리적인 공간에서 시각 분포를 결정하고, 시각의 순서에 해당하는 상기 시각 기준에 따라 상기 결정된 시각 분포 및 상기 분할된 복수의 공간의 물리적 주소 및 대표 프레임 중 어느 하나를 타임 라인 상에 정렬하여 상기 시각 지도를 생성할 수 있다.
상기 시각 지도 생성부는, 상기 타임 라인 상에서 특정 시각마다 상기 특정 시각에 해당하는 복구 영역에 포함되는 프레임의 수의 변화를 나타내는 그래프로 상기 시각 지도를 생성할 수 있다.
상기 선택 복구부는, 상기 검색된 복구 대상 영역에 포함되는 복수의 프레임의 목록을 결정하고, 상기 결정된 목록에서 선택되는 적어도 하나의 프레임을 복구할 수 있다.
상기 선택 복구부는 상기 검색된 복구 대상 영역의 물리적 주소를 기반으로 인접한 섹터에 포함되는 적어도 하나의 프레임에 대한 미리 보기를 제공할 수 있다.
상기 복구되는 복구 대상 영역에서의 프레임에 대한 이미지 및 목록을 제공하고, 상기 특정 시각 정보에 대한 입력 인터페이스를 제공하며, 상기 OCR 기능과 관련된 인식 상자에 대한 제어 인터페이스를 제공하는 사용자 인터페이스부를 더 포함할 수 있다.
본 발명의 일실시예에 따르면 시각 지도를 이용하여 대용량 동영상 증거물에 대하여 복구 대상 영역을 검색 및 복구하는 디지털 포렌식 장치의 동작 방법에 있어서, 디지털 포렌식 장치의 동작 방법은 분할 복구부에서, 저장 장치로부터 동영상 증거물을 수집하고, 상기 저장 장치의 물리적인 공간을 고려하여 상기 수집된 동영상 증거물을 복수의 공간으로 분할하며, 상기 분할된 복수의 공간 각각에서 대표 프레임을 복구하는 단계, 시각 정보 인식부에서, OCR(Optical Character Recognition) 기능을 이용하여 상기 복구된 대표 프레임에서 시각 정보를 인식하는 단계, 시각 지도 생성부에서, 상기 인식된 시각 정보를 기반으로 상기 분할된 복수의 공간을 시각 기준으로 정렬한 시각 지도를 생성하는 단계 및 선택 복구부에서, 사용자로부터 입력된 특정 시각 정보를 상기 생성된 시각 지도에 매칭하여 복구 대상 영역을 검색하고, 상기 검색된 복구 대상 영역을 복구하는 단계를 포함할 수 있다.
상기 저장 장치의 물리적인 공간을 고려하여 상기 수집된 동영상 증거물을 복수의 공간으로 분할하며, 상기 분할된 복수의 공간 각각에서 대표 프레임을 복구하는 단계는, 상기 물리적인 공간의 전체 크기에 대하여 미리 사전에 결정된 크기 또는 비율을 적용하여 상기 수집된 동영상 증거물을 상기 복수의 공간으로 분할하고, 상기 분할된 복수의 공간 각각에서 가장 앞부분에 존재하는 제1 프레임을 상기 대표 프레임으로 복구하는 단계를 포함할 수 있다.
상기 OCR(Optical Character Recognition) 기능을 이용하여 상기 복구된 대표 프레임에서 시각 정보를 인식하는 단계는, 상기 복구된 대표 프레임에서 상기 시각 정보에 해당하는 영역에 인식 상자를 위치하는 단계, 상기 인식 상자를 통해 인식되는 이미지의 크기를 변환하고, 상기 이미지의 픽셀 값을 정규화 하며, 상기 이미지에서 숫자의 특징을 추출하는 단계, 상기 추출된 숫자의 특징을 이용하여 상기 이미지를 숫자로 분류하는 단계 및 상기 분류된 숫자에 대하여 시각 값 검증을 수행하여 상기 추출된 숫자에 따라 상기 시각 정보를 인식하는 단계를 포함할 수 있다.
상기 인식 상자를 통해 인식되는 이미지의 크기를 변환하고, 상기 이미지의 픽셀 값을 정규화 하며, 상기 이미지에서 숫자의 특징을 추출하는 단계는, 상기 인식 상자를 년(year), 월(month), 일(day), 시(hour), 분(minute) 및 초(second)로 시간 단위로 구분하는 단계를 포함할 수 있다.
상기 분류된 숫자에 대하여 시각 값 검증을 수행하여 상기 추출된 숫자에 따라 상기 시각 정보를 인식하는 단계는, 상기 구분된 시간 단위에 상기 분류된 숫자에 따라 상기 시각 정보를 인식하는 단계를 포함할 수 있다.
상기 인식된 시각 정보를 기반으로 상기 분할된 복수의 공간을 시각 기준으로 정렬한 시각 지도를 생성하는 단계는, 상기 시각 정보에 기반하여 상기 물리적인 공간에서 시각 분포를 결정하고, 시각의 순서에 해당하는 상기 시각 기준에 따라 상기 결정된 시각 분포 및 상기 분할된 복수의 공간의 물리적 주소 및 대표 프레임 중 어느 하나를 타임 라인 상에 정렬하여 상기 시각 지도를 생성하는 단계를 포함할 수 있다.
상기 사용자로부터 입력된 특정 시각 정보를 상기 생성된 시각 지도에 매칭하여 복구 대상 영역을 검색하고, 상기 검색된 복구 대상 영역을 복구하는 단계는, 상기 선택 복구부는, 상기 검색된 복구 대상 영역에 포함되는 복수의 프레임의 목록을 결정하고, 상기 결정된 목록에서 선택되는 적어도 하나의 프레임을 복구하는 단계 및 상기 검색된 복구 대상 영역의 물리적 주소를 기반으로 인접한 섹터에 포함되는 적어도 하나의 프레임에 대한 미리 보기를 제공하는 단계를 포함할 수 있다.
본 발명은 대용량 동영상 증거물에 대하여 OCR(Optical Character Recognition) 기능을 통하여 생성된 시각 지도를 이용하여 원하는 시각에 해당하는 프레임의 복구 영역을 자동으로 검색 및 복원할 수 있다.
본 발명은 사용자가 원하는 시각을 입력하는 것만으로도 대용량 저장 장치에 저장된 대용량 동영상 증거물에서 일부 공간만을 선택하여 빠르게 복구 결과를 제공할 수 있다.
본 발명은 사용자는 원하는 시각을 입력하여 복구 타겟 영역을 선택할 수 있을 뿐만 아니라, 선택된 복구 타겟 영역의 물리적 주소를 기반으로 인접한 섹터를 추가적으로 확인 가능함에 따라 시간과 물리적 배치의 관계를 추가적으로 분석 및 확인 가능하도록 하여 디지털 포렌식의 효율성을 향상시킬 수 있다.
도 1은 본 발명의 일실시예에 따른 디지털 포렌식 장치를 설명하는 도면이다.
도 2a 내지 도 2e는 본 발명의 일실시예에 따른 디지털 포렌식 장치의 사용자 인터페이스를 설명하는 도면이다.
도 3a 및 도 3b는 본 발명의 일실시예에 따른 디지털 포렌식 장치에서 시각 정보 인식을 위한 사용자 인터페이스를 설명하는 도면이다.
도 4는 본 발명의 일실시예에 따른 디지털 포렌식 장치에 의해 생성되는 시각 지도를 설명하는 도면이다.
도 5는 본 발명의 일실시예에 따른 디지털 포렌식 장치의 동작 방법을 설명하는 도면이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.
본 발명의 개념에 따른 실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "~사이에"와 "바로~사이에" 또는 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른 디지털 포렌식 장치를 설명하는 도면이다.
도 1은 본 발명의 일실시예에 따라 시각 지도를 이용하여 대용량 동영상 증거물에 대하여 복구 대상 영역을 검색 및 복구하는 디지털 포렌식 장치의 구성 요소를 예시한다.
도 1을 참고하면, 본 발명의 일실시예에 따른 디지털 포렌식 장치(100)는 분할 복구부(110), 시각 정보 인식부(120), 시각 지도 생성부(130) 및 선택 복구부(140)를 포함한다.
일례로, 분할 복구부(110), 시각 정보 인식부(120), 시각 지도 생성부(130) 및 선택 복구부(140)는 디지털 포렌식 장치(100)의 프로세서에 의해 구동되는 기능적 또는 소프트웨어적 구성 요소일 수 있다.
즉, 분할 복구부(110), 시각 정보 인식부(120), 시각 지도 생성부(130) 및 선택 복구부(140)의 기술적 특징은 프로세서에 의해 구현될 수 있다. 예를 들어, 프로세서는 제어부로 지칭될 수 있다.
본 발명의 일실시예에 따르면 디지털 포렌식 장치(100)는 사용자 인터페이스부(150)를 더 포함한다.
사용자 인터페이스부(150)는 디스플레이를 통해서 표시되는 제어 인터페이스 및 표시 인터페이스를 포함한다.
본 발명의 일실시예에 따르면 분할 복구부(110)는 저장 장치로부터 동영상 증거물을 수집하고, 저장 장치의 물리적인 공간을 고려하여 수집된 동영상 증거물을 복수의 공간으로 분할하며, 분할된 복수의 공간 각각에서 대표 프레임을 복구할 수 있다.
일례로, 분할 복구부(110)는 물리적인 공간의 전체 크기에 대하여 미리 사전에 결정된 크기 또는 비율을 적용하여 동영상 증거물을 복수의 공간으로 분할하고, 분할된 복수의 공간 각각에서 가장 앞부분에 존재하는 제1 프레임을 대표 프레임으로 복구할 수 있다.
예를 들어, 분할 복구부(110)는 저장 장치에 저장된 대용량 동영상 증거물을 수집할 수 있고, 대용량 동영상 증거물을 수집하면서 저장 장치의 물리적인 공간의 전체 크기를 확인할 수 있다.
이에 따라, 분할 복구부(110)는 저장 장치에 저장된 대용량 동영상 증거물에 대한 물리적인 공간의 전체 크기를 고려하여 사전에 정의된 크기 또는 비율로 복수의 공간으로 분할할 수 있다.
예를 들어, 복수의 공간은 복수의 프레임을 포함하고, 복수의 프레임은 순차적으로 존재하며, 복수의 프레임에서 가장 앞부분에 존재하는 프레임을 대표 프레임으로 복구할 수 있다.
즉, 분할 복구부(110)는 복수의 공간 각각에서 대표 프레임을 복구한다.
본 발명의 일실시예에 따르면 시각 정보 인식부(120)는 OCR(Optical Character Recognition) 기능을 이용하여 분할 복구부(110)에 의해 복구된 대표 프레임에서 시각 정보를 인식한다.
예를 들어, 복수의 공간 각각에 포함되는 대표 프레임은 동일한 위치에 시각 정보를 표시하고, 표시된 시각 정보는 OCR 기능을 이용하여 인식될 수 있다.
본 발명의 일실시예에 따르면 시각 정보 인식부(120)는 분할 복구부(110)에 의해 복구된 대표 프레임에서 시각 정보에 해당하는 영역에 인식 상자를 위치하고, 위치된 인식 상자에서 숫자의 특징을 추출하고, 추출된 숫자의 특징에 따라 분류된 숫자에 따라 시각 정보를 인식할 수 있다.
여기서, 인식 상자의 생성 및 인식 상자의 위치 제어는 사용자에 의하여 사용자 인터페이스부(150)를 통해 구현될 수 있다.
일례로, 시각 정보 인식부(120)는 인식 상자를 통해 인식되는 이미지의 크기를 변환하고, 이미지의 픽셀 값을 정규화 하며, 이미지에서 숫자의 특징을 추출할 수 있다.
또한, 시각 정보 인식부(120)는 추출된 숫자의 특징을 이용하여 이미지를 숫자로 분류하며, 분류된 숫자에 대하여 시각 값 검증을 수행하여 추출된 숫자에 따라 시각 정보를 인식할 수 있다.
본 발명의 일실시예에 따르면 시각 정보 인식부(120)는 대표 프레임에서 시각 정보를 OCR 기능으로 읽어 들이고, OCR 기능으로 읽어 들인 시각 정보를 해당 영역에 데이터가 쓰여진 시각대로 시각 정보를 인식할 수 있다.
일례로, 시각 정보 인식부(120)는 전처리 모델, 숫자 분류 모델 및 후처리 모델로 구분하여 동작될 수 있다.
전처리 모델은 인공신경망을 이용하기 위하여 사전에 정의된 형태로 숫자 이미지를 변경해야함에 따라 이미지를 변환하고, 0 내지 255 사이의 다양한 픽셀 값을 0 내지 1 사이의 값으로 정규화하는 동작과 관련될 수 있다.
숫자 분류 모델은 숫자의 분류에 필요한 숫자의 특징을 추출하는 추출 네트워크와 추출된 숫자의 특징을 이용하여 0 내지 9 사이의 숫자로 분류하는 분류 네트워크로 구성될 수 있다.
예를 들어, 추출 네트워크는 신경망 모델로서 Resnet34를 사용하고, 분류 네트워크는 신경망 모델로 MLP(Multi-Layer Perceptron)을 이용할 수 있다.
후처리 모델은 OCR 결과에 대한 신뢰도 향상을 위하여 시각 값 검증을 통해 분류 모델에서 발생할 수 있는 오류를 걸러내는 동작과 관련될 수 있다.
예를 들어, 후처리 모델은 밝은 바탕색으로 인해 오류 탐지된 시각에 대하여 시각 값 검증을 수행할 수 있다.
즉, 후처리 모델은 전처리 모델과 순자 분류 모델로 인해 인식된 시각 정보가 정확한 시각 정보인지 다시 한번 확인하는 검증 동작을 수행한다.
본 발명의 일실시예에 따르면 시각 정보 인식부(120)는 인식 상자를 년(year), 월(month), 일(day), 시(hour), 분(minute) 및 초(second)로 시간 단위로 구분하고, 구분된 시간 단위에 분류된 숫자에 따라 시각 정보를 인식할 수 있다.
예를 들어, 년의 인식 상자에 의해 인식된 숫자가 2015인 경우에는 2015년으로 인식될 수 있고, 월의 인식 상자에 의해 인식된 숫자가 11인 경우에는 11월으로 인식될 수 있다.
시각 정보 인식부(120)가 시각 형식에 따라 시각 정보를 인식하는 실시예는 도 3a 및 도 3b를 이용하여 보충 설명한다.
본 발명의 일실시예에 따르면 시각 지도 생성부(130)는 시각 정보 인식부(120)에 의해 인식된 시각 정보를 기반으로 분할 복구부(110)에 의해 분할된 복수의 공간을 시각 기준으로 정렬한 시각 지도를 생성할 수 있다.
일례로, 시각 지도 생성부(130)는 시각 정보에 기반하여 저장 장치의 물리적인 공간에서 시각 분포를 결정하고, 시각의 순서에 해당하는 시각 기준에 따라 결정된 시각 분포 및 분할된 복수의 공간의 물리적 주소 및 대표 프레임 중 어느 하나를 타임 라인 상에 정렬하여 시각 지도를 생성한다.
본 발명의 일실시예에 따르면 시각 지도 생성부(130)는, 타임 라인 상에서 특정 시각마다 특정 시각에 해당하는 복구 영역에 포함되는 프레임의 수의 변화를 나타내는 그래프로 시각 지도를 생성할 수 있다.
예를 들어, 특정 시각은 분할된 복수의 공간의 물리적 주소에 따라 구분되는 시각일 수 있다.
동일하게 물리적 공간으로 구분된 분할된 복수의 공간은 시간적으로도 동일한 시간만큼 분할 될 수 있다.
예를 들어, 10분이라는 시간이 차지하는 제1 복구 영역 및 제2 복구 영역의 공간은 동일할 수 있다. 그러나, 10분 동안에 저장된 프레임의 수는 다를 수 있다.
이에 따라 제1 복구 영역에 포함되는 프레임의 수가 3인 경우에 제2 복구 영역에 포함되는 프레임의 수가 6일 수 있다.
본 발명의 일실시예에 따라 생성되는 시각 지도는 도 4를 이용하여 보충 설명한다.
본 발명의 일실시예에 따르면 선택 복구부(140)는 사용자로부터 입력된 특정 시각 정보를 시각 지도 생성부(130)에 의해 생성된 시각 지도에 매칭하여 복구 대상 영역을 검색하고, 검색된 복구 대상 영역을 복구할 수 있다.
일례로, 선택 복구부(140)는 검색된 복구 대상 영역에 포함되는 복수의 프레임의 목록을 결정하고, 결정된 목록에서 선택되는 적어도 하나의 프레임을 복구할 수 있다.
또한, 선택 복구부(140)는 검색된 복구 대상 영역에 포함되는 복수의 프레임에 대한 목록에서 사용자로부터 입력된 특정 시각 정보에 해당하는 특정 프레임을 복구할 수 있다.
즉, 선택 복구부(140)는 특정 시각 정보의 크기 또는 범위에 따라 적어도 하나의 프레임을 복구할 수 있다.
예를 들어, 특정 시각 정보의 크기 또는 범위는 2022년04월06일 11시 52분 10초에 해당하는 특정 시점일 수도 있고, 시작지점(2022년04월05일 11시 52분 10초)부터 종료지점(2022년04월06일 11시 52분 10초)까지로 다양할 수 있다.
일례로, 선택 복구부(140)는 검색된 복구 대상 영역의 물리적 주소를 기반으로 인접한 섹터에 포함되는 적어도 하나의 프레임에 대한 미리 보기를 제공할 수 있다.
본 발명의 일실시예에 따르면 선택 복구부(140)는 사용자에 의해 입력되는 시각 정보에 대응하는 적어도 하나의 프레임을 검색하기 위해, 사용자에 의해 입력되는 시각 정보를 기 생성된 시각 지도에 매핑하여 저장 장치의 전체 공간 중에서 특정 영역을 자동적으로 계산하여 검색하고, 검색된 특정 영역에 프레임을 선택적으로 복원할 수 있다.
본 발명의 일실시예에 따르면 사용자 인터페이스부(150)는 복구되는 복구 대상 영역에서의 프레임에 대한 이미지 및 목록을 제공할 수 있다.
또한, 사용자 인터페이스부(150)는 특정 시각 정보에 대한 입력 인터페이스를 제공하며, OCR 기능과 관련된 인식 상자에 대한 제어 인터페이스를 제공할 수 있다.
일례로, 사용자 인터페이스부(150)는 디지털 포렌식 장치에 입력되는 데이터와 관련하여 사용자가 접근할 수 있는 사용자 인터페이스를 포괄하고, 디지털 포렌식 장치에서 출력 또는 표시되는 데이터와 관련될 수 있다.
본 발명의 일실시예에 따르면 디지털 포렌식 장치(100)는 OCR을 통하여 시각 지도를 생성하고, 생성된 시각 지도를 이용하여 사용자가 검색을 원하는 특정 시각에 해당하는 프레임이 포함되는 복구 대상 영역을 검색할 수 있다.
따라서, 본 발명은 대용량 동영상 증거물에 대하여 OCR(Optical Character Recognition) 기능을 통하여 생성된 시각 지도를 이용하여 원하는 시각에 해당하는 프레임의 복구 영역을 자동으로 검색 및 복원할 수 있다.
도 2a 내지 도 2e는 본 발명의 일실시예에 따른 디지털 포렌식 장치의 사용자 인터페이스를 설명하는 도면이다.
도 2a 내지 도 2e는 본 발명의 일실시예에 따른 디지털 포렌식 장치가 제공하는 화면 구성을 사용자 인터페이스로서 예시한다.
도 2a를 참고하면, 본 발명의 일실시예에 따른 디지털 포렌식 장치는 시작화면(200)을 표시한다.
시작화면(200)은 저장 장치에서 선별되어 제공될 수 있는 프레임의 이미지와 함께 다음 단계로 진행하기 위한 인터페이스를 표시할 수 있다.
도 2b를 참고하면, 본 발명의 일실시예에 따른 디지털 포렌식 장치는 증거물 스캔 화면(210)을 표시한다.
증거물 스캔 화면(210)은 증거물인 저장 장치 내에 동영상 증거물이 스캔되는 과정을 표시한다.
예를 들어, 증거물 스캔 화면(210)은 스캔 경과와 스캔 예상 시간을 제공하여 사용자가 증거물 스캔 과정을 한눈에 확인하도록 지원한다.
증거물 스캔 과정에서 저장 장치 내 물리적 공간이 확인되고, 확인된 물리적 공간에 기반하여 복수의 공간으로 분할되고, 분할된 복수의 공간 각각에서 대표 프레임이 복구될 수 있다.
도 2c를 참고하면, 본 발명의 일실시예에 따른 디지털 포렌식 장치는 OCR 설정 화면(220)을 표시한다.
OCR 설정 화면(220)은 이미지 안에 존재하는 코덱의 종류와 해상도 별로 각각 OCR을 설정하기 위한 설정 탭(221)과 대표 프레임의 이미지를 함께 제공하여 대표 프레임 상에서 시각 정보를 인식하기 위한 인식 상자(222)를 표시한다.
대표 프레임 상에 존재하는 시각 정보의 영역을 선택할 수 있도록 인식 상자(222)의 위치는 제어될 수 있다.
또한, 설정 탭(221)은 대표 프레임의 코덱의 종류와 해상도를 사용자가 설정함에 따라 OCR 기능 구현의 정확도를 향상하도록 지원할 수 있다.
도 2d를 참고하면, 본 발명의 일실시예에 따른 디지털 포렌식 장치는 OCR 분석 화면(230)을 표시한다.
OCR 분석 화면(230)은 대표 프레임에서 인식 상자에 기반하여 시각 정보가 인식되는 과정을 표시한다.
예를 들어, OCR 분석 화면(230)은 OCR 분석 경과와 OCR 분석 예상 시간을 제공하여 사용자가 OCR 분석 과정을 한눈에 확인하도록 지원한다.
또한, 디지털 포렌식 장치는 OCR 분석 과정에서 OCR 인식에 기반한 시각 정보 인식을 진행하고, 인식된 시각 정보에 기반하여 시각 지도를 생성한다.
도 2e를 참고하면, 본 발명의 일실시예에 따른 디지털 포렌식 장치는 선택 복구 화면(240)을 표시한다.
선택 복구 화면(240)는 사용자가 특정 시각 정보를 입력하기 위한 입력 인터페이스(241)와 목록 표시 인터페이스(244) 및 미리보기 인터페이스(245)를 함께 제공한다.
입력 인터페이스(241)는 사용자가 검색하고자 하는 복구 대상 영역에 해당하는 시간 범위를 입력하기 위한 시각 필터 인터페이스(242)를 포함한다.
또한, 입력 인터페이스(241)는 시각 필터 인터페이스(242)를 통해 입력되는 특정 시각 정보에 해당하는 시각 지도 상에 범위(243)를 표시하는 인터페이스를 포함한다.
예를 들어, 시각 지도는 복수의 공간이 분할되는 시각에 따라 복수의 공간을 분할하여 표시하고, 표시된 복수의 공간 각각에서 포함되는 프레임의 수를 나타낼 수 있다.
예를 들어, 시각 지도는 그래프의 형태로 세로축으로는 프레임의 수를 나타내고, 가로축으로 시각 지도 상에서 각 복수의 공간이 구분되는 시간 정보를 개시한다.
목록 표시 인터페이스(244) 및 미리보기 인터페이스(245)는 시각 필터 인터페이스(242)를 통해 설정된 복구 영역에 포함되는 프레임의 목록을 목록 표시 인터페이스(244)에서 표시하고, 목록에서 선택된 특정 프레임의 미리 보기 이미지를 미리보기 인터페이스(245)를 통해 표시한다.
따라서, 본 발명은 사용자가 원하는 시각을 입력하는 것만으로도 대용량 저장 장치에 저장된 대용량 동영상 증거물에서 일부 공간만을 선택하여 빠르게 복구 결과를 제공할 수 있다.
도 3a 및 도 3b는 본 발명의 일실시예에 따른 디지털 포렌식 장치에서 시각 정보 인식을 위한 사용자 인터페이스를 설명하는 도면이다.
도 3a는 본 발명의 일실시예에 따른 디지털 포렌식 장치에서 대표 프레임을 표시하고, 표시된 대표 프레임에서 시각 정보를 인식하기 위한 인식 상자의 위치가 제어되는 구성을 예시한다.
도 3a를 참고하면, 디지털 포렌식 장치가 저장 장치로부터 대용량 영상 증거물을 수집하고, 수집된 대용량 영상 증거물을 복수의 공간으로 분할한 후, 분할된 복수의 공간 중 어느 하나에서 제일 먼저 위치하는 대표 프레임(300)을 표시한다.
대표 프레임(300)의 좌측 상단에서는 시각 정보를 나타내는 문자를 함께 표시하고 있고, 대표 프레임(300)에 OCR 기능이 적용되기 위해서 사용자에 의해 인식 상자(301)의 위치가 이동된다.
인식 상자(301)가 대표 프레임(300)에서 시각 정보를 나타내는 문자를 확정하는 경우에는 도 3b의 팝업창으로 이동된다.
도 3b는 본 발명의 일실시예에 따른 디지털 포렌식 장치에서 인식 상자의 위치가 제어된 이후에 시각 형식 및 채널의 자릿수를 설정하기 위한 팝업창을 제공하는 구성을 예시한다.
도 3b를 참고하면, 팝업창(310)에서 시각 형식을 제어하기 위한 인터페이스(311)와 인식상자(312) 내지 인식상자(317)를 예시한다.
인터페이스(311)는 인식상자(312) 내지 인식상자(317)가 인식하는 시각 형식을 결정하는 제어를 지원한다.
사용자가 인터페이스(311)를 통해서 "yyyy-MM-dd-hh-mm-ss"를 선택하는 경우에 인식상자(312)는 "yyyy"를 인식하고, 인식상자(313)는 "MM"를 인식하며, 인식상자(314)는 "dd"를 인식하고, 인식상자(315)는 "hh"를 인식하며, 인식상자(316)는 "mm"를 인식하고, 인식상자(317)는 "ss"를 인식한다.
이에 따라 디지털 포렌식 장치는 동영상에서 시각 정보가 위치하는 위치를 선정하고, 선정된 위치에서 시각 정보가 나타내는 순서를 지정하여 인식함에 따라 시각 정보의 인식 정확도를 향상시킬 수 있다.
인식상자(312) 내지 인식상자(317)는 인식 대상인 시각 정보의 이미지 상에서 유동적으로 위치의 조정이 가능함에 따라 시각 정보의 인식 정확도를 향상시킬 수 있다.
예를 들어, 인식상자(312)는 "yyyy"에 기반하여 2015년을 인식하고, 인식상자(313)는 "MM"에 기반하여 12월을 인식하며, 인식상자(314)는 "dd"에 기반하여 01일을 인식하고, 인식상자(315)는 "hh"에 기반하여 21시를 인식하며, 인식상자(316)는 "mm"에 기반하여 08분을 인식하고, 인식상자(317)는 "ss"에 기반하여 58초를 인식한다.
본 발명의 일실시예에 따르면 디지털 포렌식 장치는 인식 상자를 이용하여 인식되는 대표 프레임에서 인식되는 이미지에 기반하여 숫자를 인식하고, 숫자에 기반하여 시각 정보를 인식함에 따라 대표 프레임의 시각 분포를 인식할 수 있다.
도 4는 본 발명의 일실시예에 따른 디지털 포렌식 장치에 의해 생성되는 시각 지도를 설명하는 도면이다.
도 4는 본 발명의 일실시예에 따른 디지털 포렌식 장치에 의해 생성되는 시각 지도의 구성과 형태를 예시한다.
도 4를 참고하면, 본 발명의 일실시예에 따른 시각 지도(420)는 대표 프레임(410) 또는 대표 프레임에 해당하는 저장장치의 물리적 주소가 저장 장치에 동영상 증거물이 기록되는 시간의 시작 지점에서 종료 시점 내에서 시각 분포에 기반하여 정리된 형태를 가진다.
대표 프레임(410)은 저장 장치의 물리적 공간이 복수의 공간(400)으로 분할된 후, 복수의 공간(400) 각각에서 제일 먼저 위치하여 복구된다.
시각 지도(420)는 대표 프레임(410)에서 인식되는 시각 정보를 통해 저장장치의 물리적 주소(오프셋) 상에서 저장되어 있는 데이터의 저장 시각 분포를 획득한 후, 이를 이용하여 저장 장치의 물리적 주소와 시각을 매핑하여 관리하는 구조로 제작된다.
시각 지도(420)는 저장 장치의 전체 물리적 저장 공간을 시각 기준으로 정렬할 수 있고, 원하는 시각의 프레임이 존재하는 복구 대상 영역에 대한 공간을 손쉽게 검색하기 위해 이용된다.
예를 들어, 사용자는 복구를 원하는 프레임에 해당하는 시각 정보만 입력하여도 해당 복구 대상 영역을 손쉽게 검색하고, 검색된 복구 대상 영역에 포함되는 프레임을 복구할 수 있다.
즉, 디지털 포렌식 장치는 시각 지도(420)를 이용하여 저장장치의 전체 공간 중에 일부 공간만을 선택하여 보다 빠르게 복구 결과를 사용자에게 제공할 수 있다.
또한, 디지털 포렌식 장치는 사용자가 입력한 특정 시각 정보에 기반한 복구 대상 영역의 물리적 주소를 기반으로 복구 대상 영역의 인접한 섹터를 추가적으로 제공한다.
이에 따라, 사용자가 검색하고자 하는 복구 대상 영역의 시간과 물리적 배치의 관계를 추가적으로 확인 및 분석하여 동영상 증거물에 대한 분석 효율이 향상될 수 있다.
따라서, 본 발명은 사용자는 원하는 시각을 입력하여 복구 타겟 영역을 선택할 수 있을 뿐만 아니라, 선택된 복구 타겟 영역의 물리적 주소를 기반으로 인접한 섹터를 추가적으로 확인 가능함에 따라 시간과 물리적 배치의 관계를 추가적으로 분석 및 확인 가능하도록 하여 디지털 포렌식의 효율성을 향상시킬 수 있다.
도 5는 본 발명의 일실시예에 따른 디지털 포렌식 장치의 동작 방법을 설명하는 도면이다.
도 5는 본 발명의 일실시예에 따라 시각 지도를 이용하여 대용량 동영상 증거물에 대하여 복구 대상 영역을 검색 및 복구하는 디지털 포렌식 장치의 동작 방법을 예시한다.
도 5를 참고하면, 단계(501)에서 디지털 포렌식 장치의 동작 방법은 저장 장치의 물리적인 공간을 고려하여 동영상 증거물을 복수의 공간으로 분할한다.
즉, 디지털 포렌식 장치의 동작 방법은 분석 대상인 저장 장치로부터 동영상 증거물을 수집하고, 저장 장치의 물리적인 공간을 고려하여 수집된 동영상 증거물이 복수의 공간으로 분할되도록 저장 장치의 물리적인 공간을 복수의 공간으로 분할할 수 있다.
단계(502)에서 디지털 포렌식 장치의 동작 방법은 복수의 공간 각각에서 대표 프레임을 복구한다.
즉, 디지털 포렌식 장치의 동작 방법은 단계(501)에서 분할된 복수의 공간 각각에서 가장 앞부분에 존재하는 제1 프레임을 대표 프레임으로 복구할 수 있다.
예를 들어, 디지털 포렌식 장치의 동작 방법은 복수의 공간 각각에서 제일 먼저 위치하는 것으로 인식되는 프레임을 대표 프레임으로 선택할 수 있다.
단계(503)에서 디지털 포렌식 장치의 동작 방법은 OCR 기능을 이용하여 복구된 대표 프레임에서 시각 정보를 인식한다.
즉, 디지털 포렌식 장치의 동작 방법은 단계(502)에서 복구된 대표 프레임에서 시각 정보에 해당하는 영역에 OCR 기능 적용을 위한 인식 상자를 위치하고, 위치된 인식 상자에서 숫자의 특징을 추출하고, 추출된 숫자의 특징에 따라 분류된 숫자에 기반하여 복구된 대표 프레임의 시각 정보를 인식할 수 있다.
이에 따라, 디지털 포렌식 장치의 동작 방법은 대표 프레임의 시각 정보에 기반하여 복수의 공간 각각의 시각 분포를 인식할 수 있다.
단계(504)에서 디지털 포렌식 장치의 동작 방법은 시각 정보를 기반으로 복수의 공간을 시각 기준으로 정렬한 시각 지도를 생성한다.
즉, 디지털 포렌식 장치의 동작 방법은 시각 정보에 기반하여 물리적인 공간에서 시각 분포를 결정하고, 시각의 순서에 해당하는 시각 기준에 따라 결정된 시각 분포 및 분할된 복수의 공간의 물리적 주소 및 대표 프레임 중 어느 하나를 타임 라인 상에 정렬하여 시각 지도를 생성할 수 있다.
예를 들어, 시각 지도는 특정 시각에 대한 입력에 기반하여 해당 특정 시각에 해당하는 복구 영역을 선별하도록 지원할 수 있다.
단계(505)에서 디지털 포렌식 장치의 동작 방법은 사용자로부터 입력된 특정 시각 정보를 시각 지도에 매칭하여 복구 대상 영역을 검색 및 복구한다.
즉, 디지털 포렌식 장치의 동작 방법은 사용자로부터 입력된 특정 시각 정보를 단계(504)에서 생성된 시각 지도에 매칭하여 복구 대상 영역을 검색하고, 검색된 복구 대상 영역을 복구할 수 있다.
예를 들어, 디지털 포렌식 장치의 동작 방법은 사용자가 원하는 시각에 해당하는 프레임을 포함하는 복구 대상 영역을 선별 검색하고, 선별된 복구 대상 영역에서의 프레임을 복원할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100: 디지털 포렌식 장치
110: 분학 복구부 120: 시각 정보 인식부
130: 시각 지도 생성부 140: 선택 복구부
150: 사용자 인터페이스부

Claims (16)

  1. 시각 지도를 이용하여 대용량 동영상 증거물에 대하여 복구 대상 영역을 검색 및 복구하는 디지털 포렌식 장치에 있어서,
    저장 장치로부터 동영상 증거물을 수집하고, 상기 저장 장치의 물리적인 공간을 고려하여 상기 수집된 동영상 증거물을 복수의 공간으로 분할하며, 상기 분할된 복수의 공간 각각에서 대표 프레임을 복구하는 분할 복구부;
    OCR(Optical Character Recognition) 기능을 이용하여 상기 복구된 대표 프레임에서 시각 정보를 인식하는 시각 정보 인식부;
    상기 인식된 시각 정보를 기반으로 상기 분할된 복수의 공간을 시각 기준으로 정렬한 시각 지도를 생성하는 시각 지도 생성부; 및
    사용자로부터 입력된 특정 시각 정보를 상기 생성된 시각 지도에 매칭하여 복구 대상 영역을 검색하고, 상기 검색된 복구 대상 영역을 복구하는 선택 복구부를 포함하는 것을 특징으로 하는
    디지털 포렌식 장치.
  2. 제1항에 있어서,
    상기 분할 복구부는, 상기 물리적인 공간의 전체 크기에 대하여 미리 사전에 결정된 크기 또는 비율을 적용하여 상기 수집된 동영상 증거물을 상기 복수의 공간으로 분할하고, 상기 분할된 복수의 공간 각각에서 가장 앞부분에 존재하는 제1 프레임을 상기 대표 프레임으로 복구하는 것을 특징으로 하는
    디지털 포렌식 장치.
  3. 제1항에 있어서,
    상기 시각 정보 인식부는, 상기 복구된 대표 프레임에서 상기 시각 정보에 해당하는 영역에 인식 상자를 위치하고, 상기 위치된 인식 상자에서 숫자의 특징을 추출하고, 상기 추출된 숫자의 특징에 따라 분류된 숫자에 따라 상기 시각 정보를 인식하는 것을 특징으로 하는
    디지털 포렌식 장치.
  4. 제3항에 있어서,
    상기 시각 정보 인식부는, 상기 인식 상자를 통해 인식되는 이미지의 크기를 변환하고, 상기 이미지의 픽셀 값을 정규화 하며, 상기 이미지에서 숫자의 특징을 추출하고, 상기 추출된 숫자의 특징을 이용하여 상기 이미지를 숫자로 분류하며, 상기 분류된 숫자에 대하여 시각 값 검증을 수행하여 상기 추출된 숫자에 따라 상기 시각 정보를 인식하는 것을 특징으로 하는
    디지털 포렌식 장치.
  5. 제3항에 있어서,
    상기 시각 정보 인식부는, 상기 인식 상자를 년(year), 월(month), 일(day), 시(hour), 분(minute) 및 초(second)로 시간 단위로 구분하고, 상기 구분된 시간 단위에 상기 분류된 숫자에 따라 상기 시각 정보를 인식하는 것을 특징으로 하는
    디지털 포렌식 장치.
  6. 제1항에 있어서,
    상기 시각 지도 생성부는, 상기 시각 정보에 기반하여 상기 물리적인 공간에서 시각 분포를 결정하고, 시각의 순서에 해당하는 상기 시각 기준에 따라 상기 결정된 시각 분포 및 상기 분할된 복수의 공간의 물리적 주소 및 대표 프레임 중 어느 하나를 타임 라인 상에 정렬하여 상기 시각 지도를 생성하는 것을 특징으로 하는
    디지털 포렌식 장치.
  7. 제6항에 있어서,
    상기 시각 지도 생성부는, 상기 타임 라인 상에서 특정 시각마다 상기 특정 시각에 해당하는 복구 영역에 포함되는 프레임의 수의 변화를 나타내는 그래프로 상기 시각 지도를 생성하는 것을 특징으로 하는
    디지털 포렌식 장치.
  8. 제1항에 있어서,
    상기 선택 복구부는, 상기 검색된 복구 대상 영역에 포함되는 복수의 프레임의 목록을 결정하고, 상기 결정된 목록에서 선택되는 적어도 하나의 프레임을 복구하는 것을 특징으로 하는
    디지털 포렌식 장치.
  9. 제1항에 있어서,
    상기 선택 복구부는 상기 검색된 복구 대상 영역의 물리적 주소를 기반으로 인접한 섹터에 포함되는 적어도 하나의 프레임에 대한 미리 보기를 제공하는 것을 특징으로 하는
    디지털 포렌식 장치.
  10. 제1항에 있어서,
    상기 복구되는 복구 대상 영역에서의 프레임에 대한 이미지 및 목록을 제공하고, 상기 특정 시각 정보에 대한 입력 인터페이스를 제공하며, 상기 OCR 기능과 관련된 인식 상자에 대한 제어 인터페이스를 제공하는 사용자 인터페이스부를 더 포함하는 것을 특징으로 하는
    디지털 포렌식 장치.
  11. 시각 지도를 이용하여 대용량 동영상 증거물에 대하여 복구 대상 영역을 검색 및 복구하는 디지털 포렌식 장치의 동작 방법에 있어서,
    분할 복구부에서, 저장 장치로부터 동영상 증거물을 수집하고, 상기 저장 장치의 물리적인 공간을 고려하여 상기 수집된 동영상 증거물을 복수의 공간으로 분할하며, 상기 분할된 복수의 공간 각각에서 대표 프레임을 복구하는 단계;
    시각 정보 인식부에서, OCR(Optical Character Recognition) 기능을 이용하여 상기 복구된 대표 프레임에서 시각 정보를 인식하는 단계;
    시각 지도 생성부에서, 상기 인식된 시각 정보를 기반으로 상기 분할된 복수의 공간을 시각 기준으로 정렬한 시각 지도를 생성하는 단계; 및
    선택 복구부에서, 사용자로부터 입력된 특정 시각 정보를 상기 생성된 시각 지도에 매칭하여 복구 대상 영역을 검색하고, 상기 검색된 복구 대상 영역을 복구하는 단계를 포함하는 것을 특징으로 하는
    디지털 포렌식 장치의 동작 방법.
  12. 제11항에 있어서,
    상기 저장 장치의 물리적인 공간을 고려하여 상기 수집된 동영상 증거물을 복수의 공간으로 분할하며, 상기 분할된 복수의 공간 각각에서 대표 프레임을 복구하는 단계는,
    상기 물리적인 공간의 전체 크기에 대하여 미리 사전에 결정된 크기 또는 비율을 적용하여 상기 수집된 동영상 증거물을 상기 복수의 공간으로 분할하고, 상기 분할된 복수의 공간 각각에서 가장 앞부분에 존재하는 제1 프레임을 상기 대표 프레임으로 복구하는 단계를 포함하는 것을 특징으로 하는
    디지털 포렌식 장치의 동작 방법.
  13. 제11항에 있어서,
    상기 OCR(Optical Character Recognition) 기능을 이용하여 상기 복구된 대표 프레임에서 시각 정보를 인식하는 단계는,
    상기 복구된 대표 프레임에서 상기 시각 정보에 해당하는 영역에 인식 상자를 위치하는 단계;
    상기 인식 상자를 통해 인식되는 이미지의 크기를 변환하고, 상기 이미지의 픽셀 값을 정규화 하며, 상기 이미지에서 숫자의 특징을 추출하는 단계;
    상기 추출된 숫자의 특징을 이용하여 상기 이미지를 숫자로 분류하는 단계; 및
    상기 분류된 숫자에 대하여 시각 값 검증을 수행하여 상기 추출된 숫자에 따라 상기 시각 정보를 인식하는 단계를 포함하는 것을 특징으로 하는
    디지털 포렌식 장치의 동작 방법.
  14. 제13항에 있어서,
    상기 인식 상자를 통해 인식되는 이미지의 크기를 변환하고, 상기 이미지의 픽셀 값을 정규화 하며, 상기 이미지에서 숫자의 특징을 추출하는 단계는,
    상기 인식 상자를 년(year), 월(month), 일(day), 시(hour), 분(minute) 및 초(second)로 시간 단위로 구분하는 단계를 포함하고,
    상기 분류된 숫자에 대하여 시각 값 검증을 수행하여 상기 추출된 숫자에 따라 상기 시각 정보를 인식하는 단계는,
    상기 구분된 시간 단위에 상기 분류된 숫자에 따라 상기 시각 정보를 인식하는 단계를 포함하는 것을 특징으로 하는
    디지털 포렌식 장치의 동작 방법.
  15. 제11항에 있어서,
    상기 인식된 시각 정보를 기반으로 상기 분할된 복수의 공간을 시각 기준으로 정렬한 시각 지도를 생성하는 단계는,
    상기 시각 정보에 기반하여 상기 물리적인 공간에서 시각 분포를 결정하고, 시각의 순서에 해당하는 상기 시각 기준에 따라 상기 결정된 시각 분포 및 상기 분할된 복수의 공간의 물리적 주소 및 대표 프레임 중 어느 하나를 타임 라인 상에 정렬하여 상기 시각 지도를 생성하는 단계를 포함하는 것을 특징으로 하는
    디지털 포렌식 장치의 동작 방법.
  16. 제11항에 있어서,
    상기 사용자로부터 입력된 특정 시각 정보를 상기 생성된 시각 지도에 매칭하여 복구 대상 영역을 검색하고, 상기 검색된 복구 대상 영역을 복구하는 단계는,
    상기 선택 복구부는, 상기 검색된 복구 대상 영역에 포함되는 복수의 프레임의 목록을 결정하고, 상기 결정된 목록에서 선택되는 적어도 하나의 프레임을 복구하는 단계; 및
    상기 검색된 복구 대상 영역의 물리적 주소를 기반으로 인접한 섹터에 포함되는 적어도 하나의 프레임에 대한 미리 보기를 제공하는 단계를 포함하는 것을 특징으로 하는
    디지털 포렌식 장치의 동작 방법.
KR1020220049001A 2022-04-20 2022-04-20 시각 지도를 이용하여 대용량 동영상 증거물에 대하여 복구 대상 영역을 검색하는 디지털 포렌식 장치 및 그 동작 방법 KR102619090B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220049001A KR102619090B1 (ko) 2022-04-20 2022-04-20 시각 지도를 이용하여 대용량 동영상 증거물에 대하여 복구 대상 영역을 검색하는 디지털 포렌식 장치 및 그 동작 방법
US17/975,897 US20230343096A1 (en) 2022-04-20 2022-10-28 Digital forensic apparatus for searching recovery target area for large-capacity video evidence using time map and method of operating the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220049001A KR102619090B1 (ko) 2022-04-20 2022-04-20 시각 지도를 이용하여 대용량 동영상 증거물에 대하여 복구 대상 영역을 검색하는 디지털 포렌식 장치 및 그 동작 방법

Publications (2)

Publication Number Publication Date
KR20230149597A true KR20230149597A (ko) 2023-10-27
KR102619090B1 KR102619090B1 (ko) 2023-12-29

Family

ID=88415828

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220049001A KR102619090B1 (ko) 2022-04-20 2022-04-20 시각 지도를 이용하여 대용량 동영상 증거물에 대하여 복구 대상 영역을 검색하는 디지털 포렌식 장치 및 그 동작 방법

Country Status (2)

Country Link
US (1) US20230343096A1 (ko)
KR (1) KR102619090B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101623321B1 (ko) 2015-11-30 2016-05-20 (주)클로닉스 디지털 포렌식에서 대용량 동영상 증거물에 대한 고속 검색 장치 및 방법
KR101968539B1 (ko) 2017-02-16 2019-04-12 동명대학교산학협력단 타임 라인 기반의 라이브 포렌식 시각화 시스템 및 방법
KR102219250B1 (ko) 2018-10-30 2021-02-24 주식회사 아프리카티비 영상 제공 방법 및 이를 이용한 영상 제공 장치
KR20210083148A (ko) 2019-12-26 2021-07-06 한양대학교 에리카산학협력단 영상이미지 인식을 이용한 디지털포렌식 데이터베이스 구축 시스템 및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101623321B1 (ko) 2015-11-30 2016-05-20 (주)클로닉스 디지털 포렌식에서 대용량 동영상 증거물에 대한 고속 검색 장치 및 방법
KR101968539B1 (ko) 2017-02-16 2019-04-12 동명대학교산학협력단 타임 라인 기반의 라이브 포렌식 시각화 시스템 및 방법
KR102219250B1 (ko) 2018-10-30 2021-02-24 주식회사 아프리카티비 영상 제공 방법 및 이를 이용한 영상 제공 장치
KR20210083148A (ko) 2019-12-26 2021-07-06 한양대학교 에리카산학협력단 영상이미지 인식을 이용한 디지털포렌식 데이터베이스 구축 시스템 및 그 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Pyae Phyo Thu ET AL: "Reconstructing the Path of the Object based on Time and Date OCR in Surveillance System", ijtsrd, July-August 2019, pp.2610-2612(2019.08.31.) 1부.* *

Also Published As

Publication number Publication date
US20230343096A1 (en) 2023-10-26
KR102619090B1 (ko) 2023-12-29

Similar Documents

Publication Publication Date Title
Masood et al. License plate detection and recognition using deeply learned convolutional neural networks
JP6946869B2 (ja) 複数のメディアセグメントを備えるメディアファイルのサマリを生成する方法、プログラム、およびメディア分析デバイス
Gómez et al. Cutting Sayre's Knot: reading scene text without segmentation. application to utility meters
Voulodimos et al. A top-down event-driven approach for concurrent activity recognition
WO2023082687A1 (zh) 一种特征检测方法、装置、计算机设备、存储介质及计算机程序产品
Xue et al. Table analysis and information extraction for medical laboratory reports
Rusli et al. Evaluating the masked and unmasked face with LeNet algorithm
US11995889B2 (en) Cognitive generation of HTML pages based on video content
RU2703152C1 (ru) Система и способ отображения схемы перемещения объектов
KR102619090B1 (ko) 시각 지도를 이용하여 대용량 동영상 증거물에 대하여 복구 대상 영역을 검색하는 디지털 포렌식 장치 및 그 동작 방법
JP7348296B2 (ja) 目標志向的強化学習方法及びこれを遂行するための装置
CN108876817A (zh) 交叉轨迹分析方法及装置、电子设备和存储介质
Hu et al. TCATD: text contour attention for scene text detection
CN106156785A (zh) 对象检测方法及对象检测设备
Vilgertshofer et al. Recognising railway infrastructure elements in videos and drawings using neural networks
Singh et al. StreetOCRCorrect: An interactive framework for OCR corrections in chaotic Indian street videos
CN114821062A (zh) 基于图像分割的商品识别方法及装置
Tonge et al. Automatic Number Plate Recognition
Rao et al. MTESSERACT: An Application for Form Recognition in Courier Services
CN114245232A (zh) 一种视频摘要生成方法、装置、存储介质及电子设备
Nguyen State-of-the-art in action: Unconstrained text detection
US11693757B2 (en) Requirement gathering in process automation
KR101911613B1 (ko) 뉴스 인터뷰 영상의 오버레이 텍스트 기반 인물 인덱싱 방법 및 장치
Yang et al. SceneTextReg: a real-time video OCR system
Kang et al. ATM: attentional text matting

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right