KR20210156768A - 이미지 처리 방법, 장치, 전자 기기 및 판독 가능한 기록매체 - Google Patents

이미지 처리 방법, 장치, 전자 기기 및 판독 가능한 기록매체 Download PDF

Info

Publication number
KR20210156768A
KR20210156768A KR1020210076821A KR20210076821A KR20210156768A KR 20210156768 A KR20210156768 A KR 20210156768A KR 1020210076821 A KR1020210076821 A KR 1020210076821A KR 20210076821 A KR20210076821 A KR 20210076821A KR 20210156768 A KR20210156768 A KR 20210156768A
Authority
KR
South Korea
Prior art keywords
image
face
time stamp
frame
buffer queue
Prior art date
Application number
KR1020210076821A
Other languages
English (en)
Other versions
KR102595664B1 (ko
Inventor
유에씨앙 후
런이 조우
준위 한
Original Assignee
베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. filed Critical 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Publication of KR20210156768A publication Critical patent/KR20210156768A/ko
Application granted granted Critical
Publication of KR102595664B1 publication Critical patent/KR102595664B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G06K9/00711—
    • G06K9/6201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 출원은 이미지 처리 방법, 장치, 전자 기기 및 판독 가능한 기록매체를 개시하였으며 컴퓨터 시각 기술 분야에 관한 것이다. 본 출원 실시예는 안면 인식 모듈과 업무 처리 모듈을 통해 하나의 이미지 버퍼 대열을 각각 유지하며， 즉 안면 인식 모듈이 안면 이미지의 안면 이미지 버퍼 대열을 유지하고， 업무 처리 모듈이 배경 이미지 즉 제1 이미지의 배경 이미지 버퍼 대열을 유지한다. 안면 인식 모듈이 안면 이미지 버퍼 대열만 유지하므로， 결정된 최적 안면 이미지 즉 매칭하려는 안면 이미지만 업무 처리 모듈에 송신하면 되고， 업무 처리 모듈이 그에 의해 유지되고 있는 배경 이미지 버퍼 대열에서 안면 인식 모듈이 송신한 최적 안면 이미지에 매칭된 배경 이미지에 매칭하여， 동영상 소스에 등장하는 안면에 대해 이미지 인식 처리 및 이미지 매칭 처리를 구현할 수 있다.

Description

이미지 처리 방법, 장치, 전자 기기 및 판독 가능한 기록매체 {IMAGE PROCESSING METHOD, DEVICE, ELECTRONIC EQUIPMENT AND READABLE STORAGE MEDIUM}
본 출원은 컴퓨터 응용 기술분야에 관한 것이고, 구체적으로 인공 지능(artificial intelligence) 기술, 특히 이미지 처리 방법, 장치, 전자 기기 및 판독 가능한 기록매체에 관한 것이다.
동영상 감시 분야에서는 단지 이미지 수집 기기를 통해서 동영상을 수집하는 것만으로는 충분하지 않으며, 일반적으로 동영상에 나타나는 안면에 대한 이미지 인식 처리 및 이미지 매칭 처리를 수행하여 유저에게 적절한 보안 요구 업무를 제공해야 한다.
따라서 동영상 소스에 등장하는 안면에 대해 이미지 인식 처리 및 이미지 매칭 처리를 구현하기 위한 이미지 처리 방법의 제공이 시급하다.
본 출원의 여러 개 양태는 동영상 소스에 등장하는 안면에 대해 이미지 인식 처리 및 이미지 매칭 처리를 구현하기 위한 이미지 처리 방법, 장치, 전자 기기 및 판독 가능 기록매체를 제공한다.
제1 양태에 있어서, 이미지 처리 방법을 제공하며, 당해 방법은：
안면 인식 모듈이 그에 의해 유지되고 있는 안면 이미지 버퍼 대열을 획득하며，상기 안면 이미지 버퍼 대열에는 적어도 하나의 프레임의 안면 이미지， 및 상기 적어도 하나의 프레임의 안면 이미지 중 각각의 프레임의 안면 이미지에 대응하는 제1 타임 스탬프를 포함하며； 상기 각각의 프레임의 안면 이미지 및 당해 프레임의 안면 이미지에 대응하는 제1 타임 스탬프는 상기 안면 인식 모듈이 동영상 소스에서 유래된 원시 이미지에 기반하여 획득하며;
상기 안면 인식 모듈이 상기 안면 이미지 버퍼 대열에서 매칭하려는 안면 이미지를 결정하며；
상기 안면 인식 모듈이 상기 매칭하려는 안면 이미지， 및 상기 매칭하려는 안면 이미지에 대응하는 제1 타임 스탬프를 업무 처리 모듈에 송신하여 상기 업무 처리 모듈로 하여금 상기 매칭하려는 안면 이미지에 대응하는 제1 타임 스탬프에 기반하여 그에 의해 유지되고 있는 배경 이미지 버퍼 대열에서 상기 매칭하려는 안면 이미지에 대응하는 제1 타임 스탬프와 일치한 제1 이미지를 결정하여 상기 매칭하려는 안면 이미지의 매칭 이미지로 하며， 또한 상기 매칭하려는 안면 이미지와 상기 매칭하려는 안면 이미지의 매칭 이미지에 기반하여 업무 처리를 수행하며； 상기 제1 이미지는 상기 업무 처리 모듈에 의해 획득한 원시 이미지인 것을；포함하고,
여기서 상기 안면 인식 모듈과 상기 업무 처리 모듈이 서로 다른 하드웨어 플랫폼에서 운행된다.
제2 양태에 있어서，이미지 처리 방법을 제공하며, 당해 방법은：
업무 처리 모듈이 안면 인식 모듈에 의해 송신된 매칭하려는 안면 이미지，및 상기 매칭하려는 안면 이미지에 대응하는 제1 타임 스탬프를 수신하고； 상기 매칭하려는 안면 이미지는 상기 안면 인식 모듈이 그에 의해 유지되고 있는 안면 이미지 버퍼 대열에서 결정되며； 상기 안면 이미지 버퍼 대열에는 적어도 하나의 프레임의 안면 이미지，및 상기 적어도 하나의 프레임의 안면 이미지 중 각각의 프레임의 안면 이미지에 대응하는 제1 타임 스탬프를 포함하며； 상기 각각의 프레임의 안면 이미지와 당해 프레임의 안면 이미지에 대응하는 제1 타임 스탬프는 상기 안면 인식 모듈이 동영상 소스에서 유래된 원시 이미지에 기반하여 획득하며；
상기 업무 처리 모듈이 상기 매칭하려는 안면 이미지에 대응하는 제1 타임 스탬프에 기반하여 그에 의해 유지되고 있는 배경 이미지 버퍼 대열에서 상기 매칭하려는 안면 이미지에 대응하는 제1 타임 스탬프와 일치한 제1 이미지를 결정하여, 상기 매칭하려는 안면 이미지의 매칭 이미지로 하며； 상기 제1 이미지는 상기 업무 처리 모듈에 의해 획득한 원시 이미지이며；
상기 업무 처리 모듈이 상기 매칭하려는 안면 이미지와 상기 매칭하려는 안면 이미지의 매칭 이미지에 기반하여 업무 처리를 수행하 는 것을；포함하고,
여기서 상기 안면 인식 모듈과 상기 업무 처리 모듈이 서로 다른 하드웨어 플랫폼에서 운행된다.
제3 양태에 있어서， 이미지 처리 장치를 제공하며, 당해 장치는 대열 유닛, 결정 유닛, 송신 유닛을 포함하며,
대열 유닛, 그에 의해 유지되고 있는 안면 이미지 버퍼 대열을 획득하며, 상기 안면 이미지 버퍼 대열에는 적어도 하나의 프레임의 안면 이미지，및 상기 적어도 하나의 프레임의 안면 이미지 중 각각의 프레임의 안면 이미지에 대응하는 제1 타임 스탬프를 포함하며； 상기 각각의 프레임의 안면 이미지와 당해 프레임의 안면 이미지에 대응하는 제1 타임 스탬프는 상기 이미지 처리 장치에 의해 동영상 소스에서 온 원시 이미지에 기반하여 획득하며；
결정 유닛은， 상기 안면 이미지 버퍼 대열에서 매칭하려는 안면 이미지를 결정하며；
송신 유닛은，상기 매칭하려는 안면 이미지, 및 상기 매칭하려는 안면 이미지에 대응하는 제1 타임 스탬프를 업무 처리 모듈에 송신하여，상기 업무 처리 모듈로 하여금 상기 매칭하려는 안면 이미지에 대응하는 제1 타임 스탬프에 기반하여 그에 의해 유지되고 있는 배경 이미지 버퍼 대열에서 상기 매칭하려는 안면 이미지에 대응하는 제1 타임 스탬프와 일치한 제1 이미지를 결정하여，상기 매칭하려는 안면 이미지의 매칭 이미지로 하며， 또한 상기 매칭하려는 안면 이미지와 상기 매칭하려는 안면 이미지의 매칭 이미지에 기반하여 업무 처리를 수행하며； 상기 제1 이미지는 상기 업무 처리 모듈에 의해 획득된 원시 이미지이며；
여기서 상기 이미지 처리 장치와 상기 업무 처리 모듈이 서로 다른 하드웨어 플랫폼에서 운행된다.
제4 양태에 있어서，다른 이미지 처리 장치를 제공하며, 당해 장치는 수신 유닛, 대열 유닛, 매칭 유닛을 포함하며,
수신 유닛은， 안면 인식 모듈에 의해 송신된 매칭하려는 안면 이미지， 및 상기 매칭하려는 안면 이미지에 대응하는 제1 타임 스탬프를 수신하며； 상기 매칭하려는 안면 이미지는 상기 안면 인식 모듈에 의해 유지되고 있는 안면 이미지 버퍼 대열에서 결정하며； 상기 안면 이미지 버퍼 대열에는 적어도 하나의 프레임의 안면 이미지，및 상기 적어도 하나의 프레임의 안면 이미지 중 각각의 프레임의 안면 이미지에 대응하는 제1 타임 스탬프를 포함하며； 상기 각각의 프레임의 안면 이미지 및 당해 프레임의 안면 이미지에 대응하는 제1 타임 스탬프는 상기 안면 인식 모듈에 의해 동영상 소스에서 온 원시 이미지에 의해 획득되며；
대열 유닛, 상기 매칭하려는 안면 이미지에 대응하는 제1 타임 스탬프에 기반하여 그에 의해 유지되고 있는 배경 이미지 버퍼 대열에서 상기 매칭하려는 안면 이미지에 대응하는 제1 타임 스탬프와 일치한 제1 이미지를 결정하여，상기 매칭하려는 안면 이미지의 매칭 이미지로 하며； 상기 제1 이미지는 상기 이미지 처리 장치에 의해 획득한 원시 이미지이며；
매칭 유닛은，상기 매칭하려는 안면 이미지와 상기 매칭하려는 안면 이미지의 매칭 이미지에 기반하여 업무 처리를 수행하며；
여기서 상기 안면 인식 모듈과 상기 이미지 처리 장치는 서로 다른 하드웨어 플랫폼에서 운행된다.
제5 양태에 있어서，전자 기기를 제공하며, 당해 전자 기기는
적어도 하나의 프로세서； 및
상기 적어도 하나의 프로세서와 통신 연결된 메모리를 구비하며；
상기 메모리에는 상기 적어도 하나의 프로세서에 의해 가능한 명령이 기억되어 있으며, 상기 명령이 상기 적어도 하나의 프로세서에 의해 수행되어, 상기 적어도 하나의 프로세서로 하여금 상기 양태와 임의의 가능한 구현 방식의 방법을 수행하도록 한다.
제6 양태에 있어서， 컴퓨터 명령이 기억되어 있는 비 일시적 컴퓨터 판독 가능 기록매체에 있어서， 상기 컴퓨터 명령은 상기 컴퓨터로 하여금 상기 양태와 임의의 가능한 구현 방식의 방법을 수행하도록 한다.
상술한 기술 방안으로부터 알 수 있는 바, 본 출원 실시예 안면 인식 모듈과 업무 처리 모듈에 의해 하나의 이미지 버퍼 대열을 각각 유지하며，즉 안면 인식 모듈이 안면 이미지의 안면 이미지 버퍼 대열을 유지하고， 업무 처리 모듈이 배경 이미지 즉 제1 이미지의 배경 이미지 버퍼 대열을 유지한다. 안면 인식 모듈이 안면 이미지 버퍼 대열만 유지하므로，결정된 최적 안면 이미지 즉 매칭하려는 안면 이미지만 업무 처리 모듈에 송신하면 되고，업무 처리 모듈에 의해 유지되고 있는 배경 이미지 버퍼 대열에서，안면 인식 모듈에 의해 송신된 최적 안면 이미지에 매칭되는 배경 이미지에 매칭하여，동영상 소스에 등장하는 안면에 대해 이미지 인식 처리와 이미지 매칭 처리를 구현할 수 있다.
또한， 본 출원에서 제공하는 기술 방안을 사용하여，안면 인식 모듈이 배경 이미지 버퍼 대열을 유지할 필요가 없으므로，배경 이미지 버퍼 대열에 의해 점유한 대량의 메모리 자원에 의한 메모리 자원의 낭비 문제를 효과적으로 피할 수 있도록 하며，안면 인식 모듈의 하드웨어 코스트를 감소한다.
또한，본 출원에서 제공하는 기술 방안을 사용하여，안면 인식 모듈이 배경 이미지 버퍼 대열을 유지할 필요가 없으므로，업무 처리 모듈에 배경 이미지 버퍼 대열을 송신하는데 대량의 송신 자원을 점유하여 나타난 송신 자원의 낭비 문제를 효과적으로 피할 수 있으므로 이미지 처리 효율을 향상시킨다.
또한，본 출원에서 제공한 기술 방안을 사용하여 유저의 체험을 효과적으로 향상시킬 수 있다.
본 부분에서 설명한 내용은 본 개시 내용의 실시예들의 핵심 또는 중요한 특징들을 식별하기 위한 것이 아니며, 본 개시 내용의 범위를 제한하려는 의도가 아님을 이해해야 한다. 본 개시 내용의 다른 특징은 다음 설명을 통해 쉽게 이해될 것이다.
이하에서는 본 출원의 실시예의 기술 구성을 보다 명확하게 설명하기 위해 실시예 또는 종래 기술의 설명에 이용되어야 할 도면을 간략히 소개한다. 아래에 설명하는 도면은 본 출원의 일부 실시예일 뿐이며, 당업자에 있어서, 이러한 도면들에 기초하여 다른 도면들이 창조적인 노력없이 얻어질 수 있다. 도면은 본 구성을 더 잘 이해하기 위해서만 사용되며 본 출원을 제한하지 않는다. 여기서 :
도 1은 본 출원 제1 실시예에 따른 개략도이다；
도 2는 본 출원 제2 실시예에 따른 개략도이다；
도 3은 본 출원 제3 실시예에 따른 개략도이다；
도 4는 본 출원 제4 실시예에 따른 개략도이다；
도 5는 본 출원 제5 실시예에 따른 개략도이다；
도 6은 본 출원 제6 실시예에 따른 개략도이다；
도 7은 본 출원 제7 실시예에 따른 개략도이다；
도 8은 본 출원 제8 실시예에 따른 개략도이다；
도 9는 본 출원 실시예의 이미지 처리 방법의 전자 기기를 구현하는 개략도이다.
이하, 도면을 참조하여 본 발명의 시범적인 실시예를 기술하는 바, 본 발명에 대한 이해를 돕기 위해 여기에는 본 발명 실시예의 다양한 세부 사항이 포함되며, 이러한 세부 사항을 단지 시범적인 것으로 간주해야 할 것이다. 따라서, 당업자는 본 발명의 범위 및 정신을 벗어나지 않는 전제 하에서, 여기서 설명되는 실시예에 대해 다양한 변경 및 수정을 수행할 수 있음을 인식해야 한다. 마찬가지로, 명확성 및 간결성을 위하여 이하의 기술에서는 잘 알려진 기능 및 구조의 기술을 생략하였다.
설명된 실시예는 본 출원의 실시예의 일부이지만 전부 실시예는 아님은 자명한 것이다. 본 출원의 실시예에 기반하여 창의적인 작업없이 당업자에 의해 획득된 다른 전부 실시예는 본 출원의 보호범위내에 속할 것이다.
본 출원의 실시예에 포함된 단말기는 휴대폰, 개인 디지털 보조기 (Personal Digital Assistant，PDA), 무선 핸드 헬드 장치, 태블릿 컴퓨터（Tablet Computer） 및 개인용 컴퓨터(Personal Computer，PC）， MP3 플레이어, MP4 플레이어, 웨어러블 장치 (예 : 스마트 안경, 스마트 시계, 스마트 팔찌 등), 스마트 홈 장치 및 기타 스마트 장치를 포함할 수 있지만 이에 국한되지 않음에 유의해야 한다.
또한 이 본 명세서의 "및/또는"이라는 용어는 연관된 객체를 설명하는 연관 관계 일뿐이며, A 및/또는 B와 같은 세 가지 유형의 관계가 있을 수 있다. 즉 A만 존재함, A와 B가 동시에 존재함, B만 존재함 세 가지 경우로 표시할 수 있다. 또한 본 명세서에서 "/"문자 부호는 일반적으로 앞뒤의 연관된 개체가 "또는" 관계에 있음을 나타낸다.
동원이종(homologous heterogeneous) 아키텍처의 이미지 처리 시스템은 동영상 소스가 동일한(homologous) 소스이고, 기타 처리 모듈은 이종(heterogeneous) 아키텍처에 속함을 의미한다. 본 출원에서 공개한 기술 구성이 적용된 동원이종 아키텍처의 이미지 처리 시스템에서 안면 인식 모듈과 업무 처리 모듈이 각각 두 개 이상의 하드웨어 플랫폼에서 운행되며, 양자는 이종 아키텍처에 속한다.
예를 들어, 일부 업무 장면에서 감시 동영상 소스의 안면을 인식하여 안면 이미지를 획득하고 동시에 안면 이미지를 해당 동영상 프레임 이미지와 추가로 매칭하여 업무 처리 모듈을 완전하게 유저에게 제공한다.
그럼 이러한 동원이종 아키텍처에서 이미지 매칭을 어떻게 구현하는가 하는 것은 중요한 기술 문제이다.
본 출원은 상술한 문제를 기반으로 이미지 처리 방법을 제기하며 동영상 소스에 등장하는 안면에 대한 이미지 인식 처리 및 이미지 매칭 처리를 구현할 수 있다.
도 1은 본 출원 제1 실시예에 따른 개략도이며, 상기 안면 인식 모듈과 상기 업무 처리 모듈이 서로 다른 하드웨어 플랫폼에서 운행되며 도 1에 나타낸 바와 같다.
단계 101, 안면 인식 모듈이 그에 의해 유지되고 있는 안면 이미지 버퍼 대열(face image buffer queue)을 획득한다.
여기서, 상기 안면 이미지 버퍼 대열에는 적어도 하나의 프레임의 안면 이미지 및 상기 적어도 하나의 프레임의 안면 이미지에서 각각의 프레임의 안면 이미지에 대응하는 제1 타임 스탬프(first timestamp)를 포함할 수 있으나 이에 제한되지 않는다.
상기 각각의 프레임의 안면 이미지 및 당해 프레임의 안면 이미지에 대응하는 제1 타임 스탬프는 상기 안면 인식 모듈에 의해 동영상 소스에서 온 원시 이미지에 기반하여 얻는다.
상기 안면 인식 모듈이 동영상 소스에서 온 원시 이미지를 수신한 후 원시 이미지에 대해 전역 고유 식별(globally unique identification)을 수행하면 원시 이미지에 제1 타임 스탬프를 추가할 수 있고, 범위는 0~무한대이다. 나아가 상기 안면 인식 모듈이 추가로 안면 인식 기술을 사용하여 동영상 소스에서 온 원시 이미지에 대해 동영상 소스에서 온 원시 이미지의 안면 이미지를 획득하기 위한 안면 인식 처리를 수행할 수 있다.
단계 102, 상기 안면 인식 모듈이 상기 안면 이미지 버퍼 대열에서 매칭하려는 안면 이미지를 결정한다.
단계 103, 상기 안면 인식 모듈이 상기 매칭하려는 안면 이미지 및 상기 매칭하려는 안면 이미지에 대응하는 제1 타임 스탬프를 업무 처리 모듈에 송신한다.
이때, 상기 업무 처리 모듈이 상기 안면 인식 모듈이 송신한 상기 매칭하려는 안면 이미지 및 상기 매칭하려는 안면 이미지에 대응하는 제1 타임 스탬프를 수신한 후 상기 매칭하려는 안면 이미지에 대응하는 제1 타임 스탬프에 따라 유지하는 배경 이미지 버퍼 대열에서 상기 매칭하려는 안면 이미지에 대응하는 제1 타임 스탬프와 일치한 제1 이미지를 결정하여 상기 매칭하려는 안면 이미지의 매칭 이미지로 하여 상기 매칭하려는 안면 이미지 및 상기 매칭하려는 안면 이미지의 매칭 이미지에 따라 업무 처리를 수행할 수 있다. 여기서, 상기 제1 이미지는 상기 업무 처리 모듈이 획득한 원시 이미지이다.
선택적으로, 본 실시예의 가능한 구현 방식에서 단계 102에서 상기 안면 인식 모듈이 구체적으로 예를 들면 빛, 자세 등 미리 배치한 안면 표준 매개 변수에 따라 상기 안면 이미지 버퍼 대열에서 각각의 프레임의 안면 이미지에 대해 품질 검출 처리를 수행할 수 있으므로 상기 안면 이미지 버퍼 대열에서 매칭하려는 안면 이미지를 결정하여 최적 안면 이미지로 한다.
선택적으로, 본 실시예의 가능한 구현 방식에서 단계 103 후 상기 안면 인식 모듈이 상기 매칭하려는 안면 이미지를 추가로 상기 안면 이미지 버퍼 대열에서 삭제할 수 있다.
이와 같이, 안면 인식 모듈을 통해 선택된 매칭하려는 안면 이미지를 그에 의해 유지되고 있는 안면 이미지 버퍼 대열에서 제때에 삭제하여 그에 의해 유지되고 있는 안면 이미지 버퍼 대열이 점유되는 메모리 자원을 효과적으로 감소할 수 있다.
이때 상기 업무 처리 모듈이 상기 매칭하려는 안면 이미지의 매칭 이미지를 결정한 후 상기 매칭하려는 안면 이미지의 매칭 이미지를 추가로 상기 배경 이미지 버퍼 대열에서 삭제할 수 있으므로 안면 인식 모듈 및 업무 처리 모듈 각각의 유지되고 있는 이미지 대열의 동시성을 효과적으로 보장할 수 있다.
본 실시예에서 안면 인식 모듈 및 업무 처리 모듈을 통해 각각 하나의 이미지 버퍼 대열을 유지하며 즉, 안면 인식 모듈이 안면 이미지의 안면 이미지 버퍼 대열을 유지하며 업무 처리 모듈이 배경 이미지 즉, 제1 이미지의 배경 이미지 버퍼 대열을 유지한다. 안면 인식 모듈이 안면 이미지 버퍼 대열만 유지하므로 결정된 최적 안면 이미지 즉 매칭하려는 안면 이미지만 업무 처리 모듈에 송신하여 업무 처리 모듈로 하여금 그에 의해 유지되고 있는 배경 이미지 버퍼 대열에서 안면 인식 모듈이 송신한 최적 안면 이미지가 매칭된 배경 이미지에 매칭되도록 하며 동영상 소스에 등장하는 안면에 대해 이미지 인식 처리 및 이미지 매칭 처리를 구현할 수 있다.
도 2는 본 출원 제2 실시예에 따른 개략도이며 도 2에 나타낸 바와 같이, 제1 실시예와 비교하면 본 실시예의 단계 101전에 상기 안면 인식 모듈이 추가로 아래의 단계를 수행할 수 있다.
단계 201, 상기 안면 인식 모듈이 동영상 소스에서 온 적어도 2 프레임의 원시 이미지에 기반하여 상기 안면 이미지 버퍼 대열을 유지한다.
여기서 상기 적어도 2 프레임의 원시 이미지의 각각의 프레임 원시 이미지는 제2 타임 스탬프를 수반한다.
안면 인식 모듈 및 업무 처리 모듈로 하여금 원시 이미지에 대해 동시에 인식하도록 하기 위해 하드웨어를 이용하여 원시 이미지에 제2 타임 스탬프를 추가하며, 범위는 0~255이며 나아가 원시 이미지로 하여금 제2 타임 스탬프를 수반하도록 하여 직접적으로 제2 타임 스탬프를 수반하는 원시 이미지를 각각 안면 인식 모듈 및 업무 처리 모듈에 송신하도록 하며, 다른 타임 스탬프를 별도로 송신할 필요없이 송신 효율을 향상시킨다.
단계 202, 상기 안면 인식 모듈이 상기 안면 이미지 버퍼 대열에 기반하여 상기 업무 처리 모듈이 유지하는 배경 이미지 버퍼 대열을 동기화 한다.
선택적으로, 본 실시예의 하나의 가능한 구현 방식에서 단계 201에서 상기 안면 인식 모듈이 동영상 소스에서 온 상기 적어도 2 프레임의 원시 이미지를 수신하여 제2 이미지로 하며 여기서 제2 이미지에는 제2 타임 스탬프를 수반한다. 제2 이미지를 수신한 후 원시 이미지 즉 제2 이미지에 대해 전역 고유 식별을 수행하기 위해 상기 안면 인식 모듈이 우선 상기 적어도 2 프레임의 제2 이미지 중 제2 이미지의 각각의 프레임에 상기 제1 타임 스탬프를 추가하며, 범위는 0~무한대이다.
상기 제1 타임 스탬프를 추가한 후 상기 안면 인식 모듈이 상기 제2 이미지의 각각의 프레임에 대해 안면 검출 처리를 수행하여 상기 제2 이미지의 각각의 프레임의 안면 검출 결과를 획득한다.
구체적으로, 상기 안면 인식 모듈이 구체적으로 안면 인식 기술을 추가로 사용할 수 있으며, 동영상 소스에서 온 원시 이미지 즉 제1 이미지에 대해 안면 인식 처리를 수행하여 동영상 소스에서 온 원시 이미지의 안면 이미지를 획득한다.
일반적으로, 제2 이미지의 하나의 프레임에는 하나의 프레임 안면만 등장하는 것이 아니므로 제2 이미지의 안면 인식 결과는 하나의 프레임의 안면 이미지일 수 있고, 여러 개 프레임의 안면 이미지일 수도 있다. 그러므로 제2 이미지의 안면 인식 결과가 하나의 프레임의 안면 이미지일 경우 당해 제2 이미지의 제1 타임 스탬프 및 제2 타임 스탬프는 하나의 프레임의 안면 이미지에만 대응된다； 제2 이미지의 안면 인식 결과가 여러 개 프레임의 안면 이미지일 경우， 당해 제2 이미지의 제1 타임 스탬프 및 제2 타임 스탬프는 여러 개 프레임의 안면 이미지에 대응할 수 있다.
상기 제2 이미지의 각각의 프레임의 안면 검출 결과를 획득한 후 상기 안면 인식 모듈이 안면 이미지의 제2 이미지의 각각의 프레임을 포함하는 안면 검출 결과에 포함된 안면 이미지 및 제2 이미지의 상기 프레임의 제2 타임 스탬프와 제1 타임 스탬프를 대응하여 상기 안면 이미지 버퍼 대열에 추가할 수 있다.
여기서, 안면 이미지 버퍼 대열에는 적어도 하나의 프레임의 안면 이미지 및 상기 적어도 하나의 프레임의 안면 이미지 중 각각의 프레임의 안면 이미지에 대응하는 제1 타임 스탬프와 제2 타임 스탬프를 포함할 수 있다. 안면 인식 모듈에 의해 당해 안면 이미지 버퍼 대열을 유지한다.
선택적으로, 본 실시예의 하나의 가능한 구현 방식에서, 단계 202에서 상기 안면 인식 모듈이 구체적으로 상기 제2 이미지의 각각의 프레임의 제2 타임 스탬프와 제1 타임 스탬프， 및 상기 안면 이미지 버퍼 대열의 각각의 안면 이미지에 대응하는 제2 타임 스탬프와 제1 타임 스탬프를 상기 업무 처리 모듈에 송신할 수 있다.
당해 구현 방식에서, 상기 안면 인식 모듈이 수신된 동영상 소스에서 온 여러 개 프레임 제2 이미지를 차례로 이의 제2 타임 스탬프와 제1 타임 스탬프를 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제2 타임 스탬프와 제1 타임 스탬프와 함께 상기 업무 처리 모듈에 송신한다.
본 실시예에서 상기 업무 처리 모듈이 동영상 소스에서 온 상기 적어도 2 프레임의 원시 이미지를 수신하여 제1 이미지로 하며, 여기서 제1 이미지에는 제2 타임 스탬프가 수반한다. 제1 이미지를 수신한 후 추가 처리를 수행하기 위해 상기 업무 처리 모듈이 우선 적어도 2 프레임의 제1 이미지를 기록 처리하여 원시 이미지 기록 대열을 획득하도록 한다. 예를 들면, FIFO（First Input First Output）대열이다.
여기서, 상기 안면 인식 모듈이 송신한 상기 제2 이미지의 각각의 프레임의 제2 타임 스탬프와 제1 타임 스탬프， 및 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제2 타임 스탬프와 제1 타임 스탬프를 수신한 후, 상기 업무 처리 모듈이 상기 제2 이미지의 각각의 프레임에 대해， 제2 이미지의 하나의 프레임의 제2 타임 스탬프와 제1 타임 스탬프가 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제2 타임 스탬프와 제1 타임 스탬프에 있다고 결정할 경우， 적어도 2 프레임의 제1 이미지 중 제2 이미지의 상기 프레임의 제2 타임 스탬프와 일치한 제1 이미지에 대해 제2 이미지의 상기 프레임의 제1 타임 스탬프를 추가하여，상기 제1 타임 스탬프를 추가한 제1 이미지를 상기 배경 이미지 버퍼 대열에 추가한다.
여기서, 배경 이미지 버퍼 대열에서 적어도 제1 이미지의 하나의 프레임， 및 상기 적어도 제1 이미지의 하나의 프레임 중 각각의 프레임 제1 이미지에 대응하는 제1 타임 스탬프를 포함할 수 있다. 업무 처리 모듈에 의해 당해 배경 이미지 버퍼 대열을 유지한다.
본 실시예에서 업무 처리 모듈이 추가로 그에 의해 유지되고 있는 배경 이미지 버퍼 대열에 대해 최적화 처리를 수행하며, 서로 다른 안면 이미지가 동일한 배경 이미지에 대응할 경우， 업무 처리 모듈이 하나의 프레임 배경 이미지만 캐시할 수 있으며 배경 이미지의 재사용을 효과적으로 구현할 수 있으므로 배경 이미지 버퍼 대열이 점유하는 메모리 자원을 추가로 감소한다.
본 실시예에서 안면 인식 모듈에 의해 안면 이미지 버퍼 대열을 유지하여 상기 안면 이미지 버퍼 대열에 기반하여 상기 업무 처리 모듈에 의해 유지되고 있는 배경 이미지 버퍼 대열을 동기화하며, 상기 안면 이미지 버퍼 대열과 상기 배경 이미지 버퍼 대열의 2개 이미지 대열은 대응하는 동시성을 유지할 수 있도록 하므로 이미지 처리의 효율을 효과적으로 향상시킨다.
도 3은 본 출원 제3 실시예에 따른 개략도이며 도 3에 나타낸 바와 같이 제1 실시예와 비교하면 본 실시예에서 상기 안면 인식 모듈이 또한 다음 절차를 추가로 수행할 수 있다.
단계 301, 상기 안면 인식 모듈이 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대해 필터링 처리를 수행한다.
단계 302, 상기 안면 인식 모듈이 상기 필터링 처리 후의 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제1 타임 스탬프를 상기 업무 처리 모듈에 송신한다.
여기서, 상기 안면 인식 모듈에 의해 송신된 상기 필터링 처리 후의 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제1 타임 스탬프를 수신한 후， 상기 업무 처리 모듈이 상기 필터링 처리 후의 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제1 타임 스탬프에 따라 상기 배경 이미지 버퍼 대열 중 각각의 제1 이미지에 대해 동기화 처리를 수행할 수 있다.
본 실시예에서 상기 안면 이미지 버퍼 대열을 유지하는데 점유하는 메모리 자원을 추가로 감소하고, 동시에 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지의 이미지 질량을 추가로 제공하기 위해， 상기 안면 인식 모듈이 정기적 또는 지정된 시간에 기존의 이미지 필터링 기술을 추가로 사용하여 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대해 필터링 처리를 수행하여 이미지 질량이 낮은 안면 이미지를 필터링할 수 있다. 필터링 처리한 후， 상기 안면 인식 모듈이 상기 필터링 처리 후의 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제1 타임 스탬프를 추가로 상기 업무 처리 모듈에 송신할 수 있다.
여기서, 상기 안면 인식 모듈에 의해 송신된 상기 필터링 처리 후의 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제1 타임 스탬프를 수신한 후, 상기 업무 처리 모듈이 상기 배경 이미지 버퍼 대열 중 각각의 제1 이미지에 대응하는 제1 타임 스탬프 및 상기 필터링 처리 후의 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제1 타임 스탬프에 대해 비교 처리를 수행할 수 있다. 상기 업무 처리 모듈이 상기 각각의 프레임 제1 이미지에 대해， 제1 이미지의 하나의 프레임의 제1 타임 스탬프가 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제1 타임 스탬프에 없다고 결정할 경우， 제1 이미지의 상기 프레임을 상기 배경 이미지 버퍼 대열에서 삭제하여 배경 이미지 버퍼 대열 및 안면 이미지 버퍼 대열의 동시성을 보장할 수 있다.
본 실시예에서， 안면 인식 모듈에 의해 유지되고 있는 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대해 필터링 처리를 수행하여 상기 필터링 처리 후의 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제1 타임 스탬프를 업무 처리 모듈에 송신하며, 업무 처리 모듈로 하여금 제때에 그에 의해 유지되고 있는 배경 이미지 버퍼 대열 및 안면 인식 모듈에 의해 유지되고 있는 안면 이미지 버퍼 대열에 대응하게 동시성을 유지할 수 있도록 하며, 이미지 처리의 신뢰성과 효율을 효과적으로 향상시킨다.
도 4는 본 출원 제4 실시예에 따른 개략도이며 상기 안면 인식 모듈 및 상기 업무 처리 모듈이 서로 다른 하드웨어 플랫폼에서 운행하며 도 4에 나타난 바와 같다.
단계 401, 업무 처리 모듈이 안면 인식 모듈에 의해 송신된 매칭하려는 안면 이미지 및 상기 매칭하려는 안면 이미지에 대응하는 제1 타임 스탬프를 수신한다.
여기서 상기 매칭하려는 안면 이미지는 상기 안면 인식 모듈이 그에 의해 유지되고 있는 안면 이미지 버퍼 대열에서 결정한다； 여기서 상기 안면 이미지 버퍼 대열은 적어도 하나의 프레임의 안면 이미지 및 상기 적어도 하나의 프레임의 안면 이미지 중 각각의 프레임의 안면 이미지에 대응하는 제1 타임 스탬프를 포함하나 이에 제한되지 않는다.
상기 각각의 프레임의 안면 이미지 및 당해 프레임의 안면 이미지에 대응하는 제1 타임 스탬프는 상기 안면 인식 모듈이 동영상 소스에서 유래한 원시 이미지에 기반하여 획득한다.
상기 안면 인식 모듈이 동영상 소스에서 온 원시 이미지를 수신한 후， 원시 이미지에 대해 전역 고유 식별을 수행하기 위해 원시 이미지에 제1 타임 스탬프를 추가할 수 있으며, 범위는 0~무한대이다. 나아가 상기 안면 인식 모듈이 안면 인식 기술을 추가로 사용하여 동영상 소스에서 온 원시 이미지에 대해 안면 인식 처리를 수행하여 동영상 소스에서 온 원시 이미지의 안면 이미지를 획득한다.
단계 402, 상기 업무 처리 모듈이 상기 매칭하려는 안면 이미지에 대응하는 제1 타임 스탬프에 기반하여 그에 의해 유지되고 있는 배경 이미지 버퍼 대열에서 상기 매칭하려는 안면 이미지에 대응하는 제1 타임 스탬프와 일치한 제1 이미지를 결정하여 상기 매칭하려는 안면 이미지의 매칭 이미지로 한다.
여기서 상기 제1 이미지는 상기 업무 처리 모듈에 의해 획득한 원시 이미지이다.
단계 403, 상기 업무 처리 모듈이 상기 매칭하려는 안면 이미지 및 상기 매칭하려는 안면 이미지의 매칭 이미지에 기반하여 업무 처리를 수행한다.
선택적으로, 본 실시예의 가능한 구현 방식에서， 단계 403에서，상기 업무 처리 모듈이 구체적으로 상기 매칭하려는 안면 이미지 및 상기 매칭하려는 안면 이미지의 매칭 이미지에 따라 예를 들면, 상기 매칭하려는 안면 이미지 및 상기 매칭하려는 안면 이미지의 매칭 이미지를 직접 출력하는 처리, 상기 매칭하려는 안면 이미지 및 상기 매칭하려는 안면 이미지의 매칭 이미지를 다른 처리 모듈에 제공하는 등 다양한 업무 처리를 수행한다.
선택적으로, 본 실시예의 가능한 구현 방식에서， 단계 402 이후， 상기 업무 처리 모듈이 상기 매칭하려는 안면 이미지의 매칭 이미지를 상기 배경 이미지 버퍼 대열에서 추가로 삭제할 수 있다.
이와 같이 ，업무 처리 모듈에 의해 제때에 매칭된 매칭하려는 안면 이미지의 매칭 이미지를 그에 의해 유지되고 있는 배경 이미지 버퍼 대열에서 삭제하여 배경 이미지 버퍼 대열을 유지하는데 점유한 메모리 자원을 효과적으로 감소할 수 있다.
안면 인식 모듈이 업무 처리에 매칭하려는 안면 이미지 및 상기 매칭하려는 안면 이미지에 대응하는 제1 타임 스탬프를 송신한 후， 추가로 상기 매칭하려는 안면 이미지를 상기 안면 이미지 버퍼 대열에서 삭제한다. 따라서， 상기 업무 처리 모듈이 상기 매칭하려는 안면 이미지의 매칭 이미지를 결정한 후 추가로 상기 매칭하려는 안면 이미지의 매칭 이미지를 상기 배경 이미지 버퍼 대열에서 삭제할 수 있으며, 안면 인식 모듈 및 업무 처리 모듈이 각각 유지하는 이미지 대열의 동시성을 효과적으로 보장할 수 있다.
본 실시예에서， 안면 인식 모듈 및 업무 처리 모듈에 의해 각각 하나의 이미지 버퍼 대열을 유지한다. 즉 안면 인식 모듈이 안면 이미지의 안면 이미지 버퍼 대열을 유지하고 업무 처리 모듈이 배경 이미지 즉, 제1 이미지의 배경 이미지 버퍼 대열을 유지한다. 안면 인식 모듈이 안면 이미지 버퍼 대열만 유지하므로 결정된 최적 안면 이미지 즉 매칭하려는 안면 이미지만 업무 처리 모듈에 송신하면 되고 업무 처리 모듈로부터 그에 의해 유지되고 있는 배경 이미지 버퍼 대열에서 안면 인식 모듈이 송신하는 최적 안면 이미지에 매칭된 배경 이미지에 매칭되고 동영상 소스에 등장하는 안면에 대해 이미지 인식 처리 및 이미지 매칭 처리 수행을 구현할 수 있다.
도 5는 본 출원 제5 실시예에 따른 개략도이며 도 5에 나타낸 바와 같이， 제4 실시예와 비교하면， 본 실시예의 단계 401 이전에 상기 업무 처리 모듈이 추가로 다음 단계를 수행할 수 있다.
단계 501, 상기 업무 처리 모듈이 동영상 소스에서 온 적어도 2 프레임의 원시 이미지 및 상기 안면 인식 모듈에 의해 유지되고 있는 상기 안면 이미지 버퍼 대열에 기반하여 상기 배경 이미지 버퍼 대열을 동기적으로 유지한다.
여기서 상기 적어도 2 프레임의 원시 이미지 중 각각의 프레임 원시 이미지에는 제2 타임 스탬프를 수반한다.
안면 인식 모듈 및 업무 처리 모듈로 하여금 원시 이미지에 대해 동시에 인식하도록 하기 위해 하드웨어를 이용하여 원시 이미지에 제2 타임 스탬프를 추가하며， 범위는 0~255이다. 따라서 원시 이미지에 제2 타임 스탬프를 수반하도록 하며， 제2 타임 스탬프를 수반하는 원시 이미지를 직접 안면 인식 모듈 및 업무 처리 모듈에 각각 송신하도록 하여 기타 타임 스탬프를 별도로 송신할 필요가 없으므로 송신 효율을 향상시킨다.
선택적으로, 본 실시예의 가능한 구현 방식에서， 단계 501에서 상기 업무 처리 모듈이 구체적으로 상기 안면 인식 모듈에 의해 송신된 상기 제2 이미지의 각각의 프레임의 제2 타임 스탬프와 제1 타임 스탬프 ，및 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제2 타임 스탬프와 제1 타임 스탬프를 수신할 수 있다. 따라서， 상기 업무 처리 모듈이 상기 제2 이미지의 각각의 프레임에 대하여， 제2 이미지의 하나의 프레임의 제2 타임 스탬프와 제1 타임 스탬프가 상기 안면 이미지 버퍼 대열에서 각각의 안면 이미지에 대응하는 제2 타임 스탬프와 제1 타임 스탬프에 있다고 결정할 경우, 적어도 2 프레임의 제1 이미지 중 제2 이미지의 상기 프레임의 제2 타임 스탬프와 일치한 제1 이미지에 제2 이미지의 상기 프레임의 제1 타임 스탬프를 추가한다. 마지막으로 상기 업무 처리 모듈이 상기 제1 타임 스탬프를 추가한 제1 이미지를 상기 배경 이미지 버퍼 대열에 추가한다.
당해 구현 방식에서， 상기 안면 인식 모듈이 구체적으로 동영상 소스에서 온 적어도 2 프레임의 원시 이미지에 기반하여 ，상기 안면 이미지 버퍼 대열을 유지한다. 구체적으로, 상기 안면 인식 모듈이 구체적으로 동영상 소스에서 온 상기 적어도 2 프레임의 원시 이미지를 수신하여， 제2 이미지로 할 수 있다. 여기서 제2 이미지에는 제2 타임 스탬프가 수반한다. 제2 이미지를 수신한 후， 원시 이미지 즉 제2 이미지에 대해 전역 고유 식별을 수행하기 위해， 상기 안면 인식 모듈이 우선 상기 적어도 2 프레임의 제2 이미지 중 제2 이미지의 각각의 프레임에 대해 상기 제1 타임 스탬프를 추가하며, 범위는 0~무한대이다. 상기 제1 타임 스탬프를 추가한 후， 상기 안면 인식 모듈을 상기 제2 이미지의 각각의 프레임에 대해 안면 검출 처리를 수행할 수 있으며 ，상기 제2 이미지의 각각의 프레임의 안면 검출 결과를 획득한다.
구체적으로, 상기 안면 인식 모듈이 구체적으로 추가로 안면 인식 기술을 사용하여， 동영상 소스에서 온 원시 이미지 즉 제1 이미지에 대해 안면 인식 처리를 수행하여， 동영상 소스에서 온 원시 이미지의 안면 이미지를 획득할 수 있다.
일반적으로, 제2 이미지의 하나의 프레임에는 하나의 프레임 안면만 나타나는 것이 아니므로 제2 이미지의 안면 인식 결과 하나의 프레임의 안면 이미지일 수 있고， 여러 개 프레임의 안면 이미지 일 수도 있다. 따라서， 제2 이미지의 안면 인식 결과가 하나의 프레임의 안면 이미지일 경우， 당해 제2 이미지의 제1 타임 스탬프 및 제2 타임 스탬프는 하나의 프레임의 안면 이미지에만 대응되며； 제2 이미지의 안면 인식 결과가 여러 개 프레임의 안면 이미지일 경우， 당해 제2 이미지의 제1 타임 스탬프 및 제2 타임 스탬프는 여러 개 프레임의 안면 이미지에 대응된다.
상기 제2 이미지의 각각의 프레임의 안면 검출 결과를 획득한 후， 상기 안면 인식 모듈이 안면 이미지의 제2 이미지의 각각의 프레임의 안면 검출 결과에 포함된 안면 이미지， 및 제2 이미지의 상기 프레임의 제2 타임 스탬프와 제1 타임 스탬프를 대응하게 상기 안면 이미지 버퍼 대열에 추가할 수 있다.
여기서, 안면 이미지 버퍼 대열에서， 적어도 하나의 프레임의 안면 이미지， 및 상기 적어도 하나의 프레임의 안면 이미지 중 각각의 프레임의 안면 이미지에 대응하는 제1 타임 스탬프 및 제2 타임 스탬프를 포함할 수 있다. 안면 인식 모듈에 의해 당해 안면 이미지 버퍼 대열을 유지한다.
상기 안면 인식 모듈이 당해 안면 이미지 버퍼 대열을 유지하고， 상기 제2 이미지의 각각의 프레임의 제2 타임 스탬프와 제1 타임 스탬프, 및 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제2 타임 스탬프와 제1 타임 스탬프를 상기 업무 처리 모듈에 송신할 수 있다.
당해 구현 방식에서， 상기 안면 인식 모듈이 수신된 동영상 소스에서 온 여러 개 프레임 제2 이미지， 차례로 그 제2 타임 스탬프와 제1 타임 스탬프 ，및 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제2 타임 스탬프와 제1 타임 스탬프를 함께 상기 업무 처리 모듈에 송신한다.
당해 구현 방식에서， 상기 업무 처리 모듈이 동영상 소스에서 온 상기 적어도 2 프레임의 원시 이미지를 수신하여 제1 이미지로 하며， 여기서 제1 이미지에는 제2 타임 스탬프를 수반한다. 제1 이미지를 수신한 후， 추가로 처리하기 위하여， 상기 업무 처리 모듈이 우선 적어도 2 프레임의 제1 이미지에 대해 기록 처리를 수행하여 원시 이미지 기록 대열을 획득한다. 예를 들면, FIFO（First Input First Output, 선입선출）대열이다.
여기서, 상기 안면 인식 모듈에 의해 송신된 상기 제2 이미지의 각각의 프레임의 제2 타임 스탬프와 제1 타임 스탬프， 및 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제2 타임 스탬프와 제1 타임 스탬프를 수신한 후， 상기 업무 처리 모듈이 상기 제2 이미지의 각각의 프레임에 대해，제2 이미지의 하나의 프레임의 제2 타임 스탬프와 제1 타임 스탬프가 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제2 타임 스탬프와 제1 타임 스탬프에 있다고 결정할 경우, 적어도 2 프레임의 제1 이미지 중 제2 이미지의 상기 프레임의 제2 타임 스탬프와 일치한 제1 이미지에 제2 이미지의 상기 프레임의 제1 타임 스탬프를 추가하여，상기 제1 타임 스탬프를 추가한 제1 이미지를 상기 배경 이미지 버퍼 대열에 추가한다.
여기서, 배경 이미지 버퍼 대열에서， 적어도 제1 이미지의 하나의 프레임， 및 상기 적어도 하나의 제1 이미지 중 각각의 프레임 제1 이미지에 대응하는 제1 타임 스탬프를 포함할 수 있다. 업무 처리 모듈에 의해 당해 배경 이미지 버퍼 대열을 유지한다.
본 실시예에서， 업무 처리 모듈이 추가로 그에 의해 유지되고 있는 배경 이미지 버퍼 대열에 대해 최적화 처리를 수행하며 서로 다른 안면 이미지가 동일한 배경 이미지에 대응할 경우， 업무 처리 모듈이 하나의 프레임 배경 이미지만 캐시할 수 있으며 ，배경 이미지의 재사용을 효과적으로 구현할 수 있으므로 배경 이미지 버퍼 대열이 점유하는 메모리 자원을 추가로 감소한다.
본 실시예에서， 업무 처리 모듈이 동영상 소스에서 온 적어도 2 프레임의 원시 이미지와 상기 안면 인식 모듈에 의해 유지되고 있는 상기 안면 이미지 버퍼 대열에 기반하여， 상기 배경 이미지 버퍼 대열을 동기적으로 유지하며， 상기 안면 이미지 버퍼 대열과 상기 배경 이미지 버퍼 대열의 2개 이미지 대열은 대응하는 동시성을 유지할 수 있도록 하므로 이미지 처리의 효율을 효과적으로 향상시킨다.
도 6은 본 출원 제6 실시예에 따른 개략도이며， 도 6에 나타낸 바와 같이，제4 실시예와 비교하면， 본 실시예에서， 상기 업무 처리 모듈이 추가로 다음 단계를 수행할 수 있다.
단계 601, 상기 업무 처리 모듈이 상기 안면 인식 모듈에 의해 송신된 필터링 처리 후의 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제1 타임 스탬프를 수신한다.
단계 602, 상기 업무 처리 모듈이 상기 필터링 처리 후의 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제1 타임 스탬프에 따라 상기 배경 이미지 버퍼 대열 중 각각의 제1 이미지에 대해 동기화 처리를 수행한다.
본 실시예에서，상기 안면 이미지 버퍼 대열을 유지하는데 점유된 메모리 자원을 추가로 감소하기 위해， 동시에 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지의 이미지 질량을 추가로 제공하기 위해， 상기 안면 인식 모듈이 정기적 또는 약속 시간 내에， 기존의 이미지 필터링 기술을 사용하여 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대해 추가로 필터링 처리를 수행하여， 이미지 질량이 낮은 안면 이미지를 필터링 할 수 있다. 필터링 처리 후， 상기 안면 인식 모듈이 추가로 상기 필터링 처리 후의 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제1 타임 스탬프를 상기 업무 처리 모듈에 송신한다.
여기서, 상기 안면 인식 모듈에 의해 송신된 상기 필터링 처리 후의 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제1 타임 스탬프를 수신한 후，상기 업무 처리 모듈이 상기 배경 이미지 버퍼 대열 중 각각의 제1 이미지에 대응하는 제1 타임 스탬프와 상기 필터링 처리 후의 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제1 타임 스탬프에 대해 비교처리를 수행할 수 있다. 상기 업무 처리 모듈이 상기 각각의 프레임 제1 이미지에 대해， 제1 이미지의 하나의 프레임의 제1 타임 스탬프가 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제1 타임 스탬프에 없다고 결정할 경우， 제1 이미지의 상기 프레임을 상기 배경 이미지 버퍼 대열에서 삭제하여， 배경 이미지 버퍼 대열과 안면 이미지 버퍼 대열의 동시성을 보증할 수 있다.
본 실시예에서，업무 처리 모듈에 의해 안면 인식 모듈에 의해 송신된 필터링 처리 후의 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제1 타임 스탬프를 수신하여， 상기 업무 처리 모듈이 상기 필터링 처리 후의 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제1 타임 스탬프에 따라， 상기 배경 이미지 버퍼 대열 중 각각의 제1 이미지에 대해 동기화 처리하여， 업무 처리 모듈로 하여금 제때에 그에 의해 유지되고 있는 배경 이미지 버퍼 대열과 안면 인식 모듈에 의해 유지되고 있는 안면 이미지 버퍼 대열로 하여금 대응하는 동시성을 유지하도록 하여， 이미지 처리의 신뢰성 및 효율성을 효과적으로 향상시킨다.
설명해야 할 것은, 상술한 각각의 방법 실시예에 있어서， 간단한 설명을 위해 이들은 모두 일련의 동작 조합으로 표현되었지만, 당업자라면 본 출원은 설명된 동작 순서의 제한을 받지 않음을 알 수 있다. 본 출원에 따르면 일부 단계는 다른 순서를 사용하거나 또는 동시에 수행할 수 있기 때문이다. 또한 당업자라면 명세서에서 설명된 실시예는 모두 바람직한 실시예에 속하며 관련된 동작 및 모듈은 본 출원에 필수적인 것이 아님을 알 수 있다.
상기 실시예에서，각각의 실시예에 대한 설명은 모두 그 자체의 강조된 부분이 있으므로 어느 실시예에 상세한 설명이 없는 부분은 다른 실시예의 관련 설명을 참고할 수 있다.
도 7에 나타낸 바와 같이, 도 7은 본 출원 제7 실시예에 따른 개략도이다. 본 실시예의 이미지 처리 장치(700)는 안면 인식 모듈일 수 있으며 ，구체적으로 대열 유닛(701), 결정 유닛(702) 및 송신 유닛(703)을 포함할 수 있다. 여기서 대열 유닛(701)은 그에 의해 유지되고 있는 안면 이미지 버퍼 대열을 획득하는데 사용되며 ，상기 안면 이미지 버퍼 대열에는 적어도 하나의 프레임의 안면 이미지， 및 상기 적어도 하나의 프레임의 안면 이미지에서 각각의 프레임의 안면 이미지에 대응하는 제1 타임 스탬프를 포함한다； 상기 각각의 프레임의 안면 이미지 및 당해 프레임의 안면 이미지에 대응하는 제1 타임 스탬프는 상기 이미지 처리 장치가 동영상 소스에서 온 원시 이미지에 기반하여 얻는다； 결정 유닛(702)은 상기 안면 이미지 버퍼 대열에서 매칭하려는 안면 이미지를 결정한다； 송신 유닛(703)은 상기 매칭하려는 안면 이미지， 및 상기 매칭하려는 안면 이미지에 대응하는 제1 타임 스탬프를 업무 처리 모듈에 송신하여， 상기 업무 처리 모듈로 하여금 상기 매칭하려는 안면 이미지에 대응하는 제1 타임 스탬프에 기반하여， 그에 의해 유지되고 있는 배경 이미지 버퍼 대열에서 상기 매칭하려는 안면 이미지에 대응하는 제1 타임 스탬프와 일치한 제1 이미지를 결정하여， 상기 매칭하려는 안면 이미지의 매칭 이미지로 하며， 상기 매칭하려는 안면 이미지와 상기 매칭하려는 안면 이미지의 매칭 이미지에 기반하여 업무 처리를 수행한다； 상기 제1 이미지는 상기 업무 처리 모듈에 의해 획득한 원시 이미지이다； 여기서 상기 이미지 처리 장치와 상기 업무 처리 모듈이 서로 다른 하드웨어 플랫폼에서 운행한다.
선택적으로, 본 실시예의 가능한 구현방식에서， 상기 대열 유닛(701)은 상기 매칭하려는 안면 이미지를 추가로 상기 안면 이미지 버퍼 대열에서 삭제하는데 사용할 수 있다.
선택적으로, 본 실시예의 가능한 구현 방식에서， 상기 대열 유닛(701)은 동영상 소스에서 온 적어도 2 프레임의 원시 이미지에 기반하여， 상기 안면 이미지 버퍼 대열을 유지하는데 추가로 사용할 수 있다； 상기 적어도 2 프레임의 원시 이미지의 각각의 프레임 원시 이미지에는 제2 타임 스탬프를 수반한다； 또한 상기 안면 이미지 버퍼 대열에 기반하여， 상기 업무 처리 모듈에 의해 유지되고 있는 배경 이미지 버퍼 대열을 동기화 한다.
구체적인 구현 과정에서， 상기 대열 유닛(701)은 구체적으로 상기 적어도 2 프레임의 원시 이미지를 수신하여 제2 이미지로 하는데 사용할 수 있다； 상기 적어도 2 프레임의 제2 이미지의 제2 이미지의 각각의 프레임에 상기 제1 타임 스탬프를 추가한다； 상기 제2 이미지의 각각의 프레임에 안면 검출 처리를 수행하여 상기 제2 이미지의 각각의 프레임의 안면 검출 결과를 획득한다； 또한 안면 이미지를 포함하는 제2 이미지의 각각의 프레임의 안면 검출 결과에 포함된 안면 이미지， 및 제2 이미지의 상기 프레임의 제2 타임 스탬프와 제1 타임 스탬프를 상기 안면 이미지 버퍼 대열에 대응하게 추가한다.
다른 하나의 구체적인 구현 과정에서， 상기 대열 유닛(701)은 구체적으로 상기 제2 이미지의 각각의 프레임의 제2 타임 스탬프와 제1 타임 스탬프， 및 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제2 타임 스탬프와 제1 타임 스탬프를 상기 업무 처리 모듈에 송신하는데 사용하여 상기 업무 처리 모듈로 하여금 상기 제2 이미지의 각각의 프레임에 대해, 제2 이미지의 하나의 프레임의 제2 타임 스탬프와 제1 타임 스탬프가 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제2 타임 스탬프와 제1 타임 스탬프에 있다고 결정하면 적어도 2 프레임의 제1 이미지 중 제2 이미지의 상기 프레임의 제2 타임 스탬프와 일치한 제1 이미지에 제2 이미지의 상기 프레임의 제1 타임 스탬프를 추가하여， 상기 제1 타임 스탬프를 추가한 제1 이미지를 상기 배경 이미지 버퍼 대열에 추가한다.
선택적으로, 본 실시예의 가능한 구현 방식에서， 상기 대열 유닛(701)은 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대해 필터링 처리를 추가로 수행할 수 있다； 또한 상기 필터링 처리 후의 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제1 타임 스탬프를 상기 업무 처리 모듈에 송신하여， 상기 업무 처리 모듈로 하여금 상기 필터링 처리 후의 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제1 타임 스탬프에 기반하여 상기 배경 이미지 버퍼 대열 중 각각의 제1 이미지에 대해 동기화 처리를 수행하도록 한다.
설명해야 할 것은， 도 1~도 3 중 어느 한 도면에 대응하는 실시예의 방법은 본 실시예에서 제공하는 이미지 처리 장치에 의해 구현될 수 있다. 상세한 설명은 도 1~도 3 중 어느 한 도면에 대응하는 실시예의 관련 내용을 참조할 수 있으므로 생략한다.
본 실시예에서， 안면 인식 모듈과 업무 처리 모듈에 의해 하나의 이미지 버퍼 대열을 각각 유지하며， 즉 안면 인식 모듈이 안면 이미지의 안면 이미지 버퍼 대열을 유지하고， 업무 처리 모듈이 배경 이미지 즉, 제1 이미지의 배경 이미지 버퍼 대열을 유지한다. 안면 인식 모듈이 안면 이미지 버퍼 대열만 유지하므로 결정된 최적 안면 이미지 즉 매칭하려는 안면 이미지를 업무 처리 모듈에 송신하면 되고 업무 처리 모듈에 의해 유지되고 있는 배경 이미지 버퍼 대열에서 안면 인식 모듈에 의해 송신된 최적 안면 이미지에 매칭되는 배경 이미지에 매칭하여， 동영상 소스에 등장하는 안면에 대한 이미지 인식 처리 및 이미지 매칭 처리를 구현할 수 있다.
도 8에 나타낸 바와 같이, 도 8은 본 출원 제8 실시예에 따른 개략도이다. 본 실시예의 이미지 처리 장치(800)는 업무 처리 모듈일 수 있으며， 구체적으로 수신 유닛(801), 대열 유닛(802), 및 업무 유닛(803)을 포함할 수 있다. 여기서 수신 유닛(801)은 안면 인식 모듈에 의해 송신된 매칭하려는 안면 이미지， 및 상기 매칭하려는 안면 이미지에 대응하는 제1 타임 스탬프를 수신한다； 상기 매칭하려는 안면 이미지는 상기 안면 인식 모듈에 의해 유지되고 있는 안면 이미지 버퍼 대열에서 결정한다； 상기 안면 이미지 버퍼 대열에는 적어도 하나의 프레임의 안면 이미지， 및 상기 적어도 하나의 프레임의 안면 이미지 중 각각의 프레임의 안면 이미지에 대응하는 제1 타임 스탬프를 포함한다； 상기 각각의 프레임의 안면 이미지와 당해 프레임의 안면 이미지에 대응하는 제1 타임 스탬프는 상기 안면 인식 모듈에 의해 동영상 소스에서 온 원시 이미지에 의해 획득한다； 대열 유닛(802)은 상기 매칭하려는 안면 이미지에 대응하는 제1 타임 스탬프에 기반하여， 그에 의해 유지되고 있는 배경 이미지 버퍼 대열에서 상기 매칭하려는 안면 이미지에 대응하는 제1 타임 스탬프와 일치한 제1 이미지를 결정하여， 상기 매칭하려는 안면 이미지의 매칭 이미지로 한다； 상기 제1 이미지는 상기 이미지 처리 장치에 의해 획득한 원시 이미지이다； 업무 유닛(803)은 상기 매칭하려는 안면 이미지와 상기 매칭하려는 안면 이미지의 매칭 이미지에 기반하여 업무 처리를 수행한다； 여기서 상기 안면 인식 모듈과 상기 이미지 처리 장치는 서로 다른 하드웨어 플랫폼에서 운행된다.
선택적으로, 본 실시예의 가능한 구현 방식에서 상기 대열 유닛(802)은 상기 매칭하려는 안면 이미지의 매칭 이미지를 상기 배경 이미지 버퍼 대열에서 삭제하는데 추가로 사용할 수 있다.
선택적으로, 본 실시예의 가능한 구현 방식에서， 상기 대열 유닛(802)은 동영상 소스에서 온 적어도 2 프레임의 원시 이미지와 상기 안면 인식 모듈에 의해 유지되고 있는 상기 안면 이미지 버퍼 대열에 기반하여， 상기 배경 이미지 버퍼 대열을 동기적으로 유지할 수 있다； 상기 적어도 2 프레임의 원시 이미지 중 각각의 프레임 원시 이미지는 제2 타임 스탬프를 수반한다.
구체적인 구현 과정에서， 상기 대열 유닛(802)은 구체적으로 상기 안면 인식 모듈에 의해 송신된 상기 제2 이미지의 각각의 프레임의 제2 타임 스탬프와 제1 타임 스탬프， 및 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제2 타임 스탬프와 제1 타임 스탬프를 수신하는데 사용할 수 있다； 상기 제2 이미지의 각각의 프레임에 대하여， 제2 이미지의 하나의 프레임의 제2 타임 스탬프와 제1 타임 스탬프가 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제2 타임 스탬프와 제1 타임 스탬프에 있다고 결정하면， 적어도 2 프레임의 제1 이미지에서 제2 이미지의 상기 프레임의 제2 타임 스탬프와 일치한 제1 이미지에 제2 이미지의 상기 프레임의 제1 타임 스탬프를 추가하고； 또한 상기 제1 타임 스탬프를 추가한 제1 이미지를 상기 배경 이미지 버퍼 대열에 추가한다.
선택적으로, 본 실시예의 가능한 구현 방식에서， 상기 대열 유닛(802)은 상기 안면 인식 모듈에 의해 송신된 필터링 처리 후의 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제1 타임 스탬프를 수신하는데 추가로 사용할 수 있다； 또한 상기 필터링 처리 후의 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제1 타임 스탬프에 기반하여 상기 배경 이미지 버퍼 대열 중 각각의 제1 이미지에 대해 동기화 처리를 수행한다.
구체적인 구현 과정에서， 상기 대열 유닛(802)은 구체적으로 상기 배경 이미지 버퍼 대열 중 각각의 제1 이미지에 대응하는 제1 타임 스탬프 및 상기 필터링 처리 후의 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제1 타임 스탬프에 대해 비교 처리를 수행한다； 또한 상기 각각의 프레임 제1 이미지에 대하여， 제1 이미지의 하나의 프레임의 제1 타임 스탬프가 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제1 타임 스탬프에 없다고 결정할 경우 제1 이미지의 상기 프레임을 상기 배경 이미지 버퍼 대열에서 삭제한다.
설명해야 할 것은 도 4~도 6 중 어느 한 도면에 대응하는 실시예의 방법은 본 실시예에서 제공한 이미지 처리 장치에 의해 구현될 수 있다. 상세한 설명은 도 4~도 6 중 어느 한 도면에 대응하는 실시예의 관련 내용을 참고할 수 있으므로 생략한다.
본 실시예에서， 안면 인식 모듈과 업무 처리 모듈에 의해 하나의 이미지 버퍼 대열을 각각 유지한다. 즉 안면 인식 모듈이 안면 이미지의 안면 이미지 버퍼 대열을 유지하며， 또한 업무 처리 모듈이 배경 이미지 즉, 제1 이미지의 배경 이미지 버퍼 대열을 유지한다. 안면 인식 모듈이 안면 이미지 버퍼 대열만 유지하므로， 결정된 최적 안면 이미지 즉, 매칭하려는 안면 이미지를 업무 처리 모듈에 송신하여， 업무 처리 모듈에 의해 유지되고 있는 배경 이미지 버퍼 대열에서， 안면 인식 모듈에 의해 송신된 최적 안면 이미지와 매칭된 배경 이미지에 매칭하여， 동영상 소스에 등장하는 안면에 대해 이미지 인식 처리와 이미지 매칭 처리를 구현할 수 있다.
본 출원의 실시예에 따르면， 본 출원은 전자 기기 및 컴퓨터 명령이 기억되어 있는 비일시적 컴퓨터 판독 가능 기록 매체를 더 제공한다.
도 9에 나타낸 바와 같이， 본 출원 실시예의 이미지 처리 방법의 전자 기기의 개략도를 구현한다. 전자 기기는 예를 들면 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크 스테이션, 개인 디지털 보조기, 서버, 블레이드 서버, 대형 컴퓨터 및 기타 적합한 컴퓨터와 같은 다양한 형태의 디지털 컴퓨터를 나타낸다. 전자 기기 또한 예를 들면 개인 디지털 처리기, 셀폰, 스마트 전화, 웨어러블 기기 및 기타 유사한 계산 장치와 같은 다양한 형태의 모바일 장치를 나타낼 수 있다. 본 명세서에 나타낸 구성 요소, 이들의 연결과 관계 및 이들의 기능은 단지 예일 뿐이며, 본 명세서에서 기술하거나 및/또는 요구하는 본 발명의 구현을 한정하려는 것이 아니다.
도 9에 나타낸 바와 같이， 당해 전자 기기는 하나 또는 복수의 프로세서(901), 메모리(902) 및 각각의 구성 요소를 연결하기 위한 인터페이스를 구비하며, 당해 인터페이스는 고속 인터페이스 및 저속 인터페이스를 포함한다. 각각의 구성 요소는 서로 다른 버스를 통해 상호 연결되며, 공통 마더 보드에 설치되거나 또는 수요에 따라 기타 방식으로 설치된다. 프로세서 전자 기기 내에서 수행되는 명령에 대해 처리를 수행할 수 있으며, 메모리 내에 기억되어 외부 입력/출력 장치 （예를 들면 인터페이스에 연결된 디스플레이 기기） 상에 GUI의 그래픽 정보를 표시하기 위한 명령을 포함한다. 기타 실시 방식에 있어서, 필요할 경우, 복수의 프로세서 및/또는 복수의 버스와 복수의 메모리를 함께 사용할 수 있다. 마찬가지로, 복수의 전자 기기를 연결할 수 있으며, 각각의 기기는 부분적인 필요한 조작 （예를 들면, 서버 어레이, 일 그룹의 블레이드 서버, 또는 다중 프로세서 시스템）을 제공한다. 도 9에서는 하나의 프로세서(901)의 예를 들었다.
메모리(902)는 본 출원에 의해 제공되는 비 일시적 컴퓨터 판독 가능 기록 매체이다. 여기서, 상기 메모리에는 적어도 하나의 프로세서에 의해 수행 가능한 명령이 기억되어 있으며, 상기 적어도 하나의 프로세서로 하여금 본 발명에 의해 제공되는 이미지 처리 방법을 수행하도록 한다. 본 발명의 비 일시적 컴퓨터 판독 가능 기록 매체는 컴퓨터 명령을 기억하며, 당해 컴퓨터 명령은 컴퓨터로 하여금 본 출원에 의해 제공되는 이미지 처리 방법을 수행하도록 한다.
메모리(902)는 일종의 비 일시적 컴퓨터 판독 가능 기록 매체로서, 비 일시적 소프트웨어 프로그램, 비 일시적 컴퓨터 수행 가능 프로그램 및 유닛을 기억하는데 사용될 수 있는 바, 예를 들면 본 출원 실시예의 이미지 처리 방법에 대응하는 프로그램 명령/유닛（예를 들면, 도 7에 나타낸 대열 유닛(701), 결정 유닛(702) 및 송신 유닛(703)，또는 도 8에 나타낸 수신 유닛(801), 대열 유닛(802) 및 업무 유닛(803)）을 기억하는데 사용될 수 있다. 프로세서(901)는 메모리(902) 내에 기억된 비 일시적 소프트웨어 프로그램, 명령 및 유닛을 실행함으로써 ，서버의 다양한 기능 응용 및 데이터 처리를 수행하는 바， 상술한 방법 실시예의 이미지 처리 방법을 구현한다.
메모리(902)는 프로그램 기억 영역 및 데이터 기억 영역을 포함할 수 있으며, 여기서, 프로그램 기억 영역은 운영 체제 및 적어도 하나의 기능에 필요한 앱을 기억할 수 있고, 데이터 기억 영역은 본 출원 실시예에서 제공한 이미지 처리 방법을 구현하는 전자 기기의 사용을 통해 생성된 데이터 등을 기억할 수 있다. 또한 메모리(902)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 비 일시적 메모리를 더 포함할 수 있는 바, 예를 들면 적어도 하나의 자기 디스크 저장 장치, 플래시 장치, 또는 기타 비 일시적 고체 저장 장치를 포함할 수 있다. 일부 실시예에 있어서, 메모리(902)는 선택적으로 프로세서(901)에 대해 원격 설치한 메모리를 포함할 수 있으며, 이러한 원격 메모리는 네트워크를 통해 본 출원 실시예에서 제공하는 이미지 처리 방법을 구현하는 전자 기기에 연결될 수 있다. 상술한 네트워크의 실시예는 인터넷, 기업 인트라 넷, 근거리 통신망, 이동 통신 네트워크 및 이들의 조합을 포함하나 이에 한정되지 않는다.
이미지 처리 방법의 전자 기기는 입력 장치(903)와 출력 장치(904)를 더 포함할 수 있다. 프로세서(901), 메모리(902), 입력 장치(903) 및 출력 장치(904)는 버스 또는 기타 방식을 통해 연결될 수 있으며, 도 9에서는 버스를 통해 연결하는 예를 들었다.
입력 장치(903)는 입력된 디지털 또는 문자 정보를 수신하고, 또한 본 출원 실시예에서 제공하는 이미지 처리 방법을 구현하는 전자 기기의 유저 설정 및 기능 제어에 관한 키 신호 입력을 생성할 수 있다. 예를 들면 터치 스크린, 키패드, 마우스, 트랙 패드, 터치 패드, 포인팅 스틱, 하나 또는 복수의 마우스 버튼, 트랙볼, 조이스틱 등 입력 장치를 포함할 수 있다. 출력 장치(904)는 디스플레이 기기, 보조 조명 장치（예를 들면 LED） 및 촉각 피드백 장치（예를 들면 진동 모터） 등을 포함할 수 있다. 당해 디스플레이 기기는 액정 디스플레이（LCD）, 발광 다이오드（LED） 디스플레이 및 등 플라즈마 디스플레이를 포함할 수 있으나 이에 한정되지 않는다. 일부 실시 방식에 있어서, 디스플레이 기기는 터치 스크린일 수 있다.
여기서 설명하는 시스템 및 기술의 다양한 실시 방식은 디지털 전자 회로 시스템, 집적 회로 시스템, 전용 ASIC（전용 집적 회로）, 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합에서 구현될 수 있다. 이러한 다양한 실시형태는 하나 또는 복수의 컴퓨터 프로그램에서 실시되고, 당해 하나 또는 복수의 컴퓨터 프로그램은 적어도 하나의 프로그램 가능 프로세서를 포함하는 프로그램 가능 시스템 상에서 수행 및/또는 해석될 수 있으며, 당해 프로그램 가능 프로세서는 전용 또는 일반 프로그램 가능 프로세서일 수 있고, 기억 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치로부터 데이터 및 명령을 수신할 수 있으며, 또한 데이터 및 명령을 당해 기억 시스템, 당해 적어도 하나의 입력 장치 및 당해 적어도 하나의 출력 장치에 송신할 수 있다.
이러한 계산 프로그램 （프로그램, 소프트웨어, 소프트웨어 응용 또는 코드로도 불림）은 프로그램 가능 프로세서의 기계 명령을 포함하며, 또한 고급 과정 및/또는 객체 지향 프로그래밍 언어 및/또는 어셈블리/기계 언어를 이용하여 이러한 계산 프로그램을 실시할 수 있다. 본 명세서에서 사용되는 “기계 판독 가능 매체” 및 “컴퓨터 판독 가능 매체”와 같은 용어는, 기계 명령 및/또는 데이터를 프로그램 가능 프로세서의 임의의 컴퓨터 프로그램 제품, 기기 및/또는 장치 （예를 들면, 자기 디스크, 광 디스크, 메모리, 프로그램 가능 논리 장치（PLD））에 제공하기 위한 것을 의미하며, 기계 판독 가능 신호로서의 기계 명령을 수신하는 기계 판독 가능 매체를 포함한다. “기계 판독 가능 신호”와 같은 용어는 기계 명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위한 임의의 신호를 의미한다.
유저와의 대화를 제공하기 위하여, 컴퓨터 상에서 여기서 설명하는 시스템 및 기술을 실시할 수 있으며, 당해 컴퓨터는 유저에게 정보를 표시하기 위한 디스플레이 장치 （예를 들면 CRT（음극선관） 또는 LCD（액정 디스플레이） 모니터） 및 키보드와 포인팅 장치 （예를 들면, 마우스 또는 트랙볼）를 구비할 수 있으며, 유저는 당해 키보드 및 당해 포인팅 장치를 통해 입력을 컴퓨터에 제공할 수 있다. 기타 유형의 장치는 또한 유저와의 대화를 제공하는데 사용될 수 있다. 예를 들면, 유저에 제공하는 피드백은 임의의 형태의 감각 피드백 （예를 들면, 시각적 피드백, 청각적 피드백, 또는 촉각 피드백）일 수 있으며, 또한 임의의 형태（음향 입력, 음성 입력 또는 촉각 입력을 포함함）를 통해 유저로부터의 입력을 수신할 수 있다.
여기서 설명하는 시스템 및 기술을 백엔드 구성 요소를 포함하는 계산 시스템 （예를 들면 데이터 서버）, 또는 미들웨어 구성 요소를 포함하는 계산 시스템 （예를 들면 응용 서버）, 또는 프런트엔드 구성 요소를 포함하는 계산 시스템 （예를 들면 그래픽 유저 인터페이스 또는 웹 브라우저를 구비하는 유저 컴퓨터인 바, 유저는 당해 그래픽 유저 인터페이스 또는 당해 웹 브라우저를 통해 여기서 설명하는 시스템 및 기술의 실시 방식과 대화함）, 또는 이러한 백엔드 구성 요소, 미들웨어 구성 요소, 또는 프런트엔드 구성 요소의 임의의 조합을 포함하는 계산 시스템에서 실시할 수 있다. 임의의 형태 또는 매체의 디지털 데이터 통신 （예를 들면, 통신 네트워크）을 통해 시스템의 구성 요소를 상호 연결할 수 있다. 통신 네트워크의 예는 근거리 통신망（LAN）, 광역 통신망（WAN） 및 인터넷을 포함한다.
컴퓨터 시스템은 클라이언트 및 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있고, 또한 일반적으로 통신 네트워크를 통해 대화를 수행한다. 해당되는 컴퓨터 상에서 운행되고, 또한 클라이언트 - 서버 관계를 갖는 컴퓨터 프로그램을 통해 클라이언트와 서버의 관계를 발생시킬 수 있다.
본 출원 실시예의 기술 방안에 따르면， 본 출원 실시예는 안면 인식 모듈과 업무 처리 모듈에 의해 하나의 이미지 버퍼 대열을 각각 유지한다. 즉 안면 인식 모듈이 안면 이미지의 안면 이미지 버퍼 대열을 유지하며， 업무 처리 모듈이 배경 이미지 즉, 제1 이미지의 배경 이미지 버퍼 대열을 유지한다. 안면 인식 모듈이 안면 이미지 버퍼 대열만 유지하므로， 결정된 최적 안면 이미지 즉 매칭하려는 안면 이미지만 업무 처리 모듈에 송신하면 되고， 업무 처리 모듈이 그에 의해 유지되고 있는 배경 이미지 버퍼 대열에서 안면 인식 모듈에 의해 송신된 최적 안면 이미지에 매칭된 배경 이미지에 매칭하여 동영상 소스에 등장하는 안면에 대해 이미지 인식 처리 및 이미지 매칭 처리를 구현할 수 있다.
또한, 본 출원에서 제공한 기술 방안을 사용하면， 안면 인식 모듈이 배경 이미지 버퍼 대열을 유지할 필요가 없으므로， 배경 이미지 버퍼 대열에 의해 점유된 대량의 메모리 자원에 의한 메모리 자원의 낭비 문제를 효과적으로 피할 수 있으므로， 안면 인식 모듈의 하드웨어 코스트를 감소한다.
또한， 본 출원에서 제공한 기술 방안을 사용하면， 안면 인식 모듈이 배경 이미지 버퍼 대열을 유지할 필요가 없으므로， 업무 처리 모듈에 배경 이미지 버퍼 대열을 송신하는데 대량의 송신 자원을 점유하여 나타난 송신 자원 낭비 문제를 효과적으로 피할 수 있으므로 이미지 처리 효율을 향상시킨다.
또한， 본 출원에서 제공한 기술방안을 사용하여， 유저의 체험감을 효과적으로 향상시킬 수 있다.
상기에 나타낸 다양한 형태의 흐름을 이용하여 단계를 재정렬, 증가 또는 삭제할 수 있음을 이해해야 한다. 예를 들면, 본 출원에 기재된 각각의 단계는 병렬로 수행되거나 또는 차례로 수행되거나 또는 다른 순서로 수행될 수 있으며, 본 출원이 개시하는 기술 방안이 원하는 결과를 구현할 수 있는 한, 본 명세서는 이에 대해 한정하지 않는다.
상술한 구체적인 실시 방식은 본 출원의 보호 범위를 한정하지 않는다. 당업자는 설계 요건 및 기타 요인에 따라 다양한 수정, 조합, 서브 조합 및 대체를 수행할 수 있음을 이해해야 한다. 본 출원의 정신 및 원칙 내에서 이루어진 임의의 수정 동등한 대체 및 개선 등은 모두 본 발명의 보호 범위 내에 포함되어야 한다.

Claims (27)

  1. 안면 인식 모듈이 그에 의해 유지되고 있는（Maintain） 안면 이미지 버퍼 대열(face image buffer queue)을 획득하는 단계- 상기 안면 이미지 버퍼 대열에는 적어도 하나의 프레임의 안면 이미지， 및 상기 적어도 하나의 프레임의 안면 이미지 중 각각의 프레임의 안면 이미지에 대응하는 제1 타임 스탬프(first timestamp)를 포함하며, 상기 각각의 프레임의 안면 이미지 및 상기 프레임의 안면 이미지에 대응하는 제1 타임 스탬프는 상기 안면 인식 모듈이 동영상 소스에서 유래한 원시 이미지에 기반하여 획득함 -；
    상기 안면 인식 모듈이 상기 안면 이미지 버퍼 대열에서 매칭하려는 안면 이미지를 결정하는 단계；
    상기 안면 인식 모듈이 상기 매칭하려는 안면 이미지， 및 상기 매칭하려는 안면 이미지에 대응하는 제1 타임 스탬프를 업무 처리 모듈에 송신하여， 상기 업무 처리 모듈로 하여금 상기 매칭하려는 안면 이미지에 대응하는 제1 타임 스탬프에 기반하여， 그에 의해 유지되고 있는 배경 이미지 버퍼 대열에서 상기 매칭하려는 안면 이미지에 대응하는 제1 타임 스탬프와 일치한 제1 이미지를 결정하여， 상기 매칭하려는 안면 이미지의 매칭 이미지로 하며， 또한 상기 매칭하려는 안면 이미지와 상기 매칭하려는 안면 이미지의 매칭 이미지에 기반하여 업무 처리를 수행하는 단계- 상기 제1 이미지는 상기 업무 처리 모듈에 의해 획득한 원시 이미지임- ；
    를 포함하되,
    상기 안면 인식 모듈과 상기 업무 처리 모듈이 서로 다른 하드웨어 플랫폼에서 운행되는 것을 특징으로 하는,
    이미지 처리 방법.
  2. 제1항에 있어서,
    상기 안면 인식 모듈이 상기 매칭하려는 안면 이미지 및 상기 매칭하려는 안면 이미지에 대응하는 제1 타임 스탬프를 업무 처리 모듈에 송신하는 단계의 후에：
    상기 안면 인식 모듈이 상기 매칭하려는 안면 이미지를 상기 안면 이미지 버퍼 대열에서 삭제하는 단계;
    를 더 포함하는 것을 특징으로 하는,
    이미지 처리 방법.
  3. 제1항에 있어서,
    상기 안면 인식 모듈이 그에 의해 유지되고 있는 안면 이미지 버퍼 대열을 획득하는 단계의 전에,
    상기 안면 인식 모듈이 동영상 소스에서 온 적어도 2 프레임의 원시 이미지에 기반하여, 상기 안면 이미지 버퍼 대열을 유지하는 단계- 상기 적어도 2 프레임의 원시 이미지 중 각각의 프레임 원시 이미지에는 제2 타임 스탬프가 수반함- ；
    상기 안면 인식 모듈이 상기 안면 이미지 버퍼 대열에 기반하여, 상기 업무 처리 모듈에 의해 유지되고 있는 배경 이미지 버퍼 대열을 동기화 하는 단계;
    를 더 포함하는 것을 특징으로 하는,
    이미지 처리 방법.
  4. 제3항에 있어서,
    상기 안면 인식 모듈이 동영상 소스에서 온 적어도 2 프레임의 원시 이미지에 기반하여 상기 안면 이미지 버퍼 대열을 유지하는 단계는，
    상기 안면 인식 모듈이 상기 적어도 2 프레임의 원시 이미지를 수신하여 제2 이미지로 하는 단계；
    상기 안면 인식 모듈이 상기 적어도 2 프레임의 제2 이미지 중의 각각의 프레임에 상기 제1 타임 스탬프를 추가하는 단계；
    상기 안면 인식 모듈이 상기 제2 이미지의 각각의 프레임에 대해 안면 검출 처리를 수행하여， 상기 제2 이미지의 각각의 프레임의 안면 검출 결과를 획득하는 단계；
    상기 안면 인식 모듈이 안면 이미지를 포함하는 제2 이미지의 각각의 프레임의 안면 검출 결과에 포함된 안면 이미지， 및 제2 이미지의 상기 프레임의 제2 타임 스탬프와 제1 타임 스탬프를 대응하게 상기 안면 이미지 버퍼 대열에 추가하는 단계;
    를 포함하는 것을 특징으로 하는,
    이미지 처리 방법.
  5. 제4항에 있어서,
    상기 안면 인식 모듈이 상기 안면 이미지 버퍼 대열에 기반하여 상기 업무 처리 모듈에 의해 유지되고 있는 배경 이미지 버퍼 대열을 동기화 하는 단계는：
    상기 안면 인식 모듈이 상기 제2 이미지의 각각의 프레임의 제2 타임 스탬프와 제1 타임 스탬프， 및 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제2 타임 스탬프와 제1 타임 스탬프를 상기 업무 처리 모듈에 송신하여， 상기 업무 처리 모듈로 하여금 상기 제2 이미지의 각각의 프레임에 대해， 제2 이미지의 하나의 프레임의 제2 타임 스탬프와 제1 타임 스탬프가 상기 안면 이미지 버퍼 대열 중의 각각의 안면 이미지에 대응하는 제2 타임 스탬프와 제1 타임 스탬프 중에 있다고 결정되면， 적어도 2 프레임의 제1 이미지 중의 제2 이미지의 상기 프레임의 제2 타임 스탬프와 일치한 제1 이미지에 제2 이미지의 상기 프레임의 제1 타임 스탬프를 추가하고， 상기 제1 타임 스탬프를 추가한 제1 이미지를 상기 배경 이미지 버퍼 대열에 추가하는 단계;
    를 포함하는 것을 특징으로 하는,
    이미지 처리 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 안면 인식 모듈이 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대해 필터링 처리를 진행하는 단계；
    상기 안면 인식 모듈이 상기 필터링 처리 후의 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제1 타임 스탬프를 상기 업무 처리 모듈에 송신하여, 상기 업무 처리 모듈로 하여금 상기 필터링 처리 후의 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제1 타임 스탬프에 기반하여, 상기 배경 이미지 버퍼 대열 중 각각의 제1 이미지에 대해 동기화 처리를 하도록 하는 단계;
    를 더 포함하는 것을 특징으로 하는,
    이미지 처리 방법.
  7. 업무 처리 모듈이 안면 인식 모듈에 의해 송신된 매칭하려는 안면 이미지， 및 상기 매칭하려는 안면 이미지에 대응하는 제1 타임 스탬프를 수신하는 단계- 상기 매칭하려는 안면 이미지는 상기 안면 인식 모듈이 그에 의해 유지되고 있는 안면 이미지 버퍼 대열에서 결정되며, 상기 안면 이미지 버퍼 대열에는 적어도 하나의 프레임의 안면 이미지 및 상기 적어도 하나의 프레임의 안면 이미지 중 각각의 프레임의 안면 이미지에 대응하는 제1 타임 스탬프를 포함하며, 상기 각각의 프레임의 안면 이미지와 당해 프레임의 안면 이미지에 대응하는 제1 타임 스탬프는 상기 안면 인식 모듈이 동영상 소스에서 온 원시 이미지에 기반하여 획득함-；
    상기 업무 처리 모듈이 상기 매칭하려는 안면 이미지에 대응하는 제1 타임 스탬프에 기반하여， 그에 의해 유지되고 있는 배경 이미지 버퍼 대열에서 상기 매칭하려는 안면 이미지에 대응하는 제1 타임 스탬프와 일치한 제1 이미지를 결정하여， 상기 매칭하려는 안면 이미지의 매칭 이미지로 하는 단계- 상기 제1 이미지는 상기 업무 처리 모듈에 의해 획득한 원시 이미지임- ；
    상기 업무 처리 모듈이 상기 매칭하려는 안면 이미지와 상기 매칭하려는 안면 이미지의 매칭 이미지에 기반하여 업무 처리를 수행하는 단계；
    를 포함하되,
    상기 안면 인식 모듈과 상기 업무 처리 모듈이 서로 다른 하드웨어 플랫폼에서 운행되는 것을 포함하는 것을 특징으로 하는,
    이미지 처리 방법.
  8. 제7항에 있어서,
    상기 업무 처리 모듈이 상기 매칭하려는 안면 이미지에 대응하는 제1 타임 스탬프에 기반하여 그에 의해 유지되고 있는 배경 이미지 버퍼 대열에서 상기 매칭하려는 안면 이미지에 대응하는 제1 타임 스탬프와 일치한 제1 이미지를 결정하여 상기 매칭하려는 안면 이미지의 매칭 이미지로 하는 단계의 후에,
    상기 업무 처리 모듈이 상기 매칭하려는 안면 이미지의 매칭 이미지를 상기 배경 이미지 버퍼 대열에서 삭제하는 단계;
    를 더 포함하는 것을 특징으로 하는,
    이미지 처리 방법.
  9. 제7항에 있어서,
    상기 업무 처리 모듈이 안면 인식 모듈에 의해 송신된 매칭하려는 안면 이미지， 및 상기 매칭하려는 안면 이미지에 대응하는 제1 타임 스탬프를 수신하는 단계의 전에,
    상기 업무 처리 모듈이 동영상 소스에서 온 적어도 2 프레임의 원시 이미지와 상기 안면 인식 모듈에 의해 유지되고 있는 상기 안면 이미지 버퍼 대열에 기반하여， 상기 배경 이미지 버퍼 대열을 동기적으로 유지하는 단계- 상기 적어도 2 프레임의 원시 이미지 중 각각의 프레임의 원시 이미지는 제2 타임 스탬프를 수반함-
    를 더 포함하는 것을 특징으로 하는,
    이미지 처리 방법.
  10. 제9항에 있어서,
    상기 업무 처리 모듈이 동영상 소스에서 온 적어도 2 프레임의 원시 이미지와 상기 안면 인식 모듈에 의해 유지되고 있는 상기 안면 이미지 버퍼 대열에 기반하여， 상기 배경 이미지 버퍼 대열을 동기적으로 유지하는 단계는,
    상기 업무 처리 모듈이 상기 안면 인식 모듈에 의해 송신된 상기 제2 이미지의 각각의 프레임의 제2 타임 스탬프와 제1 타임 스탬프， 및 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제2 타임 스탬프와 제1 타임 스탬프를 수신하는 단계；
    상기 업무 처리 모듈이 상기 제2 이미지의 각각의 프레임에 대하여， 제2 이미지의 하나의 프레임의 제2 타임 스탬프와 제1 타임 스탬프가 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제2 타임 스탬프와 제1 타임 스탬프에 있다고 결정할 경우, 적어도 2 프레임의 제1 이미지 중 제2 이미지의 상기 프레임의 제2 타임 스탬프와 일치한 제1 이미지에 제2 이미지의 상기 프레임의 제1 타임 스탬프를 추가하는 단계；
    상기 업무 처리 모듈이 상기 제1 타임 스탬프를 추가한 제1 이미지를 상기 배경 이미지 버퍼 대열에 추가하는 단계;
    를 포함하는 것을 특징으로 하는,
    이미지 처리 방법.
  11. 제7항 내지 제10항 중 어느 한 항에 있어서,
    상기 업무 처리 모듈이 상기 안면 인식 모듈에 의해 송신된 필터링 처리 후의 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제1 타임 스탬프를 수신하는 단계；
    상기 업무 처리 모듈이 상기 필터링 처리 후의 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제1 타임 스탬프에 기반하여 상기 배경 이미지 버퍼 대열 중 각각의 제1 이미지에 대해 동기화 처리를 수행하는 단계;
    를 더 포함하는 것을 특징으로 하는,
    이미지 처리 방법.
  12. 제11항에 있어서,
    상기 업무 처리 모듈이 상기 필터링 처리 후의 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제1 타임 스탬프에 기반하여 상기 배경 이미지 버퍼 대열 중 각각의 제1 이미지에 대해 동기화 처리를 수행하는 단계는，
    상기 업무 처리 모듈이 상기 배경 이미지 버퍼 대열 중 각각의 제1 이미지에 대응하는 제1 타임 스탬프와 상기 필터링 처리 후의 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제1 타임 스탬프에 대해 비교 처리를 수행하는 단계；
    상기 업무 처리 모듈이 상기 각각의 프레임 제1 이미지에 대해， 제1 이미지의 하나의 프레임의 제1 타임 스탬프가 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제1 타임 스탬프 중에 없다고 결정할 경우， 제1 이미지의 상기 프레임을 상기 배경 이미지 버퍼 대열에서 삭제하는 단계;
    를 포함하는 것을 특징으로 하는,
    이미지 처리 방법.
  13. 유지되고 있는 안면 이미지 버퍼 대열을 획득하는데 사용되는 대열 유닛- 상기 안면 이미지 버퍼 대열에는 적어도 하나의 프레임의 안면 이미지， 및 상기 적어도 하나의 프레임의 안면 이미지 중 각각의 프레임의 안면 이미지에 대응하는 제1 타임 스탬프를 포함하며, 상기 각각의 프레임의 안면 이미지와 상기 프레임의 안면 이미지에 대응하는 제1 타임 스탬프는 상기 이미지 처리 장치에 의해 동영상 소스에서 온 원시 이미지에 기반하여 획득함-；
    상기 안면 이미지 버퍼 대열에서 매칭하려는 안면 이미지를 결정하는데 사용되는 결정 유닛；
    상기 매칭하려는 안면 이미지， 및 상기 매칭하려는 안면 이미지에 대응하는 제1 타임 스탬프를 업무 처리 모듈에 송신하여， 상기 업무 처리 모듈로 하여금 상기 매칭하려는 안면 이미지에 대응하는 제1 타임 스탬프에 기반하여， 그에 의해 유지되고 있는 배경 이미지 버퍼 대열에서 상기 매칭하려는 안면 이미지에 대응하는 제1 타임 스탬프와 일치한 제1 이미지를 결정하여， 상기 매칭하려는 안면 이미지의 매칭 이미지로 하며， 또한 상기 매칭하려는 안면 이미지와 상기 매칭하려는 안면 이미지의 매칭 이미지에 기반하여 업무 처리를 수행하는데 사용되는 송신 유닛- 상기 제1 이미지는 상기 업무 처리 모듈에 의해 획득된 원시 이미지임- ；
    를 포함하되,
    상기 이미지 처리 장치와 상기 업무 처리 모듈이 서로 다른 하드웨어 플랫폼에서 운행되는 것을 특징으로 하는,
    이미지 처리 장치.
  14. 제13항에 있어서，
    상기 대열 유닛은:
    상기 매칭하려는 안면 이미지를 상기 안면 이미지 버퍼 대열에서 삭제하는 것을 특징으로 하는,
    이미지 처리 장치.
  15. 제13항에 있어서，
    상기 대열 유닛은:
    동영상 소스에서 온 적어도 2 프레임의 원시 이미지에 기반하여， 상기 안면 이미지 버퍼 대열을 유지하며；
    상기 적어도 2 프레임의 원시 이미지 중 각각의 프레임 원시 이미지에 제2 타임 스탬프를 수반하며；
    상기 안면 이미지 버퍼 대열에 기반하여 상기 업무 처리 모듈에 의해 유지되고 있는 배경 이미지 버퍼 대열을 동기화 하는 것을 특징으로 하는,
    이미지 처리 장치.
  16. 제15항에 있어서，
    상기 대열 유닛은:
    상기 적어도 2 프레임의 원시 이미지를 수신하여 제2 이미지로 하며；
    상기 적어도 2 프레임의 제2 이미지 중 제2 이미지의 각각의 프레임에 상기 제1 타임 스탬프를 추가하며；
    상기 제2 이미지의 각각의 프레임에 대해 안면 검출 처리를 수행하여, 상기 제2 이미지의 각각의 프레임의 안면 검출 결과를 획득하며；
    안면 이미지를 포함하는 제2 이미지의 각각의 프레임의 안면 검출 결과에 포함된 안면 이미지， 및 제2 이미지의 상기 프레임의 제2 타임 스탬프와 제1 타임 스탬프를 대응하게 상기 안면 이미지 버퍼 대열에 추가하는 것을 특징으로 하는,
    이미지 처리 장치.
  17. 제16항에 있어서,
    상기 대열 유닛은:
    상기 제2 이미지의 각각의 프레임의 제2 타임 스탬프와 제1 타임 스탬프， 및 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제2 타임 스탬프와 제1 타임 스탬프를 상기 업무 처리 모듈에 송신하여， 상기 업무 처리 모듈로 하여금 상기 제2 이미지의 각각의 프레임에 대하여， 제2 이미지의 하나의 프레임의 제2 타임 스탬프와 제1 타임 스탬프가 상기 안면 이미지 버퍼 대열 중의 각각의 안면 이미지에 대응하는 제2 타임 스탬프와 제1 타임 스탬프 중에 있다고 결정할 경우， 적어도 2 프레임의 제1 이미지 중의 제2 이미지의 상기 프레임의 제2 타임 스탬프와 일치한 제1 이미지에 제2 이미지의 상기 프레임의 제1 타임 스탬프를 추가하고， 상기 제1 타임 스탬프를 추가한 제1 이미지를 상기 배경 이미지 버퍼 대열에 추가하는 것을 특징으로 하는,
    이미지 처리 장치.
  18. 제13항 내지 제17항 중 어느 한 항에 있어서，
    상기 대열 유닛은
    상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대해 필터링 처리를 수행하며；
    상기 필터링 처리 후의 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제1 타임 스탬프를 상기 업무 처리 모듈에 송신하여, 상기 업무 처리 모듈로 하여금 상기 필터링 처리 후의 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제1 타임 스탬프에 기반하여， 상기 배경 이미지 버퍼 대열 중 각각의 제1 이미지에 대해 동기화 처리를 수행하는 것을 특징으로 하는,
    이미지 처리 장치.
  19. 안면 인식 모듈에 의해 송신된 매칭하려는 안면 이미지， 및 상기 매칭하려는 안면 이미지에 대응하는 제1 타임 스탬프를 수신하는데 사용되는 수신 유닛 - 상기 매칭하려는 안면 이미지는 상기 안면 인식 모듈에 의해 유지되고 있는 안면 이미지 버퍼 대열에서 결정되며, 상기 안면 이미지 버퍼 대열에는 적어도 하나의 프레임의 안면 이미지， 및 상기 적어도 하나의 프레임의 안면 이미지 중 각각의 프레임의 안면 이미지에 대응하는 제1 타임 스탬프를 포함하며, 상기 각각의 프레임의 안면 이미지 및 당해 프레임의 안면 이미지에 대응하는 제1 타임 스탬프는 상기 안면 인식 모듈에 의해 동영상 소스에서 온 원시 이미지에 의해 획득됨-；
    상기 매칭하려는 안면 이미지에 대응하는 제1 타임 스탬프에 기반하여, 그에 의해 유지되고 있는 배경 이미지 버퍼 대열에서 상기 매칭하려는 안면 이미지에 대응하는 제1 타임 스탬프와 일치한 제1 이미지를 결정하여， 상기 매칭하려는 안면 이미지의 매칭 이미지로 하는데 사용되는 대열 유닛- 상기 제1 이미지는 상기 이미지 처리 장치에 의해 획득한 원시 이미지임-；
    상기 매칭하려는 안면 이미지와 상기 매칭하려는 안면 이미지의 매칭 이미지에 기반하여 업무 처리를 수행하는데 사용되는 업무 유닛；
    을 포함하되,
    상기 안면 인식 모듈과 상기 이미지 처리 장치는 서로 다른 하드웨어 플랫폼에서 운행되는 것을 특징으로 하는,
    이미지 처리 장치.
  20. 제19항에 있어서，
    상기 대열 유닛은:
    상기 매칭하려는 안면 이미지의 매칭 이미지를 상기 배경 이미지 버퍼 대열에서 삭제하는 것을 특징으로 하는,
    이미지 처리 장치.
  21. 제19항에 있어서，
    상기 대열 유닛은:
    동영상 소스에서 온 적어도 2 프레임의 원시 이미지와 상기 안면 인식 모듈에 의해 유지되고 있는 상기 안면 이미지 버퍼 대열에 기반하여 상기 배경 이미지 버퍼 대열을 동기적으로 유지하며, 상기 적어도 2 프레임의 원시 이미지 중 각각의 프레임 원시 이미지에는 제2 타임 스탬프를 수반하는 것을 특징으로 하는,
    이미지 처리 장치.
  22. 제21항에 있어서 ，
    상기 대열 유닛은:
    상기 안면 인식 모듈에 의해 송신된 상기 제2 이미지의 각각의 프레임의 제2 타임 스탬프와 제1 타임 스탬프， 및 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제2 타임 스탬프와 제1 타임 스탬프를 수신하며；
    상기 제2 이미지의 각각의 프레임에 대하여， 제2 이미지의 하나의 프레임의 제2 타임 스탬프와 제1 타임 스탬프가 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제2 타임 스탬프와 제1 타임 스탬프에 있다고 결정할 경우， 적어도 2 프레임의 제1 이미지 중 제2 이미지의 상기 프레임의 제2 타임 스탬프와 일치한 제1 이미지에 제2 이미지의 상기 프레임의 제1 타임 스탬프를 추가하고；
    상기 제1 타임 스탬프를 추가한 제1 이미지를 상기 배경 이미지 버퍼 대열에 추가하는 것을 특징으로 하는,
    이미지 처리 장치.
  23. 제19항 내지 제22항 중 어느 한 항에 있어서，
    상기 대열 유닛은:
    상기 안면 인식 모듈에 의해 송신된 필터링 처리 후의 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제1 타임 스탬프를 수신하며；
    상기 필터링 처리 후의 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제1 타임 스탬프에 기반하여， 상기 배경 이미지 버퍼 대열 중 각각의 제1 이미지에 대해 동기화 처리를 수행하는 것을 특징으로 하는,
    이미지 처리 장치.
  24. 제23항에 있어서，
    상기 대열 유닛은:
    상기 배경 이미지 버퍼 대열 중 각각의 제1 이미지에 대응하는 제1 타임 스탬프 및 상기 필터링 처리 후의 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제1 타임 스탬프에 대해 비교 처리를 수행하며；
    상기 각각의 프레임 제1 이미지에 대하여， 제1 이미지의 하나의 프레임의 제1 타임 스탬프가 상기 안면 이미지 버퍼 대열 중 각각의 안면 이미지에 대응하는 제1 타임 스탬프 중에 없다고 결정될 경우， 제1 이미지의 상기 프레임을 상기 배경 이미지 버퍼 대열에서 삭제하는 것을 특징으로 하는,
    이미지 처리 장치.
  25. 적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서와 통신 연결된 메모리를 구비하며,
    상기 메모리에는 상기 적어도 하나의 프로세서에 의해 수행 가능한 명령이 기억되어 있으며, 상기 명령이 상기 적어도 하나의 프로세서에 의해 수행되어, 상기 적어도 하나의 프로세서로 하여금 제1항 내지 제6항 중 어느 한 항 또는 제7항 내지 제12항 중 어느 한 항에 기재된 방법을 수행하도록 하는 것을 특징으로 하는,
    전자기기.
  26. 컴퓨터 명령이 기억되어 있는 비 일시적 컴퓨터 판독 가능 기록매체에 있어서,
    상기 컴퓨터 명령은 상기 컴퓨터로 하여금 제1항 내지 제6항 중 어느 한 항 또는 제7항 내지 제12항 중 어느 한 항에 기재된 방법을 수행하도록 하는 것을 특징으로 하는,
    기록매체.
  27. 비 일시적 컴퓨터 판독 가능 기록매체에 기억되어 있는 컴퓨터 프로그램에 있어서,
    상기 컴퓨터 프로그램은 상기 컴퓨터로 하여금 제1항 내지 제6항 중 어느 한 항 또는 제7항 내지 제12항 중 어느 한 항에 기재된 방법을 수행하도록 하는 것을 특징으로 하는,
    컴퓨터 프로그램.
KR1020210076821A 2020-06-17 2021-06-14 이미지 처리 방법, 장치, 전자 기기 및 판독 가능한 기록매체 KR102595664B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010555785.4 2020-06-17
CN202010555785.4A CN111860163B (zh) 2020-06-17 2020-06-17 图像处理方法、装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
KR20210156768A true KR20210156768A (ko) 2021-12-27
KR102595664B1 KR102595664B1 (ko) 2023-10-27

Family

ID=72986193

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210076821A KR102595664B1 (ko) 2020-06-17 2021-06-14 이미지 처리 방법, 장치, 전자 기기 및 판독 가능한 기록매체

Country Status (5)

Country Link
US (1) US11783565B2 (ko)
EP (1) EP3926528A1 (ko)
JP (1) JP2021197186A (ko)
KR (1) KR102595664B1 (ko)
CN (1) CN111860163B (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560772B (zh) * 2020-12-25 2024-05-14 北京百度网讯科技有限公司 人脸的识别方法、装置、设备及存储介质
CN113434551B (zh) * 2021-06-28 2022-05-27 北京百度网讯科技有限公司 数据处理方法、装置、设备和计算机存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005323046A (ja) * 2004-05-07 2005-11-17 Omron Corp 監視システム、および監視カメラ
JP2010021853A (ja) * 2008-07-11 2010-01-28 Noritsu Koki Co Ltd 画像処理装置、画像形成装置、画像処理方法及び画像処理プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8805110B2 (en) 2008-08-19 2014-08-12 Digimarc Corporation Methods and systems for content processing
US20170116465A1 (en) * 2015-10-26 2017-04-27 Le Holdings (Beijing) Co., Ltd. Video processing method and system, video player and cloud server
GB201613138D0 (en) * 2016-07-29 2016-09-14 Unifai Holdings Ltd Computer vision systems
EP3550817B1 (en) * 2018-04-06 2023-06-07 Nokia Technologies Oy Apparatus and method for associating images from two image streams
CN109309817A (zh) * 2018-11-14 2019-02-05 北京东方国信科技股份有限公司 监控视频人脸识别osd的显示方法及装置
CN110263680B (zh) * 2019-06-03 2022-01-28 北京旷视科技有限公司 图像处理方法、装置和系统及存储介质
CN111241927A (zh) 2019-12-30 2020-06-05 新大陆数字技术股份有限公司 级联式人脸图像优选方法、系统、设备及可读存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005323046A (ja) * 2004-05-07 2005-11-17 Omron Corp 監視システム、および監視カメラ
JP2010021853A (ja) * 2008-07-11 2010-01-28 Noritsu Koki Co Ltd 画像処理装置、画像形成装置、画像処理方法及び画像処理プログラム

Also Published As

Publication number Publication date
CN111860163A (zh) 2020-10-30
JP2021197186A (ja) 2021-12-27
US20210397873A1 (en) 2021-12-23
EP3926528A1 (en) 2021-12-22
CN111860163B (zh) 2023-08-22
US11783565B2 (en) 2023-10-10
KR102595664B1 (ko) 2023-10-27

Similar Documents

Publication Publication Date Title
WO2020253760A1 (zh) 一种输入方法、电子设备和投屏系统
CN111757158A (zh) 音视频同步播放方法、装置、设备和存储介质
US11423907B2 (en) Virtual object image display method and apparatus, electronic device and storage medium
EP3447631B1 (en) Writing trajectory synchronization method and system for multiple clients
KR20210156768A (ko) 이미지 처리 방법, 장치, 전자 기기 및 판독 가능한 기록매체
JP2016536710A (ja) デスクトップクラウドベースのメディア制御方法およびデバイス
US20210149558A1 (en) Method and apparatus for controlling terminal device, and non-transitory computer-readle storage medium
US11430441B2 (en) Voice device, interaction method of same, device and storage medium
WO2019011295A1 (zh) 负一屏内容推送及请求方法、装置、服务器及终端
CN103168466A (zh) 虚拟视频俘获装置
KR20210035784A (ko) 단어 슬롯을 인식하는 방법, 장치, 전자 기기, 저장 매체 및 프로그램
US20220058771A1 (en) Image Processing Method in Remote Control, Device, Apparatus and Program Product
CN111831383A (zh) 窗口拼接方法、装置、设备以及存储介质
CN110659330A (zh) 数据处理方法、装置及存储介质
CN111638787B (zh) 用于展示信息的方法和装置
CN110809041B (zh) 一种数据同步方法、装置、电子设备及存储介质
CN112069137A (zh) 生成信息的方法、装置、电子设备及计算机可读存储介质
CN112162800A (zh) 页面显示方法、装置、电子设备和计算机可读存储介质
CN113542802B (zh) 视频的转场方法和装置
EP3901905A1 (en) Method and apparatus for processing image
EP3891962B1 (en) Synchronized jitter buffers to handle codec switches
CN110609671B (zh) 声音信号增强方法、装置、电子设备及存储介质
CN112752323A (zh) 热点接入状态的改变方法和装置
US20240048727A1 (en) Method and system of low latency video coding with interactive applications
CN114222167B (zh) 云投屏控制方法、装置、服务器、系统和可读存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant