KR102571513B1 - 이미지를 처리하는 방법, 장치, 기기, 저장 매체 및 프로그램 - Google Patents

이미지를 처리하는 방법, 장치, 기기, 저장 매체 및 프로그램 Download PDF

Info

Publication number
KR102571513B1
KR102571513B1 KR1020210025905A KR20210025905A KR102571513B1 KR 102571513 B1 KR102571513 B1 KR 102571513B1 KR 1020210025905 A KR1020210025905 A KR 1020210025905A KR 20210025905 A KR20210025905 A KR 20210025905A KR 102571513 B1 KR102571513 B1 KR 102571513B1
Authority
KR
South Korea
Prior art keywords
image
image sequence
similarity measure
sequences
module
Prior art date
Application number
KR1020210025905A
Other languages
English (en)
Other versions
KR20220002064A (ko
Inventor
멍 야오
Original Assignee
베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN202010623701.6A external-priority patent/CN111860226B/zh
Application filed by 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. filed Critical 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Publication of KR20220002064A publication Critical patent/KR20220002064A/ko
Application granted granted Critical
Publication of KR102571513B1 publication Critical patent/KR102571513B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 출원은 이미지를 처리하는 방법, 장치, 기기, 저장 매체 및 프로그램을 개시하는바, 컴퓨터 비전, 3차원 이미지 재구성 분야에 관한 것이다. 구체적인 구현방안으로 이미지를 처리하는 방법을 제공하는바, 이미지 시퀀스 집합을 취득하는 단계 - 당해 이미지 시퀀스 집합은 복수의 이미지 시퀀스를 포함함 - ; 이미지 시퀀스 집합 중의 이미지 시퀀스 간의 제1 유사도 측도를 결정하는 단계; 제1 유사도 측도에 기반하여 이미지 시퀀스 집합을 하나 또는 복수의 이미지 시퀀스 부분집합으로 분할하는 단계; 및 각 이미지 시퀀스 부분집합에서 하나의 이미지 시퀀스 중의 이미지와 이미지 시퀀스 부분집합 중 다른 이미지 시퀀스 중의 이미지 간의 관련도를 결정하는 단계를 포함한다. 본 개시의 실시예에 의하면, 3차원 이미지 재구성에서의 계산량을 감소시키고 계산 효율을 향상시킬 수 있는바, 자동운전 분야에 적용된다.

Description

이미지를 처리하는 방법, 장치, 기기, 저장 매체 및 프로그램{METHOD AND APPARATUS FOR PROCESSING IMAGE, DEVICE, STORAGE MEDIUM AND PROGRAM}
본 개시는 전반적으로 컴퓨터 시각 기술에 관한 것으로, 더 구체적으로 3차원 이미지 재구성에서의 이미지 처리 기술에 관한 것이다.
3차원 이미지의 정밀 재구성은 다양한 분야에서 중요한 작용을 발휘하고 있다. 대량의 2차원 이미지로부터 3차원 이미지를 정확하게 재구성하기 위하여서는, 대량의 2차원 이미지에 대해 특징 매칭 계산을 수행하여야 한다. 특징 매칭 계산은 서로 다른 이미지 사이에서 화소를 매칭시켜야 하는바, 따라서 계산량이 매우 큰, 극도의 시간 소모적이고 리소스 소모적인 과정이다.
본 개시는 이미지를 처리하는 방법, 장치, 기기, 저장 매체 및 프로그램을 제공한다.
본 개시의 일 측면에 따르면, 이미지를 처리하는 방법을 제공하는바, 이미지 시퀀스 집합을 취득하는 단계 - 당해 이미지 시퀀스 집합은 복수의 이미지 시퀀스를 포함함 - ; 이미지 시퀀스 집합 중의 이미지 시퀀스 간의 제1 유사도 측도를 결정하는 단계; 제1 유사도 측도에 기반하여 이미지 시퀀스 집합을 하나 또는 복수의 이미지 시퀀스 부분집합으로 분할하는 단계; 및 각 이미지 시퀀스 부분집합에서 하나의 이미지 시퀀스 중의 이미지와 이미지 시퀀스 부분집합 중 다른 이미지 시퀀스 중의 이미지 간의 관련도를 결정하는 단계를 포함한다.
본 개시의 다른 측면에 따르면, 이미지를 처리하는 장치를 제공하는바, 이미지 시퀀스 집합을 취득하도록 구성되는 이미지 시퀀스 집합 취득 모듈 - 당해 이미지 시퀀스 집합은 복수의 이미지 시퀀스를 포함함 - ; 이미지 시퀀스 집합 중의 이미지 시퀀스 간의 제1 유사도 측도를 결정하도록 구성되는 유사도 측도 결정 모듈; 제1 유사도 측도에 기반하여 이미지 시퀀스 집합을 하나 또는 복수의 이미지 시퀀스 부분집합으로 분할하도록 구성되는 이미지 시퀀스 집합 분할 모듈; 및 각 이미지 시퀀스 부분집합에서 하나의 이미지 시퀀스 중의 이미지와 이미지 시퀀스 부분집합 중 다른 이미지 시퀀스 중의 이미지 간의 관련도를 결정하도록 구성되는 이미지 관련도 결정 모듈을 포함한다.
본 개시의 또 다른 측면에 따르면, 전자 기기를 제공하는바, 적어도 하나의 프로세서; 및 적어도 하나의 프로세서에 통신적으로 연결되는 메모리를 포함하고, 메모리에는 적어도 하나의 프로세서에 의해 실행될 수 있는 명령이 저장되어 있고, 당해 명령은 적어도 하나의 프로세서에 의해 실행됨으로써 적어도 하나의 프로세서가 본 개시의 일 측면에 따른 방법을 수행 가능하도록 한다.
본 개시의 또 다른 측면에 따르면, 컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독가능 저장 매체를 제공하는바, 당해 컴퓨터 명령은 컴퓨터가 본 개시의 일 측면에 따른 방법을 수행하도록 한다.
본 개시의 또 다른 측면에 따르면, 매체에 저장된 컴퓨터 프로그램이 제공되는바, 당해 프로그램이 프로세서에 의해 실행되는 경우, 본 개시의 일 측면에 따른 방법이 수행된다.
본 출원의 기술에 따르면, 3차원 이미지 재구성에서의 계산량을 감소시키고 계산 효율을 향상시킨다.
본 부분에서 서술하는 내용은 본 개시의 실시예의 핵심적인 또는 중요한 특징을 표기하고자 하는 것이 아니고 본 개시의 범위를 한정하기 위한 것도 아님을 이해하여야 한다. 본 개시의 다른 특징은 하기의 발명의 상세한 내용에 의해 이해하기 수월해질 것이다.
첨부 도면은 본 방안을 더 잘 이해하기 위한 것으로, 본 출원을 한정하지 않는다.
도 1은 본 출원의 실시예가 구현될 수 있는 예시 환경의 개략도이다.
도 2는 본 출원의 실시예에 따른 이미지를 처리하는 방법의 개략도이다.
도 3a는 본 출원의 실시예에 따른 이미지 시퀀스 집합의 개략도이다.
도 3b는 본 출원의 실시예에 따른 복수의 이미지 시퀀스 부분집합의 개략도이다.
도 4는 본 출원의 실시예에 따른 이미지 시퀀스 부분집합 중의 2개의 이미지 시퀀스의 개략도이다.
도 5는 본 출원의 실시예에 따른 이미지 시퀀스 집합을 하나 또는 복수의 이미지 시퀀스 부분집합으로 분할하는 방법의 개략도이다.
도 6a는 본 출원의 실시예에 따른 이미지 시퀀스 집합의 개략도이다.
도 6b는 본 출원의 실시예에 따른 이미지 시퀀스 집합의 개략도이다.
도 7은 본 개시의 실시예에 따른 이미지를 처리하는 장치의 예시적인 블록도이다.
도 8은 본 출원의 실시예의 이미지를 처리하는 방법을 구현하는 전자 기기의 블록도이다.
아래 첨부 도면을 결부하여 본 출원의 시범적 실시예를 설명하고자 하는데, 여기서는 이해를 돕고자 본 출원의 실시예의 다양한 세부사항을 포함하나 이를 단지 시범적인 것으로 간주하여야 한다. 따라서, 당업자라면, 여기서 서술한 실시예는 본 출원의 범위 및 사상에 위배되지 않으면서 다양한 변경 및 수정이 가능하다는 것을 인지하여야 한다. 마찬가지로, 명확함과 간결함을 위해, 아래 서술에서는 공지된 기능 및 구조에 대한 서술을 생략하기로 한다.
3차원 이미지의 정밀 재구성은 다양한 분야에서 중요한 작용을 발휘하고 있다. 예를 들면, 자동운전 분야에서, 재구성된 고 정밀도 3차원 지도는 자동운전 차량의 계산 플랫폼이 정확하게 운전 의사결정을 하는 것, 노선 계획을 구축하는 것 등에 유용할 수 있다. 그러나, 대량의 이미지로부터 고 정밀도의 3차원 지도를 정확하게 재구성하는 것을 구현하기 위해, 대량의 이미지에 대해 특징 매칭 계산을 수행하여야 한다. 특징 매칭 계산은 서로 다른 이미지 사이에서 화소를 매칭시켜야 하는바, 따라서 계산량이 매우 큰, 극도의 시간 소모적이고 리소스 소모적인 과정이다.
특징 매칭 계산을 수행하기 전에, 이미지 간의 관련도를 결정하는 것은 특징 매칭의 계산량을 감소시키고 계산 효율을 향상시키는 데 유용할 수 있는바, 왜냐하면 오직 관련된 이미지에 대해서만 특징 매칭을 수행할 수 있기 때문이다.
기존에는, 3차원 이미지 재구성에서의 특징 매칭을 수행하기 전에, 수집된 이미지 시퀀스 또는 영상의 위치 정보 및 수집 시간에 따라 이미지 시퀀스 집합을 클러스터하고 클러스터 내의 영상 이미지에 대해 특징 매칭 계산을 수행할 뿐이다. 그러나, 이러한 방식에 의하면, 필요한 특징 매칭의 계산량이 여전히 매우 크다.
본 개시의 실시예에 따르면, 이미지를 처리하는 방안을 제공한다. 당해 방안에서, 이미지 시퀀스 간의 유사도에 따라 이미지 시퀀스를 포함하는 이미지 시퀀스 집합을 하나 또는 복수의 이미지 시퀀스 부분집합으로 분할하고 각 이미지 시퀀스 부분집합 중 하나의 이미지 시퀀스 중의 이미지와 이미지 시퀀스 부분집합 중 다른 이미지 시퀀스 중의 이미지 간의 관련도를 결정한다. 이러한 방식에 의하면, 고 관련도를 가지는 이미지를 효과적으로 결정함으로써 결정된 고 관련도인 이미지에 대해서만 후속의 시간 소모적이고 리소스 소모적인 특징 매칭 계산을 수행할 수 있도록 하는바, 이로써 계산량을 감소시키고 계산 효율을 향상시킬 수 있다.
도 1은 본 출원의 실시예가 구현될 수 있는 예시 환경(100)의 개략도이다. 도 1에 도시한 바와 같이, 예시 환경(100)은 이미지 처리 기기(110) 및 이미지 취득 기기(120-1 내지 120-3)(이미지 취득 기기(120)로 통칭됨)를 포함한다. 이미지 취득 기기(120)는 이미지 시퀀스(130-1 내지 130-3)(이미지 시퀀스(130)로 통칭됨)를 취득하고 이미지 시퀀스(130)를 이미지 처리 기기(110)에 전송할 수 있다. 이미지 처리 기기(110)는 이미지 시퀀스(130)로부터 이미지 간의 관련도를 결정할 수 있다. 일부 실시에서, 이미지 처리 기기(110)는 컴퓨터, 가상 머신, 서버 등일 수 있다. 이미지 취득 기기(120)는 카메라, 비디오 카메라 등일 수 있다. 이미지 처리 기기(110) 및 이미지 취득 기기(120) 사이는 네트워크를 통해 서로 통신할 수 있다. 네트워크는 인터넷, 인트라넷 등일 수 있다.
예시적인 목적에서 예시 환경(100)을 서술한 것일 뿐, 본 개시의 범위에 대한 어떠한 한정을 암시하는 것도 아님을 이해하여야 한다. 예를 들면, 본 개시의 실시예는 또한 예시 환경(100)과는 다른 환경에 응용될 수 있다. 상술한 각 기기의 구체적인 수량은 단지 설명의 목적에서 제시한 것일 뿐, 본 개시 범위에 대한 어떠한 한정을 암시하는 것도 아님을 이해하여야 한다. 예를 들면, 본 개시의 실시예는 또한 더 많은 이미지 처리 기기(110), 더 많거나 또는 더 적은 이미지 취득 기기(120)에 응용될 수 있다. 또는, 본 개시의 실시예는 또한 이미지 처리 기기(110) 및 이미지 취득 기기(120)를 같은 기기에 집적할 수 있다.
도 2는 본 출원의 실시예에 따른 이미지를 처리하는 방법(200)의 개략도이다. 일부 실시에서, 방법(200)은 도 1에 도시한 이미지 처리 기기(110)에서 구현될 수 있다. 이해의 편의를 위해 아래 서술에서 언급되는 구체적인 데이터는 모두 예시적인 것인바, 본 개시의 보호 범위를 한정하기 위한 것이 아니다.
S201에서, 이미지 처리 기기(110)는 이미지 시퀀스 집합을 취득할 수 있는바, 당해 이미지 시퀀스 집합은 복수의 이미지 시퀀스를 포함한다.
일부 실시에서, 이미지 처리 기기(110)는 서로 다른 이미지 취득 기기(120)로부터 이미지 시퀀스 집합을 취득할 수 있다. 부가적으로 또는 대안으로, 다른 일부 실시예에서, 이미지 처리 기기(110)는 같은 이미지 취득 기기(120)로부터 이미지 시퀀스 집합을 취득할 수 있다. 부가적으로, 일부 실시에서, 이미지 취득 기기(120)는 차량 중의 시각 정보 수집 기기일 수 있고, 차량의 계산 플랫폼은 차량의 버스 제어 시스템 중의 정보를 취득함으로써 차량의 시각 정보 수집 기기를 제어하여 이미지를 수집하도록 하고 처리된 이미지 시퀀스를 이미지 처리 기기(110)에 전송할 수 있다. 예를 들면, 차량의 계산 플랫폼은 차륜의 회전속도 정보를 취득함으로써 차량의 영상 정보 수집 기기를 제어하여 차륜이 0.33바퀴 회전할 때마다 하나의 이미지를 수집하고 시간 순서로 배열된 이미지 시퀀스를 이미지 처리 기기(110)에 전송할 수 있다.
일부 실시에서, 이미지 취득 기기(120)는 이미지를 수집하는 동시에 이미지가 수집된 지리 위치 정보를 기록할 수 있는바, 예를 들면 GPS 정보 및 이미지가 수집된 시간 정보일 수 있다. 따라서, 일부 실시에서, 이미지 시퀀스 집합은 인접한 지리 위치에서 수집된 이미지 시퀀스 집합일 수 있다. 예를 들면, 같은 도로구간, 인접한 도로구간 등에서 수집된 이미지 시퀀스 집합일 수 있다. 부가적으로 또는 대안으로, 이미지 시퀀스 집합은 같은 시간 구간 내에 수집된 이미지 시퀀스 집합일 수 있다. 예를 들면, 같은 계절, 같은 달, 같은 주 등에 수집된 이미지 시퀀스 집합일 수 있다.
S202에서, 이미지 처리 기기(110)는 이미지 시퀀스 집합 중의 이미지 시퀀스 간의 제1 유사도 측도를 결정할 수 있다.
일부 실시에서, 이미지 처리 기기(110)는 우선 이미지 시퀀스 집합 중의 각 이미지에 대응되는 특징 벡터를 결정하고, 다음, 이미지의 특징 벡터에 따라 이미지 시퀀스 간의 유사도를 결정할 수 있다. 예를 들면, 1000개 이미지를 가지는 이미지 시퀀스(1)에 대하여, 이미지 처리 기기(110)는 각각 이러한 1000개의 이미지에 대응되는 1000개의 특징 벡터를 결정할 수 있다. 유사하게, 2000개 이미지를 가지는 이미지 시퀀스(2)에 대하여, 이미지 처리 기기(110)는 각각 이러한 2000개의 이미지에 대응되는 2000개의 특징 벡터를 결정할 수 있다. 다음, 이미지 처리 기기(110)는 이미지 시퀀스(1)에 대응되는 1000개 특징 벡터와 이미지 시퀀스2에 대응되는 2000개 특징 벡터 간의 벡터 거리를 계산할 수 있는바, 예를 들면, 유클리드 거리, 맨하탄 거리, 체비셰프 거리, 끼인각 코사인 거리 등이 있고, 이로써 이미지 시퀀스(1)와 이미지 시퀀스(2) 간의 유사도를 특성화할 수 있다.
단지 예시적인 방식으로 이미지 시퀀스 중 이미지의 수량, 유사도를 특성화하는 벡터 거리 등을 도시할 뿐, 본 개시에 대한 한정을 암시하는 것이 아님을 이해하여야 한다. 예를 들면, 다양한 방법을 적용하여 이미지의 특징 벡터를 계산할 수도 있고 다른 벡터 거리를 적용하여 이미지 시퀀스 간의 유사도를 특성화할 수도 있다. 본 개시는 이러한 측면에서 한정받지 않는다.
S203에서, 이미지 처리 기기(110)는 제1 유사도 측도에 따라 이미지 시퀀스 집합을 하나 또는 복수의 이미지 시퀀스 부분집합으로 분할할 수 있다.
아래, 도 3을 참조하여 도 2를 서술하고자 한다. 도 3a는 본 출원의 실시예에 따른 이미지 시퀀스 집합의 개략도(301)이다. 도 3b는 본 출원의 실시예에 따른 복수의 이미지 시퀀스 부분집합의 개략도(302)이다. 도 3a에 도시한 바와 같이, 취득된 7개의 이미지 시퀀스는 각각 번호 1 내지 7로 표시한다. 각 이미지 시퀀스 중의 이미지의 수량은 같을 수도 있고 다를 수도 있다. 전통적인 3차원 이미지 재구성 방안에서는, 각각의 2개의 이미지 시퀀스 중의 이미지 사이마다 모두 특징 매칭 계산을 수행한다. 도 3b에 도시한 바와 같이, 이러한 7개의 이미지 시퀀스는 3개 이미지 시퀀스 부분집합으로 분할되는바, 여기서, 이미지 시퀀스(1), 이미지 시퀀스(2) 및 이미지 시퀀스(4)가 하나의 이미지 시퀀스 부분집합이고 이미지 시퀀스(1), 이미지 시퀀스(3) 및 이미지 시퀀스(6)이 하나의 이미지 시퀀스 부분집합이고 이미지 시퀀스(1), 이미지 시퀀스(5) 및 이미지 시퀀스(7)이 하나의 이미지 시퀀스 부분집합이다. 이미지 시퀀스 집합을 어떻게 하나 또는 복수의 이미지 시퀀스 부분집합으로 분할할 것인가에 대한 세부사항은 아래 도 5를 참조하여 상세히 서술하고자 한다.
지금 도 2로 돌아간다. S204에서, 이미지 처리 기기(110)는 각 이미지 시퀀스 부분집합 중 하나의 이미지 시퀀스 중의 이미지와 이미지 시퀀스 부분집합 중 다른 이미지 시퀀스 중의 이미지 간의 관련도를 결정할 수 있다.
예를 들면, 일부 실시에서, 이미지 처리 기기(110)는 각 이미지의 특징 벡터를 결정하고 특징 벡터 간의 벡터 거리를 계산함으로써 하나의 이미지 시퀀스 중의 이미지와 이미지 시퀀스 부분집합 중 다른 이미지 시퀀스 중의 이미지 간의 관련도를 결정할 수 있다. 예를 들면, 여전히 도 3b를 참조하면, 이미지 시퀀스(1), 이미지 시퀀스(2) 및 이미지 시퀀스(4)로 구성되는 이미지 시퀀스 부분집합에 대하여, 이미지 처리 기기(110)는 이미지 시퀀스(1) 중의 이미지와 이미지 시퀀스(2) 또는 이미지 시퀀스(4) 중의 이미지의 관련도를 결정할 수 있다.
부가적으로, 일부 실시에서, 이미지 처리 기기(110)는 이미지의 관련도에 따라 각 이미지 시퀀스 부분집합 중의 관련된 이미지를 결정하고 관련된 이미지의 특징 매칭을 계산하여 3차원 이미지를 재구성할 수 있다. 부가적으로, 일부 실시에서, 이미지 처리 기기(110)는 결정된 관련된 이미지에 따라 이미지의 관련 그래프를 구축하여 서로 다른 이미지 시퀀스로부터의 어떠한 이미지들 간에 보다 높은 관련도를 가지는지를 지시할 수 있다. 도 4는 본 출원의 실시예에 따른 이미지 시퀀스 부분집합 중의 2개의 이미지 시퀀스의 개략도(400)이다. 도 4에 도시한 바와 같이, 이미지 처리 기기(110)는 위측의 이미지 시퀀스 중의 네 번째 이미지와 아래측의 이미지 시퀀스 중의 첫 번째 이미지 간의 관련도가 보다 높고 위측의 이미지 시퀀스 중의 다섯 번째 이미지와 아래측의 이미지 시퀀스 중의 두 번째 이미지 간의 관련도가 보다 높다고 결정할 수 있고, 이와 같이 유추한다. 이에 따라, 본 출원의 방안에서는, 각 이미지 시퀀스 부분집합 중의 관련된 이미지들 사이에 대하여서만 특징 매칭 계산을 수행하면 된다.
상술한 예시적인 실시예에서, 이미지 시퀀스 간의 유사도에 따라 이미지 시퀀스를 포함하는 이미지 시퀀스 집합을 하나 또는 복수의 이미지 시퀀스 부분집합으로 분할하고 각 이미지 시퀀스 부분집합 중 하나의 이미지 시퀀스 중의 이미지와 이미지 시퀀스 부분집합 중 다른 이미지 시퀀스 중의 이미지 간의 관련도를 결정하는 것에 의해, 고 관련도를 가지는 이미지를 효과적으로 결정함으로써 결정된 고 관련도인 이미지에 대해서만 후속의 시간 소모적이고 리소스 소모적인 특징 매칭 계산을 수행할 수 있도록 하는바, 이로써 계산량을 감소시키고 계산 효율을 향상시킬 수 있다.
이 외에도, 상술한 예시적인 실시예에서는, 이미지 시퀀스 집합이 하나 또는 복수의 이미지 시퀀스 부분집합으로 분할되므로, 따라서 서로 다른 이미지 시퀀스 부분집합을 서로 다른 컴퓨팅 기기에 할당하여 병렬된 특징 매칭 계산을 수행할 수 있다. 이러한 방식에 의하면, 계산 리소스를 충분히 이용할 수 있고, 나아가 계산 시간을 감소시키고 계산 효율을 향상시킬 수 있다.
도 5는 본 출원의 실시예에 따른 이미지 시퀀스 집합을 하나 또는 복수의 이미지 시퀀스 부분집합으로 분할하는 방법(500)의 개략도이다. 일부 실시에서, 방법(500)은 도 1에 도시한 이미지 처리 기기(110)에서 구현될 수 있다. 이해의 편의를 위해 아래 서술에서 언급되는 구체적인 데이터는 모두 예시적인 것인바, 본 개시의 보호 범위를 한정하기 위한 것이 아니다.
S501에서, 이미지 처리 기기(110)는 이미지 시퀀스 집합에서 기초 이미지 시퀀스를 결정할 수 있는바, 여기서 기초 이미지 시퀀스에 대응되는 제2 유사도 측도는 이미지 시퀀스 집합 중 다른 이미지 시퀀스에 대응되는 제2 유사도 측도보다 높거나 같고, 제2 유사도 측도는 제1 유사도 측도에 기반하여 결정된다.
예를 들면, 일부 실시에서, 이미지 처리 기기(110)는 우선 각 이미지 시퀀스와 다른 이미지 시퀀스 간의 각 제1 유사도 측도에 따라 제1 유사도 측도의 전체 합을 계산하여 제2 유사도 측도로 할 수 있다. 다음, 이미지 처리 기기(110)는 최고의 제2 유사도 측도를 가지는 이미지 시퀀스를 기초 이미지 시퀀스로 결정할 수 있다. 대안으로, 다른 일부 실시예에서, 하나 보다 많은 이미지 시퀀스가 최고의 제2 유사도 측도를 가지는 경우, 이러한 하나 보다 많은 이미지 시퀀스 중에서 하나의 이미지 시퀀스를 선택하여 기초 이미지 시퀀스로 한다. 단지 예시적인 목적에서 제1 유사도 측도로부터 제2 유사도 측도를 결정하는 방법을 도시한 것임을 이해하여야 한다. 또한 다른 방식을 사용하여 제2 유사도 측도를 결정할 수 있는바, 본 개시는 이러한 측면에서 한정받지 않는다.
S502에서, 이미지 처리 기기(110)는 이미지 시퀀스 집합을 하나 또는 복수의 이미지 시퀀스 부분집합으로 분할하여 각 이미지 시퀀스 부분집합이 기초 이미지 시퀀스 및 적어도 하나의 다른 이미지 시퀀스를 포함하게 할 수 있다. 바람직하게는, 기초 이미지 시퀀스와 적어도 하나의 다른 이미지 시퀀스 간의 제1 유사도 측도는 역치 유사도 측도보다 높다.
일부 실시에서, 이미지 처리 기기(110)는 우선 역치 유사도 측도에 따라 기초 이미지 시퀀스의 유사도가 역치 유사도 측도보다 높은 이미지 시퀀스를 결정할 수 있다. 부가적으로, 이미지 처리 기기(110)는 서로 간의 유사도가 역치 유사도 측도보다 높은 이미지 시퀀스를 결정할 수 있다. 일부 실시에서, 당해 역치 유사도 측도는 사전결정될 수 있다. 대안으로, 다른 일부 실시예에서, 당해 역치 유사도 측도는 각 이미지 시퀀스에 대응되는 각 제1 유사도 측도에 따라 결정될 수 있다. 예를 들면, 이미지 처리 기기(110)는 각 이미지 시퀀스에 대응되는 각 제1 유사도 측도를 시퀀싱하고 랭킹이 n번째인 유사도를 역치 유사도 측도로 결정할 수 있다.
지금 도 6을 참조하여 도 5를 서술하고자 한다. 도 6a 및 도 6b는 본 출원의 실시예에 따른 이미지 시퀀스 집합의 개략도이다. 도 6a에서, 이미지 시퀀스(1)은 기초 이미지 시퀀스로 결정된다. 실선은 이미지 시퀀스 간의 유사도가 역치 유사도 측도보다 높음을 표시하고 점선은 이미지 시퀀스 간의 유사도가 역치 유사도 측도보다 낮거나 같음을 표시한다. 도 6a에 도시한 바와 같이, 이미지 처리 기기(110)는 서로 간에 실선으로 연결된 이미지 시퀀스를 하나의 이미지 시퀀스 부분집합에 할당할 수 있고 각 이미지 시퀀스 부분집합은 기초 이미지 시퀀스(1)를 포함한다. 예를 들면, 이미지 처리 기기(110)는 이미지 시퀀스(1), 이미지 시퀀스(3) 및 이미지 시퀀스(6)을 하나의 이미지 시퀀스 부분집합에 할당하고 시퀀스(1), 이미지 시퀀스(6) 및 이미지 시퀀스(7)을 하나의 이미지 시퀀스 부분집합에 할당하고 이미지 시퀀스(1) 및 이미지 시퀀스(2)를 하나의 이미지 시퀀스 부분집합에 할당할 수 있는 등이다.
부가적으로, 일부 실시에서, 이미지 처리 기기(110)는 분할한 하나 또는 복수의 이미지 시퀀스 부분집합을 조정할 수 있다.
예를 들면, 일부 실시에서, 이미지 처리 기기(110)는 하기, 각 이미지 시퀀스 부분집합은 예정 수량의 이미지 시퀀스를 포함한다는 기준에 따라 하나 또는 복수의 이미지 시퀀스 부분집합을 조정할 수 있다. 일부 실시에서, 이미지 시퀀스 부분집합 중의 이미지 시퀀스의 수량이 예정 수량보다 적은 경우, 다른 이미지 시퀀스 중에서 하나의 이미지 시퀀스를 선택하여 당해 이미지 시퀀스 부분집합에 추가한다. 도 6b에 도시한 바와 같이, 기준이 각 이미지 시퀀스 부분집합에 3개 이미지 시퀀스가 포함되는 것이고, 이미지 처리 기기(110)에 의해 분할된 하나의 이미지 시퀀스 부분집합이 이미지 시퀀스(1) 및 이미지 시퀀스(2)만을 포함하는 경우, 이미지 처리 기기(110)는 제1 유사도 측도에 따라 이미지 시퀀스(4)를 당해 이미지 시퀀스 부분집합에 추가할 수 있다. 당해 실시예에서, 이미지 시퀀스(2)와 이미지 시퀀스(4) 간의 유사도는 역치 유사도 측도보다 낮으나(도 6a에서와 같이 점선으로 표시함)， 이미지 시퀀스(2)와 기초 이미지 시퀀스(1) 이외의 다른 이미지 시퀀스 간의 유사도보다 높거나 같다. 따라서, 상술한 기준 하에, 이미지 시퀀스(4)는 이미지 시퀀스(1)와 이미지 시퀀스(2)로 구성되는 이미지 시퀀스 부분집합에 포함되는 것으로 조정될 수 있다(도 6b에서와 같이 굵은 실선으로 표시함).
부가적으로 또는 대안으로, 일부 실시에서, 이미지 처리 기기(110)는 하기, 각 이미지 시퀀스는 오직 하나의 이미지 시퀀스 부분집합에만 속한다는 기준에 따라 하나 또는 복수의 이미지 시퀀스 부분집합을 조정할 수 있다. 일부 실시에서, 하나의 이미지 시퀀스가 복수의 이미지 시퀀스 부분집합에 할당될 수 있는 경우, 이미지 처리 기기(110)는 당해 복수의 이미지 시퀀스 부분집합에서 하나의 이미지 시퀀스 부분집합을 선택하여 당해 이미지 시퀀스를 할당할 수 있다. 여전히 도 6a를 참조하면, 예를 들어 이미지 시퀀스(6)이 이미지 시퀀스(1), 이미지 시퀀스(3) 및 이미지 시퀀스(6)을 포함하는 이미지 시퀀스 부분집합, 그리고 이미지 시퀀스(1), 이미지 시퀀스(6) 및 이미지 시퀀스(7)을 포함하는 이미지 시퀀스 부분집합(도 6a에서와 같이 전부 실선으로 표시)에 할당될 수 있는 경우, 이미지 처리 기기(110)는 이미지 시퀀스(6)을 이미지 시퀀스(1), 이미지 시퀀스(3) 및 이미지 시퀀스(6)을 포함하는 이미지 시퀀스 부분집합에만 할당하는 쪽으로 선택할 수 있고, 따라서, 도 6b에서, 이미지 시퀀스(6)과 이미지 시퀀스(7) 사이를 점선으로 표시하는 쪽으로 변경한다.
상술한 예시적인 실시예에서, 이미지 시퀀스 집합 중의 다른 이미지 시퀀스와 모두 보다 높은 유사도를 가지는 기초 이미지 시퀀스를 결정하고 이미지 시퀀스 집합을 기초 이미지 시퀀스 및 적어도 하나의 다른 이미지 시퀀스를 포함하는 하나 또는 복수의 이미지 시퀀스 부분집합으로 분할함으로써, 고 관련도를 가지는 이미지를 효율적으로 결정할 수 있다.
이 외에도, 상술한 예시적인 실시예에서, 각 이미지 시퀀스 부분집합은 서로 다른 컴퓨팅 기기에 할당되어 특징 매칭 계산을 수행할 수 있으므로, 따라서, 다양한 기준에 의해 분할된 하나 또는 복수의 이미지 시퀀스 부분집합을 조정할 수 있는바, 계산 리소스를 충분하고 균등하게 이용할 수 있다.
도 7은 본 개시의 실시예에 따른 이미지를 처리하는 장치(700)의 예시적인 블록도이다. 도 7에 도시한 바와 같이, 장치(700)는, 이미지 시퀀스 집합을 취득하도록 구성되는 이미지 시퀀스 집합 취득 모듈(701) - 당해 이미지 시퀀스 집합은 복수의 이미지 시퀀스를 포함함 - ; 이미지 시퀀스 집합 중의 이미지 시퀀스 간의 제1 유사도 측도를 결정하도록 구성되는 유사도 측도 결정 모듈(702); 제1 유사도 측도에 기반하여 이미지 시퀀스 집합을 하나 또는 복수의 이미지 시퀀스 부분집합으로 분할하도록 구성되는 이미지 시퀀스 집합 분할 모듈(703); 및 각 이미지 시퀀스 부분집합에서 하나의 이미지 시퀀스 중의 이미지와 이미지 시퀀스 부분집합 중 다른 이미지 시퀀스 중의 이미지 간의 관련도를 결정하도록 구성되는 이미지 관련도 결정 모듈(704)을 포함할 수 있다.
일부 실시예에서, 유사도 측도 결정 모듈(702)은, 이미지 시퀀스 집합 중의 각 이미지에 대응되는 특징 벡터를 결정하도록 구성되는 특징 벡터 결정 모듈(미도시); 및 특징 벡터에 기반하여 이미지 시퀀스 집합 중의 이미지 시퀀스 간의 제1 유사도 측도를 결정하도록 구성되는 제1 유사도 측도 결정 모듈(미도시)을 포함한다.
일부 실시예에서, 이미지 시퀀스 집합 분할 모듈(703)은, 이미지 시퀀스 집합에서 기초 이미지 시퀀스를 결정하도록 구성되는 기초 이미지 시퀀스 결정 모듈(미도시) - 여기서 기초 이미지 시퀀스에 대응되는 제2 유사도 측도는 이미지 시퀀스 집합 중 다른 이미지 시퀀스에 대응되는 제2 유사도 측도보다 높거나 같고, 제2 유사도 측도는 제1 유사도 측도에 기반하여 결정됨 - ; 및 이미지 시퀀스 집합을 하나 또는 복수의 이미지 시퀀스 부분집합으로 분할하여 각 이미지 시퀀스 부분집합이 기초 이미지 시퀀스 및 적어도 하나의 다른 이미지 시퀀스를 포함하게 하도록 구성되는 제1 이미지 시퀀스 집합 분할 모듈(미도시) - 기초 이미지 시퀀스와 적어도 하나의 다른 이미지 시퀀스 간의 제1 유사도 측도는 역치 유사도 측도보다 높음 - 을 포함한다.
일부 실시예에서, 제1 이미지 시퀀스 집합 분할 모듈(미도시)은, 하나 또는 복수의 이미지 시퀀스를 조정하도록 구성되는 이미지 시퀀스 부분집합 조정 모듈(미도시)을 포함하고, 여기서 조정은 하기 기준인, 각 이미지 시퀀스 부분집합은 예정 수량의 이미지 시퀀스를 포함하는 것; 및 각 이미지 시퀀스는 오직 하나의 이미지 시퀀스 부분집합에만 속하는 것 중의 적어도 하나에 기반한다.
일부 실시예에서, 장치(700)는, 관련도에 기반하여 각 이미지 시퀀스 부분집합 중의 관련된 이미지를 결정하도록 구성되는 관련 이미지 결정 모듈(미도시); 및 관련된 이미지의 특징 매칭을 계산하여 3차원 이미지를 재구성하도록 구성되는 이미지 재구성 모듈(미도시)을 더 포함한다.
본 출원의 실시예에 따르면, 본 출원은 전자 기기 및 판독가능 저장 매체를 더 제공한다.
도 8에 도시한 바로는, 본 출원의 실시예에 따른 이미지를 처리하는 방법의 전자 기기의 블록도이다. 전자 기기는 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크벤치, 개인용 디지털 보조기, 서버, 블레이드 서버, 대형 컴퓨터 및 다른 적합한 컴퓨터와 같은 다양한 형식의 디지털 컴퓨터를 가리키고자 하는 것이다. 전자 기기는 또한, 개인용 디지털 보조기, 셀룰러 폰, 스마트폰, 웨어러블 기기 및 다른 이와 유사한 컴퓨팅 기기와 같은 다양한 형식의 이동 장치를 가리킬 수 있다. 본 명세서에서 제시하는 부품, 이들의 연결과 관계 및 이들의 기능은 단지 예시일 뿐, 본 명세서에서 서술한 및/또는 청구하는 본 출원의 구현을 한정하고자 하는 것이 아니다.
도 8에 도시한 바와 같은 바와 같이, 당해 전자 기기는 하나 또는 복수의 프로세서(801), 메모리(802)를 포함하고, 각 부품을 연결하는 인터페이스는 고속 인터페이스와 저속 인터페이스를 포함한다. 각 부품은 서로 다른 버스를 이용하여 서로 연결되고 공통 메인보드에 장착되거나 또는 필요에 따라 다른 방식으로 장착될 수 있다. 프로세서는 전자 기기 내에서 실행되는 명령을 처리할 수 있는바, 메모리에 저장되어 외부 입력/출력 장치(인터페이스에 커플링된 표시 기기와 같은)에 GUI의 그래픽 정보를 표시하기 위한 명령이 포함된다. 다른 실시 방식에서, 필요하다면 복수의 프로세서 및/또는 복수의 버스를 복수의 메모리와 함께 사용할 수 있다. 마찬가지로, 복수의 전자 기기를 연결할 수 있고, 각 기기는(예를 들어 서버 어레이, 한 그룹의 블레이드 서버 또는 멀티프로세서 시스템으로서) 일부 필요한 조작을 제공할 수 있다. 도 8은 하나의 프로세서(801)를 예시로 한다.
메모리(802)가 바로 본 출원에 의해 제공되는 비일시적 컴퓨터 판독가능 저장 매체이다. 상기 메모리에는 적어도 하나의 프로세서에 의해 실행될 수 있는 명령이 저장되어 있는바, 상기 적어도 하나의 프로세서에 의해 본 출원에 의해 제공되는 이미지를 처리하는 방법이 수행되도록 한다. 본 출원의 비일시적 컴퓨터 판독가능 저장 매체는 컴퓨터 명령을 저장하고, 당해 컴퓨터 명령은 컴퓨터에 의해 본 출원에 의해 제공되는 이미지를 처리하는 방법이 수행되도록 한다.
메모리(802)는 비일시적 컴퓨터 판독 가능 저장 매체로서, 본 출원의 실시예의 이미지를 처리하는 방법에 대응되는 프로그램 명령/모듈(예를 들면, 첨부 도면7에 도시한 이미지 시퀀스 집합 취득 모듈(701), 유사도 측도 결정 모듈(702), 이미지 시퀀스 집합 분할 모듈(703) 및 이미지 관련도 결정 모듈(704))과 같은 비일시적 소프트웨어 프로그램, 비일시적 컴퓨터 실행가능 프로그램 및 모듈을 저장할 수 있다. 프로세서(801)는 메모리(802)에 저장되는 비일시적 소프트웨어 프로그램, 명령 및 모듈을 실행함으로써 서버의 다양한 기능 응용 및 데이터 처리를 실행하는바, 즉 상술한 방법 실시예에서의 이미지를 처리하는 방법을 구현한다.
메모리(802)는 프로그램 저장 영역과 데이터 저장 영역을 포함할 수 있는바, 여기서, 프로그램 저장 영역은 운영 체제, 적어도 하나의 기능에 있어서 필요한 응용 프로그램을 저장할 수 있고, 데이터 저장 영역은 이미지 처리하는 전자 기기의 사용에 따라 생성되는 데이터 등을 저장할 수 있다. 이 외에도, 메모리(802)는 고속 랜덤 액세스 메모리를 포함할 수도 있고, 비일시적 메모리, 예를 들어 적어도 하나의 자기 디스크 저장 디바이스, 플래시 메모리 디바이스 또는 다른 비일시적 고체 상태 저장 디바이스를 더 포함할 수도 있다. 일부 실시에서, 메모리(802)는 대안적으로 프로세서(801) 대비 원격 설치되는 메모리를 포함하는바, 이러한 원격 메모리는 네트워크를 통해 이미지를 처리하는 전자 기기에 연결된다. 상술한 네트워크의 실제 예는 인터넷, 기업 내부 네트워크, 근거리 통신망, 이동 통신 네트워크 및 이들의 조합을 포함하나 이에 한정되지 않는다.
이미지를 처리하는 방법의 전자 기기는 입력 장치(803)와 출력 장치(804)를 더 포함할 수 있다. 프로세서(801), 메모리(802), 입력 장치(803) 및 출력 장치(804)는 버스 또는 다른 방식으로 연결될 수 있고, 도 8은 버스에 의한 연결을 예시로 한다.
입력 장치(803)는 입력되는 숫자 또는 문자(character) 정보를 수신하고, 이미지를 처리하는 전자 기기의 사용자 설정 및 기능 제어에 관련되는 키 신호 입력을 발생시킬 수 있는바, 예를 들면 터치 스크린, 숫자 키패드, 마우스, 트랙패드, 터치패드, 포인팅 스틱, 하나 또는 복수의 마우스 버튼, 트랙볼, 조이스틱 등의 입력 장치가 있다. 출력 장치(804)는 표시 기기, 보조 조명장치(예를 들어 LED) 및 촉각 피드백 장치(예를 들어 진동 모터) 등을 포함할 수 있다. 당해 표시 기기는 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이 및 플라즈마 디스플레이를 포함할 수 있으나 이에 한정되지 않는다. 일부 실시 방식에서 표시 기기는 터치 스크린일 수 있다.
여기서 서술하는 시스템과 기술의 다양한 실시 방식은 디지털 전자회로 시스템, 집적회로 시스템, 주문형ASIC(주문형 집적회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합에서 구현될 수 있다. 이러한 다양한 실시 방식은 하나 또는 복수의 컴퓨터 프로그램에서 실시되는 것을 포함할 수 있고, 당해 하나 또는 복수의 컴퓨터 프로그램은 적어도 하나의 프로그램가능 프로세서를 포함하는 프로그램가능 시스템에서 실행되거나 및/또는 해석될 수 있고, 당해 프로그램가능 프로세서는 전용의 또는 범용의 프로그램가능 프로세서일 수 있고, 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치로부터 데이터와 명령을 수신하고 데이터와 명령을 당해 저장 시스템, 당해 적어도 하나의 입력 장치 및 당해 적어도 하나의 출력 장치로 전송할 수 있다.
이러한 컴퓨팅 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션 또는 코드로 지칭되기도 함)은 프로그램가능 프로세서의 기계 명령을 포함하며, 고급 절차 프로그래밍 언어 및/또는 객체지향 프로그래밍 언어, 및/또는 어셈블리어/기계어를 이용하여 이러한 컴퓨팅 프로그램을 실시할 수 있다. 본 명세서에서 사용한 바와 같이, 용어 '기계 판독가능 매체'와 '컴퓨터 판독가능 매체'는 기계 명령 및/또는 데이터를 프로그램가능 프로세서에 제공하기 위한 임의의 컴퓨터 프로그램 제품, 기기, 및/또는 장치(예를 들면 자기 디스크, 광 디스크, 메모리, 프로그램가능 논리 장치(PLD))를 가리키는바, 이는 기계 판독가능 신호로서의 기계 명령을 수신하는 기계 판독가능 매체를 포함한다. 용어 '기계 판독가능 신호'는 기계 명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위한 임의의 신호를 가리킨다.
사용자와의 인터랙션을 제공하기 위해, 여기서 서술하는 시스템과 기술을 컴퓨터에서 실시할 수 있는바, 당해 컴퓨터는 사용자한테 정보를 표시하기 위한 표시 장치(예를 들면 음극선관(CRT) 또는 액정 디스플레이(LCD) 모니터) 및 키보드와 포인팅 장치(예를 들면 마우스 또는 트랙볼)를 구비하고, 사용자는 당해 키보드와 당해 포인팅 장치를 통해 입력을 컴퓨터에 제공할 수 있다. 다른 종류의 장치 또한 사용자와의 인터랙션을 제공하는 데 사용될 수 있는바, 예를 들면 사용자한테 제공되는 피드백은 임의 형식의 감각 피드백(예를 들어 시각 피드백, 청각 피드백 또는 촉각 피드백)일 수 있고, 임의 형식(소리 입력, 음성 입력 또는 촉각 입력을 포함함)으로 사용자로부터의 입력이 수신될 수 있다.
여기서 서술하는 시스템과 기술을 백스테이지 부품을 포함하는 컴퓨팅 시스템(예를 들면 데이터 서버로서), 미들웨어 부품을 포함하는 컴퓨팅 시스템(예를 들면 애플리케이션 서버), 프론트엔드 부품을 포함하는 컴퓨팅 시스템(예를 들면 그래픽 사용자 인터페이스 또는 네트워크 브라우저를 구비하는 사용자 컴퓨터가 있고, 사용자는 당해 그래픽 사용자 인터페이스 또는 당해 네트워크 브라우저를 통해 여기서 서술하는 시스템 및 기술의 실시 방식과 인터랙션할 수 있음), 또는 이러한 백그라운드 부품, 미들웨어 부품 또는 프런트 엔드 부품의 임의 조합을 포함하는 컴퓨팅 시스템에서 실시할 수 있다. 임의 형식 또는 매체의 디지털 데이터 통신(예를 들면 통신 네트워크)으로 시스템의 부품을 서로 연결시킬 수 있다. 통신 네트워크의 예시는 근거리 통신망(LAN), 광대역 통신망(WAN) 및 인터넷을 포함한다.
컴퓨터 시스템은 클라이언트와 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있고, 통상적으로 통신 네트워크를 통해 인터랙션한다. 상응한 컴퓨터에서 실행되고 서로 클라이언트-서버 관계를 가지는 컴퓨터 프로그램에 의해 클라이언트와 서버의 관계가 발생한다.
본 출원의 실시예에 따른 기술 방안은, 이미지 시퀀스 간의 유사도에 따라 이미지 시퀀스를 포함하는 이미지 시퀀스 집합을 하나 또는 복수의 이미지 시퀀스 부분집합으로 분할하고 각 이미지 시퀀스 부분집합 중 하나의 이미지 시퀀스 중의 이미지와 이미지 시퀀스 부분집합 중 다른 이미지 시퀀스 중의 이미지 간의 관련도를 결정하는 것에 의해, 고 관련도를 가지는 이미지를 효과적으로 결정함으로써 결정된 고 관련도인 이미지에 대해서만 후속의 시간 소모적이고 리소스 소모적인 특징 매칭 계산을 수행할 수 있도록 하는바, 이로써 계산량을 감소시키고 계산 효율을 향상시킬 수 있다. 이 외에도, 이미지 시퀀스 집합이 하나 또는 복수의 이미지 시퀀스 부분집합으로 분할되므로, 따라서 서로 다른 이미지 시퀀스 부분집합을 서로 다른 컴퓨팅 기기에 할당하여 병렬된 특징 매칭 계산을 수행할 수 있다. 이러한 방식에 의하면, 계산 리소스를 충분히 이용할 수 있고, 나아가 계산 시간을 감소시키고 계산 효율을 향상시킬 수 있다.
위에서 제시한 다양한 형식의 흐름을 적용하여 단계를 재정렬, 증가 또는 삭제할 수 있음을 이해하여야 한다. 예를 들면, 본 출원에 기재된 각 단계는 병렬로 수행될 수도 있고, 순차로 수행될 수도 있고, 서로 다른 순서로 실행될 수도 있는바, 본 출원에서 개시하는 기술 방안에 대한 기대 결과를 구현할 수만 있으면 되는 것으로, 본 명세서는 이에 대해 한정하지 않는다.
상술한 구체적인 실시 방식은 본 출원의 보호 범위를 한정하지 않는다. 당업자라면, 설계 요구 및 다른 요소에 따라 다양한 수정, 조합, 서브 조합 및 치환이 가능하다는 것을 알아야 할 것이다. 본 출원의 사상과 원칙 내에서 행하는 임의의 수정, 등가적 치환 및 개량 등은 모두 본 출원의 보호 범위에 포함되어야 한다.

Claims (13)

  1. 이미지를 처리하는 장치에 의해 실행되는 이미지를 처리하는 방법으로서,
    이미지 시퀀스 집합 취득 모듈이 이미지 시퀀스 집합을 취득하는 단계 - 상기 이미지 시퀀스 집합은 복수의 이미지 시퀀스를 포함함 - ;
    유사도 측도 결정 모듈이 상기 이미지 시퀀스 집합 중의 이미지 시퀀스 간의 제1 유사도 측도를 결정하는 단계;
    이미지 시퀀스 집합 분할 모듈이 상기 제1 유사도 측도에 기반하여 상기 이미지 시퀀스 집합을 하나 또는 복수의 이미지 시퀀스 부분집합으로 분할하는 단계; 및
    이미지 관련도 결정 모듈이 각 상기 이미지 시퀀스 부분집합에서 하나의 이미지 시퀀스 중의 이미지와 상기 이미지 시퀀스 부분집합 중 다른 이미지 시퀀스 중의 이미지 간의 관련도를 결정하는 단계를 포함하고,
    상술한 이미지 시퀀스 집합 분할 모듈이 상기 제1 유사도 측도에 기반하여 상기 이미지 시퀀스 집합을 하나 또는 복수의 이미지 시퀀스 부분집합으로 분할하는 단계는
    기초 이미지 시퀀스 결정 모듈이 상기 이미지 시퀀스 집합에서 기초 이미지 시퀀스를 결정하는 단계 - 상기 기초 이미지 시퀀스에 대응되는 제2 유사도 측도는 상기 이미지 시퀀스 집합 중 다른 이미지 시퀀스에 대응되는 제2 유사도 측도보다 높거나 같고, 상기 제2 유사도 측도는 상기 제1 유사도 측도에 기반하여 결정됨 - ; 및
    제1 이미지 시퀀스 집합 분할 모듈이 상기 이미지 시퀀스 집합을 상기 하나 또는 복수의 이미지 시퀀스 부분집합으로 분할하여 각 상기 이미지 시퀀스 부분집합이 상기 기초 이미지 시퀀스 및 적어도 하나의 다른 이미지 시퀀스를 포함하게 하는 단계 - 상기 기초 이미지 시퀀스와 상기 적어도 하나의 다른 이미지 시퀀스 간의 상기 제1 유사도 측도는 역치 유사도 측도보다 높음 - 를 포함하는 이미지를 처리하는 방법.
  2. 삭제
  3. 제1항에 있어서,
    상술한 유사도 측도 결정 모듈이 상기 이미지 시퀀스 집합 중의 이미지 시퀀스 간의 제1 유사도 측도를 결정하는 단계는
    특징 벡터 결정 모듈이 상기 이미지 시퀀스 집합 중의 각 이미지에 대응되는 특징 벡터를 결정하는 단계; 및
    제1 유사도 측도 결정 모듈이 상기 특징 벡터에 기반하여 상기 이미지 시퀀스 집합 중의 이미지 시퀀스 간의 상기 제1 유사도 측도를 결정하는 단계를 포함하는 이미지를 처리하는 방법.
  4. 제1항에 있어서,
    상술한 제1 이미지 시퀀스 집합 분할 모듈이 상기 이미지 시퀀스 집합을 상기 하나 또는 복수의 이미지 시퀀스 부분집합으로 분할하여 각 상기 이미지 시퀀스 부분집합이 상기 기초 이미지 시퀀스 및 적어도 하나의 다른 이미지 시퀀스를 포함하게 하는 단계는
    이미지 시퀀스 부분집합 조정 모듈이 상기 하나 또는 복수의 이미지 시퀀스 부분집합을 조정하는 단계를 포함하고
    상기 조정은 하기 기준인,
    각 상기 이미지 시퀀스 부분집합은 예정 수량의 이미지 시퀀스를 포함하는 것; 및
    각 상기 이미지 시퀀스는 오직 하나의 상기 이미지 시퀀스 부분집합에만 속하는 것 중의 적어도 하나에 기반하는 이미지를 처리하는 방법.
  5. 제1항에 있어서,
    상기 방법은
    관련 이미지 결정 모듈이 상기 관련도에 기반하여 각 상기 이미지 시퀀스 부분집합 중의 관련된 이미지를 결정하는 단계; 및
    이미지 재구성 모듈이 상기 관련된 이미지의 특징 매칭을 계산하여 3차원 이미지를 재구성하는 단계를 더 포함하는 이미지를 처리하는 방법.
  6. 이미지를 처리하는 장치로서,
    이미지 시퀀스 집합을 취득하도록 구성되는 이미지 시퀀스 집합 취득 모듈 - 상기 이미지 시퀀스 집합은 복수의 이미지 시퀀스를 포함함 - ;
    상기 이미지 시퀀스 집합 중의 이미지 시퀀스 간의 제1 유사도 측도를 결정하도록 구성되는 유사도 측도 결정 모듈;
    상기 제1 유사도 측도에 기반하여 상기 이미지 시퀀스 집합을 하나 또는 복수의 이미지 시퀀스 부분집합으로 분할하도록 구성되는 이미지 시퀀스 집합 분할 모듈; 및
    각 상기 이미지 시퀀스 부분집합에서 하나의 이미지 시퀀스 중의 이미지와 상기 이미지 시퀀스 부분집합 중 다른 이미지 시퀀스 중의 이미지 간의 관련도를 결정하도록 구성되는 이미지 관련도 결정 모듈을 포함하고,
    상기 이미지 시퀀스 집합 분할 모듈은
    상기 이미지 시퀀스 집합에서 기초 이미지 시퀀스를 결정하도록 구성되는 기초 이미지 시퀀스 결정 모듈 - 상기 기초 이미지 시퀀스에 대응되는 제2 유사도 측도는 상기 이미지 시퀀스 집합 중 다른 이미지 시퀀스에 대응되는 제2 유사도 측도보다 높거나 같고, 상기 제2 유사도 측도는 상기 제1 유사도 측도에 기반하여 결정됨 - ; 및
    상기 이미지 시퀀스 집합을 상기 하나 또는 복수의 이미지 시퀀스 부분집합으로 분할하여 각 상기 이미지 시퀀스 부분집합이 상기 기초 이미지 시퀀스 및 적어도 하나의 다른 이미지 시퀀스를 포함하게 하도록 구성되는 제1 이미지 시퀀스 집합 분할 모듈 - 상기 기초 이미지 시퀀스와 상기 적어도 하나의 다른 이미지 시퀀스 간의 상기 제1 유사도 측도는 역치 유사도 측도보다 높음 - 을 포함하는 이미지를 처리하는 장치.
  7. 삭제
  8. 제6항에 있어서,
    상기 유사도 측도 결정 모듈은
    상기 이미지 시퀀스 집합 중의 각 이미지에 대응되는 특징 벡터를 결정하도록 구성되는 특징 벡터 결정 모듈; 및
    상기 특징 벡터에 기반하여 상기 이미지 시퀀스 집합 중의 이미지 시퀀스 간의 상기 제1 유사도 측도를 결정하도록 구성되는 제1 유사도 측도 결정 모듈을 포함하는 이미지를 처리하는 장치.
  9. 제6항에 있어서,
    상기 제1 이미지 시퀀스 집합 분할 모듈은
    상기 하나 또는 복수의 이미지 시퀀스 부분집합을 조정하도록 구성되는 이미지 시퀀스 부분집합 조정 모듈을 포함하고,
    상기 조정은 하기 기준인,
    각 상기 이미지 시퀀스 부분집합은 예정 수량의 이미지 시퀀스를 포함하는 것; 및
    각 상기 이미지 시퀀스는 오직 하나의 상기 이미지 시퀀스 부분집합에만 속하는 것 중의 적어도 하나에 기반하는 이미지를 처리하는 장치.
  10. 제6항에 있어서,
    상기 장치는
    상기 관련도에 기반하여 각 상기 이미지 시퀀스 부분집합 중의 관련된 이미지를 결정하도록 구성되는 관련 이미지 결정 모듈; 및
    상기 관련된 이미지의 특징 매칭을 계산하여 3차원 이미지를 재구성하도록 구성되는 이미지 재구성 모듈을 포함하는 이미지를 처리하는 장치.
  11. 전자 기기로서,
    적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서에 통신적으로 연결되는 메모리를 포함하고,
    상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행될 수 있는 명령이 저장되어 있고, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행됨으로써 상기 적어도 하나의 프로세서가 제1항, 제3항 내지 제5항 중 어느 한 항의 방법을 수행 가능하도록 하는 전자 기기.
  12. 컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독가능 저장 매체로서,
    상기 컴퓨터 명령은 상기 컴퓨터에 의해 제1항, 제3항 내지 제5항 중 어느 한 항의 방법이 수행되도록 하는 컴퓨터 판독가능 저장 매체.
  13. 매체에 저장된 컴퓨터 프로그램으로서,
    당해 프로그램이 프로세서에 의해 실행되는 경우, 제1항, 제3항 내지 제5항 중 어느 한 항의 방법이 수행되는 매체에 저장된 컴퓨터 프로그램.
KR1020210025905A 2020-06-30 2021-02-25 이미지를 처리하는 방법, 장치, 기기, 저장 매체 및 프로그램 KR102571513B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010623701.6A CN111860226B (zh) 2020-06-30 用于图像处理的方法、装置、设备以及存储介质
CN202010623701.6 2020-06-30

Publications (2)

Publication Number Publication Date
KR20220002064A KR20220002064A (ko) 2022-01-06
KR102571513B1 true KR102571513B1 (ko) 2023-08-29

Family

ID=72988943

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210025905A KR102571513B1 (ko) 2020-06-30 2021-02-25 이미지를 처리하는 방법, 장치, 기기, 저장 매체 및 프로그램

Country Status (4)

Country Link
US (1) US11704896B2 (ko)
EP (1) EP3872698B1 (ko)
JP (1) JP7246427B2 (ko)
KR (1) KR102571513B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113642961B (zh) * 2021-08-13 2024-04-16 京东科技信息技术有限公司 货物搬运过程中的监控方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002133420A (ja) * 2000-07-06 2002-05-10 Matsushita Electric Ind Co Ltd 映像インデックス付けおよびイメージ読み出しシステム
KR101910609B1 (ko) * 2017-07-24 2018-10-23 건국대학교 산학협력단 사용자 선택형 영상 제공 시스템 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6562197B2 (ja) 2014-06-20 2019-08-21 パナソニックＩｐマネジメント株式会社 画像処理方法および画像処理システム
JP6754992B2 (ja) 2016-04-22 2020-09-16 パナソニックＩｐマネジメント株式会社 三次元再構成方法
KR20180013523A (ko) * 2016-07-29 2018-02-07 삼성전자주식회사 이미지의 유사도에 기초하여 이미지들을 연속적으로 표시하는 방법 및 장치
WO2019058487A1 (ja) 2017-09-21 2019-03-28 オリンパス株式会社 ３次元復元画像処理装置、３次元復元画像処理方法及び３次元復元画像処理プログラムを記憶したコンピュータ読み取り可能な記憶媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002133420A (ja) * 2000-07-06 2002-05-10 Matsushita Electric Ind Co Ltd 映像インデックス付けおよびイメージ読み出しシステム
KR101910609B1 (ko) * 2017-07-24 2018-10-23 건국대학교 산학협력단 사용자 선택형 영상 제공 시스템 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
M. Farenzena et al., ‘Structure-and-Motion Pipeline on a Hierarchical Cluster Tree,’2009 IEEE ICCV Workshops, pp. 1489-1496 (2019.09.27.) 1부.*

Also Published As

Publication number Publication date
US11704896B2 (en) 2023-07-18
CN111860226A (zh) 2020-10-30
KR20220002064A (ko) 2022-01-06
EP3872698B1 (en) 2023-11-15
EP3872698A3 (en) 2021-10-06
JP2021192226A (ja) 2021-12-16
US20210216811A1 (en) 2021-07-15
EP3872698A2 (en) 2021-09-01
JP7246427B2 (ja) 2023-03-27

Similar Documents

Publication Publication Date Title
CN111553844B (zh) 用于更新点云的方法及装置
CN111753961A (zh) 模型训练方法和装置、预测方法和装置
JP7228608B2 (ja) ビデオフレームの処理方法及び処理装置、電子機器、記憶媒体並びにコンピュータプログラム
JP2021119507A (ja) 車線の決定方法、車線測位精度の評価方法、車線の決定装置、車線測位精度の評価装置、電子デバイス、コンピュータ可読記憶媒体、及びプログラム
CN112527932B (zh) 道路数据处理的方法、装置、设备及存储介质
CN111507806A (zh) 虚拟试鞋方法、装置、设备以及存储介质
WO2013155417A2 (en) Data coreset compression
JP2022050311A (ja) 車両の車線変更を検出するための方法、装置、電子機器、記憶媒体、路側機、クラウド制御プラットフォーム、及びコンピュータプログラム
CN111597287B (zh) 地图生成方法、装置及设备
KR102571513B1 (ko) 이미지를 처리하는 방법, 장치, 기기, 저장 매체 및 프로그램
CN114792355B (zh) 虚拟形象生成方法、装置、电子设备和存储介质
CN111932464A (zh) 超分辨率模型使用和训练方法、装置、设备及介质
CN112541513B (zh) 一种模型训练方法、装置、设备及存储介质
CN111833391B (zh) 图像深度信息的估计方法及装置
WO2013097565A1 (en) Method and apparatus for processing three-dimensional model data
CN111177479A (zh) 获取关系网络图中节点的特征向量的方法以及装置
CN111860226B (zh) 用于图像处理的方法、装置、设备以及存储介质
US20210217187A1 (en) Method and apparatus for image processing and computer storage medium
CN111522837B (zh) 用于确定深度神经网络的耗时的方法和装置
JP7138208B2 (ja) データ間引き方法、データ間引き装置、電子機器、記憶媒体及びコンピュータプログラム製品
CN111782747B (zh) 地图数据处理方法及装置
CN112101284A (zh) 图像识别方法、图像识别模型的训练方法、装置及系统
CN112819498B (zh) 转化率确定方法、装置、电子设备和存储介质
JP7372377B2 (ja) 道路情報確定方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム
CN111782497B (zh) 测试方法、测试装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant