KR101678453B1 - 이미지 처리 장치 및 방법 - Google Patents

이미지 처리 장치 및 방법 Download PDF

Info

Publication number
KR101678453B1
KR101678453B1 KR1020140098045A KR20140098045A KR101678453B1 KR 101678453 B1 KR101678453 B1 KR 101678453B1 KR 1020140098045 A KR1020140098045 A KR 1020140098045A KR 20140098045 A KR20140098045 A KR 20140098045A KR 101678453 B1 KR101678453 B1 KR 101678453B1
Authority
KR
South Korea
Prior art keywords
image
learning
associative memory
sub
memory model
Prior art date
Application number
KR1020140098045A
Other languages
English (en)
Other versions
KR20160015583A (ko
Inventor
박지형
김형년
김익재
홍유진
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020140098045A priority Critical patent/KR101678453B1/ko
Publication of KR20160015583A publication Critical patent/KR20160015583A/ko
Application granted granted Critical
Publication of KR101678453B1 publication Critical patent/KR101678453B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 명세서의 일 실시예에 따른 이미지 처리 방법은 전체 이미지를 나타내는 학습 이미지를 서브 이미지들로 분할하고, 서브 이미지들의 관계를 연상 메모리 모델에서 학습하는 학습 단계; 및 전체 이미지의 부분을 나타내는 질의 이미지가 입력된 경우, 학습된 연상 메모리 모델을 이용하여 질의 이미지를 전체 이미지로 재구성하는 복원 단계를 포함할 수 있다.

Description

이미지 처리 장치 및 방법{IMAGE PROCESSING APPARATUS AND METHOD}
본 명세서는 이미지 처리에 관한 것으로, 보다 상세하게는 연상 메모리 모델을 이용하여 이미지를 처리하는 장치 및 방법에 관한 것이다.
최근 이미지 처리 기술의 발전에 따라, 이미지를 복원하는 다양한 방법이 나오고 있다. 종래의 방법은 부분적으로 손실된 이미지 또는 블러된(blurred) 부분을 갖는 이미지를 복원하는 방법을 제시하고 있다. 이러한 종래의 방법은 텍스처 합성 또는 특징점들 간의 관계 정보 등을 이용하여 이미지를 복원한다.
다만, 텍스처 합성을 이용하는 종래의 방법에 의하면, 동일한 특성 또는 패턴을 갖는 이미지가 아닌, 얼굴 이미지 내의 눈, 코, 입과 같이 부분과 전체의 상관성을 포함하는 이미지를 복원하는데 어려움이 따른다. 또한, 종래의 특징점들 간의 관계 정보 등을 이용하는 방법에 의하면, 부분 이미지만으로 전체 이미지를 재구성하는데 어려움이 따른다.
KR 10-2004-0079637
이에, 본 명세서는, 다중방향 연상 메모리 모델을 이용하여 부분 이미지로부터 전체 이미지를 재구성하는 이미지 처리 장치 및 방법을 제공한다.
본 명세서의 일 실시예에 따른 이미지 처리 방법은 전체 이미지를 나타내는 학습 이미지를 서브 이미지들로 분할하고, 서브 이미지들의 관계를 연상 메모리 모델에서 학습하는 학습 단계; 및 전체 이미지의 부분을 나타내는 질의 이미지가 입력된 경우, 학습된 연상 메모리 모델을 이용하여 질의 이미지를 전체 이미지로 재구성하는 복원 단계를 포함할 수 있다.
또한, 본 명세서의 일 실시예에 따른 이미지 처리 장치는 학습 이미지 또는 질의 이미지를 획득하는 이미지 획득부; 및 학습 이미지를 연상 메모리 모델에서 학습하고, 학습된 연상 메모리 모델을 이용하여 질의 이미지를 재구성하는 프로세서를 포함할 수 있다. 여기서, 학습 이미지는 전체 이미지이고, 질의 이미지는 전체 이미지의 부분이다. 또한, 프로세서는 학습 이미지를 서브 이미지들로 분할하고, 서브 이미지들의 관계를 연상 메모리 모델에서 학습할 수 있다.
본 명세서에 따르면, 이미지 처리 장치는 전체 이미지를 나타내는 학습 이미지를 서브 이미지로 분할하고, 서브 이미지들의 관계를 연상 메모리 모델에서 학습할 수 있다.
또한, 본 명세서에 따르면, 이미지 처리 장치는 전체 이미지의 부분을 나타내는 질의 이미지로부터 전체 이미지를 생성하고, 이미지를 식별할 수 있다.
도 1은 본 명세서의 일 실시예에 따른 이미지 처리 장치의 구성도이다.
도 2는 본 명세서의 일 실시예에 따른 다중방향 연상 메모리 모델의 구조를 나타낸다.
도 3은 본 명세서의 일 실시예에 따른 이미지 처리 장치의 학습 단계를 나타낸다.
도 4는 본 명세서의 일 실시예에 따른 이미지 처리 장치의 복원 단계를 나타낸다.
도 5는 본 명세서의 일 실시예에 따른 연상 캐스케이드에 의해 생성된 서브 이미지들 및 재구성된 이미지를 나타낸다.
도 6은 본 명세서의 일 실시예에 따른 이미지 처리 방법의 순서도이다.
도 7은 본 명세서의 일 실시예에 따른 이미지 처리 방법에서 학습 단계의 순서도이다.
도 8은 본 명세서의 일 실시예에 따른 이미지 처리 방법에서 복원 단계의 순서도이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 실시 예를 상세하게 설명하지만, 청구하고자 하는 범위는 실시 예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
도 1은 본 명세서의 일 실시예에 따른 이미지 처리 장치의 구성도이다.
도 1을 참조하면, 이미지 처리 장치는 이미지 획득부(110), 메모리(120) 및 프로세서(130)를 포함할 수 있다.
이미지 획득부(110)는 이미지를 획득할 수 있다. 이미지 획득부(110)는 학습 이미지 또는 질의 이미지를 획득할 수 있다. 일 실시예에서, 이미지 처리 장치는 사용자의 입력으로부터 학습 이미지를 획득할 수 있다. 다른 실시예에서, 이미지 처리 장치는 내부 또는 외부 서버로부터 학습 이미지를 획득할 수 있다. 여기서, 학습 이미지는 전체 이미지일 수 있고, 질의 이미지는 전체 이미지의 부분일 수 있다. 예를 들면, 학습 이미지는 얼굴 전체 이미지일 수 있고, 부분 이미지는 얼굴 부분(예컨대, 눈, 코 등) 이미지 일 수 있다.
메모리(120)는 데이터를 저장할 수 있다. 메모리(120)는 프로세서(130)에 의해 사용되는, 명령들 및 데이터를 저장할 수 있다. 본 명세서에서, 메모리(120)는 학습 단계를 통해 학습 이미지로부터 분할된 서브 이미지들의 관계를 저장할 수 있고, 복원 단계에서 저장된 데이터를 사용할 수 있다. 메모리(120)는 ROM, RAM, 소거 및 프로그램 가능한 메모(예컨대, EPROM 및 EEPROM), 플래시 메모리 또는 임의의 다른 유형의 메모리일 수 있다.
프로세서(130)는 다양한 애플리케이션을 실행하고, 이미지 처리 장치 내부의 데이터를 프로세싱할 수 있다. 또한, 프로세서(130)는 각 유닛들을 제어하며, 유닛들 간의 데이터 송수신을 매니지할 수 있다.
본 명세서에서, 프로세서(130)는 학습 이미지를 연상 메모리 모델에서 학습할 수 있다. 여기서, 연상 메모리 모델은 다중방향 연상 메모리 모델(Multidirectional Associative Memory: MAM)일 수 있다. 이러한 연상 메모리 모델의 구조에 대하여는 도 2를 참조하여 이하에서 상세히 설명하도록 한다. 일 실시예에서, 프로세서(130)는 학습 이미지를 서브 이미지들로 분할하고, 상기 서브 이미지들의 관계를 연상 메모리 모델에서 학습할 수 있다. 이에 대하여는 도 2 내지 도 3을 참조하여 이하에서 상세히 설명하도록 한다.
또한, 프로세서(130)는 학습된 연상 메모리 모델을 이용하여 질의 이미지를 재구성할 수 있다. 일 실시예에서, 프로세서(130)는 학습된 연상 메모리 모델에서 질의 이미지에 연관된 서브 이미지(인접 이미지)를 연상하여, 질의 이미지를 전체 이미지로 재구성할 수 있다. 이에 대하여는 도 2, 도 4 내지 도 5를 참조하여 이하에서 상세히 설명하도록 한다.
도 1은 본 명세서의 일 실시예에 따른 블록도로서, 분리하여 표시한 블록들은 디바이스의 엘러먼트들을 논리적으로 구별하여 도시한 것이다. 따라서 상술한 디바이스의 엘러먼트들은 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다.
이하에서는, 이미지 처리 장치에서 수행되는 각 단계나 동작이 사용자 입력(예를 들어, 터치 입력)의 수신에 의해 시작되거나 진행되는 경우, 수신된 사용자 입력에 따라 신호가 생성되어 수신되는 과정은 중복하여 설명하지 않아도 상술한 과정에 대한 설명이 포함된 것으로 한다. 또한, 입력에 따라 프로세서(130)가 이미지 처리 장치 또는 이미지 처리 장치에 포함된 적어도 하나의 유닛을 제어한다고 표현할 수 있으며, 프로세서(130)와 이미지 처리 장치를 동일시하여 설명할 수 있다.
도 2는 본 명세서의 일 실시예에 따른 다중방향 연상 메모리 모델(MAM)의 구조를 나타낸다. 도 2의 상단(210)은 2개의 연관된 인스턴스 및 부가정보로 구성된 하나의 트랜젝션을 나타내고, 도 2의 중단(220)은 각 인스턴스가 서브 샘플링을 통해 에지 구조로 변환되고 에지 구조가 연상 메모리 모델에 저장되는 에지 샘플링 및 두 연관된 계층 내의 에지들 간의 링크를 연결하는 링크 연결을 나타내고, 도 2의 하단(230)은 두 에지 간의 링크에 포함된 트랜젝션의 부가 정보를 갖는 내부-네트워크를 나타낸다.
1. MAM 모델의 구조
본 명세서에서 MAM 모델의 구조는 하이퍼네트워크에 기반한다. MAM 모델의 주요 특성은 자동-연상을 위한 내부 연결 및 양방향 연상을 위한 외부 연결 과 같은, 두 종류의 연결이 존재한다는 것이다. MAM 모델의 중심 프레임워크는 하이퍼그래프이다. MAM 모델에서, 네트워크 내의 노드들은 에지를 이루기 위하여 주어진 구조 내의 다른 노드들과 합쳐질 수 있다.
이러한 MAM 모델의 주요 특징은 에지 구조, 링크 구조 및 링크 구조 내의 내부 네트워크이다. 즉, MAM 모델의 주요 특징은 에지 구조, 링크 구조 및 이 관계를 메모리에 저장하는 하이퍼네트워크이다. MAM 모델의 기본 요소는 에지, 링크 및 가중치이다. 여기서, 에지는 미리 결정된 오더-사이즈(order-size)를 갖는 노드들의 조합을 의미한다. 예를 들면, 에지는 미리 결정된 차원을 갖는 노드들의 조합일 수 있다. 여기서, 링크는 연관된 두 에지들 간의 연결을 의미한다. 여기서, 가중치는 각 링크 연결의 강도(strength)를 의미하고, 그 범위는 0에서 1 사이일 수 있다.
MAM 모델은 두 연결된 인스턴스들 간의 시간 및 공간 관계와 같은, 부가 정보를 갖는 구조화된 데이터를 위한 계층적인 메모리 모델일 수 있다. 부가 정보는 상이한 계층 내의 두 에지들의 관계를 나타내기 위하여 메모리 모델 안으로 저장될 수도 있다. 이하에서는 MAM 모델의 기본적인 알고리즘을 설명하도록 한다.
2. 학습 단계
MAM 모델을 학습하기 위하여, 학습 데이터는 에지들로 분해되고, 각 에지의 관계로부터 링크가 결정되고, 그 후 링크에 대한 가중치가 부여된다. 여기서, 학습 데이터는 전처리된 데이터일 수 있다. 이는 도 3을 참조하여 이하에서 상세히 설명하도록 한다.
(1) 에지 샘플링
도 2의 상단에서처럼, MAM 모델에서 하나의 트랜젝션 I는 두 연관된 인스턴스 IA와 IB, 및 부가정보 X를 포함할 수 있다. 여기서, 부가정보 X는 공간 및 시간 차이와 같은, 두 연관된 인스턴스 간의 관계에 대한 정보를 포함할 수 있다.
도 2의 중단에서처럼, 두 인스턴스는 메모리 모델 내에서 상이한 계층으로 분리되고, 각 계층에서 각 인스턴스에 대한 에지 샘플링 과정이 수행될 수 있다. 여기서, 에지는 인스턴스의 부분 집합일 수 있다. 예를 들면, 두 인스턴스, IA와 IB 는 각각 제 1 계층 및 제 2 계층으로 분리되고, 제 1 계층에서 IA에 대한 에지 샘플링 과정이 수행되고, 제 2 계층에서 IB에 대한 에지 샘플링 과정이 수행될 수 있다.
여기서, 인스턴스의 차원이 d이고 에지의 차원이 k인 경우, 각 계층에서 인스턴스로부터 추출될 수 있는 에지의 총 수는
Figure 112014072664532-pat00001
일 수 있다. 상술한 방법을 통해 인스턴스로부터 추출된 에지들은 이전에 샘플링된 에지 세트와 비교되고, 단지 이전에 샘플링된 에지 세트 내의 에지들과 상이한 조합의 값을 갖는 새로운 에지 만이 에지 세트에 저장될 수 있다. 이를 통해, 메모리가 선형적으로 커지지 않고, 수렴될 수 있다.
(2) 링크 연결
에지 샘플링 이후의 학습 단계에서, 두 연관된 계층 내의 에지들 간의 링크들이 결정될 수 있다. 예를 들면, 도 2의 중단에서처럼, 서로 연관된 제 1 계층 및 제 2 계층 내의 에지들 간의 링크들이 결정될 수 있다. 링크들은 다음 두 절차, 활성화(activation) 및 연결(connection)을 이용하여 연결될 수 있다.
“활성화”는 추출된 에지들과 인스턴스들을 비교하여 포함 관계(including relation)를 찾는 절차다. 만일 에지 세트 내의 에지가 학습을 위해 입력된 인스턴스에 포함되는 서브 세트이면, 에지는 인스턴스에 의해 활성화될 수 있다. 이 경우, 입력 인스턴스와 가장 가까운 거리(예컨대, 유클리디안 거리)를 갖는 에지들이 활성화될 수 있다. 이러한 활성화는 다음 방정식 1의 함수에 의해 표현될 수 있다.
Figure 112014072664532-pat00002
(1)
Figure 112014072664532-pat00003
(2)
여기서, xi는 추출된 에지 세트 내의 i번째 에지이고, IK는 학습 데이터 내의 k번째 인스턴스이다.
“연결”은 두 에지가 하나의 트랜젝션에 의해 상이한 계층에서 동시에 활성화되는 경우에 정의된다. 에지들이 활성화되고 링크가 이미 연결된 경우, 링크의 활성화 값은 증가할 수 있다. 활성화된 링크의 누적 값은 방정식 3에 의해 표현될 수 있다.
Figure 112014072664532-pat00004
(3)
여기서, i및 j는 두 계층 내의 에지의 인덱스를 나타낸다.
상술한 두 단계(에지 샘플링 및 링크 연결)를 통해, 데이터-드리븐(data-driven) 메모리 모델이 생성될 수 있다. 이는 학습 데이터가 에지 사이즈 및 링크 연결과 같은, 메모리 모델의 구조를 결정하는 것을 의미한다.
(3) 가중치 부여
상술한 두 단계 이후의 학습 단계에서, 각 링크들은 가중치를 부여 받을 수 있다. 일반적으로, 높은-값을 갖는 링크 연결(
Figure 112014072664532-pat00005
)은 에지들 간의 강한 관계를 나타내고, 링크의 가중치는
Figure 112014072664532-pat00006
에 비례한다. 결과적으로, 메모리 모델은
Figure 112014072664532-pat00007
의 낮은 카운트에서 빠르게 증가하고,
Figure 112014072664532-pat00008
의 높은 카운트에서 수렴하는 함수가 필요하다. 가중 함수는 방정식 4로 묘사된, 시그모이드(sigmoid) 함수에 의해 표현될 수 있다. 여기서, 출력
Figure 112014072664532-pat00009
은 [0, 1]에서 결정될 수 있다.
Figure 112014072664532-pat00010
(4)
여기서, Z는 정규화 팩터이고, C는 가중치의 수렴 속도를 결정하는 상수이다. 가중치의 수렴 속도는 C 값이 커지면 감소한다.
3. 복원 단계
복원 단계는 연상 메모리로부터 추론하는 단계이다. 이러한, 연상 추론은 활성화된 링크들의 가중치들을 합함에 따라 계산되는 에너지 함수에 기초한다. MAM 모델에서 연상은 에너지를 극대화하는 방향으로 진행된다. 포워드 연상을 표현하는 방정식에서, 하나의 계층 내의 입력 인스턴스 IA는 연관된 다른 계층 내의 다른 인스턴스 IB에 연관된다. 이러한 연관은 방정식 5를 사용하여 표현될 수 있다.
Figure 112014072664532-pat00011
(5)
여기서, W는 에지, 링크 및 가중치를 포함하는 모델 파라미터이다. 입력 인스턴스 IA는로부터 활성화된 제 1 계층 내의 모든 에지는 다음 계층 내의 에지들을 연상한다. 그 후, 연상된 에지들은 완전한 인스턴스를 구성하기 위하여 종합된다. 가중 합을 극대화하는 특정 차원에 대한 값은 다음 계층 내의 연관된 값들을 결정한다. 이는 방정식 6에 의해 표현된다.
Figure 112014072664532-pat00012
(6)
여기서,
Figure 112014072664532-pat00013
는 특정 차원 d의 값이다. 부가정보를 갖는 구조화된 데이터 세트는 다중방향 연상을 요구하고, 그 연상의 조건부 확률은 방정식 7로 조정된다.
Figure 112014072664532-pat00014
(7)
여기서, X는 부가정보를 포함하는 벡터를 나타낸다. 이 관계를 해결하기 위해, 우선 부가정보를 포함하는 가능한 벡터들이 검색될 수 있다.
Figure 112014072664532-pat00015
(8)
메모리 모델에서 입력 인스턴스 IA및 부가정보 X 간의 관계는 가능한 부가정보 X*에 따라 다중방향 및 순차적 연상의 집합을 구성한다. 부가정보 및 연상된 에지 모두가 추론된 경우, 메모리 모델로부터의 복원이 이루어질 수 있다. 활성화된 링크들로부터의 가중치들의 합은 그 연상이 수용될 수 있는지 여부를 결정하는 전체 에너지를 표현할 수 있다. 복원 단계에 대하여는 도 4 내지 5를 참조하여 이하에서 상세히 설명하도록 한다.
도 3은 본 명세서의 일 실시예에 따른 이미지 처리 장치의 학습 단계를 나타낸다. 보다 상세하게, 도 3은 학습 이미지로 얼굴 이미지가 입력된 경우, 이미지 처리 장치가 학습 이미지를 학습하는 단계를 나타낸다. 도 3에서는 도 2의 학습 단계에서 설명한 내용과 중복되는 설명은 생략하도록 한다.
학습 단계는 전처리 단계 및 인코딩 단계를 포함할 수 있다. 여기서, 전처리 단계는 학습 이미지를 획득하고, 획득된 학습 이미지를 연상 메모리 모델에 입력되는 학습 데이터로 변환하는 단계를 의미한다. 여기서, 인코딩 단계는 학습 데이터를 메모리 모델에 인코딩하는 단계를 의미한다.
전처리 단계에서, 이미지 처리 장치는 적어도 하나의 학습 이미지를 획득할 수 있다. 일 실시예에서, 이미지 처리 장치는 사용자의 입력으로부터 학습 이미지를 획득할 수 있다. 다른 실시예에서, 이미지 처리 장치는 내부 또는 외부 서버로부터 학습 이미지를 획득할 수 있다. 여기서, 학습 이미지는 전체 이미지일 수 있다. 예를 들면, 학습 이미지는, 310에서처럼, 얼굴 이미지일 수 있다.
또한, 전처리 단계에서, 이미지 처리 장치는 미리 설정된 알고리즘을 적용하여 학습 이미지로부터 특징점을 추출할 수 있다. 예를 들면, 이미지 처리 장치는, 320에서처럼, SIFT(Scale-Invariant Feature Transform) 알고리즘을 적용하여 얼굴 이미지로부터 특징점을 추출할 수 있다.
또한, 전처리 단계에서, 이미지 처리 장치는 학습 이미지를 각 특징점을 포함하는 서브 이미지들로, 즉 이미지 조각들로 분할할 수 있다. 예를 들면, 이미지 처리 장치는, 330에서처럼, 얼굴 이미지를 각 특징점을 중심으로 갖는 동일한 크기의 서브 이미지들로 분할할 수 있다. 331은 분할된 각 서브 이미지들은 나타낸다. 이를 통해, 학습 이미지는 특징 기반 조각화될 수 있다.
또한, 이미지 처리 장치는 각 서브 이미지들의 관계를 그래프 구조로 표현할 수 있다. 예를 들면, 이미지 처리 장치는, 340에서처럼, 들로네 삼각화를 이용하여 각 서브 이미지들 간의 관계를 계산할 수 있다. 343은 각 서브 이미지들 간의 관계를 나타낸다. 이를 통해, 학습 이미지는 특징점들에 기초하는 서브 이미지들의 그래프로 변환될 수 있다. 즉, 학습 이미지는 특징 기반 그래프 구조로 표현될 수 있다.
또한, 전처리 단계에서, 이미지 처리 장치는 각 서브 이미지들의 차원을 축소할 수 있다. 이미지 처리 장치는 미리 설정된 차원축소 알고리즘을 적용하여 각 서브 이미지들의 차원을 축소할 수 있다. 예를 들면, 이미지 처리 장치는 주성분분석, 즉, PCA(Principal Component Analysis)를 적용하여 서브 이미지들의 차원을 n 차원(dimension)으로 축소할 수 있다. 즉, 서브 이미지들은 PCA에 의해 고유벡터 공간으로 분해되고, 수치 데이터로 변환될 수 있다. 이 경우, 공간 관계는 인접한 두 특징점들의 유클리디안 거리로 표현될 수 있다. 이미지 처리 장치는 차원축소된 수치 데이터를 학습 데이터로 이용할 수 있고, 이러한 차원축소된 수치 데이터는 이후 다시 이미지로 복원될 수 있다.
상술한, 전처리 단계를 통해, 학습 이미지는 특징점 기반 조각화 및 그래프화될 수 있고, 이를 통해 획득된 각 서브 이미지들 간의 관계는 메모리 모델 안으로 저장될 수 있다.
인코딩 단계는 도 2에서 상술한, 에지 샘플링 단계, 링크 연결 단계 및 가중치 부여 단계를 포함할 수 있다.
에지 샘플링 단계에서, 이미지 처리 장치는 학습 데이터에 포함된 각 인스턴스를 샘플링하여 미리 결정된 차원을 갖는 에지들의 세트를 생성할 수 있다. 여기서, 인스턴스는 서브 이미지의 차원축소된 데이터에 대응될 수 있고, 에지는 인스턴스의 부분 집합에 대응될 수 있다. 예를 들면, 이미지 처리 장치는 제 1 인스턴스(n 차원)를 서브 샘플링하여 k (<n) 차원을 갖는 에지들의 집합인 제 1 에지 세트를 생성하고, 제 2 인스턴스(n 차원)를 서브 샘플링하여 k (<n) 차원을 갖는 에지들의 집합인 제 2 에지 세트를 생성할 수 있다. 이에 대하여는 도 2의 학습 단계의 에지 샘플링에서 상술한 바 자세한 설명은 생략한다.
링크 연결 단계에서, 이미지 처리 장치는 하나의 인스턴스 쌍으로부터 생성된 에지들을 연결하는 링크를 생성할 수 있다. 예를 들면, 이미지 처리 장치는 제 1 인스턴스로부터 생성된 제 1 에지 세트의 에지들 및 제 2 인스턴스로부터 생성된 제 2 에지 세트의 에지들을 연결하는 링크를 생성할 수 있다. 여기서, 링크들은 도 2의 학습 단계의 링크 연결에서 설명한 “활성화” 및 “연결”을 이용하여 연결될 수 있다. 또한, 가중치 부여 단계에서, 이미지 처리 장치는 각 링크의 연결횟수를 나타내는 가중치를 부여할 수 있다. 여기서, 가중치는 도 2의 학습 단계의 가중치 부여에서 설명한 가중 함수를 이용하여 계산될 수 있다.
이미지 처리 장치가 학습 이미지를 서브 이미지로 분해하고, 서로 연결된 서브 이미지들에 대한 모든 에지 및 링크 생성이 완료되어 메모리에 저장되면, 학습 단계가 종료된다. 도 3에서는 하나의 학습 이미지가 입력된 경우에 대해 설명하였으나, 이미지 처리 장치는 복수의 학습 이미지가 입력된 경우에도 상술한 과정을 반복하여 학습 단계를 수행할 수 있다.
도 4는 본 명세서의 일 실시예에 따른 이미지 처리 장치의 복원 단계를 나타낸다. 보다 상세하게, 도 4는 질의 이미지로 학습 이미지인 얼굴 이미지의 일부가 입력된 경우, 이미지 처리 장치가 질의 이미지를 복원하는 단계를 나타낸다. 도 4에서는 도 2의 복원 단계에서 설명한 내용과 중복되는 설명은 생략하도록 한다.
이미지 처리 장치는 질의 이미지(410)를 입력 받을 수 있다. 예를 들면, 이미지 처리 장치는 사용자로부터 질의 이미지(410)를 입력 받을 수 있다. 여기서, 질의 이미지(410)는 전체 이미지의 부분을 나타내는 이미지일 수 있다. 예를 들면, 학습 이미지가 얼굴 전체 이미지인 경우, 질의 이미지(410)는 눈이 포함된 부분 이미지일 수 있다.
또한, 이미지 처리 장치는 학습 단계에서와 동일한 방법으로 질의 이미지(410)에 대한 전처리를 수행하여, 연상 메모리에 입력되는 질의 데이터를 생성할 수 있다. 보다 상세히 설명하면, 이미지 처리 장치는 학습 단계에서 사용된 알고리즘과 동일한 SIFT 알고리즘을 이용하여 질의 이미지(410)로부터 특징점을 추출할 수 있다. 또한, 이미지 처리 장치는 학습 이미지를 각 특징점을 포함하는 서브 이미지들로 분할할 수 있다. 또한, 이미지 처리 장치는 학습 단계에서 적용된 차원축소 알고리즘과 동일한 PCA 알고리즘을 적용하여 각 서브 이미지들의 차원을 축소할 수 있다. 상술한 과정을 통해, 이미지 처리 장치는 질의 이미지(410)를 PCA 분해된 계수 어레이(420) 형태의 질의 데이터로 변환할 수 있다.
또한, 이미지 처리 장치는 질의 데이터를 이용하여 MAM 모델(430)을 활성화할 수 있다. 우선, 이미지 처리 장치는 메모리에 인코딩 된 에지 중 질의 데이터에 대응하는 에지를 활성화할 수 있다. 예를 들면, 이미지 처리 장치는 자동-연상을 통해 제 1 계층 내의 에지 중 질의 데이터에 대응하는 에지를 활성화할 수 있다. 또한, 이미지 처리 장치는 활성화된 에지에 연결된 링크들을 활성화할 수 있다. 또한, 이미지 처리 장치는 활성화된 에지 및 링크에 의해 연관된 다른 에지를 연상할 수 있다. 예를 들면, 이미지 처리 장치는 활성화된 에지 및 링크에 의해 제 1 계층에 연관된 제 2 계층 내의 에지를 연상할 수 있다.
또한, 이미지 처리 장치는 연상된 에지들을 종합하여 n차원을 갖는 수정된 계수 어레이(440) 형태의 연상 데이터를 생성할 수 있다. 또한, 이미지 처리 장치는 차원축소 알고리즘을 역변환하여 연상 데이터로부터 서브 이미지를 연상할 수 있다. 이 경우, 입력된 질의 이미지(410)와 연상된 서브 이미지(이하, 연상 이미지)(450)의 상호 위치 정보는 메모리 내에 포함되어 있으므로, 이미지 처리 장치는 이들의 관계를 고려하여 이미지를 재배치할 수 있다.
도 4에서는 하나의 질의 이미지(410)로부터 하나의 연상 이미지(450)가 연상되는 과정만을 설명하고 있으나, 이미지 처리 장치는 다중방향 연상을 이용하여 하나의 질의 이미지(410)로부터 이에 연관된 다수의 연상 이미지(450)를 생성할 수 있다. 또한, 이미지 처리 장치는 연상 이미지(450)를 다시 질의 이미지(410)로 입력하여 반복적으로 서브 이미지들을 연상할 수 있다. 이러한 방식으로 모든 서브 이미지들이 연상된 경우, 이미지 처리 장치는 질의 이미지를 재구성함으로써 전체 이미지를 복원할 수 있다. 즉, 이미지 처리 장치는 연상된 이미지들을 종합하여 배치함으로써, 질의 이미지로부터 전체 이미지를 복원할 수 있다. 이에 대한 설명은 도 5에서 상세히 하도록 한다.
도 5는 본 명세서의 일 실시예에 따른 연상 캐스케이드에 의해 생성된 서브 이미지들 및 재구성된 이미지를 나타낸다. 보다 상세하게, 도 5는 연상 캐스케이드에 의해 생성된 얼굴 조각 이미지들 및 재구성된 얼굴 이미지를 나타낸다. 도 5의 상단은 하나의 얼굴 조각이 다중방향 연상을 통해 수개의 인접 얼굴 조각을 연상하고, 연상된 얼굴 조각은 다시 다른 얼굴 조각들을 연상하는 것을 나타낸다. 또한, 도 5의 하단은 하나의 얼굴 조각이 전체 얼굴을 재구성하는 것을 나타낸다. 여기서, 파란 원은 초기 조각의 위치를 나타내고, 빨간 원은 연상된 조각이며 이와 동시에 새로운 시작 조각을 나타내고, 녹색 선은 연상된 공간 위치를 나타낸다.
도 5에서는 두 종류의 연상이 질의 이미지에 연관된 서브 이미지들을 연상하기 위해 적용된다. 첫 번째로, 자율 연합 메모리에 의한 자동 연상이 적용된다. 이를 통해, 이미지 처리 장치는 PCA 분해된 계수 어레이를 이용하여 연상 메모리 모델의 제 1 계층 내의 에지들을 활성화하고, 상술한 방정식 5를 통해 계수 어레이를 연상한다. 두 번째로, 다중방향 연상이 적용된다. 이 경우, 연상된 계수들이 다중방향 연상에 대한 메모리를 활성화할 수 있다. 이를 통해, 이미지 처리 장치는 제 1 계층에서 활성화된 에지들 및 활성화된 링크들을 통해 제 2 계층 내의 에지들을 연상한다. 다중방향 연상은 내부 네트워크에 저장된 공간 정보를 활용하여 메모리의 활성화를 구분함으로써 모든 가능한 공간 관계를 식별할 수 있다. 이를 통해, 이미지 처리 장치는 우선 공간관계 X를 결정하고, 그 후 방정식 7 및 8을 사용하여 연관된 인스턴스 를 추출할 수 있다.
다중방향 연상을 통해, 이미지 처리 장치는 인접 서브 이미지들을 연상할 수 있다. 그 후, 연상된 서브 이미지들은 다른 서브 이미지들을 연상하기 위한 새로운 질의 이미지가 될 수 있다. 이러한, 연상은 완전한 크기의 이미지를 생성하기 위하여 반복적으로 수행되는데, 이를 연상 캐스케이드로 칭할 수 있다. 이 경우, 포워드 및 백워드 연상 모두가 관련된 서브 이미지들을 검색하기 위하여 적용될 수 있고, 연상 캐스케이드는 더 이상의 서브 이미지들이 생성되지 않을 때까지 계속될 수 있다. 이러한 방식으로, 임의의 조각이 메모리 안으로 입력된 경우, 이미지 처리 장치는 입력 조각과 공간 관계를 갖는 연상된 조각들이 검색할 수 있다. 이때, 에지의 활성화 여부를 결정하는 활성화 함수의 임계값을 높게 유지하는 것은 랜덤 생성을 이루는 연상 캐스케이드를 방지하고, 단지 학습된 이미지의 간단한 검색만을 허용할 수 있다. 다른 한편으로, 낮은 임계값은 다양한 방향에서 유사한 패턴의 활성화를 허용할 수 있다.
도 6은 본 명세서의 일 실시예에 따른 이미지 처리 방법의 순서도이다. 본 순서도에서는 도 1 내지 도 5의 설명과 중복되는 부분에 대한 설명은 생략하도록 한다.
학습 단계(S100)에서, 이미지 처리 장치는 학습 이미지를 서브 이미지들로 분할하고, 서브 이미지들의 관계를 연상 메모리 모델에서 학습할 수 있다. 여기서, 학습 이미지는 전체 이미지를 나타내는 이미지일 수 있다. 예를 들면, 학습 이미지는 얼굴 전체 이미지일 수 있다. 여기서, 연상 메모리 모델은 다중방향 연상 메모리 모델일 수 있다. 학습 단계(S100)에 대하여는 도 7을 참조하여 이하에서 상세히 설명하도록 한다.
복원 단계(S200)에서, 이미지 처리 장치는 질의 이미지가 입력된 경우, 학습된 연상 메모리 모델을 이용하여 질의 이미지를 전체 이미지로 재구성할 수 있다. 여기서, 질의 이미지는 전체 이미지의 부분을 나타내는 이미지일 수 있다. 예를 들면, 질의 이미지는 얼굴의 일부인, 눈, 코 등의 이미지일 수 있다. 복원 단계(S200)에 대하여는 도 8을 참조하여 이하에서 상세히 설명하도록 한다.
도 7은 본 명세서의 일 실시예에 따른 이미지 처리 방법에서 학습 단계의 순서도이다. 본 순서도에서는 도 1 내지 도 6의 설명과 중복되는 부분에 대한 설명은 생략하도록 한다. 도 7을 참조하면, 학습 단계는 전처리 절차(S110) 및 인코딩 절차(S120)를 포함할 수 있다.
도 3에서 상술한 바와 같이, 전처리 절차(S110)에서, 이미지 처리 장치는 적어도 하나의 학습 이미지를 획득할 수 있다. 또한, 이미지 처리 장치는 미리 설정된 알고리즘을 적용하여 학습 이미지로부터 특징점을 추출할 수 있다. 또한, 이미지 처리 장치는 학습 이미지를 각 특징점을 포함하는 서브 이미지들로, 즉 이미지 조각들로 분할할 수 있다. 이를 통해, 학습 이미지는 특징 기반 조각화될 수 있다. 또한, 이미지 처리 장치는 각 서브 이미지들의 관계를 그래프 구조로 표현할 수 있다. 이를 통해, 학습 이미지는 특징 기반 그래프 구조화될 수 있다. 또한, 이미지 처리 장치는 미리 설정된 차원축소 알고리즘을 적용하여 각 서브 이미지들의 차원을 축소할 수 있다. 즉, 서브 이미지들은 PCA에 의해 고유벡터 공간으로 분해되고, 수치 데이터로 변환될 수 있다. 이 경우, 공간 관계는 인접한 두 특징점들의 유클리디안 거리로 표현될 수 있다. 이미지 처리 장치는 차원축소된 수치 데이터를 학습 데이터로 이용할 수 있고, 이러한 차원축소된 수치 데이터는 이후 다시 이미지로 복원될 수 있다. 상술한, 전처리 단계를 통해, 학습 이미지는 특징점 기반 조각화 및 그래프화될 수 있고, 이를 통해 획득된 각 서브 이미지들 간의 관계는 메모리 모델 안으로 저장될 수 있다.
도 2 내지 도 3에서 상술한 바와 같이, 인코딩 절차(S120)는 에지 샘플링 단계(S121), 링크 연결 단계(S122) 및 가중치 부여 단계(S123)를 포함할 수 있다.
에지 샘플링 단계(S121)에서, 이미지 처리 장치는 학습 데이터에 포함된 각 인스턴스를 샘플링하여 미리 결정된 차원을 갖는 에지들의 집합을 생성할 수 있다. 여기서, 인스턴스는 서브 이미지의 차원축소된 데이터에 대응될 수 있다. 링크 연결 단계(S122)에서, 이미지 처리 장치는 하나의 인스턴스 쌍으로부터 생성된 에지들을 연결하는 링크를 생성할 수 있다. 가중치 부여 단계(S123)에서, 이미지 처리 장치는 각 링크의 연결횟수를 나타내는 가중치를 부여할 수 있다.
이미지 처리 장치가 학습 이미지를 서브 이미지로 분해하고, 서로 연결된 서브 이미지들에 대한 모든 에지 및 링크 생성이 완료되어 메모리에 저장되면, 학습 단계가 종료된다.
도 8은 본 명세서의 일 실시예에 따른 이미지 처리 방법에서 복원 단계의 순서도이다. 본 순서도에서는 도 1 내지 도 7의 설명과 중복되는 부분에 대한 설명은 생략하도록 한다. 도 8을 참조하면, 복원 단계는 전처리 절차(S210), 연상 절차(S220) 및 재구성 절차(S230)를 포함할 수 있다.
도 4에서 상술한 바와 같이, 전처리 절차(S210)에서, 이미지 처리 장치는 질의 이미지를 입력 받을 수 있다. 또한, 이미지 처리 장치는 학습 단계에서와 동일한 방법으로 질의 이미지에 대한 전처리를 수행하여, 연상 메모리에 입력되는 질의 데이터를 생성할 수 있다. 보다 상세히 설명하면, 이미지 처리 장치는 학습 단계에서 사용된 알고리즘과 동일한 SIFT 알고리즘을 이용하여 질의 이미지로부터 특징점을 추출할 수 있다. 또한, 이미지 처리 장치는 학습 이미지를 각 특징점을 포함하는 서브 이미지들로 분할할 수 있다. 또한, 이미지 처리 장치는 학습 단계에서 적용된 차원축소 알고리즘과 동일한 PCA 알고리즘을 적용하여 각 서브 이미지들의 차원을 축소할 수 있다. 상술한 과정을 통해, 이미지 처리 장치는 질의 이미지를 PCA 분해된 계수 어레이 형태의 질의 데이터로 변환할 수 있다.
도 4에서 상술한 바와 같이, 연상 절차(S220)에서, 이미지 처리 장치는 질의 데이터를 이용하여 MAM 모델을 활성화할 수 있다. 이미지 처리 장치는 메모리에 인코딩 된 에지 중 질의 데이터에 대응하는 에지를 활성화할 수 있다(S221). 또한, 이미지 처리 장치는 활성화된 에지에 연결된 링크들을 활성화할 수 있다(S222). 또한, 이미지 처리 장치는 활성화된 에지 및 링크에 의해 연관된 다른 에지를 연상할 수 있다(S223).
도 4에서 상술한 바와 같이, 재구성 절차(S230)에서, 이미지 처리 장치는 연상된 에지들을 종합하여 n차원을 갖는 수정된 계수 어레이형태의 연상 데이터를 생성할 수 있다. 또한, 이미지 처리 장치는 차원축소 알고리즘을 역변환하여 연상 데이터로부터 서브 이미지를 연상할 수 있다. 이 경우, 입력된 질의 이미지와 연상된 서브 이미지(이하, 연상 이미지)의 상호 위치 정보는 메모리 내에 포함되어 있으므로, 이미지 처리 장치는 이들의 관계를 고려하여 이미지를 재배치할 수 있다.
이미지 처리 장치는 다중방향 연상을 이용하여 하나의 질의 이미지로부터 이에 연관된 다수의 연상 이미지를 생성할 수 있다. 또한, 이미지 처리 장치는 연상 이미지를 다시 질의 이미지로 입력하여 반복적으로 서브 이미지들을 연상할 수 있다. 이러한 방식으로 모든 서브 이미지들이 연상된 경우, 이미지 처리 장치는 질의 이미지를 재구성함으로써 전체 이미지를 복원할 수 있다. 즉, 이미지 처리 장치는 연상된 이미지들을 종합하여 배치함으로써, 질의 이미지로부터 전체 이미지를 복원할 수 있다.
이와 같은, 이미지 처리 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 이상에서는 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 명세서는 상술한 특정의 실시예에 한정되지 아니하며, 청구 범위에서 청구하는 요지를 벗어남이 없이 당해 명세서가 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 명세서의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
또한, 본 명세서에서는 물건 발명과 방법 발명이 모두 설명되고 있으며, 필요에 따라 양 발명의 설명은 보충적으로 적용될 수 있다.
110: 이미지 획득부 120: 메모리
130: 프로세서

Claims (13)

  1. 전체 이미지를 나타내는 학습 이미지를 서브 이미지들로 분할하고, 상기 서브 이미지들의 관계를 연상 메모리 모델에서 학습하는 학습 단계; 및
    상기 전체 이미지의 부분을 나타내는 질의 이미지가 입력된 경우, 학습된 연상 메모리 모델을 이용하여 상기 질의 이미지를 상기 전체 이미지로 재구성하는 복원 단계를 포함하고,
    상기 연상 메모리 모델은 다중방향 연상 메모리 모델인, 이미지 처리 방법.
  2. 제 1 항에 있어서,
    상기 학습 단계는,
    상기 학습 이미지로부터 특징점들을 추출하고, 상기 추출된 특징점에 기초하여 상기 학습 이미지를 상기 서브 이미지들로 분할하는, 이미지 처리 방법.
  3. 제 1 항에 있어서,
    상기 학습 단계는,
    상기 분할된 서브 이미지들 간의 관계를 그래프 구조로 표현하여, 상기 서브 이미지들의 관계를 연상 메모리 모델에서 학습하는, 이미지 처리 방법.
  4. 제 1 항에 있어서,
    상기 학습 단계는,
    상기 분할된 서브 이미지들을 차원축소하여, 상기 서브 이미지들의 관계를 연상 메모리 모델에서 학습하는, 이미지 처리 방법.
  5. 제 4 항에 있어서,
    상기 학습 단계는,
    상기 서브 이미지들의 관계를 연상 메모리에 인코딩하여, 상기 서브 이미지들의 관계를 연상 메모리 모델에서 학습하는, 이미지 처리 방법.
  6. 제 4 항에 있어서,
    상기 차원축소된 서브 이미지를 샘플링하여 에지들을 추출하고, 상기 추출된 에지들 간의 링크들을 연결하고, 상기 링크들에 가중치를 부여하여, 상기 서브 이미지들의 관계를 연상 메모리에 인코딩하는, 이미지 처리 방법.
  7. 제 1 항에 있어서,
    상기 복원 단계는,
    상기 학습된 연상 메모리 모델에서 상기 질의 이미지에 연관된 서브 이미지를 연상하여, 상기 질의 이미지를 상기 전체 이미지로 재구성하는, 이미지 처리 방법.
  8. 제 7 항에 있어서,
    상기 복원 단계는,
    상기 학습된 연상 메모리 모델에서 상기 질의 이미지에 연관된 에지를 활성화하고, 상기 활성화된 에지에 연결된 링크를 활성화하여, 상기 질의 이미지에 연관된 서브 이미지를 연상하는, 이미지 처리 방법.
  9. 제 8 항에 있어서,
    상기 복원 단계는,
    상기 활성화된 에지 및 상기 활성화된 링크에 기초하여 상기 질의 이미지에 연관된 에지를 연상하여, 상기 질의 이미지에 연관된 서브 이미지를 연상하는, 이미지 처리 방법.
  10. 삭제
  11. 학습 이미지 또는 질의 이미지를 획득하는 이미지 획득부; 및
    상기 학습 이미지를 연상 메모리 모델에서 학습하고, 학습된 연상 메모리 모델을 이용하여 상기 질의 이미지를 재구성하는 프로세서를 포함하되,
    상기 학습 이미지는 전체 이미지이고, 상기 질의 이미지는 상기 전체 이미지의 부분이며,
    상기 프로세서는,
    학습 이미지를 서브 이미지들로 분할하고, 상기 서브 이미지들의 관계를 연상 메모리 모델에서 학습하고,
    상기 연상 메모리 모델은 다중방향 연상 메모리 모델인, 이미지 처리 장치.
  12. 제 11항에 있어서,
    상기 프로세서는,
    상기 학습된 연상 메모리 모델에서 상기 질의 이미지에 연관된 서브 이미지를 연상하여, 상기 질의 이미지를 상기 전체 이미지로 재구성하는, 이미지 처리 장치.
  13. 삭제
KR1020140098045A 2014-07-31 2014-07-31 이미지 처리 장치 및 방법 KR101678453B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140098045A KR101678453B1 (ko) 2014-07-31 2014-07-31 이미지 처리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140098045A KR101678453B1 (ko) 2014-07-31 2014-07-31 이미지 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20160015583A KR20160015583A (ko) 2016-02-15
KR101678453B1 true KR101678453B1 (ko) 2016-11-23

Family

ID=55356506

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140098045A KR101678453B1 (ko) 2014-07-31 2014-07-31 이미지 처리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101678453B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3732878A4 (en) * 2018-04-02 2021-09-22 Phantom Ai, Inc. DYNAMIC IMAGE AREA SELECTION FOR VISUAL INFERENCE
KR102580062B1 (ko) 2018-05-31 2023-09-19 삼성에스디에스 주식회사 이미지 분할 방법 및 장치
CN110390352A (zh) * 2019-06-26 2019-10-29 华中科技大学 一种基于相似性哈希的图像暗数据价值评估方法
CN112784912A (zh) * 2021-01-29 2021-05-11 北京百度网讯科技有限公司 图像识别方法及装置、神经网络模型的训练方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05282457A (ja) * 1991-09-12 1993-10-29 Fuji Photo Film Co Ltd 被写体認識方法
KR20040079637A (ko) 2003-03-08 2004-09-16 삼성전자주식회사 3차원 얼굴기술자를 이용한 얼굴인식방법 및 장치
KR101308347B1 (ko) * 2011-04-06 2013-09-17 아주대학교산학협력단 상관관계를 이용한 가려진 얼굴 영상 검출 및 복원 방법

Also Published As

Publication number Publication date
KR20160015583A (ko) 2016-02-15

Similar Documents

Publication Publication Date Title
US11645835B2 (en) Hypercomplex deep learning methods, architectures, and apparatus for multimodal small, medium, and large-scale data representation, analysis, and applications
US11657230B2 (en) Referring image segmentation
CN108062754B (zh) 基于密集网络图像的分割、识别方法和装置
Polatkan et al. A Bayesian nonparametric approach to image super-resolution
CN109711426B (zh) 一种基于gan和迁移学习的病理图片分类装置及方法
KR101919831B1 (ko) 오브젝트 인식 장치, 분류 트리 학습 장치 및 그 동작 방법
CN110929736B (zh) 多特征级联rgb-d显著性目标检测方法
CN112529878A (zh) 一种基于多视图半监督的淋巴结的分类方法、系统及设备
CN112258526B (zh) 一种基于对偶注意力机制的ct肾脏区域级联分割方法
CN110263756A (zh) 一种基于联合多任务学习的人脸超分辨率重建系统
CN112541864A (zh) 一种基于多尺度生成式对抗网络模型的图像修复方法
KR101678453B1 (ko) 이미지 처리 장치 및 방법
KR101977067B1 (ko) 심층 신경망 기반 특징 추출을 통하여 진단 맵을 재구축하는 방법 및 이를 이용한 장치
CN113807356B (zh) 一种端到端的低能见度图像语义分割方法
CN115222998B (zh) 一种图像分类方法
US20220335685A1 (en) Method and apparatus for point cloud completion, network training method and apparatus, device, and storage medium
KR20220079726A (ko) 의료 영상 기반의 질환 예측 방법
CN111008570B (zh) 一种基于压缩-激励伪三维网络的视频理解方法
Liu et al. Survey on gan‐based face hallucination with its model development
CN112686830B (zh) 基于图像分解的单一深度图的超分辨率方法
CN116051984B (zh) 一种基于Transformer的弱小目标检测方法
CN114708353B (zh) 图像重建方法、装置、电子设备与存储介质
CN115761358A (zh) 一种基于残差胶囊网络对心肌纤维化进行分类的方法
KR102454742B1 (ko) 뇌 피질 영역의 두께를 분석하는 방법
KR102432766B1 (ko) 알츠하이머 병 분류를 위한 mr 이미지 분석 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191028

Year of fee payment: 4