KR102644105B1 - 멀티 심도 이미지의 자동 생성 방법 - Google Patents

멀티 심도 이미지의 자동 생성 방법 Download PDF

Info

Publication number
KR102644105B1
KR102644105B1 KR1020170184767A KR20170184767A KR102644105B1 KR 102644105 B1 KR102644105 B1 KR 102644105B1 KR 1020170184767 A KR1020170184767 A KR 1020170184767A KR 20170184767 A KR20170184767 A KR 20170184767A KR 102644105 B1 KR102644105 B1 KR 102644105B1
Authority
KR
South Korea
Prior art keywords
image
images
similarity
depth
tree structure
Prior art date
Application number
KR1020170184767A
Other languages
English (en)
Other versions
KR20190081907A (ko
Inventor
박정환
Original Assignee
주식회사 피제이팩토리
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 피제이팩토리 filed Critical 주식회사 피제이팩토리
Priority to KR1020170184767A priority Critical patent/KR102644105B1/ko
Priority to PCT/KR2018/016820 priority patent/WO2019132566A1/ko
Publication of KR20190081907A publication Critical patent/KR20190081907A/ko
Priority to US16/913,810 priority patent/US11263477B2/en
Application granted granted Critical
Publication of KR102644105B1 publication Critical patent/KR102644105B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/231—Hierarchical techniques, i.e. dividing or merging pattern sets so as to obtain a dendrogram
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)

Abstract

멀티 심도 이미지 자동 생성 방법을 개시한다.
본 발명의 일 실시예에 의하면, 전자 장치에서 수행되는 멀티 심도 이미지 생성 방법에 있어서, 복수개의 이미지를 선정하는 단계, 복수개의 이미지를 서로 비교하여 복수개의 이미지 중 적어도 일부를 트리 구조로 연결하는 단계 및 트리 구조에서 하위 노드 이미지를 상위 노드 이미지에 삽입함으로써, 적어도 일부의 이미지들이 계층적으로 삽입된 멀티 심도 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 멀티 심도 이미지 생성 방법을 제공한다.

Description

멀티 심도 이미지의 자동 생성 방법{METHOD FOR AUTO-GENERATION OF MULTI-DEPTH IMAGE}
본 발명은 멀티 심도 이미지의 자동 생성 방법에 관한 것이다. 구체적으로 본 발명은, 복수개의 이미지를 비교하여 멀티 심도 이미지를 자동으로 생성하는 방법에 대한 것이다.
이 부분에 기술된 내용은 단순히 본 발명에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
전자 장치를 이용하여 이미지 파일을 열었을 때 이미지 파일의 특정 부분에 대한 자세한 정보 또는 확대된 이미지가 요구될 수 있다. 예를 들어 자동차 이미지의 경우, 헤드라이트, 바퀴 등과 같은 특정 부분에 대한 보다 자세한 이미지가 요구될 수 있다.
스마트폰 등과 같은 휴대용 전자 장치의 경우 화면이 작으므로 전체 이미지에서 특정 부분의 자세한 이미지를 확인하기 어렵다. 특정 부분의 자세한 이미지를 확인하기 위하여 해당 부분의 이미지를 확대하는 방법을 이용할 수 있으나, 이는 단순히 픽셀의 크기를 늘리는 것에 불과하므로 만족할 만한 해상도를 얻을 수 없고, 나아가 기존 이미지를 단순 확대하는 것 이외의 추가적인 정보를 얻을 수 없다는 문제가 있다.
이러한 문제를 해결하기 위하여 본 발명자는 기본이 되는 하나의 이미지(이하, '메인 이미지')에 추가적인 정보를 제공하는 다른 이미지(이하, '삽입 이미지')의 삽입이 가능한 새로운 포맷의 이미지(이하, '멀티 심도 이미지') 및 그 생성 방법에 대한 발명을 한국 특허 제10-1501028호(2015.03.04 등록)로 등록받은 바 있다.
동 문헌은 멀티 심도 이미지의 정의와, 멀티 심도 이미지의 생성 및 편집을 위한 사용자 인터페이스를 개시하고 있다. 그러나 동 문헌은 사용자가 수작업으로 삽입 이미지를 선택한 후 모 이미지의 적절한 위치에 삽입하여 멀티 심도 이미지를 생성하는 방법을 개시하고 있을 뿐, 자동으로 멀티 심도 이미지를 생성하는 방법은 개시하지 못하고 있다.
본 발명은 동 발명의 후속 발명으로서, 주어진 복수개의 복수개의 이미지를 비교하여 자동으로 멀티 심도 이미지를 생성하는 방법을 개시한다.
본 발명이 해결하고자 하는 기술적 과제는 사용자가 수작업으로 멀티 심도 이미지를 생성할 필요 없이 복수개의 이미지를 상호 비교하여 자동으로 멀티 심도 이미지를 생성하는 방법을 제공하기 위한 것이다.
본 발명이 해결하고자 하는 기술적 과제는 전술한 기술적 과제에 한정되지 않고 언급되지 않은 다른 기술적 과제들이 아래의 기재로부터 통상의 기술자에게 자명하게 도출될 수 있을 것이다.
본 발명의 일 실시예에 의하면, 전자 장치에서 수행되는 멀티 심도 이미지 생성 방법에 있어서, 복수개의 이미지를 선정하는 단계, 복수개의 이미지를 서로 비교하여 복수개의 이미지 중 적어도 일부를 트리 구조로 연결하는 단계 및 트리 구조에서 하위 노드 이미지를 상위 노드 이미지에 삽입함으로써, 적어도 일부의 이미지들이 계층적으로 삽입된 멀티 심도 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 멀티 심도 이미지 생성 방법을 제공한다.
본 발명의 일 실시예에 의하면 복수개의 이미지를 상호 비교하여 유사도를 분석함으로써 자동으로 멀티 심도 이미지를 생성할 수 있다.
도 1은 멀티 심도 이미지를 설명하기 위한 개념도이다.
도 2는 본 발명의 일 실시예에서 재료 이미지 선정 과정을 예시한 도면이다.
도 3은 본 발명의 일 실시예에서 재료 이미지를 노드로 표시한 도면이다.
도 4는 본 발명의 일 실시예에서 자동차 전체 이미지와 다른 이미지 사이의 유사도를 판단한 결과를 예시한 도면이다.
도 5는 본 발명의 일 실시예에서 바퀴 이미지와 다른 이미지 사이의 유사도를 판단한 결과를 예시한 도면이다.
도 6은 본 발명의 일 실시예에서 건물 전체 이미지와 다른 이미지 사이의 유사도를 판단한 결과를 예시한 도면이다.
도 7은 본 발명의 일 실시예에서 대문 이미지와 다른 이미지 사이의 유사도를 판단한 결과를 예시한 도면이다.
도 8은 본 발명의 일 실시예에서 유사도가 30 % 이상인 재료 이미지를 트리 구조로 연결시키는 과정을 예시한 도면이다.
도 9는 본 발명의 일 실시예에서 유사도가 20 % 이상인 재료 이미지를 트리 구조로 연결시키는 과정을 예시한 도면이다.
도 10은 본 발명의 일 실시예에서 유사도가 10 % 이상인 재료 이미지를 트리 구조로 연결시키는 과정을 예시한 도면이다.
도 11은 본 발명의 일 실시예에서 트리 구조를 참고하여 멀티 심도 이미지를 생성하는 과정을 예시한 도면이다.
도 12는 본 발명의 일 실시예에 따른 멀티 심도 이미지 자동 생성 방법을 예시한 순서도다.
이하, 본 발명의 일 실시예를 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되어 있더라도 가능한 한 동일한 부호를 사용하고 있음에 유의해야 한다. 또한 본 발명의 일 실시예를 설명함에 있어서 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명을 생략한다.
본 발명의 일 실시예의 구성요소를 설명함에 있어서 제1, 제2, i), ii), a), b) 등의 부호를 사용할 수 있다. 이러한 부호는 그 구성요소를 다른 구성요소와 구별하기 위한 것일 뿐 그 부호에 의해 해당 구성요소의 본질, 차례, 순서 등이 한정되는 것은 아니다. 본 명세서에서 어떤 부분이 어떤 구성요소를 '포함' 또는 '구비'한다고 할 때, 이는 명시적으로 반대되는 기재가 없는 한 해당 부분이 다른 구성요소를 부가하는 것을 배제하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. '~부', '모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 '하드웨어', '소프트웨어' 또는 '하드웨어와 소프트웨어의 결합'으로 구현될 수 있다.
1. 멀티 심도 이미지의 구조
도 1은 멀티 심도 이미지의 구조를 설명하기 위한 개념도이다.
도 1은 이미지 뷰어에서 멀티 심도 이미지가 실제로 표시된 화면이 아니라 멀티 심도 이미지의 구조를 표현한 개념도이다.
도 1에 나타난 것과 같이, 멀티 심도 이미지는 복수개의 이미지가 트리 구조로 연결된 구조이다. 트리 구조에서 최상위에 위치하는 이미지는 메인 이미지이다. 도 1에서는 자동차의 전체적인 이미지를 메인 이미지로 예시하였다.
메인 이미지 이외의 이미지는 삽입 이미지이다. 트리 구조에서 루트에는 메인 이미지가 위치하고, 하나 이상의 삽입 이미지는 서로 부모, 형제 또는 자식의 관계를 가지고 메인 이미지 아래에 연결되어 있다.
메인 이미지는 0의 깊이를 가지고, 메인 이미지에 직접 삽입된 삽입 이미지는 1의 깊이를 가진다. 예컨대 자동차 전체가 표시된 이미지(이하, '자동차 전체 이미지')에 헤드라이트가 표시된 이미지(이하, '헤드라이트 이미지') 및 바퀴가 표시된 이미지(이하, '바퀴 이미지')를 삽입할 수 있으며, 이 경우 헤드라이트 이미지 및 바퀴 이미지는 1의 깊이를 가진다.
삽입 이미지에 삽입된 다른 삽입 이미지는 2 이상의 깊이를 가진다. 예컨대 1의 깊이를 가지는 헤드라이트 이미지에 전구가 표시된 이미지(이하, '전구 이미지') 및 반사경이 표시된 이미지(이하, '반사경 이미지')를 삽입할 수 있으며, 이 경우 전구 이미지 및 반사경 이미지는 2의 깊이를 가진다. 또한 1의 깊이를 가지는 바퀴 이미지에 타이어휠이 표시된 이미지(이하, '타이어휠 이미지') 및 타이어가 표시된 이미지(이하, '타이어 이미지')를 삽입할 수 있으며, 이 경우 타이어휠 이미지 및 타이어 이미지는 2의 깊이를 가진다.
이와 같은 방식으로 계속하여 이미지를 삽입할 수 있다. 예컨대 전구 이미지, 반사경 이미지, 타이어휠 이미지 또는 타이어 이미지에 다른 이미지를 삽입할 수 있으며, 이 때 삽입되는 이미지는 3의 깊이를 가지게 된다.
2. 기본 인터페이스
멀티 심도 이미지에서 루트 노드의 이미지가 '메인 이미지'이고, 메인 이미지를 제외한 모든 이미지가 '삽입 이미지'이다. 메인 이미지에 삽입 이미지를 삽입하기 위한 사용자 인터페이스는 다음과 같이 구현될 수 있다.
① 사용자로부터 메인 이미지를 선택하는 입력을 수신한다.
② 사용자로부터 삽입 이미지를 선택하는 입력을 수신한다.
③ 메인 이미지 및 작은 크기로 아이콘화된 삽입 이미지를 화면에 표시한다.
④ 사용자로부터 아이콘화된 삽입 이미지를 드래그하는 입력을 수신한다.
⑤ 사용자로부터 드래그 입력의 종료를 수신한다.
⑥ 터치 입력이 종료된 위치에 삽입 이미지를 삽입한다.
삽입 이미지에 다른 삽입 이미지를 삽입하기 위한 사용자 인터페이스는 다음과 같이 구현될 수 있다.
① 사용자로부터 메인 이미지를 선택하는 입력을 수신한다.
② 사용자로부터 삽입 이미지를 선택하는 입력을 수신한다.
③ 메인 이미지 및 작은 크기로 아이콘화된 삽입 이미지를 화면에 표시한다.
④ 사용자로부터 아이콘화된 삽입 이미지를 드래그하는 입력을 수신한다.
⑤ 아이콘화된 삽입 이미지가 기존의 삽입 이미지가 삽입된 위치에 드래그되면 메인 이미지 대신 기존의 삽입 이미지를 화면에 표시한다.
⑥ 사용자로부터 아이콘화된 삽입 이미지를 드래그하는 입력을 수신한다.
⑦ 사용자로부터 드래그 입력의 종료를 수신한다.
⑧ 터치 입력이 종료된 위치에 삽입 이미지를 삽입한다. 기존의 삽입 이미지의 깊이가 N이면 새롭게 삽입된 이미지의 깊이는 N+1이 된다.
이상의 사용자 인터페이스에 의하면 멀티 심도 이미지의 생성 및 편집 시 원터치(one touch) 또는 원클릭(one click)으로 메인 이미지에 삽입 이미지를 삽입할 수 있다.
그러나 사용자 인터페이스를 아무리 개선해도 사용자가 직접 삽입할 이미지를 선택하여 적절한 위치에 삽입하여야 하는 특성상 멀티 심도 이미지의 생성에 많은 시간이 소요된다. 즉, 수작업으로 멀티 심도 이미지를 생성하는 경우 멀티 심도 이미지의 생산성이 크게 떨어지므로, 멀티 심도 이미지의 생성을 자동화시킬 필요가 있다.
이하, 본 발명의 일 실시예는 복수개의 이미지를 상호 비교하여 자동으로 멀티 심도 이미지를 생성하는 방법을 제공한다.
3. 재료 이미지 선정
멀티 심도 이미지를 자동으로 생성하기 위한 사전 작업으로서 재료가 될 복수개의 이미지(이하, '재료 이미지')를 선정하여야 한다. 재료 이미지는 멀티 심도 이미지 포맷이 아닌 일반 이미지 포맷일 수 있다. 예컨대 재료 이미지는 BMP, JPG, JPEG, GIF, PNG, TIF, TIFF 등의 이미지 포맷일 수 있다.
재료 이미지 사이에 연관성이 낮을 경우 결과물로서 생성되는 멀티 심도 이미지의 수가 적으므로 비효율적이다. 따라서 재료 이미지 준비 단계에서 최소한의 연관성이 있는 재료 이미지를 선정할 필요가 있다.
최소한의 연관성이 있는 재료 이미지 선정에는 다양한 방법이 사용될 수 있다. 예컨대 이미지의 저장 위치, 이미지에 포함된 메타데이터 정보 등을 이용하여 재료 이미지를 선정할 수 있다.
이미지의 저장 위치를 이용하여 재료 이미지를 선정하는 방법으로서, 동일한 폴더에 저장된 이미지들을 재료 이미지로 선정할 수 있다. 또는, 특정 폴더의 하위 폴더에 저장된 모든 이미지들을 재료 이미지로 선정할 수 있다. 또는, USB 등 특정 저장매체에 저장된 모든 이미지들을 재료 이미지로 선정할 수 있다.
이미지에 포함된 메타데이터를 이용하여 재료 이미지를 선정하는 방법으로서, 각 이미지가 생성된 공간적 위치 정보 또는 시간 정보를 사용하여 재료 이미지를 선정할 수 있다.
일부 이미지 파일에는 이미지의 특성을 확인하는 데 사용할 수 있는 메타데이터가 있다. 예를 들어 디지털 카메라로 촬영된 사진에는 촬영자 정보, 촬영 시간, 촬영 장소에 대한 GPS 정보, 사진 촬영에 사용한 카메라의 제조업체 및 모델명 등의 정보가 기재된 메타데이터가 있다.
인접한 시간에 촬영된 사진은 상호 연관성이 높을 확률이 높으므로, 복수개의 사진 중 메타데이터에 기재된 촬영 시간이 기 설정된 시간 이하인 사진들을 재료 이미지로 선정할 수 있다.
또는, 인접한 장소에서 촬영된 사진은 상호 연관성이 높을 확률이 높으므로, 복수개의 사진 중 메타데이터에 기재된 GPS 좌표가 기 설정된 거리 이하인 사진들을 재료 이미지로 선정할 수 있다.
도 2는 본 발명의 일 실시예에서 재료 이미지 선정 과정을 예시한 도면이다.
본 발명의 일 실시예를 설명하기 위하여, 사용자가 자동차의 전체적인 사진, 해당 자동차의 각 부분에 대한 근접 사진, 자동차 근처에 있는 건물의 전체적인 사진 및 해당 건물의 각 부분에 대한 근접 사진을 촬영하였다고 가정하자. 구체적으로, 자동차 전체 이미지, 헤드라이트 이미지, 전구 이미지, 반사경 이미지, 바퀴 이미지, 타이어휠 이미지, 타이어 이미지, 건물 전체 이미지, 창문 이미지, 대문 이미지, 초인종 이미지, 손잡이 이미지, 벽 이미지 및 벽돌 이미지의 14장의 사진을 촬영하였다고 가정하자.
한편, 사용자는 다른 시간과 다른 장소에서 다른 사진을 촬영하여 위 14장의 사진과 동일한 폴더에 저장하였다. 예를 들어 사용자는 레스토랑에서 촬영한 여러 장의 사진, 백화점에서 촬영한 여러 장의 사진, 여행지에서 촬영한 여러 장의 사진을 위 14장의 사진을 저장한 폴더와 동일한 폴더에 저장하였다. 도 2(a)는 동 폴더에 저장된 파일 목록을 예시한 것이다.
저장된 사진 중 재료 이미지를 선정하기 위한 방법으로서, 이미지에 포함된 메타데이터를 이용하여 인접한 시간에 인접한 장소에서 촬영된 사진을 재료 이미지로 선정할 수 있다. 그 결과 레스토랑에서 촬영한 여러 장의 사진, 백화점에서 촬영한 여러 장의 사진, 여행지에서 촬영한 여러 장의 사진을 제외하고, 자동차에 대한 사진과 건물에 대한 사진 14장이 재료 이미지로 선정될 수 있다. 도 2(b)는 동 폴더에 저장된 파일 중 재료 이미지로 선정된 파일의 목록을 예시한 것이다.
4. 유사도 판단 방법
복수개의 재료 이미지로부터 멀티 심도 이미지를 자동으로 생성할 때 유사도가 높은 재료 이미지를 서로 연결하여 멀티 심도 이미지를 생성할 수 있다. 이 때 유사도 판단 방법으로서 특징점 알고리즘을 이용할 수 있다.
특징점(feature point)은 디지털 이미지의 특징을 나타내는 점으로서 다른 점들과 구별될 수 있는 점을 의미한다. 특징점은 일반적으로 물체의 경계, 꼭지점 등에 위치한다. 이미지에 존재하는 국소 패턴(local patterns)도 특징점이 될 수 있다. 기타 디지털 이미지의 특징을 나타내는 점으로서 다른 점들과 구별될 수 있는 점은 모두 특징점이 될 수 있다.
이미지의 크기와 내용에 따라 달라질 수 있으나 보통 이미지 하나 당 수천개의 특징점이 추출된다. 특징점 추출은 이미지 매칭에서 매우 중요한 역할을 한다. 이미지 매칭은 특징점을 이용하여 동일한 물체를 촬영한 두 개의 사진에서 대응되는 부분을 찾아내는 작업인데, 물체 인식, 3차원 구조 계산, 스테레오 매칭, 동작 추적, 파노라마 이미지 생성 등에서 다양하게 응용되고 있다.
특징점은 물체의 경계, 꼭지점, 국소 패턴 등에서 나타나기 때문에, 동일한 물체를 촬영한 사진이라 하더라도 이미지의 스케일이 달라지거나, 물체를 촬영한 관점이 변화하는 경우 달라지기 쉽다. 이러한 문제를 해결하기 위하여 이미지의 밝기, 주변 조명 변화, 이미지의 스케일 변화, 회전, 왜곡, 3D 관점 변화 등에 강인한 다양한 특징점 추출 알고리즘이 개발되고 있다.
특징점 추출 알고리즘의 예로서, Harris는 특징점으로 하여금 모서리(corner)를 검출하는 기법을 제안하였다. Lindeberg는 비례 공간(scale space)을 사용하는 방법으로 영상의 구조를 해석하여 blob(비슷한 특징을 가지고 있는 인접한 픽셀들의 집합)의 검출과 자동 스케일 선택을 하는 기법을 제안하였다. Schmid는 Harris Corner Detector에서 검출한 특징점에 그 점의 화소치와 미분점으로부터 산출한 값을 특징량점으로 사용하는 기법을 제안하였다.
1999년 Lowe는 Schmid의 국소 영역 특징량 개념을 확장하여 영상의 스케일 변화와 회전에도 변하지 않는 특징점을 기술할 수 있는 획기적인 특징점 추출 알고리즘인 Scale-Invariant Feature Transform(SIFT)를 제안하였다. SIFT를 확장한 기법으로서, PCA(Principal Component Analysis)를 이용하여 구배(gradient) 정보를 부분 공간에 투영하여 매칭 정도를 향상한 PCA-SIFT와, SIFT의 특징량 중 배경의 영향을 경감시킨 BSIFT 등과 같은 기법도 개발되었다.
본 발명의 일 실시예에 따른 방법은 다양한 특징점 추출 알고리즘을 이용하여 각 이미지에서 특징점을 추출한 후 두 개의 이미지의 유사도를 판단할 수 있다.
또는, 룰 베이스(rule-based)의 특징점 추출 알고리즘 대신 머신러닝을 이용한 기법으로 두 개의 이미지의 유사도를 판단할 수 있다.
이하, 유사도 100%는 완전히 동일한 이미지를 의미하고, 유사도 0%는 비유사한 이미지를 의미하는 것으로 가정한다.
5. 유사도 판단 결과
도 3은 본 발명의 일 실시예에서 재료 이미지를 노드로 표시한 도면이다.
도 3은 이미지 뷰어에서 각각의 재료 이미지가 실제로 표시된 화면이 아니라 단지 멀티 심도 이미지의 구조에서 재료 이미지를 노드로 표현한 개념도임에 유의하여야 한다.
도 4는 본 발명의 일 실시예에서 자동차 전체 이미지와 다른 이미지 사이의 유사도를 판단한 결과를 예시한 도면이다.
유사도 판단 결과, 자동차 전체 이미지와 바퀴 이미지와의 유사도는 20 %로 계산되었다. 헤드라이트 이미지와의 유사도는 15 %이고, 전구 이미지와의 유사도는 10 %이며, 반사경 이미지과의 유사도는 5 %이고, 타이어휠 이미지과의 유사도는 15 %이며, 타이어 이미지와의 유사도는 5 %이고, 건물 전체 이미지와의 유사도는 0 %이며, 창문 이미지와의 유사도는 0 %이고, 대문 이미지와의 유사도는 0 %이며, 초인종 이미지와의 유사도는 0 %이고, 손잡이 이미지와의 유사도는 0 %이며, 벽돌 이미지와의 유사도는 0 %이고, 벽 이미지와의 유사도는 0 %로 계산되었다. 자동차 전체 이미지와 비교하여 유사도가 5 % 이상인 이미지는 6개이다.
도 5는 본 발명의 일 실시예에서 바퀴 이미지와 다른 이미지 사이의 유사도를 판단한 결과를 예시한 도면이다.
유사도 판단 결과, 바퀴 이미지와 자동차 전체 이미지와의 유사도는 20 %로 계산되었다. 헤드라이트 이미지와의 유사도는 0 %이고, 전구 이미지와의 유사도는 0 %이며, 반사경 이미지과의 유사도는 0 %이고, 타이어휠 이미지과의 유사도는 50 %이며, 타이어 이미지와의 유사도는 30 %이고, 건물 전체 이미지와의 유사도는 0 %이며, 창문 이미지와의 유사도는 0 %이고, 대문 이미지와의 유사도는 0 %이며, 초인종 이미지와의 유사도는 0 %이고, 손잡이 이미지와의 유사도는 0 %이며, 벽돌 이미지와의 유사도는 0 %이고, 벽 이미지와의 유사도는 0 %로 계산되었다. 바퀴 이미지와 비교하여 유사도가 5 % 이상인 이미지는 3개이다.
후술하겠지만, 유사도가 최소 유사값 이상인 이미지의 개수가 많은 이미지가 부모 노드에 위치한다. 최소 유사값이 5 %라고 가정하고, 도 4 및 5를 참고하였을 때, 자동차 전체 이미지와 비교하여 유사도가 5 % 이상인 이미지는 6개이지만 바퀴 이미지와 비교하여 유사도가 5 % 이상인 이미지는 3개이다. 이 경우 자동차 전체 이미지를 바퀴 이미지의 부모 노드에 위치시킨다. 그 결과 바퀴 이미지가 자동차 이미지에 삽입되는 구조가 된다.
도 6은 본 발명의 일 실시예에서 건물 전체 이미지와 다른 이미지 사이의 유사도를 판단한 결과를 예시한 도면이다.
유사도 판단 결과, 건물 전체 이미지와 자동차 전체 이미지와의 유사도는 0 %로 계산되었다. 헤드라이트 이미지와의 유사도는 0 %이고, 전구 이미지와의 유사도는 0 %이며, 반사경 이미지과의 유사도는 0 %이고, 타이어휠 이미지과의 유사도는 0 %이며, 타이어 이미지와의 유사도는 0 %이고, 바퀴 이미지와의 유사도는 0 %이며, 창문 이미지와의 유사도는 20 %이고, 대문 이미지와의 유사도는 25 %이며, 초인종 이미지와의 유사도는 5 %이고, 손잡이 이미지와의 유사도는 5 %이며, 벽돌 이미지와의 유사도는 5 %이고, 벽 이미지와의 유사도는 25 %로 계산되었다. 건물 전체 이미지와 비교하여 유사도가 5 % 이상인 이미지는 6개이다.
도 7은 본 발명의 일 실시예에서 대문 이미지와 다른 이미지 사이의 유사도를 판단한 결과를 예시한 도면이다.
유사도 판단 결과, 대문 이미지와 자동차 전체 이미지와의 유사도는 0 %로 계산되었다. 헤드라이트 이미지와의 유사도는 0 %이고, 전구 이미지와의 유사도는 0 %이며, 반사경 이미지과의 유사도는 0 %이고, 타이어휠 이미지과의 유사도는 0 %이며, 타이어 이미지와의 유사도는 0 %이고, 바퀴 이미지와의 유사도는 0 %이며, 창문 이미지와의 유사도는 5 %이고, 건물 전체 이미지와의 유사도는 25 %이며, 초인종 이미지와의 유사도는 10 %이고, 손잡이 이미지와의 유사도는 10 %이며, 벽돌 이미지와의 유사도는 0 %이고, 벽 이미지와의 유사도는 0 %로 계산되었다. 대문 이미지와 비교하여 유사도가 5 % 이상인 이미지는 4개이다.
최소 유사값이 5 %라고 가정하고, 도 6 및 7을 참고하였을 때, 건물 전체 이미지와 비교하여 유사도가 5 % 이상인 이미지는 6개이지만 대문 이미지와 비교하여 유사도가 5 % 이상인 이미지는 4개이다. 이 경우 건물 전체 이미지를 대문 이미지의 부모 노드에 위치시킨다. 즉, 대문 이미지가 건물 전체 이미지에 삽입되는 구조가 된다.
한편, 도 4 내지 7과 같은 방법으로 모든 재료 이미지에 대하여 유사도를 판단한다.
6. 트리 구조 생성
멀티 심도 이미지는 복수개의 이미지가 트리 구조로 연결된 구조이다. 복수개의 이미지가 트리 구조로 연결되어 있기만 하면 아무런 연관성이 없는 이미지들이 서로 연결되어 있어도 멀티 심도 이미지가 될 수 있다. 그러나 아무런 연관성이 없는 이미지들을 연결한 멀티 심도 이미지는 활용성이 낮다. 따라서 상호 유사도가 높은 이미지를 서로 연결시켜 멀티 심도 이미지를 생성하는 것이 바람직하다.
이러한 관점에서, 복수개의 재료 이미지로부터 멀티 심도 이미지를 자동으로 생성할 때 이미지 매칭 결과 유사도가 높은 재료 이미지를 서로 연결하는 방법으로 멀티 심도 이미지를 생성할 수 있다.
구체적으로, 유사도가 높은 재료 이미지를 먼저 연결시키고, 유사도가 그보다 낮은 재료 이미지를 다음에 연결시키는 방법으로 멀티 심도 이미지를 생성할 수 있다.
본 발명의 일 실시예에 따른 멀티 심도 이미지 자동 생성 방법은, 먼저 유사도가 30 % 이상인 재료 이미지를 연결시키고, 다음으로 유사도가 20 % 이상인 재료 이미지를 연결시키며, 다음으로 유사도가 10 % 이상인 재료 이미지를 연결시키는 방법으로 멀티 심도 이미지를 생성하는 경우를 예로 들어 설명한다.
도 8은 본 발명의 일 실시예에서 유사도가 30 % 이상인 재료 이미지를 트리 구조로 연결시키는 과정을 예시한 도면이다.
도 8에 나타난 것과 같이, 유사도가 30 % 이상인 재료 이미지로서 헤드라이트 이미지와 전구 이미지(유사도 40 %), 바퀴 이미지와 타이어휠 이미지(유사도 50 %), 바퀴 이미지와 타이어 이미지(유사도 30 %), 및 벽 이미지와 벽돌 이미지(유사도 50 %)가 검색되었다. 전술한 것과 같이 유사도는 특징점 비교를 통해 판단할 수 있다. 예를 들어 각 재료 이미지의 특징점들의 유사성 및 개수에 근거하여 유사도를 판단할 수 있다.
유사도가 30 % 이상인 헤드라이트 이미지와 전구 이미지, 바퀴 이미지와 타이어휠 이미지, 바퀴 이미지와 타이어 이미지, 및 벽 이미지와 벽돌 이미지는 각각 그룹을 형성하고, 각 그룹에 있는 이미지들은 서로 연결되어 트리 구조를 생성한다.
각 그룹에 있는 이미지들끼리 연결하여 트리 구조를 생성할 때, 부모 노드와 자식 노드를 결정하여야 한다. 각 그룹에 있는 이미지 중 어느 이미지가 부모 노드가 되고 어느 이미지가 자식 노드가 되는지 판단함에 있어 각 이미지에 포함된 객체들의 유사성 및 개수를 고려할 수 있다.
일례로 도 8에서 같은 그룹에 있는 바퀴 이미지와 타이어휠 이미지를 트리 구조로 연결함에 있어 각 이미지를 다른 재료 이미지와 비교하였을 때 유사도가 최소 유사값 이상인 다른 재료 이미지의 개수가 많은 이미지를 부모 노드에 위치시킬 수 있다.
최소 유사값을 5 %로 가정할 때, 바퀴 이미지와 비교하여 유사도가 5 % 이상인 이미지는 자동차 전체 이미지, 타이어휠 이미지 및 타이어 이미지의 3개이다(도 5 참고). 한편, 타이어휠 이미지에 대해서는 유사도가 5 % 이상인 이미지가 바퀴 이미지와 타이어 이미지의 2개라고 하자(미도시).
이 경우 바퀴 이미지(유사도가 최소 유사값 이상인 이미지가 3개)와 타이어휠 이미지(유사도가 최소 유사값 이상인 이미지가 2개)를 연결할 때 바퀴 이미지를 부모 노드에 위치시킬 수 있다.
한편, 각 재료 이미지 사이의 유사도를 판단하지 않고 각 재료 이미지에서 객체를 인식한 결과를 이용하여 트리 구조를 생성할 수도 있다.
예컨대 헤드라이트 이미지에서 '전구'와 '반사경'이라는 객체가 인식되었고, 전구 이미지에서 '전구'라는 객체가 인식되었으며, 반사경 이미지에서 '반사경'이라는 객체가 인식되었다면, 헤드라이트 이미지의 자식 노드로서 전구 이미지와 반사경 이미지를 연결할 수 있다. 즉, 인식된 객체의 개수가 많은 헤드라이트 이미지가 부모 노드가 된다.
마찬가지로 바퀴 이미지에서 '타이어휠'과 '타이어'라는 객체가 인식되었고, 타이어휠 이미지에서 '타이어휠'이라는 객체가 인식되었으며, 타이어 이미지에서 '타이어'라는 객체가 인식되었다면, 바퀴 이미지의 자식 노드로서 타이어휠 이미지와 타이어 이미지를 연결할 수 있다. 즉, 인식된 객체의 개수가 많은 헤드라이트 이미지가 부모 노드가 된다.
도 9는 본 발명의 일 실시예에서 유사도가 20 % 이상인 재료 이미지를 트리 구조로 연결시키는 과정을 예시한 도면이다.
도 9에 나타난 것과 같이, 유사도가 20 % 이상인 재료 이미지 중 아직 트리 구조를 생성하지 않은 이미지로서 자동차 전체 이미지와 바퀴 이미지(유사도 20 %), 건물 전체 이미지와 창문 이미지(유사도 20 %), 건물 전체 이미지와 대문 이미지(유사도 25 %), 및 건물 전체 이미지와 벽 이미지(유사도 25 %)가 검색되었다.
유사도가 20 % 이상인 재료 이미지 중 아직 트리 구조를 생성하지 않은 자동차 전체 이미지와 바퀴 이미지, 건물 전체 이미지와 창문 이미지, 건물 전체 이미지와 대문 이미지, 및 건물 전체 이미지와 벽 이미지는 각각 그룹을 형성하고, 각 그룹에 있는 이미지들은 서로 연결되어 트리 구조를 생성한다.
각 그룹에 있는 이미지들끼리 연결하여 트리 구조를 생성할 때, 부모 노드와 자식 노드를 결정하여야 한다. 각 그룹에 있는 이미지 중 어느 이미지가 부모 노드가 되고 어느 이미지가 자식 노드가 되는지 판단함에 있어 각 이미지에 포함된 객체들의 유사성 및 개수를 고려할 수 있다.
일례로 도 9에서 같은 그룹에 있는 자동차 전체 이미지와 바퀴 이미지를 트리 구조로 연결함에 있어 각 이미지를 다른 재료 이미지와 비교하였을 때 유사도가 최소 유사값 이상인 다른 재료 이미지의 개수가 많은 이미지를 부모 노드에 위치시킬 수 있다.
최소 유사값을 5 %로 가정할 때, 자동차 전체 이미지와 비교하여 유사도가 5 % 이상인 이미지는 바퀴 이미지, 헤드라이트 이미지, 전구 이미지, 반사경 이미지, 타이어휠 이미지 및 타이어 이미지의 6개이다(도 4 참고). 한편, 바퀴 이미지에 대해서는 유사도가 5 % 이상인 이미지가 자동차 전체 이미지, 타이어휠 이미지 및 타이어 이미지의 3개이다(도 5 참고).
따라서 자동차 전체 이미지(유사도가 최소 유사값 이상인 이미지가 6개)와 바퀴 이미지(유사도가 최소 유사값 이상인 이미지가 3개)를 연결할 때 자동차 전체 이미지를 부모 노드에 위치시킬 수 있다.
도 10은 본 발명의 일 실시예에서 유사도가 10 % 이상인 재료 이미지를 트리 구조로 연결시키는 과정을 예시한 도면이다.
도 10에 나타난 것과 같이, 유사도가 10 % 이상인 재료 이미지 중 아직 트리 구조를 생성하지 않은 이미지로서 자동차 전체 이미지와 헤드라이트 이미지(유사도 15 %), 대문 이미지와 초인종 이미지(유사도 10 %), 및 대문 이미지와 손잡이 이미지(유사도 10 %)가 검색되었다.
유사도가 10 % 이상인 재료 이미지 중 아직 트리 구조를 생성하지 않은 자동차 전체 이미지와 헤드라이트 이미지, 대문 이미지와 초인종 이미지, 및 대문 이미지와 손잡이 이미지는 각각 그룹을 형성하고, 각 그룹에 있는 이미지들은 서로 연결되어 트리 구조를 생성한다.
각 그룹에 있는 이미지들끼리 연결하여 트리 구조를 생성할 때, 부모 노드와 자식 노드를 결정하여야 한다. 각 그룹에 있는 이미지 중 어느 이미지가 부모 노드가 되고 어느 이미지가 자식 노드가 되는지 판단함에 있어 각 이미지에 포함된 객체들의 유사성 및 개수를 고려할 수 있다. 이는 도 8 및 9에서 설명한 것과 같으므로 자세한 설명은 생략한다.
7. 멀티 심도 이미지 생성
도 11은 본 발명의 일 실시예에서 트리 구조를 참고하여 멀티 심도 이미지를 생성하는 과정을 예시한 도면이다.
트리 구조 생성이 완료되면 트리 구조를 이용하여 부모 노드에 해당하는 이미지에 자식 노드에 해당하는 이미지를 삽입하는 방식으로 멀티 심도 이미지를 생성한다. 구체적으로, 트리 구조의 부모 노드 이미지에서 자식 노드 이미지에 대응하는 영역을 검색하고, 부모 노드 이미지 내의 검색된 영역에 자식 노드 이미지를 삽입하는 방식으로 멀티 심도 이미지를 생성할 수 있다.
도 10의 최종 트리 구조를 참고하면, 자동차 전체 이미지 아래에 헤드라이트 이미지 및 바퀴 이미지가 위치하고, 헤드라이트 이미지 아래에 전구 이미지 및 반사경 이미지가 위치하며, 바퀴 이미지 아래에 타이어휠 이미지 및 타이어 이미지가 위치한다.
이러한 트리 구조를 이용하여 부모 노드에 해당하는 이미지의 적절한 위치에 자식 노드에 해당하는 이미지를 삽입할 수 있다.
구체적으로, 자동차 전체 이미지에서 헤드라이트 이미지의 특징이 발견된 위치에 헤드라이트 이미지를 삽입할 수 있다. 예를 들어 자동차 전체 이미지를 헤드라이트 이미지와 이미지 매칭하여 자동차 전체 이미지에서 추출한 특징점과 헤드라이트 이미지에서 추출한 특징점을 비교한 후, 자동차 전체 이미지의 특정 위치에서 헤드라이트 이미지의 특징점이 발견되면 해당 위치에 헤드라이트 이미지를 삽입할 수 있다.
또한, 자동차 전체 이미지를 바퀴 이미지와 이미지 매칭하여 자동차 전체 이미지에서 추출한 특징점과 바퀴 이미지에서 추출한 특징점을 비교한 후, 자동차 전체 이미지의 특정 위치에서 바퀴 이미지의 특징점이 발견되면 해당 위치에 바퀴 이미지를 삽입할 수 있다.
또한, 헤드라이트 이미지를 전구 이미지와 이미지 매칭하여 헤드라이트 이미지에서 추출한 특징점과 전구 이미지에서 추출한 특징점을 비교한 후, 헤드라이트 이미지의 특정 위치에서 전구 이미지의 특징점이 발견되면 해당 위치에 전구 이미지를 삽입할 수 있다.
또한, 헤드라이트 이미지를 반사경 이미지와 이미지 매칭하여 헤드라이트 이미지에서 추출한 특징점과 반사경 이미지에서 추출한 특징점을 비교한 후, 헤드라이트 이미지의 특정 위치에서 반사경 이미지의 특징점이 발견되면 해당 위치에 반사경 이미지를 삽입할 수 있다.
또한, 바퀴 이미지를 타이어휠 이미지와 이미지 매칭하여 바퀴 이미지에서 추출한 특징점과 타이어휠 이미지에서 추출한 특징점을 비교한 후, 바퀴 이미지의 특정 위치에서 타이어휠 이미지의 특징점이 발견되면 해당 위치에 타이어휠 이미지를 삽입할 수 있다.
또한, 바퀴 이미지를 타이어 이미지와 이미지 매칭하여 바퀴 이미지에서 추출한 특징점과 타이어 이미지에서 추출한 특징점을 비교한 후, 바퀴 이미지의 특정 위치에서 타이어 이미지의 특징점이 발견되면 해당 위치에 타이어 이미지를 삽입할 수 있다.
이상과 같이 트리 구조의 모든 부모 노드 이미지에 각 자식 노드의 이미지를 삽입함으로써 멀티 심도 이미지를 생성할 수 있다.
8. 순서도
도 12는 본 발명의 일 실시예에 따른 멀티 심도 이미지 자동 생성 방법을 예시한 순서도다.
본 발명의 일 실시예에 의한 멀티 심도 이미지 자동 생성 방법은, 복수개의 이미지를 선정하는 단계(S1210), 복수개의 이미지를 서로 비교하여 복수개의 이미지 중 적어도 일부를 트리 구조로 연결하는 단계(S1220) 및 트리 구조에서 하위 노드 이미지를 상위 노드 이미지에 삽입함으로써 적어도 일부의 이미지들이 계층적으로 삽입된 멀티 심도 이미지를 생성하는 단계(S1230)를 포함한다.
그밖에 전술한 실시예에서 설명한 내용과 중복되는 내용은 자세한 설명을 생략한다.
도 12는 S1210 내지 S1230을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 기술 사상을 예시적으로 설명한 것에 불과할 뿐, S1210 내지 S1230의 실행이 시계열적인 순서로 한정되는 것은 아니다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 S1210 내지 S1230의 순서를 변경하거나, S1210 내지 S1230에서 하나 이상의 단계를 생략하거나, S1210 내지 S1230에서 하나 이상의 단계를 병렬적으로 실행하는 등 도 12의 방법을 다양하게 수정 및 변형할 수 있을 것이다.
한편, 전술한 실시예들로 설명된 방법은 컴퓨터 또는 스마트폰으로 읽을 수 있는 기록매체에 컴퓨터 또는 스마트폰이 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터 또는 스마트폰이 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 즉, 컴퓨터 또는 스마트폰이 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, ROM, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, CD-ROM, DVD 등), 플래시 메모리(예를 들면, USB, SSD) 등과 같은 저장매체를 포함한다. 또한 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터 또는 스마트폰이 읽을 수 있는 코드가 저장되고 실행될 수 있다.
본 실시예는 본 발명의 기술적 사상을 예시적으로 설명한 것에 불과하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 본 실시예의 다양한 수정 및 변형이 가능할 것이다.
본 실시예는 본 발명의 기술적 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 따라서 본 실시예에 의하여 본 발명의 권리범위가 한정되는 것은 아니다. 본 발명의 보호범위는 청구범위에 의하여 해석되어야 하며, 그와 동등하거나 균등하다고 인정되는 모든 기술적 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 한다.

Claims (8)

  1. 전자 장치에서 수행되는 멀티 심도 이미지 생성 방법에 있어서,
    복수개의 이미지를 선정하는 단계;
    상기 복수개의 이미지들 간의 특징점 또는 객체의 유사성에 근거하여, 상기 복수개의 이미지 중 적어도 일부를 트리 구조로 연결하는 단계; 및
    상기 트리 구조에서 자식 노드 이미지가 부모 노드 이미지에 삽입된 형태의 이미지 포맷인 멀티 심도 이미지를 생성하는 단계를 포함하고,
    상기 멀티 심도 이미지를 생성하는 단계는,
    상기 부모 노드 이미지 내에서 상기 자식 노드 이미지에 대응하는 영역을 검색하는 단계; 및
    상기 부모 노드 이미지 내의 상기 검색된 영역에 상기 자식 노드 이미지를 삽입하는 단계를 포함하는 것을 특징으로 하는 멀티 심도 이미지 생성 방법.
  2. 제1항에 있어서,
    상기 복수개의 이미지는, 저장 위치 및 각 이미지의 메타 데이터 중 적어도 하나 이상을 이용하여 선정되는 것을 특징으로 하는 멀티 심도 이미지 생성 방법.
  3. 제2항에 있어서,
    상기 메타 데이터는 각 이미지가 생성된 공간적 위치 정보 및 시간 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 멀티 심도 이미지 생성 방법.
  4. 제1항에 있어서,
    상기 트리 구조는 상기 복수개의 이미지 각각의 특징점들의 유사성 및 개수, 또는 상기 복수개의 이미지 각각에 포함된 객체들의 유사성 및 개수에 근거하여 생성되는 것을 특징으로 하는 멀티 심도 이미지 생성 방법.
  5. 제4항에 있어서,
    상기 트리 구조로 연결하는 단계는,
    상기 복수개의 이미지 각각으로부터 특징점들을 추출하는 단계;
    유사한 특징점을 가지는 이미지들을 분류하여 하나 이상의 그룹을 생성하는 단계;
    각 그룹별로 이미지들에 포함된 특징점들의 개수에 근거하여 이미지들 간의 계층적 구조를 생성하는 단계, 객체의 개수가 많은 이미지가 상위 심도에 위치함; 및
    상기 계층적 구조를 가지는 각 그룹에서 동일한 이미지를 가지는 심도를 서로 연결하여 상기 트리 구조를 생성하는 단계를 포함하는 것을 특징으로 하는 멀티 심도 이미지 생성 방법.
  6. 제4항에 있어서,
    상기 트리 구조로 연결하는 단계는,
    상기 복수개의 이미지 각각으로부터 객체를 인식하는 단계;
    유사한 객체를 가지는 이미지들을 분류하여 하나 이상의 그룹을 생성하는 단계;
    각 그룹별로 이미지들에 포함된 객체의 개수에 근거하여 이미지들 간의 계층적 구조를 생성하는 단계, 객체의 개수가 많은 이미지가 상위 심도에 위치함; 및
    상기 계층적 구조를 가지는 각 그룹에서 동일한 이미지를 가지는 심도를 서로 연결하여 상기 트리 구조를 생성하는 단계를 포함하는 것을 특징으로 하는 멀티 심도 이미지 생성 방법.
  7. 삭제
  8. 제1항 내지 6항 중 어느 한 항의 방법을 실행시키기 위해, 저장 매체에 저장된, 컴퓨터 프로그램.
KR1020170184767A 2017-12-29 2017-12-29 멀티 심도 이미지의 자동 생성 방법 KR102644105B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170184767A KR102644105B1 (ko) 2017-12-29 2017-12-29 멀티 심도 이미지의 자동 생성 방법
PCT/KR2018/016820 WO2019132566A1 (ko) 2017-12-29 2018-12-28 멀티 심도 이미지의 자동 생성 방법
US16/913,810 US11263477B2 (en) 2017-12-29 2020-06-26 Method of auto-generation of multidepth image by interconnecting images into tree structure

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170184767A KR102644105B1 (ko) 2017-12-29 2017-12-29 멀티 심도 이미지의 자동 생성 방법

Publications (2)

Publication Number Publication Date
KR20190081907A KR20190081907A (ko) 2019-07-09
KR102644105B1 true KR102644105B1 (ko) 2024-03-06

Family

ID=67067911

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170184767A KR102644105B1 (ko) 2017-12-29 2017-12-29 멀티 심도 이미지의 자동 생성 방법

Country Status (3)

Country Link
US (1) US11263477B2 (ko)
KR (1) KR102644105B1 (ko)
WO (1) WO2019132566A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102644105B1 (ko) * 2017-12-29 2024-03-06 주식회사 피제이팩토리 멀티 심도 이미지의 자동 생성 방법
KR20200039169A (ko) * 2018-10-05 2020-04-16 주식회사 피제이팩토리 멀티 뎁스 이미지 표시 장치 및 방법
KR20200079849A (ko) * 2018-12-26 2020-07-06 주식회사 피제이팩토리 멀티 뎁스(multi-depth) 이미지 생성 및 뷰잉
JP2023529346A (ja) * 2020-06-03 2023-07-10 ピージェー ファクトリー カンパニー リミテッド マルチデプスイメージを生成する方法
KR20220090103A (ko) * 2020-12-22 2022-06-29 주식회사 피제이팩토리 멀티 뎁스 이미지를 이용하여 이미지를 레이블링하고 어노테이션하는 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100284778B1 (ko) 1998-10-28 2001-03-15 정선종 내용기반 이미지 검색을 위한 고차원 색인구조의 삽입 방법
US20120306909A1 (en) * 2011-06-03 2012-12-06 Daisuke Mochizuki Information processor, information processing method and program
US20150235109A1 (en) * 2010-03-19 2015-08-20 Canon Kabushiki Kaisha Learning method and apparatus for pattern recognition

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4835134B2 (ja) * 2005-12-06 2011-12-14 ソニー株式会社 画像表示装置、画像表示方法、および、プログラム
JP5035596B2 (ja) * 2006-09-19 2012-09-26 ソニー株式会社 情報処理装置および方法、並びにプログラム
KR101145278B1 (ko) * 2011-11-08 2012-05-24 (주)올라웍스 유사한 이미지들로부터 대표 이미지를 선택하는 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
KR101354721B1 (ko) * 2012-05-21 2014-01-29 주식회사 다음커뮤니케이션 검색 시스템 및 검색 서비스 방법
US10824313B2 (en) * 2013-04-04 2020-11-03 P.J. Factory Co., Ltd. Method and device for creating and editing object-inserted images
KR102644105B1 (ko) * 2017-12-29 2024-03-06 주식회사 피제이팩토리 멀티 심도 이미지의 자동 생성 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100284778B1 (ko) 1998-10-28 2001-03-15 정선종 내용기반 이미지 검색을 위한 고차원 색인구조의 삽입 방법
US20150235109A1 (en) * 2010-03-19 2015-08-20 Canon Kabushiki Kaisha Learning method and apparatus for pattern recognition
US20120306909A1 (en) * 2011-06-03 2012-12-06 Daisuke Mochizuki Information processor, information processing method and program

Also Published As

Publication number Publication date
KR20190081907A (ko) 2019-07-09
WO2019132566A1 (ko) 2019-07-04
US20200327366A1 (en) 2020-10-15
US11263477B2 (en) 2022-03-01

Similar Documents

Publication Publication Date Title
KR102644105B1 (ko) 멀티 심도 이미지의 자동 생성 방법
Rocco et al. Ncnet: Neighbourhood consensus networks for estimating image correspondences
US9633483B1 (en) System for filtering, segmenting and recognizing objects in unconstrained environments
US8724908B2 (en) System and method for labeling a collection of images
US9311756B2 (en) Image group processing and visualization
CN104484671B (zh) 应用于移动平台的目标检索系统
Jiang et al. Reliable image matching via photometric and geometric constraints structured by Delaunay triangulation
US10817626B2 (en) Design-model management
US20170323149A1 (en) Rotation invariant object detection
US10614379B2 (en) Robust classification by pre-conditioned lasso and transductive diffusion component analysis
CN103995816A (zh) 信息处理设备和信息处理方法
JP6061502B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5539555B2 (ja) 画像処理装置、画像処理方法及びプログラム
Li et al. Robust line matching based on ray-point-ray structure descriptor
KR102644097B1 (ko) 멀티 심도 이미지의 자동 변환 방법
US10977527B2 (en) Method and apparatus for detecting door image by using machine learning algorithm
JP5890340B2 (ja) 画像分類装置及び画像分類プログラム
JP7007551B2 (ja) 画像類否判断プログラム、画像類否判断装置および画像類否判断方法
JP6955156B2 (ja) 画像処理プログラム、画像処理装置および画像処理方法
Yang et al. Scene classification-oriented saliency detection via the modularized prescription
KR102644092B1 (ko) 멀티 심도 이미지 생성 방법
JP6770227B2 (ja) 画像処理装置、画像領域検出方法および画像領域検出プログラム
Weyand et al. Fixing wtfs: Detecting image matches caused by watermarks, timestamps, and frames in internet photos
KR102558101B1 (ko) 딥러닝 기반 참조 도면 정보 탐색을 통한 bim 모델의 자동 2차원 도면생성 방법 및 시스템
KR102679753B1 (ko) 문서 데이터 추출 시스템 및 그 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right