KR20190081910A - 멀티 심도 이미지의 자동 변환 방법 - Google Patents

멀티 심도 이미지의 자동 변환 방법 Download PDF

Info

Publication number
KR20190081910A
KR20190081910A KR1020170184771A KR20170184771A KR20190081910A KR 20190081910 A KR20190081910 A KR 20190081910A KR 1020170184771 A KR1020170184771 A KR 1020170184771A KR 20170184771 A KR20170184771 A KR 20170184771A KR 20190081910 A KR20190081910 A KR 20190081910A
Authority
KR
South Korea
Prior art keywords
image
depth
node
depth image
main
Prior art date
Application number
KR1020170184771A
Other languages
English (en)
Other versions
KR102644097B1 (ko
Inventor
박정환
Original Assignee
주식회사 피제이팩토리
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 피제이팩토리 filed Critical 주식회사 피제이팩토리
Priority to KR1020170184771A priority Critical patent/KR102644097B1/ko
Publication of KR20190081910A publication Critical patent/KR20190081910A/ko
Application granted granted Critical
Publication of KR102644097B1 publication Critical patent/KR102644097B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

멀티 심도 이미지의 자동 변환 방법을 개시한다.
본 발명의 일 실시예에 의하면, 전자 장치에서 멀티 심도 이미지를 생성하는 방법에 있어서, 제1 멀티 심도 이미지를 로드하는 단계, 제1 멀티 심도 이미지는 제1 메인 이미지 내에 하나 이상의 개체가 트리 구조로 삽입된 이미지임, 제2 메인 이미지를 선정하는 단계 및 제1 멀티 심도 이미지를 이용하여 제2 메인 이미지의 적어도 일부 영역에 하나 이상의 개체가 트리 구조로 삽입된 제2 멀티 심도 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 멀티 심도 이미지 생성 방법을 제공한다.

Description

멀티 심도 이미지의 자동 변환 방법{METHOD FOR AUTO-CONVERSION OF MULTI-DEPTH IMAGE}
본 발명은 멀티 심도 이미지의 자동 변환 방법에 관한 것이다. 구체적으로 본 발명은, 기존의 멀티 심도 이미지를 이용하여 일반 이미지를 멀티 심도 이미지로 자동 변환하고, 기존의 멀티 심도 이미지의 내용이 업데이트되면 업데이트 사항을 반영하여 변환된 멀티 심도 이미지를 자동으로 업데이트하는 방법에 대한 것이다.
이 부분에 기술된 내용은 단순히 본 발명에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
전자 장치를 이용하여 이미지 파일을 열었을 때 이미지 파일의 특정 부분에 대한 자세한 정보 또는 확대된 이미지가 요구될 수 있다. 예를 들어 자동차 이미지의 경우, 헤드라이트, 바퀴 등과 같은 특정 부분에 대한 보다 자세한 이미지가 요구될 수 있다.
스마트폰 등과 같은 휴대용 전자 장치의 경우 화면이 작으므로 전체 이미지에서 특정 부분의 자세한 이미지를 확인하기 어렵다. 특정 부분의 자세한 이미지를 확인하기 위하여 해당 부분의 이미지를 확대하는 방법을 이용할 수 있으나, 이는 단순히 픽셀의 크기를 늘리는 것에 불과하므로 만족할 만한 해상도를 얻을 수 없고, 나아가 기존 이미지를 단순 확대하는 것 이외의 추가적인 정보를 얻을 수 없다는 문제가 있다.
이러한 문제를 해결하기 위하여 본 발명자는 기본이 되는 하나의 이미지(이하, '메인 이미지')에 추가적인 정보를 제공하는 다른 이미지(이하, '삽입 이미지')의 삽입이 가능한 새로운 포맷의 이미지(이하, '멀티 심도 이미지') 및 그 생성 방법에 대한 발명을 한국 특허 제10-1501028호(2015.03.04 등록)로 등록받은 바 있다.
동 문헌은 멀티 심도 이미지의 정의와, 멀티 심도 이미지의 생성 및 편집을 위한 사용자 인터페이스를 개시하고 있다. 그러나 동 문헌은 사용자가 수작업으로 삽입 이미지를 선택한 후 모 이미지의 적절한 위치에 삽입하여 멀티 심도 이미지를 생성하는 방법을 개시하고 있을 뿐, 일반 이미지를 멀티 심도 이미지로 자동 변환하는 방법은 개시하지 못하고 있다.
본 발명은 동 발명의 후속 발명으로서, 기존의 멀티 심도 이미지를 이용하여 일반 이미지를 멀티 심도 이미지로 자동 변환하고, 기존의 멀티 심도 이미지의 내용이 업데이트되면 업데이트 사항을 반영하여 변환된 멀티 심도 이미지를 자동으로 업데이트하는 방법에 대한 것이다.
본 발명이 해결하고자 하는 기술적 과제는 사용자가 수작업으로 멀티 심도 이미지를 생성할 필요 없이 기존의 멀티 심도 이미지를 이용하여 일반 이미지를 멀티 심도 이미지로 자동 변환하는 방법을 제공하기 위한 것이다.
또한, 기존의 멀티 심도 이미지의 내용이 업데이트되면 업데이트 사항을 반영하여 변환된 멀티 심도 이미지를 자동으로 업데이트하는 방법을 제공하기 위한 것이다.
본 발명이 해결하고자 하는 기술적 과제는 전술한 기술적 과제에 한정되지 않으며, 언급되지 않은 다른 기술적 과제들이 아래의 기재로부터 통상의 기술자에게 자명하게 도출될 수 있을 것이다.
본 발명의 일 실시예에 의하면, 전자 장치에서 멀티 심도 이미지를 생성하는 방법에 있어서, 제1 멀티 심도 이미지를 로드하는 단계, 제1 멀티 심도 이미지는 제1 메인 이미지 내에 하나 이상의 개체가 트리 구조로 삽입된 이미지임, 제2 메인 이미지를 선정하는 단계 및 제1 멀티 심도 이미지를 이용하여 제2 메인 이미지의 적어도 일부 영역에 하나 이상의 개체가 트리 구조로 삽입된 제2 멀티 심도 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 멀티 심도 이미지 생성 방법을 제공한다.
본 발명의 일 실시예에 의하면 기존의 멀티 심도 이미지를 이용하여 일반 이미지를 멀티 심도 이미지로 자동 변환할 수 있다.
또한, 기존의 멀티 심도 이미지의 내용이 업데이트되면 업데이트 사항을 반영하여 변환된 멀티 심도 이미지를 자동으로 업데이트할 수 있다.
도 1은 멀티 심도 이미지의 구조를 설명하기 위한 개념도이다.
도 2는 이미지 뷰어에서 도 1의 멀티 심도 이미지가 실제로 화면에 표시된 상태를 예시한 도면이다.
도 3은 본 발명의 제1 실시예에 따른 재료 멀티 심도 이미지 및 변환 대상 이미지를 예시한 도면이다.
도 4는 본 발명의 제1 실시예에 따른 이미지 변환 방법을 예시한 도면이다.
도 5는 본 발명의 제1 실시예에 따른 이미지 변환 결과를 예시한 도면이다.
도 6은 본 발명의 제2 실시예에 따른 재료 멀티 심도 이미지 및 변환 대상 이미지를 예시한 도면이다.
도 7은 본 발명의 제2 실시예에 따른 재료 멀티 심도 이미지의 트리 구조에서 노드 순회 방법을 예시한 도면이다.
도 8은 본 발명의 제2 실시예에 따른 이미지 변환 방법을 예시한 도면이다.
도 9는 본 발명의 제2 실시예에 따른 이미지 변환 결과를 예시한 도면이다.
도 10은 본 발명의 제2 실시예에 따른 멀티 심도 이미지의 업데이트 방법을 예시한 도면이다.
도 11은 본 발명의 일 실시예에 따른 멀티 심도 이미지 자동 변환 방법을 예시한 순서도이다.
이하, 본 발명의 일 실시예를 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되어 있더라도 가능한 한 동일한 부호를 사용하고 있음에 유의해야 한다. 또한 본 발명의 일 실시예를 설명함에 있어서 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명을 생략한다.
본 발명의 일 실시예의 구성요소를 설명함에 있어서 제1, 제2, i), ii), a), b) 등의 부호를 사용할 수 있다. 이러한 부호는 그 구성요소를 다른 구성요소와 구별하기 위한 것일 뿐 그 부호에 의해 해당 구성요소의 본질, 차례, 순서 등이 한정되는 것은 아니다. 본 명세서에서 어떤 부분이 어떤 구성요소를 '포함' 또는 '구비'한다고 할 때, 이는 명시적으로 반대되는 기재가 없는 한 해당 부분이 다른 구성요소를 부가하는 것을 배제하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. '~부', '모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 '하드웨어', '소프트웨어' 또는 '하드웨어와 소프트웨어의 결합'으로 구현될 수 있다.
1. 멀티 심도 이미지의 구조
도 1은 멀티 심도 이미지의 구조를 설명하기 위한 개념도이다.
도 1은 이미지 뷰어에서 멀티 심도 이미지가 실제로 표시된 화면이 아니라 멀티 심도 이미지의 구조를 표현한 개념도이다.
도 1에 나타난 것과 같이, 멀티 심도 이미지는 복수개의 이미지가 트리 구조로 연결된 구조이다. 트리 구조에서 최상위에 위치하는 이미지는 메인 이미지이다. 도 1에서는 자동차의 전체적인 이미지를 메인 이미지로 예시하였다.
메인 이미지 이외의 이미지는 삽입 이미지이다. 트리 구조에서 루트에는 메인 이미지가 위치하고, 하나 이상의 삽입 이미지는 서로 부모, 형제 또는 자식의 관계를 가지고 메인 이미지 아래에 연결되어 있다.
메인 이미지는 0의 깊이를 가지고, 메인 이미지에 직접 삽입된 삽입 이미지는 1의 깊이를 가진다. 예컨대 자동차 전체가 표시된 이미지(이하, '자동차 전체 이미지')에 헤드라이트가 표시된 이미지(이하, '헤드라이트 이미지') 및 바퀴가 표시된 이미지(이하, '바퀴 이미지')를 삽입할 수 있으며, 이 경우 헤드라이트 이미지 및 바퀴 이미지는 1의 깊이를 가진다.
삽입 이미지에 삽입된 다른 삽입 이미지는 2 이상의 깊이를 가진다. 예컨대 1의 깊이를 가지는 헤드라이트 이미지에 전구가 표시된 이미지(이하, '전구 이미지') 및 반사경이 표시된 이미지(이하, '반사경 이미지')를 삽입할 수 있으며, 이 경우 전구 이미지 및 반사경 이미지는 2의 깊이를 가진다. 또한 1의 깊이를 가지는 바퀴 이미지에 타이어휠이 표시된 이미지(이하, '타이어휠 이미지') 및 타이어가 표시된 이미지(이하, '타이어 이미지')를 삽입할 수 있으며, 이 경우 타이어휠 이미지 및 타이어 이미지는 2의 깊이를 가진다.
이와 같은 방식으로 계속하여 이미지를 삽입할 수 있다. 예컨대 전구 이미지, 반사경 이미지, 타이어휠 이미지 또는 타이어 이미지에 다른 이미지를 삽입할 수 있으며, 이 때 삽입되는 이미지는 3의 깊이를 가지게 된다.
2. 멀티 심도 이미지의 표시
도 1에서 자동차 노드 아래에 헤드라이트 노드 및 바퀴 노드가 위치하고, 헤드라이트 노드 아래에 전구 노드 및 반사경 노드가 위치하며, 바퀴 노드 아래에 타이어휠 노드 및 타이어 노드가 위치한다.
멀티 심도 이미지는 도 1에 예시된 트리 구조에서 부모 노드의 개체에 자식 노드의 개체가 삽입된 형태의 이미지 포맷이다. 부모 노드의 개체에 자식 노드의 개체가 삽입될 때 삽입되는 개체는 일반적으로 이미지이다. 그러나 이미지 외에도 동영상, 텍스트, 음성, 다른 파일에 대한 링크, 인터넷 주소 링크, 북마크 등 다양한 개체가 자식 노드의 개체로서 부모 노드의 개체에 삽입될 수 있다. 다만 이하에서는 설명의 편의상 부모 노드의 개체 및 자식 노드의 개체가 모두 이미지인 경우를 예로 들어 설명한다.
부모 노드의 개체 및 자식 노드의 개체가 이미지라고 할 때 도 1에 예시된 트리 구조에서 부모 노드의 이미지(이하, '부모 이미지')의 적절한 위치에 자식 노드의 이미지(이하, '자식 이미지')를 삽입함으로써 멀티 심도 이미지를 생성할 수 있다. 부모 이미지의 적절한 위치에 자식 이미지를 삽입하는 방법으로서, 부모 이미지와 자식 이미지를 비교한 후 부모 이미지에서 자식 이미지의 특징이 발견된 위치에 자식 이미지를 삽입하는 방법을 사용할 수 있다.
도 2는 이미지 뷰어에서 도 1의 멀티 심도 이미지가 실제로 화면에 표시된 상태를 예시한 도면이다.
이미지 뷰어에서 도 2와 같이 자동차에 대한 멀티 심도 이미지(200)를 구성하는 모든 이미지가 한 화면에 표시될 수도 있고, 자동차에 대한 멀티 심도 이미지(200)를 구성하는 자동차 전체 이미지(210), 헤드라이트 이미지(220), 전구 이미지(221), 반사경 이미지(222), 바퀴 이미지(230), 타이어휠 이미지(231) 또는 타이어 이미지(232)가 단독으로 표시될 수도 있다. 각각의 이미지가 단독으로 표시될 경우, 다른 이미지가 삽입되어 있음을 나타내는 아이콘(도 2에서는 '⊙' 모양의 아이콘)을 클릭 또는 터치하면 삽입된 이미지가 표시될 수 있다.
도 2에 나타난 것과 같이, 멀티 심도 이미지는, 자동차 전체 이미지(210)에서 헤드라이트 이미지(220)와 유사한 특징이 발견된 위치에 헤드라이트 이미지(220)가 삽입되고, 자동차 전체 이미지(210)에서 바퀴 이미지(230)와 유사한 특징이 발견된 위치에 바퀴 이미지(230)가 삽입되며, 헤드라이트 이미지(220)에서 전구 이미지(221)와 유사한 특징이 발견된 위치에 전구 이미지(221)가 삽입되고, 헤드라이트 이미지(220)에서 반사경 이미지(222)와 유사한 특징이 발견된 위치에 반사경 이미지(222)가 삽입되며, 바퀴 이미지(230)에서 타이어휠 이미지(231)와 유사한 특징이 발견된 위치에 타이어휠 이미지(231)가 삽입되고, 바퀴 이미지(230)에서 타이어 이미지(232)와 유사한 특징이 발견된 위치에 타이어 이미지(232)가 삽입된 형태의 이미지일 수 있다.
다만 반드시 부모 이미지에서 자식 이미지의 특징이 발견된 위치에 자식 이미지가 삽입되어야 하는 것은 아니고, 부모 이미지의 어느 위치에든 자식 이미지가 삽입된 구조이기만 하면 멀티 심도 이미지가 된다.
3. 기본 인터페이스
멀티 심도 이미지에서 루트 노드의 이미지가 '메인 이미지'이고, 메인 이미지를 제외한 모든 이미지가 '삽입 이미지'이다. 메인 이미지에 삽입 이미지를 삽입하기 위한 사용자 인터페이스는 다음과 같이 구현될 수 있다.
① 사용자로부터 메인 이미지를 선택하는 입력을 수신한다.
② 사용자로부터 삽입 이미지를 선택하는 입력을 수신한다.
③ 메인 이미지 및 작은 크기로 아이콘화된 삽입 이미지를 화면에 표시한다.
④ 사용자로부터 아이콘화된 삽입 이미지를 드래그하는 입력을 수신한다.
⑤ 사용자로부터 드래그 입력의 종료를 수신한다.
⑥ 터치 입력이 종료된 위치에 삽입 이미지를 삽입한다.
삽입 이미지에 다른 삽입 이미지를 삽입하기 위한 사용자 인터페이스는 다음과 같이 구현될 수 있다.
① 사용자로부터 메인 이미지를 선택하는 입력을 수신한다.
② 사용자로부터 삽입 이미지를 선택하는 입력을 수신한다.
③ 메인 이미지 및 작은 크기로 아이콘화된 삽입 이미지를 화면에 표시한다.
④ 사용자로부터 아이콘화된 삽입 이미지를 드래그하는 입력을 수신한다.
⑤ 아이콘화된 삽입 이미지가 기존의 삽입 이미지가 삽입된 위치에 드래그되면 메인 이미지 대신 기존의 삽입 이미지를 화면에 표시한다.
⑥ 사용자로부터 아이콘화된 삽입 이미지를 드래그하는 입력을 수신한다.
⑦ 사용자로부터 드래그 입력의 종료를 수신한다.
⑧ 터치 입력이 종료된 위치에 삽입 이미지를 삽입한다. 기존의 삽입 이미지의 깊이가 N이면 새롭게 삽입된 이미지의 깊이는 N+1이 된다.
이상의 사용자 인터페이스에 의하면 멀티 심도 이미지의 생성 및 편집 시 원터치(one touch) 또는 원클릭(one click)으로 메인 이미지에 삽입 이미지를 삽입할 수 있다.
그러나 사용자 인터페이스를 아무리 개선해도 사용자가 직접 삽입할 이미지를 선택하여 적절한 위치에 삽입하여야 하는 특성상 멀티 심도 이미지의 생성에 많은 시간이 소요된다. 즉, 수작업으로 멀티 심도 이미지를 생성하는 경우 멀티 심도 이미지의 생산성이 크게 떨어지므로, 멀티 심도 이미지의 생성을 자동화시킬 필요가 있다.
이하, 본 발명의 일 실시예는 기존의 멀티 심도 이미지를 이용하여 일반 이미지를 멀티 심도 이미지로 자동 변환하고, 기존의 멀티 심도 이미지의 내용이 업데이트되면 업데이트 사항을 반영하여 변환된 멀티 심도 이미지를 자동으로 업데이트하는 방법을 제공한다.
4. 변환 대상 이미지 선정
이하, 본 명세서에서 '일반 이미지'는 멀티 심도 이미지 포맷이 아닌 모든 종류의 이미지를 의미한다. 예컨대 일반 이미지는 BMP, JPG, JPEG, GIF, PNG, TIF, TIFF 등의 포맷을 가진 통상의 이미지일 수 있다. 또한, 일반 이미지는 360도 이미지, 3D 모델링 오브젝트, 홀로그램 이미지, VR(Virtual Reality) 콘텐츠, AR(Augmented Reality) 콘텐츠, 지도 콘텐츠 등 시각적으로 표현되는 다양한 형태의 콘텐츠 파일일 수 있다.
멀티 심도 이미지를 이용하여 일반 이미지를 멀티 심도 이미지로 변환하고자 할 때, 먼저 재료가 될 멀티 심도 이미지(이하, '재료 멀티 심도 이미지')를 로드(load)하여야 한다. 재료 멀티 심도 이미지는 전자 장치에 저장된 것일 수도 있고, 서버로부터 수신한 것일 수도 있다. 예컨대, 멀티 심도 이미지 통합 플랫폼 서버로부터 재료 멀티 심도 이미지를 수신하여 일반 이미지를 멀티 심도 이미지로 변환하는 데 사용할 수 있다.
재료 멀티 심도 이미지에 삽입된 개체들을 이용하여 일반 이미지를 멀티 심도 이미지로 변환하고자 할 때, 재료 멀티 심도 이미지와 일반 이미지 사이의 연관성이 낮으면 변환에 이용하기 부적절하다. 따라서 재료 멀티 심도 이미지와 연관성이 있는 일반 이미지를 선정할 필요가 있다.
연관성이 있는 일반 이미지 선정에는 다양한 방법이 사용될 수 있다. 예컨대 이미지의 저장 위치, 이미지에 포함된 메타데이터 정보 등을 이용하여 변환할 일반 이미지를 선정할 수 있다.
이미지의 저장 위치를 이용하여 일반 이미지를 선정하는 방법으로서, 재료 멀티 심도 이미지와 동일한 폴더에 저장된 일반 이미지를 변환 대상으로 선정할 수 있다.
이미지에 포함된 메타데이터를 이용하여 일반 이미지를 선정하는 방법으로서, 위치 정보 또는 시간 정보를 사용할 수 있다. 인접한 시간에 촬영된 사진은 상호 연관성이 높을 확률이 높으므로, 재료 멀티 심도 이미지에 삽입된 개체 이미지 중 적어도 하나와 촬영 시간이 기 설정된 시간 이하인 사진들을 일반 이미지로 선정할 수 있다. 또는, 인접한 장소에서 촬영된 사진은 상호 연관성이 높을 확률이 높으므로, 재료 멀티 심도 이미지에 삽입된 개체 이미지 중 적어도 하나와 GPS 좌표가 기 설정된 거리 이하인 사진들을 일반 이미지로 선정할 수 있다.
이하, 재료 멀티 심도 이미지를 이용하여 일반 이미지를 멀티 심도 이미지로 변환하고자 할 때, 변환 대상이 되는 일반 이미지를 '변환 대상 이미지'라고 한다.
5. 삽입 위치 지정
재료 멀티 심도 이미지 및 변환 대상 이미지가 결정되면, 재료 멀티 심도 이미지의 트리 구조에서 각 노드를 순회하면서 순회 노드의 이미지와 변환 대상 이미지를 비교한다.
순회 노드의 이미지와 유사한 특징을 가진 영역이 변환 대상 이미지에서 검색되면 전자 장치는 해당 영역을 삽입 위치로 지정하고, 순회 노드의 이미지 및 그 자손 노드의 이미지를 삽입 위치에 트리 구조로 삽입함으로써 변환 대상 이미지를 멀티 심도 이미지로 변환할 수 있다.
변환 대상 이미지에서 순회 노드의 이미지와 유사한 특징을 가진 영역을 검색하는 과정에서 특징점 특징점 알고리즘을 이용할 수 있다.
특징점(feature point)은 디지털 이미지의 특징을 나타내는 점으로서 다른 점들과 구별될 수 있는 점을 의미한다. 특징점은 일반적으로 물체의 경계, 꼭지점 등에 위치한다. 이미지에 존재하는 국소 패턴(local patterns)도 특징점이 될 수 있다. 기타 디지털 이미지의 특징을 나타내는 점으로서 다른 점들과 구별될 수 있는 점은 모두 특징점이 될 수 있다.
이미지의 크기와 내용에 따라 달라질 수 있으나 보통 이미지 하나 당 수천개의 특징점이 추출된다. 특징점 추출은 이미지 매칭에서 매우 중요한 역할을 한다. 이미지 매칭은 특징점을 이용하여 동일한 물체를 촬영한 두 개의 사진에서 대응되는 부분을 찾아내는 작업인데, 물체 인식, 3차원 구조 계산, 스테레오 매칭, 동작 추적, 파노라마 이미지 생성 등에서 다양하게 응용되고 있다.
특징점은 물체의 경계, 꼭지점, 국소 패턴 등에서 나타나기 때문에, 동일한 물체를 촬영한 사진이라 하더라도 이미지의 스케일이 달라지거나, 물체를 촬영한 관점이 변화하는 경우 달라지기 쉽다. 이러한 문제를 해결하기 위하여 이미지의 밝기, 주변 조명 변화, 이미지의 스케일 변화, 회전, 왜곡, 3D 관점 변화 등에 강인한 다양한 특징점 추출 알고리즘이 개발되고 있다.
특징점 추출 알고리즘의 예로서, Harris는 특징점으로 하여금 모서리(corner)를 검출하는 기법을 제안하였다. Lindeberg는 비례 공간(scale space)을 사용하는 방법으로 영상의 구조를 해석하여 blob(비슷한 특징을 가지고 있는 인접한 픽셀들의 집합)의 검출과 자동 스케일 선택을 하는 기법을 제안하였다. Schmid는 Harris Corner Detector에서 검출한 특징점에 그 점의 화소치와 미분점으로부터 산출한 값을 특징량점으로 사용하는 기법을 제안하였다.
1999년 Lowe는 Schmid의 국소 영역 특징량 개념을 확장하여 영상의 스케일 변화와 회전에도 변하지 않는 특징점을 기술할 수 있는 획기적인 특징점 추출 알고리즘인 Scale-Invariant Feature Transform(SIFT)를 제안하였다. SIFT를 확장한 기법으로서, PCA(Principal Component Analysis)를 이용하여 구배(gradient) 정보를 부분 공간에 투영하여 매칭 정도를 향상한 PCA-SIFT와, SIFT의 특징량 중 배경의 영향을 경감시킨 BSIFT 등과 같은 기법도 개발되었다.
본 발명의 일 실시예에 따른 자동 변환 방법은 다양한 특징점 추출 알고리즘을 이용하여 변환 대상 이미지에서 순회 노드의 이미지와 유사한 특징을 가진 영역을 검색할 수 있다.
또는, 머신러닝 기법으로 유사도를 판단하여 변환 대상 이미지에서 순회 노드의 이미지와 유사한 특징을 가진 영역을 검색할 수 있다.
6. 자동 변환 방법 (제1 실시예)
도 3은 본 발명의 제1 실시예에 따른 재료 멀티 심도 이미지 및 변환 대상 이미지를 예시한 도면이다.
멀티 심도 이미지를 이용하여 변환 대상 이미지를 멀티 심도 이미지로 변환하고자 할 때, 먼저 재료 멀티 심도 이미지를 로드하여야 한다. 재료 멀티 심도 이미지는 전자 장치에 저장된 것일 수도 있고, 서버로부터 수신한 것일 수도 있다. 본 발명의 제1 실시예는 도 2에 예시된 자동차에 대한 멀티 심도 이미지(200)를 재료 멀티 심도 이미지로 하였다.
자동차에 대한 멀티 심도 이미지(200)는, 메인 이미지인 자동차 전체 이미지(210)에 헤드라이트 이미지(220) 및 바퀴 이미지(230)가 삽입되어 있고, 헤드라이트 이미지(220)에 전구 이미지(221) 및 반사경 이미지(222)가 삽입되어 있으며, 바퀴 이미지(230)에 타이어휠 이미지(231) 및 타이어 이미지(232)가 삽입되어 있는 멀티 심도 이미지이다.
자동차에 대한 멀티 심도 이미지(200)가 재료 멀티 심도 이미지로 결정되면, 전자 장치에 저장되어 있는 일반 이미지 중 자동차에 대한 멀티 심도 이미지(200)와 연관성이 있는 이미지를 변환 대상 이미지로 선정할 수 있다. 변환 대상 이미지 선정에는 다양한 방법이 사용될 수 있다. 예컨대 이미지의 저장 위치, 이미지에 포함된 메타데이터 정보 등을 이용하여 변환 대상 이미지를 선정할 수 있다. 본 발명의 제1 실시예는 자동차에 대한 멀티 심도 이미지(200)의 메인 이미지인 자동차 전체 이미지(210)와 인접한 시간 및 인접한 장소에서 촬영된 집 앞 사진(310)을 변환 대상 이미지로 선정하였다.
한편, 재료 멀티 심도 이미지의 메인 이미지와, 변환 대상 이미지는 서로 다른 타입의 콘텐츠일 수 있다. 예컨대 재료 멀티 심도 이미지의 메인 이미지는 BMP, JPG, JPEG, GIF, PNG, TIF, TIFF 등의 포맷을 가진 통상의 이미지이고, 변환 대상 이미지는 360도 이미지, 3D 모델링 오브젝트, 홀로그램 이미지, VR(Virtual Reality) 콘텐츠, AR(Augmented Reality) 콘텐츠, 지도 콘텐츠 등 시각적으로 표현되는 다른 포맷의 콘텐츠 파일일 수 있다. 따라서 본 발명의 일 실시예에 따른 자동 변환 방법을 이용하여, 360도 이미지, 3D 모델링 오브젝트, 홀로그램 이미지, VR(Virtual Reality) 콘텐츠, AR(Augmented Reality) 콘텐츠, 지도 콘텐츠 등을 멀티 심도 이미지로 변환할 수도 있다.
도 4는 본 발명의 제1 실시예에 따른 이미지 변환 방법을 예시한 도면이다.
재료 멀티 심도 이미지 및 변환 대상 이미지가 결정되면 재료 멀티 심도 이미지의 트리 구조에서 각 노드를 순회하면서 순회 노드의 이미지와 변환 대상 이미지를 비교한다. 본 발명의 제1 실시예는 자동차에 대한 멀티 심도 이미지(200)의 각 노드를 순회하면서 순회 노드의 이미지를 집 앞 사진(310)과 비교하고 있다.
재료 멀티 심도 이미지의 트리 구조에서 각 노드를 순회함에 있어서, 최상위 심도로부터 최하위 심도를 향하는 방향으로 순차적으로 노드를 순회할 수 있다. 예컨대, 자동차에 대한 멀티 심도 이미지(200)에서 자동차 노드(깊이 0), 헤드라이트 노드(깊이 1), 바퀴 노드(깊이 1), 전구 노드(깊이 2), 반사경 노드(깊이 2), 타이어휠 노드(깊이 2) 및 타이어 노드(깊이 2) 순서로 순회할 수 있다.
도 4에 나타난 것과 같이, 자동차에 대한 멀티 심도 이미지(200)의 트리 구조에서 각 노드를 최상위 심도로부터 최하위 심도를 향하는 방향으로 순회하면서 순회 노드의 이미지를 집 앞 사진(310)과 비교한다. 순회 노드의 이미지와 집 앞 사진(310)을 비교하여 순회 노드의 이미지와 유사한 특징을 가진 영역이 집 앞 사진(310)에서 검색되면 해당 영역을 삽입 위치로 지정할 수 있다. 구체적으로, 순회 노드의 이미지의 특징점과 집 앞 사진(310)의 특징점을 비교하여, 집 앞 사진(310)의 특징점 중에서 순회 노드의 이미지의 특징점과 유사한 특징점이 검색되면, 해당 특징점이 있는 영역을 삽입 위치로 지정할 수 있다.
예컨대 자동차 전체 이미지(210)와 집 앞 사진(310), 헤드라이트 이미지(220)와 집 앞 사진(310), 전구 이미지(221)와 집 앞 사진(310), 반사경 이미지(222)와 집 앞 사진(310), 바퀴 이미지(230)와 집 앞 사진(310), 타이어휠 이미지(231)와 집 앞 사진(310), 및 타이어 이미지(232)와 집 앞 사진(310)을 순서대로 비교하여 유사한 특징을 가진 영역을 검색할 수 있다.
변환 대상 이미지에서 순회 노드의 이미지와 유사한 특징을 가진 영역이 검색되면 해당 영역을 삽입 위치로 지정한 후, 삽입 위치에 순회 노드의 이미지 및 그 자손 노드의 이미지를 트리 구조로 삽입함으로써 변환 대상 이미지를 멀티 심도 이미지로 변환할 수 있다. 본 발명의 제1 실시예는 자동차에 대한 멀티 심도 이미지(200)의 트리 구조에서 각 노드를 최상위 심도로부터 최하위 심도를 향하는 방향으로 순회하면서 순회 노드의 이미지를 집 앞 사진(310)과 비교한 결과, 집 앞 사진(310)의 일부 영역에서 헤드라이트 이미지(220)와 유사한 특징을 가진 영역이 검색되어, 해당 영역을 삽입 위치로 지정한 경우를 예시하고 있다.
도 4에 나타난 것과 같이, 삽입 위치가 지정되면 집 앞 사진(310)의 삽입 위치에 헤드라이트 이미지의 복사본(320)과, 그 자손 노드의 이미지인 전구 이미지의 복사본(331) 및 반사경 이미지의 복사본(332)을 트리 구조로 삽입함으로써 새로운 멀티 심도 이미지를 생성할 수 있다.
한편, 멀티 심도 이미지의 트리 구조에서 각 노드를 순회하며 순회 노드의 이미지를 변환 대상 이미지와 비교함에 있어서, 변환 대상 이미지의 일부 영역에서 순회 노드의 이미지와 유사한 특징을 가진 영역이 검색되면, 해당 순회 노드의 자손 노드의 이미지에 대해서는 비교를 수행하지 않도록 할 수 있다.
예를 들어, 본 발명의 제1 실시예에서 집 앞 사진(310)의 일부 영역에서 헤드라이트 이미지(220)와 유사한 특징을 가진 영역이 검색되면, 그 자손 노드의 이미지인 전구 이미지(221) 및 반사경 이미지(222)는 집 앞 사진(310)과 비교하지 않을 수 있다. 헤드라이트 이미지의 복사본(320)이 삽입될 때, 전구 이미지의 복사본(331) 및 반사경 이미지의 복사본(332)이 집 앞 사진(310)에 함께 삽입될 것이기 때문에, 전구 이미지(221) 및 반사경 이미지(222)에 대해서는 삽입 여부를 판단하기 위한 비교가 불필요하다. 이와 같이 불필요한 비교를 줄임으로써 변환 속도를 높일 수 있다.
도 5는 본 발명의 제1 실시예에 따른 이미지 변환 결과를 예시한 도면이다.
도 5에 나타난 것과 같이, 본 발명의 제1 실시예에서 따른 이미지 변환 결과, 변환 대상 이미지(310)의 삽입 위치에 헤드라이트 이미지의 복사본(320), 전구 이미지의 복사본(321) 및 반사경 이미지의 복사본(322)이 트리 구조로 삽입된 멀티 심도 이미지(300)가 생성된다.
7. 자동 변환 방법 (제2 실시예)
도 6은 본 발명의 제2 실시예에 따른 재료 멀티 심도 이미지 및 변환 대상 이미지를 예시한 도면이다.
멀티 심도 이미지를 이용하여 변환 대상 이미지를 멀티 심도 이미지로 변환하고자 할 때, 먼저 재료 멀티 심도 이미지를 로드하여야 한다. 재료 멀티 심도 이미지는 전자 장치에 저장된 것일 수도 있고, 서버로부터 수신한 것일 수도 있다. 본 발명의 제2 실시예는 제1 멀티 심도 이미지(600)를 재료 멀티 심도 이미지로 하였다.
제1 멀티 심도 이미지(600)는, 제1 메인 이미지(610)의 특정 위치에 A 이미지가 삽입되어 있고, A 이미지에 B 이미지 및 C 이미지가 삽입되어 있으며, B 이미지에 D 이미지 및 E 이미지가 삽입되어 있으고, C 이미지에 F 이미지 및 G 이미지가 삽입되어 있으며, D 이미지에 H 이미지가 삽입되어 있으고, E 이미지에 I 이미지 및 J 이미지가 삽입되어 있으며, F 이미지에 K 이미지가 삽입되어 있는 멀티 심도 이미지이다.
제1 멀티 심도 이미지(600)가 재료 멀티 심도 이미지로 결정되면, 전자 장치에 저장되어 있는 일반 이미지 중 제1 멀티 심도 이미지(600)와 연관성이 있는 이미지를 변환 대상 이미지로 선정할 수 있다. 본 발명의 제2 실시예는 제1 멀티 심도 이미지(600)에 삽입되어 있는 C 이미지와 인접한 시간 및 인접한 장소에서 촬영된 사진(이하, '제2 메인 이미지(710)')를 변환 대상 이미지로 선정하였다.
도 7은 본 발명의 제2 실시예에 따른 재료 멀티 심도 이미지의 트리 구조에서 노드 순회 방법을 예시한 도면이다.
재료 멀티 심도 이미지 및 변환 대상 이미지가 결정되면 재료 멀티 심도 이미지의 트리 구조에서 각 노드를 순회하면서 순회 노드의 이미지와 변환 대상 이미지를 비교한다. 본 발명의 제2 실시예는 제1 멀티 심도 이미지(600)의 각 노드를 순회하면서 순회 노드의 이미지를 제2 메인 이미지(710)와 비교하고 있다.
재료 멀티 심도 이미지의 트리 구조에서 각 노드를 순회함에 있어서, 최상위 심도로부터 최하위 심도를 향하는 방향으로 노드를 순회할 수 있다. 예컨대, 제1 멀티 심도 이미지(600)의 트리 구조에서 각 노드를 A 노드(깊이 0), B 노드(깊이 1), C 노드(깊이 1), D 노드(깊이 2), E 노드(깊이 2), F 노드(깊이 2), G 노드(깊이 2), H 노드(깊이 3), I 노드(깊이 3), J 노드(깊이 3) 및 K 노드(깊이 3) 순서로 순회할 수 있다.
구체적으로, 재료 멀티 심도 이미지의 트리 구조에서 각 노드를 순회함에 있어서 다양한 그래프 순회 방법을 사용할 수 있다. 대표적인 그래프 순회 방법으로서 깊이 우선 탐색과 너비 우선 탐색이 있다.
깊이 우선 탐색(Depth First Search: DFS)은 맹목적 탐색방법의 하나로서, 한 정점을 방문한 후에, 그에 인접하고 아직 방문하지 않은 한 정점을 선택하여 방문하고, 방문한 정점에 대해서도 깊이 우선 탐색을 반복하는 방법이다.
너비 우선 탐색(Breadth First Search, BFS)은 맹목적 탐색방법의 하나로서, 한 정점을 방문한 후에, 그에 인접한 모든 정점들을 방문하고, 방문한 정점에 대해서도 너비 우선 탐색을 반복하는 방법이다.
도 7(a)는 제1 멀티 심도 이미지(600)의 트리 구조에서 각 노드를 깊이 우선 탐색 방법으로 탐색할 때의 순회 순서를 나타낸 도면이다. 도 7(a)에 나타난 것과 같이, 제1 멀티 심도 이미지(600)를 깊이 우선 탐색 방법으로 탐색할 때의 순회 순서는 A 노드, B 노드, D 노드, H 노드, E 노드, I 노드, J 노드, C 노드, F 노드, K 노드 및 G 노드의 순서가 된다.
도 7(b)는 제1 멀티 심도 이미지(600)의 트리 구조에서 각 노드를 너비 우선 탐색 방법으로 탐색할 때의 순회 순서를 나타낸 도면이다. 도 7(b)에 나타난 것과 같이, 제1 멀티 심도 이미지(600)를 깊이 너비 탐색 방법으로 탐색할 때의 순회 순서는 A 노드, B 노드, C 노드, D 노드, E 노드, F 노드, G 노드, H 노드, I 노드, J 노드 및 K 노드의 순서가 된다.
전술한 것과 같이 자손 노드의 이미지는 부모 노드 이미지와 함께 변환 대상 이미지에 삽입될 것이기 때문에 삽입 여부를 판단하기 위한 비교가 불필요하다. 따라서 멀티 심도 이미지의 트리 구조에서 각 노드를 순회하며 순회 노드의 이미지를 변환 대상 이미지와 비교함에 있어서, 변환 대상 이미지의 일부 영역에서 순회 노드의 이미지와 유사한 특징을 가진 영역이 검색되면, 해당 순회 노드의 자손 노드의 이미지에 대해서는 비교를 수행하지 않을 수 있으며, 이와 같이 자손 노드의 이미지에 대한 불필요한 비교를 생략하기 위하여 각 노드를 최상위 심도로부터 최하위 심도를 향하는 방향으로 순회하는 것이 바람직하다.
도 7(a)에 예시된 것과 같이, 제1 멀티 심도 이미지(600)를 깊이 우선 탐색 방법으로 탐색할 때의 순회 순서는 A 노드(깊이 0), B 노드(깊이 1), D 노드(깊이 2), H 노드(깊이 3), E 노드(깊이 2), I 노드(깊이 3), J 노드(깊이 3), C 노드(깊이 1), F 노드(깊이 2), K 노드(깊이 3) 및 G 노드(깊이 2)의 순서이므로 최상위 심도로부터 최하위 심도를 향하는 방향의 순회가 아니다.
반면, 도 7(b)에 예시된 것과 같이, 제1 멀티 심도 이미지(600)를 너비 우선 탐색 방법으로 탐색할 때의 순회 순서는 A 노드(깊이 0), B 노드(깊이 1), C 노드(깊이 1), D 노드(깊이 2), E 노드(깊이 2), F 노드(깊이 2), G 노드(깊이 2), H 노드(깊이 3), I 노드(깊이 3), J 노드(깊이 3) 및 K 노드(깊이 3)의 순서이므로 최상위 심도로부터 최하위 심도를 향하는 방향의 순회이다.
따라서 재료 멀티 심도 이미지의 트리 구조에서 각 노드를 순회할 때는 너비 우선 탐색 방법을 사용할 수 있다.
도 8은 본 발명의 제2 실시예에 따른 이미지 변환 방법을 예시한 도면이다.
재료 멀티 심도 이미지 및 변환 대상 이미지가 결정되면 재료 멀티 심도 이미지의 트리 구조에서 각 노드를 순회하면서 순회 노드의 이미지와 변환 대상 이미지를 비교한다.
전술한 것과 같이 재료 멀티 심도 이미지의 트리 구조에서 각 노드를 순회할 때 너비 우선 탐색 방법을 사용할 수 있다. 제1 멀티 심도 이미지(600)를 너비 우선 탐색 방법으로 탐색하면 A 노드, B 노드, C 노드, D 노드, E 노드, F 노드, G 노드, H 노드, I 노드, J 노드 및 K 노드 순서로 노드를 순회하게 된다.
제1 멀티 심도 이미지(600)의 트리 구조에서 각 노드를 순회하면서 순회 노드의 이미지를 제2 메인 이미지(710)와 비교한다. 순회 노드의 이미지와 제2 메인 이미지(710)를 비교하여 순회 노드의 이미지와 유사한 특징을 가진 영역이 제2 메인 이미지(710)에서 검색되면 해당 영역을 삽입 위치로 지정할 수 있다. 구체적으로, 순회 노드의 이미지의 특징점과 제2 메인 이미지(710)의 특징점을 비교하여, 제2 메인 이미지(710)의 특징점 중에서 순회 노드의 이미지의 특징점과 유사한 특징점이 검색되면, 해당 특징점이 있는 영역을 삽입 위치로 지정할 수 있다.
도 8에 나타난 것과 같이, 제2 메인 이미지(710)에는 C 이미지와 유사한 특징을 가진 영역 및 E 이미지와 유사한 특징을 가진 영역이 존재한다. 따라서 제2 메인 이미지(710)에서 C 이미지와 유사한 특징을 가진 영역에 C 이미지의 복사본과, 그 자손 노드의 이미지인 F 이미지의 복사본, G 이미지의 복사본 및 K 이미지의 복사본을 트리 구조로 삽입한다. 또한, 제2 메인 이미지(710)에서 E 이미지와 유사한 특징을 가진 영역에 E 이미지의 복사본과, 그 자손 노드의 이미지인 I 이미지의 복사본 및 J 이미지의 복사본을 트리 구조로 삽입한다.
도 9는 본 발명의 제2 실시예에 따른 이미지 변환 결과를 예시한 도면이다.
도 9에 나타난 것과 같이, 본 발명의 제2 실시예에서 따른 이미지 변환 결과, 제2 메인 이미지(710)에서, C 이미지와 유사한 특징이 검색된 영역에 C 이미지 및 그 자손 노드의 이미지가 트리 구조로 삽입되고, E 이미지와 유사한 특징이 검색된 영역에 E 이미지 및 그 자손 노드의 이미지가 트리 구조로 삽입된 멀티 심도 이미지(이하, '제2 멀티 심도 이미지(700)')가 생성된다.
8. 자동 업데이트 방법
도 10은 본 발명의 제2 실시예에 따른 멀티 심도 이미지의 업데이트 방법을 예시한 도면이다.
제1 멀티 심도 이미지(600)의 내용이 업데이트되면, 제1 멀티 심도 이미지(600)의 업데이트 사항을 반영하여 제2 멀티 심도 이미지(700)가 자동으로 업데이트되도록 할 수 있다. 또한, 제2 멀티 심도 이미지(700)의 내용이 업데이트되면, 제2 멀티 심도 이미지(700)의 업데이트 사항을 반영하여 제1 멀티 심도 이미지(600)가 자동으로 업데이트되도록 할 수 있다.
도 10은 제1 멀티 심도 이미지(600)에서 G 노드 및 H 노드가 삭제되고, L 노드 및 M 노드가 추가되어 업데이트된 제1 멀티 심도 이미지(600a)를 예시하고 있다. 도 10에 나타난 것과 같이, 제1 멀티 심도 이미지(600)가 업데이트되면 제1 멀티 심도 이미지(600)에서 업데이트된 노드를 식별하고, 제2 멀티 심도 이미지(700) 내에서 업데이트된 노드에 대응하는 노드를 업데이트함으로써, 제2 멀티 심도 이미지(700)를 업데이트할 수 있다. 이 때, 업데이트된 노드에 대응하는 노드는 업데이트된 노드 자체, 또는 업데이트된 노드의 부모 노드를 루트로 하는 트리의 모든 노드를 의미한다.
도 10에서 제1 멀티 심도 이미지(600)에서 삭제 또는 추가되어 업데이트된 노드는 G 노드, H 노드, L 노드 및 M 노드이다. 제2 멀티 심도 이미지(700)에서 업데이트된 노드에 대응하는 노드를 검색한 결과, G 노드는 직접 검색되었고, L 노드 및 M 노드는 L 노드 및 M 노드의 부모 노드인 K 노드가 검색되었다. H 노드에 대응하는 노드는 검색되지 않았다. 따라서 제2 멀티 심도 이미지(700)에서 G 노드, K 노드를 루트로 하는 트리의 모든 노드를 업데이트함으로써 제2 멀티 심도 이미지(700)를 업데이트할 수 있다. 도 10에 업데이트된 제2 멀티 심도 이미지(700a)가 예시되어 있다.
9. 순서도
도 11은 본 발명의 일 실시예에 따른 멀티 심도 이미지 자동 변환 방법을 예시한 순서도이다.
본 발명의 일 실시예에 따른 멀티 심도 이미지 자동 변환 방법은, 제1 메인 이미지 내에 하나 이상의 개체가 트리 구조로 삽입된 제1 멀티 심도 이미지를 로드하는 단계(S1110), 제2 메인 이미지를 선정하는 단계(S1120) 및 제1 멀티 심도 이미지를 이용하여 제2 메인 이미지의 적어도 일부 영역에 하나 이상의 개체가 트리 구조로 삽입된 제2 멀티 심도 이미지를 생성하는 단계(S1130)를 포함한다.
또한, S1130 단계 다음에, 제1 멀티 심도 이미지와 제2 멀티 심도 이미지 중 하나의 멀티 심도 이미지가 업데이트되면, 다른 하나의 멀티 심도 이미지를 자동으로 업데이트하는 단계를 더 포함할 수 있다.
그밖에 전술한 실시예에서 설명한 내용과 중복되는 내용은 자세한 설명을 생략한다.
도 11은 S1110 내지 S1130을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 기술 사상을 예시적으로 설명한 것에 불과할 뿐, S1110 내지 S1130의 실행이 시계열적인 순서로 한정되는 것은 아니다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 S1110 내지 S1130의 순서를 변경하거나, S1110 내지 S1130에서 하나 이상의 단계를 생략하거나, S1110 내지 S1130에서 하나 이상의 단계를 병렬적으로 실행하는 등 도 11의 방법을 다양하게 수정 및 변형할 수 있을 것이다.
한편, 전술한 실시예들로 설명된 방법은 컴퓨터 또는 스마트폰으로 읽을 수 있는 기록매체에 컴퓨터 또는 스마트폰이 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터 또는 스마트폰이 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 즉, 컴퓨터 또는 스마트폰이 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, ROM, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, CD-ROM, DVD 등), 플래시 메모리(예를 들면, USB, SSD) 등과 같은 저장매체를 포함한다. 또한 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터 또는 스마트폰이 읽을 수 있는 코드가 저장되고 실행될 수 있다.
본 실시예는 본 발명의 기술적 사상을 예시적으로 설명한 것에 불과하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 본 실시예의 다양한 수정 및 변형이 가능할 것이다.
본 실시예는 본 발명의 기술적 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 따라서 본 실시예에 의하여 본 발명의 권리범위가 한정되는 것은 아니다. 본 발명의 보호범위는 청구범위에 의하여 해석되어야 하며, 그와 동등하거나 균등하다고 인정되는 모든 기술적 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 한다.
200: 자동차에 대한 멀티 심도 이미지
210: 자동차 전체 이미지 220: 헤드라이트 이미지
221: 전구 이미지 222: 반사경 이미지
230: 바퀴 이미지 231: 타이어휠 이미지
232: 타이어 이미지 300: 변환된 멀티 심도 이미지
310: 집 앞 사진 320: 헤드라이트 이미지의 복사본
321: 전구 이미지의 복사본 322: 반사경 이미지의 복사본
600: 제1 멀티 심도 이미지 600a: 업데이트된 제1 멀티 심도 이미지
610: 제1 메인 이미지 700: 제2 멀티 심도 이미지
700a: 업데이트된 제2 멀티 심도 이미지
710: 제2 메인 이미지

Claims (12)

  1. 전자 장치에서 멀티 심도 이미지를 생성하는 방법에 있어서,
    제1 멀티 심도 이미지를 로드하는 단계, 상기 제1 멀티 심도 이미지는 제1 메인 이미지 내에 하나 이상의 개체가 트리 구조로 삽입된 이미지임;
    제2 메인 이미지를 선정하는 단계; 및
    상기 제1 멀티 심도 이미지를 이용하여 상기 제2 메인 이미지의 적어도 일부 영역에 하나 이상의 개체가 트리 구조로 삽입된 제2 멀티 심도 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 멀티 심도 이미지 생성 방법.
  2. 제1 항에 있어서,
    상기 제2 멀티 심도 이미지는, 상기 제1 멀티 심도 이미지의 특정 개체 및 상기 특정 개체가 있는 노드의 자손 노드의 개체를 상기 제2 메인 이미지 내에 트리 구조로 삽입함으로써 생성되는 것을 특징으로 하는 멀티 심도 이미지 생성 방법.
  3. 제2 항에 있어서,
    상기 제2 멀티 심도 이미지를 생성하는 단계는,
    상기 제2 메인 이미지에서 상기 제1 멀티 심도 이미지 내에 포함된 개체에 대응하는 영역을 검색하는 단계; 및
    상기 제1 멀티 심도 이미지 내에 포함된 개체들 중 상기 검색된 영역에 대응하는 개체 및 상기 대응하는 개체가 있는 노드의 자손 노드의 개체들을 상기 검색된 영역에 트리 구조로 삽입함으로써, 상기 제2 멀티 심도 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 멀티 심도 이미지 생성 방법.
  4. 제3항에 있어서,
    상기 검색하는 단계는,
    상기 제1 멀티 심도 이미지의 최상위 심도로부터 최하위 심도를 향하는 방향으로 순차적으로 노드를 순회하며, 각 노드의 개체에 대응하는 영역을 상기 제2 메인 이미지에서 검색하는 것을 특징으로 하는 멀티 심도 이미지 생성 방법.
  5. 제4항에 있어서,
    상기 노드 순회는 너비 우선 탐색(BFS) 방식의 순회인 것을 특징으로 하는 멀티 심도 이미지 생성 방법.
  6. 제4항에 있어서,
    상기 제2 메인 이미지 내에서 상기 제1 멀티 심도 이미지 내에 포함된 개체에 대응하는 영역이 검색되면, 상기 제1 멀티 심도 이미지 내에서 상기 검색된 영역에 대응하는 개체가 있는 노드의 자손 노드의 개체에 대한 검색은 수행하지 않는 것을 특징으로 하는 멀티 심도 이미지 생성 방법.
  7. 제1항에 있어서,
    제2 메인 이미지는 제1 멀티 심도 이미지의 메타 데이터에 포함된 위치 정보를 이용하여 복수의 메인 이미지 중에서 선정되는 것을 특징으로 하는 멀티 심도 이미지 생성 방법.
  8. 제1항에 있어서,
    상기 제1 메인 이미지와 상기 제2 메인 이미지는 서로 다른 타입의 콘텐츠인 것을 특징으로 하는 멀티 심도 이미지 생성 방법.
  9. 제1항에 있어서,
    상기 제1 멀티 심도 이미지와 상기 제2 멀티 심도 이미지 중 하나의 멀티 심도 이미지가 업데이트되면, 다른 하나의 멀티 심도 이미지를 자동으로 업데이트하는 단계를 더 포함하는 것을 특징으로 하는 멀티 심도 이미지 생성 방법.
  10. 제9항에 있어서,
    상기 다른 하나의 멀티 심도 이미지를 업데이트하는 단계는,
    상기 하나의 멀티 심도 이미지 내에서 업데이트된 노드를 식별하는 단계; 및
    상기 다른 하나의 멀티 심도 이미지 내에 상기 업데이트된 노드에 대응하는 노드를 업데이트하는 단계를 포함하는 것을 특징으로 하는 멀티 심도 이미지 생성 방법.
  11. 제10항에 있어서,
    상기 업데이트된 노드에 대응하는 노드는, 상기 업데이트된 노드 또는 상기 업데이트된 노드의 부모 노드를 루트로 하는 트리의 모든 노드를 의미한다.
  12. 제1항 내지 11항 중 어느 한 항의 방법을 실행시키는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
KR1020170184771A 2017-12-29 2017-12-29 멀티 심도 이미지의 자동 변환 방법 KR102644097B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170184771A KR102644097B1 (ko) 2017-12-29 2017-12-29 멀티 심도 이미지의 자동 변환 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170184771A KR102644097B1 (ko) 2017-12-29 2017-12-29 멀티 심도 이미지의 자동 변환 방법

Publications (2)

Publication Number Publication Date
KR20190081910A true KR20190081910A (ko) 2019-07-09
KR102644097B1 KR102644097B1 (ko) 2024-03-06

Family

ID=67260947

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170184771A KR102644097B1 (ko) 2017-12-29 2017-12-29 멀티 심도 이미지의 자동 변환 방법

Country Status (1)

Country Link
KR (1) KR102644097B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102256199B1 (ko) * 2019-12-31 2021-05-26 주식회사 코드빌 네트워크 토폴로지 자동 구성 방법
WO2021246793A1 (ko) * 2020-06-03 2021-12-09 주식회사 피제이팩토리 멀티 뎁스 이미지를 생성하는 방법

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000027489A (ko) * 1998-10-28 2000-05-15 정선종 내용기반 이미지 검색을 위한 고차원 색인구조의 삽입 방법
KR20040017327A (ko) * 2001-07-17 2004-02-26 소니 일렉트로닉스 인코포레이티드 데이터 문서의 증분 상향식 구성
KR20080026063A (ko) * 2006-09-19 2008-03-24 소니 가부시끼 가이샤 정보처리 장치 및 방법과, 프로그램
KR101145278B1 (ko) * 2011-11-08 2012-05-24 (주)올라웍스 유사한 이미지들로부터 대표 이미지를 선택하는 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
KR20120123781A (ko) * 2011-05-02 2012-11-12 서울대학교산학협력단 의미기반 특허 청구항 분석에 기반한 특허 침해 판단 장치 및 그 방법
US20120306909A1 (en) * 2011-06-03 2012-12-06 Daisuke Mochizuki Information processor, information processing method and program
KR20130063652A (ko) * 2011-12-07 2013-06-17 한국전자통신연구원 이미지 데이터 검색을 위한 점진 어휘 트리 구조 구축 방법
KR101333476B1 (ko) * 2011-08-30 2013-11-26 주식회사 비트컴퓨터 화면 재구성을 통한 멀티디스플레이 방법
KR20130129725A (ko) * 2012-05-21 2013-11-29 주식회사 다음커뮤니케이션 검색 시스템 및 검색 서비스 방법
KR101501028B1 (ko) * 2013-04-04 2015-03-12 박정환 개체가 삽입된 이미지를 생성하고 편집하는 방법 및 그 장치
US20150235109A1 (en) * 2010-03-19 2015-08-20 Canon Kabushiki Kaisha Learning method and apparatus for pattern recognition
KR20150122534A (ko) * 2014-04-23 2015-11-02 삼성전자주식회사 전자 장치의 프로그램 코드 분석 방법 및 전자 장치
KR101743868B1 (ko) * 2016-01-26 2017-06-07 네이버 주식회사 이미지 프로세싱 방법 및 그 시스템
KR20170087740A (ko) * 2016-01-21 2017-07-31 한국과학기술원 실시간 이미지 특징점 추출 시스템 및 방법

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000027489A (ko) * 1998-10-28 2000-05-15 정선종 내용기반 이미지 검색을 위한 고차원 색인구조의 삽입 방법
KR100284778B1 (ko) * 1998-10-28 2001-03-15 정선종 내용기반 이미지 검색을 위한 고차원 색인구조의 삽입 방법
KR20040017327A (ko) * 2001-07-17 2004-02-26 소니 일렉트로닉스 인코포레이티드 데이터 문서의 증분 상향식 구성
KR20080026063A (ko) * 2006-09-19 2008-03-24 소니 가부시끼 가이샤 정보처리 장치 및 방법과, 프로그램
US20150235109A1 (en) * 2010-03-19 2015-08-20 Canon Kabushiki Kaisha Learning method and apparatus for pattern recognition
KR20120123781A (ko) * 2011-05-02 2012-11-12 서울대학교산학협력단 의미기반 특허 청구항 분석에 기반한 특허 침해 판단 장치 및 그 방법
US20120306909A1 (en) * 2011-06-03 2012-12-06 Daisuke Mochizuki Information processor, information processing method and program
KR101333476B1 (ko) * 2011-08-30 2013-11-26 주식회사 비트컴퓨터 화면 재구성을 통한 멀티디스플레이 방법
KR101145278B1 (ko) * 2011-11-08 2012-05-24 (주)올라웍스 유사한 이미지들로부터 대표 이미지를 선택하는 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
KR20130063652A (ko) * 2011-12-07 2013-06-17 한국전자통신연구원 이미지 데이터 검색을 위한 점진 어휘 트리 구조 구축 방법
KR20130129725A (ko) * 2012-05-21 2013-11-29 주식회사 다음커뮤니케이션 검색 시스템 및 검색 서비스 방법
KR101501028B1 (ko) * 2013-04-04 2015-03-12 박정환 개체가 삽입된 이미지를 생성하고 편집하는 방법 및 그 장치
KR20150122534A (ko) * 2014-04-23 2015-11-02 삼성전자주식회사 전자 장치의 프로그램 코드 분석 방법 및 전자 장치
KR20170087740A (ko) * 2016-01-21 2017-07-31 한국과학기술원 실시간 이미지 특징점 추출 시스템 및 방법
KR101743868B1 (ko) * 2016-01-26 2017-06-07 네이버 주식회사 이미지 프로세싱 방법 및 그 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102256199B1 (ko) * 2019-12-31 2021-05-26 주식회사 코드빌 네트워크 토폴로지 자동 구성 방법
WO2021246793A1 (ko) * 2020-06-03 2021-12-09 주식회사 피제이팩토리 멀티 뎁스 이미지를 생성하는 방법

Also Published As

Publication number Publication date
KR102644097B1 (ko) 2024-03-06

Similar Documents

Publication Publication Date Title
US10440276B2 (en) Generating image previews based on capture information
CN107358596B (zh) 一种基于图像的车辆定损方法、装置、电子设备及系统
CN110119148B (zh) 一种六自由度姿态估计方法、装置及计算机可读存储介质
US9665800B1 (en) Rendering virtual views of three-dimensional (3D) objects
KR102644105B1 (ko) 멀티 심도 이미지의 자동 생성 방법
EP1959392B1 (en) Method, medium, and system implementing 3D model generation based on 2D photographic images
US9311756B2 (en) Image group processing and visualization
US20090100333A1 (en) Visualizing circular graphic objects
US20090079730A1 (en) Method and apparatus for generating 3D image using 2D photograph images
CN101263514A (zh) 在图像数据库中进行导航、可视化和聚类的互序次相似度空间
KR20190081910A (ko) 멀티 심도 이미지의 자동 변환 방법
JP7017852B2 (ja) 記述子を用いた３ｄオブジェクトの位置特定
Hertlein et al. Inv3D: a high-resolution 3D invoice dataset for template-guided single-image document unwarping
US20240078730A1 (en) Content-specific-preset edits for digital images
Nguyen et al. High-definition texture reconstruction for 3D image-based modeling
Potje et al. Towards an efficient 3D model estimation methodology for aerial and ground images
JP2010073194A (ja) 画像処理装置、画像処理方法およびプログラム
JP2010113217A (ja) 表示状態設定装置、表示状態設定方法及び表示状態設定プログラム
JP2007034613A (ja) 画像処理装置及びその方法
US11500937B1 (en) Data retrieval system
Condorelli et al. Processing historical film footage with Photogrammetry and Machine Learning for Cultural Heritage documentation
KR20190081913A (ko) 멀티 심도 이미지 생성 방법
Sattler et al. Exploiting spatial and co-visibility relations for image-based localization
JP2005004564A (ja) 画像分類処理システム
KR102591607B1 (ko) 열화상 이미지에 대한 리버스 엔지니어링을 통해 추출된 메타데이터를 이용한 이미지 처리 방법 및 시스템

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right