KR102211760B1

KR102211760B1 - 과거 촬영 이미지에 기초한 촬영 방식 추천 장치 및 방법

Info

Publication number: KR102211760B1
Application number: KR1020200003573A
Authority: KR
Inventors: 이명진
Original assignee: 한국항공대학교산학협력단
Priority date: 2020-01-10
Filing date: 2020-01-10
Publication date: 2021-02-02

Abstract

과거 촬영 이미지에 기초한 촬영 방식 추천 장치 및 방법이 개시되며, 본원의 일 실시예에 따른 과거 촬영 이미지에 기초한 촬영 방식 추천 방법은, (a) 대상 장소를 촬영 대상으로 한 기준 이미지에 대하여 기록된 촬영 계수에 기초하여, 상기 대상 장소를 촬영 대상으로 하였으나 촬영 계수가 미기록된 복수의 과거 촬영 이미지 각각에 대한 촬영 계수를 추정하는 단계, (b) 추정된 상기 복수의 과거 촬영 이미지 각각의 촬영 계수에 관한 히스토그램 또는 확률을 포함하는 정보를 도출하는 단계 및 (c) 상기 정보에 기초하여 촬영 방식 추천 정보를 제공하는 단계를 포함할 수 있다.

Description

과거 촬영 이미지에 기초한 촬영 방식 추천 장치 및 방법{APPARATUS AND METHOD FOR RECOMMENDING IMAGE CAPTURE GUIDE BASED ON IMAGE TAKEN IN THE PAST AT CERTAIN PLACE}

본원은 과거 촬영 이미지에 기초한 촬영 방식 추천 장치 및 방법에 관한 것이다. 특히, 본원은 특정 장소에 방문한 사람들이 과거에 촬영한 이미지들을 기준 이미지와 비교하여 촬영 당시의 카메라 위치, 촬영 방향 및 초점거리 정보를 히스토그램과 관심지도로 구성하여 해당 장소에 방문한 사람들이 영상 또는 사진을 촬영할 때 촬영 위치, 촬영 방향, 초점거리를 안내해주는 장치 및 방법에 대한 것이다.

컴퓨터 비전 기술의 발달로 동일 장소에서 촬영한 영상들 중에서 화각이 일정 수준 이상 겹치는 영상들 간의 매칭과 정합이 가능해졌다. 이들 기술은 여러 대의 카메라를 이용하여 촬영한 이미지들 또는 한 대의 카메라로 여러 번 촬영한 이미지들을 이용한 파노라마 영상 합성에 주로 활용되어 왔다. 또한, 동일한 대상을 촬영한 광학 이미지, 적외선 이미지, 레이더 이미지들을 정합시켜 중첩된 이미지를 생성하거나 하나의 이미지 상에 이미지들로부터 획득한 부가 정보를 표출하는 응용에도 활용되고 있다.

사용자들이 관광지와 같은 특정 장소를 방문할 때는 주로 관광지에서 제공하는 지도를 이용하여 관람 동선을 짜거나 관람 대상에 대한 정보를 획득한다. 최근에는 컴퓨터비전과 증강현실 기술의 발전으로 스마트폰이나 카메라에 입력된 영상 위에 관람 정보를 표출하는 서비스들도 활용되고 있다.

동일한 관광지에서 동일한 관람 대상을 방문하면서 촬영하는 이미지들은 다양한 위치, 촬영 방향, 초점거리의 조합을 갖는다. 특정 조합에 의해 촬영된 이미지는 좋은 평가를 받을 수 있으나, 일부 조합에 의해 촬영된 이미지들은 그렇지 못하다. 최신 스마트폰이나 카메라들은 온 보드 이미지 프로세싱 기술의 발달로 자동 초점 제어, 노출 제어, 감도 제어, 흔들림 보상, WDR(Wide Dynamic Range) 기능 등을 지원하여 초보자도 쉽게 좋은 화질의 이미지를 촬영할 수 있도록 사용자를 보조할 수 있지만 특정 관람 대상에 대한 촬영 구도 자체가 적절하지 않은 경우 또는 사람들이 관심 있게 촬영한 부분을 놓치고 지나치거나 관심도가 낮은 다른 부분을 촬영하는 경우가 발생할 수 있다.

이와 관련하여, 문화유적지 등의 특정 관광지에서 방문자의 카메라를 통해 영상 내 기하학적 형태 정보와 카메라 포즈를 감지하여 방문자의 카메라가 비추는 방향에 따른 증강현실형 관광가이드를 제공하는 서비스가 제안된바 있으나, 이러한 방식의 경우 단순히 서비스 제공자가 지정한 가이드 정보가 방문자에게 제공되는데 지나지 않아 해당 관광지를 방문한 다양한 방문자들이 해당 관광지를 촬영한 방식에 관한 정보를 고려하여 촬영 방식을 추천하는 데에는 이르지 못했다.

본원의 배경이 되는 기술은 한국공개특허공보 제10-2018-0097913호에 개시되어 있다.

본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 과거에 특정 대상 장소를 방문한 사람들이 촬영한 이미지(예를 들면, 스틸 이미지, 영상 내 일부 프레임)들로부터 해당 이미지에 대한 촬영 당시의 촬영 위치, 촬영 방향 및 초점거리 정보를 추정하고 이를 이용하여 해당 대상 장소를 추후에 방문한 사람들이 영상 또는 사진을 촬영할 때 관심도가 높은 촬영 방식을 안내할 수 있는 과거 촬영 이미지에 기초한 촬영 방식 추천 장치 및 방법을 제공하려는 것을 목적으로 한다.

다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 과거 촬영 이미지에 기초한 촬영 방식 추천 방법은, (a) 대상 장소를 촬영 대상으로 한 기준 이미지에 대하여 기록된 촬영 계수에 기초하여, 상기 대상 장소를 촬영 대상으로 하였으나 촬영 계수가 미기록된 복수의 과거 촬영 이미지 각각에 대한 촬영 계수를 추정하는 단계, (b) 추정된 상기 복수의 과거 촬영 이미지 각각의 촬영 계수에 관한 히스토그램 또는 확률을 포함하는 정보를 도출하는 단계 및 (c) 상기 정보에 기초하여 촬영 방식 추천 정보를 제공하는 단계를 포함할 수 있다.

또한, 상기 (a) 단계는, 상기 복수의 과거 촬영 이미지 각각에 대하여, (a1) 상기 과거 촬영 이미지 및 상기 기준 이미지로부터 대응되는 특징점을 매칭하는 단계, (a2) 매칭된 상기 특징점에 기초하여 상기 과거 촬영 이미지 및 상기 기준 이미지에 대한 호모그래피를 추정하는 단계 및 (a3) 상기 호모그래피에 기초하여 상기 과거 촬영 이미지에 대한 상기 촬영 계수를 추정하는 단계를 포함할 수 있다.

또한, 상기 촬영 계수는, 상기 과거 촬영 이미지 또는 상기 기준 이미지가 촬영된 시점에서의 촬영 기기의 위치에 대한 촬영 위치에 대한 정보, 상기 촬영 기기의 위치를 기준으로 촬영 대상을 바라보는 방향에 대한 촬영 방향에 대한 정보 및 상기 촬영 대상에 대한 확대 또는 축소 정도와 연계된 초점거리에 대한 정보를 나타내는 것일 수 있다.

또한, 상기 (b) 단계는, (b1) 상기 복수의 과거 촬영 이미지 각각에 대하여 추정된 상기 촬영 계수를 누적하여 상기 히스토그램을 생성하는 단계 및 (b2) 상기 기준 이미지 상에 상기 복수의 과거 촬영 이미지 각각에 대한 상기 촬영 위치를 표시한 관심지도를 생성하는 단계를 포함할 수 있다.

또한, 상기 히스토그램은, 상기 복수의 과거 촬영 이미지 각각에 대한 촬영 위치에 대한 정보를 상기 대상 장소에 대하여 대응되는 소정의 위치 별로 누적한 위치 히스토그램, 상기 복수의 과거 촬영 이미지 각각에 대한 촬영 방향에 대한 정보를 상기 소정의 위치와 연계하여 누적한 방향 히스토그램 및 상기 복수의 과거 촬영 이미지 각각에 대한 확대 또는 축소 정도와 연계된 초점거리에 대한 정보를 상기 촬영 위치 및 상기 촬영 방향과 연계하여 누적한 초점거리 히스토그램을 포함할 수 있다.

또한, 상기 (c) 단계는, 상기 지도 상에 복수의 구획 영역을 생성하고, 상기 복수의 과거 촬영 이미지 각각의 촬영 위치를 상기 구획 영역 중 어느 하나로 할당하는 단계를 포함할 수 있다.

또한, 상기 (c) 단계는, 상기 대상 장소를 촬영하고자 하는 사용자가 보유한 촬영 기기에 마련되는 디스플레이에 생성된 상기 관심지도를 오버레이하여 표시할 수 있다.

또한, 상기 (c) 단계는, (c1) 상기 대상 장소를 촬영하고자 하는 사용자가 보유한 촬영 기기에 마련되는 디스플레이에 표시되는 미리보기 이미지, 상기 촬영 기기에 의해 촬영된 이미지에 대한 직전 프레임 이미지 또는 직후 프레임 이미지를 포함하는 현재 촬영 이미지에 대한 촬영 계수를 획득하는 단계, (c2) 상기 위치 히스토그램과 상기 현재 촬영 이미지에 대한 촬영 계수를 비교하여 촬영 위치 추천 정보를 제공하는 단계 및 (c3) 상기 방향 히스토그램 및 상기 초점거리 히스토그램과 상기 현재 촬영 이미지에 대한 촬영 계수를 비교하여 촬영 방향 추천 정보 및 초점거리 추천 정보를 제공하는 단계를 포함할 수 있다.

또한, 상기 촬영 위치 추천 정보는, 상기 현재 촬영 이미지에 대한 촬영 계수에 기초하여 파악된 현재 촬영 위치를 포함하는 구획 영역 및 상기 구획 영역과 이웃한 이웃 구획 영역 중 적어도 일부에 대한 상기 위치 히스토그램에 기초한 도수 정보 또는 확률을 포함할 수 있다.

또한, 상기 촬영 방향 추천 정보 및 초점거리 추천 정보는, 상기 현재 촬영 이미지에 대한 촬영 계수에 기초하여 파악된 현재 촬영 방향 및 현재 초점거리가 상기 방향 히스토그램 및 상기 초점거리 히스토그램의 최대 도수에 해당하는 촬영 방향 및 초점거리에 대응되도록 하는 촬영 기기 조작 가이드를 포함할 수 있다.

한편, 본원의 일 실시예에 따른 과거 촬영 이미지에 기초한 촬영 방식 추천 장치는, 대상 장소를 촬영 대상으로 한 기준 이미지에 대하여 기록된 촬영 계수에 기초하여, 상기 대상 장소를 촬영 대상으로 하였으나 촬영 계수가 미기록된 복수의 과거 촬영 이미지 각각에 대한 촬영 계수를 추정하는 계수 추정부, 추정된 상기 복수의 과거 촬영 이미지 각각의 촬영 계수에 관한 히스토그램 또는 확률을 포함하는 정보를 도출하는 분석부 및 상기 정보에 기초하여 촬영 방식 추천 정보를 제공하는 추천부를 포함할 수 있다.

또한, 상기 분석부는, 상기 복수의 과거 촬영 이미지 각각에 대하여 추정된 상기 촬영 계수를 누적하여 상기 히스토그램을 생성하는 히스토그램 생성부 및 상기 기준 이미지 상에 상기 복수의 과거 촬영 이미지 각각에 대한 촬영 위치를 표시한 관심지도를 생성하는 관심지도 생성부를 포함할 수 있다.

또한, 상기 추천부는, 상기 대상 장소와 연계된 지도 상에 복수의 구획 영역을 생성하고, 상기 복수의 과거 촬영 이미지 각각의 촬영 위치를 상기 구획 영역 중 어느 하나로 할당하여 상기 복수의 과거 촬영 이미지 각각에 대한 촬영 위치에 대한 정보, 촬영 방향에 대한 정보 및 초점거리에 대한 정보를 상기 지도 상에 표시할 수 있다.

또한, 상기 계수 추정부는, 상기 대상 장소를 촬영하고자 하는 사용자가 보유한 촬영 기기에 마련되는 디스플레이에 표시되는 미리보기 이미지, 상기 촬영 기기에 의해 촬영된 이미지에 대한 직전 프레임 이미지 또는 직후 프레임 이미지를 포함하는 현재 촬영 이미지에 대한 촬영 계수를 추정할 수 있다.

또한, 상기 추천부는, 상기 위치 히스토그램과 상기 현재 촬영 이미지에 대한 촬영 계수를 비교하여 촬영 위치 추천 정보를 제공하는 위치 추천부 및 상기 방향 히스토그램 및 상기 초점거리 히스토그램과 상기 현재 촬영 이미지에 대한 촬영 계수를 비교하여 촬영 방향 추천 정보 및 초점거리 추천 정보를 제공하는 방향 및 초점거리 추천부를 포함할 수 있다.

상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.

전술한 본원의 과제 해결 수단에 의하면, 과거에 특정 대상 장소를 방문한 사람들이 촬영한 이미지(예를 들면, 스틸 이미지, 영상 내 일부 프레임)들로부터 해당 이미지에 대한 촬영 당시의 촬영 위치, 촬영 방향 및 초점거리 정보를 추정하고 이를 이용하여 해당 대상 장소를 추후에 방문한 사람들이 영상 또는 사진을 촬영할 때 관심도가 높은 촬영 방식을 안내할 수 있는 과거 촬영 이미지에 기초한 촬영 방식 추천 장치 및 방법을 제공할 수 있다.

전술한 본원의 과제 해결 수단에 의하면, 특정 대상 장소를 새로이 방문한 사람들이 과거에 해당 대상 장소를 방문한 사람들의 이미지 촬영 관심도에 기초한 촬영 방식 추천 정보를 제공받도록 함으로써 해당 대상 장소에 대한 이해도를 높이고 촬영 방식 추천 정보에 기초하여 촬영된 사진 또는 영상의 품질 및 가치를 높일 수 있다.

다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.

도 1은 본원의 일 실시예에 따른 촬영 방식 추천 시스템의 개략적인 구성도이다.
도 2는 대상 장소에 대한 기준 이미지에 기초하여 복수의 과거 촬영 이미지 각각에 대한 촬영 계수를 추정하여 히스토그램 또는 확률을 포함하는 정보를 도출하는 과정을 설명하기 위한 개념도이다.
도 3은 기준 이미지 상에 복수의 과거 촬영 이미지 각각에 대한 촬영 위치를 표시한 관심지도를 설명하기 위한 도면이다.
도 4는 기준 이미지에 기초하여 추정된 현재 촬영 이미지의 촬영 계수와 히스토그램 또는 확률을 포함하는 정보를 비교하여 촬영 방식 추천 정보를 제공하는 과정을 설명하기 위한 개념도이다.
도 5는 대상 장소를 촬영하고자 하는 촬영 기기로부터 수신된 현재 촬영 이미지에 대한 촬영 계수와 히스토그램 또는 확률을 포함하는 정보를 비교하여 촬영 방식 추천 정보를 제공하는 과정을 설명하기 위한 개념도이다.
도 6a는 대상 장소를 촬영하고자 하는 촬영 기기에 마련되는 디스플레이를 통해 촬영 위치 추천 정보를 제공하는 실시예를 예시적으로 나타낸 도면이다.
도 6b는 대상 장소를 촬영하고자 하는 촬영 기기에 마련되는 디스플레이를 통해 촬영 기기 조작 가이드를 제공하는 실시예를 예시적으로 나타낸 도면이다.
도 7a는 대상 장소와 연계된 지도 상에 복수의 과거 촬영 이미지 각각에 대한 촬영 위치에 대한 정보, 촬영 방향에 대한 정보 및 초점거리에 대한 정보를 표시하여 촬영 방식 추천 정보를 제공하는 실시예를 예시적으로 나타낸 도면이다.
도 7b는 대상 장소와 연계된 지도 상에 복수의 구획 영역을 생성하여 복수의 과거 촬영 이미지 각각의 촬영 위치를 구획 영역 중 어느 하나로 할당하여 촬영 방식 추천 정보를 제공하는 실시예를 예시적으로 나타낸 도면이다.
도 8은 본원의 일 실시예에 따른 과거 촬영 이미지에 기초한 촬영 방식 추천 장치의 개략적인 구성도이다.
도 9는 본원의 일 실시에에 따른 과거 촬영 이미지에 기초한 촬영 방식 추천 방법에 대한 동작 흐름도이다.
도 10은 히스토그램 또는 확률을 포함하는 정보에 기초하여 촬영 방식 추천 정보를 제공하는 단계에 대한 세부 동작 흐름도이다.

아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.

본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.

본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.

도 1은 본원의 일 실시예에 따른 촬영 방식 추천 시스템의 개략적인 구성도이다.

도 1을 참조하면, 본원의 일 실시예에 따른 촬영 방식 추천 시스템(10)은 과거 촬영 이미지에 기초한 촬영 방식 추천 장치(100)(이하, '촬영 방식 추천 장치(100)'라 한다.), 과거 촬영 이미지 제공 장치(200) 및 촬영 기기(300)를 포함할 수 있다.

촬영 방식 추천 장치(100), 과거 촬영 이미지 제공 장치(200) 및 촬영 기기(300) 상호간은 네트워크(20)를 통해 통신할 수 있다. 네트워크(20)는 단말들 및 서버들과 같은 각각의 노드 상호간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크(20)의 일 예에는, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5G 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), wifi 네트워크, 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.

과거 촬영 이미지 제공 장치(200)는 예를 들면, 복수의 과거 촬영 이미지를 저장하는 저장 장치(스토리지 장치)일 수 있다. 다른 예로, 과거 촬영 이미지 제공 장치(200)는 복수의 과거 촬영 이미지가 업로드 되는 서버일 수 있다. 예시적으로, 복수의 과거 촬영 이미지가 업로드 되는 서버는 인스타그램, 페이스북 등 소정의 소셜 네트워크 서비스(SNS)와 연계된 것일 수 있다. 본원의 실시예에 관한 설명에서 과거 촬영 이미지는 소정의 대상 공간을 방문한 방문객이 해당 대상 공간에서 촬영한 스틸 이미지, 동영상에 포함된 프레임 등을 포괄적으로 의미하는 것일 수 있다.

또한, 촬영 기기(300)는 예를 들면, 스마트폰(Smartphone), 스마트패드(SmartPad), 태블릿 PC등과 PCS(Personal Communication System), GSM(Global System for Mobile communication), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말기 같은 사진 또는 영상 촬영 기능을 구비한 모든 종류의 무선 통신 장치일 수 있다. 다른 예로, 촬영 기기(300)는 네트워크(20)를 통한 유무선 통신 기능을 구비한 디지털 카메라, 캠코더, 레코딩 장비, DSLR 카메라 등 일 수 있다.

촬영 방식 추천 장치(100)는 소정의 대상 장소를 촬영 대상으로 한 기준 이미지 및 해당 기준 이미지 촬영 시 기록된 촬영 계수를 수신할 수 있다.

본원의 실시예에 대한 설명에서 기준 이미지라는 용어는 소정의 대상 장소를 촬영 대상으로 하되, 해당 대상 장소를 대표할 수 있도록 적절한 위치, 방향 및 거리에서 촬영되어 대상 장소를 과거에 방문한 여러 방문객에 의해 촬영된 복수의 과거 촬영 이미지(1) 또는 해당 대상 장소를 현재 방문하여 해당 대상 장소를 촬영 대상으로 하여 사진 또는 동영상을 촬영하고자 하는 방문객의 촬영 기기(300)로부터 획득되는 현재 촬영 이미지의 촬영 계수를 추정하는 기준으로 활용되는 이미지를 의미할 수 있다. 본원의 일 실시예에 따르면, 기준 이미지는 본원의 촬영 방식 추천 시스템(10)의 운영 주체가 촬영 방식 추천 서비스 제공에 앞서 소정의 대상 장소에 대해 미리 촬영하고 촬영시의 촬영 계수를 해당 이미지와 연계하여 기록(저장)하여 촬영 방식 추천 장치(100)에 제공한 것일 수 있다. 다른 예로, 기준 이미지는 과거 촬영 이미지 제공 장치(200)에 기 저장된 복수의 과거 촬영 이미지(1) 중 촬영 계수가 확보되어 있거나 촬영 계수를 추정할 수 있는 일부의 과거 촬영 이미지(1)로부터 선택되는 것일 수 있다.

또한, 본원의 실시예에 관한 설명에서, 촬영 계수는 카메라(촬영 기기)를 통한 사진 또는 영상 촬영 시의 내부 계수(Intrinsic parameter) 및 외부 계수(Extrinsic parameter)를 포괄적으로 의미하는 것으로 이해될 수 있다. 예를 들어, 내부 계수는 렌즈 왜곡(Distortion) 등에 의해 기인하는 카메라의 구조적인 오차나, 줌 인 또는 줌 아웃에 의한 초점 거리 등에 의해 기인하는 카메라 내부적인 정보를 의미할 수 있으며, 외부 계수는 카메라가 실제 세계의 소정의 지점(원점)으로부터 얼마만큼 이동해 있고, 얼마만큼 회전해 있는지에 대한 정보(달리 말해, 방향에 대한 정보)를 의미할 수 있다.

특히 외부 계수는 카메라가 실제 세계의 소정의 지점(원점)으로부터 얼마만큼 이동해 있고, 어느 방향을 향하고 있는지를 표현한 행렬(Matrix) 또는 벡터(Vector)로 표현될 수 있다. 상술한 설명에서의 소정의 지점(원점)은 대상 공간에 대한 특정 지점을 임의로 설정한 것일 수 있으며, 실시예에 따라 소정의 지점(원점)은 3차원 좌표로 도출되거나 동차 좌표계(Homogeneous coordinate) 기법에 기초하여 2차원 이미지로 투영된 평면 상의 2차원 좌표로 표현될 수 있다.

본원의 일 실시에에 따르면, 상술한 외부 계수를 도출하기 위한 기준이 되는 소정의 지점(원점)은 대상 공간과 연계된 특정 구조물, 건물, 관광 스팟, 랜드 마크 등에 기초하여 결정되는 것일 수 있다. 또한, 실시예에 따라 촬영 계수는 카메라 계수, 촬영 파라미터 등으로 달리 지칭될 수 있다.

달리 말해, 본원의 일 실시예에 관한 설명에서의 촬영 계수는 과거 촬영 이미지(1) 또는 기준 이미지가 촬영된 시점에서의 촬영 기기(카메라)의 위치에 대한 촬영 위치에 대한 정보, 촬영 기기(카메라)의 위치를 기준으로 소정의 촬영 대상을 바라보는 방향에 대한 촬영 방향에 대한 정보 및 소정의 촬영 대상에 대한 확대 또는 축소 정도와 연계된 초점거리에 대한 정보를 나타낼 수 있다. 즉, 본원에서의 촬영 계수는 과거 촬영 이미지, 기준 이미지 또는 현재 촬영 이미지와 연계된 촬영 위치에 대한 정보를 나타내는 계수, 촬영 방향에 대한 정보를 나타내는 계수 및 초점거리에 대한 정보를 나타내는 계수를 포함할 수 있다.

촬영 방식 추천 장치(100)는 과거 촬영 이미지 제공 장치(200)로부터 복수의 과거 촬영 이미지(1)를 수신할 수 있다. 또한, 촬영 방식 추천 장치(100)는 대상 장소를 촬영 대상으로 한 기준 이미지에 대하여 기록된 촬영 계수에 기초하여, 해당 대상 장소를 촬영 대상으로 하였으나 촬영 계수가 미기록된 복수의 과거 촬영 이미지(1) 각각에 대한 촬영 계수를 추정할 수 있다.

이하에서는, 도 2를 참조하여 촬영 방식 추천 장치(100)가 기준 이미지에 기초하여 과거 촬영 이미지의 촬영 계수를 추정하는 프로세스를 서술하도록 한다. 참고로, 촬영 계수를 추정하는 프로세스는 기준 이미지와의 비교 대상이 후술하는 현재 촬영 이미지인 경우에도 동등하게 진행될 수 있다.

도 2는 대상 장소에 대한 기준 이미지에 기초하여 복수의 과거 촬영 이미지 각각에 대한 촬영 계수를 추정하여 히스토그램 또는 확률을 포함하는 정보를 도출하는 과정을 설명하기 위한 개념도이다.

도 2를 참조하면, 촬영 방식 추천 장치(100)의 매칭부(111)는 과거 촬영 이미지 제공 장치(200)로부터 제공된 복수의 과거 촬영 이미지(1) 각각에 대하여 기준 이미지로부터 대응되는 특징점을 매칭할 수 있다.

본원의 일 실시예에 따르면, 촬영 방식 추천 장치(100)는 과거 촬영 이미지가 기준 이미지와 매칭되지 않는 경우 해당 과거 촬영 이미지가 대상 공간에서 촬영되지 않은 것으로 판단하여 해당 과거 촬영 이미지를 대상 장소가 아닌 다른 장소에서 촬영된 이미지로 분류할 수 있다.

구체적으로, 본원의 일 실시예에 따르면, 촬영 방식 추천 장치(100)는 과거 촬영 이미지와 기준 이미지로부터 SIFT, SURF, ORB등과 같은 특징점 추출 기법을 활용하여 복수의 특징점을 추출하고, 최근접 이웃 매칭(NNM, Nearest Neighbor Matching) 등과 같은 기법을 활용하여 과거 촬영 이미지 및 기준 이미지 간의 대응되는 특징점 쌍을 적어도 하나 이상 결정할 수 있다.

또한, 촬영 방식 추천 장치(100)의 계수 추정부(110)는 과거 촬영 이미지(1)와 기준 이미지에 대하여 매칭된 특징점에 기초하여 과거 촬영 이미지(1) 및 기준 이미지에 대한 호모그래피를 추정(연산)할 수 있다. 여기서, 호모그래피는 호모그래피 행렬을 의미하는 것일 수 있다.

또한, 촬영 방식 추천 장치(100)의 계수 추정부(110)는 추정(연산)된 호모그래피에 기초하여 해당 과거 촬영 이미지(1)에 대한 촬영 계수를 추정할 수 있다.

구체적으로, 본원의 일 실시예에 따르면, 촬영 방식 추천 장치(100)는 과거 촬영 이미지와 매칭되는 기준 이미지가 존재하는 경우(예를 들면, 과거 촬영 이미지와 기준 이미지 간의 적어도 하나 이상의 대응 특징점 쌍이 존재하는 경우) 두 이미지 간의 호모그래피를 이용하여 과거 촬영 이미지의 중심 화소의 위치(

)를 기준 이미지 상의 위치(

)로 변환하여 해당 과거 촬영 이미지의 촬영 위치를 표시함으로써 촬영 위치에 대한 정보를 나타내는 계수를 획득할 수 있으며, 이를 수식으로 나타내면 하기 식 1과 같다.

[식 1]

여기서,

는 추정된 호모그래피이고,

는 과거 촬영 이미지의 중심 화소의 위치이고,

는 변환된 기준 이미지 상의 위치를 의미할 수 있다.

또한, 기준 이미지 상으로 매칭된 과거 촬영 이미지로부터 변환하여 표시한 촬영 위치는 하기 식 2와 같이 표현할 수 있다.

[식 2]

여기서,

는 i번째 기준 이미지에 표시된 촬영 위치 표시함수이고, p는 기준 이미지 내 화소의 위치 벡터이고,

는 i번째 기준 이미지에 표시된 촬영 위치의 수이고,

는 k번째 과거 촬영 이미지로부터 변환된 촬영 위치를 나타낸다. 또한,

는 Kronecker delta함수이다.

또한, 촬영 방식 추천 장치(100)는 추정된 복수의 과거 촬영 이미지(1) 각각의 촬영 계수에 관한 히스토그램 또는 확률을 포함하는 정보를 도출할 수 있다.

구체적으로, 본원의 일 실시예에 따르면, 촬영 방식 추천 장치(100)는 복수의 과거 촬영 이미지(1) 각각에 대하여 추정된 촬영 계수를 누적하여 히스토그램을 생성할 수 있다.

여기서, 촬영 방식 추천 장치(100)에 의해 생성되는 히스토그램은 복수의 과거 촬영 이미지(1) 각각에 대한 촬영 위치에 대한 정보를 대상 장소에 대하여 대응되는 소정의 위치 별로 누적한 위치 히스토그램을 포함할 수 있다. 본원의 일 실시예에 따르면, 촬영 방식 추천 장치(100)는 복수의 과거 촬영 이미지(1) 각각에 대한 촬영 위치에 대한 정보를 대상 장소를 포함하는 소정의 공간을 복수의 구획 영역으로 분할하고, 분할된 구획 영역 중 어느 하나에 특정 과거 촬영 이미지(1)에 대한 촬영 위치가 할당되도록 하여 구획 영역 별로 누적된 위치 히스토그램을 생성할 수 있다. 여기서, 구획 영역은 대상 공간과 연계된 지도에 기초하여 분할되는 것일 수 있다. 달리 말해, 촬영 방식 추천 장치(100)는 대상 공간과 연계된 지도 상에 양자화된 위치(구획 영역)별로 위치 히스토그램을 생성할 수 있다.

또한, 촬영 방식 추천 장치(100)에 의해 생성되는 히스토그램은 복수의 과거 촬영 이미지(1) 각각에 대한 촬영 방향에 대한 정보를 위치 히스토그램과 관련된 소정의 위치와 연계하여 누적한 방향 히스토그램을 포함할 수 있다.

본원의 일 실시예에 따르면, 촬영 방식 추천 장치(100)는 전술한 대상 공간과 연계된 지도 상에 양자회된 위치(구획 영역)별로 과거 촬영 이미지 각각에 대하여 추정된 촬영 계수에 기초하여 파악된 해당 과거 촬영 이미지의 촬영 시의 촬영 방향을 yaw 방향 및 pitch 방향의 조합으로 전방위(예를 들면, 360도 방위) 중 어느 하나의 방위로 나타내거나 위치 히스토그램과 마찬가지로 소정의 각도 범위를 분할하여(달리 말해, 양자화하여) 양자화된 방위 마다 대응되는 촬영 방향의 도수를 누적함으로써 방향 히스토그램을 생성하는 것일 수 있다. 실시예에 따라 방향 히스토그램은 yaw 방향만을 고려한 2차원으로 생성되거나 yaw 방향 및 pitch 방향을 모두 고려한 3차원 방향을 표시하도록 생성될 수 있다.

또한, 촬영 방식 추천 장치(100)에 의해 생성되는 히스토그램은 복수의 과거 촬영 이미지(1) 각각에 대한 확대 또는 축소 정도와 연계된 초점거리에 대한 정보를 위치 히스토그램과 관련된 촬영 위치 및 방향 히스토그램과 관련된 촬영 방향과 연계하여 누적한 초점거리 히스토그램을 포함할 수 있다.

또한, 촬영 방식 추천 장치(100)는 기준 이미지 상에 복수의 과거 촬영 이미지(1) 각각에 대한 촬영 위치를 표시한 관심지도를 생성할 수 있다.

구체적으로, 본원의 일 실시예에 따르면, 촬영 방식 추천 장치(100)는 기준 이미지 상에 표시된 전술한 식 2의 촬영위치함수

를 이용하여 하기 식3을 통해 i번째 기준 이미지에 대한 관심지도

를 생성할 수 있다. 달리 말해, 촬영 방식 추천 장치(100)는 기준 이미지들 상에 표시된 과거 촬영 이미지 각각의 촬영시점들을 중심으로 영상 커널(필터) 함수를 이용하여 관심지도를 생성할 수 있다.

[식 3]

여기서,

는 표준편차가 σ인 2차원 가우시안 커널을 의미할 수 있다.

도 3은 기준 이미지 상에 복수의 과거 촬영 이미지 각각에 대한 촬영 위치를 표시한 관심지도를 설명하기 위한 도면이다.

도 3을 참조하면, 도 3의 (a)는 기준 이미지를 예시적으로 나타낸 것이고, 도 3의 (b)는 해당 기준 이미지 상에 촬영위치함수

를 통해 매칭된 과거 촬영 이미지 각각에 대한 촬영 위치를 변환하여 표시한 것을 나타낸 것이고, 도 3의 (c)는 해당 기준 이미지에 대하여 생성된 관심지도를 예시적으로 나타낸 것이다. 후술하겠지만, 도 3의 (c)와 같은 관심지도는 촬영 기기(300)에 표시되는 해당 기준 이미지와 매칭된 현재 촬영 이미지 내 일부 영역에 오버레이되어 표시됨으로써 촬영 기기(300)의 사용자가 표시된 관심지도를 이를 확인할 수 있다.

도 4는 기준 이미지에 기초하여 추정된 현재 촬영 이미지의 촬영 계수와 히스토그램 또는 확률을 포함하는 정보를 비교하여 촬영 방식 추천 정보를 제공하는 과정을 설명하기 위한 개념도이고, 도 5는 대상 장소를 촬영하고자 하는 촬영 기기로부터 수신된 현재 촬영 이미지에 대한 촬영 계수와 히스토그램 또는 확률을 포함하는 정보를 비교하여 촬영 방식 추천 정보를 제공하는 과정을 설명하기 위한 개념도이다.

도 4 및 도 5를 참조하면, 또한, 촬영 방식 추천 장치(100)는 앞서 도출된 히스토그램 또는 확률을 포함하는 정보 및 관심지도 중 적어도 하나에 기초하여 촬영 방식 추천 정보를 제공할 수 있다. 달리 말해, 촬영 방식 추천 장치(100)는 특정 대상 장소에서 촬영된 복수의 과거 촬영 이미지를 기준 이미지와 매칭하여 추정한 촬영 계수들로부터 해당 대상 공간에 대한 새로운 촬영을 위한 촬영 계수를 안내하기 위한 촬영 방식 추천 정보를 제공할 수 있다.

구체적으로, 도 4는 현재 촬영 이미지를 기준 이미지와 매칭하여 추정된 촬영 계수를 이용하여 촬영 방식 추천 정보를 생성 및 제공하는 과정을 나타낸 것이고, 도 5는 촬영 기기(300) 또는 촬영 기기(300)를 포함하는 카메라 시스템으로부터 직접적으로 촬영 계수(달리 말해, 촬영 방향 및 초점거리 정보 등)를 획득할 수 있는 경우, 촬영 계수를 추정하는 프로세스를 생략하고 직접적으로 확보된 촬영 계수를 활용하여 촬영 방식 추천 정보를 생성 및 제공하는 것을 나타낸 도면이다.

참고로, 도 4에 도시된 현재 촬영 이미지에 대한 촬영계수 추정 프로세스는 앞서 설명한 기준 이미지에 대하여 미리 확보된 촬영 계수에 기초하여 과거 촬영 이미지 각각에 대한 촬영 계수를 추정하는 프로세스에 대응될 수 있으므로, 여기서는 생략하도록 한다.

또한 본원의 일 실시예에 따르면, 현재 촬영 이미지란 대상 장소를 촬영하고자 하는 사용자가 보유한 촬영 기기(300)에 마련되는 디스플레이에 표시되는 미리보기 이미지, 촬영 기기(300)에 의해 촬영된 이미지에 대한 직전 프레임 이미지 또는 직후 프레임 이미지를 포함할 수 있다. 여기서, 촬영 기기(300)에 의해 촬영된 이미지에 대한 직전 프레임 이미지 또는 직후 프레임 이미지는 예를 들어, 촬영 기기(300)에 의해 촬영된 비디오(영상)를 시청하는 경우 특정 시점(예를 들면, 사용자가 특정 시점에 일시 정지한 경우 등)에 촬영 기기(300)에 표시되는 프레임의 전후 프레임 또는 표시되는 해당 프레임 자체를 의미하는 것일 수 있다.

또한, 촬영 방식 추천 장치(100)는 앞서 생성된 위치 히스토그램과 현재 촬영 이미지에 대한 촬영 계수를 비교하여 촬영 위치 추천 정보를 제공할 수 있다.

도 6a는 대상 장소를 촬영하고자 하는 촬영 기기에 마련되는 디스플레이를 통해 촬영 위치 추천 정보를 제공하는 실시예를 예시적으로 나타낸 도면이다.

도 6a를 참조하면, 상술한 촬영 위치 추천 정보와 관련하여 본원의 일 실시예에 따른 촬영 방식 추천 장치(100)는 현재 촬영 이미지에 대해 획득된 촬영 계수에 기초하여 파악된 현재 촬영 위치를 포함하는 구획 영역 및 해당 구획 영역과 이웃한 이웃 구획 영역 중 적어도 일부에 대한 위치 히스토그램에 기초한 도수 정보 또는 확률을 포함하는 촬영 위치 추천 정보를 제공할 수 있다.

본원의 일 실시예에 따르면, 촬영 방식 추천 장치(100)는 촬영 기기(300)의 현 위치를 포함하여 주변에 표시된 촬영 위치 히스토그램의 도수가 높은 순으로 소정의 촬영 위치를 선택하여(도 6a를 참조하면, 3개의 촬영 위치) 촬영 기기(300)의 디스플레이(뷰파인더 또는 모니터 등) 상에 표시할 수 있다. 또한, 실시예에 따라 촬영 방식 추천 장치(100)는 히스토그램의 도수를 확률(예를 들면, % 값)로 변환하여 표시할 수 있다. 구체적으로 도 6a를 참조하면, 현재 촬영 기기(300)가 위치하는 위치 또는 구획 영역과 연계하여 누적된 위치 히스토그램을 통해 촬영 기기(300)의 사용자가 정면을 바라본다고 가정할 때 현재 위치에 대하여 과거 촬영 이미지로부터 누적된 도수 또는 확률은 50%이고, 11시방향의 대각선 위치에 대하여 누적된 도수 또는 확률은 20%이고, 9시방향의 좌측 위치에 대하여 누적된 도수 또는 확률은 30%인 것일 수 있다. 예를 들어, 이러한 촬영 방향 추천 정보를 확인한 사용자는 현재 위치가 다른 방문객들에 의해서도 많이 선택된 위치라는 것을 고려하여 현재 위치에서 촬영을 진행하도록 유도될 수 있다. 또한, 실시예에 따라 확률로 변환되어 표시되는 수치 또는 도수를 관심도 확률로 지칭할 수 있다.

또한, 촬영 방식 추천 장치(100)는 앞서 생성된 방향 히스토그램과 현재 촬영 이미지에 대한 촬영 계수를 비교하여 촬영 방향 추천 정보를 제공할 수 있다. 또한, 촬영 방식 추천 장치(100)는 앞서 생성된 초점거리 히스토그램과 현재 촬영 이미지에 대한 촬영 계수를 비교하여 초점거리 추천 정보를 제공할 수 있다.

또한, 본원의 일 실시예에 따르면, 촬영 방식 추천 장치(100)는 촬영 기기(300)에 의해 촬영 위치가 선정되고 난 후, 선정된 촬영 위치를 고려하여 촬영 방향 추천 정보 및 초점거리 추천 정보를 제공하도록 동작할 수 있다. 예시적으로, 촬영 위치에 대한 선정(선택)은 촬영 기기(300)에 인가되는 사용자 입력에 기초하여 수행될 수 있다.

도 6b는 대상 장소를 촬영하고자 하는 촬영 기기에 마련되는 디스플레이를 통해 촬영 기기 조작 가이드를 제공하는 실시예를 예시적으로 나타낸 도면이다.

도 6b를 참조하면, 상술한 촬영 방향 추천 정보와 관련하여 본원의 일 실시예에 따른 촬영 방식 추천 장치(100)는 현재 촬영 이미지에 대한 촬영 계수에 기초하여 파악된 현재 촬영 방향이 방향 히스토그램의 최대 도수에 해당하는 촬영 방향에 대응되도록 하는 촬영 기기 조작 가이드를 포함하는 촬영 방향 추천 정보를 제공할 수 있다.

또한, 도 6b를 참조하면, 상술한 초점거리 추천 정보와 관련하여 본원의 일 실시예에 따른 촬영 방식 추천 장치(100)는 현재 촬영 이미지에 대한 촬영 계수에 기초하여 파악된 현재 초점거리가 초점거리 히스토그램의 최대 도수에 해당하는 초점거리에 대응되도록 하는 촬영 기기 조작 가이드를 포함하는 초점거리 추천 정보를 제공할 수 있다.

본원의 일 실시예에 따르면, 현재 촬영 이미지에 대하여 추정되거나 직접 획득된 촬영 방향 및 초점거리에 대한 촬영 계수를 현재 위치(예를 들면, 촬영 기기(300)의 현 위치를 포함하는 구획 영역)에 대하여 누적된 방향 히스토그램 및 초점거리 히스토그램을 비교하여 최대 도수 또는 확률에 해당하는 방향 또는 초점거리와 차이가 나는 경우 방향을 이동하도록 유도하는 가이드 정보(도 6b를 참조하면, 4방향 화살표, 좌우상하 이동 표시) 또는 초점거리를 변화시키도록 유도하는 가이드 정보(도 6b를 참조하면, +/- 줌 표시, 줌인/줌아웃 표시)을 조절하도록 화면에 표시할 수 있다.

또한, 본원의 일 실시예에 따르면, 촬영 방식 추천 장치(100)는 현재 촬영중인 촬영 기기(300)의 촬영자가 촬영 위치를 결정한 경우, 현재 촬영 이미지의 촬영 계수에 기초하여 현재의 촬영 방향 및 초점거리에 대한 선호도(도수 또는 관심도 확률)를 방향 히스토그램과 초점거리 히스토그램을 참조하여 표시할 수 있다. 또한, 본원의 일 실시예에 따르면 촬영 방식 추천 장치(100)는 현재의 촬영 방향 및 초점거리와 연계된 다른 촬영 방향(예를 들어, 해당 촬영 방향과 근접한 다른 촬영 방향)에 대한 선호도와 다른 초점거리에 대한 선호도를 함께 표시할 수 있다.

또한, 본원의 일 실시예에 따르면, 촬영 방식 추천 장치(100)는 대상 장소를 촬영하고자 하는 사용자가 보유한 촬영 기기(300)에 마련되는 디스플레이에 앞서 생성된 관심지도를 오버레이하여 표시할 수 있다.

예를 들어, 촬영 방식 추천 장치(100)는 소정의 기준 이미지와 매칭된 현재 촬영 이미지 내 일부 영역에 생성된 관심지도를 오버레이하여 표시함으로써 촬영 기기(300)의 사용자가 관심지도를 참고하여 다른 방문객들의 관심도 확률을 참고하여 촬영 위치, 촬영 방향 등을 결정하도록 보조할 수 있다.

도 7a는 대상 장소와 연계된 지도 상에 복수의 과거 촬영 이미지 각각에 대한 촬영 위치에 대한 정보, 촬영 방향에 대한 정보 및 초점거리에 대한 정보를 표시하여 촬영 방식 추천 정보를 제공하는 실시예를 예시적으로 나타낸 도면이다.

도 7a를 참조하면, 본원의 일 실시예에 따른 촬영 방식 추천 장치(100)는 대상 장소와 연계된 지도 상에 복수의 과거 촬영 이미지(1) 각각에 대한 촬영 위치에 대한 정보, 촬영 방향에 대한 정보 및 초점거리에 대한 정보를 방문객이 확인 가능하도록 표시하는 형태로 촬영 방식 추천 정보를 제공할 수 있다.

또한, 도 7a를 참조하면, 촬영 방식 추천 장치(100)는 과거 촬영 이미지들로부터 추정된 각각의 촬영 위치, 촬영방향, 초점거리를 대상 장소와 연계된 지도 상에 표시할 수 있으며, 예를 들어 도 7a를 참조하면 삼각형은 촬영 방향(각각의 과거 촬영 이미지에 대한 촬영 시의 카메라의 방향)을 나타내고, 삼각형의 중심부에 표시된 선이 각각의 과거 촬영 이미지에 대한 초점거리를 나타낼 수 있으나, 이에만 한정되는 것은 아니다.

또한, 본원의 일 실시예에 따르면, 촬영 방식 추천 장치(100)는 대상 장소와 연계된 지도 상에 복수의 구획 영역을 생성하고, 복수의 과거 촬영 이미지(1) 각각의 촬영 위치를 생성된 구획 영역 중 어느 하나로 할당할 수 있다.

도 7b는 대상 장소와 연계된 지도 상에 복수의 구획 영역을 생성하여 복수의 과거 촬영 이미지 각각의 촬영 위치를 구획 영역 중 어느 하나로 할당하여 촬영 방식 추천 정보를 제공하는 실시예를 예시적으로 나타낸 도면이다.

도 7b를 참조하면, 촬영 방식 추천 장치(100)는 지도 상에 생성된 구획 영역을 고려하여 대상 장소와 연계된 지도 상에 복수의 과거 촬영 이미지(1) 각각에 대한 촬영 위치에 대한 정보, 촬영 방향에 대한 정보 및 초점거리에 대한 정보를 방문객이 확인 가능하도록 표시하는 형태로 촬영 방식 추천 정보를 제공하도록 동작할 수 있다.

또한, 도 7b를 참조하면, 촬영 방식 추천 장치(100)는 해당 대상 장소와 연계된 지도 상의 위치를 소정의 간격으로 양자화(달리 말해, 구획 영역으로 분할)한 후에 과거 촬영 이미지들로부터 추정된 촬영 위치, 촬영방향, 초점거리를 표시할 수 있다. 예시적으로 도 7b를 참조하면, 화살표는 각각의 과거 촬영 이미지에 대한 촬영 방향을 나타내고, 화살표의 길이는 각각의 과거 촬영 이미지에 대한 초점 거리를 나타내며, 예시적으로 해당 양자화 위치(구획 영역)에 할당된 과거 촬영 이미지가 복수 개인 경우, 복수 개의 과거 촬영 이미지에 대한 초점 거리 값들을 종합한 최빈(most frequent)값, 평균값, 중앙값 등 소정의 초점 거리 값에 대응되는 길이로 화살표의 길이가 표시될 수 있다.

도 8은 본원의 일 실시예에 따른 과거 촬영 이미지에 기초한 촬영 방식 추천 장치의 개략적인 구성도이다.

도 8을 참조하면, 촬영 방식 추천 장치(100)는 계수 추정부(110), 분석부(120) 및 추천부(130)를 포함할 수 있다. 또한, 도 8을 참조하면, 분석부(120)는 히스토그램 생성부(121) 및 관심지도 생성부(122)를 포함할 수 있다. 또한, 추천부(130)는 위치 추천부(131) 및 방향 및 초점거리 추천부(132)를 포함할 수 있다. 또한, 도 8에는 도시되지 않았으나 전술한 도 2 및 도 3을 참조하면 계수 추정부는 매칭부(111)와 연계될 수 있다.

계수 추정부(110)는 대상 장소를 촬영 대상으로 한 기준 이미지에 대하여 기록된 촬영 계수에 기초하여, 대상 장소를 촬영 대상으로 하였으나 촬영 계수가 미기록된 복수의 과거 촬영 이미지(1) 각각에 대한 촬영 계수를 추정할 수 있다.

분석부(120)는 추정된 복수의 과거 촬영 이미지(1) 각각의 촬영 계수에 관한 히스토그램 또는 확률을 포함하는 정보를 도출할 수 있다.

구체적으로, 분석부(120)의 히스토그램 생성부(121)는 복수의 과거 촬영 이미지(1) 각각에 대하여 추정된 촬영 계수를 누적하여 히스토그램을 생성할 수 있다. 여기서, 히스토그램은 위치 히스토그램, 방향 히스토그램 및 초점거리 히스토그램을 포함할 수 있다.

또한, 분석부(120)의 관심지도 생성부(122)는 기준 이미지 상에 복수의 과거 촬영 이미지(1) 각각에 대한 촬영 위치를 표시한 관심지도를 생성할 수 있다.

추천부(130)는 히스토그램 또는 확률을 포함하는 정보에 기초하여 촬영 방식 추천 정보를 제공할 수 있다.

구체적으로, 위치 추천부(131)는 위치 히스토그램과 현재 촬영 이미지에 대한 촬영 계수를 비교하여 촬영 위치 추천 정보를 제공할 수 있다. 여기서, 현재 촬영 이미지에 대한 촬영 계수는 계수 추정부(110)에 의해 추정되는 것일 수 있다.

또한, 방향 및 초점거리 추천부(132)는 방향 히스토그램 및 초점거리 히스토그램과 현재 촬영 이미지에 대한 촬영 계수를 비교하여 촬영 방향 추천 정보 및 초점거리 추천 정보를 제공할 수 있다.

이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다.

도 9는 본원의 일 실시에에 따른 과거 촬영 이미지에 기초한 촬영 방식 추천 방법에 대한 동작 흐름도이다.

도 9에 도시된 과거 촬영 이미지에 기초한 촬영 방식 추천 방법은 앞서 설명된 촬영 방식 추천 장치(100)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 촬영 방식 추천 장치(100)에 대하여 설명된 내용은 과거 촬영 이미지에 기초한 촬영 방식 추천 방법에 대한 설명에도 동일하게 적용될 수 있다.

도 9를 참조하면, 단계 S910에서 계수 추정부(110)는 (a) 대상 장소를 촬영 대상으로 한 기준 이미지에 대하여 기록된 촬영 계수에 기초하여, 해당 대상 장소를 촬영 대상으로 하였으나 촬영 계수가 미기록된 복수의 과거 촬영 이미지 각각에 대한 촬영 계수를 추정할 수 있다.

또한, 단계 S910에서 계수 추정부(110)는 복수의 과거 촬영 이미지 각각에 대하여, (a1) 과거 촬영 이미지 및 기준 이미지로부터 대응되는 특징점을 매칭할 수 있다.

또한, 단계 S910에서 계수 추정부(110)는 (a2) 매칭된 특징점에 기초하여 과거 촬영 이미지 및 상기 기준 이미지에 대한 호모그래피를 추정할 수 있다.

또한, 단계 S910에서 계수 추정부(110)는 (a3) 추정된 호모그래피에 기초하여 과거 촬영 이미지에 대한 촬영 계수를 추정할 수 있다.

다음으로, 단계 S920에서 분석부(120)는 (b) 추정된 복수의 과거 촬영 이미지 각각의 촬영 계수에 관한 히스토그램 또는 확률을 포함하는 정보를 도출할 수 있다.

또한, 단계 S920에서 히스토그램 생성부(121)는 (b1) 복수의 과거 촬영 이미지 각각에 대하여 추정된 촬영 계수를 누적하여 히스토그램을 생성할 수 있다. 여기서, 히스토그램은 복수의 과거 촬영 이미지 각각에 대한 촬영 위치에 대한 정보를 대상 장소에 대하여 대응되는 소정의 위치 별로 누적한 위치 히스토그램, 복수의 과거 촬영 이미지 각각에 대한 촬영 방향에 대한 정보를 소정의 위치와 연계하여 누적한 방향 히스토그램 및 복수의 과거 촬영 이미지 각각에 대한 확대 또는 축소 정도와 연계된 초점거리에 대한 정보를 촬영 위치 및 촬영 방향과 연계하여 누적한 초점거리 히스토그램을 포함할 수 있다.

또한, 단계 S920에서 관심지도 생성부(122)는 (b2) 기준 이미지 상에 복수의 과거 촬영 이미지 각각에 대한 촬영 위치를 표시한 관심지도를 생성할 수 있다.

다음으로, 단계 S930에서 추천부(130)는 (c) 도출된 히스토그램 또는 확률을 포함하는 정보에 기초하여 촬영 방식 추천 정보를 제공할 수 있다.

또한, 단계 S930에서 추천부(130)는 대상 장소와 연계된 지도 상에 복수의 구획 영역을 생성하고, 복수의 과거 촬영 이미지 각각의 촬영 위치를 구획 영역 중 어느 하나로 할당할 수 있다.

또한, 단계 S930에서 추천부(130)는 대상 장소와 연계된 지도 상에 복수의 과거 촬영 이미지 각각에 대한 촬영 위치에 대한 정보, 촬영 방향에 대한 정보 및 초점거리에 대한 정보를 표시할 수 있다. 여기서, 촬영 위치에 대한 정보, 촬영 방향에 대한 정보 및 초점거리에 대한 정보는 복수의 과거 촬영 이미지 각각의 촬영 위치에 대한 구획 영역에의 할당 결과에 기초하여 양자화된 형태로 제공되는 것일 수 있다.

상술한 설명에서, 단계 S910 내지 S930은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.

도 10은 히스토그램 또는 확률을 포함하는 정보에 기초하여 촬영 방식 추천 정보를 제공하는 단계에 대한 세부 동작 흐름도이다.

도 10에 도시된 촬영 방식 추천 정보를 제공하는 단계는 앞서 설명된 촬영 방식 추천 장치(100)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 촬영 방식 추천 장치(100)에 대하여 설명된 내용은 도 10에 대한 설명에도 동일하게 적용될 수 있다.

도 10을 참조하면, 단계 S1010에서 촬영 방식 추천 장치(100)는 (c1) 대상 장소를 촬영하고자 하는 사용자가 보유한 촬영 기기에 마련되는 디스플레이에 표시되는 미리보기 이미지, 상기 촬영 기기에 의해 촬영된 이미지에 대한 직전 프레임 이미지 또는 직후 프레임 이미지를 포함하는 현재 촬영 이미지에 대한 촬영 계수를 획득할 수 있다.

본원의 일 실시예에 따르면, 단계 S1010에서는 촬영 기기(300)로부터 현재 촬영 이미지에 대한 촬영 계수를 직접적으로 획득하거나 촬영 계수를 직접적으로 획득할 수 없는 경우에는 현재 촬영 이미지에 대응(매칭)되는 기준 이미지에 대하여 기록된 촬영 계수에 기초하여 현재 촬영 이미지의 촬영 계수를 추정할 수 있다.

다음으로, 단계 S1020에서 위치 추천부(131)는 (c2) 상기 위치 히스토그램과 상기 현재 촬영 이미지에 대한 촬영 계수를 비교하여 촬영 위치 추천 정보를 제공할 수 있다.

본원의 일 실시예에 따르면, 위치 추천부(131)는 단계 S1020(달리 말해, (c2) 단계)에서, 현재 촬영 이미지에 대한 촬영 계수에 기초하여 파악된 현재 촬영 위치를 포함하는 구획 영역 및 해당 구획 영역과 이웃한 이웃 구획 영역 중 적어도 일부에 대한 위치 히스토그램에 기초한 도수 정보 또는 확률을 포함하는 촬영 위치 추천 정보를 제공할 수 있다.

다음으로, 단계 S1030에서 방향 및 초점거리 추천부(132)는 (c3) 방향 히스토그램 및 초점거리 히스토그램과 현재 촬영 이미지에 대한 촬영 계수를 비교하여 촬영 방향 추천 정보 및 초점거리 추천 정보를 제공할 수 있다.

본원의 일 실시예에 따르면, 방향 및 초점거리 추천부(131)는 단계 S1030(달리 말해, (c3) 단계)에서, 현재 촬영 이미지에 대한 촬영 계수에 기초하여 파악된 현재 촬영 방향 및 현재 초점거리가 방향 히스토그램 및 초점거리 히스토그램의 최대 도수에 해당하는 촬영 방향 및 초점거리에 대응되도록 하는 촬영 기기 조작 가이드를 포함하는 촬영 방향 추천 정보 및 초점거리 추천 정보를 제공할 수 있다.

상술한 설명에서, 단계 S1010 내지 S1030은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.

본원의 일 실시 예에 따른 과거 촬영 이미지에 기초한 촬영 방식 추천 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

또한, 전술한 과거 촬영 이미지에 기초한 촬영 방식 추천 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.

전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.

10: 촬영 방식 추천 시스템
100: 과거 촬영 이미지에 기초한 촬영 방식 추천 장치
110: 계수 추정부
111: 매칭부
120: 분석부
121: 히스토그램 생성부
122: 관심지도 생성부
130: 추천부
131: 위치 추천부
132: 방향 및 초점거리 추천부
200: 과거 촬영 이미지 제공 장치
300: 촬영 기기
20: 네트워크
1: 과거 촬영 이미지

Claims

촬영 방식 추천 방법에 있어서,
(a) 대상 장소를 촬영 대상으로 한 기준 이미지에 대하여 기록된 촬영 계수에 기초하여, 상기 대상 장소를 촬영 대상으로 하였으나 촬영 계수가 미기록된 복수의 과거 촬영 이미지 각각에 대한 촬영 계수를 추정하는 단계;
(b) 추정된 상기 복수의 과거 촬영 이미지 각각의 촬영 계수에 관한 히스토그램 또는 확률을 포함하는 정보를 도출하는 단계; 및
(c) 상기 정보에 기초하여 촬영 방식 추천 정보를 제공하는 단계,
를 포함하고,
상기 (b) 단계는,
상기 복수의 과거 촬영 이미지 각각에 대하여 추정된 상기 촬영 계수를 누적하여 상기 히스토그램을 생성하는 단계,
를 포함하고,
상기 촬영 계수는, 상기 복수의 과거 촬영 이미지 각각에 대한 촬영 위치에 대한 정보, 촬영 방향에 대한 정보 및 확대 또는 축소 정도와 연계된 초점거리에 대한 정보 중 적어도 하나를 포함하고,
상기 히스토그램은, 상기 촬영 위치에 대한 정보를 상기 대상 장소에 대하여 대응되는 소정의 위치 별로 누적한 위치 히스토그램, 상기 촬영 방향에 대한 정보를 상기 소정의 위치와 연계하여 누적한 방향 히스토그램 및 상기 초점거리에 대한 정보를 상기 촬영 위치 및 상기 촬영 방향과 연계하여 누적한 초점거리 히스토그램 중 적어도 하나를 포함하고,
상기 (c) 단계는,
현재 촬영 이미지에 대한 촬영 계수를 상기 히스토그램과 비교하여 상기 촬영 방식 추천 정보를 제공하는 것인, 과거 촬영 이미지에 기초한 촬영 방식 추천 방법.
제1항에 있어서,
상기 (a) 단계는,
상기 복수의 과거 촬영 이미지 각각에 대하여,
(a1) 상기 과거 촬영 이미지 및 상기 기준 이미지로부터 대응되는 특징점을 매칭하는 단계;
(a2) 매칭된 상기 특징점에 기초하여 상기 과거 촬영 이미지 및 상기 기준 이미지에 대한 호모그래피를 추정하는 단계; 및
(a3) 상기 호모그래피에 기초하여 상기 과거 촬영 이미지에 대한 상기 촬영 계수를 추정하는 단계,
를 포함하는 것인, 과거 촬영 이미지에 기초한 촬영 방식 추천 방법.
제2항에 있어서,
상기 촬영 계수는,
상기 과거 촬영 이미지 또는 상기 기준 이미지가 촬영된 시점에서의 촬영 기기의 위치에 대한 촬영 위치에 대한 정보, 상기 촬영 기기의 위치를 기준으로 촬영 대상을 바라보는 방향에 대한 촬영 방향에 대한 정보 및 상기 촬영 대상에 대한 확대 또는 축소 정도와 연계된 초점거리에 대한 정보를 나타내는 것인, 과거 촬영 이미지에 기초한 촬영 방식 추천 방법.
제3항에 있어서,
상기 (b) 단계는,
상기 기준 이미지 상에 상기 복수의 과거 촬영 이미지 각각에 대한 상기 촬영 위치를 표시한 관심지도를 생성하는 단계,
를 더 포함하는 것인, 과거 촬영 이미지에 기초한 촬영 방식 추천 방법.
삭제
제1항에 있어서,
상기 (c) 단계는,
상기 대상 장소와 연계된 지도 상에 상기 복수의 과거 촬영 이미지 각각에 대한 상기 촬영 위치에 대한 정보, 상기 촬영 방향에 대한 정보 및 상기 초점거리에 대한 정보를 표시하는 것인, 과거 촬영 이미지에 기초한 촬영 방식 추천 방법.
제6항에 있어서,
상기 (c) 단계는,
상기 지도 상에 복수의 구획 영역을 생성하고, 상기 복수의 과거 촬영 이미지 각각의 촬영 위치를 상기 구획 영역 중 어느 하나로 할당하는 단계를 포함하는 것인, 과거 촬영 이미지에 기초한 촬영 방식 추천 방법.
제4항에 있어서,
상기 (c) 단계는,
상기 대상 장소를 촬영하고자 하는 사용자가 보유한 촬영 기기에 마련되는 디스플레이에 생성된 상기 관심지도를 오버레이하여 표시하는 것인, 과거 촬영 이미지에 기초한 촬영 방식 추천 방법.
제7항에 있어서,
상기 (c) 단계는,
(c1) 상기 대상 장소를 촬영하고자 하는 사용자가 보유한 촬영 기기에 마련되는 디스플레이에 표시되는 미리보기 이미지, 상기 촬영 기기에 의해 촬영된 이미지에 대한 직전 프레임 이미지 또는 직후 프레임 이미지를 포함하는 현재 촬영 이미지에 대한 촬영 계수를 획득하는 단계;
(c2) 상기 위치 히스토그램과 상기 현재 촬영 이미지에 대한 촬영 계수를 비교하여 촬영 위치 추천 정보를 제공하는 단계; 및
(c3) 상기 방향 히스토그램 및 상기 초점거리 히스토그램과 상기 현재 촬영 이미지에 대한 촬영 계수를 비교하여 촬영 방향 추천 정보 및 초점거리 추천 정보를 제공하는 단계,
를 포함하는 것인, 과거 촬영 이미지에 기초한 촬영 방식 추천 방법.
제9항에 있어서,
상기 촬영 위치 추천 정보는,
상기 현재 촬영 이미지에 대한 촬영 계수에 기초하여 파악된 현재 촬영 위치를 포함하는 구획 영역 및 상기 구획 영역과 이웃한 이웃 구획 영역 중 적어도 일부에 대한 상기 위치 히스토그램에 기초한 도수 정보 또는 확률을 포함하는 것인, 과거 촬영 이미지에 기초한 촬영 방식 추천 방법.
제9항에 있어서,
상기 촬영 방향 추천 정보 및 초점거리 추천 정보는,
상기 현재 촬영 이미지에 대한 촬영 계수에 기초하여 파악된 현재 촬영 방향 및 현재 초점거리가 상기 방향 히스토그램 및 상기 초점거리 히스토그램의 최대 도수에 해당하는 촬영 방향 및 초점거리에 대응되도록 하는 촬영 기기 조작 가이드를 포함하는 것인, 과거 촬영 이미지에 기초한 촬영 방식 추천 방법.
촬영 방식 추천 장치에 있어서,
대상 장소를 촬영 대상으로 한 기준 이미지에 대하여 기록된 촬영 계수에 기초하여, 상기 대상 장소를 촬영 대상으로 하였으나 촬영 계수가 미기록된 복수의 과거 촬영 이미지 각각에 대한 촬영 계수를 추정하는 계수 추정부;
추정된 상기 복수의 과거 촬영 이미지 각각의 촬영 계수에 관한 히스토그램 또는 확률을 포함하는 정보를 도출하는 분석부; 및
상기 정보에 기초하여 촬영 방식 추천 정보를 제공하는 추천부,
를 포함하고,
상기 분석부는,
상기 복수의 과거 촬영 이미지 각각에 대하여 추정된 상기 촬영 계수를 누적하여 상기 히스토그램을 생성하는 히스토그램 생성부,
를 포함하고,
상기 촬영 계수는, 상기 복수의 과거 촬영 이미지 각각에 대한 촬영 위치에 대한 정보, 촬영 방향에 대한 정보 및 확대 또는 축소 정도와 연계된 초점거리에 대한 정보 중 적어도 하나를 포함하고,
상기 히스토그램은, 상기 촬영 위치에 대한 정보를 상기 대상 장소에 대하여 대응되는 소정의 위치 별로 누적한 위치 히스토그램, 상기 촬영 방향에 대한 정보를 상기 소정의 위치와 연계하여 누적한 방향 히스토그램 및 상기 초점거리에 대한 정보를 상기 촬영 위치 및 상기 촬영 방향과 연계하여 누적한 초점거리 히스토그램 중 적어도 하나를 포함하고,
상기 추천부는,
현재 촬영 이미지에 대한 촬영 계수를 상기 히스토그램과 비교하여 상기 촬영 방식 추천 정보를 제공하는 것인, 과거 촬영 이미지에 기초한 촬영 방식 추천 장치.
제12항에 있어서,
상기 분석부는,
상기 기준 이미지 상에 상기 복수의 과거 촬영 이미지 각각에 대한 촬영 위치를 표시한 관심지도를 생성하는 관심지도 생성부,
를 더 포함하는 것인, 과거 촬영 이미지에 기초한 촬영 방식 추천 장치.
제12항에 있어서,
상기 추천부는,
상기 대상 장소와 연계된 지도 상에 복수의 구획 영역을 생성하고, 상기 복수의 과거 촬영 이미지 각각의 촬영 위치를 상기 구획 영역 중 어느 하나로 할당하여 상기 복수의 과거 촬영 이미지 각각에 대한 촬영 위치에 대한 정보, 촬영 방향에 대한 정보 및 초점거리에 대한 정보를 상기 지도 상에 표시하는 것인, 과거 촬영 이미지에 기초한 촬영 방식 추천 장치.
삭제
제12항에 있어서,
상기 계수 추정부는,
상기 대상 장소를 촬영하고자 하는 사용자가 보유한 촬영 기기에 마련되는 디스플레이에 표시되는 미리보기 이미지, 상기 촬영 기기에 의해 촬영된 이미지에 대한 직전 프레임 이미지 또는 직후 프레임 이미지를 포함하는 현재 촬영 이미지에 대한 촬영 계수를 추정하고,
상기 추천부는,
상기 위치 히스토그램과 상기 현재 촬영 이미지에 대한 촬영 계수를 비교하여 촬영 위치 추천 정보를 제공하는 위치 추천부; 및
상기 방향 히스토그램 및 상기 초점거리 히스토그램과 상기 현재 촬영 이미지에 대한 촬영 계수를 비교하여 촬영 방향 추천 정보 및 초점거리 추천 정보를 제공하는 방향 및 초점거리 추천부,
를 포함하는 것인, 과거 촬영 이미지에 기초한 촬영 방식 추천 장치.