KR20180058182A - 증강현실을 기반으로 한 조황서비스 제공 시스템 - Google Patents

Abstract

본 발명에 따른 증강현실을 기반으로 한 조황서비스 제공 시스템은, 낚시 중인 사용자로부터 데이터통신망에 접속된 사용자단말을 통해 촬영된 낚시한 물고기의 사진을 제공받아 상기 물고기 주변의 사물을 인식하는 사물인식부와, 인식된 상기 물고기 주변의 사물의 길이를 측정하는 길이파악부와, 상기 물고기 주변의 사물과 상기 물고기를 비교하여 상기 물고기의 길이를 측정하는 길이측정부를 구비한 사용자정보 수집 모듈; 상기 사용자단말로부터 GPS위치정보를 수집하는 위치 수집 모듈; 외부 기상데이터베이스로부터 상기 GPS위치정보에 대응되는 날씨정보를 수집하는 기상 수집 모듈; 물때의 시차를 제공하는 외부 물때데이터베이스로부터 상기 GPS위치정보와 상기 사진이 촬영된 시간에 대응되는 물때정보를 수집하는 물때 수집 모듈; 상기 사진에 상기 GPS위치정보, 상기 날씨정보, 상기 물때정보를 합성하여 조황사진정보로 저장하는 조황정보 수집 모듈; 상기 조황서비스 제공 시스템에 등록된 사용자로부터 증강현실 컨텐츠 제공이 가능한 사용자단말을 통해 주변영상을 촬영하면, 상기 사용자단말로부터 측정된 GPS위치정보에 대응되는 상기 조황사진정보를 증강현실 컨텐츠로서 상기 사용자단말에 제공하는 조황정보 제공 모듈;로 구성되는 것을 특징으로 한다.

Description

증강현실을 기반으로 한 조황서비스 제공 시스템{System for Providing Fishing Condition Informations that Based on Virtual Reality}

본 발명은 증강현실을 기반으로 한 조황서비스 제공 시스템에 관한 것으로서, 보다 상세하게 설명하면 실제 사용자들의 조황정보를 기반으로 이를 서로 공유하여 다양한 조황정보를 제공함과 동시에, 조황정보의 표시 및 제공을 증강현실을 통해 수행할 수 있는 증강현실을 기반으로 한 조황서비스 제공 시스템에 관한 것이다.

낚시에 관한 정보 중 가장 중요한 정보는 조황 정보이다. 일반적으로 이 조황정보는 전국의 낚시매장과 개인 정보제공자가 낚시잡지의 기자나 홈페이지를 통해 정보를 제공하면, 이를 잡지사나 홈페이지 관리자가 직접 정보의 신뢰성을 확인하고 기사화한다.

그러나 이러한 정보전달방식은 신뢰성은 높지만 조황정보라는 것이 날씨나 수온, 물 때 등에 따라 실시간으로 변동하므로 2~3일이 지나면 정보로서의 가치를 상실하는 경우가 대부분이다.

뿐만 아니라 매 주 수만건에 이르는 조황정보를 기자가 현지에 가서 일일이 눈으로 확인하는 것은 불가능하고 또 그 정보를 모두 제 3자가 가공하여 기사화 시킨다는 것 또한 불가능한 일이다. 결국 낚시잡지사들을 매개로 한 정보전달체계는 대부분의 조황정보를 사문화시키고 몇 개의 선택된 정보만을 기사화함으로써 정보소비자들의 다양한 욕구를 전혀 만족시킬 수 없게 만든다. 뿐만 아니라 기사화 되는 과정에서 시간적인 지연이 불가피하기 때문에 조황정보로서의 가치도 떨어지게 되는 것이다.

이러한 많은 문제점에도 불구하고 아직까지 낚시잡지사를 매개로 한 정보전달 방식이 고수되고 있는 표면적인 이유는 인터넷상으로 제공되는 조황정보의 신뢰성을 전혀 확인할 방법이 없기 때문이다. 이것은 인터넷상에서 글을 쓰는 사람들이 주로 필명(가명)을 사용하는 우리의 인터넷 문화에도 그 원인이 있지만 낚시잡지사들이 정보를 독점하기 위해 정보제공자와 소비자의 직거래를 간접적으로 막고 있기 때문이다.

우선 잡지사들은 정보제공자가 정보제공을 하면서 함께 자신이 하고 있는 일이나 매장소개 같은 영업행위를 원천적으로 제한하기 때문이다. 이는 조황정보가 정보제공으로서의 기능보다는 매장의 영업행위의 도구로 전락한다는 우려 때문이라고 잡지사들은 말하지만 그보다는 정보제공자의 신분공개를 막음으로서 일반인이 그 정보의 신뢰도를 알 수 없게 만들 수 있기 때문이다. 그러나 많은 매장과 낚시회 소속의 정보제공자를 매일 접하는 낚시잡지사나 그 홈페이지 운영자들은 정보제공자의 가명만 들어도 쉽게 그가 제공하는 정보의 신뢰성도 알 수 있고 연락처도 가지고 있으므로 즉시 확인할 수 있게 된다. 이렇게 하여 잡지사들은 조황정보를 독점함으로써 정보제공자나 소비자 모두에게 정보의 우위를 점하고 그 영향력을 행사하여 이익을 취할 수 있게 되는 것이다.

조황정보가 낚시잡지사 매개 전달방식으로 소비자에게 전달된다 하더라도 모든 정보가 다양하게 소비자에게 전달된다면 별 문제가 없겠으나 매주 수만 건에 달하는 대부분의 조황정보가 사문화되고 기사화 된 몇 안 되는 정보마저 시간적인 지연으로 인해 정보의 가치를 상실하고 있는 실정이다.

이를 해결하기 위한 방법으로서, 한국공개특허 제 2000-0050051호 ‘인터넷상에서 낚시 조황정보의 직거래 시스템에 관한 비즈니스 모델’에서는, 인터넷 상에서의 조황정보 직거래 방식은 정보제공자를 실명공개(매장명, 운영자명, 전화번호, 매장 소개 및 약도)함으로써 정보의 신뢰성을 보장하는 동시에 정보제공자에게는 정보제공에 따른 이익을 누릴 수 있게 하는 낚시 조황정보 직거래 시스템을 개시하였다.

그러나, 이와 같은 방법은 단순히 정보제공에 있어서 어떠한 개인정보를 더 포함할지 여부만 지정하게 되므로, 실제 사용자가 이러한 정보를 전달받는 과정에 대해서는 기존과 별다른 차이가 없다는 문제가 있었다.

다음으로 한국등록특허 제 0456928호 ‘지리정보를 이용한 낚시 정보 관리 시스템 및 방법’에서는, 불특정 다수가 상호간에 통신을 수행할 수 있도록 하는 데이터 통신망, 상기 데이터 통신망을 통해 낚시와 관련된 정보를 제공하는 낚시정보 관리 시스템 및 상기 데이터 통신망을 통해 상기 낚시정보 관리 시스템에서 제공하는 낚시 관련정보를 제공받는 사용자 단말기를 포함하는 낚시 정보 관리 시스템에 있어서, 상기 낚시 정보 관리 시스템은, 실측한 낚시터 데이터 및 수중 지리 정보, 수면을 포함한 지형의 단면도, 수면 아래 지형 형태 및 낚시에 관련된 정보가 저장된 낚시정보 DB; 상기 사용자가 사용자 단말기를 통해 온라인 접속을 이룬 경우 상기 낚시정보 DB에 등록된 정보들을 조회하여 낚시터 데이터를 제공받은 후, 상기 낚시터 데이터에서 방위각을 지정하면 상기 사용자가 임의의 지점에서 방위각을 지정하게 되면, 상기 방위각 정보를 수신받아 상기 격자형태를 이루는 격자선과 교차되는 제 1 연장선을 생성시켜 교차점의 좌표값을 추출하고, 상기 교차에 의해 생성된 교차점을 일측 격자선에 수직이 되도록 제 2 연장선을 생성시켜 상기 제 2 연장선과 만나는 격자선에서 방위각이 시작되는 지점으로부터 상기 제 2 연장선과 교차되는 지점까지의 거리(b)를 산출하여 수심정보를 생성하며, 상기 거리(b) 값과 격자의 일변의 길이(a)값을 이용하여 상기 좌표값 및 수심정보로 생성될 수중 단면도의 등간격 정보(c)를 생성한 후, 상기 좌표값, 수심정보 및 등간격 정보를 이용하여 상기 사용자가 지정한 방위각에 대한 수중 지형 단면도 정보를 생성하여 상기 사용자에게 제공하는 웹서버 및 DB 서버; 및 관리자가 관리자 단말기를 이용하여 상기 낚시정보 DB에 등록된 정보를 변경하거나, 새로운 정보를 등록시킬 수 있도록 하는 DB 관리 시스템으로 구성된 것을 특징으로 하는 지리정보를 이용한 낚시 정보 관리 시스템을 개시하였다.

그러나, 이와 같은 방법은 다양한 조황정보를 지도를 통해 제공하지만, 단순한 지도안내에 그쳐, 실제 정확한 지점을 파악하기 어려울뿐더러, 정보의 정확성을 가늠할 방법이 없어 허위정보에 취약하다는 단점이 있다.

따라서 상술한 바와 같은 문제점을 해결하기 위해 실제 사용자들의 조황정보를 기반으로 이를 서로 공유하여 다양한 조황정보를 제공함과 동시에, 조황정보의 표시 및 제공을 증강현실을 통해 수행할 수 있는 증강현실을 기반으로 한 조황서비스 제공 시스템을 개발할 필요성이 대두되는 실정이다.

본 발명은 상기 기술의 문제점을 극복하기 위해 안출된 것으로, 사용자가 잡은 물고기를 촬영하면 주변 정보를 자동으로 포함시킨 사진정보를 생성하는 것을 주요 목적으로 한다.

본 발명의 다른 목적은, 생성된 사진정보를 다른 유저들과 공유할 수 있는 시스템을 구축하여 일종의 조황정보를 제공하는 것이다.

본 발명의 또 다른 목적은, 사용자가 물고기를 촬영하면 물고기의 크기를 자동으로 측정하여 안내할 수 있는 구성을 제공하는 것이다.

상기 목적을 달성하기 위하여, 본 발명에 따른 증강현실을 기반으로 한 조황서비스 제공 시스템은, 낚시 중인 사용자로부터 데이터통신망에 접속된 사용자단말을 통해 촬영된 낚시한 물고기의 사진을 제공받아 상기 물고기 주변의 사물을 인식하는 사물인식부와, 인식된 상기 물고기 주변의 사물의 길이를 측정하는 길이파악부와, 상기 물고기 주변의 사물과 상기 물고기를 비교하여 상기 물고기의 길이를 측정하는 길이측정부를 구비한 사용자정보 수집 모듈; 상기 사용자단말로부터 GPS위치정보를 수집하는 위치 수집 모듈; 외부 기상데이터베이스로부터 상기 GPS위치정보에 대응되는 날씨정보를 수집하는 기상 수집 모듈; 물때의 시차를 제공하는 외부 물때데이터베이스로부터 상기 GPS위치정보와 상기 사진이 촬영된 시간에 대응되는 물때정보를 수집하는 물때 수집 모듈; 상기 사진에 상기 GPS위치정보, 상기 날씨정보, 상기 물때정보를 합성하여 조황사진정보로 저장하는 조황정보 수집 모듈; 상기 조황서비스 제공 시스템에 등록된 사용자로부터 증강현실 컨텐츠 제공이 가능한 사용자단말을 통해 주변영상을 촬영하면, 상기 사용자단말로부터 측정된 GPS위치정보에 대응되는 상기 조황사진정보를 증강현실 컨텐츠로서 상기 사용자단말에 제공하는 조황정보 제공 모듈;로 구성되되, 상기 사물인식부는, 다음의 수학식1을 이용하여, 상기 물고기 주변의 사물을 파악하는 것을 특징으로 한다.

수학식1,

(여기서,

는 촬영된 사진에서 물고기 주변의 사물에 해당되는 영상 화소의 좌표이고,

는 상기 사진의

좌표에서의 영상 화소이며,

는

좌표의 영상 화소에서 옵셋을 의미하고, M은 영상 화소의 전체 개수를 나타낸다.)

더하여, 상기 조황정보 수집 모듈은, 상기 사용자가 생성한 상기 조황사진정보를 리스트화 하여 조황리스트를 생성하는 리스트 설정부와, 상기 사용자로부터 상기 조황리스트의 비공개여부를 결정받아 비공개 결정된 상기 조황사진정보는 상기 조황서비스 제공 시스템에 등록된 다른 사용자에게 제공되지 않도록 제어하는 비공개리스트 설정부로 구성되는 것을 특징으로 한다.

나아가, 상기 사용자정보 수집 모듈은, 상기 사진에 고유한 워터마크를 부여하는 워터마크 생성부를 더 포함하고, 상기 조황정보 수집 모듈은, 상기 조황사진정보에 상기 워터마크를 더 합성하여 제공하는 워터마크 합성부를 더 포함하는 것을 특징으로 한다.

덧붙여, 상기 조황서비스 제공 시스템은, 지역별로 자주 잡히는 어종정보가 포함된 지리정보데이터베이스를 더 포함하고, 상기 조황정보제공모듈은, 상기 사용자단말로부터 수집된 GPS위치정보에 대응되는 어종정보를 상기 주변영상에 합성하여 표시하는 어종정보표시부를 더 포함하는 것을 특징으로 한다.

본 발명에 따른 증강현실을 기반으로 한 조황서비스 제공 시스템에 의하면,

1) 물고기를 촬영하면 주변 정보를 포함한 조황사진정보를 자동으로 생성하는 시스템을 제공하고,

2) 이러한 조황사진정보를 시스템에 등록된 다른 사용자와 공유할 수 있는 구성을 제시하며,

3) 물고기의 촬영 시 이미지의 복제나 수정이 불가능하도록 처리함은 물론, 이미지에서 물고기의 길이를 즉시 측정할 수 있어 낚시꾼들의 편의성을 증대시킬 수 있는 효과가 있다.

도 1은 본 발명의 증강현실을 기반으로 한 조황서비스 제공 시스템에 대한 개략적인 구성을 나타낸 개념도.
도 2는 본 발명의 증강현실을 기반으로 한 조황서비스 제공 시스템의 세부 구성을 도시한 블록도.
도 3은 조황사진정보의 예시도.
도 4는 사용자단말에서 지리정보 표시방법의 예시도.
도 5는 본 발명의 사용자단말 인터페이스의 예시도.
도 6은 본 발명에서 주변사물의 위치를 파악하는 방법에 대한 개념도.
도 7은 본 발명에서 기준물체의 위치를 파악하는 방법에 대한 개념도.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하도록 한다. 첨부된 도면은 축척에 의하여 도시되지 않았으며, 각 도면의 동일한 참조 번호는 동일한 구성 요소를 지칭한다.

도 1은 본 발명의 증강현실을 기반으로 한 조황서비스 제공 시스템에 대한 개략적인 구성을 나타낸 개념도이다.

도 1을 참조하여 설명하면, 본 발명의 증강현실을 기반으로 한 조황서비스 제공 시스템은 크게 사용자(20)와, 중앙서버(10), 관리자(30)로 구성된다.

사용자(20)는 증강현실을 기반으로 한 조황서비스 제공 시스템에 등록된 계정을 보유한 대상이며, 디스플레이장치와 센서 등을 포함하여 증강현실서비스가 가능한 사용자단말(21)을 보유하는 것을 특징으로 한다. 이 사용자단말(21)을 통해 증강현실을 기반으로 한 조황서비스 제공 시스템에 접속 가능하고, 사용자단말(21)에서 구현되는 증강현실을 활용한 조황서비스 컨텐츠를 활용할 수 있는 대상을 의미한다. 여기서 증강현실을 활용한 조황서비스 컨텐츠라고 함은, 사용자단말(21)에 포함된 센서(정확하게는 카메라 등의 광학센서와 GPS등의 위치감지센서)를 통해 인식된 미디어를 사용자단말(21)의 디스플레이에 출력시키되, 이 미디어에 추가적인 정보(예를 들면 텍스트나 다른 이미지, 영상 등)를 함께 출력하여 마치 실제 공간에 정보가 존재하는 것처럼 보이도록 한 것을 의미한다.

중앙서버(10)는 증강현실을 기반으로 한 조황서비스 제공 시스템이 구동되는 서버이며, 사용자(20)와 관리자(30)의 사이에서 전체 시스템의 동작을 관리하고, 데이터를 저장하는 역할을 한다. 마지막으로 관리자(30)는 증강현실을 기반으로 한 조황서비스 제공 시스템을 실제 운영하는 주체이며, 사용자(20)에게 조황서비스를 제공함은 물론이고, 제공되는 데이터를 관리하는 대상을 의미한다.

도 2는 본 발명의 증강현실을 기반으로 한 조황서비스 제공 시스템의 세부 구성을 도시한 블록도이고, 도 3은 조황사진정보의 예시도이다.

본 증강현실을 기반으로 한 조황서비스 제공 시스템은, 낚시 중인 사용자(20)로부터 데이터통신망에 접속된 사용자단말(21)을 통해 촬영된 낚시한 물고기의 사진을 제공받는 사용자정보 수집 모듈(100); 상기 사용자단말(21)로부터 GPS위치정보를 수집하는 위치 수집 모듈(200); 외부 기상데이터베이스로부터 상기 GPS위치정보에 대응되는 날씨정보를 수집하는 기상 수집 모듈(300); 물때의 시차를 제공하는 외부 물때데이터베이스로부터 상기 GPS위치정보와 상기 사진이 촬영된 시간에 대응되는 상기 물때정보를 수집하는 물때 수집 모듈(400); 상기 사진에 상기 GPS위치정보, 상기 날씨정보, 상기 물때정보를 합성하여 조황사진정보로 저장하는 조황정보 수집 모듈(500); 상기 조황서비스 제공 시스템에 등록된 사용자(20)로부터 증강현실 컨텐츠 제공이 가능한 사용자단말(21)을 통해 주변영상을 촬영하면, 상기 사용자단말(21)로부터 측정된 GPS위치정보에 대응되는 상기 조황사진정보를 증강현실 컨텐츠로써 상기 사용자단말(21)로 제공하는 조황정보 제공 모듈(700);로 구성되는 것을 특징으로 한다.

먼저, 사용자정보 수집 모듈(100)은 사용자(20)가 사용자단말(21)을 통해 낚시한 물고기의 사진을 촬영하는 경우, 이 사진을 제공받아 저장하는 기능을 수행한다. 다음으로 위치 수집 모듈(200)은 사용자단말(21)을 통해 GPS위치정보를 수집한다. 기상 수집 모듈(300)에서는 외부 기상데이터베이스(예를 들면 기상청 등의 날씨정보 제공기관)로부터 이 GPS위치정보에 대응되는 날씨정보를 요청하고, 이를 수집한다. 물때 수집 모듈(400)은 물때의 시차를 제공하는 외부 물때데이터베이스(예를 들면 기상청이나 해양수산부 등의 정보제공기관)로부터 역시 GPS위치정보에 대응되는 물때정보를 요청하여 수집한다.

따라서, 사용자(20)는 단순하게 낚시한 물고기의 사진을 촬영하여 조황서비스 제공 시스템에 전송하게 되면, 조황서비스 제공 시스템에서는 이 사진에 대하여 물고기가 잡힌 위치와 그 때의 날씨, 물때정보를 동시에 수집하여 저장하게 되는 것이다.

이어 조황정보 수집 모듈(500)은 수집된 사진에 GPS위치정보와 날씨정보, 물때정보를 합성하는 것으로서, 텍스트화한 정보를 사진에 합성하는 것이 일반적이나, 보다 가시성을 높이기 위해 그림 등의 멀티미디어 정보를 합성하는 것도 가능함은 물론이다.

마지막으로 조황정보 제공 모듈(700)은, 조황서비스 제공 시스템에 등록된 사용자(20)로부터 증강현실 컨텐츠 제공이 가능한 사용자단말(21)을 통해 주변영상을 촬영하면, GPS위치정보에 대응되는 조황사진정보를 증강현실 컨텐츠로써 사용자단말(21)로 제공하는 기능을 수행하는 것을 특징으로 한다. 즉, 시스템에 등록된 사용자(20) 중 어느 하나가 주변을 촬영하게 되면, 역시 사용자단말(21)에서 GPS위치정보를 확인할 수 있게 되는데, 이 GPS위치정보를 통해 동일한 GPS위치정보 또는 일정한 범위 이내의 GPS위치정보를 갖는 조황사진정보를 사용자단말(21)로 제공하게 됨으로써, 사용자(20)는 주변 사진을 찍기만 하여도 주변에서 그동안 잡힌 물고기의 사진과 각종 정보에 대해 확인이 가능하게 되므로, 쉽게 조황정보를 확인할 수 있게 된다.

본 시스템은 이러한 구성을 통해 사용자(20)가 조황사진정보를 쉽게 제작할 수 있어, 일종의 SNS와 같이 낚시정보를 다른 사용자(20)들과 나누기 쉽고, GPS위치정보 등을 활용해 동행출조 등에 활용할 수도 있으며, 부가적으로 메시지나 글을 함께 공유할 수 있도록 함으로써 친목을 도모할 수 있는 시스템을 구성할 수 있게 되는 것이다.

다만, 이렇게 조황사진정보의 공유가 가능하게 되는 경우, 일부 사용자(20)들은 모든 정보를 공유하는 것을 원치 않을 수 있으며, 나아가 오로지 본인만 확인할 수 있는 일종의 일기 형식의 데이터 저장용도로 사용하길 원하는 사용자(20)가 있을 수도 있다. 이러한 사용자(20)를 위한 구성으로서, 조황정보 수집 모듈(500)은 상기 사용자(20)가 생성한 상기 조황사진정보를 리스트화 하여 조황리스트를 생성하는 리스트 설정부(510)와, 상기 사용자(20)로부터 상기 조황리스트의 비공개여부를 결정받아 비공개 결정된 상기 조황사진정보는 상기 조황서비스 제공 시스템에 등록된 다른 사용자(20)에게 제공되지 않도록 제어하는 비공개리스트 설정부(520)를 더 포함할 수 있다.

먼저 리스트 설정부(510)의 경우, 조황사진정보를 시간별, 위치별 등의 특정한 기준에 따라 리스트업 한 것으로서, 사진정보의 단순 생성이 아닌, 이를 하나의 문서나 보고서처럼 활용할 수 있게 정리하는 기능을 부가한 것이다. 또한, 비공개리스트 설정부(520)는, 이 리스트의 공개여부를 지정하여 공개를 원치 않는 리스트에 대해 비공개 처리하도록 설정하는 것을 의미한다. 이러한 구성에 따라 조황사진정보를 활용하여 유사 SNS의 기능을 갖출 수 있도록 한다.

다음으로, 앞선 설명에도 밝혔지만, 조황정보의 경우 일부 낚시꾼들이 생성한 조작된 정보나 잘못된 정보에 의해 개인이 제공하는 정보에 대해서는 믿음을 갖기 어려운 추세이다. 이러한 점을 보완하기 위해, 실제 촬영한 사진을 복제하거나 수정하지 못하도록 사진에 특별한 무늬나 색상 등을 입힌 워터마크처리를 수행할 수 있다. 즉, 상기 사용자정보 수집 모듈(100)은 상기 사진에 고유한 워터마크를 부여하는 워터마크 생성부(110)를 더 포함하고, 상기 조황정보 수집 모듈(500)은 상기 조황사진정보에 상기 워터마크를 더 합성하여 상기 조황사진정보로써 제공하는 워터마크 합성부(530)를 더 포함하여 구성하는 것이다. 이러한 워터마크는 각각의 사진마다 서로 다른 워터마크가 부여되는 것이 일반적이며, 따라서, 복제나 조작 등이 매우 어렵게 된다.

도 4는 사용자단말(21)에서 지리정보 표시방법의 예시도이다.

앞서, 조황서비스 제공 시스템에서는 정보를 증강현실을 기반으로 제공할 수 있다고 하였는데, 그 방법에 대해 설명하겠다. 상기 조황서비스 제공 시스템은 수면 및 수중 지리정보와 이를 복수의 블록으로 나누어 저장한 지리정보 데이터베이스(600)를 더 포함하고, 상기 조황정보 제공 모듈(700)은 촬영된 상기 주변영상에 상기 GPS위치정보에 대응되는 수면 및 수중지리정보를 합성하여 표시하는 지리정보 표시부(710)와, 상기 주변영상을 상기 블록에 대응시키는 블록적용부(720)와, 상기 유저로부터 적어도 하나의 블록이 선택되면 상기 블록에 해당하는 GPS위치정보를 보유한 상기 조황사진정보를 합성하여 표시하는 조황사진정보 표시부(730)로 구성된다.

즉, 지리정보 데이터베이스(600)에는 수면 및 수중 지리정보가 포함되며, 이 지리정보는 물의 깊이와 수중 지면의 형상, 식생정보 등이 포함된다. 이 수면 및 수중 지리정보는 복수의 블록으로 나뉘어 구성되는데, 이러한 블록은 물의 깊이나 수중 지면의 특징, 식생정보의 유사한 정도와 같이 특정 조건에 따라 나뉠 수 있는 것으로서 일종의 등고선과 같은 역할을 한다. 즉, 사용자(20)가 이 블록 중 하나를 누르게 되면, 조황사진정보 표시부(730)에서 해당 블록에 속한 정보가 사용자단말(21)의 화면에 합성되어 표시되도록 함으로써 증강현실 효과는 물론 필요한 정보만을 손쉽게 얻을 수 있도록 한 것이다.

도 5는 본 발명의 사용자단말(21) 인터페이스의 예시도이다.

낚시에 있어서 다른 궁금한 정보 중 하나는 바로 해당 위치에서 잡히는 어종에 대한 정보일 것이다. 지리정보 데이터베이스(600)에는 지역별로 자주 잡히는 어종정보를 더 포함하여 저장할 수 있으며, 조황정보 제공 모듈(700)에서는 어종정보 표시부(740)를 통해 사용자단말(21)의 GPS위치정보에 대응되는 어종정보를 주변영상에 더 합성하여 표시할 수 있다. 여기에서 어종정보는 예를 들어 ‘현재위치에서 돌돔과 감성돔이 잘 잡히는 편이다’와 같은 텍스트나 해당 물고기의 사진이나 그래픽 이미지 등을 함께 표시할 수도 있다. 또한, 지리정보 데이터베이스(600)에 별도로 텍스트판단모듈 또는 이미지판단모듈 등과 같이 사용자(20)가 공유한 조황사진정보에서 어종을 인식할 수 있는 수단을 더 포함시켜 일종의 빅데이터 처리와 같이 실제 조황사진정보를 통한 통계적 어종정보를 더 제공할 수도 있음은 물론이다.

이 외에도 청구항에 표기되지는 않았지만 지리정보 데이터베이스(600)에 주변의 낚시전문점의 정보를 더 포함시키거나, 낚시터에 구비된 물품, 필요한 물품 등의 유용한 정보를 더 포함시켜 구성할 수 있으며, 이를 증강현실방식으로 화면에 합성하여 표시될 수도 있음은 물론이다. 또한, 일반적인 광고페이지의 설정처럼, 이러한 낚시전문점의 정보다 물품 등의 정보는 사용자(20)가 상세한 설명을 확인하기 원하는 경우 관련된 홈페이지나 관련설명이 저장된 웹페이지로 이동시킬 수 있으며, 이러한 구성을 통해 광고 등의 부가 수익을 기대할 수 있음은 물론이다.

도 6은 본 발명에서 주변사물의 위치를 파악하는 방법에 대한 개념도이다.

마지막으로, 앞선 설명에서도 계속 강조한 것이나 조황서비스 제공 시스템에서 가장 중요한 것은 낚시꾼들의 정보가 사실인지 여부 일 것이다. 이러한 시스템을 이용하는 사용자(20)의 경우, 정보를 얻으려는 사용자(20)도 있으며, 자신이 잡은 물고기를 자랑하기 위한 사용자(20)도 존재한다. 또, 일반적으로 낚시꾼들은 자신이 잡은 물고기의 크기나 길이, 무게 등을 자랑으로 삼는 것을 좋아하기 때문에, 낚시꾼들에게 있어 이러한 조황사진정보에서 자신이 잡은 물고기의 크기를 자랑하기를 원하는 경향이 있다.

다만, 낚시를 다닐 때마다 줄자 등의 길이측정수단을 소지하는 것도 불편할뿐더러 물고기가 살아있는 경우, 잦은 움직임으로 인해 쉽게 길이를 측정하기 어렵다는 단점이 있다. 이러한 문제를 해결하기 위한 방법으로서, 물고기를 촬영하되, 증강현실을 이용하여 물고기의 길이를 쉽게 측정할 수 있도록 하는 방법이 고려될 수 있다.

즉, 상기 사용자정보 수집 모듈(100)은 상기 사용자단말(21)에서 사진의 촬영 시 물고기 주변의 사물을 인식하는 사물인식부(120)와, 인식된 상기 물고기 주변의 사물의 길이를 측정하는 길이파악부(130)와, 상기 물고기 주변의 사물과 상기 물고기를 비교하여 상기 물고기의 길이를 측정하는 길이측정부(140)로 구성될 수 있다. 촬영의 특성 상 초당 수십프레임이 찍힐 수 있기 때문에 물고기가 심하게 움직이더라도 물고기의 최대 길이를 측정할 수 있다는 장점이 있고, 이에 따라 물고기를 촬영하면서 주변에 기준이 될만한 사물을 하나정도 더 포함시키게 되면 물고기의 크기비례를 증명할 수 있을 뿐만 아니라 이 사물을 통해 물고기의 실제 크기를 측정할 수 있게 된다.

여기서 일반적인 어플리케이션은 화면에 나타난 기준이 될 사물을 사용자(20)가 직접 터치 등의 방법으로 지정하는 방법을 활용하거나 내장된 축척을 통해 임의로 길이를 재는 것이 일반적이다. 이러한 방식은 터치 범위 등의 이유로 기준이 될 사물을 프로그램 상에서 인지하기 어려울뿐더러 임의로 지정된 축척이 실제와 다름에도 불구하고 수정할 방법이 없어 실측에 도움이 되지 못하는 경우가 많다.

따라서, 이러한 방법을 해결하기 위해 주변사물의 위치를 파악하는 방법으로서 다음의 공식(수학식 2)이 활용될 수 있다.

수학식2,

여기서,

는 촬영된 사진에서 물고기 주변의 사물에 해당되는 영상 화소의 좌표이고,

는 상기 사진의

좌표에서의 영상 화소이며,

는

좌표의 영상 화소에서 옵셋을 의미하고, M은 영상 화소의 전체 개수를 나타낸다.

즉, 사물이 위치하는 화소의 좌표를 프로그램 상에서 직접 찾아낼 수 있도록 한 것이다. 즉, 영상은 다수의 화소로 구성되는데, 이는 일반적으로 xy축의 좌표로 나타낼 수 있다. 상기한 식은 일종의 패턴매칭 방법으로서, 대상물의 패턴을 측정하여 패턴유사도를 측정하는 것이다. 즉, 선형적인 밝기 변화를 계산하는 식으로서, 전체 영상 화소를 기준으로 수학식2의 하단에는 영상 화소와 상대적인 옵셋(offset)의 평균을 곱한 것을 나타낸 것이고, 수학식2의 상단에는 영상 화소와 옵셋(offset)의 곱의 평균을 나타낸 것이다.

여기서 옵셋이란

좌표의 영상 화소를 사용자단말을 통해 촬영하였을 때, 사용자단말의 촬영장비 성능에 따라 최대로 줌 했을 때의 해당 영상 화소가 확대된 크기의 비율을 의미한다. 즉, 옵셋이라는 명칭 자체가 최소와 최대의 차이를 의미하듯, 최소가 바로 이 영상 화소를, 다시 최대는 최대 줌 시 촬영된 영상 화소의 크기를 기준으로 비교하는 것이다. 예를 들어 (z, y)라는 좌표가 영상 화소의 좌표라고 하였을 때, 이 영상 화소를 최대로 줌 하였을 때에는 해당 영상 화소가 확대되어 주변 좌표에 까지 나타나게 되며, 예시로 상하좌우의 4개 좌표만큼 더 확대되었다면, 이 때의 옵셋은 5(기본이 1일 때, 확대된 것은 5이므로)가 된다. 다만, 이 옵셋의 경우 빠른 연산을 위해 임의로 미리 지정하여 계산될 수도 있음은 물론이다. 이를 위해 사용자정보 수집 모듈(500)에 별도로 낚시한 물고기의 사진에서 각각의 픽셀마다의 옵셋을 측정하는 옵셋측정부(540)의 구성을 더 두어 이 옵셋측정부(540)를 통해 픽셀마다 미리 옵셋을 측정하여 사용자단말의 일반적인 픽셀 좌표별 옵셋을 미리 설정해두거나 혹은 사진의 촬영시점에 실시간으로 옵셋을 측정할 수 있도록 함으로써 이러한 옵셋을 자유롭게 활용토록 구성이 가능하다.

여기서, 촬영된 좌표별로 사용자단말과의 거리가 달라지게 되므로, 옵셋이 달라지게 된다. 따라서, 각각의 좌표마다 다른 옵셋이 나타나기 때문에 이러한 수학식이 유효한 것이다. 물론, 실제로 해당 공식에 의해 촬영된 사진에서 모든 사물(물고기 주변의 사물, 물고기)의 좌표와 사진 내에서의 크기가 나타날 수 있되, 여기서 물고기의 경우 사용자로부터 주로 잡히는 어종을 미리 지정해두거나 혹은 별도의 어종 데이터베이스를 시스템에 미리 구비해 두었다가 이 어종 데이터베이스와의 매칭을 통해 물고기를 인식하는 방법, 혹은 사용자로부터 직접 물고기의 위치를 입력받는 방법 등이 활용될 수 있다. 다만 이러한 방법들은 공지된 사진인식기술이나 사진인식프로그램 등에서 매우 일반적인 기술이며 이러한 공지된 기술들을 활용하면 용이하게 시스템에 구비가 가능한 기술이므로 상세한 설명은 생략하도록 하겠다.

나아가 상기한 수학식2와 같은 방식은 일종의 패턴매칭 방식으로서, 이와 유사한 수학식의 예시로서 단순하게 2진좌표 영상에서 밝기 변화를 찾는 Blob analysis 방법이나 자동으로 일정한 색상의 폭이 나타나는 것을 찾는 Caliper Tool 방법이 존재하나, 수학식2는 이들보다 더욱 효과적으로 물고기 주변의 사물을 확인할 수 있게 된다. 즉, Blob analysis 방법의 경우 단순하게 밝기의 변화가 존재하는 모든 영역을 찾기 때문에 여러 가지 색상이 존재하는 바위나 모래 등에서 활용하는데 문제가 있고, Caliper Tool 방법 역시도 길이의 변화가 존재하는 모든 영역을 찾기 때문에 동일한 문제가 발생한다. 그러나 이 패턴매칭방법은 위와같은 Blob analysis 및 Caliper Tool 방법을 모두 아우를뿐더러 옵셋값을 더 사용하여 특정 색상만을 겨냥하여 도출할 수 있다는 장점을 가져 다른 방법보다 빠른 속도와 정확도를 가질 수 있게 되는 것이다.

이렇게 물고기 주변의 사물을 찾게 되면, 다음의 수학식1을 통해 물고기 주변의 사물의 정확한 길이를 파악할 수 있다.

수학식1,

여기서, L은 물고기 주변의 사물의 길이를 나타내고,

은 n번째 영상 화소의 좌표이며,

은 첫 번째 영상 화소의 좌표이고,

는 전체 영상 화소 중 가장 높은 옵셋을 갖는 영상 화소의 좌표이며,

은 영상 화소 중 가장 낮은 옵셋을 갖는 영상 화소의 좌표를 나타낸다.

물론 이 과정은 앞선 수학식2를 거치지 않더라도 일반적으로 알려진 공지의 이미지 인식프로그램을 통해 낚시한 물고기의 사진에서 대강의 물고기 주변의 사물 위치를 파악하는 것으로도 어느정도 적용이 가능하다. 따라서 수학식1만을 활용하더라도 다시 이 물고기 주변의 사물의 영상화소를 다시 판단해 정확한 길이의 측정이 가능하며, 수학식2를 활용하는 것은 이를 한번 더 상세하게 보정함으로써 발생할 수 있는 오차의 범위를 최소화시키는 데 활용하는 것이라 하겠다.

여기서, 첫 번째 영상 화소의 좌표라 함은 임의로 설정될 수 있는 것이며, 총 M개의 영상 화소로 이루어진 사진에서 모든 영상 화소를 다 확인하기 때문에 어떠한 순서로 지정되든지 무관하다. 또한 수학식1을 보면 옵셋의 차이를 가중치로 두어 계산을 수행한 것을 확인할 수 있다. 즉, 옵셋은 이전에 언급했듯이 촬영된 위치 차이에 따라 편차가 발생하게 되는데, 이런 기준값과의 차이는 주로 실제 떨어진 거리에 의해 발생하게 되는 것이다. 예를 들면 사용자단말과 가장 가까운 영상 화소는 옵셋이 5였지만, 사용자 단말과 가장 먼 영상 화소는 옵셋이 5 이상으로 치솟을 수 밖에 없다. 따라서, 이러한 옵셋의 차이를 가중치로 하여 계산하게 되면 전체를 동일한 옵셋으로 계산하여 물고기 주변의 사물과 물고기의 길이를 비교할 때보다 거리에 따른 비율 차이에 의한 오차를 최소화할 수 있어 별도의 추가 보정 없이도 실제 길이와 가장 가까운 길이값을 도출해 낼 수 있게 된다.

도 7은 본 발명에서 기준물체의 위치를 파악하는 방법에 대한 개념도이다.

다음으로 사물인식부(120)는 사용자(20)로부터 RGB(Red, Green, Blue)값 중 적어도 하나의 색상값을 갖고 일정한 길이를 보유한 기준물체를 입력받는 기준물체지정파트(121)와, 상기 사진에서 상기 물고기 주변의 사물 중 기준물체를 식별하는 기준물체식별파트(122)를 더 포함하여 구성될 수 있다.

즉, 이러한 방법은 앞선 사물인식을 더욱 확실하게 하는 것으로서, 사용자(20)가 기준으로 삼을 물고기 주변의 사물의 색상값을 RGB값으로 미리 지정해두도록 하는 것이다. 이에 따라 사용자(20)는 입력해둔 기준물체를 소지하고 있다가 촬영 시 이 기준물체를 함께 촬영하여 자동으로 기준물체를 인식할 수 있도록 한다. 이 경우 프로그램 단에서는 촬영된 영상의 전체 픽셀에서 지정된 RGB값의 존재여부를 확인할 수 있다. 이는 Blob analysis 방법의 일종인데, 기존의 Blob analysis와 다른점은 RGB값을 각각 R값과 G값, B값의 3회의 연산을 거치도록 하고, 별도의 문턱값을 두어 유사한 색상을 검출하지 않도록 함으로써 보다 정확한 파악이 가능하게 되는 것이다.

기준물체식별파트(122)는 다음의 수학식3을 이용하여 기준물체의 위치를 파악하게 된다.

수학식3,

여기서,

는 각각 RGB중 R값, G값, B값에 대응되는 0내지 255사이의 정수이고,

는 문턱값을 의미하며,

는 기준물체를 의미한다. 즉, R값, G값, B값 중 어느 하나를 기준으로 다른 값들과의 차를 통해 문턱값과 비교하게 되면, RGB값이 도출되거나 또는 도출되지 않는 픽셀들을 찾아낼 수 있다. 이 때, RGB값의 차이를 10으로 나누는 것은 색상의 검색범위를 줄여 프로세싱 시간을 감소시키기 위한 것이며, 총 512가지의 경우의 수가 있으나, 이를 51가지로 줄여 연산토록 한 것이다. 10단위로 색상을 끊게되면 그림판이나 포토샵 등의 프로그램에서 기본적으로 제공하는 색상표보다 더욱 섬세한 색상분할을 형성한 것이며, 따라서 이러한 색상분석에 충분한 기준이 될 수 있으되 색상의 검출에 따른 시간을 줄일 수 있는 적절한 지표라고 할 수 있다.

나아가 문턱값은 이 값을 기준으로 이진화가 일어나게 되는 기준점으로서, 이 문턱값을 낮추면 해당 색상만 검출되고, 문턱값을 높이면 보다 유사한 색상들이 검출될 수 있다. 이러한 문턱값은 프로세싱 속도와 연관되기 때문에 주변 색상의 상황에 따라 융통성 있게 변경되는 것이 바람직하다. 따라서, 이러한 공식에 의해 문턱값에 미달하는 경우 자연스럽게 0값을 가지게 되어 검은색으로 인식되고 문턱값을 넘어서는 경우 1값을 가지게 되어 흰색으로 인식되어 기준물체의 위치를 확인할 수 있게 된다. 또한, 이와 같은 방법을 그대로 물고기의 위치를 특정하는 데에 활용될 수 있음은 물론이다.

결과적으로 위와 같은 식을 통해 RGB값이 도출되는 부분을 기준물체로 확인할 수 있게 되며, 이러한 작업을 거친 후 추가적으로 사물인식을 거치게 되면 보다 확실한 물고기 주변의 사물의 정보를 측정할 수 있게 되는 것이다.

지금까지 설명한 바와 같이, 본 발명에 따른 증강현실을 기반으로 한 조황서비스 제공 시스템의 구성 및 작용을 상기 설명 및 도면에 표현하였지만 이는 예를 들어 설명한 것에 불과하여 본 발명의 사상이 상기 설명 및 도면에 한정되지 않으며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 변화 및 변경이 가능함은 물론이다.

10: 중앙서버 20: 사용자
21: 사용자단말 30: 관리자
100: 사용자정보 수집 모듈 110: 워터마크 생성부
120: 사물인식부 121: 기준물체지정파트
122: 기준물체식별파트 130: 길이파악부
140: 길이측정부 200: 위치 수집 모듈
300: 기상 수집 모듈 400: 물때 수집 모듈
500: 조황정보 수집 모듈 510: 리스트 설정부
520: 비공개리스트 설정부 530: 워터마크 합성부
540: 옵셋측정부 600: 지리정보 데이터베이스
700: 조황정보 제공 모듈 710: 지리정보 표시부
720: 블록적용부 730: 조황사진정보 표시부
740: 어종정보 표시부

Claims (5)

1. 증강현실을 기반으로 한 조황서비스 제공 시스템으로서,
   낚시 중인 사용자로부터 데이터통신망에 접속된 사용자단말을 통해 촬영된 낚시한 물고기의 사진을 제공받아 상기 물고기 주변의 사물을 인식하는 사물인식부와, 상기 낚시한 물고기의 사진에서 각각의 픽셀마다 옵셋을 측정하는 옵셋측정부 및, 인식된 상기 물고기 주변의 사물 길이를 측정하는 길이파악부와, 상기 물고기 주변의 사물과 상기 물고기를 비교하여 상기 물고기의 길이를 측정하는 길이측정부를 구비한 사용자정보 수집 모듈;
   상기 사용자단말의 GPS위치정보와, 상기 GPS위치정보에 대응되는 날씨정보 및, 물때의 시차를 제공하는 외부 물때데이터베이스로부터 상기 GPS위치정보와 상기 사진이 촬영된 시간에 대응되는 물때정보를 수집하고 상기 사진에 합성한 조황사진정보를 저장하는 조황정보 수집 모듈;
   상기 조황서비스 제공 시스템에 등록된 사용자로부터 증강현실 컨텐츠 제공이 가능한 사용자단말을 통해 주변영상을 촬영하면, 상기 사용자단말로부터 측정된 GPS위치정보에 대응되는 상기 조황사진정보를 증강현실 컨텐츠로서 상기 사용자단말에 제공하는 조황정보 제공 모듈;로 구성되되,
   상기 길이파악부는,
   다음의 수학식1을 이용하여, 상기 물고기 주변의 사물 길이를 파악하는 것을 특징으로 하는, 증강현실을 기반으로 한 조황서비스 제공 시스템.
   수학식1,

   

   
   (여기서, L은 물고기 주변의 사물의 길이를 나타내고, M은 영상 화소의 전체 개수이며,

   

   은 n번째 영상 화소의 좌표이고,

   

   은 첫 번째 영상 화소의 좌표이고,

   

   는 전체 영상 화소 중 가장 높은 옵셋을 갖는 영상 화소의 좌표이며,

   

   은 영상 화소 중 가장 낮은 옵셋을 갖는 영상 화소의 좌표를 나타낸다.)
2. 제 1항에 있어서,
   상기 조황정보 수집 모듈은,
   상기 사용자가 생성한 상기 조황사진정보를 리스트화 하여 조황리스트를 생성하는 리스트 설정부와,
   상기 사용자로부터 상기 조황리스트의 비공개여부를 결정받아 비공개 결정된 상기 조황사진정보는 상기 조황서비스 제공 시스템에 등록된 다른 사용자에게 제공되지 않도록 제어하는 비공개리스트 설정부로 구성되는 것을 특징으로 하는, 증강현실을 기반으로 한 조황서비스 제공 시스템.
3. 제 1항에 있어서,
   상기 사용자정보 수집 모듈은,
   상기 사진에 고유한 워터마크를 부여하는 워터마크 생성부를 더 포함하고,
   상기 조황정보 수집 모듈은,
   상기 조황사진정보에 상기 워터마크를 더 합성하여 제공하는 워터마크 합성부를 더 포함하는 것을 특징으로 하는, 증강현실을 기반으로 한 조황서비스 제공 시스템.
4. 제 1항에 있어서,
   상기 조황서비스 제공 시스템은,
   지역별로 자주 잡히는 어종정보가 포함된 지리정보데이터베이스를 더 포함하고,
   상기 조황정보제공모듈은,
   상기 사용자단말로부터 수집된 GPS위치정보에 대응되는 어종정보를 상기 주변영상에 합성하여 표시하는 어종정보표시부를 더 포함하는 것을 특징으로 하는, 증강현실을 기반으로 한 조황서비스 제공 시스템.
5. 제 1항에 있어서,
   상기 사물인식부는,
   다음의 수학식2를 이용하여, 상기 물고기 주변의 사물을 인식하는 것을 특징으로 하는, 증강현실을 기반으로 한 조황서비스 제공 시스템.
   수학식2,

   

   
   (여기서,

   

   는 촬영된 사진에서 물고기 주변의 사물에 해당되는 영상 화소의 좌표이고,

   

   는 상기 사진의

   

   좌표에서의 영상 화소이며,

   

   는

   

   좌표의 영상 화소에서 옵셋을 의미하고, M은 영상 화소의 전체 개수를 나타낸다.)

Images