KR102278693B1 - 인공지능 기반 온오프라인 연결 사용자 인터랙션을 제공하는 사이니지 통합 관리 시스템 및 그 방법 - Google Patents

Abstract

인공지능 기반 온오프라인 연결 사용자 인터랙션을 제공하는 사이니지 통합 관리 시스템 및 그 방법이 개시된다. 일 실시 예에 따른 사이니지 통합 관리 시스템 및 그 방법은 온라인 상에서 콘텐츠를 제공하는 사이니지 장치를 사용자 단말과 연계하여 사용자 단말을 통해 콘텐츠와 관련된 오프라인 서비스를 이용할 수 있도록 한다.

Description

인공지능 기반 온오프라인 연결 사용자 인터랙션을 제공하는 사이니지 통합 관리 시스템 및 그 방법 {Signage integrated management system providing Online to Offline user interaction based on Artificial Intelligence and method thereof}

본 발명은 영상분석 및 원격제어 기술에 관한 것이다.

사이니지(Signage)는 기업들의 마케팅, 광고, 트레이닝 효과와 고객 경험을 유도할 수 있는 커뮤니케이션 툴로, 공공장소나 상업공간에 설치해 다양한 정보와 광고를 실시간으로 제공하는 영상 디스플레이 장치이다. 특히, 디지털 사이니지(Digital　Signage)는 디지털 기술을 활용해 디스플레이 스크린에 영상과 정보를 표시하고, 네트워크로 원격 관리가 가능한 관리 플랫폼까지 종합적으로 공급한다. 사이니지는 전자식 메시지를 개인의 필요에 따라 다양한 옵션으로 출력시키고, 사용자와 상호 작용이 쉬우며, 정보를 시각적으로 제공하므로 대중과 소통이 쉬운 장점이 있다.

온오프라인 연결(Offline to online: O2O, 이하, 'O2O'라 칭함) 서비스는 온라인과 오프라인을 연결하는 서비스로서, 차별화된 소비경험가치를 제공한다. 예를 들어, 기업들은 온라인 중심의 소비환경에서 벗어나고자 하는 소비자 행동을 예측하고 온라인과 오프라인을 결합한 구매 프로세스를 제공하고 있다. 최근 빅 데이터 환경과 맞물려 더욱 적극적인 형태로 O2O 서비스의 범위를 확장시키고 있다. 오프라인과 온라인의 융합이라는 새로운 구조는 지금껏 온라인의 간편한 사용 유도방식에서 벗어나 소비자에게 새로운 경험가치를 전달하는 비즈니스 수단으로 변화하고 있다.

일 실시 예에 따라, 사이니지 장치를 통해 온라인 상에서 제공되는 콘텐츠를 오프라인 서비스와 연계하고, 사이니지 장치를 통해 사용자에게 정확하게 정보를 전달했는지 피드백 할 수 있는 사이니지 통합 관리 시스템 및 그 방법을 제안한다.

일 실시 예에 따른 사이니지 통합 관리 시스템은, 사이니지 장치 화면의 콘텐츠를 촬영한 영상으로부터 특성정보를 추출한 후 이를 원격 서버에 전송하고 콘텐츠를 구성하는 객체를 인식하여 인식된 객체와 관련된 오프라인 서비스와 연계시키는 사용자 단말과, 사이니지 장치에 제공하는 콘텐츠를 분석하여 특성정보를 추출한 후 이를 데이터베이스에 저장해 두고 사용자 단말로부터 수신된 특성정보와 데이터베이스에 저장된 특성정보를 비교하여 콘텐츠를 확인한 후 확인결과를 사용자 단말에 제공하는 원격 서버를 포함한다.

사용자 단말은, 사이니지 장치 화면을 통해 제공되는 콘텐츠를 촬영한 영상을 획득하는 데이터 획득부와, 촬영영상을 분석하여 특성정보를 추출하는 데이터 분석부와, 원격 서버와 통신하여 특성정보를 공유하며, 사용자 단말에서 추출된 특성정보와 원격 서버에서 추출된 특성정보를 이용하여 도출된 콘텐츠 확인결과를 수신하는 통신부와, 확인된 콘텐츠를 대상으로 기계학습을 통해 훈련된 기계학습 데이터를 이용하여 객체를 인식하는 객체 인식부와, 인식된 객체와 관련된 오프라인 액티비티에 연결하기 위한 연계정보를 제공하는 정보 연계부를 포함할 수 있다.

사용자 단말은 확인된 콘텐츠 내 객체들을 대상으로 우선순위를 할당한 후, 우선순위의 객체에 대한 연계정보를 우선으로 제공할 수 있다. 이때, 사용자 단말은 사용자의 단말 사용에 따라 생성되는 정보로부터 사용자 패턴을 인식한 후, 확인된 콘텐츠 내 객체들을 대상으로 사용자가 선호하는 패턴에 우선순위를 할당할 수 있다.

사용자 단말은 인식된 객체와 연관된 오프라인 액티비티를 수행하기 위한 링크 또는 오프라인 액티비티와 연관된 콘텐츠를 제공할 수 있다.

원격 서버는, 사이니지 장치를 통해 광고가 가능한 콘텐츠를 관리하면서 콘텐츠를 사이니지 장치에 제공하는 콘텐츠 관리부와, 사이니지 장치에 제공되는 콘텐츠로부터 특성정보를 추출하여 데이터베이스에 저장하는 콘텐츠 분석부와, 사용자 단말로부터 수신된 촬영영상의 특성정보와 데이터베이스에 저장된 특성정보를 비교하여 콘텐츠를 확인하는 콘텐츠 확인부와, 사용자 단말로부터 촬영영상의 특성정보를 수신하고 콘텐츠 확인결과를 사용자 단말에 전송하는 네트워크 연결부를 포함할 수 있다.

원격 서버는 촬영영상의 특성정보를 데이터베이스에 전송하여 조회를 요청하고, 데이터베이스에서 촬영영상의 특성정보와 일치하는 콘텐츠 특성정보를 검색하면, 데이터베이스로부터 조회 결과를 수신하여 검색된 특성정보를 가진 콘텐츠를 확인할 수 있다.

원격 서버는 사이니지 장치에 제공되는 콘텐츠로부터 윤곽선 특징정보와 콘텐츠 속성정보를 포함하는 특성정보를 추출하여 데이터베이스에 저장하며, 콘텐츠 확인결과와 함께 콘텐츠 특성정보를 사용자 단말에 제공하며, 사용자 단말은 객체 인식 시에 콘텐츠 특성정보를 이용할 수 있다.

원격 서버는 사이니지 장치 화면을 통해 제공되는 정보를 원격 모니터링하고 문제 발생 시 사이니지 장치를 원격에서 조정하거나 관리자에 통지할 수 있다.

사용자 단말은 사이니지 장치 화면의 콘텐츠를 촬영한 영상으로부터 영상 분석을 통해 특성정보를 추출하여 콘텐츠를 확인한 후 확인된 콘텐츠를 대상으로 기계학습을 통해 훈련된 학습 데이터를 이용하여 객체를 인식할 수 있다.

원격 서버는 사이니지 장치에 제공될 콘텐츠를 대상으로 사전에 영상 분석을 통해 특성정보를 추출하고 기계학습을 통해 객체를 인식한 후, 사용자 단말과의 특성정보 교환 시에 기계학습 기반 객체 인식 결과를 함께 제공할 수 있다.

사용자 단말 및 원격 서버에서 각각 기계학습 기반 객체 인식을 수행하여 상호 보완하며, 분산된 환경에서 사용자 단말 및 원격 서버에서의 객체 인식 결과를 상호 비교하여 협상 프로세스를 수행할 수 있다.

일 실시 예에 따른 사이니지 통합 관리 시스템 및 그 방법에 따르면, 온라인 상에서 콘텐츠를 제공하는 사이니지 장치를 사용자 단말과 연계하여 사이니지 장치에서 온라인 상으로 제공되는 콘텐츠와 연관된 오프라인 서비스를 이용할 수 있도록 함에 따라 O2O 서비스를 구현할 수 있다.

예를 들어, 사이니지 장치를 통해 출력되는 상품 광고 영상으로부터 실질적인 구매까지 이어질 수 있다. 다른 예로, 사이니지 장치를 통해 출력되는 영화 광고 영상으로부터 실질적인 콘텐츠 구매까지 이어질 수 있다. 또 다른 예로, 사이니지 장치를 통해 출력되는 공연/전시 광고 영상으로부터 실질적인 티켓 구매까지 이어질 수 있다. 이 외에도, 스마트 팩토리, 스마트 진료 등 기타 연계산업과 관련된 O2O 서비스를 제공할 수 있다.

사용자 단말에서 추출된 촬영영상 특성정보와 원격 서버에서 추출된 콘텐츠 특성정보 교환을 통해 콘텐츠를 정확하게 확인할 수 있다.

사용자 단말에서 사용자 사용정보를 통해 사용자 패턴을 확인한 후 사용자가 선호하는 제품에 대한 O2O 서비스를 우선적으로 제공함에 따라 사용자 맞춤형 O2O 서비스를 제공할 수 있다.

사이니지 장치를 통해 광고를 하는 광고주 입장에서는, 사이니지 장치를 통해 보여지는 영상에 나오는 제품의 정보를 사용자에게 정확하게 전달했는지 확인(feedback) 할 수 있다. 이때, 광고 효과를 분석할 수 있고 그 효과를 극대화 할 수 있다.

도 1은 본 발명의 일 실시 예에 따른 사이니지 통합 관리 시스템의 구성 및 개념을 도시한 도면,
도 2는 본 발명의 일 실시 예에 따른 사용자 단말의 구성을 도시한 도면,
도 3은 본 발명의 일 실시 예에 따른 원격 서버의 구성을 도시한 도면,
도 4는 본 발명의 일 실시 예에 따른 O2O 기반 정보 제공 서비스를 위해 사용자 단말과 원격 서버 간 동작 플로우를 도시한 도면,
도 5는 본 발명의 일 실시 예에 따른 원격 서버의 특성 추출 및 저장 예를 도시한 도면,
도 6은 본 발명의 일 실시 예에 따른 특성정보 추출 프로세스 및 콘텐츠 확인 프로세스를 도시한 도면,
도 7 내지 도 9는 본 발명의 다양한 실시 예에 따른 O2O 기반 정보 제공 실시 예를 도시한 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이며, 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램인스트럭션들(실행 엔진)에 의해 수행될 수도 있으며, 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다.

이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.

그리고 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명되는 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능들을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있으며, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하며, 또한 그 블록들 또는 단계들이 필요에 따라 해당하는 기능의 역순으로 수행되는 것도 가능하다.

이하, 첨부 도면을 참조하여 본 발명의 실시 예를 상세하게 설명한다. 그러나 다음에 예시하는 본 발명의 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 상술하는 실시 예에 한정되는 것은 아니다. 본 발명의 실시 예는 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공된다.

도 1은 본 발명의 일 실시 예에 따른 사이니지 통합 관리 시스템의 구성 및 개념을 도시한 도면이다.

도 1을 참조하면, 사이니지 통합 관리 시스템(1)은 사용자 단말(2), 서버 플랫폼, 사이니지 장치(6) 및 관리자 장치(7)를 포함한다. 서버 플랫폼은 원격 서버(3), 콘텐츠 DB(4) 및 DNA DB(5)를 포함할 수 있다. 서버 플랫폼은 SaaS 플랫폼일 수 있다.

일 실시 예에 따른 사이니지 통합 관리 시스템(1)은 인공지능 기반 온오프라인 연결(Offline to online: O2O, 이하, 'O2O'라 칭함) 사용자 인터랙션(user interaction)을 제공한다. 즉, 사이니지 장치(6)와 사용자 단말(2) 간에 인공지능을 이용한 O2O 사용자 인터랙션을 통해 사이니지 장치(6)에서 온라인 상에서 제공되는 정보를 실질적인 오프라인 서비스까지 이어지게 하는 O2O 서비스를 제공한다. 예를 들어, 사이니지 장치(6)를 통해 출력되는 광고 영상을 사용자 단말(2) 사용자가 보다가 카메라를 통해 영상 내 특정 장면을 촬영하면, 촬영한 장면에 등장하는 제품을 구매할 수 있는 쇼핑몰 사이트를 연계하여 제공함에 따라 사용자의 실질적인 구매까지 이어지도록 한다. O2O 서비스는 쇼핑몰 사이트뿐만 아니라, 저가 마켓 플레이스 사이트, 가격 비교 사이트, 콘텐츠 판매, 할인 쿠폰 발행, 티켓 판매, 이벤트 공모 등과 연계할 수 있다. 상업적 제품뿐만 아니라, 스마트 팩토리, 스마트 진료 등 기타 연계산업과 연계할 수도 있다.

현재 사이니지 장치(6)를 통해 보여지는 영상에 나오는 제품의 정보를 사용자에게 정확하게 전달했는지 확인(feedback) 하는 방법이 없어, 광고의 효과 분석이 어렵다. 사이니지 장치(6)의 화면에 표시되는 영상을 인식한다 할지라도 영상 내 다수의 데이터가 포함되어 있어 어떤 데이터를 사용자에게 전달해야 하는지도 관건이다.

일 실시 예에 따른 사이니지 통합 관리 시스템(1)은 전술한 문제를 해결하기 위해 사이니지 장치(6)의 스크린과 사용자 단말(2)을 대상으로 인공지능 기반 기계학습을 통해 O2O 사용자 인터랙션을 제공하고자 한다. 예를 들어, 사용자가 소지한 사용자 단말(2)을 통해 사이니지 장치(6)에서 보여지는 영상을 사진으로 찍거나 촬영했을 때, 기계학습을 통해 학습된 기능을 통해 영상 내 객체를 인식하고 객체 인식을 통해 인식된 제품에 대한 오프라인 서비스까지 이어지도록 하는 연계정보를 제공한다.

사이니지 장치(6)는 공공장소나 상업공간에 분포 설치되는 디스플레이 장치이다. 원격 서버(3)에 연결되어 콘텐츠를 제공받아 이를 화면에 출력시키며, 양방향 통신이 가능하다. 사이니지 장치(6)는 쉽고 신속한 메시지 전달이 가능하고, 네트워크 연결로 다수의 사이니지 장치에 실시간 정보의 갱신이 가능하며, 불특정 대중에게 정확한 정보를 알맞은 시간에 통보할 수 있다. 사이니지 장치(6)는 디지털 사이니지 장치일 수 있고, 아날로그 사이니지 장치일 수도 있다.

사용자 단말(2)은 사용자가 소지한 스마트폰, 태블릿 PC, 화면 디스플레이가 있는 웨어러블 디바이스 등 휴대 가능한 모든 전자장치를 포함한다. 사용자 단말(2)은 앱(App)을 실행하여 O2O 서비스를 제공할 수 있다. 이때, 서로 상이한 OS, 예를 들어, 안드로이드, iOS, 윈도우 등 각종 OS를 모두 지원할 수 있는 형태를 가진다. 사용자 단말(2)에 설치된 앱 카메라를 이용하여 사이니지 장치(6)의 화면에 보이는 영상이나 정보를 사진 또는 영상으로 촬영할 수 있다. 사용자는 사이니지 장치(6)와 사용자 단말(2)을 연계하여, 사이니지 장치(6)를 통해 온라인 상에 제공되는 정보를 사용자 단말(2)에서 오프라인 서비스와 연결하여 이용할 수 있다. 사용자 단말(2)은 사이니지 장치(6)와 양방향 인터랙션이 가능하다. 사용자 단말(2)이 원격 서버(3)와 연결되는 경우, 사용자 단말(2)은 원격 서버(3)로부터 수신된 제어명령을 수행하는 에이전트(Agent)가 된다.

원격 서버(3)는 사이니지 장치(6)를 통해 제공할 콘텐츠가 저장되며, 네트워크를 통해 콘텐츠를 사이니지 장치(6)에 제공한다. 원격 서버(3)는 사이니지 장치(6)를 모니터링 및 관리할 수 있다. 이를 위해, 원격 서버(3)는 사이니지 장치(6)로부터 상태(Status) 정보, 사용(Usage) 정보 등을 수신하고, 수신되는 정보를 이용하여 사이니지 장치(6)가 정상적으로 작동하는지 여부를 확인할 수 있다. 정상적으로 작동하지 않으면, 문제가 발생한 사이니지 장치를 원격에서 조치하거나 관리자에게 통지할 수 있다.

일 실시 예에 따른 사이니지 통합 관리 시스템(1)은 사용자 단말(2)과 원격 서버(3) 간에 특성정보를 교환하여 원격 서버(3)에서 사이니지 장치(6)에 제공하는 콘텐츠와 사용자 단말(2)이 사이니지 장치(6)로부터 촬영한 콘텐츠가 일치되도록 한다. 특성정보는 데이터에서 중요한 특징이나 속성을 나타내는 것으로, 특성을 추출하여 영상을 식별할 수 있다. 특성정보는 영상 분석을 통해 획득되는 객체들의 윤곽선(edge)들에 대한 특징정보를 포함한다. 윤곽선 특징정보를 통해 사람인지 사물인지, 사람이면 누구인지, 사물이면 무엇인지를 구분할 수 있다.

이하, 특성정보 교환을 통한 콘텐츠 확인 프로세스에 대해 후술한다.

원격 서버(3)는 사이니지 장치(6)에 제공하는 콘텐츠를 콘텐츠 DB(4)에 저장해 둔다. 그리고 콘텐츠 DB(4)에 저장된 콘텐츠를 분석하여 특성정보를 추출한 후 이를 DNA DB(5)에 저장해 둔다. 특성정보가 콘텐츠의 DNA에 해당한다는 의미에서, 특성정보를 DNA라 칭한다. 원격 서버(3)의 특성정보 추출은 원격 서버(3)가 사이니지 장치(6)에 콘텐츠를 제공하기 이전에 수행된다. 이후, 사용자 단말(2)이 사이니지 장치(6) 화면의 콘텐츠를 촬영한 영상으로부터 특성정보를 추출한 후 추출된 특성정보를 원격 서버(3)에 전송한다.

원격 서버(3)는 사용자 단말(2)로부터 수신된 특성정보와 DNA DB(5)에 저장된 특성정보를 비교하여 콘텐츠를 확인한다. 예를 들어, 콘텐츠가 광고인 경우 1번 광고인지 2번 광고인지를 확인해 준다. 콘텐츠 확인을 위해, 원격 서버(3)는 사용자 단말(2)로부터 수신된 특성정보를 DNA DB(5)에 전송하여 조회를 요청한다. 그러면, DNA DB(5)는 촬영영상의 특성정보와 일치하는 콘텐츠 특성정보를 검색하여 조회 결과를 원격 서버(3)에 전송한다. 원격 서버(3)는 DNA DB(5)로부터 조회 결과를 수신하여 검색된 특성정보를 가진 콘텐츠를 확인한다. DNA DB(5)에서 촬영영상의 특성정보와 일치하는 콘텐츠 특성정보를 검색함에 따라, 원격 서버(3)에서 사이니지 장치(6)에 제공하는 콘텐츠와 사용자 단말(2)이 사이니지 장치(6)로부터 촬영한 콘텐츠를 일치시킬 수 있다.

일 실시 예에 따른 사이니지 통합 관리 시스템(1)은 특성정보 교환을 통해 확인된 콘텐츠를 대상으로 콘텐츠 내 객체를 인식한다. 객체 인식을 위해 기계학습을 사용할 수 있다. 객체의 윤곽선 등의 특성정보를 추출한 후 추출된 특성정보를 이용하여 객체를 분류할 수 있다. 기계학습은 다양한 이미지 데이터베이스를 통해 학습된 결과 값을 넘겨줄 수 있기에 사물에 대한 보다 정확한 인식상태를 전달해 줄 수 있다. 우선적으로 객체의 윤곽선 특징정보를 추출하고, 추출된 특징정보를 가지고 기계학습을 적용하여 객체를 인식할 수 있다.

기계학습 기반 객체 인식은 사용자 단말(2)에서 수행될 수 있고, 원격 서버(3)에서 수행될 수 있으며, 분산된 환경에서는 사용자 단말(2) 및 원격 서버(3)에서 모두 수행될 수 있다.

사용자 단말(2)에서의 기계학습 기반 객체인식 예를 들면, 사이니지 장치(6)를 통해 출력되는 콘텐츠를 촬영한 영상으로부터 특성정보를 추출하여 콘텐츠를 확인한 후, 확인된 콘텐츠를 대상으로 기계학습을 통해 훈련된 학습 데이터를 이용하여 콘텐츠 내 객체를 인식한다.

원격 서버(3)에서의 기계학습 기반 객체인식 예를 들면, 사이니지 장치(6)에 제공될 콘텐츠를 대상으로 사전에 영상분석을 통해 특성정보를 추출하고, 기계학습을 통해 객체를 인식한다. 이후, 사용자 단말(2)과 특성정보 교환 시에 기계학습 기반 객체 인식 결과를 함께 제공할 수 있다.

분산된 환경에서는, 원격 서버(3)에서 기계학습을 통해 사전에 콘텐츠 내 객체를 인식하고 객체 인식 결과를 사용자 단말(2)에 제공하며, 사용자 단말(2)도 기계학습 기반 객체 인식을 수행하여, 객체 인식 결과를 상호 보완하는 방식이다. 이때, 원격 서버(3)에서의 객체 인식 결과를 사용자 단말(2)에서의 객체 인식 결과와 비교하여 정확도를 높이는 협상(Negotiation) 프로세스를 가질 수 있다. 협상 프로세스는 사용자 단말(2)에서의 객체 인식 결과와 원격 서버(3)에서의 객체 인식 결과를 서로 주고 받으면서 객체 인식의 정확도를 높이는 과정이다.

일 실시 예에 따른 사이니지 통합 관리 시스템(1)은 사용자가 사용자 단말(2)을 통해 사용한 정보를 분석하여 사용자 패턴을 파악한다. 그리고 파악된 사용자 패턴을 이용하여 인식된 객체들 중에 선호하는 제품을 우선적으로 제공한다. 예를 들어, 사용자가 평소에 온라인에서 옷을 주로 구매한다고 한다면, 옷 위주로 해당 매장의 정보나, 쿠폰, 프로모션 등으로 고객을 매장 안으로 유도하는 것과 같이 온라인에서 오프라인으로 고객 행동이 이어지도록 구매행동을 촉진시킬 수 있다. 사용자 단말(2)을 통한 사용 패턴을 이용하여 사용자의 기분이나 관심 분야, 이동동선, 주변 사람과의 관계 등이 포함된 빅 데이터를 수집하여 사용자가 어떤 물품을 어떠한 환경에서 구매하는지를 분석한다. 이에 따라, 수많은 정보 속에서 사용자 개인에게 맞는 연계정보를 필터링해 개인 맞춤형으로 제공해주므로, 사용자 입장에서는 서비스 만족도를 높이고, 광고주 입장에서는 오프라인 서비스, 예를 들어 상품 구매로 연결시켜 이익을 창출할 수 있다.

원격 서버(3)는 사이니지 장치(6)를 모니터링한다. 원격 서버(3)는 사이니지 장치(6)에 에러가 발생하면, 에러 해결을 위해 원격 제어를 수행할 수 있다. 다른 예로, 사이니지 장치(6)를 모니터링하여 에러를 사전에 예측하고 에러가 발생하기 이전에, 사이니지 장치(6)에 대한 에러를 처리하기 위해 원격 제어를 수행할 수 있다. 원격 제어의 예로는 영상통화, 채팅, 원격화면 공유 등이 있다. 사이니지 장치(6)의 광고나 영상 등의 정보가 어떤 문제로 인하여 중지되지 않도록 문제가 발생한 경우 원격에서 조치할 수 있는 기능을 탑재하고 문제 발생 시 바로 관리자 단말(7)에 통지할 수 있다.

전술한 구성요소들은 네트워크를 통해 통신할 수 있으며, 네트워크는 근거리 통신망(Local Area Network: LAN), 광역 통신망(Wide Area Network: WAN) 또는 부가가치 통신망(Value Added Network: VAN) 등과 같은 유선 네트워크나, 이동 통신망(mobile radio communication network) 또는 위성 통신망 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다.

도 2는 본 발명의 일 실시 예에 따른 사용자 단말의 구성을 도시한 도면이다.

도 1 및 도 2를 참조하면, 사용자 단말(2)은 데이터 획득부(20), 입력부(21), 제어부(22), 출력부(23), 통신부(24) 및 저장부(25)를 포함한다.

데이터 획득부(20)는 사이니지 장치(6)의 화면을 촬영한 영상 데이터를 획득한다. 이때, 영상 데이터를 카메라를 통해 직접 촬영하여 획득할 수 있고, 영상 데이터를 입력 받아 획득할 수도 있다. 사용자 단말(2) 내 앱 카메라를 통해 디지털 사이니지 장치(6)의 보이는 화면을 촬영할 수 있다. 촬영 시 사진 또는 동영상 형태로 촬영할 수 있다.

입력부(21)는 사용자 조작신호를 입력 받는다. 사용자 조작신호는 사용자의 화면 터치 신호, 키(key) 입력신호, 음성신호 및 생체 신호 중 적어도 하나를 포함할 수 있다. 입력부(21)는 입력된 데이터를 제어부(22)에 전달한다.

출력부(23)는 제어부(22)를 통해 처리된 정보를 출력한다. 출력부(23)는 통해 출력되는 정보는, 카메라 촬영 시 보여지는 사이니지 장치(6)의 화면, 콘텐츠 확인 결과, 확인된 콘텐츠와 오프라인 서비스를 연계하기 위한 연계정보 등이 있다.

통신부(24)는 원격 서버(3)와 네트워크 연결되어, 유무선 통신을 수행한다. 통신부(24)는 원격 서버(3)와 상호 작용하여 네트워크의 항상성 유지를 담당한다. 사용자 단말(2)은 통신부(24)를 통해 원격 서버(3)와 전용의 네트워크를 통해 연결되거나 인터넷 등의 범용 네트워크를 통해 연결될 수 있다. 일 실시 예에 따른 통신부(24)는 특성정보를 원격 서버(3)와 교환한다. 예를 들어, 사용자 단말(2)에서 추출된 촬영영상 특성정보를 원격 서버(3)에 전송하며, 원격 서버(3)에서 추출된 콘텐츠 특성정보를 수신할 수 있다. 통신부(24)는 원격 서버(3)에서 추출된 특성정보를 이용하여 도출된 콘텐츠 확인결과를 수신할 수 있다. 또한, 원격 서버(3)로부터 기계학습 기반 객체 인식결과를 수신할 수도 있다.

저장부(25)는 각종 데이터를 저장한다. 데이터는 촬영영상의 특성정보, 객체인식 결과, 인식된 객체와 오프라인 서비스를 연계시키기 위한 연계정보 등을 포함한다. 나아가, 사용자 패턴을 추출하기 위해, 사용자 단말(2) 사용 시 생성되는 정보가 저장될 수 있다.

제어부(22)는 전술한 각 구성의 동작을 제어한다. 일 실시 예에 따른 제어부(22)는 데이터 분석부(220), 객체 인식부(221), 정보 연계부(222), 순위 할당부(223) 및 패턴 분석부(224)를 포함한다.

데이터 분석부(220)는 데이터 획득부(20)를 통해 획득된 콘텐츠 촬영영상을 분석하여 특성정보를 추출한다. 예를 들어, 영상 내 점 군 정보(Point Cloud), 깊이 정보, 컬러 정보 등을 이용하여 객체들의 윤곽선(edge)을 추출한다. 영상분석 기반 객체 인식은 이미 공지된 기술이므로 상세한 설명은 생략한다. 이때, 영상 처리, 예를 들어, 영상에 대한 이진화, 에지 블랜딩(edge blending), 마스킹(masking) 등을 처리하여 객체 인식률을 높일 수 있다.

객체 인식부(221)는 원격 서버(3)와의 통신을 통해 확인된 콘텐츠를 대상으로 콘텐츠 내 객체를 인식한다. 객체 인식부(221)는 인공지능(Artificial Intelligence) 기반 기계학습을 이용하여 객체를 인식할 수 있다. 기계학습은 인공지능에서 사용되는 방식 중 하나로서, 수많은 데이터를 컴퓨터에 입력하고 비슷한 것끼리 분류하도록 하여 학습시키는 기술이다. 예를 들어, 저장된 개 사진과 비슷한 사진이 입력되면, 이를 개 사진이라고 컴퓨터가 분류하도록 하는 것이다. 기계학습을 통해 축적된 학습 데이터를 이용하여 영상 내 객체를 인식할 수 있다. 객체 인식부(221)는 이러한 기계학습을 이용한 객체 인식을 통해 객체인식의 정확성을 높이고자 한다. 기계학습은 SVM(Support Vector Machines), 딥 러닝(Deep Learning) 기법 등을 이용할 수 있다.

일 실시 예에 따른 객체 인식부(221)는 데이터 분석부(220)의 촬영영상을 대상으로 추출된 특성정보를 이용한 영상분석과, 학습 데이터를 이용한 기계학습을 이용하여 촬영영상에서 객체를 인식한다.

객체 인식부(221)는 통신부(24)를 통해 원격 서버(3)로부터 수신된 콘텐츠 특성정보를 이용하여 객체를 인식할 수 있다. 콘텐츠 특성정보는 콘텐츠를 구성하는 객체들의 윤곽선 특징정보와 콘텐츠의 속성정보를 포함할 수 있다. 콘텐츠 속성정보는 콘텐츠가 영화인 경우 제목, 감독 등의 정보일 수 있고, 음악인 경우 제목, 가수, 장르 등의 정보일 수 있다. 객체 인식부(221)는 사용자 단말(2)을 이용한 객체 인식결과에 통신부(24)를 통해 수신된 원격 서버(3)의 객체 인식결과를 반영하여 객체 인식 정확도를 높일 수 있다.

정보 연계부(222)는 객체 인식부(221)를 통해 인식된 객체와 관련된 오프라인 액티비티(Offline Activity)에 연결하기 위한 연계정보를 제공한다. 연계정보는 오프라인 액티비티를 수행하기 위한 링크(Link)이거나, 오프라인 액티비티와 연관된 콘텐츠 등일 수 있다. 예를 들어, 정보 연계부(222)는 인식된 콘텐츠 내 제품을 구매하기 위한 쇼핑몰 사이트, 마켓 플레이스 사이트, 비교 사이트, 로컬 커뮤니티 사이트 등을 제공할 수 있다. 로컬 커뮤니티는 예를 들어 지역 병원이나 약국 등이 있다. 오프라인 액티비티와 연관된 콘텐츠인 경우, 원격 서버(3)로부터 콘텐츠, 예를 들어 연관 광고를 수신하여 사용자 단말(2)을 통해 사용자에 제공할 수 있다.

순위 할당부(223)는 객체 인식부(221)를 통해 인식된 콘텐츠 내 객체들을 대상으로 우선순위를 할당한다. 정보 연계부(222)는 우선순위의 객체에 대한 연계정보를 우선으로 사용자에 제공할 수 있다. 패턴 분석부(224)는 사용자의 사용자 단말(2) 사용에 따라 생성되는 정보를 이용하여 사용자 패턴을 인식한다. 패턴 인식은 데이터로부터 중요한 특징을 추출하여 입력 데이터를 식별하는 것을 의미한다. 사용자 단말(2) 사용에 따라 생성되는 정보는 인터넷 조회정보, 즐겨찾기 정보, 인터넷 포탈 검색정보, 페이스북, 카카오톡과 등의 SNS 활동정보 등의 인터넷 기반 개인정보들일 수 있다.

순위 할당부(223)는 인식된 콘텐츠 내 객체들을 대상으로 패턴 분석부(224)를 통해 분석된 사용자 선호 패턴을 반영하여 우선순위를 할당할 수 있다. 예를 들어 사용자가 평소에 옷을 주로 검색했다면, 옷 위주와 같은 개인 패턴을 확인하여 옷과 관련된 오프라인 연계정보를 우선적으로 제공한다.

도 3은 본 발명의 일 실시 예에 따른 원격 서버의 구성을 도시한 도면이다.

도 1 및 도 3을 참조하면, 원격 서버(3)는 콘텐츠 등록부(31), 콘텐츠 관리부(32), 콘텐츠 분석부(33), 콘텐츠 확인부(34), 네트워크 연결부(35), 모니터링부(36), 원격 제어부(37), 클라이언트 관리부(38) 및 프로토콜 처리부(39)를 포함한다. 원격 서버(3)는 확장성을 고려하여 클라우드 플랫폼 기반으로 설계될 수 있다.

콘텐츠 등록부(31)는 콘텐츠 광고를 요청한 광고주의 요청에 따라 콘텐츠를 등록한다. 이때, 콘텐츠의 유효성을 검사하고, 광고주를 인증하는 절차를 수행할 수 있다.

콘텐츠는 지역 사회 관심 지역의 OOH(Out-of-home) 기반 지역광고, O2O 비즈니스 또는 정보유통사업 콘텐츠 등이 있다. OOH 기반 지역광고는 기존의 옥외 광고에서 좀 더 발전된 디지털 옥외광고로서, 사이니지 장치(6)에 의해 출력되어 설치 지역 기반 정보로 제공된다. O2O 비즈니스는 현재 빅 데이터 환경을 이용한 새로운 비즈니스 구조로서, 온라인과 오프라인 소비채널 융합한 마케팅을 통해 소비자의 구매를 촉진하는 새로운 비즈니스 모델을 의미한다. 즉, 인터넷상의 온라인 서비스를 통해 오프라인 채널로 소비를 유도하는 방식을 의미한다. 정보유통사업 콘텐츠는 뉴스미디어, 인터넷 포탈정보, 페이스북, 카카오톡과 같은 인터넷 기반 정보를 제공하는 사용자 기호정보를 의미한다. 콘텐츠 관리부(32)는 등록된 콘텐츠를 관리하면서, 사이니지 장치(6)에 콘텐츠를 제공한다.

콘텐츠 분석부(33)는 등록된 콘텐츠의 특성정보를 추출한다. 그리고 추출된 특성정보를 DNA DB(5)에 저장해 둔다. 콘텐츠 분석부(33)의 특성정보 추출은 원격 서버(3)가 사이니지 장치(6)에 콘텐츠를 제공하기 이전에 수행된다. 특성정보는 콘텐츠 분석을 통해 획득되는 객체들의 윤곽선(edge)들에 대한 특징정보를 포함한다. 윤곽선 특징정보를 통해 사람인지 사물인지, 사람이면 누구인지, 사물이면 무엇인지를 구분할 수 있다. 콘텐츠 특성정보는 콘텐츠 속성정보를 포함할 수 있다. 콘텐츠 속성정보는 콘텐츠가 영화인 경우 제목, 감독 등의 정보일 수 있고, 음악인 경우 제목, 가수, 장르 등의 정보일 수 있다.

콘텐츠 확인부(34)는 네트워크 연결부(35)를 통해 사용자 단말(2)로부터 수신된 영상 특성정보와 콘텐츠 분석부(33)를 통해 저장된 콘텐츠 특성정보를 비교하여 콘텐츠를 확인한다. 예를 들어, 콘텐츠가 광고인 경우 1번 광고인지 2번 광고인지를 확인해 준다.

일 실시 예에 따른 콘텐츠 확인부(34)는 사용자 단말(2)로부터 네트워크 연결부(35)를 통해 수신된 촬영영상의 특성정보를 DNA DB(5)에 전송하여 조회를 요청한다. DNA DB(5)에서 촬영영상의 특성정보와 일치하는 콘텐츠 특성정보를 검색하면, 콘텐츠 확인부(34)는 DNA DB(5)로부터 조회 결과를 수신하여 검색된 특성정보를 가진 콘텐츠를 확인한다.

네트워크 연결부(35)는 네트워크의 종류와 관계없이 네트워크 연결의 항상성을 유지한다. 네트워크 연결부(35)는 사용자의 사용자 단말(2)과 정보를 송수신한다. 예를 들어, 네트워크 연결부(35)는 사용자 단말(2)로부터 영상분석을 통해 추출된 촬영영상 특성정보를 수신하거나, 콘텐츠 분석부(33)를 통해 추출된 콘텐츠 특성정보를 사용자 단말(2)에 전송한다. 네트워크 연결부(35)는 추출된 특성정보를 이용하여 도출된 콘텐츠 확인결과를 사용자 단말(2)에 전송할 수 있다. 또한, 원격 서버(3)에서의 기계학습 기반 객체 인식결과를 사용자 단말(2)에 전송할 수도 있다.

모니터링부(36)는 원격에 있는 사용자의 사용자 단말(2) 화면을 모니터링한다. 이때, 기술자 및 관리자의 단말을 통해 모니터링하거나 조작을 돕는 기능을 제공한다. 원격 제어부(37)는 사용자 단말(2)로부터 원격제어 요청을 수신하면 사용자 단말(2)의 화면을 공유하며, 원격 제어명령을 사용자 단말(2)에 전송한다. 이때, 필요한 프로세스 조정 기능을 제공한다.

클라이언트 관리부(38)는 사이니지 장치(6)를 모니터링 및 관리한다. 이를 위해, 클라이언트 관리부(38)는 사이니지 장치(6)로부터 상태(Status) 정보, 사용(Usage) 정보 등을 수신한다. 수신되는 정보를 이용하여 사이니지 장치(6)가 정상적으로 작동하는지 확인한다. 정상적으로 작동하지 않으면, 어떤 문제가 있는지 파악한 후 처리한다. 클라이언트 관리부(38)는 사이니지 장치(6)를 모니터링하여 에러를 검출하고 사이니지 장치(6)에 대한 에러를 처리하기 위해 관리자에 이를 알린다. 이를 위해, 클라이언트 관리부(38)는 문제가 있는 사이니지 장치를 검출하는 기능, 문제가 발생한 사이니지 장치를 원격에서 조치하는 기능, 문제 발생 시 네트워크 연결부(35)를 통해 바로 관리자에게 통지하는 기능 등이 탑재된다.

프로토콜 처리부(39)는 클라이언트의 정상신호를 수신하여 파싱하고 이를 처리하기 위한 통신규약을 구현해주는 소프트웨어 모듈이다.

도 4는 본 발명의 일 실시 예에 따른 O2O 기반 정보 제공 서비스를 위해 사용자 단말과 원격 서버 간 동작 플로우를 도시한 도면이다.

도 1 및 도 4를 참조하면, 원격 서버(3)는 사이니지 장치(6)에 제공하는 콘텐츠를 분석하여 특성정보를 추출한 후 이를 DNA DB(5)에 저장해 둔다(410).

사용자 단말(2)이 사이니지 장치(6) 화면의 콘텐츠를 촬영(420) 하면, 촬영영상으로부터 특성정보를 추출한다(430). 이어서, 추출된 촬영영상 특성정보를 원격 서버(3)에 전송한다(440).

원격 서버(3)는 사용자 단말(2)로부터 수신된 촬영영상 특성정보와 DNA DB(5)에 저장된 콘텐츠 특성정보를 비교하여 콘텐츠를 확인한다(450). 이때, 촬영영상 특성정보와 일치하는 콘텐츠 특성정보를 검색하여 콘텐츠가 무엇인지 확인한다. 예를 들어, 콘텐츠가 광고인 경우 1번 광고인지 2번 광고인지를 확인한다.

이어서, 원격 서버(3)는 콘텐츠 확인결과를 사용자 단말(2)에 전송한다(460). 사용자 단말(2)은 원격 서버(3)와의 특성정보 송수신을 통해 확인된 콘텐츠를 대상으로 콘텐츠를 구성하는 객체를 인식한다(470). 예를 들어, 콘텐츠가 2번 광고인 경우, 2번 광고 내 '축구 공', '축구 선수', '상의', '하의', '시계' 등을 인식한다. 이때, 축구 선수의 상의의 '7번'과 '토트넘'을 인식한 경우 해당 축구 선수가 '손흥민'임을 알 수 있다. 콘텐츠 속성정보에는 해당 광고에 등장하는 시계가 어느 제품인지에 대한 정보가 포함되어 있으므로, 사용자가 O2O 연계 서비스를 제공 받고자 하는 제품은 '손흥민'이 광고 모델로 등장하는 "시계 제품"이라고 판단한다.

이어서, 인식된 객체와 관련된 오프라인 서비스를 검색(480)한 후, 인식된 객체와 관련된 오프라인 서비스와 연계시킨다(490). 예를 들어, '손흥민'이 차고 있는 '시계'를 구매할 수 있는 쇼핑몰 사이트와 연계한다.

도 5는 본 발명의 일 실시 예에 따른 원격 서버의 특성 추출 및 저장 예를 도시한 도면이다.

도 1 및 도 5를 참조하면, 원격 서버(3)는 사이니지 장치(6)에 제공할 콘텐츠를 대상으로 특성정보를 추출한다. 콘텐츠는 예를 들어, 알지 못하는 오디오, 비디오일 수 있다. 이때, 콘텐츠로부터 특성정보를 추출한다. 콘텐츠 특성정보는 콘텐츠를 구성하는 객체들의 윤곽선 특징정보와, 콘텐츠 속성정보를 포함할 수 있다. 윤곽선 특징정보로부터 객체가 사람인지 사물인지, 사람이면 누구인지, 사물이면 무엇인지를 구분할 수 있다. 콘텐츠 속성정보의 예로는, 음악 1: "Artist: The Beatles, Title: Yesterday, 영상1: "Title: Star Wars, Director: George Lucas' 등이 있다.

도 6은 본 발명의 일 실시 예에 따른 특성정보 추출 프로세스 및 콘텐츠 확인 프로세스를 도시한 도면이다.

도 1 및 도 6을 참조하면, 원격 서버(3)는 광고주로부터 등록된 콘텐츠로부터 특성정보를 추출하여 DNA DB(5)에 저장한다. 사용자 단말(2)이 사이니지 장치(6)로부터 촬영된 영상의 특성정보를 추출한 후 이를 원격 서버(3)에 전송하면, 원격 서버(3)는 사용자 단말(2)로부터 수신된 특성정보를 DNA DB(5)에 전송하여 조회를 요청한다(Query). 그러면, DNA DB(5)는 촬영영상의 특성정보와 일치하는 콘텐츠 특성정보를 검색하여 조회 결과(Result)를 원격 서버(3)에 전송한다. 원격 서버(3)는 DNA DB(5)로부터 조회 결과를 수신하여 검색된 특성정보를 가진 콘텐츠를 확인한다. DNA DB(5)에서 촬영영상의 특성정보와 일치하는 콘텐츠 특성정보를 검색함에 따라, 원격 서버(3)에서 사이니지 장치(6)에 제공하는 콘텐츠와 사용자 단말(2)이 사이니지 장치(6)로부터 촬영한 콘텐츠를 일치 시킬 수 있다.

도 7 내지 도 9는 본 발명의 다양한 실시 예에 따른 O2O 기반 정보 제공 실시 예를 도시한 도면이다.

도 1 및 도 7을 참조하면, 사이니지 장치(6)를 통해 출력되는 상품 광고 영상(예를 들어, '손흥민 광고')을 사용자가 보다가 사용자 단말(2)의 카메라를 통해 상품 광고 영상을 촬영하면, 촬영한 상품 광고 영상에 등장하는 제품(예를 들어, '손흥민 시계')을 구매할 수 있는 쇼핑몰 사이트, 저가 마켓 플레이스, 가격 비교 사이트 등과 연계하여 쇼핑몰 제휴 O2O 서비스를 제공한다. 이때, 쿠폰을 발행할 수 있다. 이에 따라, 사이니지 영상을 시청하는 사용자로 하여금 실질적인 상품 구매까지 이어지도록 한다.

도 1 및 도 8을 참조하면, 사이니지 장치(6)를 통해 출력되는 영화 광고 영상을 사용자가 보다가 사용자 단말(2)의 카메라를 통해 영화 광고 영상을 촬영하면, 촬영한 영화 광고 영상에 등장하는 영화에 대한 정보를 확인할 수 있는 사이트나 스트리밍 서비스를 제공하는 웹사이트 등과 연계하여 콘텐츠 판매 연계 O2O 서비스를 제공한다. 이때, 쿠폰을 발행할 수 있다. 이에 따라, 사이니지 영상을 시청하는 사용자로 하여금 실질적인 콘텐츠 구매까지 이어지도록 한다.

도 1 및 도 9를 참조하면, 사이니지 장치(6)를 통해 출력되는 공연/전시 광고 영상을 사용자가 보다가 사용자 단말(2)의 카메라를 통해 공연/전시 광고 영상을 촬영하면, 촬영한 공연/전시 광고 영상에 등장하는 공연/전시를 볼 수 있는 공연관/전시관 사이트 등과 연계하여 티켓 판매 연계 O2O 서비스를 제공한다. 이때, 이벤트 등을 공모할 수 있다. 이에 따라, 사이니지 영상을 시청하는 사용자로 하여금 실질적인 티켓 구매까지 이어지도록 한다.

이 외에도, 스마트 팩토리, 스마트 진료 등 기타 연계산업과 관련된 O2O 서비스를 제공할 수 있다.

이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (12)

1. 사이니지 장치 화면의 콘텐츠를 촬영한 영상으로부터 특성정보를 추출한 후 이를 원격 서버에 전송하고 콘텐츠를 구성하는 객체를 인식하여 인식된 객체와 관련된 오프라인 서비스와 연계시키는 사용자 단말; 및
   사이니지 장치에 제공하는 콘텐츠를 분석하여 특성정보를 추출한 후 이를 데이터베이스에 저장해 두고 사용자 단말로부터 수신된 특성정보와 데이터베이스에 저장된 특성정보를 비교하여 콘텐츠를 확인한 후 확인결과를 사용자 단말에 제공하는 원격 서버; 를 포함하고,
   사용자 단말은
   인식된 콘텐츠 내 객체들을 대상으로 우선순위를 할당한 후, 우선순위의 객체에 대한 연계정보를 우선으로 제공하는 것을 특징으로 하는 사이니지 통합 관리 시스템.
2. 제 1 항에 있어서, 사용자 단말은
   사이니지 장치 화면을 통해 제공되는 콘텐츠를 촬영한 영상을 획득하는 데이터 획득부;
   촬영영상을 분석하여 특성정보를 추출하는 데이터 분석부;
   원격 서버와 통신하여 특성정보를 공유하며, 사용자 단말에서 추출된 특성정보와 원격 서버에서 추출된 특성정보를 이용하여 도출된 콘텐츠 확인결과를 수신하는 통신부;
   확인된 콘텐츠를 대상으로 기계학습을 통해 훈련된 기계학습 데이터를 이용하여 객체를 인식하는 객체 인식부; 및
   인식된 객체와 관련된 오프라인 액티비티에 연결하기 위한 연계정보를 제공하는 정보 연계부;
   를 포함하는 것을 특징으로 하는 사이니지 통합 관리 시스템.
3. 삭제
4. 제 1 항에 있어서, 사용자 단말은
   사용자의 단말 사용에 따라 생성되는 정보로부터 사용자 패턴을 인식한 후, 확인된 콘텐츠 내 객체들을 대상으로 사용자가 선호하는 패턴에 우선순위를 할당하는 것을 특징으로 하는 사이니지 통합 관리 시스템.
5. 제 1 항에 있어서, 사용자 단말은
   인식된 객체와 연관된 오프라인 액티비티를 수행하기 위한 링크 또는 오프라인 액티비티와 연관된 콘텐츠를 제공하는 것을 특징으로 하는 사이니지 통합 관리 시스템.
6. 제 1 항에 있어서, 원격 서버는
   사이니지 장치를 통해 광고가 가능한 콘텐츠를 관리하면서 콘텐츠를 사이니지 장치에 제공하는 콘텐츠 관리부;
   사이니지 장치에 제공되는 콘텐츠로부터 특성정보를 추출하여 데이터베이스에 저장하는 콘텐츠 분석부;
   사용자 단말로부터 수신된 촬영영상의 특성정보와 데이터베이스에 저장된 특성정보를 비교하여 콘텐츠를 확인하는 콘텐츠 확인부; 및
   사용자 단말로부터 촬영영상의 특성정보를 수신하고 콘텐츠 확인결과를 사용자 단말에 전송하는 네트워크 연결부;
   를 포함하는 것을 특징으로 하는 사이니지 통합 관리 시스템.
7. 제 1 항에 있어서, 원격 서버는
   촬영영상의 특성정보를 데이터베이스에 전송하여 조회를 요청하고,
   데이터베이스에서 촬영영상의 특성정보와 일치하는 콘텐츠 특성정보를 검색하면, 데이터베이스로부터 조회 결과를 수신하여 검색된 특성정보를 가진 콘텐츠를 확인하는 것을 특징으로 하는 사이니지 통합 관리 시스템.
8. 제 1 항에 있어서, 원격 서버는
   사이니지 장치에 제공되는 콘텐츠로부터 윤곽선 특징정보와 콘텐츠 속성정보를 포함하는 특성정보를 추출하여 데이터베이스에 저장하며, 콘텐츠 확인결과와 함께 콘텐츠 특성정보를 사용자 단말에 제공하며,
   사용자 단말은
   객체 인식 시에 콘텐츠 특성정보를 이용하는 것을 특징으로 하는 사이니지 통합 관리 시스템.
9. 제 1 항에 있어서, 원격 서버는
   사이니지 장치 화면을 통해 제공되는 정보를 원격 모니터링하고 문제 발생 시 사이니지 장치를 원격에서 조정하거나 관리자에 통지하는 것을 특징으로 하는 사이니지 통합 관리 시스템.
10. 제 1 항에 있어서, 사용자 단말은
    사이니지 장치 화면의 콘텐츠를 촬영한 영상으로부터 영상 분석을 통해 특성정보를 추출하여 콘텐츠를 확인한 후 확인된 콘텐츠를 대상으로 기계학습을 통해 훈련된 학습 데이터를 이용하여 객체를 인식하는 것을 특징으로 하는 사이니지 통합 관리 시스템.
11. 제 1 항에 있어서, 원격 서버는
    사이니지 장치에 제공될 콘텐츠를 대상으로 사전에 영상 분석을 통해 특성정보를 추출하고 기계학습을 통해 객체를 인식한 후, 사용자 단말과의 특성정보 교환 시에 기계학습 기반 객체 인식 결과를 함께 제공하는 것을 특징으로 하는 사이니지 통합 관리 시스템.
12. 제 1 항에 있어서,
    사용자 단말 및 원격 서버에서 각각 기계학습 기반 객체 인식을 수행하여 상호 보완하며, 분산된 환경에서 사용자 단말 및 원격 서버에서의 객체 인식 결과를 상호 비교하여 협상 프로세스를 수행하는 것을 특징으로 하는 사이니지 통합 관리 시스템.

Images