KR20220094823A

KR20220094823A - 온오프라인 연결 사용자 인터랙션 방법 및 그 사이니지 통합 관리 시스템

Info

Publication number: KR20220094823A
Application number: KR1020200186448A
Authority: KR
Inventors: 민 장; 오주병
Original assignee: 주식회사 코이노
Priority date: 2020-12-29
Filing date: 2020-12-29
Publication date: 2022-07-06

Abstract

온오프라인 연결 사용자 인터랙션 방법 및 그 사이니지 통합 관리 시스템이 개시된다. 일 실시 예에 따른 온오프라인 연결 사용자 인터랙션 방법 및 그 사이니지 통합 관리 시스템은, 사이니지 서버와 사용자 단말을 연계하여 사이니지 영상으로부터 다수의 객체를 인식하고 인식된 객체를 온오프라인 연결 서비스와 연동할 수 있다.

Description

온오프라인 연결 사용자 인터랙션 방법 및 그 사이니지 통합 관리 시스템 {Method for providing Online to Offline user interaction and signage integrated management system thereof}

본 발명은 영상분석 및 원격제어 기술에 관한 것이다.

사이니지(Signage)는 기업들의 마케팅, 광고, 트레이닝 효과와 고객 경험을 유도할 수 있는 커뮤니케이션 툴로, 공공장소나 상업공간에 설치해 다양한 정보와 광고를 실시간으로 제공하는 영상 디스플레이 장치이다. 특히, 디지털 사이니지(Digital　Signage)는 디지털 기술을 활용해 디스플레이 스크린에 영상과 정보를 표시하고, 네트워크로 원격 관리가 가능한 관리 플랫폼까지 종합적으로 공급한다. 사이니지는 전자식 메시지를 개인의 필요에 따라 다양한 옵션으로 출력시키고, 사용자와 상호 작용이 쉬우며, 정보를 시각적으로 제공하므로 대중과 소통이 쉬운 장점이 있다.

온오프라인 연결(Offline to online: O2O, 이하, 'O2O'라 칭함) 서비스는 온라인과 오프라인을 연결하는 서비스로서, 차별화된 소비경험가치를 제공한다. 예를 들어, 기업들은 온라인 중심의 소비환경에서 벗어나고자 하는 소비자 행동을 예측하고 온라인과 오프라인을 결합한 구매 프로세스를 제공하고 있다. 최근 빅 데이터 환경과 맞물려 더욱 적극적인 형태로 O2O 서비스의 범위를 확장시키고 있다. 오프라인과 온라인의 융합이라는 새로운 구조는 지금껏 온라인의 간편한 사용 유도방식에서 벗어나 소비자에게 새로운 경험가치를 전달하는 비즈니스 수단으로 변화하고 있다.

일 실시 예에 따라, 사이니지 서버와 사용자 단말을 연계하여 사이니지 영상으로부터 다수의 객체를 인식하고 인식된 객체를 O2O 서비스와 연동할 수 있는 O2O 사용자 인터랙션 방법 및 그 사이니지 통합 관리 시스템을 제안한다.

일 실시 예에 따른 O2O 사용자 인터랙션 방법은, 사이니지 서버가 제1 모드에 진입하면, 사용자 단말로부터 사이니지 장치 화면의 사이니지 영상을 촬영한 영상을 수신하는 단계와, 수신된 촬영영상의 기계학습 기반 객체인식 및 특성정보를 이용한 영상분석을 통해 사이니지 영상을 인식하는 단계와, 인식된 사이니지 영상의 서브 모델 리스트로부터 서브 모델을 추출하는 단계와, 추출된 서브 모델과 연관된 O2O 정보를 검색하는 단계와, 검색된 O2O 정보를 사용자 단말에 제공하는 단계를 포함한다.

사이니지 영상 및 사이니지 영상의 메인 모델을 인식하는 단계에서, 촬영영상을 대상으로 추출된 특성정보와 미리 저장된 사이니지 영상의 특성정보를 비교하여 사이니지 영상 및 사이니지 영상의 메인 모델을 인식할 수 있다.

사이니지 영상의 특성정보는 사이니지 영상의 프레임 별 해시 값을 포함할 수 있다.

O2O 사용자 인터랙션 방법은, 인식된 사이니지 영상의 서브 모델 리스트를 파악한 후 리스트 없음을 확인하는 단계와, 서브 모델 리스트에 없으면 기계학습을 통해 사이니지 영상에서 서브 모델을 인식하는 단계와, 인식된 서브 모델과 관련된 O2O 정보를 제공하는 단계를 더 포함할 수 있다.

O2O 사용자 인터랙션 방법은, 제2 모드에 진입하면, 수신된 촬영영상의 특성정보와 기 저장된 사이니지 영상의 프레임별 영상 특성정보를 비교하여 사이니지 영상 및 사이니지 영상의 객체를 인식하고 인공지능 기반 기계학습을 통해 객체를 검증하여 메인 모델을 인식하는 단계와, 인식된 메인 모델과 관련된 영상을 검색하는 단계와, 검색된 영상을 재생할 수 있는 O2O 정보를 제공하는 단계를 더 포함할 수 있다.

O2O 사용자 인터랙션 방법은, 기계학습을 이용하여 인식된 객체를 카테고리 분류하는 단계와, 분류된 카테고리 내 기 저장된 영상을 검색하는 단계와, 검색된 영상을 재생할 수 있는 O2O 정보를 제공하는 단계와, 기 저장된 영상이 없으면 인터넷을 이용하여 영상을 확장 검색한 후 검색된 영상을 재생할 수 있는 O2O 정보를 제공하는 단계를 더 포함할 수 있다.

다른 실시 예에 따른 사이니지 통합 관리 시스템은, 사이니지 장치 화면의 사이니지 영상을 촬영한 영상을 사이니지 서버에 전송하고 사이니지 영상의 서브 모델 관련 O2O 정보를 수신할 수 있는 제1 모드를 사용자 조작에 의해 선택하는 사용자 단말과, 제1 모드에 진입하면 사용자 단말로부터 촬영영상을 수신하여 수신된 촬영영상의 특성정보와 기 저장된 사이니지 영상의 특성정보를 비교하여 사이니지 영상을 인식하고, 인식된 사이니지 영상의 서브 모델 리스트로부터 서브 모델을 추출한 후 추출된 서브 모델과 연관된 O2O 정보를 사용자 단말에 제공하는 사이니지 서버를 포함한다.

사이니지 서버는, 제1 모드에서, 인식된 사이니지 영상의 서브 모델 리스트를 파악한 후 리스트 없음을 확인하여 서브 모델 리스트에 없으면 기계학습을 통해 사이니지 영상에서 서브 모델을 인식하고 인식된 서브 모델과 관련된 O2O 정보를 제공할 수 있다.

사이니지 서버는, 제2 모드에 진입하면, 수신된 촬영영상의 특성정보와 기 저장된 사이니지 영상의 프레임별 영상 특성정보를 비교하여 사이니지 영상 및 사이니지 영상의 객체를 인식하고 인공지능 기반 기계학습을 통해 객체를 검증하여 메인 모델을 인식한 후 인식된 메인 모델과 관련된 영상을 재생할 수 있는 O2O 정보를 제공할 수 있다.

일 실시 예에 따른 사이니지 서버와 사용자 단말을 연계하여 사이니지 영상으로부터 다수의 객체를 인식하고 인식된 객체를 O2O 서비스와 연동할 수 있다.

예를 들어, 사용자가 사이니지 영상에서 하나의 홍보 주체가 아닌 다른 제품에 대한 정보를 원하는 경우에도 해당하는 다른 제품에 대한 O2O 정보를 제공할 수 있다.

사용자 단말에서 사이니지 화면의 사이니지 영상을 촬영한 영상의 특성정보와 사이니지 서버에서 추출된 사이니지 영상의 특성정보 비교를 통해 사이니지 영상을 정확하게 확인할 수 있다.

사이니지 장치를 통해 광고를 하는 광고주 입장에서는, 사이니지 장치를 통해 보여지는 영상에 나오는 제품의 정보를 사용자에게 정확하게 전달했는지 확인(feedback) 할 수 있다. 이때, 광고 효과를 분석할 수 있고 그 효과를 극대화할 수 있다.

사이니지 관리 사업자 입장에서는, 하나의 홍보주체를 홍보하는 것 이외에 다른 주체에 대한 연계도 가능하다.

도 1은 본 발명의 일 실시 예에 따른 사이니지 통합 관리 시스템의 구성 및 개념을 도시한 도면,
도 2는 본 발명의 일 실시 예에 따른 객체CF 모드 및 Object 모드의 개념을 도시한 도면,
도 3은 본 발명의 일 실시 에에 따른 객체 카테고리 분류 예를 도시한 도면,
도 4는 본 발명의 일 실시 예에 따른 O2O 사용자 인터랙션 방법의 흐름을 도시한 도면,
도 5는 본 발명의 다른 실시 예에 따른 O2O 사용자 인터랙션 방법의 흐름을 도시한 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이며, 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램인스트럭션들(실행 엔진)에 의해 수행될 수도 있으며, 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다.

이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.

그리고 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명되는 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능들을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있으며, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하며, 또한 그 블록들 또는 단계들이 필요에 따라 해당하는 기능의 역순으로 수행되는 것도 가능하다.

이하, 첨부 도면을 참조하여 본 발명의 실시 예를 상세하게 설명한다. 그러나 다음에 예시하는 본 발명의 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 상술하는 실시 예에 한정되는 것은 아니다. 본 발명의 실시 예는 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공된다.

도 1은 본 발명의 일 실시 예에 따른 사이니지 통합 관리 시스템의 구성 및 개념을 도시한 도면이다.

도 1을 참조하면, 사이니지 통합 관리 시스템(1)은 사용자 단말(2), 서버 플랫폼, 사이니지 장치(6) 및 관리자 장치(7)를 포함한다. 서버 플랫폼은 사이니지 서버(3), 콘텐츠 DB(4) 및 DNA DB(5)를 포함할 수 있다. 서버 플랫폼은 SaaS 플랫폼일 수 있다.

일 실시 예에 따른 사이니지 통합 관리 시스템(1)은 인공지능 기반 온오프라인 연결(Offline to online: O2O, 이하, 'O2O'라 칭함) 사용자 인터랙션(user interaction)을 제공한다. 즉, 사이니지 장치(6)와 사용자 단말(2) 간에 인공지능을 이용한 O2O 사용자 인터랙션을 통해 사이니지 장치(6)에서 온라인 상에서 제공되는 정보를 실질적인 오프라인 서비스까지 이어지게 하는 O2O 서비스를 제공한다. 예를 들어, 사이니지 장치(6)를 통해 출력되는 사이니지 영상을 사용자 단말(2) 사용자가 보다가 카메라를 통해 영상 내 특정 장면을 촬영하면, 촬영한 장면에 등장하는 제품을 구매할 수 있는 쇼핑몰 사이트를 연계하여 제공함에 따라 사용자의 실질적인 구매까지 이어지도록 한다.

O2O 서비스는 쇼핑몰 사이트뿐만 아니라, 저가 마켓 플레이스 사이트, 가격 비교 사이트, 콘텐츠 판매, 할인 쿠폰 발행, 티켓 판매, 이벤트 공모 등과 연계할 수 있다. 상업적 제품뿐만 아니라, 스마트 팩토리, 스마트 진료 등 기타 연계산업과 연계할 수도 있다.

예를 들어, 사이니지 장치(6)를 통해 출력되는 공연/전시 광고 영상을 사용자가 보다가 사용자 단말(2)의 카메라를 통해 공연/전시 광고 영상을 촬영하면, 촬영한 공연/전시 광고 영상에 등장하는 공연/전시를 볼 수 있는 공연관/전시관 사이트 등과 연계하여 티켓 판매 연계 O2O 서비스를 제공할 수 있다. 이때, 이벤트 등을 공모할 수 있다. 이에 따라, 사이니지 영상을 시청하는 사용자로 하여금 실질적인 티켓 구매까지 이어지도록 한다. 이 외에도, 스마트 팩토리, 스마트 진료 등 기타 연계산업과 관련된 O2O 서비스를 제공할 수 있다.

현재 사이니지 장치(6)를 통해 보여지는 영상에 나오는 제품의 정보를 사용자에게 정확하게 전달했는지 확인(feedback) 하는 방법이 없어, 광고의 효과 분석이 어렵다. 사이니지 장치(6)의 화면에 표시되는 영상을 인식한다 할지라도 영상 내 다수의 데이터가 포함되어 있어 어떤 데이터를 사용자에게 전달해야 하는지도 관건이다.

일 실시 예에 따른 사이니지 통합 관리 시스템(1)은 전술한 문제를 해결하기 위해, 사이니지 장치(6)의 화면과 사용자 단말(2)을 대상으로 인공지능 기반 기계학습을 통해 O2O 사용자 인터랙션을 제공하고자 한다. 예를 들어, 사용자가 소지한 사용자 단말(2)을 통해 사이니지 장치(6)에서 보여지는 영상을 사진으로 찍거나 촬영했을 때, 기계학습을 통해 학습된 기능을 통해 영상 내 객체를 인식하고 객체 인식을 통해 인식된 제품에 대한 오프라인 서비스까지 이어지도록 하는 O2O 정보를 제공한다.

사이니지 장치(6)는 공공장소나 상업공간에 분포 설치되는 디스플레이 장치이다. 사이니지 서버(3)에 연결되어 사이니지 영상을 제공받아 이를 화면에 출력시키며, 양방향 통신이 가능하다. 사이니지 장치(6)는 쉽고 신속한 메시지 전달이 가능하고, 네트워크 연결로 다수의 사이니지 장치에 실시간 정보의 갱신이 가능하며, 불특정 대중에게 정확한 정보를 알맞은 시간에 통보할 수 있다. 사이니지 장치(6)는 디지털 사이니지 장치일 수 있고, 아날로그 사이니지 장치일 수도 있다.

사용자 단말(2)은 사용자가 소지한 스마트폰, 태블릿 PC, 화면 디스플레이가 있는 웨어러블 디바이스 등 휴대 가능한 모든 전자장치를 포함한다. 사용자 단말(2)은 앱(App)을 실행하여 O2O 서비스를 제공할 수 있다. 이때, 서로 상이한 OS, 예를 들어, 안드로이드, iOS, 윈도우 등 각종 OS를 모두 지원할 수 있는 형태를 가진다. 사용자 단말(2)에 설치된 앱 카메라를 이용하여 사이니지 장치(6)의 화면에 보이는 영상이나 정보를 사진 또는 영상으로 촬영할 수 있다. 사용자는 사이니지 장치(6)와 사용자 단말(2)을 연계하여, 사이니지 장치(6)를 통해 온라인 상에 제공되는 정보를 사용자 단말(2)에서 오프라인 서비스와 연결하여 이용할 수 있다. 사용자 단말(2)은 사이니지 장치(6)와 양방향 인터랙션이 가능하다. 사용자 단말(2)이 사이니지 서버(3)와 연결되는 경우, 사용자 단말(2)은 사이니지 서버(3)로부터 수신된 제어명령을 수행하는 에이전트(Agent)가 된다.

사이니지 서버(3)는 사이니지 장치(6)를 통해 제공할 사이니지 영상이 저장되며, 네트워크를 통해 사이니지 영상을 사이니지 장치(6)에 제공한다. 사이니지 서버(3)는 사이니지 장치(6)를 모니터링 및 관리할 수 있다. 이를 위해, 사이니지 서버(3)는 사이니지 장치(6)로부터 상태(Status) 정보, 사용(Usage) 정보 등을 수신하고, 수신되는 정보를 이용하여 사이니지 장치(6)가 정상적으로 작동하는지 여부를 확인할 수 있다. 정상적으로 작동하지 않으면, 문제가 발생한 사이니지 장치를 원격에서 조치하거나 관리자에게 통지할 수 있다.

일 실시 예에 따른 사이니지 통합 관리 시스템(1)은 사용자 단말(2)이 촬영한 영상의 특성정보와 사이니지 서버(3)가 등록한 사이니지 영상의 특성정보를 비교하여 사이니지 영상과 촬영영상이 일치되도록 한다. 특성정보는 데이터에서 중요한 특징이나 속성을 나타내는 것으로, 특성을 추출하여 영상을 식별할 수 있다.

사이니지 서버(3)는 사이니지 장치(6)에 제공하는 사이니지 영상을 콘텐츠 DB(4)에 저장해 둔다. 그리고 콘텐츠 DB(4)에 저장된 사이니지 영상을 분석하여 특성정보를 추출한 후 이를 DNA DB(5)에 저장해 둔다. 특성정보가 사이니지 영상의 DNA에 해당한다는 의미에서, 특성정보를 DNA라 칭한다. 사이니지 서버(3)의 특성정보 추출은 사이니지 서버(3)가 사이니지 장치(6)에 사이니지 영상을 제공하기 이전에 수행된다. 이후, 사용자 단말(2)이 사이니지 장치(6) 화면의 사이니지 영상을 촬영한 영상으로부터 특성정보를 추출한 후 추출된 특성정보를 사이니지 서버(3)에 전송하거나, 사용자 단말(2)이 사이니지 장치(6) 화면의 사이니지 영상을 촬영한 영상을 사이니지 서버(3)에 전송하면, 사이니지 서버(3)가 촬영영상으로부터 특성정보를 추출할 수 있다.

사이니지 서버(3)는 사용자 단말(2)이 촬영한 영상의 특성정보와 DNA DB(5)에 기 저장된 사이니지 영상의 특성정보를 비교하여 사이니지 영상을 확인할 수 있다. 예를 들어, 사이니지 영상이 광고인 경우 1번 광고인지 2번 광고인지를 확인해 준다. 사이니지 영상 확인을 위해, 사이니지 서버(3)는 촬영영상의 특성정보를 DNA DB(5)에 전송하여 조회를 요청한다. 그러면, DNA DB(5)는 촬영영상의 특성정보와 일치하는 사이니지 영상의 특성정보를 검색하여 조회 결과를 사이니지 서버(3)에 전송한다. 사이니지 서버(3)는 DNA DB(5)로부터 조회 결과를 수신하여 검색된 특성정보를 가진 사이니지 영상을 확인한다. DNA DB(5)에서 촬영영상의 특성정보와 일치하는 사이니지 영상의 특성정보를 검색함에 따라, 사이니지 영상과 촬영영상을 일치시킬 수 있다.

일 실시 예에 따른 사이니지 통합 관리 시스템(1)은 촬영영상 내 객체를 인식한다. 객체 인식을 위해 기계학습을 사용할 수 있다. 객체의 윤곽선 등의 특성정보를 추출한 후 추출된 특성정보를 이용하여 객체를 분류할 수 있다. 기계학습은 다양한 영상 데이터베이스를 통해 학습된 결과 값을 넘겨줄 수 있기에 사물에 대한 보다 정확한 인식상태를 전달해 줄 수 있다. 우선적으로 객체의 윤곽선 특징정보를 추출하고, 추출된 특징정보를 가지고 기계학습을 적용하여 객체를 인식할 수 있다.

기계학습 기반 객체 인식은 사용자 단말(2)에서 수행될 수 있고, 사이니지 서버(3)에서 수행될 수 있으며, 분산된 환경에서는 사용자 단말(2) 및 사이니지 서버(3)에서 모두 수행될 수 있다.

사이니지 서버(3)는 사이니지 장치(6)를 모니터링할 수 있다. 사이니지 서버(3)는 사이니지 장치(6)에 에러가 발생하면, 에러 해결을 위해 원격 제어를 수행할 수 있다. 다른 예로, 사이니지 장치(6)를 모니터링하여 에러를 사전에 예측하고 에러가 발생하기 이전에, 사이니지 장치(6)에 대한 에러를 처리하기 위해 원격 제어를 수행할 수 있다. 원격 제어의 예로는 영상통화, 채팅, 원격화면 공유 등이 있다. 사이니지 장치(6)의 광고나 영상 등의 정보가 어떤 문제로 인하여 중지되지 않도록 문제가 발생한 경우 원격에서 조치할 수 있는 기능을 탑재하고 문제 발생 시 바로 관리자 단말(7)에 통지할 수 있다.

사이니지 서버(3)는 영상 광고를 요청한 광고주의 요청에 따라 사이니지 영상을 등록한다. 이때, 사이니지 영상의 유효성을 검사하고, 광고주를 인증하는 절차를 수행할 수 있다.

사이니지 영상은 지역 사회 관심 지역의 OOH(Out-of-home) 기반 지역광고, O2O 비즈니스 또는 정보유통사업 콘텐츠 등이 있다. OOH 기반 지역광고는 기존의 옥외 광고에서 좀 더 발전된 디지털 옥외광고로서, 사이니지 장치(6)에 의해 출력되어 설치 지역 기반 정보로 제공된다. O2O 비즈니스는 현재 빅 데이터 환경을 이용한 새로운 비즈니스 구조로서, 온라인과 오프라인 소비채널 융합한 마케팅을 통해 소비자의 구매를 촉진하는 새로운 비즈니스 모델을 의미한다. 즉, 인터넷상의 온라인 서비스를 통해 오프라인 채널로 소비를 유도하는 방식을 의미한다. 정보유통사업 콘텐츠는 뉴스미디어, 인터넷 포탈정보, 페이스북, 카카오톡과 같은 인터넷 기반 정보를 제공하는 사용자 기호정보를 의미한다. 사이니지 서버(3)는 등록된 사이니지 영상을 관리하면서, 사이니지 장치(6)에 사이니지 영상을 제공한다.

사이니지 서버(3)는 등록된 사이니지 영상의 특성정보를 추출할 수 있다. 그리고 추출된 특성정보를 DNA DB(5)에 저장해 둔다. 사이니지 서버(3)의 특성정보 추출은 사이니지 서버(3)가 사이니지 장치(6)에 사이니지 영상을 제공하기 이전에 수행된다. 특성정보는 영상 분석을 통해 획득되는 객체들의 윤곽선(edge)들에 대한 특징정보를 포함한다. 윤곽선 특징정보를 통해 사람인지 사물인지, 사람이면 누구인지, 사물이면 무엇인지를 구분할 수 있다. 사이니지 영상의 특성정보는 사이니지 영상 속성정보를 포함할 수 있다. 영상 속성정보는 영화의 제목, 감독 등의 정보일 수 있고, 음악의 제목, 가수, 장르 등의 정보일 수 있다. 영상 특성정보는 카테고리로 분류될 수 있다. 예를 들어, [차량]은 [버스, 승용차, 트럭]으로 분류되고, [승용차]는 [스포츠카, 일반]으로 분류되며, [스포츠카]는 포르쉐, 마쉐라티로 분류될 수 있다.

사이니지 서버(3)는 네트워크를 통해 사용자 단말(2)로부터 촬영영상을 수신하면, 수신된 촬영영상에서 특성정보를 추출하고, 미리 저장된 사이니지 영상의 특성정보를 비교하여 촬영된 사이니지 영상을 확인한다. 예를 들어, 사이니지 영상이 광고인 경우 1번 광고인지 2번 광고인지를 확인해 준다.

일 실시 예에 따른 사이니지 서버(3)는 촬영영상의 특성정보를 DNA DB(5)에 전송하여 조회를 요청한다. DNA DB(5)에서 촬영영상의 특성정보와 일치하는 사이니지 영상의 특성정보를 검색하면, 콘텐츠 확인부(34)는 DNA DB(5)로부터 조회 결과를 수신하여 검색된 특성정보를 가진 사이니지 영상을 확인한다.

사이니지 서버(3)는 사용자 단말(2)로부터 획득된 촬영영상을 분석하여 특성정보를 추출할 수 있다. 예를 들어, 영상 내 점 군 정보(Point Cloud), 깊이 정보, 컬러 정보 등을 이용하여 객체들의 윤곽선(edge)을 추출한다. 영상분석 기반 객체 인식은 이미 공지된 기술이므로 상세한 설명은 생략한다. 이때, 영상 처리, 예를 들어, 영상에 대한 이진화, 에지 블랜딩(edge blending), 마스킹(masking) 등을 처리하여 객체 인식률을 높일 수 있다.

사이니지 서버(3)는 인공지능(Artificial Intelligence) 기반 기계학습을 이용하여 객체를 인식할 수 있다. 기계학습은 인공지능에서 사용되는 방식 중 하나로서, 수많은 데이터를 컴퓨터에 입력하고 비슷한 것끼리 분류하도록 하여 학습시키는 기술이다. 예를 들어, 저장된 개 사진과 비슷한 사진이 입력되면, 이를 개 사진이라고 컴퓨터가 분류하도록 하는 것이다. 기계학습을 통해 축적된 학습 데이터를 이용하여 영상 내 객체를 인식할 수 있다. 사이니지 서버(3)는 이러한 기계학습을 이용한 객체 인식을 통해 객체인식의 정확성을 높이고자 한다. 기계학습은 SVM(Support Vector Machines), 딥 러닝(Deep Learning) 기법 등을 이용할 수 있다.

일 실시 예에 따른 사이니지 서버(3)는 촬영영상을 대상으로 추출된 특성정보를 이용한 영상분석과, 학습 데이터를 이용한 기계학습을 이용하여 촬영영상에서 객체를 인식한다.

사이니지 서버(3)는 영상 특성정보를 이용하여 객체를 인식할 수 있다. 영상 특성정보는 콘텐츠를 구성하는 객체들의 윤곽선 특징정보와 콘텐츠의 속성정보를 포함할 수 있다. 영상 속성정보는 콘텐츠가 영화인 경우 제목, 감독 등의 정보일 수 있고, 음악인 경우 제목, 가수, 장르 등의 정보일 수 있다.

사이니지 서버(3)는 인식된 객체와 관련된 온오프라인 액티비티(Offline Activity) 참여를 위한 O2O 정보를 제공한다. O2O 정보는 연결링크(Link)이거나 관련 콘텐츠 등일 수 있다. 예를 들어, 인식된 콘텐츠 내 제품을 구매하기 위한 쇼핑몰 사이트, 마켓 플레이스 사이트, 비교 사이트, 로컬 커뮤니티 사이트 등을 제공할 수 있다. 로컬 커뮤니티는 예를 들어 지역 병원이나 약국 등이 있다. 오프라인 액티비티와 연관된 콘텐츠인 경우, 콘텐츠, 예를 들어 연관 광고를 사용자 단말(2)을 통해 사용자에 제공할 수 있다.

사이니지 서버(3)는 네트워크의 종류와 관계없이 네트워크 연결의 항상성을 유지한다. 사이니지 서버(3)는 사용자의 사용자 단말(2)과 정보를 송수신한다. 예를 들어, 사이니지 서버(3)는 사용자 단말(2)로부터 촬영영상을 수신하거나, 사이니지 서버(3)를 통해 추출된 영상 특성정보를 사용자 단말(2)에 전송한다. 사이니지 서버(3)는 추출된 영상 특성정보를 이용하여 도출된 콘텐츠 확인결과를 사용자 단말(2)에 전송할 수 있다. 또한, 사이니지 서버(3)에서의 기계학습 기반 객체 인식결과를 사용자 단말(2)에 전송할 수도 있다.

사이니지 서버(3)는 원격에 있는 사용자의 사용자 단말(2) 화면을 모니터링한다. 이때, 기술자 및 관리자의 단말을 통해 모니터링하거나 조작을 돕는 기능을 제공한다. 사이니지 서버(3)는 사용자 단말(2)로부터 원격제어 요청을 수신하면 사용자 단말(2)의 화면을 공유하며, 원격 제어명령을 사용자 단말(2)에 전송한다. 이때, 필요한 프로세스 조정 기능을 제공한다.

사이니지 서버(3)는 사이니지 장치(6)를 모니터링 및 관리한다. 이를 위해, 사이니지 서버(3)는 사이니지 장치(6)로부터 상태(Status) 정보, 사용(Usage) 정보 등을 수신한다. 수신되는 정보를 이용하여 사이니지 장치(6)가 정상적으로 작동하는지 확인한다. 정상적으로 작동하지 않으면, 어떤 문제가 있는지 파악한 후 처리한다. 사이니지 서버(3)는 사이니지 장치(6)를 모니터링하여 에러를 검출하고 사이니지 장치(6)에 대한 에러를 처리하기 위해 관리자에 이를 알린다. 이를 위해, 사이니지 서버(3)는 문제가 있는 사이니지 장치를 검출하는 기능, 문제가 발생한 사이니지 장치를 원격에서 조치하는 기능, 문제 발생 시 바로 관리자에게 통지하는 기능 등이 탑재된다.

전술한 구성요소들은 네트워크를 통해 통신할 수 있으며, 네트워크는 근거리 통신망(Local Area Network: LAN), 광역 통신망(Wide Area Network: WAN) 또는 부가가치 통신망(Value Added Network: VAN) 등과 같은 유선 네트워크나, 이동 통신망(mobile radio communication network) 또는 위성 통신망 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다.

일 실시 예에 따른 사이니지 통합 관리 시스템(1)은 사용자 단말(2)과 연계하여 촬영영상으로부터 기계학습 프로세싱과 영상 특성정보 비교를 통해 다수의 객체를 인식하고 인식된 객체와 연계된 O2O 정보를 제공한다.

일 실시 예에 따른 사이니지 통합 관리 시스템(1)은 CF 모드와 Object 모드를 제공한다. CF 모드는 사이니지 영상의 메인 모델에 대한 O2O 정보를 제공하는 것이고, Object 모드는 사이니지 영상의 서브 모델에 대한 O2O 정보를 제공하는 것이다.

예를 들어, 사이니지 영상이 '럭셔리 시계'를 홍보할 목적으로 '럭셔리 시계' 객체가 들어가 있는 CF 영상인 경우, '럭셔리 시계'는 명확한 하나의 주제(브랜드, 상품 등)인 메인 모델에 해당한다. CF 모드에서는, 사이니지 서버(3)는 메인 모델인 럭셔리 시계'에 대한 O2O 정보를 사용자 단말(2)에 제공할 수 있다.

이에 비해, Object 모드는, 임의의 사이니지 영상에서 사용자가 하나의 홍보주체가 아닌 다른 제품에 대한 정보를 원하는 경우로 확장하는 것이다. 예를 들어 '럭셔리 시계' CF 영상에 멋진 차가 나왔을 경우, 사이니지 서버(3)는 이를 파악하고 멋진 차에 대한 O2O 정보를 사용자 단말(2)에 제공할 수 있다. Object 모드는 사이니지 관리 사업자의 니즈(Needs)를 채워줄 수도 있다. 예를 들어, 홍보영상 외 관리 사업자가 제공하는 다른 영상도 연계 가능하다.

CF 모드 동작을 위해, 사이니지 통합 관리 시스템(1)은 사이니지 서버(3)가 홍보 주체<예를 들어, 객체 '스마트워치', '냉장고' 등)>가 들어있는 사이니지 영상의 프레임별 화면을 해시(hash) 값을 가지는 영상 특성정보(DNA)로 미리 저장해 둔다. 저장해 둔 사이니지 영상의 프레임별 영상 특성정보를, 사용자가 외부에서 사용자 단말(2)을 통해 촬영한 영상의 특성정보와 비교하여 영상 프레임의 사이즈 변화나 각도 변화를 확인하고 변화된 영상으로부터 정확한 객체를 파악하며, 파악된 객체가 맞는지 인공지능 기반 기계학습을 통해 검증하여 영상 내 메인 모델을 인식한다. 이어서, 사이니지 서버(3)가 인식된 메인 모델과 관련된 O2O 정보를 사용자 단말(2)에 제공함에 따라, 제품을 O2O 서비스로 연동하여 고객과 상호작용(Interactiveness)을 높일 수 있다. 디지털 사이니지 홍보 플랫폼을 가지고 있는 사업자들이 고객의 반응을 직접 확인하고 O2O 서비스로 쇼핑 등을 할 수 있도록 기능을 제공하는 인터랙티브 플랫폼이다. 사이니지 영상이 명확한 하나의 주제(브랜드, 상품)를 가지는 경우 적용될 수 있다.

Object 모드에서, 사이니지 통합 관리 시스템(1)은 사이니지 서버(3)가 사용자 단말을 통해 디지털 사이니지 영상을 촬영한 영상을 인공지능 기반 기계학습을 통해 자동적으로 분석하여 객체를 인식한 후 객체의 카테고리를 분류할 수 있다. 차의 경우를 예를 들면, 차의 카테고리는 [트럭, 승용차, 버스]-[제조사]-[브랜드]-[연식]로 분류될 수 있다. 이때, 분류된 카테고리 내 기 저장된 영상을 사용자 단말(2)에 제공할 수 있다. 기 저장된 영상이 없을 경우, 인터넷으로 확장 검색한 후 검색된 영상을 제공할 수 있다.

사이니지 서버(3)는 사이니지 영상이 홍보하고자 하는 메인 모델 외 서브 모델 리스트 데이터를 데이터베이스에 저장해 두고, 사용자가 object 모드로 요청할 경우 서브 모델과 관련된 O2O 정보를 사용자 단말(2)에 전달할 수 있다.

Object 모드에서 사용자 단말(2)이 디지털 사이니지 화면을 촬영한 영상을 사이니지 서버(3)에 전송하면, 사이니지 서버(3)가 수신된 촬영영상으로부터 인공지능 기반 기계학습을 통한 객체인식을 선 수행하여 객체를 인식한 후 인식된 객체와 관련된 CF 영상이 데이터베이스에 저장되어 있는지 확인하고, 저장되어 있는 경우, CF 영상 재생을 사용자 단말(2)에서 처리할 수 있는 URL 정보를 사용자 단말(2)에 제공한다. 다수의 객체를 인식하는 경우, 인식된 객체 별로 CF 영상을 제공할 수 있다. 인식된 객체와 관련된 CF 영상이 데이터베이스에 저장되어 있지 않은 경우, 인터넷 검색을 통해 CF 영상을 검색할 수 있다.

사이니지 통합 관리 시스템(1)은 소정의 사이니지 영상의 메인 모델과 서브 모델 리스트 및 해당 사이니지 영상의 프레임별 해시(hash) 값을 매칭한 매칭정보를 특성정보 형태로 DNA DB(5)에 저장해 두고, 사용자 단말(2)로부터 수신되는 동일한 촬영영상 프레임에 대한 비교가 가능하도록 사이니지 영상을 특성정보로 변환시켜 DNA DB(5)에 저장해 둘 수 있다.

콘텐츠 DB(4)에 저장된 많은 CF 영상과의 비교를 통해 정확도를 높이는 작업도 필요한데, CF 영상을 자동 수집함으로써 DB를 확장할 수 있도록 크롤링(crawling) 작업을 통해 CF 영상을 수집하여 콘텐츠 DB(4)에 저장해 두고, CF 영상의 DNA 정보를 추출하여 DNA DB(5)에 저장하는 과정도 필요하다.

도 2는 본 발명의 일 실시 예에 따른 객체CF 모드 및 Object 모드의 개념을 도시한 도면이다.

도 2를 참조하면, 사이니지 영상의 메인 모델은 럭셔리 시계였으나, 사용자가 사이니지 영상에 등장하는 서브 모델(예를 들어, 스포츠차)에 관심이 있어 확인하고 싶은 상황일 경우, Object 모드로 동작한다. Default로 CF 모드로 설정(setting)되며, CF 모드에서는 메인 모델(예를 들어, 럭셔리 시계)과 매칭되는 O2O 정보를 제공한다. 사용자가 메인 모델 이외의 서브 모델에 관심이 있는 경우 사용자가 사용자 단말(2)을 통해 Object 모드로 전환할 수 있다.

도 3은 본 발명의 일 실시 에에 따른 객체 카테고리 분류 예를 도시한 도면이다.

도 1 및 도 3을 참조하면, 사용자 단말(2)이 사이니지 화면을 촬영한 영상을 사이니지 서버(3)에 업로드 하면, 사이니지 서버(3)는 기계학습을 이용하여 촬영영상에서 객체를 인식한 후 객체의 카테고리를 파악한다. 이때, 객체 인식도 향상을 위해 기계학습을 지속적으로 실행할 수 있다. 사이니지 서버(3)는 파악된 카테고리와 관련된 영상이 데이터베이스에 기 저장되어 있는지 여부를 확인한 후, 없을 경우 인터넷에서 확장 검색할 수 있다. 기 저장된 콘텐츠가 없을 경우 정확도가 떨어지거나 파악속도가 느릴 수 있으므로 지속적인 크롤링(crawling)으로 영상 확보 및 링크 확보가 필요하다.

카테고리 분류 예를 들면, [차량]은 [버스, 승용차, 트럭]으로 분류되고, [승용차]는 [스포츠카, 일반]으로 분류되며, [스포츠카]는 [포르쉐, 마세라티??] 등으로 분류된다. 도 3에서는 촬영영상으로부터 [차량]-[승용차]-[스포츠카]-[마세라티]를 객체 카테고리를 이용하여 분류함에 따라 객체를 인식하는 예를 도시하고 있다.

데이터베이스에 확보되는 영상은 각 프레임별 hash 값으로 저장되며, 사용자 단말(2)로부터 업로드 된 동일한 영상 프레임에 대한 비교가 가능하도록 영상을 특성정보로 변환시켜 데이터베이스에 저장할 수 있다.

도 4는 본 발명의 일 실시 예에 따른 O2O 사용자 인터랙션 방법의 흐름을 도시한 도면이다.

도 1 및 도 4를 참조하면, CF 모드에 진입하면, 사용자 단말(2)은 앱 카메라 등을 이용하여 사이니지 화면을 촬영하고, 촬영영상을 사이니지 서버(3)에 전송한다(401).

사이니지 서버(3)는 촬영영상에서 기계학습을 이용하여 객체를 인식하고, 수신된 촬영영상과 기 저장된 사이니지 영상을 비교(403) 하여 사이니지 영상 및 사이니지 영상 내 메인 모델을 인식하고 인식된 메인 모델과 연관된 O2O 정보를 검색(404) 한 후 이를 사용자 단말(2)에 제공한다(405). 예를 들어, 메인 모델 [갤럭시 워치]를 파악하고, 파악된 [갤럭시 워치]의 연결링크 [www.sec.co.kr]를 사용자 단말(2)에 제공한다. 수신된 촬영영상과 기 저장된 사이니지 영상 간 비교는 각 특성정보를 이용하여 비교할 수 있다. O2O 정보는 [갤럭시 워치]의 연결링크 [www.sec.co.kr]이다. 연결링크를 수신한 사용자 단말(2)의 화면에 연결링크가 표시(406) 되고, "갤럭시 워치 버전3 입니다. 쇼핑몰로 이동하시겠습니까?"라는 메시지가 표시된다(407). 사용자가 연결링크를 클릭하는 동작을 통해 연결링크에 접속(408) 하면, 연결링크를 통해 해당 쇼핑몰에 접속(408) 하게 되며, 사이니지 서버(3)는 클릭 완료에 따른 카운트를 수행하여 통계정보를 생성할 수 있다(409).

한편, 사용자 조작에 의해 사용자 단말(2)이 Object 모드에 진입하면, 앱 카메라 등을 이용하여 사이니지 화면을 촬영하고, 촬영영상을 사이니지 서버(3)에 전송한다(411).

사이니지 서버(3)는 촬영영상에서 기계학습을 이용하여 객체를 인식(412) 하고, 수신된 촬영영상과 기 저장된 사이니지 영상을 비교(413) 하여 사이니지 영상 및 사이니지 영상 내 메인 모델을 파악한다(414). 예를 들어, 메인 모델 [갤럭시 워치]를 파악한다.

이어서, 사이니지 서버(3)는 인식된 영상의 서브 모델 리스트로부터 서브 모델을 파악하고, 파악된 서브 모델과 연관된 O2O 정보를 검색한다(415). 예를 들어, 서브 모델로서 [마세라티 스포츠카]를 파악하고, [마세라티 스포츠카]의 [제품/물건 대리점]에 연결할 수 있는 링크를 사용자 단말(2)에 제공할 수 있다(416).

연결링크를 수신한 사용자 단말(2)의 화면에 연결링크가 표시(417) 되고, "마세라티 스포츠카를 찾으셨나요? 구매/렌트/리스 제안 받아보시겠어요?"라는 메시지가 표시(418) 되고, 사용자가 연결링크를 클릭하는 동작을 통해 연결링크에 접속(419) 하면, 연결링크를 통해 해당 대리점에 접속하게 되며, 사이니지 서버(3)는 클릭 완료에 따른 카운트를 수행하여 통계정보를 생성할 수 있다(420).

도 5는 본 발명의 다른 실시 예에 따른 O2O 사용자 인터랙션 방법의 흐름을 도시한 도면이다.

도 1 및 도 5를 참조하면, Object 모드에 진입하면, 사용자 단말(2)이 앱 카메라 등을 이용하여 사이니지 화면을 촬영하고, 촬영영상을 사이니지 서버(3)에 전송한다(501).

사이니지 서버(3)는 촬영영상에서 기계학습을 이용하여 객체를 인식(502) 하고, 수신된 촬영영상과 기 저장된 사이니지 영상을 비교(503) 하여 사이니지 영상 및 사이니지 영상 내 메인 모델을 인식한다(504). 예를 들어, 메인 모델 [갤럭시 워치]를 파악한다.

이어서, 사이니지 서버(3)는 인식된 영상의 서브 모델 리스트를 파악 후 리스트 없음을 확인한다(505). 리스트가 없으면 기계학습을 통해 촬영 영상에서 서브 모델을 인식하고, 인식된 서브 모델과 연관된 O2O 정보를 검색한다(506). 예를 들어, 기계학습을 통해 서브 모델로서 [폴로 티셔츠]를 파악하고, [폴로 티쳐츠]의 [제품/물건 대리점]에 연결할 수 있는 링크를 사용자 단말(2)에 제공할 수 있다(507).

사용자 단말(2)의 화면에 연결링크가 표시되고(508), "폴로 티셔츠를 찾으셨나요? 구매/렌트/리스 제안 받아보시겠어요?"라는 메시지가 표시(509) 되고, 사용자가 연결링크를 클릭하는 동작을 통해 연결링크에 접속(510) 하면, 연결링크를 통해 해당 대리점에 접속하게 되며, 사이니지 서버(3)는 클릭 완료에 따른 카운트를 수행하여 통계정보를 생성할 수 있다(511). 사용자가 연결링크에 접속하기를 원하지 않으면, 사용자 단말(2)의 화면에 "다시 촬영하시겠습니까?"라는 메시지가 표시된다(512). 사용자가 다시 촬영하기를 원하면 단계 501부터 다시 반복된다.

이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims

사이니지 서버의 사용자 단말과의 온오프라인 연결 사용자 인터랙션 방법에 있어서, 사이니지 서버가
제1 모드에 진입하면, 사용자 단말로부터 사이니지 장치 화면의 사이니지 영상을 촬영한 영상을 수신하는 단계;
수신된 촬영영상의 기계학습 기반 객체인식 및 특성정보를 이용한 영상분석을 통해 사이니지 영상을 인식하는 단계;
인식된 사이니지 영상의 서브 모델 리스트로부터 서브 모델을 추출하는 단계;
추출된 서브 모델과 연관된 온오프라인 연결(Offline to online: O2O, 이하, 'O2O'라 칭함) 정보를 검색하는 단계; 및
검색된 O2O 정보를 사용자 단말에 제공하는 단계;
를 포함하는 것을 특징으로 하는 온오프라인 연결 사용자 인터랙션 방법.
제 1 항에 있어서, 사이니지 영상 및 사이니지 영상의 메인 모델을 인식하는 단계는
촬영영상을 대상으로 추출된 특성정보와 미리 저장된 사이니지 영상의 특성정보를 비교하여 사이니지 영상 및 사이니지 영상의 메인 모델을 인식하는 것을 특징으로 하는 온오프라인 연결 사용자 인터랙션 방법.
제 2 항에 있어서,
사이니지 영상의 특성정보는 사이니지 영상의 프레임 별 해시 값을 포함하는 것을 특징으로 하는 온오프라인 연결 사용자 인터랙션 방법.
제 1 항에 있어서, 온오프라인 연결 사용자 인터랙션 방법은
인식된 사이니지 영상의 서브 모델 리스트를 파악한 후 리스트 없음을 확인하는 단계;
서브 모델 리스트에 없으면 기계학습을 통해 사이니지 영상에서 서브 모델을 인식하는 단계; 및
인식된 서브 모델과 관련된 O2O 정보를 제공하는 단계;
를 더 포함하는 것을 특징으로 하는 온오프라인 연결 사용자 인터랙션 방법.
제 1 항에 있어서, 온오프라인 연결 사용자 인터랙션 방법은
제2 모드에 진입하면, 수신된 촬영영상의 특성정보와 기 저장된 사이니지 영상의 프레임별 영상 특성정보를 비교하여 사이니지 영상 및 사이니지 영상의 객체를 인식하고 인공지능 기반 기계학습을 통해 객체를 검증하여 메인 모델을 인식하는 단계;
인식된 메인 모델과 관련된 영상을 검색하는 단계; 및
검색된 영상을 재생할 수 있는 O2O 정보를 제공하는 단계;
를 더 포함하는 것을 특징으로 하는 온오프라인 연결 사용자 인터랙션 방법.
제 1 항에 있어서, 온오프라인 연결 사용자 인터랙션 방법은
기계학습을 이용하여 인식된 객체를 카테고리 분류하는 단계;
분류된 카테고리 내 기 저장된 영상을 검색하는 단계;
검색된 영상을 재생할 수 있는 O2O 정보를 제공하는 단계; 및
기 저장된 영상이 없으면 인터넷을 이용하여 영상을 확장 검색한 후 검색된 영상을 재생할 수 있는 O2O 정보를 제공하는 단계;
를 더 포함하는 것을 특징으로 하는 온오프라인 연결 사용자 인터랙션 방법.
사이니지 장치 화면의 사이니지 영상을 촬영한 영상을 사이니지 서버에 전송하고 사이니지 영상의 서브 모델 관련 O2O 정보를 수신할 수 있는 제1 모드를 사용자 조작에 의해 선택하는 사용자 단말; 및
제1 모드에 진입하면 사용자 단말로부터 촬영영상을 수신하여 수신된 촬영영상의 특성정보와 기 저장된 사이니지 영상의 특성정보를 비교하여 사이니지 영상을 인식하고, 인식된 사이니지 영상의 서브 모델 리스트로부터 서브 모델을 추출한 후 추출된 서브 모델과 연관된 O2O 정보를 사용자 단말에 제공하는 사이니지 서버;
를 포함하는 것을 특징으로 하는 사이니지 통합 관리 시스템.
제 7 항에 있어서, 사이니지 서버는
제1 모드에서, 인식된 사이니지 영상의 서브 모델 리스트를 파악한 후 리스트 없음을 확인하여 서브 모델 리스트에 없으면 기계학습을 통해 사이니지 영상에서 서브 모델을 인식하고 인식된 서브 모델과 관련된 O2O 정보를 제공하는 것을 특징으로 하는 사이니지 통합 관리 시스템.
제 7 항에 있어서, 사이니지 서버는
제2 모드에 진입하면, 수신된 촬영영상의 특성정보와 기 저장된 사이니지 영상의 프레임별 영상 특성정보를 비교하여 사이니지 영상 및 사이니지 영상의 객체를 인식하고 인공지능 기반 기계학습을 통해 객체를 검증하여 메인 모델을 인식한 후 인식된 메인 모델과 관련된 영상을 재생할 수 있는 O2O 정보를 제공하는 것을 특징으로 하는 사이니지 통합 관리 시스템.