KR102322032B1 - 단말 장치, 클라우드 장치, 단말 장치의 구동방법, 데이터 협업처리 방법 및 컴퓨터 판독가능 기록매체 - Google Patents

단말 장치, 클라우드 장치, 단말 장치의 구동방법, 데이터 협업처리 방법 및 컴퓨터 판독가능 기록매체 Download PDF

Info

Publication number
KR102322032B1
KR102322032B1 KR1020150056893A KR20150056893A KR102322032B1 KR 102322032 B1 KR102322032 B1 KR 102322032B1 KR 1020150056893 A KR1020150056893 A KR 1020150056893A KR 20150056893 A KR20150056893 A KR 20150056893A KR 102322032 B1 KR102322032 B1 KR 102322032B1
Authority
KR
South Korea
Prior art keywords
data
terminal device
user
behavior
analysis
Prior art date
Application number
KR1020150056893A
Other languages
English (en)
Other versions
KR20150131957A (ko
Inventor
윤영
반대현
한성원
우홍욱
허은호
신상호
이정균
안동혁
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US14/917,641 priority Critical patent/US11228653B2/en
Priority to EP15792566.0A priority patent/EP3133502B1/en
Priority to PCT/KR2015/004885 priority patent/WO2015174777A1/ko
Priority to CN201580026559.4A priority patent/CN106464727B/zh
Publication of KR20150131957A publication Critical patent/KR20150131957A/ko
Priority to TW105101939A priority patent/TWI719959B/zh
Application granted granted Critical
Publication of KR102322032B1 publication Critical patent/KR102322032B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/16Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6254Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/535Tracking the activity of the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/52Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems during program execution, e.g. stack integrity ; Preventing unwanted data erasure; Buffer overflow
    • G06F21/53Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems during program execution, e.g. stack integrity ; Preventing unwanted data erasure; Buffer overflow by executing in a restricted environment, e.g. sandbox or secure virtual machine
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/59Providing operational support to end devices by off-loading in the network or by emulation, e.g. when they are unavailable
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/75Indicating network or usage conditions on the user display

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명은 단말 장치, 클라우드 장치, 단말 장치의 사용자 행동 분석 방법, 클라우드 장치의 사용자 행동 분석 방법에 관한 것으로서, 본 발명의 실시 예에 따른 단말 장치는 외부 장치와 통신하는 통신 인터페이스부, 상기 사용자의 행동을 예측하는데 이용되는 데이터를 획득하여 상기 획득된 데이터의 일부를 익명화하고, 익명화된 상기 데이터의 일부 및 익명화되지 않은 상기 데이터의 나머지를 상기 통신 인터페이스부를 통하여 상기 외부 장치로 제공하는 제어부, 및 상기 제공된 데이터를 이용하여 상기 외부 장치에서 분석된 행동 예측 데이터에 기초한 상기 사용자의 행동과 관련된 알림 정보를 표시하는 디스플레이부를 포함한다.

Description

단말 장치, 클라우드 장치, 단말 장치의 구동방법, 데이터 협업처리 방법 및 컴퓨터 판독가능 기록매체{Terminal, Cloud Apparatus, Driving Method of Terminal, Method for Processing Cooperative Data, Computer Readable Recording Medium}
본 발명은 단말 장치, 클라우드 장치, 단말 장치의 구동방법, 데이터 협업처리 방법 및 컴퓨터 판독가능 기록매체에 관한 것으로서, 더 상세하게는 가령 능동적 추천 앱을 클라우드 서비스를 통해 이용할 때, 사용자마다 개인화된 데이터 협업처리 서비스를 제공하고, 또한 개인화된 데이터 협업처리 서비스 이용시 적응적으로 자원을 활용할 수 있는 단말 장치, 클라우드 장치, 단말 장치의 구동방법, 데이터 협업처리 방법 및 컴퓨터 판독가능 기록매체에 관련된다.
인터넷상의 서버를 통해 데이터의 저장, 네트워크, 컨텐츠 사용 등 다양한 서비스를 이용할 수 있는 클라우드 컴퓨팅이 활성화됨에 따라 사용자의 중요한 컨텐츠 및 개인 정보 등을 인터넷상의 서버에 저장하여 이용하는 경우가 늘고 있다.
통상적으로 클라우드는 인터넷 환경에서 떠다니는 구름처럼 고정된 하드웨어에 구애받지 않고 소프트웨어 환경을 이용해서 누구나 클라우드 계정을 설정해 놓고 그곳에 자료에 올려두면 어디서나 자료를 쉽게 이용할 수 있는 데이터 저장방식 정도로 이해되고 있다. 그러나 클라우드의 서비스 종류에는 여러 가지가 있다. 서비스 특징에 따라 SaaS(Software as a Service), PaaS(Platform as a Service), HaaS(Hardware as a Service), IaaS(Infrastructure as a Service) 등으로 구분될 수 있는데, 제공 업체에 따라 조금씩 차이가 있을 뿐 개념상 동일하다.
SaaS는 어플리케이션을 사용자에게 빌려주는 서비스를 말하고, PaaS는 플랫폼을, HaaS는 특정 하드웨어가 필요한 경우 제공 업체로부터 하드웨어를 서비스받는 것을 말한다. 마지막으로 IaaS는 특히 기업에 많이 사용되는 서비스인데, 서버와 스토리지, 네트워크를 가상화 환경으로 만들어서 필요에 따라 자원을 사용할 수 있게 해주는 서비스를 말한다.
그런데 IT(혹은 IoT)기기들의 연결성이 높아지면서 이들 기기들이 발생하는 데이터가 폭발적으로 늘고 있는 상황에서 기존의 중앙 집중형 클라우드로만 데이터들을 분석하는 방식은 운영비, 성능, 프라이버시 측면에서 적합하지 않은 문제가 있다. 가령, 종래의 클라우드 서비스 중 하나는 사용자의 행동, 단말 장치의 사용 분석을 통해 필요 시점을 파악하고 서비스와 연계해 주는 역할을 수행하고 있는데, 이러한 서비스의 수행을 위한 분석은 클라우드 기반이 주이며, 이로 인해 과다하게 개인 정보가 노출되어 프라이버시 침해 우려가 있었다.
또한, 기존의 솔루션들은 휴대폰과 같은 단말 장치와 클라우드 장치 간의 자원 분배가 정적(static)으로 이루어지거나, 단말 장치에서 클라우드 장치 또는 클라우드 장치에서 단말 장치로 단방향으로만 데이터가 오프로드되므로 자원 활용이 적응적이지 않은 문제가 있었다. 예를 들어, 개인의 데이터 사용량은 유동적으로 증가할 수 있으며, 다수의 사용자에 대한 서비스 제공을 클라우드 분석에 의존했을 때 추후 IT 환경에서의 머신(Machine) 데이터가 포함되는 경우 시스템의 확장성 이슈가 고려되어야 한다.
본 발명의 실시 예는 가령 능동적 추천 앱을 클라우드 서비스를 통해 이용할 때, 사용자마다 개인화된 데이터 협업처리 서비스를 제공하고, 또한 개인화된 데이터 협업처리 서비스 이용시 적응적으로 자원을 활용할 수 있는 단말 장치, 클라우드 장치, 단말 장치의 구동방법, 데이터 협업 처리 방법 및 컴퓨터 판독가능 기록매체를 제공함에 그 목적이 있다.
본 발명의 실시예에 따른 단말 장치는, 외부 장치와 협력하여 데이터 분석 작업을 수행하는 단말 장치에 있어서, 상기 분석 작업을 위해 상기 외부 장치와 통신하는 통신 인터페이스부, 상기 분석 작업에 대한 협업 수준(level)을 사용자별로 결정하기 위한 UI(User Interface) 화면을 표시하는 디스플레이부, 및 상기 UI 화면을 통해 협업 수준이 설정되면, 상기 설정된 협업 수준에 근거해 분석 작업의 협업 형태를 변경하는 제어부를 포함한다.
상기 디스플레이부는, 상기 데이터 분석 작업에 이용되는 복수의 계층으로 구분된 계층화 정보에 대한 공유 여부를 결정하는 UI 화면을 표시하고, 상기 복수의 계층화 정보는, 상기 단말 장치에서 수집된 로우 데이터, 상기 로우 데이터에 의해 도출되는 상기 사용자의 행동 분석 데이터, 상기 행동 분석 데이터에 의해 도출되는 상기 사용자의 패턴 분석 데이터 및 상기 패턴 분석 데이터에 의해 도출되는 상기 사용자의 행동 예측 데이터를 포함하며, 상기 협업 수준은 상기 복수의 계층화 정보 중 일부 또는 전부를 공유 가능하도록 설정하는 것에 관련될 수 있다.
상기 단말 장치는 주변에 위치하는 적어도 하나의 이웃 단말 장치와 추가로 연동하여 상기 데이터의 분산 처리(offloading) 및 분석 작업을 수행하며, 상기 디스플레이부는, 상기 계층화 정보의 공유 여부에 근거해 상기 계층화 정보별로 상기 단말 장치, 상기 이웃 단말 장치 및 상기 외부 장치 중 적어도 하나를 데이터 분석 주체로서 결정하기 위한 UI 화면을 더 표시할 수 있다.
상기 UI 화면은, 하위 계층에 속하는 상기 계층화 정보의 공유 여부에 근거해 상위 계층에 속하는 데이터의 추출을 위한 데이터 분석가능 주체를 알리는 제1 영역, 상기 데이터 분석 주체의 분석 작업가능 수준을 알리는 제2 영역, 및 상기 계층화 정보의 공유 여부에 근거하여 다른 계층화 정보의 노출 위험성을 알리는 제3 영역 중 적어도 하나의 영역을 포함할 수 있다.
상기 제어부는, 상기 이웃 단말 장치에 상기 계층화 정보를 취득하기 위한 프로그램이 없다고 판단될 때, 상기 분석 작업을 위하여 상기 이웃 단말 장치로 상기 프로그램을 전송하도록 상기 통신 인터페이스부를 제어할 수 있다.
상기 디스플레이부는, 상기 분석 작업을 위하여 상기 단말 장치의 동작 상황 및 네트워크 상황에 대한 조건을 설정하기 위한 UI 화면을 더 표시하며, 상기 제어부는, 설정한 조건에 근거해 상기 분석 작업을 수행할 수 있다.
상기 제어부는, 상기 데이터를 상기 외부 장치로 전송할 때, 프라이버시 보호를 위해 상기 데이터의 일부를 익명화한(anonymizing) 데이터를 전송할 수 있다.
상기 데이터는 비디오, 오디오 및 텍스트 중 적어도 하나를 포함하며, 상기 익명화는 대상 객체의 특성을 유지하는 범위에서 이루어질 수 있다. 익명화는 행동을 인식하는 수준, 인지된 행동을 기반으로 행동의 반복적 패턴을 분석하는 수준, 반복적 행동 패턴을 기반으로 추후 행동을 예측하는 수준 등에서 이루어질 수 있다.
또한 본 발명의 실시예에 따른 클라우드 장치는 단말 장치와 협력하여 데이터 분석 작업을 수행하는 클라우드 장치에 있어서, 상기 분석 작업을 위해 상기 단말 장치와 통신하는 통신 인터페이스부, 상기 단말 장치에서 사용자별로 결정한 상기 분석 작업에 대한 협업 수준 정보를 상기 통신 인터페이부를 통해 수신하여 저장하는 저장부, 및 상기 저장한 협업 수준 정보에 근거하여 상기 분석 작업의 협업 형태를 변경하는 제어부를 포함한다.
상기 협업 수준 정보는, 상기 데이터 분석 작업에 이용하는 복수의 계층으로 구분된 계층화 정보 중 일부 또는 전부를 공유 가능하도록 설정한 정보이며, 상기 복수의 계층화 정보는, 상기 단말 장치에서 수집된 로우 데이터, 상기 로우 데이터에 의해 도출되는 상기 사용자의 행동 분석 데이터, 상기 행동 분석 데이터에 의해 도출되는 상기 사용자의 패턴 분석 데이터 및 상기 패턴 분석 데이터에 의해 도출되는 상기 사용자의 행동 예측 데이터를 포함할 수 있다.
상기 저장부는, 상기 결정한 계층화 정보의 공유 여부에 근거해 상기 계층화 정보별로 상기 단말 장치, 상기 단말 장치의 주변에 위치한 이웃 단말 장치 및 상기 클라우드 장치 중 적어도 하나를 데이터 분석 주체로서 결정한 정보를 더 저장하며, 상기 제어부는, 상기 공유 여부에 대한 정보 및 상기 결정한 데이터 분석 주체의 정보에 근거해 상기 분석 작업을 수행할 수 있다.
본 발명의 실시예에 따른 단말 장치의 구동방법은 외부 장치와 협력하여 데이터 분석 작업을 수행하는 단말 장치의 구동방법에 있어서, 상기 분석 작업을 위해 상기 외부 장치와 통신하는 단계, 상기 분석 작업에 대한 협업 수준을 사용자별로 결정하기 위한 UI 화면을 표시하는 단계, 및 상기 UI 화면을 통해 협업 수준이 설정되면, 상기 설정된 협업 수준에 근거해 분석 작업의 협업 형태를 변경하는 단계를 포함한다.
상기 UI 화면을 표시하는 단계는, 상기 데이터 분석 작업에 이용되는 복수의 계층으로 구분된 계층화 정보에 대한 공유 여부를 결정하는 단계를 포함하고, 상기 복수의 계층화 정보는, 상기 단말 장치에서 수집된 로우 데이터, 상기 로우 데이터에 의해 도출되는 상기 사용자의 행동 분석 데이터, 상기 행동 분석 데이터에 의해 도출되는 상기 사용자의 패턴 분석 데이터 및 상기 패턴 분석 데이터에 의해 도출되는 상기 사용자의 행동 예측 데이터를 포함하며, 상기 협업 수준은 상기 복수의 계층화 정보 중 일부 또는 전부를 공유 가능하도록 설정하는 것에 관련될 수 있다.
상기 협업 형태를 변경하는 단계는, 상기 단말 장치의 주변에 위치하는 적어도 하나의 이웃 단말 장치와 상기 데이터를 분산 처리 및 상기 분석 작업을 수행하는 단계를 포함하며, 상기 UI 화면을 표시하는 단계는, 상기 결정한 계층화 정보의 공유 여부에 근거해 상기 계층화 정보별로 상기 단말 장치, 상기 이웃 단말 장치 및 상기 외부 장치 중 적어도 하나를 데이터 분석 주체로서 결정하는 단계를 포함할 수 있다.
상기 UI 화면은, 하위 계층에 속하는 상기 계층화 정보의 공유 여부에 근거하여 상위 계층에 속하는 데이터의 추출을 위한 데이터 분석가능 주체를 알리는 제1 영역, 상기 결정한 데이터 분석 주체의 분석 작업가능 수준을 알리는 제2 영역, 및 상기 결정한 계층화 정보의 공유 여부에 근거하여 다른 계층화 정보의 노출 위험성을 알리는 제3 영역 중 적어도 하나의 영역을 포함할 수 있다.
상기 협업 형태를 변경하는 단계는, 상기 이웃 단말 장치에 상기 계층화 정보를 얻기 위한 프로그램이 없다고 판단될 때, 상기 분석 작업을 위하여 상기 이웃 단말 장치로 상기 프로그램을 전송하도록 제어하는 단계를 포함할 수 있다.
상기 UI 화면을 표시하는 단계는, 상기 분석 작업을 위하여 상기 단말 장치의 동작 상황 및 네트워크 상황에 대한 조건을 설정하기 위한 UI 화면을 더 표시하며, 상기 협업 형태를 변경하는 단계는, 상기 설정한 조건에 근거해 상기 분석 작업을 수행할 수 있다.
상기 협업 형태를 변경하는 단계는, 상기 데이터를 상기 외부 장치로 전송할 때, 프라이버시 보호를 위해 상기 데이터의 일부를 익명화한 데이터를 전송할 수 있다.
상기 데이터는 비디오, 오디오 및 텍스트 중 적어도 하나를 포함하며, 상기 익명화는 대상 객체의 특성을 유지하는 범위에서 이루어질 수 있다.
또한 본 발명의 실시예에 따른 데이터 협업처리 방법은, 단말 장치와 협력하여 데이터 분석 작업을 수행하는 클라우드 장치의 데이터 협업처리 방법에 있어서, 상기 분석 작업을 위해 상기 단말 장치와 통신하는 단계, 상기 단말 장치에서 사용자별로 결정한 상기 분석 작업에 대한 협업 수준 정보를 상기 통신 인터페이부를 통해 수신하여 저장하는 단계, 상기 저장한 협업 수준 정보에 근거하여 상기 분석 작업의 협업 형태 및 공유 데이터 중 적어도 하나를 변경하는 단계를 포함한다.
상기 협업 수준 정보는, 상기 데이터 분석 작업에 이용되는 복수의 계층화 정보 중 일부 또는 전부를 공유 가능하도록 설정된 정보이며, 상기 복수의 계층화 정보는, 상기 단말 장치에서 수집된 로우 데이터, 상기 로우 데이터에 의해 도출되는 상기 사용자의 행동 분석 데이터, 상기 행동 분석 데이터에 의해 도출되는 상기 사용자의 패턴 분석 데이터 및 상기 패턴 분석 데이터에 의해 도출되는 상기 사용자의 행동 예측 데이터를 포함할 수 있다.
상기 저장하는 단계는, 상기 결정한 계층화 정보의 공유 여부에 근거해 상기 계층화 정보별로 상기 단말 장치, 상기 단말 장치의 주변에 위치한 이웃 단말 장치 및 상기 클라우드 장치 중 적어도 하나를 데이터 분석 주체로서 결정하는 정보를 더 저장하며, 상기 협업 형태를 변경하는 단계는, 상기 공유 여부에 대한 정보 및 상기 결정한 데이터 분석 주체의 정보에 근거해 상기 분석 작업을 수행할 수 있다.
한편, 본 발명의 실시예에 따른 컴퓨터 판독가능 기록매체는, 단말 장치의 화면 표시 방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록매체에 있어서, 상기 단말 장치의 사용자가 데이터 분석 작업에 이용되는 복수의 계층화된 계층화 정보 중 일부 또는 전부를 공유 가능하도록 설정하기 위한 UI 화면을 표시하는 단계, 및 상기 설정한 계층화 정보의 공유 여부에 근거해 상기 계층화 정보별로 상기 분석 작업에 이용될 데이터의 분석 주체를 설정하는 UI 화면을 표시하는 단계를 실행한다.
상기 UI 화면은, 하위 계층에 속하는 상기 계층화 정보의 공유 여부에 근거하여 상위 계층에 속하는 데이터의 추출을 위한 데이터 분석가능 주체를 알리는 제1 영역, 상기 결정한 데이터 분석 주체의 분석 작업 가능 수준을 알리는 제2 영역, 상기 결정한 계층화 정보의 공유 여부에 근거하여 다른 계층화 정보의 노출 위험성을 알리는 제3 영역, 중 적어도 하나의 영역을 포함한다.
상기 컴퓨터 판독가능 기록매체는, 상기 분석 작업을 위하여 상기 단말 장치의 동작 상황 및 네트워크 상황에 대한 조건을 설정하기 위한 UI 화면을 표시하는 단계를 더 실행할 수 있다.
도 1A는 본 발명의 제1 실시 예에 따른 클라우드 서비스 시스템을 나타내는 도면이다.
도 1B는 본 발명의 제2 실시 예에 따른 데이터 협업처리 서비스 시스템을 나타내는 도면이다.
도 1C는 본 발명의 제3 실시 예에 따른 데이터 협업처리 서비스 시스템을 나타내는 도면이다.
도 1D는 본 발명의 제4 실시 예에 따른 데이터 협업처리 서비스 시스템을 나타내는 도면이다.
도 1E는 본 발명의 제4 실시 예에 따른 데이터 협업처리 서비스 시스템을 나타내는 도면이다.
도 2A는 도 1A 내지 도 1C에 나타낸 단말 장치의 세부 구조를 예시하여 나타낸 블록다이어그램이다.
도 2B는 도 1A 내지 도 1C에 나타낸 단말 장치의 세부 구조에 대한 다른 예시도이다.
도 3A는 도 1A 내지 도 1C에 도시된 클라우드 장치의 세부 구조를 예시하여 나타낸 블록다이어그램이다.
도 3B는 도 1A 내지 도 1C에 도시된 클라우드 장치의 세부 구조에 대한 다른 예시도이다.
도 4는 도 2A에 나타낸 제어부 또는 도 2B의 제어부와 데이터 분석부의 세부 기능을 도식하여 예시한 도면이다.
도 5는 본 발명의 실시 예에 따른 개인화 서비스 제공 과정을 개략적으로 설명하기 도면이다.
도 6은 본 발명의 실시 예에 따른 단말 장치의 개인화 서비스 제공을 위한 어플리케이션 설치 과정을 설명하기 위한 도면이다.
도 7A 내지 도 7K는 본 발명의 실시 예에 따른 서비스 제한 레벨을 설정하기 위한 정보를 예시하여 나타낸 도면이다.
도 8은 본 발명의 실시 예에 따라 데이터의 추출을 위한 작업 수행 주체를 알려주는 과정을 설명하기 위한 도면이다.
도 9는 본 발명의 실시 예에 따라 데이터 공유 여부에 따른 분석 작업 수준을 결정하는 과정을 설명하기 위한 도면이다.
도 10은 공유 여부에 따른 개인 정보 노출 위험성을 알리는 과정을 설명하기 위한 도면이다.
도 11은 이웃 단말 장치로 공유 여부의 설정이 가능한 것을 설명하기 위한 도면이다.
도 12A 및 도 12B는 본 발명의 실시 예에 따른 개인화된 데이터 협업처리 서비스에 대한 시나리오이다.
도 13은 도 1B의 시스템에서 이루어지는 지능형 동작의 예시도이다.
도 14는 도 1B의 시스템에서 이루어지는 지능형 동작의 다른 예시도이다.
도 15A는 UI 화면상에서 작업 분배 제약 사항을 설정하는 과정을 나타내는 도면이다.
도 15B는 서비스 및 장치의 상황별 분석 작업 분배 조절 기능을 설명하기 위한 도면이다.
도 15는 서비스 및 장치의 상황별 분석 작업 분배 조절 기능을 설명하기 위한 도면이다.
도 16은 도 15의 서비스 및 장치의 상황별 분석 작업 분배 조절과 관련한 시나리오이다.
도 17A 및 도 17B는 도 15의 서비스 및 장치의 상황 변화에 따른 작업 분배 과정을 설명하기 위한 시나리오이다.
도 18 및 도 19는 도 15의 서비스 및 장치의 상황 변화에 따른 작업 분배 과정을 설명하기 위한 도면이다.
도 20은 본 발명의 제1 실시 예에 따른 데이터 협업처리 서비스 과정을 설명하기 위한 도면이다.
도 21은 본 발명의 제2 실시 예에 따른 데이터 협업처리 서비스 과정을 설명하기 위한 도면이다.
도 22는 본 발명의 실시 예에 따른 단말 장치의 구동 과정을 나타내는 흐름도이다.
도 23은 본 발명의 실시 예에 따른 클라우드 장치의 구동 과정을 나타내는 흐름도이다.
도 24는 본 발명의 실시 예에 따른 단말 장치의 화면 표시 방법을 나타내는 흐름도이다.
도 25 및 도 26은 단말 장치에서 데이터를 클라우드 장치 또는 이웃 단말 장치로 전송할 때, 데이터의 일부를 익명화하는 과정을 설명하기 위한 도면이다.
도 27은 종래의 텍스트 기반으로 사진을 분류하는 방법을 나타내는 도면이다.
도 28은 사용자가 이미지 인식을 위하여 어떤 인식 수준을 단말 장치에서 수행할 것인지를 설명하기 위한 도면이다.
도 29는 인식 엔진 및 개인화된 모델을 이용한 이미지 처리 과정을 설명하기 위한 도면이다.
도 30은 일부 실시예에 따른 단말 장치(100)가 클라우드 장치(120)와 헬스 케어 서비스를 위한 데이터를 분산하여 처리하는 예시를 나타내는 도면이다.
이하, 도면을 참조하여 본 발명의 실시 예에 대하여 상세히 설명한다.
도 1A는 본 발명의 제1 실시 예에 따른 데이터 협업처리 서비스 시스템을 나타내는 도면이다.
도 1A에 도시된 바와 같이, 본 발명의 제1 실시 예에 따른 데이터 협업처리 서비스 시스템(90)은 단말 장치(100), 통신망(110) 및 적어도 하나의 클라우드 장치(혹은 서비스 제공 장치)(120)를 포함한다.
단말 장치(100)는 후술할 단말 장치(100-1'), 단말 장치(100-1"), 단말 장치(100-1'") 또는 단말 장치(100-1"")일 수 있다. 또한, 클라우드 장치(120)는 후술할 클라우드 장치(120'), 클라우드 장치(120"), 클라우드 장치(120'") 또는 클라우드 장치(120"")일 수 있다.
여기서, 단말 장치(100)는 유무선 통신을 수행하는 스마트폰 등의 휴대폰, 노트북, 태블릿 PC 및 PDA(Personal Digital Assistants), 웨어러블 기기 등의 모바일 장치, 가령 클라우드 컴퓨팅 환경 하에 적용되는 최소한의 하드웨어 및 소프트웨어 자원을 가짐으로써 인터넷 접속과 기본적인 연산 기능만을 수행하는 단말을 포함할 수 있으며, TV 또는 셋탑박스와 같은 장치를 더 포함할 수 있다. 단말 장치(100)는 음성 및 데이터 통신과 같은 기본적인 통신 서비스 이외에도 멀티미디어 서비스의 이용이 가능하여 동영상이나 이미지와 같은 멀티미디어 컨텐츠를 서비스받을 수 있고, 또 내부의 멀티미디어 컨텐츠를 재생할 수 있다.
본 발명의 실시 예에 따른 단말 장치(100)는 클라우드 장치(120)와 연동함으로써, 데이터 협업 처리 서비스의 제공을 위해 필요한 작업을 협업하여 수행할 수 있다. 또한, 이를 통하여, 단말 장치(100)는 개인화된 데이터 협업처리 서비스에 이용되는 데이터를 분석할 수 있다. 여기서 개인화된 데이터 협업처리 서비스란 단말 장치(100) 및 클라우드 장치(120)가 협업함으로써 사용자에게 제공되는 서비스일 수 있으며, 가령 동일한 유형의 클라우드 서비스라 하더라도 사용자마다 다르게 서비스가 제공될 수 있다. 또한 협업은 소정의 태스크(task) 즉 작업을 협력(혹은 협동)해서 처리하는 것을 의미할 수 있다. 또한, 클라우드 서비스에 이용되는 사용자 관련 데이터, 가령 어플리케이션 사용 정보, 웹 브라우징 히스토리, 및 GPS 정보와 생체 정보 등의 각종 센싱 정보를 이용하여 복수의 계층화 정보가 생성될 수 있다고 가정할 때, 사용자가 특정 계층화 정보만큼은 외부 장치 즉 클라우드 장치(120)와 공유하지 않기를 원할 수 있다. 이 경우, 단말 장치(100)와 클라우드 장치(120)가 데이터 협업 처리 서비스를 제공하기 위하여 계층화 정보를 협업하여 생성하고 이용함에 있어서, 사용자가 공유되기를 원하지 않는 계층화 정보에 관련된 데이터는 단말 장치(100)로부터 클라우드 장치(120)로 제공되지 않을 수 있다. 이러한 과정으로 사용자의 프라이버시가 보호될 수 있다. 여기서, 계층화 정보는 행동 인식, 행동 패턴 인식 및 행동 예측 등의 단계 수준별 정보, 웹 브라우저 사용, 앱 선택 등의 속성 수준별 정보 및 사용자 위치 등의 웹 브라우저 정보 등의 각 계층을 나타내는 식별 정보(indicator)와, 해당 식별 정보에 관련된 실질적인 데이터를 포함할 수 있다. 식별 정보란 즉 전송된 데이터가 행동 인식과 관련되는지, 행동 패턴 인식과 관련되는지 등을 나타내는 정보이다. 또한, 계층화 정보는, 후술할 표 1에서와 같이, 로우 데이터, 행동 데이터, 행동 패턴 데이터, 및 행동 예측 데이터 등을 포함할 수 있다. 그러나, 이에 제한 되지 않는다.
본 발명의 실시예에 따른 단말 장치(100)는 사용자가 가령 단말 장치(100)의 화면에서 지정한 설정 정보에 근거하여 계층화 정보에 대한 공유 여부를 설정할 수 있다. 또한, 설정된 공유 여부에 기초하여, 단말 장치(100)는 계층화 정보의 데이터를 분산 처리하고, 분산 처리 대상을 결정할 수 있다. 또한, 단말 장치(100)는 사용자가 지정한 설정 정보(혹은 서비스 제한 레벨 정보) 중에서 작업 분배 제약 사항 등에 근거하여 적응적으로 데이터를 분산 처리할 수 있다. 이는 데이터가 적응적으로 분산 처리됨에 따라 협업 형태가 유동적으로 변경될 수 있다. 본 발명의 실시예에서 단말 장치(100)는 사용자의 행동(예를 들어, 사용자의 활동, 콘텐트 재생, 및 애플리케이션 이용 등)에 관한 데이터를 처리할 수 있다. 예를 들어, 단말 장치(100)는 사용자의 컨텐츠의 사용 내역을 바탕으로 사용자가 좋아하는 컨텐츠의 장르나 해당 컨텐츠를 즐겨보는 장소 등을 분석하여, 사용자에게 컨텐츠를 추천해주는 것이 가능하게 된다.
데이터 협업 처리 서비스의 제공을 위한 동작을 수행하기 위하여 단말 장치(100)는 자체적으로 저전력의 데이터 분석 모듈을 탑재함으로써, 클라우드 장치(120)에서 처리되던 빅 데이터(big data) 처리 작업의 일부를 처리할 수 있다. 또한, 단말 장치(100)의 데이터 처리 작업의 일부를 클라우드 장치(120)가 처리할 수 있다. 이때 데이터 처리 작업의 대상이 되는 특정 데이터가, 예를 들어, 샌드박싱(sandboxing) 기능을 통하여 숨겨질 수 있으며, 외부에서 숨겨진 데이터에 대한 접근이 제한될 수 있다. 즉 단말 장치(100)는 데이터를 숨김으로써 클라우드 장치(120)와 같은 분석 주체들로부터 세밀한 개인 정보를 보호할 수 있게 되는 것이다. 여기서, 데이터 분석 모듈은 복수의 계층 정보, 가령 행동 인식, 행동 패턴 인식 및 행동 예측 등의 정보를 얻기 위한 각각의 엔진을 포함할 수 있다. 여기서, 엔진이란 컴퓨터 분야에서 핵심적이고 본질적인 기능을 수행하는 프로그램 (또는 프로세스)을 지칭할 수 있다. 엔진들은 논리적으로는 계층화될 수 있다. 도식화된 그림 [도 4] 상에서 하위에 있는 엔진 (e.g., 행동인식 엔진)은 상위에 있는 엔진 (e.g., 패턴 인식 엔진)이 필요로 하는 행동 인식 결과를 생성할 수 있다. 즉, 행동 인식 결과는 행동 인식 엔진의 아웃풋이자 패턴 인식 엔진에 입력될 인풋이 될 수 있다. 협업 에이전트 부분 [도 4, 400]의 분석 엔진의 수행 주체를 결정하고 수행 일정까지 설정해주는 역할을 할 수 있다. 이는 사용자 제약사항에 기반할 수 있다. 또한 사용자 제약 사항은 개인 정보 보호 모듈이 어떤 정보를 공유하고 공유를 하거나 숨길 지에 대한 정책을 결정 짓는 데에 사용될 수 있다.
또한, 단말 장치(100)는 클라우드 장치(120)와 함께 자동으로 각기 서로의 자원 사용 현황을 실시간으로 공유할 수 있다. 또한, 단말 장치(100)는 단말 장치(100)와 클라우드 장치(120)의 자원 사용 현황에 기초하여, 단말 장치(100)와 클라우드 장치(120)의 분석 작업량(workload)을 유동적으로 결정할 수 있다. 또한, 단말 장치(100)는 결정된 분석 작업량에 기초하여, 데이터 협업 처리 서비스를 위한 작업을 클라우드 장치(120)에게 분배할 수 있다. 이러한 동작은 예컨대 협업 매니저(100a)라는 일종의 프로그램을 통해 수행될 수 있다. 즉 협업 매니저(100a)는 협업을 조율하는 역할을 수행하는 지능 엔진일 수 있다. 본 발명의 실시예에 따라 협업 매니저(100a)는 협업에이전트(100a)(Autonomous Adaptation Agent: AAA)라 명명될 수도 있다. AAA와 같은 협업 매니저(100a)는 본 발명의 실시 예에 따라 프로그램 자체를 지칭할 수 있지만, 휘발성 메모리와 그 메모리에 저장된 협업 관련 프로그램을 통칭할 수 있다. 또는 프로그램을 하드웨어적으로 구성한 하드웨어뿐 아니라, 프로그램의 일부 모듈만을 하드웨어적으로 구성한 것 등을 모두 포함할 수 있다. 여기서, 분석은 데이터의 배치성 (batch-type) 작업뿐만 아니라, 실시간으로 이루어지는 복합적인 이벤트를 분석 처리하는 일련의 작업들을 포함할 수 있다. 이벤트는 실시간으로 공유되는 자원 사용 현황에 대한 정보일 수 있다. 또한, 단말 장치(100)는 작업량 분배의 단위 결정 및 분배 스케줄에 대한 정책을 기계학습 기법에 의해 수행할 수 있으며, 자동으로, 그리고 지속적으로 적용하여 습득하고 조정할 수 있다.
나아가, 사용자는 정보 공유의 수준(예를 들어, 서비스 제한 레벨 또는 협업 레벨)을 조절할 수 있는 조절 권한을 가질 수 있으며, 단말 장치(100)는 사용자의 조절 권한에 따라 개인정보 보호 및 작업 분배을 수행할 수 있다. 클라우드 장치(120)의 분석 결과는 단말 장치(100)의 분석 결과보다 좋을 수 있기 때문에, 단말 장치(100)는 클라우드 장치(120)와 컴퓨팅 능력 및 자원을 고려하여, 데이터 분석 및 가공을 위한 작업을 분배할 수 있다 예컨대, 본 발명의 실시 예에 따른 개인화 데이터 협업처리 서비스를 위한 정보의 가공 절차는 4 단계로 구분될 수 있다. 예를 들어, 1 단계는 센서로부터 감지된 센싱 데이터, 어플리케이션 사용 및 이메일 등에 관한 로그 데이터 등을 포함하는 로우 데이터를 수집하는 단계이고, 2 단계는 1 단계의 로우 데이터를 분석함으로써, 사용자의 행동을 나타내는 행동 데이터를 생성하는 단계이며, 3 단계는 사용자의 행동 데이터를 분석함으로써, 사용자의 행동 패턴 데이터를 생성하는 단계이고, 4 단계는 사용자의 행동 패턴 데이터를 이용하여 사용자의 행동을 예측하고, 사용자의 행동 예측을 바탕으로 사용자에게 제공될 서비스 응답 정보를 생성하는 단계일 수 있다.. 서비스 개발자는 서비스 어플리케이션 설치시에 사용자가 서비스 애플리케이션의 서비스를 제공하기 위하여 분석될 데이터에 관한 공유 수준을 설정할 수 있도록, 서비스 애플리케이션을 개발할 수 있다. 또한, 데이터의 공유 수준은, 단말 장치(100)의 상태, 클라우드 장치(120)의 상태, 및 단말 장치(100)와 클라우드 장치(120) 간의 네트워크 상태에 따라 유동적으로 변경될 수 있다. 또한, 서비스를 위해 분석될 데이터의 일부 또는 전부는 샌드박싱과 같은 수단을 통해 보호될 수 있다.
전술한 서비스를 위한 정보 가공 절차에서 생성 또는 이용되는 데이터를 각 단계 별로 정리하면, 예를 들어, 하기의 <표 1>과 같이 나타낼 수 있다.
 계층 계층 설명 데이터 유형 구체적 예
 4단계 사용자 행동 예측 및 서비스 응답 정보 도출 행동 예측  2시간 후 퇴근,
3시간 후 조깅
 3단계 2단계 데이터를 이용하여 사용자의 행동 및 로그 패턴 분석 행동 패턴 데이터  식사→ 운동→ 수면
 2단계 1단계 데이터를 이용하여 단말 장치에서 발생한 사용자 행동 분석 행동 데이터 도보, 통근, 식사, 채팅, 음악 청취 등
 1단계 단말 장치에서 센싱 정보 및 로그 정보를 획득 로우 데이터 센싱 값 정보(ex: GPS 정보, 생체 정보),
시각, 날짜, 요일센서의 온/오프 정보, 어플리케이션 사용 정보 등
<표 1>를 참조하면, 복수의 계층 중 1 단계는 단말 장치(100)에서 수집 가능한 모든 로우 데이터를 수집하는 단계일 수 있다. 2 단계는 1 단계의 데이터를 분석하여 사용자의 활동, 예를 들어 사용자가 걷고 있는지, 식사 중인지 등을 인식하는 단계일 수 있으며, 2 단계에서 생성되는 데이터는 로우 데이터로부터 분석된 행동 데이터일 수 있다. 3 단계는 2 단계의 데이터를 분석하여 사용자가 식사, 운동 및 잠자기의 순으로 활동을 한다는 것을 나타내는 행동 데이터를 생성하는 단계일 수 있다. 4 단계는 3단계의 데이터를 분석하여 사용자의 활동을 예측하고, 예측된 행동을 나타내는 행동 예측 데이터를 생성하는 단계일 수 있다. 4 단계에서는 행동 예측 데이터를 바탕으로 한 서비스 응답 정보가 생성될 수도 있다. 예를 들어, 디바이스(100)는 클라우드 장치(120)와의 협업을 통하여, 7일 동안의 사용자의 행동 데이터를 분석하고, 사용자가 대체로 식사 뒤에 조깅하는 행동 패턴을 가짐을 알 수 있다. 또한, 단말 장치(100)는 사용자의 행동 패턴을 바탕으로, 사용자의 행동을 예측할 수 있다.
뿐만 아니라, 단말 장치(100)가 데이터 협업처리 서비스를 위한 작업을 클라우드 장치(120)와 분산하여 수행하는 것이 어려운 경우에, 단말 장치(100)는 데이터 협업처리 서비스의 분산 수행이 어려움을 사용자에게 알릴 수 있다. 또한, 단말 장치(100)는 데이터 협업처리 서비스를 위한 작업을 클라우드 장치(120)에게 재분배할 수 있다. 예를 들어, 단말 장치(100)는 단말 장치(100) 및 클라우드 장치(120)의 네트워크 상황, 배터리 잔량, CPU 점유율, 및 메모리 점유율 등에 따라, 데이터 협업처리 서비스를 위한 작업을 적응적으로 재분배할 수 있다.
통신망(110)은 유무선 통신망을 모두 포함한다. 여기서 유선망은 케이블망이나 공중 전화망(PSTN)과 같은 인터넷망을 포함하는 것이고, 무선 통신망은 CDMA, WCDMA, GSM, EPC(Evolved Packet Core), LTE(Long Term Evolution), 와이브로 망 등을 포함하는 의미이다. 물론 본 발명의 실시 예에 따른 통신망(110)은 이에 한정되는 것이 아니며, 향후 구현될 차세대 이동통신 시스템의 접속망으로서 가령 클라우드 컴퓨팅 환경하의 클라우드 컴퓨팅망 등에 사용될 수 있을 것이다. 가령, 통신망(110)이 유선 통신망인 경우 통신망(110) 내의 액세스포인트는 전화국의 교환국 등에 접속할 수 있지만, 무선 통신망인 경우에는 통신사에서 운용하는 SGSN 또는 GGSN(Gateway GPRS Support Node)에 접속하여 데이터를 처리하거나, BTS(Base Station Transmission), NodeB, e-NodeB 등의 다양한 중계기에 접속하여 데이터를 처리할 수 있다.
통신망(110)은 액세스포인트를 포함할 수 있다. 액세스포인트는 건물 내에 많이 설치되는 펨토(femto) 또는 피코(pico) 기지국과 같은 소형 기지국을 포함한다. 여기서, 펨토 또는 피코 기지국은 소형 기지국의 분류상 단말 장치(100)를 최대 몇 대까지 접속할 수 있느냐에 따라 구분된다. 물론 액세스포인트는 단말 장치(100)와 지그비 및 와이파이(Wi-Fi) 등의 근거리 통신을 수행하기 위한 근거리 통신 모듈을 포함한다. 액세스포인트는 무선통신을 위하여 TCP/IP 혹은 RTSP(Real-Time Streaming Protocol)를 이용할 수 있다. 여기서, 근거리 통신은 와이파이 이외에 블루투스, 지그비, 적외선(IrDA), UHF(Ultra High Frequency) 및 VHF(Very High Frequency)와 같은 RF(Radio Frequency) 및 초광대역 통신(UWB) 등의 다양한 규격으로 수행될 수 있다. 이에 따라 액세스포인트는 데이터 패킷의 위치를 추출하고, 추출된 위치에 대한 최상의 통신 경로를 지정하며, 지정된 통신 경로를 따라 데이터 패킷을 다음 장치, 예컨대 단말 장치(100)로 전달할 수 있다. 액세스포인트는 일반적인 네트워크 환경에서 여러 회선을 공유할 수 있으며, 예컨대 라우터(router), 리피터(repeater) 및 중계기 등이 포함될 수 있다.
클라우드 장치(120)는 무형의 형태로 존재하는 소프트웨어 등의 컴퓨팅 자원을 저장하고 관리하는 장치로서, 예컨대 단말 장치(100)의 요청이 있는 경우 특정 어플리케이션(또는 프로그램)을 단말 장치(100)로 제공함으로써 처리되는 어플리케이션 관련 정보를 제공받아 저장 및 관리하거나, 단말 장치(100)의 요청시 내부에서 어플리케이션을 구동한 후 단말 장치(100)에서 요청하는 어플리케이션 관련 정보를 처리하고, 처리 결과를 저장 및 관리할 수 있다.
또한, 본 발명의 실시 예에 따른 클라우드 장치(120)는 서비스 제공 장치로서 데이터 협업처리 서비스를 위한 데이터의 공유 수준에 관한 서비스 제한 레벨 정보를 단말 장치(100)와 공유할 수 있다. 클라우드 장치(100)는 서비스 제한 레벨 정보에 기초하여, 단말 장치(100)에서 제공되는 데이터를 단말 장치(100)와 협업하여 처리할 수 있다. 여기서, 서비스 제한 레벨 정보는 협업 데이터의 처리를 위하여 사용자가 데이터 공유 수준에 관하여 설정한 설정 정보일 수 있다. 서비스 제한 레벨 정보는, 실질적인 분석 데이터가 아닌 부가 정보일 수 있다. 예를 들어, 사용자는 문자 메시지의 내용이 클라우드 장치(120)에 의해 공유되는 것은 제한하되, 문자 메시지가 송수신된 이력에 관한 정보는 클라우드 장치(120)에 의해 공유되는 것이 허용되도록, 데이터 공유를 설정할 수 있다. 이 경우, 사용자에 의해 설정된 데이터 공유에 관한 설정 값이 서비스 제한 레벨 정보에 포함될 수 있다.
한편, 상기에서는 단말 장치(100)가 클라우드 장치(120)에게 작업을 분배하고, 클라우드 장치(120)와의 데이터 공유 수준을 설정하는 것으로 설명하였지만, 이에 제한되지 않는다. 클라우드 장치(100)가 단말 장치(100)에게 작업을 분배하고, 단말 장치(100)와의 데이터 공유 수준을 설정할 수도 있다. 이 경우, 클라우드 장치(120)는 단말 장치(100)와 마찬가지로 협업 매니저(120a)를 가질 수 있다. 클라우드 장치(120)는 단말 장치(100)에서 제공하는 데이터를 분석하여 단말 장치(100)의 사용자에 대한 계층적인 정보를 얻을 수 있다. 이 경우, 클라우드 장치(120)는 사용자가 설정한 보안 수준에 기초하여, 개인화 정보 중 특정 계층의 정보의 일부 또는 전부를 수신할 수 있게 된다. 클라우드 장치(120)는 단말 장치(100)에서 설정한 데이터 처리 주체, 분석 가능 수준 및 자원 사용 제약 사항 등 다양한 조건에 따라, 단말 장치(100)로부터 수신된 데이터를 분석할 수 있다. 이를 위하여 클라우드 장치(120)는 자체적으로 데이터 처리를 위한 데이터 분석 모듈 및 분석 협업을 위한 스케줄 정책 등에 관련된 정보를 처리하는 협업 매니저(120a)를 포함할 수 있다. 데이터 분석 모듈 및 협업 매니저(120a)는 단말 장치(100)의 데이터 분석 모듈 및 협업 매니저(100a)와 유사할 수 있다. 클라우드 장치(120)의 데이터 분석 모듈은 단말 장치(100)의 데이터 분석 모듈에 비해 성능이 우수할 수 있다.
클라우드 장치(120)의 협업 매니저(120a)라는 지능 엔진은 단말 장치(100)의 협업 매니저(100a)라는 지능 엔진과 연동함으로써, 클라우드 장치(120) 및 단말 장치(100)는 자원 사용 현황을 서로 실시간으로 공유하면서 데이터의 분석 작업을 분배하여 수행할 수 있다. 예를 들어, 클라우드 장치(120)의 협업 매니저(120a)와 단말 장치(100)의 협업 매니저(100a)가 협업 즉 상호 작용(interaction)하여 데이터의 분석을 위한 작업을 분배하면, 분배 결과에 따라 클라우드 장치(120)의 데이터 분석 모듈과 단말 장치(100)의 데이터 분석 모듈은 각각 자신에게 할당된 데이터의 분석 동작을 수행할 수 있다.
예를 들어, 단말 장치(100)의 사용자가, 단계 수준별 정보 중에서 사용자의 행동에 대한 1 계층의 로우 데이터와 2 계층의 행동 데이터는 클라우드 장치(120)와 공유되고, 3 계층의 행동 패턴 데이터와 4 계층의 행동 예측 데이터는 클라우드 장치(120)와 공유되지 않도록 설정할 수 있다. 이 경우, 단말 장치(100)의 협업 매니저(100a)는 클라우드 장치(120)의 협업 매니저(120a)와 설정에 근거하여 작업 데이터를 분배할 수 있다.협업 도중에, 클라우드 장치(120)의 리소스가 부족해지면, 클라우드 장치(120)의 협업 매니저(120a)는 리소스의 부족을 단말 장치(1000)의 협업 매니저(100a)에게 알릴 수 있다. 또한, 단말 장치(120)는 리소스 부족 알림을 수신하고, 클라우드 장치(100)의 작업을 재분배할 수 있다.
한편, 클라우드 장치(120)는 가상 편성(Virtual Organization) 기술을 이용해 통신망(110)을 경유하여 클라우드 장치(120)와 접속하고, 클라우드 장치(120)가 제공하는 자원(resource)을 등록할 수 있다. 이를 통해 개발자들은 특정 어플리케이션 등을 처음부터 자체적으로 개발하지 않고 클라우드 장치(120)를 기반으로 서비스 제공자가 제공하는 API(Application Programming Interface)를 통해 신속하게 어플리케이션을 개발할 수 있다. 여기서 API는 운영체제와 응용프로그램 사이의 통신에 사용되는 언어나 메시지 형식으로 구현될 수 있다.
단말 장치(100)는 가령 ASR(Acoustic Speech Recognition)과 같은 데이터 협업처리 서비스를 통해 특정 결과를 얻고자 할 때, 자신이 보유하고 있는 계층화 정보와 클라우드 장치(120)에서 제공한 계층화 정보를 근거로 사용자가 요청한 결과를 사용자에게 제공할 수 있을 것이다. 물론 단말 장치(100)는, 특정 계층화 정보에 해당되는 데이터를 분석하여 얻은 분석 결과가 클라우드 장치(120)에 있는지를 클라우드 장치(120)로부터 확인할 수 있으며, 클라우드 장치(120)에게 분석 결과를 요청함으로써 사용자가 원하는 결과를 획득할 수 있다.
도 1B는 본 발명의 제2 실시 예에 따른 데이터 협업처리 서비스 시스템을 나타내는 도면이다.
도 1B에 도시된 바와 같이 본 발명의 제2 실시 예에 따른 데이터 협업처리 서비스 시스템(90')은 단말 장치(100-1'), 이웃 단말 장치(100-2'), 통신망(110') 및 클라우드 장치(120')를 포함한다. 이웃 단말 장치는 사용자 본인의 소유, 가족 또는 친구의 소유 일 수 있다. 가족 또는 친구의 소유의 경우, 데이터 협업에 대한 상호 동의가 이루어져야 한다. 따라서, 사용자 데이터 공유 제한 레벨 표시에 따른 협업을 위한 데이터의 공유는 단말 장치(100-1’)와 클라우드 장치(120’) 간의 공유 정책을 따르는 방식과 동일하다. 이웃 단말 장치가 복수 개인 경우, 공유할 협업 데이터의 분할 단위 조정은 다수의 전산 자원을 가지고 있는 클라우드로의 분할 방식과 같은 방식 따른다.
도 1B의 데이터 협업처리 서비스 시스템(90')을 도 1A의 클라우드 컴퓨팅 시스템(90)과 비교하면, 이웃 단말 장치(100-2')를 더 포함한다는 점에서 차이가 있다. 여기서, 이웃 단말 장치(100-2')는 스마트 폰과 같은 휴대폰 이외에 앞서 언급한 바 있는 가령 와이파이 통신 등을 수행하는 액세스포인트, 나아가 TV 및 셋탑 박스와 같은 다양한 종류의 단말을 포함할 수 있다.
위의 구성에 따라, 단말 장치(100-1')는 데이터 협업처리 서비스에 이용될 데이터의 분산 처리 주체를 클라우드 장치(120') 이외에 이웃 단말 장치(100-2')로 더 지정할 수 있다. 이러한 데이터의 분산 처리 과정은 통신망(110')을 경유해 이루어질 수 있으며, 단말 장치(100-1')와 이웃 단말 장치(100-2') 간 다이렉트 통신을 통해 이루어질 수 있을 것이다.
물론 이웃 단말 장치(100-2')는 단말 장치(100-1')에서 요청한 데이터를 분석하기 위한 엔진 즉 프로그램가 이웃 단말 장치(100-2')에 구비되는 것이 바람직하지만, 해당 프로그램이 구비되지 않았다고 판단될 때, 이웃 단말 장치(100-2')는 단말 장치(100-1') 또는 클라우드 장치(120')로부터 해당 프로그램을 제공받아 분석 동작을 수행할 수 있다. 여기서 해당 프로그램이란 협업 매니저 (100a) 또는 분석 작업을 할 수 있는 다운로드 가능한 엔진을 지칭한다. 그리고 분석 동작을 통해 얻은 분석 결과(예를 들어, 계층화 정보)는 이웃 단말 장치(100-2')의 내부 메모리에 저장되거나, 이웃 단말 장치(100-2')로부터 단말 장치(100-1') 또는 클라우드 장치(120')로 제공될 수 있다. 이때, 특정 사용자에 대한 해당 계층화 정보가 어디에 저장되어 있는지에 대한 정보는 단말 장치(100-1'), 이웃 단말 장치(100-2') 및 클라우드 장치(120')가 개인의 프라이버시를 침해하지 않는 선에서 서로 공유될 수 있을 것이다. 이웃 단말 장치(100-2')의 협업 처리와 관련해서는 이후에 좀더 다루기로 한다.
그 이외에, 도 1B에 도시된 기타 단말 장치(100-1'), 통신망(110') 및 클라우드 장치(120')와 관련해서는 도 1A의 단말 장치(100), 통신망(110) 및 클라우드 장치(120)와 유사하므로 그 내용들로 대신하고자 한다.
도 1C는 본 발명의 제3 실시 예에 따른 데이터 협업처리 서비스 시스템을 나타내는 도면이다.
도 1C의 데이터 협업처리 서비스 시스템(90")을 도 1B의 클라우드 컴퓨팅 시스템(90')과 비교해 보면, 도 1B의 이웃 단말 장치(100-2')가 웨어러블 장치(100-2")로 구성된다는 점에서 차이가 있다. 여기서, 웨어러블 장치(100-2")는 갤럭시 기어와 같은 시계 형태의 컴퓨팅 능력을 갖는 스마트 워치일 수 있으며, 안경 형태의 컴퓨팅 능력을 갖는 스마트 글래스일 수 있다. 이외에도 통신이 가능하다면 안경, 반지, 글래스, 링, 벨트, HMD(Head Mounted Display), 헤드폰/이어폰 형태의 웨어러블 기기일 수도 있다. 또한, 웨어러블 장치(100-2")는 생체 정보를 측정하는 만보계, 혈압계, 혈당계 등의 생체 정보 측정 기능을 갖는 웨어러블 기기일 수도 있다.
이 경우에도 단말 장치(100-1")는 데이터 협업처리 서비스에 이용될 데이터의 분산 처리 주체를 웨어러블 장치(100-2")로 더 지정할 수 있다. 그 이외의 웨어러블 장치(100-2")의 동작은 도 1B의 이웃 단말 장치(100-2')와 유사하므로 그 내용들로 대신하고자 한다.
또한, 도 1C에 도시된 단말 장치(100-1"), 통신망(110") 및 클라우드 장치(120")는 도 1A의 단말 장치(100), 통신망(110) 및 클라우드 장치(120)와 유사하므로 그 내용들로 대신하고자 한다.
도 1D는 본 발명의 제4 실시 예에 따른 데이터 협업처리 서비스 시스템을 나타내는 도면이다.
도 1D의 데이터 협업처리 서비스 시스템(90'")을 도 1B의 클라우드 컴퓨팅 시스템(90')과 비교해 보면, 도 1B의 이웃 단말 장치(100-2')가 허브 또는 게이트 웨이(100-2'")로 구성된다는 점에 차이가 있다. 여기서 허브(hub)는 하나의 네트워크 안에서 1개의 회선으로 컴퓨터와 같은 여러 개의 호스트를 사용할 수 있는 인터페이스를 제공하는 장치이며, 게이트 웨이는 가령 다른 프로토콜을 사용하는 서로 다른 네트워크의 통신을 가능하게 하는 장치이다.
본 발명의 실시 예에 따라 단말 장치(100-1'")는 자신이 연결된 허브 또는 게이트 웨이(100-2'")와도 개인화된 데이터 협업처리 서비스에 이용될 데이터의 분산 처리를 수행할 수 있을 것이다. 허브 또는 게이트 웨이(100-2'")의 동작은 도 1B의 이웃 단말 장치(100-2')와 크게 다르지 않으므로 더 이상의 설명은 생략한다.
또한, 도 1D에 도시된 단말 장치(100-1'"), 통신망(110'") 및 클라우드 장치(120'")는 도 1A의 단말 장치(100), 통신망(110) 및 클라우드 장치(120)와 유사하므로 그 내용들로 대신하고자 한다. 다만, 도 1D에서 통신망(110'")은 BTS나 e-Node와 같은 기지국을 통해 단말 장치(100-1'")와 연결될 수 있을 것이다.
도 1E는 본 발명의 제5 실시 예에 따른 데이터 협업 처리 서비스 시스템을 나타내는 도면이다.
도 1E의 데이터 협업처리 서비스 시스템(90"")을 도 1C의 클라우드 컴퓨팅 시스템(90")과 비교해 보면, 도1E의 단말 장치(100-1"")는 웨어러블 장치(100-2"")와 제1 통신망(110-1"")을 통하여 연결되고, 단말 장치(100-1"")는 클라우드 장치(120"")와 제2 통신망(110-2"")을 통하여 연결된다는 점에서 차이가 있다. 여기서, 제1 통신망(110-1"")은 근거리 통신망이 될 수 있다. 근거리 통신망은, 예로, 무선 랜(Wi-Fi), 블루투스, 지그비, WFD((Wi-Fi Direct), UWB(ultra wideband), 적외선 통신(IrDA, infrared Data Association), BLE(Bluetooth Low Energy), NFC(Near Field Communication) 및 Ant+ 중 적어도 하나의 근거리 통신을 이용하는 통신망이 될 수 있으나, 이에 한정되는 것은 아니다. 제2 통신 망(110-2"")은 도1A에서 전술한 통신망(100)이 될 수 있으며, 근거리 또는 원거리 통신망이 될 수 있다.
도 1E에서, 단말 장치(100-1"")는 데이터의 분산 처리 주체를 클라우드 장치(120"") 및 웨어러블 장치(100-2"") 중 적어도 하나를 더 지정하여 데이터 협업처리 서비스에 이용될 데이터를 처리할 수 있다.
예를 들어, 웨어러블 장치(100-2"")의 센서는 사용자의 활동과 관련된 로우 데이터 또는 사용자의 생체 정보와 관련된 로우 데이터를 획득할 수 있다. 단말 장치(100-1"")는 웨어러블 장치(100-2"")로부터 제1 통신망을 통하여 로우 데이터를 수신할 수 있다. 이후, 단말 장치(100-1"")는 클라우드 장치(120"")와 협업하여 수신된 로우 데이터를 분석할 수 있다. 또는, 웨어러블 장치(100-2"")로부터 가공된 데이터를 수신하여, 가공된 데이터를 클라우드 장치(120"")와 협업하여 분석할 수 있다. 가공된 데이터는, 예를 들어, 행동 데이터, 행동 패턴 데이터 및 행동 예측 데이터를 포함할 수 있으나, 이에 제한되지 않는다.
구체적으로, 로우 데이터 및 가공된 데이터가 보안 수준 또는 가공 수준에 따라, 계층 별로 또는 기설정된 기준에 따라 구분되어, 단말 장치(100-1"") 또는 웨어러블 장치(100-2"")의 화면에 표시될 수 있다. 이 경우, 작업 주체가 결정되면, 단말 장치(100-1""), 웨어러블 장치(100-2"") 및 클라우드 장치(120"")는 서로 협업하여 사용자의 생체 정보를 분석하고, 사용자에게 적합한 건강 서비스를 제공할 수 있다. 건강 서비스는, 사용자에게 필요한 운동 또는 휴식 방법 등을 제공하는 것이 될 수 있다. 또한, 사용자에게 질병 가능성 및 질병의 진척 현황 등을 제공하는 것이 될 수 있다.
단말 장치(100-1"") 또는 웨어러블 장치(100-2"")는 사용자의 생체 정보와 관련된 데이터를 외부 장치 또는 클라우드 장치(120"")로 전송할 때, 프라이버시 보호를 위해 상기 데이터의 일부를 익명화한(anonymizing) 데이터를 전송할 수 있다. 이 경우, 로우 데이터 및 가공 데이터의 일부 또는 전부가 익명화될 수 있다. 예를 들어, 데이터의 일부를 익명화는 것은 생체 정보와 관련된 로우 데이터 또는 가공 데이터의 일부를 기설정된 다른 값으로 변경함으로써 익명화하는 것일 수 있다. 예를 들어, 익명화는 특정 데이터에서 이름, 나이, 성별 등의 데이터를 다른 값으로 변경해주는 것일 수 있다. 익명화에 관한 자세한 내용은 이후에 좀더 살펴보기로 한다. 또한, 웨어러블 장치(100-2"")에서 수집된 생체 정보를 기반으로 단말 장치(100-1"")와 클라우드 장치(120"") 간 협업을 통해 차별화된 수준의 의료 서비스를 제공하는 시나리오가 후술될 예정이다.
도 2A는 도 1A 내지 도 1E에 나타낸 단말 장치(100, 100-1', 100-1", 100-1'", 100-1"")의 세부 구조를 예시하여 나타낸 블록다이어그램이다.
설명의 편의상 도 2A를 도 1A와 함께 참조하면, 본 발명의 실시 예에 따른 단말 장치(100)는 통신 인터페이스부(200), 제어부(210) 및 디스플레이부(220)의 일부 또는 전부를 포함한다.
여기서, 일부 또는 전부를 포함한다는 것은 통신 인터페이스부(200)와 같은 일부 구성요소가 제어부(210)와 같은 다른 구성요소에 통합되어 구성될 수 있는 것 등을 의미할 수 있다. 예를 들어, 통신 인터페이스부(200)와 제어부(210)는 데이터 처리부라 명명될 수 있다. 이하, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명하고자 한다.
통신 인터페이스부(200)는 데이터 협업처리 서비스(예를 들어, 개인화된 데이터 협업처리 서비스)를 사용자에게 제공하기 위하여 클라우드 장치(120)와 통신을 수행한다. 이를 위하여 통신 인터페이스부(200)는 사용자가 단말 장치(100)에서 설정한 데이터 협업처리 서비스에 대한 서비스 제한 레벨 정보를 클라우드 장치(120)로 전송할 수 있다. 또한 통신 인터페이스부(200)는 서비스 제한 레벨에 대한 정보에 근거해 데이터 협업처리 서비스를 위해 분석되어야 할 데이터를 클라우드 장치(120)로 전송할 수 있다. 이의 과정에서 통신 인터페이스부(200)는 수신된 데이터를 변환하는 등의 동작을 추가로 수행할 수 있다. 가령, 통신 인터페이스부(200)는 부호화나 복호화와 같은 데이터 처리를 수행할 수 있을 것이다. 하나의 특정 계층에 해당되는 데이터라 하더라고, 작업 분배가 이루어진 경우에는 단말 장치(100)가 클라우드 장치(120)에게 서비스 제한 레벨 정보를 전송해 줌으로써 데이터 분배를 보다 용이할 수 있을 것이다. 가령, 처리될 데이터가 2 계층의 행동 인식 결과에 해당되는 데이터의 경우, 처리될 데이터의 전반 50%는 단말 장치(100)에서 처리하고, 후반 50%는 클라우드 장치(120)에서 처리하기로 사용자가 설정할 수 있다. 이 경우, 클라우드 장치(120)는 서비스 제한 레벨 정보를 처리될 데이터(예를 들어, 풀(full) 데이터)를 함께 제공받을 수 잇으며, 서비스 제한 레벨 정보에 따라 처리될 데이터를 분석할 수 있다. 그러나, 이에 제한되지 않으며, 본 발명의 실시예에서는 서비스 제한 레벨 정보의 전송이 필요없는 상황에서 클라우드 장치(120)는 서비스 제한 레벨 정보를 수신하지 않고, 처리될 데이터만 수신하고 수신된 데이터를 분석할 수도 있다.
제어부(210)는 통신 인터페이스부(200) 및 디스플레이부(220)의 전반적인 동작을 제어할 수 있다. 예를 들어, 사용자가 디스플레이부(220)에 표시된 UI 화면을 통해 데이터 협업처리 서비스에 대한 서비스 제한 레벨을 설정하는 경우, 데이터 협업 처리 서비스 및 설정에 관련된 정보를 클라우드 장치(120)로 전송하도록 통신 인터페이스부(200)를 제어할 수 있다. 여기서 서비스 제한 레벨이란 사용자의 프라이버시 보호의 정도를 나타내는 레벨일 수 있으며, 서비스 제한 레벨에 따라 사용자에 관련된 데이터의 일부 또는 전부의 공유가 제한될 수 있다. 클라우드 장치(120)는 단말 장치(100)로부터 제공된 사용자에 관련된 데이터를 이용하여 복수의 계층화된 계층화 정보를 도출해 낼 수 있다. 또한, 서비스 제한 레벨에 따라, 클라우드 장치(120)에게 제공될 데이터의 일부 또는 전부가 익명화될 수 있다. 클라우드 장치(120)가 복수의 계층화 정보 중 특정 계층화 정보에 대하여는 정보를 공유할 수 없도록 단말 장치(100)의 사용자는 어느 단계의 계층화 정보까지 클라우드 장치(120)와 공유할 수 있는지를 설정할 수 있다. 이에 따라 특정 계층화 정보를 도출하기 위해 필요한 일부 데이터가 단말 장치(100)에서 클라우드 장치(120)로 제공되지 않을 수 있다.
제어부(210)는 이와 같은 서비스 제한 레벨을 설정하기 위하여 디스플레이부(220)에 UI 화면을 표시하도록 제어함과 동시에, 다양한 정보를 추가로 설정하도록 제어할 수 있다. 예컨대, 사용자가 복수의 계층화 정보 중 특정 계층화 정보를 도출하기 위하여 해당 계층화 정보에 관련된 데이터를 어디까지 분석할지, 만약 분석 주체가 결정되었다면 분석 수준을 몇 퍼센트(%)로 할지 등 다양한 정보를 설정할 수 있다. 또한, 단말 장치(100)의 CPU 및 배터리 등과 같은 자원의 가용 능력 및 통신망(110)과 같은 네트워크 상황에 따라 데이터의 분산 처리를 어떻게 수행할지에 대한 다양한 정보도 설정가능하다. 이와 같이 설정된 다양한 정보들은 클라우드 장치(120)와 공유될 수 있다. 기타 자세한 내용은 이후에 좀더 다루기로 한다. 협업 에이전트와 분석 모듈은 제어부(210)에서 설정된 서비스 제한 레벨에 따라 협업 프로세스를 수행할 수 있다.
디스플레이부(220)는 사용자의 설정이 필요한 다양한 UI 화면을 표시해 준다. 여기서, 사용자의 설정이 필요한 UI 화면이란 서비스 제한 레벨, 데이터 분석작업 가능 주체, 분석작업 수준 및 작업 분배 제약 사항을 설정하기 위한 화면을 포함할 수 있다. 또한, 사용자가 UI 화면을 통해 설정한 정보에 근거하여 사용자에게 부가적으로 알릴 필요가 있다고 판단하는 정보를 UI 화면 또는 팝업 창의 형태로 표시해 줄 수 있다. 예를 들어, 사용자가 복수의 계층화 정보 중에서 특정 계층화 정보와 관련해서는 정보가 공유되지 않기를 원하였지만, 디스플레이부(220)는 이러한 설정 과정이 잘못되었음을 알리거나, 이에 따라 공유하지 않기를 원하였던 특정 계층화 정보가 외부에 공유될 수 있음을 알리는 정보를 표시할 수 있다. 이외에도 디스플레이부(220)는 제어부(210)에서 처리하는 다양한 정보를 표시해 줄 수 있을 것이다.
도 2B는 도 1A 내지 도 1E에 나타낸 단말 장치의 세부 구조에 대한 다른 예시도이다.
설명의 편의상 도 2B를 도 1A와 함께 참조하면, 본 발명의 다른 실시 예에 따른 단말 장치(100)는 통신 인터페이스부(200'), 사용자 인터페이스부(210'), 제어부(220'), 데이터 분석부(230') 및 UI 화면 생성부(240')의 일부 또는 전부를 포함할 수 있다. 나아가, 단말 장치(100)는 촬상부(미도시), 음성 인식부(미도시), 음성 출력부(미도시) 등을 더 포함할 수 있다.
여기서, 일부 또는 전부를 포함한다는 것은 사용자 인터페이스부(210')와 같은 일부 구성요소가 생략되거나, UI 화면 생성부(240')와 같은 일부 구성요소가 제어부(220')와 같은 다른 구성요소에 통합 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.
통신 인터페이스부(200')는 도 2A에 도시된 통신 인터페이스부(200)와 마찬가지로, 사용자가 단말 장치(100)에서 설정한 서비스 제한 레벨에 연계된 식별 정보 및 서비스 제한 레벨에 근거하여 클라우드 장치(120)와 협업하여 다양한 데이터를 분산적으로 분석 처리할 수 있다.
사용자 인터페이스부(210')는 버튼부 및 디스플레이부로 구성될 수 있으며, 버튼부의 기능 및 디스플레이부의 기능을 함께 수행하는 터치 스크린으로 구현될 수도 있다. 그리고, 사용자 인터페이스부(210')는 나아가 센서 등을 구비한 사용자 정보 검출부를 포함할 수 있다. 버튼부를 통해서는 사용자 명령을 입력받을 수 있으며, 사용자 정보 검출부를 통해서는 단말 장치(100)를 사용하는 사용자에 대한 다양한 정보를 검출할 수 있다. 예를 들어, 사용자의 위치 등에 대한 정보를 검출할 수 있을 것이다. 그리고, 디스플레이부를 통해서 단말 장치(100)에 지원하는 각종 정보를 디스플레이할 수 있다.
제어부(220')는 단말 장치(100) 내에 구성된 통신 인터페이스부(200'), 사용자 인터페이스부(210'), 데이터 분석부(230') 및 UI 화면 생성부(240')의 전반적인 동작을 제어할 수 있다. 예를 들어, 제어부(220')는 사용자 인터페이스부(210')를 통해 사용자 요청이 있을 때, UI 화면 생성부(240')를 제어하여 서비스 제한 레벨을 설정하기 위한 UI 화면을 사용자 인터페이스부(210'), 더 정확하게는 디스플레이부에 표시하도록 제어할 수 있다. 또한, 설정한 서비스 제한 레벨 정보를 근거로 처리되는 데이터를 데이터 분석부(230')에 제공하여 계층화 정보를 도출하도록 제어할 수 있다. 제어부(220')와 관련한 기타 자세한 내용은 도 2A의 제어부(220)와 크게 다르지 않으므로 그 내용들로 대신하고자 한다.
제어부(220')는 CPU와 메모리를 포함할 수 있다. 여기서, 메모리는 램(RAM) 및/또는 롬(ROM)을 포함할 수 있다. 램(RAM)은 휘발성 메모리로서, 본 발명의 실시 예에 따른 협업에이전트(100a)와 같은 프로그램을 저장할 수 있다. 그리고, 롬(ROM)은 비휘발성 메모리로, 단말 장치(100)의 초기 구동을 위한 프로그램을 저장할 수 있다. 이에 따라 CPU는 초기 구동시에 롬(ROM)에 저장된 프로그램으로 부팅을 수행하고, 부팅 이후에 메모리 내에 저장된 자동 협업을 위한 프로그램을 실행시키고, 그의 실행에 따라 제공되는 서비스 제한 레벨 정보에 근거하여 데이터의 분산 처리를 위한 협업 동작을 수행한다. 제어부(220')는 서비스 제한 레벨 정보에 근거하여 제공되는 데이터를 데이터 분석부(230')로 제공한다.
데이터 분석부(230')는 자체적으로 구비된 사용자 인터페이스부(210') 내의 다양한 센서 등을 통해 취득되는 데이터를 분석한다. 예를 들어, 자이로스코프를 통해서 사용자가 쥐고 있는 단말 장치(100) 의 움직임 정보(방향 정보 또는 회전 정보 등)를 취득할 수 있다. 다른 예로, 사용자가 사용하는 애플리케이션의 종류 및 어플리케이션을 이용한 로그 내역도 취득될 수 있다. 이의 과정에서 데이터 분석부(230')는 사용자가 설정한 서비스 제한 레벨 정보에 근거해 데이터를 분석한다. 사용자가 복수의 계층화 정보 중 특정 계층의 계층화 정보는 단말 장치(100)에서 도출할 수 있도록 설정한 경우, 데이터 분석부(230')는 특정 계층화 정보에 관련된 데이터만을 분석할 수 있다. 이를 위하여 데이터 분석부(230')는 계층화 정보를 각각 도출하기 위한 분석 엔진 즉 프로그램을 실행시킬 수 있다.
전술한 로우 데이터를 획득하는 획득부 및 데이터 분석 결과를 정리하면 하기의 <표 2>와 같이 나타낼 수 있다.
서비스 로우 데이터 획득부 분석부1
(행동인식)
분석부1
(행동 패턴 인식)
분석부3
(행동 패턴 예측,
추천 정보 제공)
운동 관리 서비스 자이로스코프센서,
GPS 등
뛴다
걷는다
점프한다
특정 장소에 있다
강가에서 오후 7시에 주로 한 시간 동안 조깅하고 한다 조깅 시간이 한 시간 미만인 경우, 운동 독려 알림 메시지 또는 새로운 대체 운동을 추천한다.
스케줄 알리미 서비스 GPS,
시각 측정기 센서,
캘린더 모니터 등
특정 장소에 있다
특정 시각 측정
특정 일자의 일정 인식
오후 2시부터 계속 집에 머무르고 있다 6시에 출국 일정이 있다. 지금 출발해야, 안전하게 탑승 수속을 밟을 수 있을 것으로 예상된다는 알림 메시지 전송
콘텐츠 추천 서비스 시각 측정기,
앱 사용 모니터
특정 시각 측정
특정 앱 사용 인식
오후 8시에 주로 음악 스트리밍 서비스를 사용하고, 클래식을 즐겨 듣는다 오후 8시에 클래식을 들을 것으로 예상되니, 최근 주목 받는 클래식 음악을 선정하여 추천
의료 관리 서비스 심박 센서,
혈당 센서,
혈압 센서,
시각 측정기
맥박이 빠르다/느리다.
혈압이 높다/낮다.
혈당이 높다/낮다.
오전에 일시적으로 혈압이 높은 상태가 유지된다. 하루 종일 혈압이 높은 상태가 계속되면,
위험 메시지를 보호자 또는 병원으로 전송
UI 화면 생성부(240')는 UI 화면을 생성하는 부분으로서, 가령 계층화 정보의 공유 여부를 결정하기 위한 UI 화면 등 특정 기능을 위한 다양한 UI 화면을 생성할 수 있다. 여기서 다양한 UI 화면은 서비스 제한 레벨 및 작업 분배 제약 사항을 설정하기 위한 UI 화면 등을 포함한다. 또는 UI 화면 생성부(240')는 생성된 화면에 대한 정보를 기저장하고, 특정 이벤트가 발생할 때, 해당 UI 화면에 대한 정보를 제공하도록 구성되는 것도 얼마든지 가능할 수 있을 것이다.
그 이외에 촬상부는 가령 카메라와 같은 촬상 소자를 포함하며, 촬상 소자로 촬상된 촬상 데이터(예를 들어, 이미지 파일 또는 동영상 파일)는 데이터 협업처리 서비스에 이용할 수 있을 것이다. 또한, 음성 인식부는 마이크로폰을 포함하며, 음성 데이터 또한 데이터 협업처리 서비스에 이용될 수 있다. 음성 출력부는 스피커 등을 포함한다.
도 3A는 도 1A 내지 도 1E에 도시된 클라우드 장치의 세부 구조를 예시하여 나타낸 블록다이어그램이다.
설명의 편의상 도 3A를 도 1A와 함께 참조하면, 본 발명의 실시 예에 따른 클라우드 장치(120)는 통신 인터페이스부(300), 제어부(310) 및 저장부(320)의 일부 또는 전부를 포함한다.
여기서, 일부 또는 전부를 포함한다는 것은 통신 인터페이스부(300)와 같은 일부 구성요소가 제어부(310)와 같은 다른 구성요소에 통합 구성되어 데이터 처리부를 이룰 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.
통신 인터페이스부(300)는 사용자에게 데이터 협업처리 서비스를 제공하기 위하여 단말 장치(100)와 통신을 수행한다. 이를 위하여, 통신 인터페이스부(300)는 단말 장치(100)에서 제공하는 사용자별 서비스 제한 레벨 정보를 수신하여 저장부(320)에 저장하도록 제어부(310)로 전달한다. 또한, 통신 인터페이스부(300)는 서비스 제한 레벨 정보에 근거해 단말 장치(100)에서 제공하는 데이터를 수신한다. 이후 통신 인터페이스부(300)는 정보 변환 등의 동작을 수행할 수 있다. 그리고, 통신 인터페이스부(300)는 단말 장치(100)로부터 수신된 데이터에 대한 분석 결과로서 특정 계층화 정보가 요청되는 경우 이를 전송할 수 있을 것이다.
제어부(310)는 클라우드 장치(120) 내의 각 구성(예를 들어, 통신 인터페이스부(300) 및 저장부(320))의 전반적인 동작을 제어하며, 데이터 분석 동작을 수행할 수 있다. 예를 들어, 제어부(310)는 통신 인터페이스부(300)에서 제공된 서비스 제한 레벨 정보 등 다양한 정보를 저장부(320)에 저장할 수 있다. 그리고, 분산 데이터 또는 단말 장치(100)로부터 로우 로그 데이터(Raw Log Data)가 제공되는 경우, 제어부(310)는 저장한 서비스 제한 레벨 정보에 근거하여 데이터의 분석 동작을 수행할 수 있다. 여기서, 로그 데이터는 웹이나 모바일 같은 온라인 채널을 통해 얻어지는 데이터를 포함할 수 있다. 이를 위하여, 제어부(310)는 내부 메모리(구체적으로, RAM)에 분석 엔진 즉 프로그램을 저장하고, 또는 저장부(320)에 저장하고 이를 실행시켜 데이터 분석에 따른 임의의 사용자에 대한 계층화 정보를 생성할 수 있다. 생성한 계층화 정보는 이후 단말 장치(100)로부터 요청이 있는 경우 제공할 수 있다.
저장부(320)는 데이터 분석 처리에 필요한 다양한 정보를 저장할 수 있다. 대표적으로 저장부(320)는 제어부(310)에서 제공한 서비스 제한 레벨 정보를 저장하고 제어부(310)의 제어 하에 저장한 정보를 출력할 수 있다. 이외에도 저장부(320)는 제어부(310)에서 처리되는 다양한 정보 및 데이터 처리 결과를 저장한 후 요청이 있을 때 출력할 수 있을 것이다.
도 3B는 도 1A 내지 도 1E에 도시된 클라우드 장치의 세부 구조에 대한 다른 예시도이다.
설명의 편의상 도 3B를 도 1A와 함께 참조하면, 본 발명의 실시 예에 따른 클라우드 장치(120)는 통신 인터페이스부(300'), 제어부(310'), 저장부(320') 및 데이터 분석부(330')의 일부 또는 전부를 포함할 수 있다. 여기서, 일부 또는 전부를 포함한다는 것은 앞서서의 의미와 동일하다.
도 3B의 클라우드 장치(120)를 도 3A의 클라우드 장치(120)와 비교해 볼 때, 제어부(310')와 분리된 데이터 분석부(330')를 포함한다는 데에 차이가 있다.
제어부(310')는 CPU 및 휘발성 메모리를 포함할 수 있다. 개인화된 데이터 협업처리 서비스를 제공하기 위하여 CPU는 저장부(320')에 저장된 협업에이전트(100a)라는 프로그램을 불러내어 휘발성 메모리에 저장한 후, 이를 실행시킬 수 있다. 이의 실행에 따라 협업에이전트(100a)와 데이터 분석부(330')의 분석 엔진이 서로 연동할 수 있을 것이다. 예를 들어, 협업에이전트(100a)는 통신 인테이스부(300')에서 제공되는 서비스 제한 레벨 정보를 분석하고 분석 결과에 근거하여, 통신 인테페이스부(300')에서 수신된 데이터를 데이터 분석부(330')의 각 분석 엔진들에 제공할 수 있을 것이다.
데이터 분석부(330')는 데이터 분석을 위한 분석 엔진을 포함할 수 있으며, 제어부(310')의 제어 하에 제공되는 데이터를 분석할 수 있다. 가령, 단말 장치(100)로부터 로우 로그 데이터가 제공된다 하더라도, 단말 장치(100)에서 사용자가 설정한 서비스 제한 레벨 정보에 근거하여 특정 계층화 정보를 도출하기 위한 데이터만 분석하는 것도 얼마든지 가능할 수 있을 것이다. 분석 엔진은 행동 감지, 행동 패턴, 행동 패턴을 기반으로 향후 행동을 예측하는 작업을 수행하는 프로세스로서 [도 4, 400]에 도식화 되어있다. 각 엔진은 서비스제한 레벨에 따라 계층화 되어있다. 하위 계층의 엔진은 상위 계층이 필요로 하는 데이터를 생성한다. 예컨데, 행동 인식 엔진은 패턴 인식엔진이 반복된 패턴을 분석하기 위해 필요한 행동 감지 결과를 생성한다.
그 이외에, 도 3B의 통신 인터페이스부(300'), 제어부(310') 및 저장부(320')는 도 3A에 도시된 통신 인터페이스부(300), 제어부(310) 및 저장부(320)의 내용과 유사하므로 이에 대한 설명은 생략하기로 한다.
도 4는 도 2A에 나타낸 제어부 또는 도 2B의 제어부와 데이터 분석부의 세부 기능을 도식하여 예시한 도면이다.
설명의 편의상 도 4를 도 2A와 함께 참조하면, 본 발명의 실시 예에 따른 제어부(210)는 분석 모듈(400) 및 메모리(410)를 포함하며, CPU를 더 포함할 수 있다.
여기서, 분석 모듈(400)은 데이터 협업처리 서비스를 위한 데이터의 일부를 처리하기 위한 부분으로서 칩(CHIP)의 형태로 구성될 수 있다. 예컨대, 분석 모듈(400)은 마스크 롬(Mask ROM), 이피롬(EPROM), 이이피롬(EEPROM)과 같이 분석 엔진 즉 프로그램을 저장하고 실행시키기 위한 롬이 바람직할 수 있다. 여기서, 분석 엔진은 행동 인식을 위한 행동 인식 엔진, 행동 패턴을 분석하기 위한 패턴 인식 엔진, 행동 패턴에 대한 예측 결과를 도출하는 예측 엔진을 포함할 수 있다. 롬은 프로그램을 써넣고 지울 수 있는 메모리의 일종일 수 있다. 분석 모듈(400)은 온/오프라인 동작이 가능하고, 사용자의 관심사 분석, 행동 패턴 분석 및 예측 동작을 수행할 수 있다. 다시 말해, 사용자가 설정한 서비스 제한 레벨 정보에 근거해 데이터를 분석하여 사용자에 대한 특정 부분의 계층화 정보를 도출할 수 있다. 이때, 단말 장치(100의 사용자는 분석 태스크들(tasks)에 대하여 샌드박싱이 가능하기 때문에, 데이터 숨김을 통한 분석 태스크들로부터 세밀한 개인 정보의 보호가 가능하다고 볼 수 있다.
메모리(410)는 가령 휘발성 메모리일 수 있다. 메모리(410)는 협업에이전트(100a) 관련 프로그램을 저장하며, 분석될 데이터를 저장할 수 있다. 또는 메모리(410)는 데이터 분석에 따른 계층화 정보를 저장할 수 있다. 나아가, 메모리(410)는 자원 사용 현황 등에 관계된 다양한 정보도 저장할 수 있는데, 이러한 정보는 클라우드 장치(120)와 공유될 수 있다. 또한, 메모리(410)는 작업량 분배 단위 결정 및 분배 스케줄 정책을 바탕으로 동적으로 작업량을 분배하기 위한 정보를 저장할 수 있으며, 기계 학습을 통한 작업량 분배 단위 결정 및 분배 스케줄 정책을 조정하기 위한 정보를 저장할 수 있다.
또한, 메모리(410) 내의 협업에이전트(100a)는 가령 CPU의 제어 하에 실행될 수 있다. 예를 들어, 협업에이전트(100a)는 사용자의 관심사, 행동 패턴 등을 분석하기 위하여 단말 장치(100)가 동작하는 동안에 실행된다고 볼 수 있다. 이에 따라 협업에이전트(100a)는 사용자의 제약 사항을 파악하고, 작업 분할 분배 방안을 도출하며, 도 1B의 이웃 단말 장치(100-2'), 클라우드 장치(120') 등과 이루어지는 작업 분할을 분석하여 그 결과에 따라 분석 모듈(400)과 연동하게 된다.
도 5는 본 발명의 실시 예에 따른 개인화 서비스 제공 과정을 개략적으로 설명하기 위한 도면이다.
도 5에 도시된 바와 같이, 본 발명의 실시 예에 따른 단말 장치(100) 및 클라우드 장치(120)는 데이터 분석을 위한 분석 엔진 즉 프로그램들을 포함한다. 여기서, 프로그램은 서로 독립적으로 실행될 수도 있다.
본 발명의 실시 예에서는 분석 엔진으로서, 로우 로그 데이터를 처리하는 엔진(500), 사용자 활동을 인식하기 위한 행동 인식 엔진(510), 사용자 패턴을 분석하기 위한 패턴 인식 엔진(520) 및 사용자 행동을 예측하고 서비스 응답 수준을 설정하기 위한 예측 엔진(530)을 포함할 수 있다.
단말 장치(100)에서 서비스 제한 레벨이 설정되면, 단말 장치(100)는 서비스를 위해 설정된 서비스 제한 레벨에 근거해 가공된 수준의 데이터만 클라우드 장치(120)와 공유할 수 있다. 다시 말해, 단말 장치(100)는 클라우드 장치(120)에서 특정 엔진을 이용하여 데이터를 분석할 수 있는 데이터만을 제공해 준다고 볼 수 있다.
또한, 클라우드 장치(120)의 경우에도 내부 부하가 증가하는 경우 단말 장치(100)에 대하여 동적인 가공 수준을 설정할 수 있을 것이다. 여기서, 동적인 가공 수준이란 클라우드 장치(120)의 네트워크 상황에 따라 단말 장치(100)와 협업하여 처리되는 데이터가 수시로 변경될 수 있는 것을 의미한다.
도 6은 본 발명의 실시 예에 따른 단말 장치의 개인화 서비스 제공을 위한 어플리케이션 설치 과정을 설명하기 위한 도면이다.
도 6에 도시된 바와 같이, 본 발명의 실시 예에 따른 단말 장치(100)는 데이터 협업처리 서비스의 서비스 제한 레벨, 즉 개인화된 서비스를 이용하기 위하여 어플리케이션의 설치가 필요할 수 있다. 이를 위하여, 도 6의 (a)에서와 같이 단말 장치(100)의 화면상에는 권한을 설정하고 개인 정보의 취득에 동의하는지에 대한 화면을 표시할 수 있다. 만약 사용자가 동의하지 않는 경우, 서비스의 사용은 불가하다.
그러나, 도 6의 (a) 과정에서 사용자가 동의하는 경우, 도 6의 (b)에서와 같은 화면이 단말 장치(100)에 표시될 수 있다. 이를 통해 어플리케이션의 설치를 위한 권한을 설정할 수 있게 된다.
도 7A 내지 도 7K는 본 발명의 실시 예에 따른 서비스 제한 레벨을 지정하기 위한 다양한 정보를 설정하는 과정의 예시도이다.
구체적으로, 도 7A 내지 도 7E는 단계 수준별 정보와 작업 주체 및 수준을 설정하는 과정을 보여주는 도면이고, 도 7F 내지 도 7H는 속성 수준별 정보와 작업 주체 및 수준을 설정하는 과정을 보여주는 도면이며, 도 7I 내지 도 7K는 웹 브라우저 정보와 작업 주체 및 수준을 설정하는 과정을 보여주는 도면이다.
도 7A 내지 도 7E를 도 1A 및 도 1B와 함께 참조하면, 본 발명의 실시 예에 따른 단말 장치(100)는 계층적 프라이버시 데이터 분석 및 설정을 위한 UI 설정이 가능하다. 이를 위하여 단말 장치(100)는 도 7A 내지 도 7E에 도시된 바와 같이 다양한 정보를 설정하기 위한 UI 화면을 제공할 수 있다.
설명의 편의상 도 7A 내지 도 7E를 도 1B와 함께 참조해 보면, 단말 장치(100-1')의 사용자는 개인화된 데이터 협업처리 서비스를 이용하기 위하여, 도 7A의 (a)에서와 같이 바탕 화면에 표시된 아이콘을 선택한다. 그러면, 단말 장치(100-1')는 도 7A의 (b)에서와 같이 서비스를 제공하기 위한 화면을 표시할 수 있다. 가령, 서비스 이용 중임을 사용자가 알 수 있도록 "개인화 클라우드 서비스 이용 중"과 같은 문구를 화면의 상단에 표시할 수 있다. 서비스 화면에서 사용자가 가령 단말 장치(100-1')의 하단부에 있는 메뉴 버튼을 선택하게 되면, 화면의 상단부에 정보를 설정할 수 있는 팝업 창이 나타난다. 이 팝업 창에는 대략 사용자 정보를 입력하는 등의 계정을 위한 계정 항목(700)과, 사용자가 서비스를 이용하기 위하여 지정한 장치 등에 목록을 보여주는 목록 보기 항목(710), 서비스 제한 레벨을 지정하기 위한 정보 설정 항목(720)이 표시될 수 있다. 여기서, 목록 보기 항목(710)은 사용자가 가령 본 서비스를 이용하기 위하여 데이터 처리 주체를 어떠한 장치로 지정하였는지를 표시해 줄 수 있다.
도 7A의 (b) 화면에서, 단말 장치(100-1')의 사용자가 정보 설정 항목(720)을 선택하게 되면, 단말 장치(100-1')는 도 7B의 (c)에서와 같이 구체적인 정보들을 설정할 수 있는 설정 정보 목록을 표시해 줄 수 있다. 본 발명의 실시 예에 따라 설정 정보 목록에는 개략적으로 단계 수준별 정보, 속성 수준별 정보, 웹 브라우저 정보 및 작업 분배 제약 사항을 설정하기 위한 항목 등이 포함될 수 있다.
도 7B의 (c) 화면에서, 단말 장치(100-1')의 사용자가 단계 수준별 정보를 설정하기 위한 항목을 선택하는 경우, 도 7B의 (d)에서와 같은 화면이 표시될 수 있다. 도 7B의 (d) 화면에는 서비스 제한 레벨을 설정 중이라는 문구와 함께 구체적으로 어떠한 정보를 설정하고 있는지를 알려주는 문구가 표시될 수 있다. 사용자는 어떠한 계층 정보를 외부 장치와 공유하고 공유하지 않을지를 선택할 수 있다. 물론 외부 장치는 도 1B의 이웃 단말 장치(100-2')와 클라우드 장치(120')가 될 수 있다. 여기서, 공유한다는 것은 단말 장치(100-1')가 계층 정보를 얻기 위하여 이웃 단말 장치(100-2') 및 클라우드 장치(120')와 협업하여 데이터를 처리한다는 것을 의미한다. 물론 여기서 협업은 하나의 계층 정보에 대하여도 서로 협업할 수 있는 것을 포함한다. 반면 공유하지 않는다는 것은 해당 계층 정보를 얻기 위하여 단말 장치(100-1')에서만 관련 데이터를 처리하는 것을 의미한다.
예컨대, 단말 장치(100-1')는 도 7B의 (d)에서와 같이 4 단계에 대한 단계별 공유 여부를 결정할 수 있다. 1 단계(tier 0)는 단말 장치(100-1')에서 수집된 가공되지 않은 정보 자체에 관련되며, 물리적인 센서의 온/오프, 어플리케이션의 사용 정보 등에 대한 데이터를 처리하는 계층이다. 2 단계(tier 1)는 1 단계의 정보를 바탕으로 한 단말 장치(100-1')상에서 발생한 활동 분석에 관련되며 가령 걷기, 출퇴근 및 식사 등에 대한 데이터를 처리하는 계층이다. 3 단계(tier 2)는 2 단계의 정보를 바탕으로 한 사용자의 패턴 분석에 관계되며, 가령 식사에서 운동 및 잠으로 이어지는 패턴에 관련된 데이터를 처리하는 계층이다. 4 단계(tier 3)는 사용자의 활동을 예측하는 것에 관계되며 가령 2시간 뒤에 퇴근, 3시간 뒤에 조깅과 같은 활동을 예측하기 위해 사용되는 계층이다.
도 7B의 (d) 화면에는, 사용자는 완료 버튼을 선택함으로써 단계 수준별 정보의 설정 과정을 종료할 수 있다. 예를 들어, 도 1A의 경우 단말 장치(100)와 클라우드 장치(120)만 서비스를 위해 지정된 경우라면, 계층 정보를 공유할지 안 할지만 결정해 주면, 단말 장치(100)는 클라우드 장치(120)와 협업하여 자동으로 데이터에 대한 분산 처리를 수행할 수 있다. 다만, 사용자는 클라우드 장치(120)의 분석 자원이 고성능인 것을 감안하여 구체적으로 작업 주체를 결정하고 분석 수준까지 설정할 수도 있을 것이다. 이를 위하여, 도 1B의 단말 장치(100-1')는 계층 정보의 공유 여부에 대한 선택이 완료되면, 도 7C의 (e)에서와 같이 분석 주체 및 수준을 설정할지를 사용자에게 추가로 물을 수 있다.
도 7C의 (e) 화면에서, 사용자가 오케이(OK) 버튼을 선택하면, 도 7D의 (f)에서와 같은 화면이 나타날 수 있고, 사용자는 좌우로의 플릭(flick) 동작을 통해 작업 주체 및 작업 수준을 구체적으로 설정하거나 이전에 어떤 설정을 수행하였는지를 확인할 수 있다. 예를 들어, 공유가 불가하다고 지정한 계층 정보와 관련해서는 자기 단말(혹은 자체 단말), 즉 도 1B의 경우 단말 장치(100-1')에서만 분석 작업이 이루어지기 때문에 별도의 설정 작업이 필요 없을 것이다. 다만, 공유를 허락한 계층 정보에 대하여는 해당 계층 정보를 얻기 위한 복수의 장치 중 어떠한 장치를 지정하고, 작업 수준을 몇 퍼센트로 할지를 지정할 수 있다.
예를 들어, 작업 주체를 설정함에 있어서 도 1A에서와 같이 작업 주체가 단말 장치(100)와 클라우드 장치(120)뿐인 경우에는 도 7E의 (g)에서 볼 수 있는 바와 같이 작업 주체를 설정하기 위한 2개의 작업 주체 설정 항목이 생성되어 화면에 표시될 수 있다. 반면, 사용자가 작업 주체로서 5개의 장치, 가령 자체 단말, 클라우드, 단말 1 내지 단말 3을 지정하였다면, 도면에 자세히 도시하지는 않았지만 최대 5개까지 작업 주체를 설정할 수 있는 작업 주체 설정 항목이 나타날 수 있다. 이때, 표시되는 작업 주체 설정 항목의 수는 설정된 작업 수준에 따라 달라질 수 있다. 다시 말해, 작업 주체 1의 항목에서 자체 단말의 작업 수준을 80%로 설정하고, 작업 주체 2의 항목에서 클라우드의 작업 수준을 20%로 설정하였다면, 작업 수준이 100%가 되었으므로 설정 가능한 장치가 5개가 되더라도 더 이상의 작업 주체 설정 항목은 나타나지 않게 되는 것이다. 또한, 도 7D의 (f) 화면에서와 같이 사용자는 작업 주체를 지정하기 위하여 지시 버튼(730)을 선택할 수 있고, 그 선택에 따라 하단으로 돌출되어 나타나는 돌출 창에서 특정 장치, 가령 자체 단말을 설정할 수 있다. 이와 같은 과정으로 사용자는 작업 주체를 설정하고, 작업 수준은 숫자를 입력하는 별도의 입력 과정을 수행할 수 있을 것이다. 작업의 단위 및 작업의 수행 일정에 대한 설정은 주어진 수행 장치의 자원 현황에 따라서 협업 에이전트가 지능적으로 이행한다.
도 7E의 (g) 화면에서와 같이 사용자가 복수의 계층 정보 중 공유 가능하다고 선택한 행위 패턴에 대한 인식 결과와 예측 결과에 대하여 작업 주체를 설정하고, 작업 수준의 설정 과정을 마쳤다면, 클릭 동작을 통해 최종적으로 입력된 정보를 확인할 수 있을 것이다. 이후, 완료 버튼이 선택되면 단계 수준별 정보와 작업 주체 및 수준의 설정이 완료되게 된다. 그리고, 도 1B의 단말 장치(100-1')는 도 7B의 (c)에서와 같은 화면을 다시 표시해 줄 수 있을 것이다.
또한, 도 1B의 단말 장치(100-1')는 개인 정보 전체가 아닌 사용자에게 수준을 결정할 수 있는 UI를 제공하며, 필요에 따라 도 7F 내지 도 7K에서와 같이 각 단계 정보의 속성 수준까지 계층화하여 설정할 수 있는 UI를 제공할 수 있다.
간략하게 살펴보면, 도 7F의 (a) 화면에서 사용자는 속성 수준별 정보를 설정할 수 있는 설정 항목을 선택하게 된다. 그러면, 도 7F의 (b)에서와 같은 화면이 나타나게 되는데, 이를 통해 사용자는 속성 수준에 대한 공유 여부를 선택한다. 그리고 완료 버튼을 선택하면, 도 7G의 (c)에서와 같이 분석 주체 및 수준을 설정할지를 사용자게 묻기 위한 화면에 나타날 수 있다. 도 7G의 (c) 화면에서 사용자가 분석 주체 및 수준까지 설정하기를 원하였다면, 단말 장치(100-1')는 도 7H의 (d)에서와 같은 화면을 표시해 주고, 사용자로부터 작업 주체를 입력받게 된다. 작업 수준은 수행 장치의 가용 자원 수준에 따라 지능적으로 가늠된다.
사용자가 입력 과정을 마친 후, 화면 하단의 완료 버튼을 선택하게 되면 속성 수준별 정보에 대한 설정이 완료된다. 이후 단말 장치(100-1')는 도 7B의 (c)에서와 같은 화면을 다시 표시해 줄 수 있을 것이다.
도 7F를 참조하여 좀더 살펴보면, 본 발명의 실시예에 따른 속성 수준별 정보는 단말 또는 단말의 행동이라는 속성 수준과, 단말 내 행동으로서 앱 선택, 사진 촬영, 음악 청취 등으로 다양하게 계층화되어 있다. 다시 말해, 사용자는 사용자의 단순한 행동 수준을 넘어, 단말 장치(100-1')를 이용한 웹 브라우저 사용, 사진 촬영 등의 다양한 사용자 행동(activity)들까지도 공유 여부를 결정할 수 있다. 다시 말해, 도 7B의 (d) 화면에서 사용자가 가령 행동 인식 결과를 공유하고자 하였지만, 도 7F의 (b) 화면에서 GPS 이동 경로에 대한 데이터를 공유하지 않고자 하였다면, GPS 이동 경로 이외의 행동 인식 결과가 공유된다고 볼 수 있다. 예를 들어, 단말 장치(100-1') 내에 사용자의 행동을 인식하기 위한 와이파이 모듈과 GPS 모듈이 구비되었다고 가정하자. 따라서, 사용자가 GPS 이동 경로에 대한 데이터를 공유하지 않는다면, 와이파이 모듈에 대한 데이터만이 공유된다고 볼 수 있다.
예를 들어, 사용자가 와이파이 모듈만을 이용한 데이터를 공유하는 경우, 사용자의 행동 데이터는 집과 사무소와 같이 지극히 제한된 공간으로 한정될 수 있다. 그러나, GPS 모듈을 이용한 데이터를 공유하는 경우에는 사용자의 일거수 일투족이 모두 공개됨으로써 사용자의 프라이버시가 침해될 수 있다. 가령 사용자가 비뇨기과 등의 병원이나 소위 명품이라고 하는 상품을 판매하는 유명 백화점을 방문한 경우, 사용자가 감추고 싶은 부분이 외부에 노출될 우려가 있다.
또한 사용자가 자신의 극히 사적인 사진이나 동영상을 단말 장치(100-1')에 저장하는 경우, 저장에 대한 정보가 외부와 공유되는 경우에는 해당 컨텐츠가 해킹 위험에 놓일 수 있고, 또 외부에 공개되어 프라이버시가 보호받지 못할 수 있다. 따라서, 단말 내 행동에서 컨텐츠의 저장과 관련된 정보는 공유를 제한할 수 있다.
뿐만 아니라, 사용자가 웹 사이트를 이용하는 경우, xxx.com을 열었다면 '인터넷 사용' 정보만 공유하도록 하고, 구체적으로 어떠한 컨텐츠를 검색하였는지에 대한 정보는 공유하지 않을 수 있다. 이는 사용자의 프라이버시 보호 차원에서 유용할 수 있을 것이다.
도 7I 내지 도 7K의 경우에 있어서도 도 7A 내지 도 7H와 크게 다르지 않으므로 동일한 내용에 대한 설명은 생략하도록 한다. 다만, 도 7I의 (b)에서 볼 때, 웹 브라우저 정보는 현재 위치와 관련한 세부 정보들을 보여주고 있으며, 사용자는 이와 같은 세부 정보에 대하여도 공유 여부를 결정하고, 나아가 작업 주체 및 수준을 결정할 수 있다. 세부 정보에는 현재 위치와 관련한 장소 명, 시간대, 위경도 정보 등이 포함된다.
한편, 도 7I를 참조하여 웹 브라우징과 관련한 계층 정보를 좀더 살펴보기로 한다. 사용자는 가령 도 7I의 (b)에서와 같은 화면에서 특정 웹 브라우징 정보는 외부의 클라우드 장치(120)와 공유하지 않기를 원할 수 있다. 가령 사용자는 특정 지역에서의 웹 브라우징 기록이 공유되지 않도록 설정할 수 있을 것이다. 먼저 웹 브라우징 기록을 모두 공유하기로 설정하고, 사용자가 서울 지역에서 수원 지역으로 이동하였다고 가정해 보자. 이의 경우, 단말 장치(100-1')는 사용자의 이동에 따라 발생되는 다양한 데이터를 수집할 수 있다. 예를 들어, 사용자가 어느 지역으로 이동하였고, 언제 이동하였으며, 어떠한 장소에서 웹 검색 등을 수행하였는지에 대한 데이터가 수집된다. 따라서, 이러한 데이터는 1 계층에 해당되는 로우 데이터가 된다. 이러한 로우 데이터를 이용하여 단말 장치(100-1')는 사용자의 행동을 인식할 수 있다. 다시 말해, 특정 시간에서 지역 이동이 있었고, 특정 장소에서 웹 검색이 있었다는 사용자의 행동을 인식한다. 이는 2 계층의 행동 인식 데이터가 된다. 또한 행동 인식 데이터를 통해 사용자가 오전에는 서울 지역에 있었고, 오후에는 수원으로 이동하였다면 3 단계에서는 이러한 행동 패턴 데이터를 얻을 수 있다. 나아가, 사용자가 통상적으로 오후에는 수원에 있는 것으로 행동 패턴이 분석되면, 가령 오전에 서울 이외의 지역에 있었다 하더라도, 오후에 수원으로 이동할 거라 예측할 수 있는 것이다.
그러나, 사용자가 행동 패턴 분석 및 예측 동작의 분석 주체를 클라우드 장치(120')로 설정하고, 단말 장치(100-1')에서 수원 지역의 웹 브라이징 기록을 클라우드 장치(120')와 공유하지 않기로 설정한 경우, 수원에 관련된 행동 패턴 데이터는 클라우드 장치(120')로 전송되지 않을 수 있다. 즉 위의 행동 패턴 데이터에서 수원에 관련된 데이터는 삭제되어 전송된다. 따라서, 클라우드 장치(120')는 위에서와 같이 사용자는 통상 오후에 수원으로 이동하여 업무를 처리하는 행동 패턴 및 예측 정보를 얻을 수 없게 된다. 이와 같이 클라우드 장치(120')는 행동 패턴 및 예측과 관련해 서울 지역에 국한시킴으로써 위에서와 전혀 다른 데이터를 생성한다고 볼 수 있다.
한편, 조깅의 경우에도 웹 브라이징의 경우와 유사하다. 가령 조깅의 이동 경로가 집에서 해안 도로를 따라 이루어진다고 생각해보자. 따라서, 로우 데이터는 센서에 의해 수집되는 이동 경로와 관련한 데이터, 사용자가 조깅 중에 청취하는 음악 등과 관련한 데이터들을 포함한다. 그리고, 2 단계 즉 행동 인식 결과로서 사용자는 집을 나섰고, 해안 도로를 따라 조깅을 했고, 조깅 중에 음악을 청취했다는 행동을 포함할 수 있다. 이어 3 단계에 해당되는 패턴 인식 결과로서, 집을 나서기 전 음악을 청취하며 집을 나서 해안 도로를 따라 조깅을 한다는 데이터를 얻는다. 그리고 4 단계로서, 사용자가 통상 오전 8시에 귀가하였으므로, 귀가 전 30분 전에는 30분 후 집으로 사용자가 귀가할 거라 예측할 수 있다.
따라서, 이의 경우 사용자가 음악 청취와 관련한 데이터를 도 1B의 클라우드 장치(120')와 공유하지 않기로 설정하였다면, 클라우드 장치(120')는 사용자가 집에서 해안 도로를 따라 조깅을 했다는 데이터만을 이용할 수 있게 된다. 그러므로 3 단계에 해당되는 패턴 인식 결과는 음악과 관련된 데이터가 삭제된 데이터이다.
도 8은 본 발명의 실시 예에 따라 데이터의 추출을 위한 작업 수행 주체를 알려주는 과정을 설명하기 위한 도면이다.
설명의 편의상 도 8을 도 1A와 함께 참조하면, 본 발명의 실시 예에 따른 단말 장치(100)는 하위 단계에서 사용자가 설정한 공유 여부에 따라 상위 단계에 속하는 데이터의 추출을 위한 작업 수행의 주체를 알려주고 이를 결정할 수 있도록 한다. 여기서, 상위 단계의 데이터는 하위 단계의 데이터를 기반으로 추출된다. 따라서, 도 8에서 볼 때, 활동 인식을 위해서는 로우 로그 데이터가 필요한데, 단말 장치(100)가 이를 클라우드 장치(120)와 공유하지 않는다면, 활동 인식의 주체는 단말 장치(100)가 될 수밖에 없고, 이를 사용자에게 고지할 수 있다.
패턴 분석 자료를 클라우드 장치(120)와 공유하면 예측 분석 작업은 클라우드 장치(120)에서도 이루어질 수 있고, 이를 사용자에게 고지할 수 있다.
예를 들어, 도 7B의 (d) 화면에서, 사용자가 로우 로그 데이터에 대하여 공유 불가를 선택한 경우, 단말 장치(100)는 팝업 창의 형태로 사용자에게 "로우 로그 데이터의 공유 불가를 선택하였으므로, 활동 인식의 주체는 자체 단말에서만 가능합니다."와 같은 문구를 화면에 표시해 줌으로써 사용자가 활동 인식의 주체를 자체 단말로 선택하도록 도울 수 있을 것이다.
또한, 복수의 계층 정보 중 패턴 인식에 대하`여는 사용자가 공유 가능을 선택하였으므로, 단말 장치(100)는 팝업 창의 형태로 사용자에게 "패턴 인식에 대하여 공유 가능을 선택하였으므로, 예측의 분석 주체는 클라우드 장치에서도 가능합니다."와 같은 문구를 화면에 표시해 주어 사용자의 선택을 도울 수 있다.
도 9는 본 발명의 실시 예에 따라 데이터 공유 여부에 따른 분석 작업 수준을 결정하는 과정을 설명하기 위한 도면이다.
설명의 편의상 도 9를 도 1A와 함께 참조하면, 본 발명의 실시 예에 따른 단말 장치(100)는 사용자가 특정 데이터의 공유를 허용한 경우, 분석 작업이 가능한 주체의 분석 작업 수준을 설정할 수 있다. 이는 퍼센티지(%)의 형태로 설정할 수 있을 것이다. 이와 관련해서는 도 7E의 (g) 화면에 나타낸 바와 같이, 사용자는 UI 화면을 통해 작업 주체에 대한 작업 수준을 확인할 수 있다. 가령 도 9에서, 행동 인식 결과를 추출하기 위하여 자체 단말 즉 단말 장치(100)가 로우 로그 데이터를 이용하게 되면 행동 인식의 정확성은 90%까지 다다를 수 있다는 것을 나타낸다.
도 10은 공유 여부에 따른 개인 정보 노출 위험성을 알리는 과정을 설명하기 위한 도면이다.
설명의 편의상 도 10을 도 1A와 함께 참조하면, 본 발명의 실시 예에 따른 단말 장치(100)는 도 10에서와 같이 상위 단계의 자료 공유를 불허하였을 때, 디폴트(default mode)로 하위 단계의 자료 공유를 자동으로 막아놓을 수 있다. 예를 들어, 패턴 정보 공유 불허시, 활동 인식도 자동으로 불허하도록 할 수 있다.
이와 같이 단말 장치(100)는 사용자가 특정 단계의 자료 공유 여부를 잘못 설정하였을 때, 하위 단계에서 공유하겠다고 설정한 단계가 불허될 수 있음을 알릴 수 있는 것이다.
예를 들어, 도 7B의 (d)에서와 같은 화면상에서 사용자는 계층 정보의 예측 결과, 패턴 인식 결과, 행동 인식 결과 및 로우 로그 데이터에 대하여 각각 공유 가능, 공유 불가, 공유 가능 및 공유 불가를 선택할 수 있다. 이때 패턴 정보 공유 불허시, 단말 장치(100)는 활동 인식도 자동으로 공유 불가로 변경할 수 있다. 그리고 단말 장치(100)는 사용자에게 팝업 창으로 공유 여부를 잘못 설정하였음을 알릴 수 있다. 나아가, 단말 장치(100)는 각 공유 여부에 대하여 개인정보의 노출 위험 정도를 알릴 수 있는데, 이는 공유 여부를 선택하였을 때, 가령 선택 항목의 바로 옆에 표시해 주는 형태로 가능할 수 있다.
한편, 도 8 내지 도 10을 UI 화면으로 구성하는 경우, 서로 분리되어 독립적인 화면을 구성할 수 있지만, 도 7E의 (g)에서와 같이 하나의 UI 화면에서 제1 내지 제3 영역으로 구분되어 구성될 수도 있을 것이다. 따라서 본 발명의 실시 예에서는 UI 화면을 어떠한 방식으로 설정하느냐에 특별히 한정하지는 않을 것이다.
도 11은 이웃 단말 장치로 공유 여부의 설정이 가능한 것을 설명하기 위한 도면이다.
설명의 편의상 도 11을 도 1B 및 도 1C와 함께 참조하면, 본 발명의 실시 예에 따른 단말 장치(100-1', 100-1")는 도 11에서와 같이 공유 여부를 허용한 단계에 대하여, 어떠한 이웃 단말 장치(100-2') 또는 웨어러블 장치(100-2")와 공유할지에 대한 주체를 설정할 수 있다.
예를 들어, 사용자가 행동 인식에 대하여 단말 2 즉 이웃 단말 장치(100-2')와 공유 가능하다고 설정한 경우, 패턴 인식 작업은 단말 2와 협업하여 처리할 수 있다. 가령, 사용자의 설정에 따라 패턴 인식 작업은 단말 2에서 모두 처리될 수 있는데, 단말 2는 그 처리 결과를 단말 장치(100-1', 100-1")로 제공할 수 있다.
이와 관련해서는 도 7E의 (g)를 참조하여 살펴본 바와 같이, 사용자가 특정 계층 정보를 공유하겠다고 선택한 경우, 단말 장치(100-1', 100-1")는 공유하고자 하는 장치와 작업 수준을 어떻게 배분할지를 설정하기 위한 설정 항목들을 화면에 표시해 주고, 사용자는 이를 통해 구체적인 정보를 입력할 수 있을 것이다.
도 12A 및 도 12B는 본 발명의 실시 예에 따른 개인화 데이터 협업처리 서비스에 대한 시나리오이다.
설명의 편의상 도 12A 및 도 12B를 도 1A와 함께 참조하면, 단말 장치(100)의 사용자가 가령 도 12A에서와 같이 "웹 브라이징 기록을 보호받고 싶다."라고 설정한 경우, 단말 장치(100)는 웹 브라우징 기록 기반의 관심사 예측 작업은 외부의 클라우드 장치(120)와 공유하지 않을 수 있다. 다시 말해, 단말 장치(100)에서 자체적으로 이에 대한 작업을 수행한다고 볼 수 있다.
예를 들어, 사용자는 도 7I의 (b)에서와 같은 UI 화면을 단말 장치(100)에 표시한 상태에서, 어떠한 웹 브라우저 정보를 공유하고 공유하지 않을지를 설정하게 된다. 가령 사용자가 웹 브라우저에 관련된 전체 정보에 대하여 공유 불가를 선택한 경우, 사용자의 웹 브라이징 기록은 모두 보호받을 수 있게 된다. 따라서, 단말 장치(100)는 사용자의 행동에 관련된 로우 로그 데이터를 처리할 때, 웹 브라우징과 관련된 데이터는 클라우드 장치(120)와 공유하지 않게 되는 것이다.
반면, 도 12B에서와 같이 사용자가 서울 지역에 한해서는 이동 경로 예측 데이터를 클라우드 장치(120)와 공유할 수 있지만, 수원 지역은 불허한 경우, 서울 지역에 관련된 예측 데이터는 단말 장치(100)에서 클라우드 장치(120)로 오프로딩될 수 있을 것이다. 반면 수원 지역에 관련된 예측 데이터는 클라우드 장치(120)로 제공되지 않는다. 이를 통해 클라우드 장치(120)는 사용자의 서울 지역에 관련된 행위 예측 결과만을 도출하게 되고, 이를 단말 장치(100)와 공유할 수 있게 된다.
이와 관련해, 별도의 도면을 제공하지는 않았지만, 가령 사용자가 도 7I의 (b) 화면에서 현재 위치와 관련한 장소 명, 시간대, 위경도 정보 등을 공유불가로 설정한 경우, 단말 장치(100)는 다음 화면으로서, 지역을 설정하기 위한 UI 화면을 더 제공할 수 있다. 이러한 UI 화면에서 지역을 추가로 설정함으로써 사용자는 도 12B에서와 같이 특정 지역에 관련된 데이터가 공유되지 않도록 할 수 있다.
도 13은 도 1B의 시스템에서 이루어지는 지능형 동작의 예시도이다. 도 31의 1301은 데이터의 종류 별로 분석을 수행하는 분석 주체를 결정한 것을 나타낸다.
도 13을 도 1B와 함께 참조하면, 도 13에 도시된 바와 같이 단말 장치(100-1')의 분석 API와 클라우드 장치(120')의 분석 API가 상호 교체 가능할 수 있다. 다만, 사용자에게 제공되는 서비스의 수준은 구성에 따라 달라질 수 있다. 즉 프라이버시와 동작 간의 트레이드오프(trade-off)가 가능할 수 있다. 예를 들어, 서비스의 한 예로서 와이파이 사용 패턴 인식 후 어플리케이션의 사용 예(usage)를 예측할 때, 도 13의 동작이 적용될 수도 있을 것이다.
좀더 살펴보면, 이웃 단말 장치(100-2')는 복수의 계층 정보 중 행동 인식 결과를 도출하기 위하여 행동 인식 엔진을 실행시킬 수 있다. 이를 위하여 이웃 단말 장치(100-2')는 단말 장치(100-1')로부터 와이파이 사용과 관련한 로우 로그 데이터를 제공받아 이를 이용할 수 있다. 반면 패턴 인식 작업은 단말 장치(100-1')에서 이루어질 수 있다. 이를 위하여 단말 장치(100-1')는 이웃 단말 장치(100-2')로부터 행동 인식 결과를 제공받아 이를 이용함으로써 패턴 인식 결과를 도출할 수 있다. 그리고 도출된 패턴 인식 결과는 예측 결과를 도출하기 위한 클라우드 장치(120')로 제공될 수 있다.
이러한 동작은 가령 도 7B의 (d) 화면에서 사용자가 공유 가능한 각 계층 정보에 대하여만 선택하고, 완료 버튼을 선택하게 되면, 개인화 서비스의 가입시 작업 주체가 이미 지정되어 있는 상태이므로 지정된 작업 주체들 간에 동적인 결정이 가능할 수 있다. 예를 들어, 단말 장치(100-1') 및 이웃 단말 장치(100-2')의 CPU 사용량이나 배터리 사용량, 나아가 클라우드 장치(120')의 네트워크 사용량 등에 따라 자동으로 작업 주체가 결정될 수 있을 것이다.
도 14는 도 1B의 시스템에서 이루어지는 지능형 동작의 다른 예시도이다.
도 14를 도 1B와 함께 참조하면, 본 발명의 실시 예에서는 실질적으로 데이터 분석 작업을 할 수 있는 엔진 즉 프로그램의 일부를 구비해야만 분배된 작업을 수행하거나 동적인 서비스 기능의 재구성에 참여할 수 있다.
그러나, 도 14의 (b)에서와 같이 작업 분배를 준비하기 위하여 단말 장치(100-1')는 이웃 단말 장치(100-2')로 행동 인식 엔진을 전송할 수 있으며, 이웃 단말 장치(100-2)는 클라우드 장치(120)로부터 패턴 인식 엔진을 패턴 기반 예측 엔진을 가져오는 것이 얼마든지 가능할 수 있을 것이다. 이를 통해, 이웃단말 장치(100-2')는 단말 장치(100-1')로부터 수신한 행동 인식 엔진과 클라우드 장치(120)로부터 수신한 패턴 인식 엔진을 이용하여 자신에게 주어진 행동 인식 결과와 패턴 인식 결과의 도출 동작을 수행하고, 도출된 각각의 결과는 단말 장치(100-1') 및 클라우드 장치(120') 중 적어도 하나로 전송해 줄 수 있다.
도 15A는 UI 화면상에서 작업 분배 제약 사항을 설정하는 과정을 나타내는 도면이고, 도 15B는 서비스 및 장치의 상황별 분석 작업 분배 조절 기능을 설명하기 위한 도면이다. 사용자가 한계치를 직접 설정하지 않을 수도 있다. 이 때에는 협업에이전트가 적절한 한계치를 기계학를 이용하여 설정하거나, 통상적으로 다른 사용자들이 많이 이용하는 한계치를 디폴트(default)로 활용한다.
설명의 편의상 도 15A 및 도 15B를 도 1A와 함께 참조하면, 본 발명의 실시 예에 따라 단말 장치(100)의 사용자는 도 15B에 도시된 바와 같이 제약 사항들에 대하여 한계치를 예측해 보고, 도 15A에서와 같은 작업 분배 제약 사항 설정 UI 화면상에서 제약 사항들에 대한 구체적인 임계값을 설정할 수 있다.
좀더 구체적으로, 단말 장치(100)의 사용자는 도 15A의 (a) 화면에서와 같이 설정 정보 목록에서 작업 분배 제약 사항 설정 항목을 선택한다. 그러면, 단말 장치(100)는 도 15A의 (b)에서와 같은 화면을 표시해 주게 된다. 그리고 사용자는 각 제약 항목에 대하여 한계 값 즉 임계값을 설정하게 되는 것이다.
예를 들어, 사용자가 CPU 사용량을 50%로 설정하게 되면, 가령 도 1A의 단말 장치(100)에서 CPU 사용량이 50%를 넘지 않으면 자신이 주어진 작업을 수행하지만, 50%를 넘어선 경우에는 주어진 작업이 공유 장치에서 수행될 수 있다. 또한, 배터리 사용량의 경우에도 만충전 기준80% 정도까지 소진된 경우라면 작업 주체가 변경될 수 있다. 또한, 네트워크 대역폭 사용량이 90%를 넘는 것으로 판단되면, 단말 장치(100)는 클라우드 장치(120)로 작업 주체를 변경하지 않을 수 있다. 이는 어디까지나 각 계층 정보에 대하여 서로 공유하겠다고 지정한 것을 상정한 것이다. 따라서, 공유 여부에 따라 상기의 내용은 얼마든지 변경될 수 있으므로 본 발명의 실시 예에서는 위의 내용에 특별히 한정하지는 않을 것이다.
상기한 바와 같이, 단말 장치(100)의 사용자는 네트워크 사용 한계선, 배터리 사용 한계선 및 CPU 사용 한계선, 즉 임계값을 설정할 수 있다. 이와 같이 제약 사항이 설정되어야 단말 장치(100)와 클라우드 장치(120) 간 분석 작업의 기준이 마련될 수 있다.
이에 따라 작업 분배 제약 사항은 자동으로 파악될 수 있다. 예를 들어, 하루 네트워크 사용량은 10 Mbyte를 넘지 못하도록 설정한 경우, 이와 관련한 자원 사용 제약 사항들은 자동 파악될 수 있다. 다시 말해, 단말 장치(100)에는 네트워크 사용량의 제약 사항에 대한 10 Mbyte에 대한 설정 정보가 저장되어 있으므로, 이의 정보를 확인함으로써 제약 사항을 파악할 수 있다. 또한, 복수의 제약 사항이 있는 경우, 가령 네트워크, 배터리 및 CPU의 순으로 우선 순위가 설정된 경우, 이러한 자원 사용 제약 사항에 근거에 우선 순위가 자동 파악될 수 있을 것이다. 다시 말해, 각 제약 사항에 대한 우선 순위 정보도 단말 장치(100)에 저장되어 있기 때문에 우선 순위를 판단해야 하는 상황이 발생하게 되면, 저장된 그 우선 순위 정보를 확인할 수 있다. 이와 같이 단말 장치(100)는 사용자가 가령 도 15A에서와 같은 화면을 통해 설정한 정보를 근거로 작업 주체 또는 수준을 자동으로 결정할 수 있을 것이다.
도 16은 도 15의 서비스 및 장치의 상황별 분석 작업 분배 조절과 관련한 시나리오이다.
설명의 편의상 도 16을 도 1A와 함께 참조하면, 본 발명의 실시 예에 따른 단말 장치(100)는 하루 동안의 조깅 패턴을 분석하는 데에 CPU의 50%가 소요되며, 이때 전력은 100 mJ이 소모됨을 알 수 있고, 반면 조깅 로그를 클라우드 장치(120)로 전송시에는 전력소모가 1000 mJ이 소모됨을 알 수 있다. 이는 가령 기계적 학습에 의해 경험적으로 알 수 있을 것이다. 따라서, 단말 장치(100)는 자체 자원을 이용하여 행동 분석 데이터의 처리가 가능하다고 판단하고, 도 16의 (a)에서와 같이 조깅 패턴 분석 모듈을 액티브(active) 즉 활성화 상태로 유지할 수 있다. 즉 해당 모듈을 실행시킬 수 있다.
이러한 과정에서 가령, 도 16의 (b)에서와 같이 검색어 분석 과정도 병행해야 하는 상황이 발생하여 CPU가 부족하다고 판단될 때, 단말 장치(100)는 검색 분석 로그 데이터를 클라우드 장치(120)로 전송하여 검색 분석 작업을 오프로딩할 수 있을 것이다. 예를 들어, 단말 장치(100)에서 검색어 분석 과정을 병행하는 과정에서 CPU가 부족하게 되면, 단말 장치(100)는 검색어 분석 과정은 클라우드 장치(120)에서 이루어지도록 관련 데이터를 전송해 줄 수 있을 것이다.
도 17A 및 도 17B는 도 15의 서비스 및 장치의 상황 변화에 따른 작업 분배 과정을 설명하기 위한 시나리오이다.
설명의 편의상 도 17A 및 도 17B를 도 1A와 함께 참조하면, 본 발명의 실시 예에 따른 복수의 단말 장치(100)들은 네트워크 및 단말 장치(100)의 동작 상황에 따라 다양한 동작을 수행할 수 있다. 예컨대, 도 17A의 단말 장치 1(device 1)은 배터리 잔여량에 따라 데이터 전송량을 자동으로 조정할 수 있고, 단말 장치 2(device 2)는 CPU 활용이 포화 상태인 경우 클라우드 장치(120)로 오프로딩되는 데이터 전송량을 줄일 수 있다. 또한, 클라우드 장치(120)의 경우에도 적절한 단말 장치(100)를 선택하여 오프로딩 작업을 수행할 수 있다.
이의 과정에서 가령 클라우드 장치(120)의 부하가 감소된 경우, 이때 클라우드 장치(120)의 자원 활용 상태는 단말 장치(100)들과 공유할 수 있는데, 이의 경우 도 17B에서와 같이 단말 장치(100)들은 클라우드 장치(120)로 오프로딩하는 데이터 전송량을 증가시킬 수 있다.
이와 같이 단말 장치(100)와 클라우드 장치(120) 간에는 서비스 및 장치들의 상황 변화에 따라 자동으로, 동적으로 또는 적응적으로 작업 분배가 이루어진다.
좀더 살펴보면, 본 발명의 실시예에 따라 단말 장치(100)의 협업 매니저와 클라우드 장치(120)의 협업 매니저는 사용자가 단말 장치(100)에서 데이터 공유 여부와 관련해 설정한 설정 정보에 따라 데이터를 분산 처리하는 것이 원칙이다. 이는 데이터 분산 처리를 위한 협업 동작에 해당된다. 그러나, 이의 과정에서 단말 장치(100)는 배터리 잔량이 부족하여 데이터 분산 처리가 불가능할 수 있고, 클라우드 장치(120)는 데이터 처리를 위한 업무 부하가 발생하여 데이터 분산 처리가 지연되거나 어려울 수 있는 상황이 발생하게 되는데, 이러한 상황에서 단말 장치(100)의 협업 매니저와 클라우드 장치(120)의 협업 매니저는 재협업 동작을 할 수 있다. 물론 사용자가 공유를 원치 않은 데이터를 제외한 데이터에 대하여 재협업 동작이 이루어질 수 있는 것이다. 이와 같이 단말 장치(100) 또는 클라우드 장치(120)에서 실시간 변화하는 자원 상황 등에 따라 데이터 분산 처리 방법이 재수행되는 것은 '상황 변화에 따라 자동으로 작업 분배가 이루어지는 것'이라 볼 수 있다.
예를 들어, 클라우드 장치(120)가 자신이 수행할 데이터 분석에 대하여 작업 재분배를 수행한 경우, 도 1B의 단말 장치(100-1')나 이웃 단말 장치(100-2')로 데이터 분석을 요청하고, 부하가 해소될 때 데이터와 분석 결과를 제공받을 수 있다.
또한 사용자가 단말 장치(100)를 통해 설정한 익명화 설정 정보가 있는 경우, 단말 장치(100)는 배터리 잔량 부족 상황이 발생할 때, 익명화 정보도 함께 클라우드 장치(120)로 제공함으로써 익명화 정보가 포함되는 데이터를 생성하도록 요청할 수 있을 것이다. 이후, 단말 장치(100)는 배터리 용량이 회복될 때, 클라우드 장치(120)로부터 익명화 정보가 포함된 데이터를 수신하여 사용자에게 제공할 수 있을 것이다. 예를 들어, 익명화는 특정 데이터에서 이름, 나이, 소속 등의 데이터를 다른 데이터로 변경해 주는 것이다. 자세한 내용은 이후에 좀더 살펴보기로 한다.
도 18 및 도 19는 도 15의 서비스 및 장치의 상황 변화에 따른 작업 분배 과정을 설명하기 위한 도면이다.
설명의 편의상 도 18을 도 1A와 함께 참조하면, 본 발명의 실시 예에 따른 단말 장치(100)는 클라우드 장치(120)의 데이터 분석 처리 능력에 따라 오프로딩되는 데이터의 전송량을 결정할 수 있다. 예를 들어, 클라우드 장치(120)에서 분당 10 Mbyte에 해당하는 가령 패턴 인식 작업에 관련된 데이터를 제공받아 처리할 수 있다면, 단말 장치(100)는 분당 1 Mbyte에 해당되는 데이터를 전송할 수 있다.
또한, 도 19를 도 1B와 함께 참조하면, 본 발명의 실시 예에 따른 단말 장치(100-1')의 경우에도 이웃 단말 장치(100-2')의 데이터 분석 처리 능력에 따라 오프로딩되는 데이터를 결정할 수 있다. 예를 들어, 이웃 단말 장치(100-2')가 영상 인식 작업을 위하여 영상 자료를 분당 1 Mbyte의 데이터를 수신할 수 있다면 단말 장치(100-1')는 이를 고려하여 데이터를 전송할 수 있을 것이다.
결론적으로 단말 장치(100, 100-1')는 데이터를 클라우드 장치(120)나 이웃 단말 장치(100-2')로 오프로딩 하기에 앞서 클라우드 장치(120)나 이웃 단말 장치(100-2')의 데이터 분석 처리 능력을 먼저 판단해 본 이후에, 처리 가능한 능력의 범위 내에서 데이터를 오프로딩할 수 있을 것이다.
도 20은 본 발명의 제1 실시 예에 따른 데이터 협업처리 서비스 과정을 설명하기 위한 도면이다. 이하, 데이터 협업처리 서비스는 클라우드 서비스로 설명한다.
설명의 편의상 도 20을 도 1A와 함께 참조하면, 본 발명의 제1 실시 예에 따른 단말 장치(100)는 클라우드 서비스의 서비스 제한 레벨(혹은 협업 수준)을 설정하기 위한 UI 화면을 표시할 수 있다(S2000).
이어 사용자가 UI 화면을 통해 서비스 제한 레벨을 설정하는 경우, 이에 따라 서비스 제한 레벨 정보가 클라우드 장치(120)로 제공될 수 있다(S2010). 그러나 서비스 제한 레벨 정보가 제공되는 시점은 위에 제한되지 않으며, 서비스 제한 레벨 정보는 데이터의 분산 처리시에 클라우드 장치(120)로 제공될 수도 있다.
클라우드 장치(120)는 수신된 사용자별 서비스 제한 레벨 정보를 저장한다(S2020). 실질적으로 클라우드 장치(120)는 복수의 사용자들에 대한 서비스 제한 레벨 정보를 사용자 별로 저장할 수 있기 때문에, 사용자별 서비스 제한 레벨은 사용자 별로 서로 상이할 수 있다.
단말 장치(100)와 클라우드 장치(120) 간 사용자의 서비스 제한 레벨에 대한 정보가 공유되면, 단말 장치(100)와 클라우드 장치(120)는 사용자가 결정한 서비스 제한 레벨 정보에 근거하여 데이터를 분산 처리하게 된다(S2030).
이의 과정에서 단말 장치(100)는 분산 처리 수준을 몇 %로 할지 결정할 수 있으며, 그 이외에도 앞서 언급한 다양한 정보를 설정함으로써 데이터 처리가 동적으로 그리고 적응적으로 처리되도록 할 수 있을 것이다.
이후, 단말 장치(100)의 사용자가 특정 클라우드 서비스를 이용하고자 할 때, 클라우드 장치(120)는 데이터 분석에 따른 분석 결과 즉 사용자 예측과 같은 계층화 정보가 필요한 경우, 이를 단말 장치(100)로 제공하고, 단말 장치(100)는 자체적으로 저장한 계층화 정보와 클라우드 장치(120)에서 제공한 계층화 정보를 이용하여 사용자가 원하는 데이터 협업처리 서비스를 제공할 수 있을 것이다.
도 21은 본 발명의 제2 실시 예에 따른 데이터 협업처리 서비스 과정을 설명하기 위한 도면이다.
설명의 편의상 도 21을 도 1B와 함께 참조하면, 본 발명의 제2 실시 예에 따른 단말 장치(100-1')는 클라우드 서비스의 서비스 제한 레벨 및 데이터 분석 주체를 설정하기 위한 UI 화면을 표시한다(S2100).
이어 사용자가 UI 화면을 통해 서비스 제한 레벨 및 분석 주체를 설정하는 경우, 이에 따라 서비스 제한 레벨 정보 및 분석 주체에 관한 정보가 이웃 단말 장치(100-2') 및 클라우드 장치(120')로 제공된다(S2110).
이후 이웃 단말 장치(100-2') 및 클라우드 장치(120')는 수신된 서비스 제한 레벨 정보 및 분석 주체에 관한 정보를 저장한다(S2130).
그리고, 이웃 단말 장치(100-2') 및 클라우드 장치(120')는 단말 장치(100-1')와 함께 저장한 서비스 제한 레벨 정보에 근거하여 데이터 분산 처리를 수행한다(S2140). 처리될 데이터가 빅 데이터로 전송되는 경우, 이웃 단말 장치100-2') 및 클라우드 장치(120')는 서비스 제한 레벨 정보에 근거해 처리될 데이터로부터 특정 데이터를 검출해 분석할 수 있다. 그러나, 네트워크의 부하에 따라, 처리될 데이터가 분할되어 이웃 단말 장치(100-2') 및 클라우드 장치(120')에게 제공될 수도 있다.
데이터가 분할되어 제공되는 경우라 하더라고, 단말 장치(100-1)에서 분석 가능 수준까지 설정되었다면, 단말 장치(100), 이웃 단말 장치(100-2') 및 클라우드 장치(120')는 분석 가능 수준에 대한 정보를 추가로 고려하여 데이터의 분산 처리 및 분석 작업을 수행할 수 있을 것이다. 데이터의 분배 및 전송과 관련해서는 다양한 방법이 적용될 수 있다.
도 22는 본 발명의 실시 예에 따른 단말 장치의 구동 과정을 나타내는 흐름도이다.
설명의 편의상 도 22를 도 1A 및 도 1B와 함께 참조하면, 본 발명의 실시 예에 따른 단말 장치(100)는 클라우드 서비스를 제공하는 클라우드 장치(120)와 통신을 수행한다(S2200). 예를 들어, 단말 장치(100)에서 클라우드 서비스를 이용하기 위한 요청이 있는 경우, 이에 대하여 응답할 수 있다.
이어 단말 장치(100)는 클라우드 서비스의 서비스 제한 레벨을 사용자별로 결정하기 위한 UI 화면을 표시한다(S2210).
단말 장치(100)가 서비스 제한 레벨을 결정하는 과정에서, 도 1B에서와 같이 이웃 단말 장치(100-2')가 존재하는 경우, 분석 주체 등 다양한 정보를 설정할 수 있다. 이와 관련해서는 앞서 충분히 설명하였으므로 더 이상의 설명은 생략한다.
UI 화면을 통해 서비스 제한 레벨이 설정되면, 단말 장치(100)는 설정된 서비스 제한 레벨에 근거해 클라우드 서비스에 이용되는 데이터를 클라우드 장치(120)와 분산 처리하여 데이터를 분석하게 된다(S2220).
이의 과정에서, 이웃 단말 장치(100-2')에 대하여 분석 주체가 결정된 경우에는 이웃 단말 장치(100-2')와도 분산 처리하여 데이터를 분석할 수 있을 것이다.
도 23은 본 발명의 실시 예에 따른 클라우드 장치의 구동 과정을 나타내는 흐름도이다.
설명의 편의상 도 23을 도 1A와 함께 참조하면, 본 발명의 실시 예에 따른 클라우드 장치(120)는 클라우드 서비스를 이용하는 단말 장치(100)와 통신을 수행한다(S2300).
이어 클라우드 장치(120)는 단말 장치(100)에서 사용자별로 결정한 서비스 제한 레벨 정보를 수신 및 저장한다(S2310).
이의 과정에서 클라우드 장치(120)는 도면에 도시하지는 않았지만, 서비스 제한 레벨 정보를 저장하고, 도 1B에서와 같이 이웃 단말 장치(100-2')가 존재하는 경우, 분석 주체 및 분석 가능 수준 등에 대한 다양한 정보를 설정할 수 있다.
또한, 클라우드 장치(120)는 저장한 서비스 제한 레벨 정보에 근거해 클라우드 서비스에 이용될 데이터를 단말 장치(100)와 분산 처리한다(S2320). 이때 분산 처리 과정을 통해 클라우드 장치(120)는 데이터 분석 결과를 도출할 수 있다.
이후 클라우드 장치(120)는 단말 장치(100)로 클라우드 서비스를 제공하는 과정에서 데이터 분석 결과를 제공할 필요할 있을 때, 해당 결과를 제공할 수 있다.
도 24는 본 발명의 실시 예에 따른 단말 장치의 화면 표시 방법을 나타내는 흐름도이다.
설명의 편의상 도 24를 도 1A와 함께 참조하면, 본 발명의 실시 예에 따른 단말 장치(100)는 클라우드 서비스를 이용하는 단말 장치(100)의 사용자가 클라우드 서비스에 이용되는 계층화된 복수의 계층화 정보 중 공유가능한 계층화 정보를 설정하기 위한 UI 화면을 표시한다(S2400).
이어 단말 장치(100)는 설정한 계층화 정보의 공유 여부에 근거해 계층화 정보별로 클라우드 서비스의 데이터 분석 주체를 설정하기 위한 UI 화면을 표시할 수 있다(S2410).
또한, 단말 장치(100)는 데이터 분석 주체를 설정한 경우, 분석 수준을 설정할 수 있으며, 이외에도 사용자의 공유 여부에 따른 위험성을 알리는 다양한 정보를 표시해 줄 수 있다. 이와 관련해서는 앞서 충분히 설명하였으므로 그 내용들로 대신하고자 한다.
도 25A 및 도 25B는 단말 장치에서 데이터를 클라우드 장치 또는 이웃 단말 장치로 전송할 때, 데이터의 일부를 익명화하는 과정을 설명하기 위한 도면이다.
설명의 편의상 도 25A 및 도 25B를 도 1A와 함께 참조하면, 본 발명의 실시 예에 따른 단말 장치(100)는 설정된 계층화 정보의 공유 여부에 근거해 데이터를 가령 클라우드 장치(120)로 전송할 때, 프라이버시 보호를 위해 전송해야 할 데이터의 일부를 추가로 익명화(annomimization)할 수 있다. 여기서, 익명화란 텍스트, 이미지, 음성 및 동영상 등과 같은 데이터에서 대상 객체의 특성 자체는 보존하는 범위에서 데이터의 일부를 다른 내용으로 변경 또는 합성하는 것을 의미한다.
예를 들어, 도 25A의 (a)에서와 같은 텍스트 또는 음성이 계층화 정보의 공유에 따라 클라우드 장치(120)로 전송된다고 할 때, 도 25A의 (b)에서와 같이 전체적인 의미는 그대로 전달되면서 데이터의 일부인 대상, 즉 이름, 나이 및 소속 등의 정보가 담긴 "삼성전자"나 "윤한반 책임", "30세"와 같이 프라이버시의 침해가 우려되는 부분에 대하여는 "회사", 윤모 임직원" 및 "30대 후반" 등으로 일반화되어 전송될 수 있다. 즉 해당 용어가 다른 용어로 변경되어 전송될 수 있는 것이다. 다시 말해, 음성은 텍스트와 마찬가지로 "윤한반 책임"에 해당되는 음성을 잘라내고, "윤모 임직원"이란 음성을 삽입하는 방법이 가능할 수 있을 것이다.
또한, 도 25B의 (a)에서와 같은 이미지 또는 동영상의 경우, 얼굴 부위는 도 25B의 (b)에서와 같이 이모티콘 이미지 또는 캐리커처(caricature)의 얼굴 이미지에 가려 전송될 수 있다. 좀더 구체적으로, 도 25B의 (a)에서와 같이 이미지에서 개인 객체를 인식하고, 인식한 개인 객체의 일부, 특히 얼굴에 대하여 도 25B의 (b)에서와 추가 이미지를 합성할 수 있다. 물론 이러한 익명화는 객체의 본질에 대한 특성을 잃지 않는 범위에서 모든 로우 데이터에 적용되어 적용될 수 있다.
상기한 내용에 근거해 볼 때, 본 발명의 실시 예에 따른 단말 장치(100)는 계층화 정보의 공유 여부에 따라 전송해야 할 데이터의 익명화가 추가로 요구되는지 분석(또는 판단)하는 과정을 수행할 수 있고, 나아가 분석 결과에 따라 데이터의 일부를 수정하는 과정을 추가로 수행할 수 있을 것이다. 이와 같은 동작은 가령 도 2B에서 볼 때, 제어부(220') 및 데이터 분석부(230') 등에서 이루어질 수 있다.
좀더 구체적으로, 도 26A 내지 도 26C를 참조하면, 예를 들어 사용자는 도 26A의 (a) 내지 (c)에서 익명화를 위한 데이터 유형 및 구체적인 익명화 정보를 설정할 수 있다. 즉 도 26A의 (a)에서와 같이 정보 설정 항목에서 익명화 정보 설정 항목을 선택하고, 이어 도 26A의 (b) 화면에서 이메일, 메시지 및 채팅 서비스와 같은 문자 기반의 컨텐츠를 선택한 후, 도 26의 (c) 화면에서와 같이 이름, 나이 및 소속의 익명화를 구체적으로 설정할 수 있다.
이와 같이 설정이 완료되면, 단말 장치(100)는 해당 익명화와 관련된 설정 정보를 내부에 저장한다. 이후 사용자가 데이터 분배 작업을 수행하는 경우, 해당 데이터를 가령 클라우드 장치(120)로 전송하기 전에 해당 익명화와 관련한 정보가 있는지를 분석한다. 분석 결과 해당 익명화 정보와 관련한 데이터가 있는 경우, 이를 사용자가 지정한 다른 데이터로 변경하거나, 단말 장치(100)가 디폴트로 변경하여 변경된 데이터를 전송할 수 있다. 여기서, 디폴트란 단말 장치(100)가 익명화 정책에 따라 자동으로 데이터를 변경해 주는 것을 의미할 수 있다. 자세한 내용은 위의 도 25A를 통해 충분히 설명하였으므로 더 이상의 설명은 생략한다.
또한 사용자는 도 26B의 (a) 내지 (c)에서와 같이, 음성 메시지, 영상통화, 동영상 및 사진 등의 멀티미디어 컨텐츠에서, 가령 이미지의 경우에는 얼굴의 익명화를 설정하고, 동영상은 얼굴 이외에 음성에서 이름도 익명화를 설정할 수 있다. 이의 경우에도 사용자가 데이터 작업 분배를 설정한 후, 단말 장치(100)가 데이터를 분배할 때, 내부에 설정된 정보에 근거하여 관련 데이터를 다른 데이터로 변경하여 전송하게 되는 것이다. 이러한 변경 방법은 사용자에 의해 지정된 데이터로 변경될 수 있도록 하거나, 단말 장치(100)가 자동으로 결정하여 변경할 수 있다.
나아가, 사용자는 도 26C의 (a) 내지 (c)에서와 같이, 워드, ppt, 엑셀 등의 오피스 문서에서도 익명화를 설정할 수 있다. 예를 들어, 문서에서 보안, 예산, 대외비 등의 정보가 확인되면, 해당 정보가 확인된 문서는 보안 정책에 따라 다양한 정보를 익명화할 수 있다. 이때 보안 정책은 앞서 언급한 소속, 나이 및 이름 등과 사진의 경우, 얼굴을 포함할 수 있을 것이다. 이러한 보안 정책은 다양할 수 있으므로 본 발명의 실시예에서는 이에 특별히 한정하지는 않을 것이다.
도 27은 종래 텍스트 기반으로 사진을 분류하는 방법을 나타내는 도면으로, 본 발명의 실시 예에 따라 이미지 인식 작업에 설정된 서비스 제한 레벨에 따라 사진을 자동 분류하는 동작을 설명하기 위하여 사용되었다.
설명의 편의상 도 27을 도 1A 및 도 7B의 (d)와 함께 참조하면, 본 발명의 실시 예에 따라 단말 장치(100)의 사용자는 도 7B의 (d) 화면에서와 같이 이미지 인식 결과는 클라우드 장치(120)와 공유하지 않는 것으로 설정할 수 있다. 좀더 구체적으로, 단말 장치(100)는 도 27의 (a)에서와 같은 다양한 사진에서 사용자의 개인 사진은 클라우드 장치(120)와 공유하지 않도록 추가로 설정할 수도 있을 것이다.
이의 경우, 단말 장치(100)는 촬영된 사진이나 외부에서 제공받은 사진을 내부의 갤러리 폴더에 저장할 때, 이미지 인식 엔진을 통해 사진을 분석하여 사용자의 개인 사진을 자동 분류할 수 있다. 이에 따라 개인 사진과 이외의 사진을 분류하여 저장할 수 있을 것이다. 가령, 얼굴 인식을 이용하는 경우, 사용자의 얼굴에서 특징점에 대한 정보를 저장하고, 저장한 정보와 인식된 사진의 정보를 비교하여 서로 일치할 때, 사용자 개인의 사진으로 판단하여 자동 분류하는 것이다.
예를 들어, 도 27의 (a) 내지 (c)에 나타낸 바와 같이, 종래의 이미지 분류 방식은 매우 번거로웠다. 다시 말해, 도 27의 (a)에서와 같이 갤러리 폴더에 저장된 많은 사진들을 도 27의 (b)에서와 같이 텍스트에 기반하여 검색함으로써 도 27의 (c)에서와 같이 사진을 이미지 카테고리별로 분류할 수 있었다.
그러나, 본 발명의 실시 예에서와 같이 이미지 인식에 관련된 계층 정보는 단말 장치(100)에서만 이루어지도록 하고, 나아가 개인 사진에 대하여만 단말 장치(100)에서만 이루어지도록 카테고리 정보를 추가로 설정할 수 있다면, 개인의 사생활 보호와 함께 사진의 분류 작업이 매우 수월할 수 있을 것이다.
만약 개인의 사진 이외에 나머지 사진에 대하여는 클라우드 장치(120)로 제공하여도 무관하다면, 단말 장치(100)는 해당 사진들을 클라우드 장치(120)로 제공해 줄 수 있을 것이다.
도 28은 사용자가 이미지 인식을 위하여 어떤 인식 수준을 단말 장치에서 수행할 것인지를 설명하기 위한 도면이다.
도 28을 참조하면, 도 1A의 단말 장치(100)는 이미지 인식, 특히 이미지 스캔 동작을 수행하기 위하여, 클라우드 장치(120) 또는 도 1D의 게이트웨이(100-2'")에 접속하여 관련 프로그램(또는 어플리케이션)을 제공받아 이용할 수 있을 것이다.
이에 따라 단말 장치(100)는 도 28의 (a)에서와 같이, 다양한 이미지 인식 관련 프로그램 중에서 사용자가 원하는 프로그램, 가령 'image-net.sqlite3'을 사용할 수 있다. 만약 사용자가 도 28의 (a) 화면에서 'Select a Different Mode' 버튼을 선택하여 다른 모델을 보고자 하는 경우, 단말 장치(100)는 도 28의 (b)에서와 같이, 다운로드 가능한 프로그램 목록을 보여줄 수 있을 것이다.
도 29는 인식 엔진 및 개인화된 모델을 이용한 이미지 처리 과정을 설명하기 위한 도면이다.
설명의 편의상 도 29를 도 1D와 함께 참조하면, 본 발명의 실시 예에 따른 단말 장치(100-1'")는 도 29의 (a)에서와 같이 이미지 분석을 위한 작업 주체로만 지정된 경우, 단말 장치(100-1'")에서 사용자 많이 보는 컨텍스트 즉 상황을 파악하여 그 컨텍스트를 분석할 수 있는 이미지 인식 모델을 클라우드 장치(120'") 또는 게이트 웨이(100-2'")와 같은 외부 기기로부터 다운로드하여 저장한 후, 이를 이용해 컨텍스트 분석을 수행할 수 있다. 여기서, 이미지 인식 모델은 도 28의 (a)에서 'image-net.sqlite3'와 같은 프로그램을 의미할 수 있다.
예를 들어, 단말 장치(100-1'")는 접속 가능한 게이트 웨이(100-2'")가 발견되면, 게이트 웨이(100-2'")에 접속하여 모델을 요청하고, 요청한 모델을 수신하여 내부에 저장한다. 그리고 이미지 인식에 이를 이용하게 된다.
한편, 도 29의 (b)에서와 같이, 이미지 인식 작업을 게이트 웨이(100-2'")와 협업하여 수행하는 경우, 단말 장치(100-1'")는 사진을 게이트 웨이(100-2'")에 전송하고, 게이트 웨이(100-2'")로부터 인식에 대한 결과를 수신하여 저장한다.
도 29의 (a) 및 (b)에 도시된 모델 매니저는 게이트 웨이(100-2'")와 접속을 시도하는 제어 역할을 담당하고, 데이터 싱크는 2개의 장치 간 동기화를 위한 동작을 수행하기 위한 것으로, 소프트웨어 모듈로 모두 구성될 수 있다. 또한, 개인화 데이터와 모델은 메모리에 저장될 수 있을 것이다.
도 30은 일부 실시예에 따른 단말 장치(100)가 클라우드 장치(120)와 헬스 케어 서비스를 위한 데이터를 분산하여 처리하는 예시를 나타내는 도면이다.
도 30을 참조하면, 단말 장치(100)는 헬스 케어 서비스를 위한 로우 데이터를 획득할 수 있다. 단말 장치(100)는 사용자에게 착용된 웨어러블 디바이스(100-3)로부터 웨어러블 디바이스(100-3)에 의해 센싱된 센싱 정보를 수신할 수 있다. 웨어러블 디바이스(100-3)는, 기 설정된 주기에 따라 또는 특정 이벤트가 발생됨에 따라, 웨어러블 디바이스(100-3) 내의 센서를 통하여 웨어러블 디바이스(100-3)의 위치 및 움직임에 관한 센싱 정보, 및 사용자의 맥박 및 체온 등에 관한 센싱 정보를 생성할 수 있다. 또한, 웨어러블 디바이스(100-3)는, 기 설정된 주기에 따라 또는 특정 이벤트가 발생됨에 따라, 센싱 정보를 단말 장치(100)에게 전송할 수 있다. 또한, 단말 장치(100)는 단말 장치(100) 내의 센서를 이용하여 단말 장치(100)의 위치 및 움직임에 관한 센싱 정보, 및 사용자의 맥박 및 체온 등에 관한 센싱 정보를 생성할 수 있다. 또한, 단말 장치(100)는 센싱 정보가 생성된 때의 시간 정보를 획득할 수 있다.
또한, 단말 장치(100)는 로우 데이터의 일부 또는 전부를 클라우드 장치(120-1)에게 전송하면서, 전송된 로우 데이터의 분석을 요청할 수 있다. 클라우드 장치(120-1)는 로우 데이터를 분석하여 행동 데이터를 생성할 수 있으며, 생성된 행동 데이터를 단말 장치(100)에게 전송할 수 있다. 단말 장치(100)는 익명화된 로우 데이터를 클라우드 장치(120-1)에게 전송할 수 있으며, 클라우드 장치(120-1)는 익명화된 로우 데이터를 분석함으로써 익명화된 행동 데이터를 생성할 수 있다. 또한, 클라우드 장치(120-1)는 익명화된 행동 데이터를 단말 장치(100)에게 제공할 수 있다.
또한, 단말 장치(100)는 행동 데이터의 일부 또는 전부를 클라우드 장치(120-2)에게 전송하면서, 전송된 행동 데이터의 분석을 요청할 수 있다. 단말 장치(100)는 클라우드 장치(120-2)에게 전송할 행동 데이터의 일부를 익명화하고, 익명화된 행동 데이터를 클라우드 장치(120-2)에게 전송할 수 있다. 예를 들어, 사용자의 행동 데이터가 “한강 변”, “일요일”, “9:00 ~10:00”, 및 “조깅”을 포함하는 경우에, 행동 데이터 중 위치에 관한 행동 데이터를 “한강 변”을 기설정된 변수 값 “x”로 대체함으로써, 행동 데이터를 익명화할 수 있다. 또한, 클라우드 장치(120-2)는 익명화된 행동 데이터에 기초하여 사용자의 행동 패턴 데이터를 생성할 수 있다. 이 경우, 클라우드 장치(120-2)는 익명화된 복수의 행동 데이터를 바탕으로 사용자의 행동 패턴 데이터를 생성할 수 있다. 또한, 클라우드 장치(120-2)에 의해 생성된 행동 패턴 데이터는, 익명화된 값을 포함할 수 있다. 클라우드 장치(120-2)는, 예를 들어, “x에서 일요일 9:00~10:00에 조깅을 함”과 같은 행동 패턴 데이터를 생성할 수 있다. 또한, 단말 장치(100)는 클라우드 장치(120-2)로부터 클라우드 장치(120-2)에 의해 생성된 행동 패턴 데이터를 수신하고, 행동 패턴 데이터 내에 포함된 “x”를 “한강변 “으로 해석함으로써, “사용자가 한강변에서 일요일 9:00~10:00에 조깅을 함”과 같은 행동 패턴 데이터를 생성할 수 있다.
또한, 단말 장치(100)는 행동 패턴 데이터의 일부 또는 전부를 클라우드 장치(120-3)에게 전송하면서, 행동 예측 데이터의 생성을 요청할 수 있다. 단말 장치(100)는 클라우드 장치(120-3)에게 전송할 행동 패턴 데이터의 일부를 익명화하고, 익명화된 행동 데이터를 클라우드 장치(120-3)에게 전송할 수 있다. 예를 들어, 사용자의 행동 패턴 데이터가 “한강 변에서 일요일 9:00 ~10:00에 조깅을 한다”라는 정보를 포함하는 경우에, 단말 장치(100)는 행동 패턴 데이터를 “x에서 일요일 9:00~10:00에 조깅을 함”과 같이 익명화할 수 있다. 또한, 단말 장치(100)는 익명화된 행동 패턴 데이터를 클라우드 장치(120-3)에게 제공할 수 있다.
이 경우, 단말 장치(100)는 사용자의 행동에 관련된 정보를 실시간으로 획득하여 클라우드 장치(120-3)에게 제공할 수 있다. 이 경우, 사용자의 행동에 관련된 정보는, 사용자의 행동과 관련하여 획득되는 로우 데이터 또는, 로우 데이터로부터 분석된 행동 데이터일 수 있다. 단말 장치(100)는 실시간으로 획득된 사용자의 행동에 관련된 정보의 일부 또는 전부를 익명화하고, 익명화된 정보를 클라우드 장치(120-3)에게 제공할 수 있다.
또한, 클라우드 장치(120-3)는 단말 장치(100)로부터 전송된 사용자의 행동에 관련된 정보를 사용자의 행동 패턴 데이터와 비교함으로써, 사용자의 행동에 관한 알람 정보를 생성할 수 있다. 예를 들어, 클라우드 장치(120-3)는 단말 장치(100)로부터 전송된 사용자의 행동에 관련된 정보에 기초하여, 일요일 오전 9:30에 한강 변에서 사용자가 멈춰있고, 사용자의 체온이 기설정된 값 이하로 떨어짐을 판단할 수 있다. 또한, 클라우드 장치(120-3)는 상기 판단 결과를 행동 패턴 데이터와 비교함으로써, 사용자의 건강에 이상이 생겼음을 알리는 알람 정보를 생성하여 단말 장치(100)로 전송할 수 있다.
이 경우, 단말 장치(100)는 기 설정된 이웃 단말 장치(100)에게 알람 정보를 전송할 수 있다. 알람 정보를 수신할 이웃 단말 장치(100)는 사용자에 의해 미리 설정될 수 있다. 그러나, 이에 제한되지 않으며, 클라우드 장치(120-3)가 기 설정된 이웃 단말 장치(100)에게 알람 정보를 전송할 수도 있다.
한편, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 모든 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 비일시적 저장매체(non-transitory computer readable media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다.
여기서 비일시적 판독 가능 기록매체란, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라, 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리 카드, ROM 등과 같은 비일시적 판독가능 기록매체에 저장되어 제공될 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

Claims (20)

  1. 외부 장치와 사용자의 행동을 분석하는 단말 장치에 있어서,
    상기 외부 장치와 통신하는 통신 인터페이스부;
    상기 사용자의 행동을 예측하는데 이용되는 복수의 계층 별로 구분된 데이터를 획득하고, 상기 복수의 계층 별로, 상기 데이터의 공유 여부, 상기 데이터를 분석하는 분석 주체 및 상기 분석 주체의 작업 수준을 포함하는 서비스 제한 레벨 정보를 설정하고, 상기 서비스 제한 레벨 정보에 기초하여 상기 획득된 데이터의 일부를 익명화하고, 익명화된 상기 데이터의 일부 및 익명화되지 않은 상기 데이터의 나머지를 상기 통신 인터페이스부를 통하여 상기 외부 장치로 제공하는 제어부; 및
    상기 제공된 데이터를 이용하여 상기 외부 장치에서 분석된 행동 예측 데이터에 기초한 상기 사용자의 행동과 관련된 알림 정보를 표시하는 디스플레이부
    를 포함하는 단말 장치.
  2. 제1항에 있어서,
    상기 사용자의 행동을 예측하는데 이용되는 데이터는,
    상기 단말 장치에서 획득된 로우 데이터, 상기 로우 데이터로부터 도출된 행동 데이터 및 상기 행동 데이터로부터 도출된 행동 패턴 데이터 중 적어도 하나인 것
    을 특징으로 하는 단말 장치.
  3. 제1항에 있어서,
    상기 제어부는,
    상기 분석 주체를, 상기 단말 장치, 상기 외부 장치 및 이웃 단말 장치 중 적어도 하나로 설정하는 것
    을 특징으로 하는 단말 장치.
  4. 제1항에 있어서,
    상기 제어부는,
    상기 외부 장치 및 이웃 단말 장치 중 적어도 하나에 상기 데이터를 분석하기 위한 프로그램이 설치되지 않았다고 판단되면, 상기 외부 장치 및 상기 이웃 단말 장치 중 적어도 하나에 상기 데이터를 분석하기 위한 프로그램을 제공하는 것을 특징으로 하는 단말 장치.
  5. 제1항에 있어서,
    상기 디스플레이부는,
    상기 데이터를 분석하기 위하여 상기 단말 장치의 동작 상황 및 네트워크 상황에 대한 조건을 설정하는 UI 화면을 더 표시하고,
    상기 제어부는,
    상기 UI 화면을 통하여 설정된 조건에 근거해 상기 사용자의 행동을 분석하는 것
    을 특징으로 하는 단말 장치.
  6. 제1항에 있어서,
    상기 디스플레이부는,
    하위 계층에 속하는 데이터의 공유 설정에 근거해 상위 계층에 속하는 데이터의 생성을 위한 데이터 분석가능 주체를 알리는 제1 영역,
    상기 데이터 분석 주체의 분석 작업가능 수준을 알리는 제2 영역, 및
    상기 하위 계층에 속하는 데이터의 공유 설정에 근거하여 다른 계층에 속하는 데이터의 노출 위험성을 알리는 제3 영역 중 적어도 하나의 영역을 포함하는 UI 화면을 더 표시하는
    것을 특징으로 하는 단말 장치.
  7. 단말 장치와 사용자의 행동을 분석하는 클라우드 장치에 있어서,
    상기 단말 장치와 통신하는 통신 인터페이스부;
    상기 단말 장치를 사용하는 사용자의 행동을 예측하는데 이용되는 복수의 계층 별로 구분된 데이터로서, 익명화된 상기 데이터의 일부 및 익명화되지 않은 상기 데이터의 나머지를 상기 통신 인터페이스부를 통하여 상기 단말 장치로부터 수신하여 저장하는 저장부; 및
    상기 수신된 데이터를 이용하여 상기 사용자의 행동을 예측하는 행동 예측 데이터를 도출하고, 상기 도출된 행동 예측 데이터를 상기 통신 인터페이스부를 통하여 상기 단말 장치로 제공하는 제어부를 포함하고,
    상기 익명화된 상기 데이터의 일부 및 익명화되지 않은 상기 데이터의 나머지는, 상기 복수의 계층 별로, 상기 데이터의 공유 여부, 상기 데이터를 분석하는 분석 주체 및 상기 분석 주체의 작업 수준을 포함하는 서비스 제한 레벨 정보에 기초하여 획득된 것인, 클라우드 장치.
  8. 제7항에 있어서,
    상기 사용자의 행동을 예측하는데 이용되는 데이터는,
    상기 단말 장치에서 획득된 로우 데이터, 상기 로우 데이터로부터 도출된 행동 데이터 및 상기 행동 데이터로부터 도출된 행동 패턴 데이터 중 적어도 하나인 것
    을 특징으로 하는 클라우드 장치.
  9. 제7항에 있어서,
    상기 저장부는,
    상기 복수의 계층으로 구분된 데이터 중 일부 또는 전부를 공유 가능하도록 설정한 협업 수준 정보를 상기 단말 장치에서 수신하여 저장하는 것
    을 특징으로 하는 클라우드 장치.
  10. 제7항에 있어서,
    상기 데이터가 복수의 계층으로 구분된 경우,
    상기 저장부는,
    상기 복수의 계층 별로 상기 단말 장치, 상기 단말 장치의 주변에 위치한 이웃 단말 장치 및 상기 클라우드 장치 중 적어도 하나를 데이터 분석 주체로서 결정한 정보를 상기 단말 장치에서 수신하여 저장하는 것
    을 특징으로 하는 클라우드 장치.
  11. 단말 장치가 외부 장치와 사용자의 행동을 분석하는 방법에 있어서,
    상기 사용자의 행동을 예측하는데 이용되는 복수의 계층 별로 구분된 데이터를 획득하는 단계;
    상기 복수의 계층 별로, 상기 데이터의 공유 여부, 상기 데이터를 분석하는 분석 주체 및 상기 분석 주체의 작업 수준을 포함하는 서비스 제한 레벨 정보를 설정하는 단계;
    상기 서비스 제한 레벨 정보에 기초하여, 상기 획득된 데이터의 일부를 익명화하는 단계;
    상기 익명화된 상기 데이터의 일부 및 익명화되지 않은 상기 데이터의 나머지를 상기 외부 장치로 제공하는 단계;
    상기 제공된 데이터를 이용하여 상기 외부 장치에서 분석된 행동 예측 데이터를 수신하는 단계; 및
    상기 수신된 행동 예측 데이터에 기초한 상기 사용자의 행동과 관련된 알림 정보를 표시하는 단계
    를 포함하는 사용자 행동 분석 방법.
  12. 제11항에 있어서,
    상기 사용자의 행동을 예측하는데 이용되는 데이터는,
    상기 단말 장치에서 획득된 로우 데이터, 상기 로우 데이터로부터 도출된 행동 데이터 및 상기 행동 데이터로부터 도출된 행동 패턴 데이터 중 적어도 하나인 것
    을 특징으로 하는 사용자 행동 분석 방법.
  13. 제11항에 있어서,
    상기 서비스 제한 레벨 정보를 설정하는 단계는,
    상기 분석 주체를, 상기 단말 장치, 상기 외부 장치 및 이웃 단말 장치 중 적어도 하나로 설정하는 단계
    를 더 포함하는 사용자 행동 분석 방법.
  14. 제11항에 있어서,
    상기 외부 장치 및 이웃 단말 장치 중 적어도 하나에 상기 데이터를 분석하기 위한 프로그램이 설치되지 않았다고 판단되면, 상기 외부 장치 및 상기 이웃 단말 장치 중 적어도 하나에 상기 데이터를 분석하기 위한 프로그램을 제공하는 단계
    를 더 포함하는 사용자 행동 분석 방법.
  15. 제11항에 있어서,
    상기 데이터를 분석하기 위하여 상기 단말 장치의 동작 상황 및 네트워크 상황에 대한 조건을 설정하는 UI 화면을 표시하는 단계; 및
    상기 UI 화면을 통하여 설정된 조건에 근거해 상기 사용자의 행동을 분석하는 단계
    를 더 포함하는 사용자 행동 분석 방법.
  16. 제11항에 있어서,
    하위 계층에 속하는 데이터의 공유 설정에 근거해 상위 계층에 속하는 데이터의 생성을 위한 데이터 분석가능 주체를 알리는 제1 영역,
    상기 데이터 분석 주체의 분석 작업가능 수준을 알리는 제2 영역, 및
    상기 하위 계층에 속하는 데이터의 공유 설정에 근거하여 다른 계층에 속하는 데이터의 노출 위험성을 알리는 제3 영역 중 적어도 하나의 영역을 포함하는 UI 화면을 표시하는 단계
    를 더 포함하는 사용자 행동 분석 방법.
  17. 클라우드 장치가 단말 장치와 사용자의 행동을 분석하는 방법에 있어서,
    상기 단말 장치를 사용하는 사용자의 행동을 예측하는데 이용되는 복수의 계층 별로 구분된 데이터로서, 익명화된 상기 데이터의 일부 및 익명화되지 않은 상기 데이터의 나머지를 수신하는 단계;
    상기 상기 수신된 데이터를 이용하여 상기 사용자의 행동을 예측하는 행동 예측 데이터를 도출하는 단계; 및
    상기 도출된 행동 예측 데이터를 상기 단말 장치로 제공하는 단계를 포함하고,
    상기 익명화된 상기 데이터의 일부 및 익명화되지 않은 상기 데이터의 나머지는, 상기 복수의 계층 별로, 상기 데이터의 공유 여부, 상기 데이터를 분석하는 분석 주체 및 상기 분석 주체의 작업 수준을 포함하는 서비스 제한 레벨 정보에 기초하여 획득된 것인, 사용자 행동 분석 방법.
  18. 제17항에 있어서,
    상기 사용자의 행동을 예측하는데 이용되는 데이터는,
    상기 단말 장치에서 획득된 로우 데이터, 상기 로우 데이터로부터 도출된 행동 데이터 및 상기 행동 데이터로부터 도출된 행동 패턴 데이터 중 적어도 하나인 것
    을 특징으로 하는 사용자 행동 분석 방법.
  19. 제17항에 있어서,
    상기 복수의 계층으로 구분된 데이터 중 일부 또는 전부를 공유 가능하도록 설정한 협업 수준 정보를 상기 단말 장치로부터 수신하는 단계
    를 더 포함하는 사용자 행동 분석 방법.
  20. 제17항에 있어서,
    상기 복수의 계층 별로 상기 단말 장치, 상기 단말 장치의 주변에 위치한 이웃 단말 장치 및 상기 클라우드 장치 중 적어도 하나를 상기 분석 주체로서 결정한 정보를 상기 단말 장치로부터 수신하는 단계
    를 더 포함하는 사용자 행동 분석 방법.
KR1020150056893A 2014-05-15 2015-04-22 단말 장치, 클라우드 장치, 단말 장치의 구동방법, 데이터 협업처리 방법 및 컴퓨터 판독가능 기록매체 KR102322032B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US14/917,641 US11228653B2 (en) 2014-05-15 2015-05-15 Terminal, cloud apparatus, driving method of terminal, method for processing cooperative data, computer readable recording medium
EP15792566.0A EP3133502B1 (en) 2014-05-15 2015-05-15 Terminal device and method for cooperatively processing data
PCT/KR2015/004885 WO2015174777A1 (ko) 2014-05-15 2015-05-15 단말 장치, 클라우드 장치, 단말 장치의 구동방법, 데이터 협업처리 방법 및 컴퓨터 판독가능 기록매체
CN201580026559.4A CN106464727B (zh) 2014-05-15 2015-05-15 终端装置、云装置、驱动终端装置的方法、协同处理数据的方法和计算机可读记录介质
TW105101939A TWI719959B (zh) 2014-05-15 2016-01-22 終端、雲端裝置、分析方法、資料協同式處理服務系統、以及終端-雲端分配系統

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201461993407P 2014-05-15 2014-05-15
US61/993,407 2014-05-15
KR1020140126104A KR20150132800A (ko) 2014-05-15 2014-09-22 단말장치, 클라우드 장치, 단말장치의 구동방법, 클라우드 서비스 제공 방법 및 컴퓨터 판독가능 기록매체
KR1020140126104 2014-09-22
KR1020150022418 2015-02-13
KR1020150022418A KR20150132803A (ko) 2014-05-15 2015-02-13 단말장치, 클라우드 장치, 단말장치의 구동방법, 데이터 협업처리 방법 및 컴퓨터 판독가능 기록매체

Publications (2)

Publication Number Publication Date
KR20150131957A KR20150131957A (ko) 2015-11-25
KR102322032B1 true KR102322032B1 (ko) 2021-11-08

Family

ID=54847373

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020140126104A KR20150132800A (ko) 2014-05-15 2014-09-22 단말장치, 클라우드 장치, 단말장치의 구동방법, 클라우드 서비스 제공 방법 및 컴퓨터 판독가능 기록매체
KR1020150022418A KR20150132803A (ko) 2014-05-15 2015-02-13 단말장치, 클라우드 장치, 단말장치의 구동방법, 데이터 협업처리 방법 및 컴퓨터 판독가능 기록매체
KR1020150056893A KR102322032B1 (ko) 2014-05-15 2015-04-22 단말 장치, 클라우드 장치, 단말 장치의 구동방법, 데이터 협업처리 방법 및 컴퓨터 판독가능 기록매체

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020140126104A KR20150132800A (ko) 2014-05-15 2014-09-22 단말장치, 클라우드 장치, 단말장치의 구동방법, 클라우드 서비스 제공 방법 및 컴퓨터 판독가능 기록매체
KR1020150022418A KR20150132803A (ko) 2014-05-15 2015-02-13 단말장치, 클라우드 장치, 단말장치의 구동방법, 데이터 협업처리 방법 및 컴퓨터 판독가능 기록매체

Country Status (4)

Country Link
EP (1) EP3133502B1 (ko)
KR (3) KR20150132800A (ko)
CN (1) CN106464727B (ko)
TW (1) TWI719959B (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10956603B2 (en) * 2016-04-07 2021-03-23 Samsung Electronics Co., Ltd. Private dataaggregation framework for untrusted servers
KR101887594B1 (ko) * 2016-06-20 2018-08-13 엔쓰리엔 주식회사 클라우드 네트워크 기반 데이터 시각화 방법 및 장치
WO2020008384A1 (en) * 2018-07-04 2020-01-09 Channel Technologies Fze Provision and recovery of network usage advances
CN113141483B (zh) * 2020-01-17 2022-09-09 华为技术有限公司 基于视频通话的共享屏幕方法及移动设备
US11960623B2 (en) * 2020-03-27 2024-04-16 EMC IP Holding Company LLC Intelligent and reversible data masking of computing environment information shared with external systems
TWI736328B (zh) * 2020-06-19 2021-08-11 宏碁股份有限公司 頭戴式顯示裝置及應用其之畫面顯示方法
TWI800743B (zh) * 2020-07-17 2023-05-01 開曼群島商粉迷科技股份有限公司 個人化內容推薦方法、圖形使用者介面及其系統
US20240070298A1 (en) * 2022-08-31 2024-02-29 Youjean Cho Selective collaborative object access

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120117090A1 (en) 2010-11-04 2012-05-10 Electronics And Telecommunications Research Institute System and method for managing digital contents
US20130159408A1 (en) * 2011-12-15 2013-06-20 Microsoft Corporation Action-oriented user experience based on prediction of user response actions to received data
US20130326007A1 (en) 2012-06-04 2013-12-05 Apple Inc. Repackaging demographic data with anonymous identifier
US20130332987A1 (en) 2012-06-11 2013-12-12 Intertrust Technologies Corporation Data collection and analysis systems and methods
JP2014013458A (ja) * 2012-07-03 2014-01-23 Hitachi Systems Ltd サービス提供方法及びサービス提供システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2009342005A1 (en) * 2009-03-09 2011-11-03 Arbitron Mobile Oy Mobile terminal and method for providing life observations and a related server arrangement and method with data analysis, distribution and terminal guiding features
US20110314482A1 (en) * 2010-06-18 2011-12-22 Microsoft Corporation System for universal mobile data
US20120117227A1 (en) * 2010-11-10 2012-05-10 Sony Corporation Method and apparatus for obtaining feedback from a device
US8600981B1 (en) * 2010-12-21 2013-12-03 Google Inc. Using activity status to adjust activity rankings
CN103177129B (zh) * 2013-04-19 2016-03-16 上海新数网络科技股份有限公司 互联网实时信息推荐预测系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120117090A1 (en) 2010-11-04 2012-05-10 Electronics And Telecommunications Research Institute System and method for managing digital contents
US20130159408A1 (en) * 2011-12-15 2013-06-20 Microsoft Corporation Action-oriented user experience based on prediction of user response actions to received data
US20130326007A1 (en) 2012-06-04 2013-12-05 Apple Inc. Repackaging demographic data with anonymous identifier
US20130332987A1 (en) 2012-06-11 2013-12-12 Intertrust Technologies Corporation Data collection and analysis systems and methods
JP2014013458A (ja) * 2012-07-03 2014-01-23 Hitachi Systems Ltd サービス提供方法及びサービス提供システム

Also Published As

Publication number Publication date
EP3133502A1 (en) 2017-02-22
KR20150131957A (ko) 2015-11-25
TW201640373A (zh) 2016-11-16
KR20150132800A (ko) 2015-11-26
CN106464727B (zh) 2021-02-23
TWI719959B (zh) 2021-03-01
EP3133502A4 (en) 2017-11-29
KR20150132803A (ko) 2015-11-26
CN106464727A (zh) 2017-02-22
EP3133502B1 (en) 2020-11-11

Similar Documents

Publication Publication Date Title
KR102322032B1 (ko) 단말 장치, 클라우드 장치, 단말 장치의 구동방법, 데이터 협업처리 방법 및 컴퓨터 판독가능 기록매체
US11228653B2 (en) Terminal, cloud apparatus, driving method of terminal, method for processing cooperative data, computer readable recording medium
Das et al. Personalized privacy assistants for the internet of things: Providing users with notice and choice
US20230161908A1 (en) Systems and Methods for Context-Based Permissioning of Personally Identifiable Information
US11283726B1 (en) Systems and methods for assigning tasks based on usage patterns and resource capacities
US10268826B2 (en) Privacy-based degradation of activity signals and automatic activation of privacy modes
US10111059B2 (en) Systems and methods for utilizing wireless communications to suggest connections for a user
KR101645149B1 (ko) 데이터 동기화
De Mobile cloud computing: architectures, algorithms and applications
US11868492B2 (en) Systems and methods for mediating permissions
US20220078135A1 (en) Signal upload optimization
Vescovi et al. My data store: toward user awareness and control on personal data
AU2014412031B2 (en) Techniques to associate user data with a mobile device
US20200169837A1 (en) User adapted location based services
KR20150125441A (ko) 모바일 기기에서 데이터를 통합 관리하는 장치 및 방법과, 그 모바일 기기
Park et al. A digital diary making system based on user life-log
Aitenbichler et al. Smart products: Integration challenges
Fernando Honeybee: a dynamic work stealing model for mobile crowd computing
De Mobile Cloud Computing

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right