KR101481996B1 - 행동기반 실감영상환경 제어 시스템 - Google Patents

행동기반 실감영상환경 제어 시스템 Download PDF

Info

Publication number
KR101481996B1
KR101481996B1 KR20130077630A KR20130077630A KR101481996B1 KR 101481996 B1 KR101481996 B1 KR 101481996B1 KR 20130077630 A KR20130077630 A KR 20130077630A KR 20130077630 A KR20130077630 A KR 20130077630A KR 101481996 B1 KR101481996 B1 KR 101481996B1
Authority
KR
South Korea
Prior art keywords
information
image
behavior
runtime
display device
Prior art date
Application number
KR20130077630A
Other languages
English (en)
Other versions
KR20150004952A (ko
Inventor
송유진
강장묵
Original Assignee
동국대학교 경주캠퍼스 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 경주캠퍼스 산학협력단 filed Critical 동국대학교 경주캠퍼스 산학협력단
Priority to KR20130077630A priority Critical patent/KR101481996B1/ko
Publication of KR20150004952A publication Critical patent/KR20150004952A/ko
Application granted granted Critical
Publication of KR101481996B1 publication Critical patent/KR101481996B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking

Abstract

본 발명은 시청자의 움직임에 대응하여 영상콘텐츠의 디스플레이가 제어되고, 영상콘텐츠 현시 장면에 대응하는 시청자의 움직임을 수집, 분석함으로써 해당 영상콘텐츠를 감상하는 다음 시청자의 런타임별 행동패턴을 예측하여 디스플레이장치 및 실감영상보조장치를 제어하도록 구성된 것을 특징으로 하는 행동기반 실감영상환경 제어 시스템을 제공한다.
본 발명은 「유·무선통신수단에 의해 정보를 송·수신할 수 있는 촬영부, 제어부 및 디스플레이장치를 포함하여 구성되는 영상콘텐츠 제어 시스템으로서, 상기 촬영부는 상기 디스플레이장치에 현시되는 영상콘텐츠를 감상하는 시청자를 촬영하여 생성한 이미지 정보를 상기 제어부에 전달하고, 상기 제어부는 기 구축된 행동패턴DB과 상기 이미지 정보를 비교·분석하고 행동의미를 추론하여 상기 디스플레이장치에 제어신호를 전달하도록 구성된 것을 특징으로 하는 행동기반 실감영상환경 제어 시스템」을 제공한다.

Description

행동기반 실감영상환경 제어 시스템{Behavior-based Realistic Picture Environment Control System}
본 발명은 시청자의 움직임에 대응하여 영상콘텐츠의 디스플레이가 제어되고, SNS를 통해 수집되는 소셜정보와 영상콘텐츠에 수반된 정보레이어를 비교, 분석함으로써 관심정보를 추출하여 활용하며, 영상콘텐츠 현시 장면에 대응하는 시청자의 움직임을 수집, 분석함으로써 해당 영상콘텐츠를 감상하는 다음 시청자의 런타임별 행동패턴을 예측하여 디스플레이장치 및 실감영상보조장치를 제어하도록 구성된 것을 특징으로 하는 행동기반 실감영상환경 제어 시스템을 제공한다.
UI(User Interface)란 사용자(사람)와 컴퓨터 사이의 소통을 위한 매개체로서, 현재의 UI기술은 텍스트 기반의 CLI(Command Line Interface), 그래픽 기반의 GUI(Graphical User Interface)를 넘어 인간 신체 기반의 NUI(Natural User Interface)로 진화하고 있다.
[참고도 1]
Figure 112013059781761-pat00001
NUI는 인간의 손동작, 음성, 제스처 등을 기반으로 한 것이기 때문에 이용하기 쉽다는 장점이 있으며, 컨넥티드 디바이스(Connected Device)의 보급이 일반화되면서 NUI 역시 다양하게 진화하고 있다. NUI의 주요 기술로는 Multi-Touch, Gesture, Voice, Eye Tracking, Facial Expression, Device Movement, Biometrics, Brain-based 등이 있다. 아래의 [표 1]은 현존하는 NUI 기술을 유형별로 분류하여 설명한 것이다.
[표 1]
Figure 112013059781761-pat00002
최근에는 NUI를 활용하여 사용자 체험을 강조하는 UX(User Experience)가 주목받고 있으며, 실감영상분야도 전인체적인 체험을 받을 수만 있는 시스템(또는 소프트웨어) 구성에서 한 단계 더 발전하여 전인격적인 체험을 실감영상으로 교류하고 소통하며 더 나아가 이를 기반으로 사용자의 행위를 예측하는 쌍방향의 체험 기술이 각광받을 것으로 여겨진다.
공개특허 10-2011-0047735 "ＮＵＩ를 위한 제스쳐 등록 장치 및 방법"(2011.05.09. 공개) 공개특허 10-2011-0047776 "ＮＵＩ를 위한 제스쳐 인식 장치 및 방법"(2011.05.09. 공개)
본 발명이 해결하고자 하는 과제는 다음과 같다.
1. 시청자의 동작에 대응하여 영상콘텐츠의 디스플레이가 제어되는 시스템을 제공한다.
2. SNS를 통해 수집되는 소셜정보와 영상콘텐츠에 수반된 정보레이어를 비교, 분석함으로써 관심정보를 추출, 활용하는 시스템을 제공한다.
3. 영상콘텐츠의 런타임에 따라 현시되는 화면에 대응하는 시청자의 동작을 수집, 분석하여 해당 영상콘텐츠를 감상하는 다음 시청자의 런타임별 행동패턴을 예측하여 디스플레이장치 및 실감영상보조장치를 제어하는 시스템을 제공한다.
본 발명은 「유·무선통신수단에 의해 정보를 송·수신할 수 있는 촬영부, 제어부 및 디스플레이장치를 포함하여 구성되는 영상콘텐츠 제어 시스템으로서, 상기 촬영부는 상기 디스플레이장치에 현시되는 영상콘텐츠를 감상하는 시청자를 촬영하여 생성한 이미지 정보를 상기 제어부에 전달하고, 상기 제어부는 기 구축된 행동패턴DB과 상기 이미지 정보를 비교·분석하고 행동의미를 추론하여 상기 디스플레이장치에 제어신호를 전달하도록 구성된 것을 특징으로 하는 행동기반 실감영상환경 제어 시스템」을 제공한다.
또한, 본 발명은 「상기 영상콘텐츠에는 영상진행에 따른 런타임정보 및 런타임에 따른 시청자 행동패턴을 기록한 런타임-행동DB가 수반되어 있고, 상기 제어부는 상기 영상콘텐츠로부터 런타임정보를 추출하여 상기 이미지 정보와 매칭시켜 런타임-행동 갱신정보를 생성하도록 구성된 것을 특징으로 하는 행동기반 실감영상환경 제어 시스템」을 함께 제공한다.
또한, 본 발명은 「상기 디스플레이장치에 상기 영상콘텐츠를 제공하는 콘텐츠 관리서버; 를 더 포함하여 구성되며, 상기 콘텐츠 관리서버는 주기적으로 상기 제어부로부터 상기 런타임-행동 갱신정보를 수집하여 상기 런타임-행동DB를 갱신하도록 구성된 것을 특징으로 하는 행동기반 실감영상환경 제어 시스템」을 함께 제공한다.
또한, 본 발명은 「상기 제어부는 상기 영상콘텐츠의 플레이 시각정보 및 상기 디스플레이장치 설치지점의 위치정보를 수집하여 상기 런타임-행동 갱신정보와 함께 상기 콘텐츠 관리서버로 전달하도록 구성된 것을 특징으로 하는 행동기반 영상콘텐츠 제어 시스템」을 함께 제공한다.
또한, 본 발명은 「시청자가 가입한 SNS(Social Network Service)를 통해 소셜정보를 수집하여 상기 제어부에 전달하는 소셜정보서버; 를 더 포함하여 구성되고, 상기 영상콘텐츠는 영상과 관련된 배경지역 정보, 건물정보, 인물정보, 대사정보 및 물품정보를 포함하는 정보레이어가 수반되어 있으며, 상기 제어부는 상기 소셜정보와 정보레이어를 비교·분석함으로써 상기 정보레이어로부터 관심정보를 추출하도록 구성된 것을 특징으로 하는 행동기반 영상콘텐츠 제어 시스템」을 함께 제공한다. 이 경우 상기 제어부는 추출된 관심정보를 키워드로 하여 인터넷망에서 추천콘텐츠를 검색하여 리스트를 작성하도록 구성할 수 있으며, 또한 상기 제어부는 상기 소셜정보서버를 통해 열람되는 타인의 SNS 업로드정보 중 상기 관심정보와 매칭되는 것에 대해 상기 관심정보를 자동으로 첨부하도록 구성할 수 있다.
또한, 본 발명은 「상기 디스플레이장치와 연계되어, 상기 제어부에서 전달하는 제어신호에 의해 작동이 통제되는 실감영상보조장치; 를 더 포함하여 구성된 것을 특징으로 하는 행동기반 영상콘텐츠 제어 시스템」을 함께 제공한다.
전술한 본 발명에 따르면 다음의 효과를 기대할 수 있다.
1. 시청자의 행동에 따라 디스플레이장치가 제어되므로, 시청자가 영상콘텐츠 시청 중 다른 용무가 발생하여 급히 자리를 비웠다가 돌아오는 경우 영상콘텐츠의 재생이 중단되었다가 리플레이되는 제어, 시청자가 영상콘텐츠 시청 중 잠이 드는 경우 자동으로 디스플레이장치를 오프시키는 제어 등, 상황에 맞는 제어를 자동으로 수행할 수 있다.
2. SNS를 통해 수집되는 소셜정보와 영상콘텐츠에 수반된 정보레이어를 비교, 분석함으로써 시청자의 관심정보를 추출하여, 광고 서비스 등과 연계시킬 수 있고, 상기 관심정보를 키워드로 여러 가지 추천콘텐츠를 검색하여 제공할 수 있다.
3. 영상콘텐츠의 런타임에 따라 현시되는 화면에 대응하는 시청자의 동작을 수집, 분석하여 이를 DB화 함으로써 해당 영상콘텐츠를 감상하는 다음 시청자의 런타임별 행동패턴을 예측하여 디스플레이장치 및 실감영상보조장치를 제어하여 영상콘텐츠 감상을 위한 최적화된 환경을 제공할 수 있다.
[도 1]은 시청자의 행동 분석 결과에 따라 디스플레이장치를 제어하는 행동기반 영상콘텐츠 제어 시스템의 모식도이다.
[도 2]는 영상콘텐츠의 런타임별 시청자 행동패턴 분석결과에 따라 디스플레이장치를 제어하는 행동기반 영상콘텐츠 제어 시스템의 모식도이다.
[도 3]은 콘텐츠 관리서버에서 런타임-행동 갱신정보를 수집하여 런타임-행동DB를 갱신하는 과정의 모식도이다.
[도 4]는 영상콘텐츠의 플레이 시각정보 및 상기 디스플레이장치 설치지점의 위치정보가 수록된 런타임-행동 갱신정보 리스트의 실시예이다.
[도 5]는 제어부가 시청자의 소셜정보와 영상콘텐츠의 정보레이어를 비교, 분석하여 관심정보를 추출하는 과정의 모식도이이다.
[도 6]은 소셜정보와 정보레이어를 비교, 분석하여 추출한 관심정보를 키워드로 검색하여 도출한 추천콘텐츠 리스트의 실시예이다.
본 발명은 「유·무선통신수단에 의해 정보를 송·수신할 수 있는 촬영부, 제어부 및 디스플레이장치를 포함하여 구성되는 영상콘텐츠 제어 시스템으로서, 상기 촬영부는 상기 디스플레이장치에 현시되는 영상콘텐츠를 감상하는 시청자를 촬영하여 생성한 이미지 정보를 상기 제어부에 전달하고, 상기 제어부는 기 구축된 행동패턴DB과 상기 이미지 정보를 비교·분석하고 행동의미를 추론하여 상기 디스플레이장치에 제어신호를 전달하도록 구성된 것을 특징으로 하는 행동기반 실감영상환경 제어 시스템」을 제공한다.
이하에서는 첨부한 도면과 함께 본 발명을 상세히 설명한다.
[도 1]은 시청자의 행동 분석 결과에 따라 디스플레이장치를 제어하는 행동기반 영상콘텐츠 제어 시스템의 모식도이다. 상기 디스플레이장치는 영상콘텐츠를 현시하고, 제어부에서 전달하는 제어신호에 의해 작동이 통제되는 모든 기기를 총칭한다.
상기 촬영부는 상기 디스플레이장치에 현시되는 영상콘텐츠를 감상하는 시청자를 촬영하여 생성한 이미지 정보를 상기 제어부에 전달한다. 상기 촬영부는 상기 디스플레이장치와 물리적으로 결합되어 있을 수 있으며, 별도의 CCTV, 소형카메라 등으로 구성할 수도 있다.
상기 이미지 정보는 촬영영상을 그대로 디지털정보화 한 것일 수 있으나, 영상이미지 분석을 통해 촬영영상의 배경과 시청자를 구분하고, 아래의 [참고도 2]와 같이 촬영영상으로 나타난 시청자의 신체 각 부위 지점에 점을 찍어 좌표정보화하고, 각 점의 좌표변화를 기록하는 방식 등으로 이미지 정보량을 줄일 수 있다. 또한 아래의 [참고도 3]과 같이 신체의 부위의 굴곡을 선으로 단순화하여, 선의 변화를 기록하는 방식 등으로 이미지 정보량을 줄일 수도 있다.
[참고도 2]
Figure 112013059781761-pat00003
[참고도 3]
Figure 112013059781761-pat00004

상기 제어부는 기 구축된 행동패턴DB과 상기 이미지 정보를 비교·분석하고 행동의미를 추론하여 상기 디스플레이장치에 제어신호를 전달한다. 상기 제어부는 상기 디스플레이장치 또는 상기 촬영부와 물리적으로 결합되어 있을 수 있다.
상기 행동패턴DB는 상기 제어부 내의 메모리에 저장되어 있을 수 있고, 후술할 콘텐츠 관리서버에 저장된 것을 유·무선통신수단을 통해 접속하여 활용하도록 구성할 수도 있다.
상기 행동패턴DB는 영상콘텐츠를 감상하면서 벌어질 수 있는 행동패턴들(취침, 통화, 이동 등)을 유형화하여 정리한 것으로서, 상기 제어부가 상기 촬영부로부터 상기 행동패턴DB와 매칭되는 이미지 정보를 전달받은 경우, 자동으로 해당 행동패턴에 대한 대응으로 설정된 제어신호를 상기 디스플레이장치에 전달하는 것이다. 아래의 [표 2]는 이미지 정보 분석 결과에 따른 제어신호의 유형을 예시한 것이다.
[표 2]
Figure 112013059781761-pat00005

한편, 상기 영상콘텐츠에는 영상진행에 따른 런타임정보와 함께 런타임에 따른 시청자 행동패턴을 기록한 런타임-행동DB가 수반되도록 할 수 있다. 이 경우 상기 제어부는 상기 영상콘텐츠로부터 런타임정보를 추출하여 상기 이미지 정보와 매칭시켜 런타임-행동 갱신정보를 생성하도록 구성할 수 있다. 상기 런타임-행동DB는 영상콘텐츠의 장면에 따른 시청자의 행동을 데이터화하여 정리한 것인데, 본 발명에서는 상기 제어부가 촬영부로부터 수신한 이미지 정보를 런타임정보와 매칭시킴으로써 상기 런타임-행동DB를 수시로 업데이트하도록 구성한 것이다. [도 3]은 콘텐츠 관리서버에서 런타임-행동 갱신정보를 수집하여 런타임-행동DB를 갱신하는 과정의 모식도이다.
한편, 본 발명은 상기 디스플레이장치에 상기 영상콘텐츠를 제공하는 콘텐츠 관리서버를 더 포함하여 구성할 수 있다. 이 경우 상기 콘텐츠 관리서버는 주기적으로 상기 제어부로부터 상기 런타임-행동 갱신정보를 수집하여 상기 런타임-행동DB를 갱신토록 할 수 있다. 즉, 상기 콘텐츠 관리서버는 방송, 전송 등의 방식으로 영상콘텐츠가 디스플레이장치에 의해 재생되도록 제공하는 한편, 영상콘텐츠의 각 장면에 대응하는 시청자의 행동패턴 정보를 상기 제어부로부터 수집하는 것이다.
이와 같이 수시로 업데이트되는 런타임-행동DB는 영상콘텐츠를 업그레이드하여 실감영상화를 위한 기초 자료로 이용할 수 있다. 즉, 영상콘텐츠의 장면에 따른 시청자의 반응을 분석하여 디스플레이장치 또는 후술할 실감영상보조장치를 통해 출력되는 빛, 음향, 진동 등의 강약을 제어할 수 있는 것이다.
또한, 상기 제어부는 상기 영상콘텐츠의 플레이 시각정보 및 상기 디스플레이장치 설치지점의 위치정보를 수집하여 상기 런타임-행동 갱신정보와 함께 상기 콘텐츠 관리서버로 전달하도록 구성할 수 있다. 이에 따라 상기 콘텐츠 관리서버는 상기 영상콘텐츠가 재생되는 지역과 시간에 대한 정보를 수집하여 다수 시청자의 성향분석 자료로 활용할 수 있고, 영상콘텐츠별 성향분석 자료는 광고, 통계, 리서치 등에 활용될 수 있다. [도 4]는 영상콘텐츠의 플레이 시각정보 및 상기 디스플레이장치 설치지점의 위치정보가 수록된 런타임-행동 갱신정보 리스트의 실시예이다. 런타임별 행동정보는 [도 4]에 나타난 바와 같이 코드화함으로써 정보 데이터 양을 대폭 줄일 수 있다.
한편, 본 발명은 [도 5]에 도시된 바와 같이 시청자가 가입한 SNS(Social Network Service)를 통해 소셜정보를 수집하여 영상콘텐츠로부터 관심정보를 추출, 활용하도록 구성할 수 있다.
상기 SNS는 정보통신망을 통한 인적교류 서비스를 제공하는 프로그램 및 시스템을 통칭한다. SNS는 종류마다 각기 다른 기능들이 구현되어 있어 일괄적으로 설명하기는 어려우나 공통적인 특징은 있다. 우선, 이용자의 신상정보를 등록하고 공개한다는 점이다. 구체적으로 SNS를 통해 이용자의 성별, 연령, 직업, 문화적 취향, 이데올로기, 종교 등이 전부 또는 선택적으로 공시될 수 있다. 그 다음은 SNS의 본질적 기능에서 보듯 대인관계망과 그 구조가 드러난다는 것이다. 이용자는 자신과 관계를 맺고 있는 또 다른 이용자들을 드러내며, 단계를 거치면 다른 이용자의 네트워크, 나아가 그 네트워크상의 이용자가 갖고 있는 네트워크 등으로 네트워크의 범위를 확대해 가며 파악할 수도 있다. 이용자는 SNS를 통해 의견이나 정보를 게시할 수 있고, 그 이용자와 관계를 맺고 있는 이용자를 포함해 또 다른 이용자가 그것에 대한 반응으로 또 다른 의견과 정보를 게시할 수 있다. 게시물이 다분히 공개적이라면 SNS를 통해 일명 '쪽지'와 같은 사적인 메시지를 주고받을 수도 있다.
이상과 같은 기능들이 SNS들이 공유하는 기능들이라면 서비스별로 특화된 기능을 제공하는 경우도 있다. 예를 들어, 사진이나 비디오를 공유하는 기능을 제공하기도 하고 블로그 기능이 디폴트로 주어지는 경우도 있다. 인스턴트 메시징이나 모바일 지원 기능도 그런 예인데, 최근 들어 대부분의 SNS들은 이런 기능들을 포함하고 있다.
본 명세서에서는 SNS를 통해 게시되는 이용자의 개인정보, 게시물 정보, 네트워크 정보 및 이용자와 관계를 맺고 있는 다른 이용자의 여러 가지 정보들을 통칭하여 "소셜정보"라 칭한다.
본 발명이 제공하는 행동기반 영상콘텐츠 제어 시스템이 SNS를 통해 수집되는 소셜정보를 이용하여 영상콘텐츠로부터 관심정보를 추출하도록 하기 위해, 본 발명은 상기 소셜정보서버는 시청자가 가입한 SNS(Social Network Service)를 통해 소셜정보를 수집하여 상기 제어부에 전달하는 소셜정보서버를 더 포함하여 구성된다.
상기 소셜정보서버는 하나 또는 2이상의 SNS로부터 소셜정보를 수집하도록 구성할 수 있다. 또한, 상기 영상콘텐츠는 영상과 관련된 배경지역 정보, 건물정보, 인물정보, 대사정보 및 물품정보를 포함하는 정보레이어가 수반되어 있어, 상기 제어부가 상기 소셜정보와 정보레이어를 비교·분석함으로써 상기 정보레이어로부터 관심정보를 추출하도록 구성할 수 있다. 예를 들어 영상콘텐츠의 정보레이어에 출연 배우의 인물정보가 수록되어 있고, 시청자가 SNS를 통해 해당 배우에 대한 관심을 표시한 바 있다면, 그러한 소셜정보와 정보레이어를 기반으로 해당 배우의 약력, 출연 영화 등을 관심정보로 추출할 수 있는 것이다. 또 다른 예로, 영상콘텐츠의 정보레이어에 배경지역 정보가 수록되어 있고, 시청자가 SNS를 통해 해당 지역의 방문기록 등을 남긴바 있다면, 그러한 소셜정보와 정보레이어를 기반으로 해당 지역의 역사, 문화, 특산물, 명소 등을 관심정보로 추출할 수 있는 것이다. 상기 관심정보는 광고매체 등에 제공되어 여러 가지 수단을 통해 상기 시청자에게 적절한 상품광고가 제공되도록 할 수 있다.
더 나아가 상기 제어부는 추출된 관심정보를 키워드로 하여 인터넷망에서 상기 관심정보와 관계된 동영상, 음악, 생활정보 등을 검색함으로써 추천콘텐츠 리스트를 작성하도록 구성할 수 있다. [도 6]은 소셜정보와 정보레이어를 비교, 분석하여 추출한 관심정보를 키워드로 검색하여 도출한 추천콘텐츠 리스트의 실시예이다.
상기 추천콘텐츠 리스트는 디스플레이장치를 통해 시청자의 선택에 의해 현시되도록 하거나, 시청자의 모바일단말기에 제공되어 추후에 시청여부를 선택하도록 할 수 있다.
위와 같은 관심정보, 추천콘텐츠 리스트 등은 시청자의 SNS친구와의 네트워크 강화에 활용될 수 있다. 즉, 상기 제어부는 상기 소셜정보서버를 통해 열람되는 SNS친구의 소셜정보와 영상콘텐츠의 정보레이어를 비교, 분석하여 SNS친구의 관심정보를 추출하고, 상기 관심정보를 키워드로 하여 인터넷망에서 상기 관심정보와 관계된 추천콘텐츠 리스트를 도출한 후 상기 관심정보 또는 추천콘텐츠 리스트를 상기 SNS친구의 멘트에 대한 댓글이나 메세지 형태로 전달되도록 구성할 수 있는 것이다.
한편, 상기 디스플레이장치는 각종 실감영상보조장치와 연계 구성할 수 있다. 상기 실감영상보조장치 역시 상기 제어부에서 전달하는 제어신호에 의해 작동이 통제되어야 하며, 조명장치, 음향장치, 진동장치, 서브디스플레이장치 및 시청자 모바일단말기 중 어느 하나 이상을 적용할 수 있다. 이 경우 상기 제어부는 상기 런타임-행동DB에 기록된 런타임별 행동패턴에 따라 상기 디스플레이장치 및 실감영상보조장치에 대한 제어신호를 전달하도록 구성할 수 있다. [도 2]는 영상콘텐츠의 런타임별 시청자 행동패턴 분석결과에 따라 디스플레이장치를 제어하는 행동기반 영상콘텐츠 제어 시스템의 모식도이다. 예를 들어 영상콘텐츠의 런타임 10분에 시청자가 놀라는 행동패턴을 보인 경우 조명장치를 제어하여 조명의 점멸이 반복되거나 진동장치를 제어하여 진동이 발생토록 함으로써 영상의 느낌이 시청자에게 더욱 생생하게 전달되도록 할 수 있다.
상기 이미지 정보 비교·분석에 의해 생성되는 제어신호와 상기 런타임-행동DB에 따라 생성되는 제어신호가 동시간에 경합하는 경우에는 상기 제어부가 상기 이미지 정보 비교·분석에 의해 생성되는 제어신호를 먼저 활성화시키도록 구성함으로써 제어신호의 혼동을 방지할 수 있다.
이상에서 본 발명에 관해 첨부된 도면을 참조하면서 살펴보았다. 그러나 본 발명이 첨부된 도면과 관련하여 설명한 실시예로 한정되는 것은 아니며, 본 발명의 요지를 벗어남이 없는 범위에서 다양한 수정 및 변형이 가능하다. 따라서 본 발명의 청구범위는 이건 발명의 진정한 범위 내에 속하는 수정 및 변형을 포함한다.
해당없음

Claims (10)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 유·무선통신수단에 의해 정보를 송·수신할 수 있는 촬영부, 제어부, 디스플레이장치 및 영상진행에 따른 런타임정보와 런타임에 따른 시청자 행동패턴을 기록한 런타임-행동DB가 수반된 영상콘텐츠를 상기 디스플레이장치에 제공하는 콘텐츠 관리서버를 포함하여 구성되는 행동기반 실감영상환경 제어 시스템으로서,
    상기 촬영부는 상기 디스플레이장치에 현시되는 영상콘텐츠를 감상하는 시청자를 촬영하여 생성한 이미지 정보를 상기 제어부에 전달하고,
    상기 제어부는 기 구축된 행동패턴DB과 상기 이미지 정보를 비교·분석하고 행동의미를 추론하여 상기 디스플레이장치에 제어신호를 전달하고, 상기 영상콘텐츠로부터 런타임정보를 추출하여 상기 이미지 정보와 매칭시켜 런타임-행동 갱신정보를 생성하고, 상기 영상콘텐츠의 플레이 시각정보 및 상기 디스플레이장치 설치지점의 위치정보를 수집하여 상기 런타임-행동 갱신정보와 함께 상기 콘텐츠 관리서버로 전달하며,
    상기 콘텐츠 관리서버는 주기적으로 상기 제어부로부터 상기 런타임-행동 갱신정보를 수집하여 상기 런타임-행동DB를 갱신하도록 구성된 것을 특징으로 하는 행동기반 실감영상환경 제어 시스템.
  5. 제4항에서,
    시청자가 가입한 SNS(Social Network Service)를 통해 소셜정보를 수집하여 상기 제어부에 전달하는 소셜정보서버; 를 더 포함하여 구성되고,
    상기 영상콘텐츠는 영상과 관련된 배경지역 정보, 건물정보, 인물정보, 대사정보 및 물품정보를 포함하는 정보레이어가 수반되어 있으며,
    상기 제어부는 상기 소셜정보와 정보레이어를 비교·분석함으로써 상기 정보레이어로부터 관심정보를 추출하도록 구성된 것을 특징으로 하는 행동기반 실감영상환경 제어 시스템.
  6. 제5항에서,
    상기 제어부는 추출된 관심정보를 키워드로 하여 인터넷망에서 추천콘텐츠를 검색하여 리스트를 작성하도록 구성된 것을 특징으로 하는 행동기반 실감영상환경 제어 시스템.
  7. 제4항 내지 제6항 중 어느 한 항에서,
    상기 디스플레이장치와 연계되어, 상기 제어부에서 전달하는 제어신호에 의해 작동이 통제되는 실감영상보조장치; 를 더 포함하여 구성된 것을 특징으로 하는 행동기반 실감영상환경 제어 시스템.
  8. 제7항에서,
    상기 실감영상보조장치는 조명장치, 음향장치, 진동장치, 서브디스플레이장치 및 시청자 모바일단말기 중 어느 하나 이상인 것을 특징으로 하는 행동기반 실감영상환경 제어 시스템.
  9. 제8항에서,
    상기 제어부는 상기 런타임-행동DB에 기록된 런타임별 행동패턴에 따라 상기 디스플레이장치 및 실감영상보조장치에 대한 제어신호를 전달하도록 구성된 것을 특징으로 하는 행동기반 실감영상환경 제어 시스템.
  10. 제9항에서,
    상기 이미지 정보 비교·분석에 의해 생성되는 제어신호와 상기 런타임-행동DB에 따라 생성되는 제어신호가 동시간에 경합하는 경우, 상기 제어부는 상기 이미지 정보 비교·분석에 의해 생성되는 제어신호를 먼저 활성화시키도록 구성된 것을 특징으로 하는 행동기반 실감영상환경 제어 시스템.
KR20130077630A 2013-07-03 2013-07-03 행동기반 실감영상환경 제어 시스템 KR101481996B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130077630A KR101481996B1 (ko) 2013-07-03 2013-07-03 행동기반 실감영상환경 제어 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130077630A KR101481996B1 (ko) 2013-07-03 2013-07-03 행동기반 실감영상환경 제어 시스템

Publications (2)

Publication Number Publication Date
KR20150004952A KR20150004952A (ko) 2015-01-14
KR101481996B1 true KR101481996B1 (ko) 2015-01-22

Family

ID=52476911

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130077630A KR101481996B1 (ko) 2013-07-03 2013-07-03 행동기반 실감영상환경 제어 시스템

Country Status (1)

Country Link
KR (1) KR101481996B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11494009B2 (en) 2017-04-11 2022-11-08 Amosense Co., Ltd. Touch screen sensor and touch screen panel having same

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102011788B1 (ko) * 2017-12-27 2019-10-21 연세대학교 산학협력단 계층적 시각 특징을 이용한 시각 질의 응답 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100785963B1 (ko) 2005-06-30 2007-12-14 주식회사 대우일렉트로닉스 디지털 방송 수신기에서 사용자 시청 패턴에 따른오디오/비디오 처리장치 및 방법
KR20120068253A (ko) * 2010-12-17 2012-06-27 삼성전자주식회사 사용자 인터페이스의 반응 제공 방법 및 장치
JP2013016903A (ja) 2011-06-30 2013-01-24 Toshiba Corp 情報処理装置及び情報処理方法
KR20130069486A (ko) * 2011-12-15 2013-06-26 한양대학교 산학협력단 디스플레이 장치와 연동하는 촉감 제공 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100785963B1 (ko) 2005-06-30 2007-12-14 주식회사 대우일렉트로닉스 디지털 방송 수신기에서 사용자 시청 패턴에 따른오디오/비디오 처리장치 및 방법
KR20120068253A (ko) * 2010-12-17 2012-06-27 삼성전자주식회사 사용자 인터페이스의 반응 제공 방법 및 장치
JP2013016903A (ja) 2011-06-30 2013-01-24 Toshiba Corp 情報処理装置及び情報処理方法
KR20130069486A (ko) * 2011-12-15 2013-06-26 한양대학교 산학협력단 디스플레이 장치와 연동하는 촉감 제공 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11494009B2 (en) 2017-04-11 2022-11-08 Amosense Co., Ltd. Touch screen sensor and touch screen panel having same

Also Published As

Publication number Publication date
KR20150004952A (ko) 2015-01-14

Similar Documents

Publication Publication Date Title
US8745502B2 (en) System and method for interfacing interactive systems with social networks and media playback devices
CN104756514B (zh) 通过社交网络共享电视和视频节目
JP6483338B2 (ja) 客体表示方法、客体提供方法及びそのためのシステム
JP2021518593A (ja) 記述的モデルに基づく自動化された判断
CN110140138A (zh) 本地设备的内容数据的确定、传输和存储
WO2018084875A1 (en) Targeted content during media downtimes
CN103635892A (zh) 自动创建用于分享照片的群体
WO2012137397A1 (ja) コンテンツ処理装置、コンテンツ処理方法、コンテンツ処理プログラム、及び集積回路
CN105829995A (zh) 根据观看者表情捕捉媒体内容
CN102577367A (zh) 时移视频通信
KR20170095817A (ko) 아바타 선택 메커니즘
KR20150007936A (ko) 미디어 컨텐츠에 대한 사용자 피드백을 획득하는 시스템 및 방법, 컴퓨터 판독가능 기록매체
KR101978299B1 (ko) 콘텐츠 서비스 시스템에서의 콘텐츠 서비스를 위한 장치
US20150294634A1 (en) Life Experience Memorialization with Alternative Observational Opportunity Provisioning
JP2010272077A (ja) 情報再生方法及び情報再生装置
JP6747444B2 (ja) 情報処理システム、情報処理方法、およびプログラム
US20210176427A1 (en) Dynamic shared experience recommendations
CN104866520A (zh) 用于媒体文件的上下文相关组织的方法、装置和系统
KR20200039814A (ko) 영상 캡쳐 장치에 의해 이전에 캡쳐된 비디오 데이터에 기초하여 영상 캡쳐 장치에 의한 비디오 데이터의 캡쳐를 수정
US10664513B2 (en) Automatic environmental presentation content selection
KR101481996B1 (ko) 행동기반 실감영상환경 제어 시스템
US11064250B2 (en) Presence and authentication for media measurement
WO2017193343A1 (zh) 媒体文件分享方法、媒体文件分享设备及终端
US20230394878A1 (en) Program, information processing device, and method
JP5496144B2 (ja) 情報再生装置、情報再生用のプログラム、情報再生方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171110

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181224

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20191231

Year of fee payment: 6