KR20200107289A - 증강 현실 콘텐츠 표시를 위한 장치 및 그 제어방법 - Google Patents

증강 현실 콘텐츠 표시를 위한 장치 및 그 제어방법 Download PDF

Info

Publication number
KR20200107289A
KR20200107289A KR1020190026185A KR20190026185A KR20200107289A KR 20200107289 A KR20200107289 A KR 20200107289A KR 1020190026185 A KR1020190026185 A KR 1020190026185A KR 20190026185 A KR20190026185 A KR 20190026185A KR 20200107289 A KR20200107289 A KR 20200107289A
Authority
KR
South Korea
Prior art keywords
augmented reality
content
reality content
playback
type
Prior art date
Application number
KR1020190026185A
Other languages
English (en)
Other versions
KR102240351B1 (ko
Inventor
최지희
이정숙
변수진
이재희
Original Assignee
주식회사 엘지유플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘지유플러스 filed Critical 주식회사 엘지유플러스
Priority to KR1020190026185A priority Critical patent/KR102240351B1/ko
Publication of KR20200107289A publication Critical patent/KR20200107289A/ko
Application granted granted Critical
Publication of KR102240351B1 publication Critical patent/KR102240351B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H04N21/8173—End-user applications, e.g. Web browser, game

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Architecture (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 증강 현실 콘텐츠 표시를 위한 장치 및 그 제어방법에 관한 것이다. 본 발명에 따른 증강 현실 콘텐츠 표시 장치가 수행하는 제어방법은, 소정의 재생용 증강 현실 콘텐츠를 선택하는 단계와; 증강 현실 표시 모드가 활성화된 상태에서, 카메라 모듈을 통해 실시간 촬영되는 배경 영상에 상기 재생용 증강 현실 콘텐츠를 배치 및 재생하는 단계와; 상기 재생용 증강 현실 콘텐츠의 종류를 기 설정된 기준을 기초로 구별하는 단계와; 상기 재생용 증강 현실 콘텐츠가 상기 배경 영상에서 재생된 이후 상기 증강 현실 표시 모드가 일시 비활성화 되었다가 다시 활성화되는 경우 상기 단계에서 구별된 증강 현실 콘텐츠의 종류에 따라 복수 개의 재생 방법 중 어느 하나를 동적으로 선택하여 해당 재생용 증강 현실 콘텐츠를 재생하는 단계를 포함하는 것을 특징으로 한다.

Description

증강 현실 콘텐츠 표시를 위한 장치 및 그 제어방법{APPARATUS AND METHOD FOR DISPLAYING AUGMENTED REALITY CONTENTS}
본 발명은 증강 현실 콘텐츠 표시를 위한 장치 및 그 제어방법에 관한 것으로, 보다 상세하게는 재생용 증강 현실 콘텐츠를 배경 화면상에서 재생하여 표시하는 장치 및 그 제어방법에 관한 것이다.
증강현실(AR: Augmented Reality)은 가상현실(VR)의 한 분야로 실제 환경에 가상 사물이나 정보를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법을 의미한다.
예를 들어 스마트폰의 카메라로 주위 배경을 촬영하는 경우 가상의 이미지가 그 카메라에 의해 촬영되는 배경에 보이도록 그래픽 처리를 수행할 수 있는데, 이때 스마트폰 사용자는 마치 주위 배경에 실제로 해당 가상의 이미지가 존재하는 것으로 착각하게 되는데, 이러한 그래픽 기법을 증강현실 기법이라 하는 것이다.
최근 이러한 증강현실 기법이 다양한 분야에서 이용되고 있는데, 특히 스마트폰을 이용한 엔터테인먼트 서비스 분야에 활발하게 이용되고 있다.
즉, 스마트폰 사용자들은 증강현실 촬영을 위한 앱을 설치한 후 서버 등으로부터 증강 현실용 콘텐츠를 수신하게 되면, 카메라를 통해 촬영되는 배경에 그 수신한 증강 현실용 콘텐츠가 배치되고 움직이는 영상을 볼 수 있게 되는 것이다.
그런데 종래에는 서버 등으로부터 수신되는 증강 현실용 콘텐츠의 종류에 대한 상황별 처리가 동일하게 이루어지는 문제가 있다.
즉, 증강 현실용 콘텐츠의 종류는 다양하고, 그 종류마다 사용자들이 주로 이용하는 양태가 다를 수 있는데도 불구하고, 종래에는 증강 현실용 콘텐츠의 종류에 상관없이 상황별 동일한 처리가 이루어지고 있는 것이다.
공개특허 제10-2014-0070990호
본 발명은 상기한 종래의 단점을 해결하기 위해 안출된 것으로서, 그 목적은 재생용 증강 현실 콘텐츠의 종류에 따라 상황별 처리가 다르게 이루어지도록 하는 장치 및 그 제어방법을 제공하는 것이다.
상기한 목적을 달성하기 위해 본 발명에 따른 증강 현실 콘텐츠 표시 장치는, 소정의 재생용 증강 현실 콘텐츠를 선택하는 콘텐츠 선택부와; 증강 현실 표시 모드가 활성화된 상태에서, 카메라 모듈을 통해 촬영되는 배경 영상에 상기 선택된 재생용 증강 현실 콘텐츠를 배치 및 재생하는 콘텐츠 처리부와; 상기 재생용 증강 현실 콘텐츠의 종류를 기 설정된 기준을 기초로 구별하는 콘텐츠 구별부를 포함하고, 상기 콘텐츠 처리부는 상기 재생용 증강 현실 콘텐츠가 상기 배경 영상에서 재생된 이후 상기 증강 현실 표시 모드가 일시 비활성화 되었다가 다시 활성화되는 경우 상기 콘텐츠 구별부에서 구별된 증강 현실 콘텐츠의 종류에 따라 복수 개의 재생 방법 중 어느 하나를 동적으로 선택하여 해당 재생용 증강 현실 콘텐츠를 재생하는 것을 특징으로 한다.
또, 상기한 목적을 달성하기 위해 본 발명에 따른 증강 현실 콘텐츠 표시 장치가 수행하는 제어방법은, 소정의 재생용 증강 현실 콘텐츠를 선택하는 단계와; 증강 현실 표시 모드가 활성화된 상태에서, 카메라 모듈을 통해 실시간 촬영되는 배경 영상에 상기 재생용 증강 현실 콘텐츠를 배치 및 재생하는 단계와; 상기 재생용 증강 현실 콘텐츠의 종류를 기 설정된 기준을 기초로 구별하는 단계와; 상기 재생용 증강 현실 콘텐츠가 상기 배경 영상에서 재생된 이후 상기 증강 현실 표시 모드가 일시 비활성화 되었다가 다시 활성화되는 경우 상기 단계에서 구별된 증강 현실 콘텐츠의 종류에 따라 복수 개의 재생 방법 중 어느 하나를 동적으로 선택하여 해당 재생용 증강 현실 콘텐츠를 재생하는 단계를 포함하여 이루어진다.
이상 설명한 바와 같이 본 발명에 따르면, 증강 현실 표시 모드가 비활성화 되었다가 다시 활성화되는 경우, 증강 현실 콘텐츠의 종류에 따라 그 재생 방법이 다르게 처리될 수 있어서, 사용자 편의성이 증대된다.
예를 들어 상대적으로 재생 시간이 짧은 증강 현실 콘텐츠의 경우 증강 현실 표시 모드가 재활성화되는 경우 자동으로 재생되도록 하고, 상대적으로 재생 시간이 긴 증강 현실 콘텐츠의 경우에는 증강 현실 표시 모드가 재활성화되는 경우라도 일시 정지 상태가 되도록 한 후 사용자 선택이 감지된 이후 재생을 수행하여, 콘텐츠의 종류별 사용자 편의성이 극대화되도록 한다.
도 1은 본 발명의 일 실시예에 따른 증강 현실 콘텐츠 표시 장치를 포함하는 전체 시스템의 개략 구성도이고,
도 2는 도 1의 증강 현실 콘텐츠 표시 장치의 기능 블록도이고,
도 3 및 도 4는 도 1의 증강 현실 콘텐츠 표시 장치의 제어흐름도이다.
이하에서는 첨부도면을 참조하여 본 발명에 대해 상세히 설명한다.
이하 본 발명에 따른 각 실시예는 본 발명의 이해를 돕기 위한 하나의 예에 불과하고, 본 발명이 이러한 실시예에 한정되는 것은 아니다. 특히 본 발명은 각 실시예에 포함되는 개별 구성, 개별 기능, 또는 개별 단계 중 적어도 어느 하나 이상의 조합으로 구성될 수 있다.
특히, 편의상 청구 범위의 일부 청구항에는 '(a)'와 같은 알파벳을 포함시켰으나, 이러한 알파벳이 각 단계의 순서를 규정하는 것은 아니다.
또한 이하 본 발명에 따른 각 실시예에서 언급하는 각 신호는 한 번의 연결 등에 의해 전송되는 하나의 신호를 의미할 수도 있지만, 후술하는 특정 기능 수행을 목적으로 전송되는 일련의 신호 그룹을 의미할 수도 있다. 즉, 각 실시예에서는 소정의 시간 간격을 두고 전송되거나 상대 장치로부터의 응답 신호를 수신한 이후에 전송되는 복수 개의 신호들이 편의상 하나의 신호명으로 표현될 수 있는 것이다.
본 발명의 일 실시예에 따른 증강 현실 콘텐츠 표시 장치(100)를 포함하는 전체 통신 시스템의 개략 구성은 도 1에 도시된 바와 같다.
우선, 동 도면에서 콘텐츠 제공 서버(200)는 증강 현실 콘텐츠 표시 장치(100)의 요청에 따라 재생용 증강 현실 콘텐츠를 제공하는 것으로서, 여기서 재생용 증강 현실 콘텐츠는 일종의 증강 현실용 콘텐츠로서 특히 증강 현실 콘텐츠 표시 장치(100)에서 재생될 수 있는 콘텐츠를 의미한다.
즉, 재생용 증강 현실 콘텐츠는 스틸컷 이미지와 같이 고정된 사진과 같은 콘텐츠가 아니라 마치 동영상과 같이 움직임이 발생하는 콘텐츠를 의미한다.
이하에서는 이처럼 동적인 움직임이 이루어지는 것을 '재생'이라고 표현하기로 한다.
이러한 재생용 증강 현실 콘텐츠의 재생은 증강 현실 콘텐츠 표시 장치(100)에서 자동으로 이루어지거나 또는 사용자의 조작에 따라 이루어질 수 있는데, 이에 대한 보다 상세한 설명은 후술토록 한다.
증강 현실 콘텐츠 표시 장치(100)는 콘텐츠 제공 서버(200)로부터 재생용 증강 현실 콘텐츠를 수신하고, 이를 기 구비된 카메라 모듈(180)을 통해 촬영되는 영상과 함께 표시하는 기능을 수행하는 것으로서, 예를 들어 휴대용 통신 단말기는 물론이고 댁내에 구비된 개인용 컴퓨터일 수도 있다.
이러한 증강 현실 콘텐츠 표시 장치(100)의 구체적인 기능 블록은 도 2에 도시된 바와 같다.
동 도면에 도시된 바와 같이 증강 현실 콘텐츠 표시 장치(100)는 콘텐츠 선택부(110), 콘텐츠 처리부(120), 콘텐츠 구별부(130), 녹화 처리부(140), 통신부(150), 사용자 입력부(160), 저장부(170), 카메라 모듈(180)을 포함하여 구성될 수 있다.
우선 저장부(170)는 본 발명의 일 실시예에 따른 증강 현실 콘텐츠 표시 장치(100)의 동작을 위해 필요한 데이터, 정보, 애플리케이션을 저장하고 있고, 더 나아가 증강 현실 콘텐츠 표시 장치(100)의 동작 중 발생하거나 외부로부터 수신되는 데이터, 정보, 콘텐츠 등을 저장하는 기능도 수행한다.
카메라 모듈(180)은 소정의 배경 또는 피사체를 촬영하기 위해 구비된 것으로서, 예를 들어 카메라 렌즈와 CCD(Charge-Coupled Device) 소자 등을 포함하여 구성될 수 있다.
본 실시예에서 카메라 모듈(180)은 증강 현실 콘텐츠의 배경이 되는 부분을 촬영하는 것이므로, 이하 카메라 모듈(180)에 의해 촬영되는 영상은 배경 영상이라 칭한다.
사용자 입력부(160)는 증강 현실 콘텐츠 표시 장치(100)의 사용자의 조작을 입력받는 것으로서, 예를 들어 적어도 하나의 버튼을 포함하는 형태로 구성될 수도 있고, 또는 터치 입력이 가능한 터치 패드를 포함하는 형태로 구성될 수도 있다.
통신부(150)는 외부의 서버 등과 통신하는 것으로서, 본 실시예에서 증강 현실 콘텐츠 표시 장치(100)는 통신부(150)를 통해 콘텐츠 제공 서버(200)로부터 소정의 재생용 증강 현실 콘텐츠를 수신할 수 있다.
디스플레이부(190)는 증강 현실 콘텐츠 표시 장치(100)의 동작에 따른 각종 화면을 표시하는 것으로서, 예를 들어 전력소모가 적은 LCD(Liquid Crystal Display)를 포함하여 구성될 수 있다. 특히 디스플레이부(190)에는 후술하는 바와 같이 증강 현실과 관련된 화면이 표시될 수 있다.
콘텐츠 선택부(110)는 소정의 재생용 증강 현실 콘텐츠를 선택하는 기능을 수행하는데, 예를 들어 상술한 바와 같이 콘텐츠 제공 서버(200)로부터 통신부(150)를 통해 재생용 증강 현실 콘텐츠가 수신되는 경우, 그 수신되는 재생용 증강 현실 콘텐츠를 선택할 수 있다.
물론 다른 예로써, 콘텐츠 선택부(110)는 저장부(170)에 저장된 재생용 증강 현실 콘텐츠 중에서 사용자가 지정하는 재생용 증강 현실 콘텐츠를 선택할 수도 있다.
콘텐츠 구별부(130)는 재생용 증강 현실 콘텐츠의 종류를 기 설정된 기준을 기초로 구별하는 기능을 수행한다. 예를 들어 콘텐츠 구별부(130)는 콘텐츠의 종류에 제1형 콘텐츠와 제2형 콘텐츠가 있다고 가정하면, 재생용 증강 현실 콘텐츠를 기 설정된 기준과 비교하여 제1형 콘텐츠에 해당하는지, 제2형 콘텐츠에 해당하는지 구별하는 것이다.
일 예로 콘텐츠 구별부(130)는 재생용 증강 현실 콘텐츠의 전체 재생 가능 시간과 기 설정된 기준 시간을 비교하여 제1형 콘텐츠에 해당하는지, 제2 형 콘텐츠에 해당하는지 구별할 수 있다.
즉, 본 실시예에서 재생용 증강 현실 콘텐츠는 앞서 설명한 바와 같이 동영상과 같이 재생이 가능한 콘텐츠이므로, 콘텐츠 구별부(130)는 그 전체 재생 시간을 기초로 콘텐츠의 종류를 구별할 수 있다.
또는 콘텐츠 구별부(130)는 재생용 증강 현실 콘텐츠에 대한 특정 수동 조작이 가능한지 여부에 따라 그 종류를 구별할 수도 있다. 예를 들어 재생용 증강 현실 콘텐츠는 재생 즉, 동적 움직임이 가능한 콘텐츠이므로, 사용자가 수동 조작하여 움직이도록 하는 콘텐츠인지 또는 사용자의 수동 조작이 없더라도 자동으로 재생하는 콘텐츠인지 여부에 따라 제1형 콘텐츠에 해당하는지 또는 제2형 콘텐츠에 해당하는지를 구별할 수 있다.
특히 콘텐츠 구별부(130)는 재생용 증강 현실 콘텐츠의 확장자나 또는 재생용 증강 현실 콘텐츠의 헤더에 포함된 정보를 기 설정된 정보와 비교하여 해당 재생용 증강 현실 콘텐츠에 대해 사용자가 구간 반복 재생을 조작할 수 있는지 여부를 판단하고, 그 판단에 따라 그 재생용 증강 현실 콘텐츠가 제1형 콘텐츠인지 제2형 콘텐츠인지를 구별할 수도 있다.
콘텐츠 처리부(120)는 증강 현실 표시 모드가 활성화된 상태에서, 카메라 모듈(180)을 통해 촬영되는 배경 영상에 콘텐츠 선택부(110)에서 선택된 재생용 증강 현실 콘텐츠를 배치 및 재생하는 기능을 수행한다.
여기서 증강 현실 표시 모드가 활성화되었다는 의미는 증강 현실 표시를 위한 처리가 백그라운드 상태가 아니라 포그라운드 상태로 되었다는 것을 의미하고, 예를 들어 증강 현실 표시를 위한 애플리케이션에 의한 화면 처리가 화면 표시를 위한 레이어 중 최상위 레이어에 표시되는 상태를 의미한다.
즉, 사용자가 증강 현실 관련된 화면을 보고 있다면 이는 증강 현실 표시 모드가 활성화된 상태라 할 수 있고, 비록 증강 현실 관련된 처리가 백그라운드로 수행되고 있다 하더라도 사용자가 전화 통화나 기타 증강 현실 애플리케이션과는 구별되는 다른 애플리케이션에 의한 화면을 보고 있는 상태라면 증강 현실 표시 모드가 비활성화된 상태라 할 수 있다.
이처럼 증강 현실 표시 모드가 활성된 경우, 콘텐츠 처리부(120)는 카메라 모듈(180)을 통해 촬영되는 배경 영상과 콘텐츠 선택부(110)에 의해 선택된 재생용 증강 현실 콘텐츠가 디스플레이부(190)에 동시에 표시되도록 할 수 있다.
이때 콘텐츠 처리부(120)는 재생용 증강 현실 콘텐츠에 의해 배경 영상의 일부가 가려지도록 처리할 수 있다.
재생용 증강 현실 콘텐츠를 재생함에 있어서, 콘텐츠 처리부(120)는 사용자의 조작에 따라 재생할 수도 있고, 또는 자동으로 재생할 수도 있다.
특히, 콘텐츠 처리부(120)는 재생용 증강 현실 콘텐츠가 배경 영상에서 재생된 이후 증강 현실 표시 모드가 일시 비활성화 되었다가 다시 활성화되는 경우 콘텐츠 구별부(130)에서 구별된 증강 현실 콘텐츠의 종류에 따라 복수 개의 재생 방법 중 어느 하나를 동적으로 선택하여 해당 재생용 증강 현실 콘텐츠를 재생한다.
즉, 콘텐츠 처리부(120)는 증강 현실 표시 모드가 일시 비활성화 되었다가 다시 활성화되는 경우, 그 재생용 증강 현실 콘텐츠가 제1형 콘텐츠인지 제2형 콘텐츠인지 여부에 따라 그 재생 처리를 달리하는 것이다.
여기서 복수 개의 재생 방법에는 '즉시 재생'과 '일시 정지 후 사용자 선택 후 재생'등이 포함될 수 있다.
'즉시 재생'은 증강 현실 표시 모드가 다시 활성화되는 경우 재생용 증강 현실 콘텐츠를 즉시 재생하는 것이고, '일시 정지 후 사용자 선택 후 재생'은 증강 현실 표시 모드가 다시 활성화되는 경우 재생용 증강 현실 콘텐츠를 일시 정지 상태로 두고 사용자에 의한 재생 선택이 감지되는 경우 비로소 재생을 시작하는 것을 의미한다.
예를 들어 콘텐츠 처리부(120)는 재생용 증강 현실 콘텐츠가 배경 영상에서 재생되고 있는 상태에서 증강 현실 표시 모드가 일시 비활성화되는 경우 그 재생용 증강 현실 콘텐츠의 재생을 일시 정지하고, 추후 증강 현실 표시 모드가 다시 활성화되는 경우, 해당 재생용 증강 현실 콘텐츠가 제1형 콘텐츠인 경우에는 배경 영상과 함께 해당 재생용 증강 현실 콘텐츠를 표시하되 그 재생은 일시 정지된 상태로 둘 수 있다.
다른 예로써 해당 재생용 증강 현실 콘텐츠가 제2형 콘텐츠인 경우에는 콘텐츠 처리부(120)는 추후 증강 현실 표시 모드가 다시 활성화되는 경우, 배경 영상과 함께 해당 재생용 증강 현실 콘텐츠를 표시 및 자동으로 재생시킬 수 있다.
여기서 증강 현실 표시 모드의 비활성화는 다른 애플리케이션의 화면으로의 화면 전환에 의해 이루어질 수 있다.
예를 들어 증강 현실 처리와 관련된 애플리케이션의 실행에 따라 증강 현실 표시 모드가 활성화되어 배경 영상과 함께 재생용 증강 현실 콘텐츠가 표시되고 있는 상태에서, 사용자가 다른 애플리케이션을 실행하는 경우 그 다른 애플리케이션의 동작을 위한 화면 전환이 이루어질 수 있고, 이때 증강 현실 표시 모드는 비활성화되는 것이다.
사용자가 다른 애플리케이션을 명시적으로 실행시키지 않는 경우라도, 예를 들어 증강 현실 표시 모드가 활성화된 상태에서 전화가 걸려오는 경우 통화를 위한 화면으로 전환이 이루어질 수 있고, 이에 따라 증강 현실 표시 모드는 비활성화되는 것이다.
마찬가지로 증강 현실 표시 모드의 재활성화는 화면 전환이 이루어진 다른 애플리케이션의 정지 또는 종료에 따라 이루어질 수 있다. 일 예로 통화가 종료되는 경우 증강 현실 표시 모드가 자동으로 재활성화되어 촬영되는 배경 영상과 함께 재생용 증강 현실 콘텐츠가 디스플레이부(190)에 표시될 수 있는 것이다.
한편, 녹화 처리부(140)는 배경 영상에 재생용 증강 현실 콘텐츠를 배치 및 재생하는 화면을 녹화하는 기능을 수행한다.
즉, 녹화 처리부(140)는 카메라 모듈(180)을 통해 촬영되는 실시간 배경 영상과 재생용 증강 현실 콘텐츠를 동시에 녹화하여 마치 현실 세계에 가상의 콘텐츠가 존재하는 것과 같은 착각을 불러일으키는 영상 콘텐츠를 생성하는 것이다.
이때 녹화 처리부(140)는 재생용 증강 현실 콘텐츠가 배경 영상에서 재생된 이후 증강 현실 표시 모드가 비활성화 되는 경우, 콘텐츠 구별부(130)에서 구별된 증강 현실 콘텐츠의 종류에 따라 배경 화면 및 재생용 증강 현실 콘텐츠에 대한 녹화 동작의 유지 여부를 결정할 수 있다.
즉, 증강 현실 표시 모드가 비활성화 되는 경우 카메라 모듈(180)의 촬영 동작은 물론이고 재생용 증강 현실 콘텐츠의 재생 역시 일시 중지할 수도 있지만, 다른 예로써 비록 증강 현실 표시 모드가 비활성화되어 증강 현실 관련 화면이 디스플레이부(190)에 표시되지는 않더라도 그 카메라 모듈(180)의 촬영 동작은 물론이고 재생용 증강 현실 콘텐츠의 재생 역시 지속적으로 이루어질 수도 있는데, 이때 녹화 처리부(140)는 그 재생용 증강 현실 콘텐츠의 종류에 따라 녹화 동작을 유지하거나 또는 녹화 동작을 중지할 수도 있는 것이다.
이하에서는 도 3을 참조하여 본 발명의 일 실시예에 따른 증강 현실 콘텐츠 표시 장치(100)가 증강 현실 표시 모드가 비활성화 되었다가 다시 활성화되는 경우 재생용 증강 현실 콘텐츠의 종류에 따라 처리를 달리하는 과정을 설명한다.
본 실시예를 설명함에 있어서, 증강 현실 콘텐츠 표시 장치(100)에서 구별되는 콘텐츠의 종류에는 '퍼포먼스형 콘텐츠'와 '스티커형 콘텐츠'가 있다고 가정한다.
여기서 '퍼포먼스형 콘텐츠'는 30초 이상의 재생 시간을 가지는 콘텐츠를 의미하고, '스티커형 콘텐츠'는 5초 미만의 재생 시간을 가지는 콘텐츠를 의미하고, 둘 다 동영상과 같이 움직임을 보이는 콘텐츠이다.
증강 현실 관련 앱의 실행 등에 의해 증강 현실 표시 모드가 활성화된 경우(단계 S1) 증강 현실 콘텐츠 표시 장치(100)는 카메라 모듈(180)을 활성화하고 촬영을 시작한다(단계 S3).
또한 사용자에 의해 특정 재생용 증강 현실 콘텐츠가 선택된 경우(단계 S5), 증강 현실 콘텐츠 표시 장치(100)는 그 선택된 재생용 증강 현실 콘텐츠의 종류를 구별하고(단계 S7), 카메라 모듈(180)에 의해 촬영되는 배경 영상에 해당 재생용 증강 현실 콘텐츠가 표시 및 재생되도록 처리한다(단계 S9).
이에 따라 사용자는 마치 카메라로 촬영되는 배경에 가상의 콘텐츠가 움직이는 것과 같은 착각을 느끼게 된다.
이러한 상태에서 사용자에 의한 타 애플리케이션의 실행 등에 의한 모드 전환을 감지한 경우(단계 S11) 증강 현실 콘텐츠 표시 장치(100)는 재생용 증강 현실 콘텐츠의 재생을 일시 정지함과(단계 S13) 아울러 증강 현실 표시 모드를 비활성화한다(단계 S15).
이후 타 애플리케이션의 실행 종료 등에 의한 모드 복귀를 감지한 경우(단계 S17) 증강 현실 콘텐츠 표시 장치(100)는 증강 현실 표시 모드를 재활성화한다(단계 S19).
이때 증강 현실 콘텐츠 표시 장치(100)는 재생용 증강 현실 콘텐츠가 퍼포먼스형 콘텐츠인 경우(단계 S21) 카메라 모듈(180)에 의해 촬영되는 배경 영상을 표시함과 아울러 재생용 증강 현실 콘텐츠를 표시하되 그 일시 정지된 상태를 유지한다(단계 S23).
이후, 사용자의 재생 선택이 감지되면(단계 S25) 증강 현실 콘텐츠 표시 장치(100)는 퍼포먼스형 콘텐츠에 대한 재생을 시작한다(단계 S27).
한편, 판단 결과 재생용 증강 현실 콘텐츠가 스티커형 콘텐츠인 경우(단계 S29) 증강 현실 콘텐츠 표시 장치(100)는 카메라 모듈(180)에 의해 촬영되는 배경 영상을 표시함과 아울러 재생용 증강 현실 콘텐츠를 표시하되 그 재생용 증강 현실 콘텐츠의 재생을 자동으로 실행한다(단계 S31).
재생용 증강 현실 콘텐츠에 대한 재생은 반복적으로 이루어질 수 있는데, 스티커형 콘텐츠인 경우에는 상술한 바와 같이 5초 미만의 재생 시간을 갖는 것이므로 자동으로 재생하더라도 5초가 경과하면 다시 처음부터 재생이 되므로 굳이 사용자의 선택을 기다릴 필요 없이 즉시 재생하는 것이 바람직하다.
즉, 어차피 스티커형 콘텐츠의 경우 전체 재생 시간이 5초 미만이므로 잠시만 기다리면 반복 재생되는 모습을 볼 수 있고, 따라서 굳이 증강 현실 표시 모드가 활성화될 때마다 그 재생을 수동 선택하도록 하지 않는 것이 것은 사용자 편의성을 증대시키는 것이다.
그러나 퍼포먼스형 콘텐츠의 경우에는 상술한 바와 같이 30초 이상의 재생 시간을 갖는 것이므로, 증강 현실 표시 모드 활성화시점에 자동으로 즉시 재생되어 버리면 사용자가 주의를 소홀히 하는 경우 앞부분은 재생되는 모습을 볼 수 없고 그 부분을 다시 보려면 30초의 재생이 종료되어 다시 반복 재생될 때까지 기다려야 하거나 또는 별도의 수동 조작을 거쳐야 하는 번거로움이 있다.
따라서 퍼포먼스형 콘텐츠의 경우에는 오히려 사용자의 선택이 이루어진 경우에만 재생이 이루어지도록 하는 것이 사용자 편의성 향상에 부합하는 것이다.
이하에서는 도 4를 참조하여 본 발명의 일 실시예에 따른 증강 현실 콘텐츠 표시 장치(100)가 재생용 증강 현실 콘텐츠의 종류에 따라 녹화 방식을 달리하는 과정을 설명한다.
본 실시예에서 도 3과 마찬가지로 증강 현실 콘텐츠 표시 장치(100)에서 구별되는 콘텐츠의 종류에는 '퍼포먼스형 콘텐츠'와 '스티커형 콘텐츠'가 있다고 가정한다.
여기서 '퍼포먼스형 콘텐츠'는 사용자의 터치 조작에 따라 움직임이 발생하는 콘텐츠이고, '스티커형 콘텐츠'는 자동으로 재생되는 콘텐츠를 의미한다.
증강 현실 관련 앱의 실행 등에 의해 증강 현실 표시 모드가 활성화된 경우(단계 S41) 증강 현실 콘텐츠 표시 장치(100)는 카메라 모듈(180)을 활성화하고 촬영을 시작한다(단계 S43).
또한 사용자에 의해 특정 재생용 증강 현실 콘텐츠가 선택된 경우(단계 S45), 증강 현실 콘텐츠 표시 장치(100)는 그 선택된 재생용 증강 현실 콘텐츠의 종류를 구별하고(단계 S47), 카메라 모듈(180)에 의해 촬영되는 배경 영상에 해당 재생용 증강 현실 콘텐츠가 표시 및 재생되도록 처리한다(단계 S49).
이러한 상태에서 사용자로부터 녹화 요청이 감지된 경우(단계 S51) 증강 현실 콘텐츠 표시 장치(100)는 배경 영상 및 재생용 증강 현실 콘텐츠의 재생 표시에 대한 녹화를 수행한다(단계 S53).
즉, 이렇게 녹화된 영상은 마치 실제 주변 환경에 가상의 콘텐츠가 움직이는 것과 같은 착각을 불러일으키는 영상이 된다.
이러한 증강 현실과 관련한 녹화 수행 중에 사용자에 의한 타 애플리케이션의 실행 등에 의한 모드 전환을 감지한 경우(단계 S55) 증강 현실 콘텐츠 표시 장치(100)는 증강 현실 표시 모드를 비활성화한다(단계 S57).
이때 증강 현실 콘텐츠 표시 장치(100)는 재생용 증강 현실 콘텐츠가 퍼포먼스형 콘텐츠인 경우에는(단계 S58) 증강 현실과 관련한 녹화를 일시 정지한다(단계 S61). 특히 카메라 모듈(180)에 의한 촬영 동작도 중지 시키고, 재생용 증강 현실 콘텐츠의 재생 역시 일시 정지시킬 수 있다.
반면에 재생용 증강 현실 콘텐츠가 스티커형 콘텐츠인 경우(단계 S63) 증강 현실 콘텐츠 표시 장치(100)는 녹화 상태를 유지하는데(단계 S65), 즉, 비록 디스플레이부(190)에는 카메라 모듈(180)에 의해 촬영되는 배경 영상 및 증강 현실 콘텐츠가 표시되지는 못한다 하더라도 카메라 모듈(180)에 의해 촬영되는 배경 영상과 재생용 증강 현실 콘텐츠에 대한 녹화는 유지하는 것이다.
상술한 바와 같이 '퍼포먼스형 콘텐츠'는 사용자의 터치 조작에 따라 움직임이 발생하는 콘텐츠이므로 증강 현실 표시 모드가 비활성화되는 경우에는 사용자가 화면을 보면서 터치 조작을 수행할 수 없으므로 그 녹화를 중단하는 것이 바람직하다.
반면에 '스티커형 콘텐츠'는 사용자의 터치 조작이 없더라도 자동으로 재생되는 콘텐츠이므로 증강 현실 표시 모드가 비활성화된 상태라도 그 녹화를 지속하는 것이 바람직하다.
한편, 상술한 각 실시예를 수행하는 과정은 소정의 기록 매체(예를 들어 컴퓨터로 판독 가능한)에 저장된 프로그램 또는 애플리케이션에 의해 이루어질 수 있음은 물론이다. 여기서 기록 매체는 RAM(Random Access Memory)과 같은 전자적 기록 매체, 하드 디스크와 같은 자기적 기록 매체, CD(Compact Disk)와 같은 광학적 기록 매체 등을 모두 포함한다.
이때, 기록 매체에 저장된 프로그램은 컴퓨터나 스마트폰 등과 같은 하드웨어 상에서 실행되어 상술한 각 실시예를 수행할 수 있다. 특히, 상술한 본 발명에 따른 증강 현실 콘텐츠 표시 장치의 기능 블록 중 적어도 어느 하나는 이러한 프로그램 또는 애플리케이션에 의해 구현될 수 있다.
또한, 본 발명은 상기한 특정 실시예에 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 여러 가지로 변형 및 수정하여 실시할 수 있는 것이다. 이러한 변형 및 수정이 첨부되는 특허청구범위에 속한다면 본 발명에 포함된다는 것은 자명할 것이다.
100 : 증강 현실 콘텐츠 표시 장치 200 : 콘텐츠 제공 서버
110 : 콘텐츠 선택부 120 : 콘텐츠 처리부
130 : 콘텐츠 구별부 140 : 녹화 처리부
150 : 통신부 160 : 사용자 입력부
170 : 저장부 180 : 카메라 모듈
190 : 디스플레이부

Claims (14)

  1. 증강 현실 콘텐츠 표시 장치가 수행하는 제어방법에 있어서,
    (a) 소정의 재생용 증강 현실 콘텐츠를 선택하는 단계와;
    (b) 증강 현실 표시 모드가 활성화된 상태에서, 카메라 모듈을 통해 실시간 촬영되는 배경 영상에 상기 재생용 증강 현실 콘텐츠를 배치 및 재생하는 단계와;
    (c) 상기 재생용 증강 현실 콘텐츠의 종류를 기 설정된 기준을 기초로 구별하는 단계와;
    (d) 상기 재생용 증강 현실 콘텐츠가 상기 배경 영상에서 재생된 이후 상기 증강 현실 표시 모드가 일시 비활성화 되었다가 다시 활성화되는 경우 상기 (c) 단계에서 구별된 증강 현실 콘텐츠의 종류에 따라 복수 개의 재생 방법 중 어느 하나를 동적으로 선택하여 해당 재생용 증강 현실 콘텐츠를 재생하는 단계를 포함하는 것을 특징으로 하는 증강 현실 콘텐츠 표시 장치의 제어방법.
  2. 제1항에 있어서,
    상기 (d) 단계에서 상기 증강 현실 표시 모드의 비활성화는 다른 애플리케이션의 화면으로의 화면 전환에 의해 이루어지고, 상기 증강 현실 표시 모드의 재활성화는 화면 전환이 이루어진 다른 애플리케이션의 종료에 따라 이루어지는 것을 특징으로 하는 증강 현실 콘텐츠 표시 장치의 제어방법.
  3. 제1항에 있어서,
    상기 (c) 단계에서는 상기 재생용 증강 현실 콘텐츠의 전체 재생 가능 시간과 기 설정된 기준 시간을 비교하여 그 종류를 구별하는 것을 특징으로 하는 증강 현실 콘텐츠 표시 장치의 제어방법.
  4. 제1항에 있어서,
    상기 (c) 단계에서는 상기 재생용 증강 현실 콘텐츠에 대한 특정 수동 조작이 가능한지 여부에 따라 그 종류를 구별하는 것을 특징으로 하는 증강 현실 콘텐츠 표시 장치의 제어방법.
  5. 제1항에 있어서,
    상기 (d) 단계의 복수 개의 재생 방법은 '즉시 재생'과 '일시 정지 후 사용자 선택 후 재생'을 포함하는 것을 특징으로 하는 증강 현실 콘텐츠 표시 장치의 제어방법.
  6. 제1항에 있어서,
    (e) 상기 배경 영상에 상기 재생용 증강 현실 콘텐츠를 배치 및 재생하는 화면을 녹화하는 단계를 더 포함하고,
    상기 (e) 단계에서는, 상기 (d) 단계에서 상기 재생용 증강 현실 콘텐츠가 상기 배경 영상에서 재생된 이후 상기 증강 현실 표시 모드가 비활성화 되는 경우 상기 (c) 단계에서 구별된 증강 현실 콘텐츠의 종류에 따라 상기 배경 화면 및 상기 재생용 증강 현실 콘텐츠에 대한 녹화 동작의 유지 여부를 결정하는 것을 특징으로 하는 증강 현실 콘텐츠 표시 장치의 제어방법.
  7. 제1항 내지 제6항 중 어느 한 항의 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
  8. 하드웨어와 결합되어 제1항 내지 제6항 중 어느 한 항의 방법을 실행시키기 위하여 컴퓨터 판독 가능 기록 매체에 저장된 응용 프로그램.
  9. 소정의 재생용 증강 현실 콘텐츠를 선택하는 콘텐츠 선택부와;
    증강 현실 표시 모드가 활성화된 상태에서, 카메라 모듈을 통해 촬영되는 배경 영상에 상기 선택된 재생용 증강 현실 콘텐츠를 배치 및 재생하는 콘텐츠 처리부와;
    상기 재생용 증강 현실 콘텐츠의 종류를 기 설정된 기준을 기초로 구별하는 콘텐츠 구별부를 포함하고,
    상기 콘텐츠 처리부는 상기 재생용 증강 현실 콘텐츠가 상기 배경 영상에서 재생된 이후 상기 증강 현실 표시 모드가 일시 비활성화 되었다가 다시 활성화되는 경우 상기 콘텐츠 구별부에서 구별된 증강 현실 콘텐츠의 종류에 따라 복수 개의 재생 방법 중 어느 하나를 동적으로 선택하여 해당 재생용 증강 현실 콘텐츠를 재생하는 것을 특징으로 하는 증강 현실 콘텐츠 표시 장치.
  10. 제9항에 있어서,
    상기 증강 현실 표시 모드의 비활성화는 다른 애플리케이션의 화면으로의 화면 전환에 의해 이루어지고, 상기 증강 현실 표시 모드의 재활성화는 화면 전환이 이루어진 다른 애플리케이션의 종료에 따라 이루어지는 것을 특징으로 하는 증강 현실 콘텐츠 표시 장치.
  11. 제9항에 있어서,
    상기 콘텐츠 구별부는 상기 재생용 증강 현실 콘텐츠의 전체 재생 가능 시간과 기 설정된 기준 시간을 비교하여 그 종류를 구별하는 것을 특징으로 하는 증강 현실 콘텐츠 표시 장치.
  12. 제9항에 있어서,
    상기 콘텐츠 구별부는 상기 재생용 증강 현실 콘텐츠에 대한 특정 수동 조작이 가능한지 여부에 따라 그 종류를 구별하는 것을 특징으로 하는 증강 현실 콘텐츠 표시 장치.
  13. 제9항에 있어서,
    상기 복수 개의 재생 방법은 '즉시 재생'과 '일시 정지 후 사용자 선택 후 재생'을 포함하는 것을 특징으로 하는 증강 현실 콘텐츠 표시 장치.
  14. 제9항에 있어서,
    상기 배경 영상에 상기 재생용 증강 현실 콘텐츠를 배치 및 재생하는 화면을 녹화하는 녹화 처리부를 더 포함하고,
    상기 녹화 처리부는 상기 재생용 증강 현실 콘텐츠가 상기 배경 영상에서 재생된 이후 상기 증강 현실 표시 모드가 비활성화 되는 경우 상기 콘텐츠 구별부에서 구별된 증강 현실 콘텐츠의 종류에 따라 상기 배경 화면 및 상기 재생용 증강 현실 콘텐츠에 대한 녹화 동작의 유지 여부를 결정하는 것을 특징으로 하는 증강 현실 콘텐츠 표시 장치.
KR1020190026185A 2019-03-07 2019-03-07 증강 현실 콘텐츠 표시를 위한 장치 및 그 제어방법 KR102240351B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190026185A KR102240351B1 (ko) 2019-03-07 2019-03-07 증강 현실 콘텐츠 표시를 위한 장치 및 그 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190026185A KR102240351B1 (ko) 2019-03-07 2019-03-07 증강 현실 콘텐츠 표시를 위한 장치 및 그 제어방법

Publications (2)

Publication Number Publication Date
KR20200107289A true KR20200107289A (ko) 2020-09-16
KR102240351B1 KR102240351B1 (ko) 2021-04-14

Family

ID=72670146

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190026185A KR102240351B1 (ko) 2019-03-07 2019-03-07 증강 현실 콘텐츠 표시를 위한 장치 및 그 제어방법

Country Status (1)

Country Link
KR (1) KR102240351B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022186619A1 (ko) * 2021-03-05 2022-09-09 주식회사 맘모식스 디지털 트윈 기반의 사용자 인터랙션 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140008859A (ko) * 2012-07-12 2014-01-22 엘지전자 주식회사 영상표시장치 및 영상표시장치의 화면표시방법
KR20140070990A (ko) 2012-12-03 2014-06-11 삼성전자주식회사 증강현실을 구현하기 위한 단말 및 그 방법
KR20140097657A (ko) * 2013-01-28 2014-08-07 삼성전자주식회사 증강현실 콘텐츠 생성 방법 및 이를 구현하는 휴대단말장치
KR20150090435A (ko) * 2014-01-29 2015-08-06 엘지전자 주식회사 포터블 디바이스 및 그 제어 방법
KR20180098917A (ko) * 2017-02-27 2018-09-05 엘지전자 주식회사 가상 현실 체험 중 이벤트 발생시 동작 방법 및 그 전자장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140008859A (ko) * 2012-07-12 2014-01-22 엘지전자 주식회사 영상표시장치 및 영상표시장치의 화면표시방법
KR20140070990A (ko) 2012-12-03 2014-06-11 삼성전자주식회사 증강현실을 구현하기 위한 단말 및 그 방법
KR20140097657A (ko) * 2013-01-28 2014-08-07 삼성전자주식회사 증강현실 콘텐츠 생성 방법 및 이를 구현하는 휴대단말장치
KR20150090435A (ko) * 2014-01-29 2015-08-06 엘지전자 주식회사 포터블 디바이스 및 그 제어 방법
KR20180098917A (ko) * 2017-02-27 2018-09-05 엘지전자 주식회사 가상 현실 체험 중 이벤트 발생시 동작 방법 및 그 전자장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022186619A1 (ko) * 2021-03-05 2022-09-09 주식회사 맘모식스 디지털 트윈 기반의 사용자 인터랙션 방법 및 장치

Also Published As

Publication number Publication date
KR102240351B1 (ko) 2021-04-14

Similar Documents

Publication Publication Date Title
JP4938733B2 (ja) メニュー画面表示方法およびメニュー画面表示装置
KR100863391B1 (ko) 멀티미디어 재생장치 및 메뉴화면 표시방법
JP6012384B2 (ja) 動画再生装置、表示制御方法、プログラム及び記憶媒体
KR20210092220A (ko) 실시간 비디오 특수 효과 시스템 및 방법
JP2021530146A (ja) ビデオ撮影方法、装置、端末機器及び記憶媒体
AU2016315038A1 (en) Method and device for playing video content at any position and time
US7643070B2 (en) Moving image generating apparatus, moving image generating method, and program
WO2021082639A1 (zh) 操作用户界面的方法、装置、电子设备及存储介质
KR20210082232A (ko) 실시간 비디오 특수 효과 시스템 및 방법
CN113064684B (zh) 一种虚拟现实设备及vr场景截屏方法
JP2003008946A (ja) 撮像装置
US20190199998A1 (en) Video file processing method and apparatus
JP5627383B2 (ja) 動画再生装置及びその制御方法、プログラム、及び記憶媒体
JP2007081584A (ja) 画像表示装置または画像表示方法。
CN110740261A (zh) 视频录制方法、装置、终端及存储介质
CN110069230A (zh) 扩展内容显示方法、装置及存储介质
JP4595807B2 (ja) 撮像装置
KR102240351B1 (ko) 증강 현실 콘텐츠 표시를 위한 장치 및 그 제어방법
WO2020044479A1 (ja) 情報処理装置及び情報処理方法
WO2015096626A1 (zh) 智能电视中的3d设置信息处理方法及装置
JP4931251B2 (ja) 表示制御装置、表示制御システム、表示制御方法
KR102139331B1 (ko) 영상 콘텐츠 재생을 위한 장치, 서버 및 방법
JP2012099869A (ja) 制御装置及び制御方法
JP4194588B2 (ja) 再生装置及び再生方法
KR102149358B1 (ko) 영상 콘텐츠 표시를 위한 장치 및 방법

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant