KR20140119870A - 멀티미디어 콘텐츠 제공장치 및 이의 위치 및 자세에 따른 콘텐츠 제공방법 - Google Patents

멀티미디어 콘텐츠 제공장치 및 이의 위치 및 자세에 따른 콘텐츠 제공방법 Download PDF

Info

Publication number
KR20140119870A
KR20140119870A KR1020130033297A KR20130033297A KR20140119870A KR 20140119870 A KR20140119870 A KR 20140119870A KR 1020130033297 A KR1020130033297 A KR 1020130033297A KR 20130033297 A KR20130033297 A KR 20130033297A KR 20140119870 A KR20140119870 A KR 20140119870A
Authority
KR
South Korea
Prior art keywords
image
multimedia content
providing device
providing
multimedia
Prior art date
Application number
KR1020130033297A
Other languages
English (en)
Inventor
김태정
정재훈
Original Assignee
인텔렉추얼디스커버리 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔렉추얼디스커버리 주식회사 filed Critical 인텔렉추얼디스커버리 주식회사
Priority to KR1020130033297A priority Critical patent/KR20140119870A/ko
Publication of KR20140119870A publication Critical patent/KR20140119870A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/161—Indexing scheme relating to constructional details of the monitor
    • G06F2200/1614—Image rotation following screen orientation, e.g. switching from landscape to portrait mode

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

단말의 위치 및 자세에 따라 멀티미디어 콘텐츠를 표시하는 기술이 개시된다. 디스플레이부를 갖는 멀티미디어 콘텐츠 제공장치에 있어서, 본 발명은 상기 제공장치의 위치 또는 자세에 기초하여, 상기 디스플레이부 상에 표시되는 멀티미디어 콘텐츠의 시점이동, 상기 멀티미디어 콘텐츠의 확대/축소, 콘텐츠 영역변경, 비디오와 같이 스트림 형태로 출력되고 있는 상기 멀티미디어 콘텐츠의 프레임 이동 중 적어도 하나의 기능이 구현되도록 제어하는 제어부를 포함한다.

Description

멀티미디어 콘텐츠 제공장치 및 이의 위치 및 자세에 따른 콘텐츠 제공방법 {Apparatus for providing multimedia contents and method for displaying multimedia contents thereof}
본 발명은 멀티미디어 콘텐츠를 제공하는 단말에 관한 것으로서, 보다 상세하게는 단말의 위치 및 자세에 따라 멀티미디어를 표시하는 기술에 관한 것이다.
3D 콘텐츠는 인터넷이나 컴퓨터 통신 등을 통하여 제공되는 3D 형태의 모든 각종 정보 또는 그 내용물을 통틀어 이른다. 최근 3D 콘텐츠에 관한 관심이 증대됨에 따라 점점 다양한 정보를 3D 콘텐츠 형태로 구축하고 있으며, 그 사용자는 점점 늘어나고 있는 추세이다. 3D 모델은 실제 공간의 객체를 보다 실제에 가까운 모습으로 표현하기 위해 제공되는데, 아직 대부분의 경우 대상 객체의 제한된 시점에서만 입체모델을 제공하고 있다. 이는 다양한 시점에서 해당 객체의 입체모델을 보기 원하는 사용자의 욕구를 충족시키지 못하고 있다.
이러한 사용자의 욕구를 반영하기 위해 여러 시점에서의 객체의 입체모델을 획득하여 사용자에게 다양한 시점에서의 해당 객체의 입체모델을 제공하는 서비스가 등장하고 있다. 대표적으로 주요 포털 사이트의 지도 서비스를 예로 들 수가 있는데, 이전에는 평면도 형태의 데이터만 제공하는데 반해, 최근에는 도로나 건물의 옆면 등을 촬영을 통해 획득함으로써 해당 객체를 여러 시점에서 바라본 모습을 제공하고 있다. 현재 이러한 여러 시점에서의 모습(객체의 좌측면, 우측면, 뒷면 등)을 보기 위해서는 사용자가 마우스, 버튼 등을 이용하여 원하는 시점으로 이동하는 인터페이스를 제공하는 것이 대부분이다. 그러나 3D 콘텐츠의 시점이동은 3차원 방향으로 이루어지는 반면 기존의 시점이동방법은 2차원 이동에 기반한 장치를 이용하여 이루어지므로 사용자에게 직관적인 조절방법이 되기 어렵다.
본 발명은 상술한 종래 기술의 문제점을 해결하기 위하여, 단말의 위치 및 자세를 조절하여 직관적으로 3D 멀티미디어 콘텐츠 표시방법을 제어할 수 있는 방법을 제공하는 것을 목적으로 한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상술한 본 발명의 목적을 달성하기 본 발명의 일 면에 따른 멀티미디어 콘텐츠 제공장치는 상기 제공장치의 위치 또는 자세에 기초하여, 상기 디스플레이부 상에 표시되는 멀티미디어 콘텐츠의 시점이동, 상기 멀티미디어 콘텐츠의 확대/축소, 콘텐츠 영역변경, 비디오와 같이 스트림 형태로 출력되고 있는 상기 멀티미디어 콘텐츠의 프레임 이동 중 적어도 하나의 기능이 구현되도록 제어하는 제어부를 포함한다.
본 멀티미디어 콘텐츠 제공장치는 상기 제어부에서의 명령에 기초하여 특정 대상 공간에 대한 적어도 2개 이상의 시점 영상을 이용하여 제작된 3D의 입체 콘텐츠에서 어느 하나의 시점 영상(이하, 기준 시점 영상)을 생성하는 영상 처리부를 더 포함할 수 있다.
상기 영상 처리부는 상기 제공장치의 자세에 기초하여 상기 기준 시점 영상에서 변경된 어느 하나의 다른 시점 영상(이하, 변경 시점 영상)을 생성할 수 있다.
또한, 상기 영상 처리부는 상기 제공장치의 위치에 기초하여 현재 디스플레이 되고 있는 상기 기준 시점의 영상을 확대 또는 축소한 영상을 생성할 수 있다.
또한, 상기 영상 처리부는 상기 3D의 입체 콘텐츠가 시퀀스를 갖는 비디오 스트림의 포맷을 가진 경우, 상기 제공장치의 자세 또는 위치에 기초하여 상기 기준 시점 영상이 속하는 영상 프레임에서 이동된 프레임의 영상을 생성할 수 있다.
또한, 상기 영상 처리부는 사용자의 시선방향과 평행을 이루는 축을 중심으로 상기 제공장치가 회전되는 경우와, 상기 시선방향과 수직을 이루는 축을 중심으로 상기 제공장치가 회전되는 경우로 나누어 상기 제공장치가 회전되는 각도와 3D 입체 콘텐츠가 회전되는 각도의 비율을 달리 적용할 수 있다.
본 멀티미디어 콘텐츠 제공장치는 상기 멀티미디어 콘텐츠의 시점이동, 상기 멀티미디어 콘텐츠의 확대/축소, 상기 멀티미디어 콘텐츠 영역변경, 상기 멀티미디어 콘텐츠의 프레임 이동 등의 기능을 선택할 수 있는 사용자 인터페이스부를 더 포함하되, 상기 제어부는 상기 사용자 인터페이스부에 입력된 사용자 선택 정보에 기초하여 상기 영상 처리부가 처리해야 하는 작업 명령을 생성할 수 있다.
한편, 전술한 본 발명의 실시예에 따른 표시방법은 컴퓨터에서 실행시키기 위한 프로그램으로 제작되어 컴퓨터로 판독 가능한 기록매체에 저장될 수 있다.
이상 상술한 바와 같이, 본 발명은 2D 콘텐츠 및 3D 콘텐츠의 다양한 시점의 영상정보를 제공할 수 있어, 기존의 제한된 시점을 기준으로 제공되는 2D 디스플레이 방식 및 3D 디스플레이 방식에 비해 실제 2D 콘텐츠 및 3D 콘텐츠가 가지고 있는 많은 정보를 표현할 수 있다.
또한, 본 발명은 2D 콘텐츠 및 3D 콘텐츠를 여러 시점에서 시청하고자 하는 시청자의 욕구를 충족시킬 수 있으며 이를 통해 여러 시점의 입체모델이 저장된 고용량 2D 콘텐츠와 3D 콘텐츠의 활용도를 극대화할 수 있다. 나아가 다양한 시점에서 바라본 2D 콘텐츠 및 3D 콘텐츠의 입체모델이 사용자의 능동적인 조작을 통해 디스플레이 되므로 사용자의 2D 콘텐츠 및 3D 콘텐츠 시청에 대한 흥미 유발과 활용에 대한 만족도를 극대화할 수 있다.
도 1은 본 발명이 일 실시예에 따른 멀티미디어 콘텐츠 제공장치의 구성을 도시한 블록도.
도 2는 본 발명의 실시예에서 단말의 위치와 자세에 따라 멀티미디어 콘텐츠가 시점 이동되어 표시되는 개념을 설명하기 위한 개념도.
도 3은 본 발명의 실시예에서 시선방향과 평행한 축을 중심으로 단말을 회전하는 경우 시점 이동되어 표시되는 멀티미디어 콘텐츠의 일 예를 도시한 예시도.
도 4는 본 발명의 실시예에서 시선방향과 수직인 축을 중심으로 단말을 회전하는 경우 시점 이동되어 표시되는 멀티미디어 콘텐츠의 일 예를 도시한 예시도.
도 5는 본 발명이 일 실시예에 따른 멀티미디어 콘텐츠 제공방법을 도시한 순서도.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 1은 본 발명이 일 실시예에 따른 멀티미디어 콘텐츠 제공장치의 구성을 도시한 블록도이다.
도 1을 참조하면, 본 멀티미디어 콘텐츠 제공장치(100)는 영상 수신부(110), 영상 처리부(120), 디스플레이부(130), 제어부(140), 저장부(150), 자세 처리부(160), 위치 처리부(170), 사용자 인터페이스부(180)를 포함하여 구성된다.
한편, 도 1에서는 멀티미디어 콘텐츠 제공장치 (100)가 스마트 폰(Smart Phone)인 것으로 도시하였으나, 이는 일 실시 예에 불과하며, 본 멀티미디어 콘텐츠 제공장치(100)는 디지털 TV, 3D TV, 이동통신 단말기, 이동 전화기, 개인 정보 단말기(PDA, Personal Digital Assistant), 디지털 멀티미디어 방송(DMB, Digital Multimedia Broadcasting) 폰, MP3 플레이어, 오디오(Audio) 기기, 휴대용 텔레비전, 디지털 카메라 등과 같이 3D UI 요소의 디스플레이가 가능한 모든 장치들로 구현할 수 있다.
본 멀티미디어 콘텐츠 제공장치(100)는 디스플레이부(130) 상에 3D 콘텐츠가 디스플레이 되고 있는 경우, 상기 멀티미디어 콘텐츠 제공장치(100)의 위치 및 자세에 따라 3D 콘텐츠가 디스플레이되는 방식을 제어한다. 제어 방식의 일 예로, 3D 콘텐츠의 시점이동, 3D 콘텐츠의 확대/축소, 화면에 보여지는 3D 콘텐츠 영역변경, 비디오와 같이 스트림 형태로 출력되고 있는 3D 콘텐츠의 프레임 이동 등이 있을 수 있다.
영상 수신부(110)는 방송국 또는 위성으로부터 유선 또는 무선으로 수신되는 2D 또는 3D 영상 신호를 수신하여 복조한다. 또한, 영상 수신부(110)는 카메라 등의 외부기기와 연결되어 외부기기로부터 3D 영상을 입력 받을 수 있다. 외부기기는 무선으로 연결되거나 S-Video, 컴포넌트, 컴포지트, D-Sub, DVI, HDMI 등의 인터페이스를 통해 유선으로 연결될 수 있다. 한편, 2D 영상 처리 방법은 당업자에게 자명한 사항이므로 이하에서는 3D 영상 처리 방법을 중심으로 설명하도록 한다.
영상 처리부(120)는 특정 대상 공간에 대한 적어도 2개 이상의 시점 영상을 이용하여 제작된 3D의 입체 콘텐츠에서 어느 하나의 시점 영상(이하, 기준 시점 영상)을 생성한다.
또한, 상기 영상 처리부(120)는 후술할 제어부(140)의 지시에 따라 상기 제공장치(100)의 자세에 기초하여 변경된 어느 하나의 시점 영상(이하, 변경 시점 영상)을 생성할 수 있다.
또한, 상기 영상 처리부(120)는 현재 디스플레이되고 있는 특정 시점의 영상을 후술할 제어부(140)의 지시에 따라 상기 제공장치(100)의 위치에 기초하여 확대 또는 축소한 영상을 생성할 수 있다.
또한, 상기 영상 처리부는 현재 디스플레이되고 있는 3D의 입체 콘텐츠가 시퀀스를 갖는 비디오/오디오 스트림의 포맷을 가진 경우에는 후술할 제어부(140)의 지시에 따라 상기 제공장치(100)의 자세 또는 위치에 기초하여 이동된 프레임의 영상을 생성할 수도 있다.
디스플레이부(130)는 영상 처리부(120)에서 생성된 영상, 예컨대 기준 시점 영상, 변경 시점 영상, 확대 또는 축소된 특정 시점의 영상, 특정 시퀀스의 영상 등을 출력하여 사용자에게 제공한다.
제어부(140)는 사용자 인터페이스부(180)로부터 전달받은 사용자 명령 또는 기 설정된 옵션에 따라 콘텐츠 제공장치(100)의 전반적인 동작을 제어한다.
특히, 제어부(140)는 영상 수신부(110) 및 영상 처리부(120)를 제어하여, 수신된 3D 영상 또는 상기 저장부(150)에 저장된 3D 영상 콘텐츠가 기준 시점에서 상기 디스플레이부(130)에 출력될 수 있도록 한다.
또한, 제어부(140)는 상기 자세 처리부(160)에서 처리된 장치(100)의 자세 또는 상기 위치 처리부(170)에서 처리된 장치(100)의 위치 정보에 기초하여 해당 영상이 생성 및 출력되도록 상기 영상 처리부(120) 및 디스플레이부(130)를 제어한다.
저장부(150)는 장치(100)를 동작시키기 위해 필요한 각종 프로그램 등이 저장되는 저장매체로서, 메모리, HDD(Hard Disk Drive) 등으로 구현 가능하다. 예를 들어 저장부(150)는 제어부(140)의 동작 수행을 위한 프로그램을 저장하기 위한 ROM, 제어부(140)의 동작 수행에 따른 데이터를 일시적으로 저장하기 위한 RAM 등을 구비할 수 있다. 또한 각종 참조 데이터를 저장하기 위한 EEROM(Electrically Erasable and Programmable ROM) 등을 더 구비할 수 있다.
자세 처리부(160)는 장치(100)의 자세 및 자신이 향하는 방향을 측정하며, 예를 들어 디지털 나침반, 가속도 센서 또는 지자기센서 등의 기기를 이용하는 것일 수 있다.
위치 처리부(170)는 장치(100)를 시청하고 있는 사용자와의 시청 거리를 측정하며, 예를 들어 초음파 센서, 또는 카메라를 통한 영상 처리 등을 이용하는 것일 수 있다.
사용자 인터페이스부(180)는 장치(100)의 옵션을 설정하고, 사용자 명령을 입력 받기 위한 수단을 제공하는 것으로서, 사용자에 의해 입력된 옵션 설정 또는 사용자 명령을 제어부(140)로 전달한다.
일 예로, 사용자 인터페이스부(180)는 사용자로 하여금 영상 처리 모드를 선택할 수 있는 수단을 제공한다. 전술한 바와 같이, 본 발명의 실시예에서 제공되는 영상 처리는 정지 화상의 경우에는 시점 이동 및 화면 확대/축소가 있고, 시퀀스를 가지는 동 화상의 경우에는 특정 시퀀스의 프레임으로 영상 출력을 전환하는 것이 있다. 사용자는 사용자 인터페이스부(180)에서 제공되는 수단을 통해 장치(100)의 자세 및 위치 정보에 기초하여 처리되는 영상의 모드를 선택할 수 있으며, 사용자의 모드 선택 정보에 기초하여 상기 제어부(140)는 영상 처리부(120)가 처리해야 하는 작업을 명령한다.
예컨대, 사용자가 정지 화상의 다른 시점 영상을 확대하여 보고 싶다고 가정하자. 이때 사용자는 정지화상 시청모드에서 영상 변환을 가능하게 하는 요인으로 자세 및 위치를 모두 선택해야 할 것이다. 정지화상 시청모드가 선택되고, 영상 변환의 요인으로 단말의 자세 및 위치가 모두 선택되었다면, 사용자는 단말의 자세(각도)를 바꿔 다른 시점의 영상이 출력되도록 하고, 그 시점 영상이 출력되는 동안 단말과의 시청 거리를 좁힘으로써 자신이 원하는 시점의 확대된 영상을 볼 수 있을 것이다.
도 2는 본 발명의 실시예에서 단말의 위치와 자세에 따라 멀티미디어 콘텐츠가 시점 이동되어 표시되는 개념을 설명하기 위한 개념도이다.
도 2를 참조하면, 본 발명의 실시예에 따른 장치(100)를 이용하는 사용자가 3D 콘텐츠를 다양한 위치와 각도에서 시청하기 위해 원하는 위치와 각도로 모바일 디바이스의 위치와 자세를 조절해야 하는 것을 알 수 있다.
즉, 본 실시예에 따른 장치(100)의 위치 및 자세 조절에 따라 시점이 이동된 3D 콘텐츠의 입체모델이 디스플레이되어야 하므로 장치(100)의 위치 및 자세 변화와 3D 콘텐츠의 위치 및 자세 변화와의 관계를 설정하는 것이 중요하다. 예를 들어, 장치(100)는 사용자의 조정에 의해 3차원 공간상에서 움직이므로, 임의의 3차원 좌표계 상의 X축, Y축, Z축을 중심으로 위치 이동 또는 회전하게 된다.
먼저, 도 3 내지 도 4를 참조하여 본 발명의 실시예에서 장치(100)의 자세가 조정된 경우를 설명한다. 도 3은 본 발명의 실시예에서 시선방향과 평행한 축을 중심으로 단말을 회전하는 경우 시점 이동되어 표시되는 멀티미디어 콘텐츠의 일 예를 도시한 예시도이다.
사용자가 디스플레이 화면을 정면에서 바라보고 있는 경우, 크게 사용자의 시선방향과 평행을 이루는 축을 중심으로 디스플레이가 회전되는 경우와 시선방향과 수직을 이루는 축을 중심으로 디스플레이가 회전되는 경우가 존재한다. 도 3과 같이 사용자의 시선방향과 평행을 이루는 축을 중심으로 디스플레이가 회전되는 경우는 디스플레이가 회전되는 각도와 3D 콘텐츠가 회전되는 각도가 1:1의 비율이 유지되게 한다.
한편, 도 4a 및 도 4b에 도시된 바와 같이, 시선방향에 대해 수직방향인 축에 대해서는 디스플레이가 회전하는 경우에는 디스플레이 회전각도와 3D 콘텐츠의 회전각도가 1:1 의 비율을 유지할 경우, 정면 입체도를 보기 위해서는 90°로 디스플레이를 회전해야 하는데 시선방향에 수직방향으로 디스플레이를 90°회전하게 되면 디스플레이 화면이 시야에 들어오지 않게 되는 문제점이 발생한다.
따라서 시선방향에 대해 수직방향인 축에 대해서 디스플레이를 회전하는 경우 디스플레이의 회전각도와 3D 콘텐츠의 회전각도를 1:2 의 비율을 유지하는 것을 기본 설정으로 하며 세부적인 비율은 사용자의 기호에 따라 조정이 가능하도록 한다.
1:2 비율의 기본 설정인 경우, 도 4에 도시된 바와 같이 장치(100)의 자세에 따라 3D 콘텐츠의 시점이 변경되며, 장치(100)가 시선방향에 대해 수직방향인 축에 대해 45°정도로 회전하면 사용자는 정면 입체도를 감상할 수 있다.
다시 설명하면, 장치(100)가 장치 중앙을 중심으로 회전되는 경우는 디바이스의 회전각도와 3D 콘텐츠의 회전각도가 1:1의 비율을 유지하나, 좌우나 상하로 장치를 기울이는 경우에는 기울여지는 방향의 회전각도와 3D 콘텐츠의 회전각도는 1:2의 비율을 유지하는 것을 기본설정으로 한다고 할 수 있다.
또한, 본 발명의 다른 실시예로서 사용자에 의해 장치(100)의 위치(예컨대, 시선 거리를 조정)가 조절된 경우에는 그 움직임과 연동하여 디스플레이되는 3D 콘텐츠 영상이 확대 또는 축소될 수 있다. 즉, 사용자가 가까이서 보기를 원해 장치와 간격을 좁히는 경우 현재 디스플레이되고 있는 화면을 확대하며, 반대의 경우 축소한다. 확대 및 축소의 비율은 사용자의 설정을 통해 조절이 가능하다.
또한 장치(100)의 움직임과 연동하여 디스플레이되는 3D 콘텐츠의 영역을 변경할 수 있다. 즉, 장치(100)를 통해 특정 개체의 일부가 출력되고 있는 경우 현재 출력되고 있는 개체 영역의 상하좌우에 위치하고 있는 영역을 출력하기 위해서 사용자가 모바일 디바이스의 위치를 조절할 수 있다. 또한, 사용자가 비디오와 같은 스트림 영상을 시청하고 있는 3D 콘텐츠의 프레임을 이동하기 위해서 장치(100)의 자세 또는 위치를 조절할 수도 있다.
전술한 실시예에서는 장치의 자세 변화에 따라 3D 콘텐츠의 시점이 변화는 것으로 설명하였으나, 이와는 달리 장치의 위치 변화에 따라 3D 콘텐츠의 시점을 변화시킬 수 있는 것도 자명하다.
또한, 전술한 실시예에서는 장치의 위치 변화에 따라 3D 콘텐츠가 확대/축소, 출력 영역 조절 및 3D 콘텐츠 스트림의 프레임 이동되는 것으로 설명하였으나, 이와는 달리 장치의 자세 변화에 따라 3D 콘텐츠의 확대/축소, 출력 영역 조절 및 3D 콘텐츠 스트림의 프레임 이동시킬 수 잇는 것도 자명하다. 또한 장치의 위치이동과 자세변화를 조합하여 3D 콘텐츠를 제어할 수도 있다.
전술한 장치의 위치 및 자세 변화에 따른 3D 콘텐츠의 시점이동, 확대/축소, 영역변경 및 스트림 상의 프레임 이동 기능은 활성화/비활성화 모드의 구분과 기준시점의 설정기능을 수반하여 보다 효과적으로 이루어진다. 사용자의 시청기호와 무관하게 장치의 자세를 변경하게 되는 경우, 확대/축소 의사와 관계없이 디바이스와 사용자간의 거리가 변경되는 경우, 장치의 자세와 관계없이 특정 시점의 입체모델을 지속적으로 보기를 원하는 경우에는 본 기술의 비활성화 모드를 이용할 수 있다.
또한, 3D 콘텐츠의 시점이 이동되기 시작하는 초기 시점, 확대 및 축소를 수행하는 초기 시점 결정을 위해 사용자가 원하는 시점으로 기준 시점을 설정할 수 있다.
도 5는 본 발명의 다른 실시예에 따른 멀티미디어 콘텐츠 제공방법을 도시한 순서도이다.
도 5를 참조하면, 본 멀티미디어 콘텐츠 제공방법은 모드 선택 사용자 입력을 받는 단계(S510)와, 장치의 자세 및 위치(시선 거리)를 검출하는 단계(S520)와, 선택 모드에 따라 장치의 자세 및 위치에 기초하여 표시 영상을 생성 및 변경하는 단계(S530)를 포함한다.
S510 단계에서, 멀티미디어 콘텐츠의 시점이동, 상기 멀티미디어 콘텐츠의 확대/축소, 상기 멀티미디어 콘텐츠 영역변경, 상기 멀티미디어 콘텐츠의 프레임 이동 등의 기능 중 일부 또는 전부를 선택한 사용자의 선택 입력을 수신한다.
S520 단계에서, 장치의 자세 및 위치(시건 거리)를 검출한다. 전술한 바와 같이, 본 장치는 사용자의 조정에 의해 3차원 공간상에서 움직이므로, 임의의 3차원 좌표계 상의 X축, Y축, Z축을 중심으로 위치 이동 또는 회전하게 된다. 여기서, 장치는 자세 및 자신이 향하는 방향을 측정하며, 예를 들어 디지털 나침반, 가속도 센서 또는 지자기센서 등의 기기를 이용하는 것일 수 있다. 또한, 장치는 사용자와의 시청 거리를 측정하며, 예를 들어 초음파 센서, 또는 카메라를 통한 영상 처리 등을 이용할 수 있다.
S530 단계에서, 선택 모드에 따라 장치의 자세 및 위치에 기초하여 표시 영상을 생성 및 변경한다.
일 실시예로서, 기준시점의 설정된 경우에는 초기에 기준시점 영상이 표시되고, 이후 장치의 자세에 변화가 있다면, 그 변화된 자세에 기초하여 상기 기준시점 영상과 다른 시점의 영상이 표시될 수 있다. 시점 변환의 구체적인 설명은 전술하였으므로 이하 그 구체적인 설명은 생략하도록 한다.
다른 실시예로서, 현재 표시되고 있는 영상에 대해 사용자가 임의로 장치와 사용자 간의 거리를 변경한 경우에는 그 변경된 거리에 기초하여 표시 영상이 확대 또는 축소되어 출력될 수 있다.
또 다른 실시예로서, 상기 표시 영상이 시퀀스를 갖는 비디오 스트림의 포맷을 가진 경우에는, 제공장치의 자세 또는 위치에 기초하여 현재 표시되는 영상이 속하는 영상 프레임에서 이동된 프레임의 영상이 출력될 수도 있다.
한편, 상술한 본 발명에 따른 콘텐츠 표시방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (12)

  1. 디스플레이부를 갖는 멀티미디어 콘텐츠 제공장치에 있어서,
    상기 제공장치의 위치 또는 자세에 기초하여, 상기 디스플레이부 상에 표시되는 멀티미디어 콘텐츠의 시점이동, 상기 멀티미디어 콘텐츠의 확대/축소, 콘텐츠 영역변경, 비디오와 같이 스트림 형태로 출력되고 있는 상기 멀티미디어 콘텐츠의 프레임 이동 중 적어도 하나의 기능이 구현되도록 제어하는 제어부
    를 포함하는 멀티미디어 콘텐츠 제공장치.
  2. 제1항에 있어서,
    상기 제어부에서의 명령에 기초하여 특정 대상 공간에 대한 적어도 2개 이상의 시점 영상을 이용하여 제작된 3D의 입체 콘텐츠에서 어느 하나의 시점 영상(이하, 기준 시점 영상)을 생성하는 영상 처리부
    를 더 포함하는 멀티미디어 콘텐츠 제공장치.
  3. 제2항에 있어서, 상기 영상 처리부는,
    상기 제공장치의 자세에 기초하여 상기 기준 시점 영상에서 변경된 어느 하나의 다른 시점 영상(이하, 변경 시점 영상)을 생성하는 것
    인 멀티미디어 콘텐츠 제공장치.
  4. 제2항에 있어서, 상기 영상 처리부는,
    상기 제공장치의 위치에 기초하여 현재 디스플레이 되고 있는 상기 기준 시점의 영상을 확대 또는 축소한 영상을 생성하는 것
    인 멀티미디어 콘텐츠 제공장치.
  5. 제2항에 있어서, 상기 영상 처리부는,
    상기 3D의 입체 콘텐츠가 시퀀스를 갖는 비디오 스트림의 포맷을 가진 경우, 상기 제공장치의 자세 또는 위치에 기초하여 상기 기준 시점 영상이 속하는 영상 프레임에서 이동된 프레임의 영상을 생성하는 것
    인 멀티미디어 콘텐츠 제공장치.
  6. 제3항에 있어서, 상기 영상 처리부는,
    사용자의 시선방향과 평행을 이루는 축을 중심으로 상기 제공장치가 회전되는 경우와, 상기 시선방향과 수직을 이루는 축을 중심으로 상기 제공장치가 회전되는 경우로 나누어 상기 제공장치가 회전되는 각도와 3D 입체 콘텐츠가 회전되는 각도의 비율을 달리 적용하는 것
    인 멀티미디어 콘텐츠 제공장치.
  7. 1항에 있어서,
    상기 멀티미디어 콘텐츠의 시점이동, 상기 멀티미디어 콘텐츠의 확대/축소, 상기 멀티미디어 콘텐츠 영역변경, 상기 멀티미디어 콘텐츠의 프레임 이동 등의 기능을 선택할 수 있는 사용자 인터페이스부를 더 포함하되,
    상기 제어부는 상기 사용자 인터페이스부에 입력된 사용자 선택 정보에 기초하여 상기 영상 처리부가 처리해야 하는 작업 명령을 생성하는 것
    인 멀티미디어 콘텐츠 제공장치.
  8. 멀티미디어 콘텐츠 제공장치의 멀티미디어 콘텐츠 표시방법에 있어서,
    상기 멀티미디어 콘텐츠 제공장치의 자세 및 시선거리를 검출하는 단계; 및
    상기 자세 및 시선거리 중 적어도 하나에 기초하여 상기 멀티미디어 콘텐츠 제공장치에 표시되는 영상을 생성 및 변경하는 단계
    를 포함하는 멀티미디어 콘텐츠 제공방법.
  9. 제8항에 있어서, 상기 생성 및 변경하는 단계는,
    상기 멀티미디어 콘텐츠 제공장치의 제1 자세에 기초하여 특정 대상 공간에 대한 적어도 2개 이상의 시점 영상을 이용하여 제작된 3D의 입체 콘텐츠에서 어느 하나의 시점 영상(이하, 기준 시점 영상)을 생성하는 단계와,
    상기 제공장치의 상기 제1 자세와 다른 제2 자세에 기초하여 상기 기준 시점 영상에서 변경된 어느 하나의 다른 시점 영상(이하, 변경 시점 영상)을 생성하는 단계를 포함하는 것
    인 멀티미디어 콘텐츠 제공방법.
  10. 제8항에 있어서, 상기 생성 및 변경하는 단계는,
    사용자의 시선방향과 평행을 이루는 축을 중심으로 상기 제공장치가 회전되는 경우와, 상기 시선방향과 수직을 이루는 축을 중심으로 상기 제공장치가 회전되는 경우로 나누어 상기 제공장치가 회전되는 각도와 상기 표시되는 영상이 회전되는 각도의 비율을 달리 적용하는 단계를 포함하는 것
    인 멀티미디어 콘텐츠 제공방법.
  11. 제8항에 있어서, 상기 생성 및 변경하는 단계는,
    상기 제공장치의 위치에 기초하여 현재 디스플레이 되고 있는 영상을 확대 또는 축소한 영상을 생성하는 단계를 포함하는 것
    인 멀티미디어 콘텐츠 제공방법.
  12. 제8항 내지 제11항 중 어느 한 항에 기재된 콘텐츠 제공방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체.
KR1020130033297A 2013-03-28 2013-03-28 멀티미디어 콘텐츠 제공장치 및 이의 위치 및 자세에 따른 콘텐츠 제공방법 KR20140119870A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130033297A KR20140119870A (ko) 2013-03-28 2013-03-28 멀티미디어 콘텐츠 제공장치 및 이의 위치 및 자세에 따른 콘텐츠 제공방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130033297A KR20140119870A (ko) 2013-03-28 2013-03-28 멀티미디어 콘텐츠 제공장치 및 이의 위치 및 자세에 따른 콘텐츠 제공방법

Publications (1)

Publication Number Publication Date
KR20140119870A true KR20140119870A (ko) 2014-10-13

Family

ID=51991930

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130033297A KR20140119870A (ko) 2013-03-28 2013-03-28 멀티미디어 콘텐츠 제공장치 및 이의 위치 및 자세에 따른 콘텐츠 제공방법

Country Status (1)

Country Link
KR (1) KR20140119870A (ko)

Similar Documents

Publication Publication Date Title
US11380362B2 (en) Spherical video editing
US20160086306A1 (en) Image generating device, image generating method, and program
US10062209B2 (en) Displaying an object in a panoramic image based upon a line-of-sight direction
CN108024127B (zh) 图像显示装置、移动设备及其操作方法
KR20180019421A (ko) 영상 표시 장치 및 그 동작방법
CN108780581B (zh) 信息处理装置、信息处理方案以及程序
US11375170B2 (en) Methods, systems, and media for rendering immersive video content with foveated meshes
US20130222363A1 (en) Stereoscopic imaging system and method thereof
EP3819752A1 (en) Personalized scene image processing method and apparatus, and storage medium
KR102422929B1 (ko) 디스플레이장치, 서버 및 그 제어방법
KR20190026267A (ko) 전자장치, 그 제어방법 및 그 컴퓨터프로그램제품
AU2015362278A1 (en) Display apparatus and display method
JP2019531038A (ja) ディスプレイ装置及びその制御方法
US20190138085A1 (en) Provision of Virtual Reality Content
CN114419213A (zh) 图像处理方法、装置、设备和存储介质
CN106383577B (zh) 一种vr视频播放装置的场景控制实现方法及系统
US20160344946A1 (en) Screen System
EP3032392B1 (en) Display apparatus and display method
KR20140119870A (ko) 멀티미디어 콘텐츠 제공장치 및 이의 위치 및 자세에 따른 콘텐츠 제공방법
EP3319308B1 (en) Spherical image display apparatus and method of displaying spherical image on a planar display
KR101741149B1 (ko) 가상 카메라의 시점 제어 방법 및 장치
US11816785B2 (en) Image processing device and image processing method
KR20130010613A (ko) 2차원 영상을 3차원 영상으로 변환하는 장치 및 방법
CN117478931A (zh) 信息显示方法、装置、电子设备及存储介质
KR20150097291A (ko) 영상표시장치 및 그것의 제어방법

Legal Events

Date Code Title Description
N231 Notification of change of applicant
WITN Withdrawal due to no request for examination