KR100758304B1 - Method for making a multi-view panoramic video content and method for playing thereof - Google Patents
Method for making a multi-view panoramic video content and method for playing thereof Download PDFInfo
- Publication number
- KR100758304B1 KR100758304B1 KR1020060052556A KR20060052556A KR100758304B1 KR 100758304 B1 KR100758304 B1 KR 100758304B1 KR 1020060052556 A KR1020060052556 A KR 1020060052556A KR 20060052556 A KR20060052556 A KR 20060052556A KR 100758304 B1 KR100758304 B1 KR 100758304B1
- Authority
- KR
- South Korea
- Prior art keywords
- panoramic video
- video content
- tracking information
- content
- specific object
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000004519 manufacturing process Methods 0.000 claims abstract description 13
- 238000005192 partition Methods 0.000 claims description 24
- 238000013507 mapping Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000007796 conventional method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/16—Spatio-temporal transformations, e.g. video cubism
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
1. 청구범위에 기재된 발명이 속한 기술분야1. TECHNICAL FIELD OF THE INVENTION
본 발명은 다시점 파노라믹 비디오 콘텐츠의 제작방법 및 이에 따른 콘텐츠의 재생방법에 관한 것임.The present invention relates to a method for producing a multiview panoramic video content and a method for reproducing the content accordingly.
2. 발명이 해결하려고 하는 기술적 과제2. The technical problem to be solved by the invention
본 발명은 파노라믹 비디오 콘텐츠를 입력받아 특정객체의 추적정보를 추적 메타데이터로 생성하고 상기 특정객체를 구별하는 식별아이콘을 부여하여 상기 파노라믹 비디오 콘텐츠와 상기 추적 메타데이터와 상기 식별아이콘을 압축하여 다시점 파노라믹 비디오 콘텐츠를 제작하는, 다시점 파노라믹 비디오 콘텐츠의 제작방법을 제공하는데 그 목적이 있음.The present invention generates the tracking information of a specific object as a tracking metadata by receiving the panoramic video content and assigns an identification icon to distinguish the specific object, thereby identifying the panoramic video content, the tracking metadata, and the identification icon. The purpose of the present invention is to provide a method for producing multi-view panoramic video contents by compressing them to produce multi-view panoramic video contents.
3. 발명의 해결방법의 요지3. Summary of Solution to Invention
본 발명은, 파노라믹 비디오 콘텐츠를 이용해 다시점 파노라믹 비디오 콘텐츠의 제작방법에 있어서, 상기 파노라믹 비디오 콘텐츠가 입력되면, 상기 파노라믹 비디오 콘텐츠를 임의의 영역으로 분할하는 제1 단계와; 상기 영역분할된 파노라믹 비디오 콘텐츠내 특정객체를 추적하여 시간에 따른 추적정보가 작성되면, 상기 특정객체와 상기 추적정보를 대응시켜 상기 특정객체의 추적정보를 해석할 수 있도록 설정하는 제2 단계; 및 상기 파노라믹 비디오 콘텐츠와 상기 추적정보를 압축하여 다시점 파노라믹 비디오 콘텐츠를 제작하는 제3 단계를 포함함.The present invention relates to a method for producing multi-view panoramic video content using panoramic video content, wherein the panoramic video content is divided into an arbitrary region when the panoramic video content is input. Wow; A second step of tracing the specific object in the region-divided panoramic video content to generate the tracking information corresponding to the specific object and the tracking information so as to interpret the tracking information of the specific object; ; And producing a multi-view panoramic video content by compressing the panoramic video content and the tracking information.
4. 발명의 중요한 용도4. Important uses of the invention
본 발명은 다시점 파노라믹 비디오 콘텐츠의 제작방법 및 이에 따른 콘텐츠의 재생방법 등에 이용됨.The present invention is used to produce a multi-view panoramic video content, and a method for reproducing the content.
다시점 파노라믹 비디오 콘텐츠, 객체 추적정보, 객체 식별아이콘, 추적 메타데이터 Multiview panoramic video content, object tracking information, object identification icon, tracking metadata
Description
도 1은 본 발명에 따른 다시점 파노라믹 비디오 콘텐츠의 제작방법에 대한 일실시예 흐름도,1 is a flow chart of an embodiment of a method for producing multiview panoramic video content according to the present invention;
도 2는 본 발명이 적용되는 객체와 추적 메타데이터의 연관관계에 대한 일실시예 설명도,2 is a diagram for explaining an association between an object to which the present invention is applied and tracking metadata;
도 3은 본 발명이 적용되는 다시점 파노라믹 비디오 콘텐츠의 재생장치에 대한 일실시예 구성도,3 is a configuration diagram of an apparatus for reproducing multi-view panoramic video contents to which the present invention is applied;
도 4는 본 발명에 따른 다시점 파노라믹 비디오 콘텐츠의 재생방법에 대한 일실시예 흐름도,4 is a flowchart illustrating a method of playing multi-view panoramic video content according to the present invention;
도 5는 본 발명이 적용되는 다시점 파노라믹 비디오 콘텐츠내 객체가 이동하는 경우 디스플레이 영역의 조정과정에 대한 일실시예 설명도.FIG. 5 is a diagram illustrating an embodiment of adjusting a display area when an object in a multiview panoramic video content to which the present invention is applied moves. FIG.
* 도면의 주요 부분에 대한 부호 설명* Explanation of symbols on the main parts of the drawing
20; 디스플레이부 21; 제어부20; A
22; 콘텐츠 해석부 23; 외부 인터페이스부22; A
본 발명은 다시점 파노라믹 비디오 콘텐츠의 제작방법 및 이에 따른 콘텐츠의 재생방법에 관한 것으로, 더욱 상세하게는, 파노라믹 비디오 콘텐츠를 입력받아 특정객체의 추적정보를 추적 메타데이터로 생성하고 상기 특정객체를 구별하는 식별아이콘을 부여하여 상기 파노라믹 비디오 콘텐츠와 상기 추적 메타데이터와 상기 식별아이콘을 압축하여 다시점 파노라믹 비디오 콘텐츠를 제작하는, 다시점 파노라믹 비디오 콘텐츠의 제작방법에 관한 것이다.The present invention relates to a method for producing a multiview panoramic video content and a method for reproducing the content according to the present invention. More particularly, the method further generates a tracking metadata of a specific object by receiving the panoramic video content. A method of producing a multiview panoramic video content, wherein a multiview panoramic video content is produced by compressing the panoramic video content, the tracking metadata, and the identification icon by assigning an identification icon to distinguish a specific object. It is about.
또한, 본 발명은 다시점 파노라믹 비디오 콘텐츠내의 특정객체를 선택되면 상기 특정객체의 추적정보를 해석하여 최초 객체위치에 따라 디스플레이 영역을 조정하고, 상기 특정객체가 타분할영역으로 이동하면 갱신된 상기 특정객체의 추적정보를 해석하여 디스플레이 영역을 조정하고, 상기 특정객체가 타분할영역의 중앙에 위치하면 객체 추적정보를 참조하여 상기 분할영역에 맞추도록 디스플레이 영역을 조정하여 상기 콘텐츠를 재생하는, 다시점 파노라믹 비디오 콘텐츠의 재생방법에 관한 것이다.In addition, the present invention analyzes the tracking information of the specific object when the specific object in the multi-view panoramic video content is selected, adjusts the display area according to the initial object position, and updates when the specific object moves to another division region. Interpreting the tracking information of the specific object to adjust the display area, and when the specific object is located at the center of the other division area, reproducing the content by adjusting the display area to match the partition area with reference to object tracking information; A multi-view panoramic video content playback method.
영상처리 및 편집기술의 발달은 사용자의 고급정보에 대한 욕구증대와 함께 파노라믹(panoramic) 및 다시점(multi-view) 영상기술의 발전을 가져왔다.The development of image processing and editing technology has led to the development of panoramic and multi-view imaging technology along with the increasing demand for advanced information of users.
다시점 파노라믹 영상기술은, 기존의 2차원 영상들이 제공하는 시점의 한계를 벋어나 사용자들이 보다 다양한 시점의 영상을 즐길 수 있도록 제공되는 기술이다.Multi-view panoramic imaging technology overcomes the limitation of viewpoints provided by existing two-dimensional images, but is provided to allow users to enjoy images of various viewpoints.
상기 다시점 파노라믹 영상은 다수개의 카메라를 이용하여 서로 다른 시점에서 촬영한 다수개의 영상을 하나의 영상으로 합성하여 생성되거나, 반사경 등의 특수광학장치를 이용해 일반 카메라를 통해 획득한 영상보다 훨씬 넓은 시야의 영상으로 생성된다.The multiview panoramic image is generated by synthesizing a plurality of images taken from different viewpoints using a plurality of cameras into a single image, or much more than an image obtained through a general camera using a special optical device such as a reflector. It is generated as a wide field of view image
한편, 일반적인 디스플레이 장치는 상기와 같은 다시점 파노라믹 영상전체를 한번에 표시하는데 한계가 있다. 즉, 상기 디스플레이 장치는 다시점 파노라믹 영상의 일부분만 표시한다. 그리고, 상기 디스플레이 장치는 사용자 조작에 의해 영상의 다른 부분을 표시한다. On the other hand, the general display device has a limitation in displaying the entire multi-view panoramic image as described above at one time. That is, the display device displays only a part of the multiview panoramic image. The display device displays another portion of the image by a user's operation.
상기와 같이 다시점 파노라믹 영상을 재생할 때, 사용자는 관심이 있는 객체가 현재 표시되는 화면에서 벗어나면 매번 파노라믹 영상 내에서 자신이 원하는 객체를 수동으로 선택해야 하므로 불편하다.As described above, when the multi-view panoramic image is played back, the user has to manually select the desired object in the panoramic image every time the object of interest deviates from the currently displayed screen.
상기와 같이 다시점 파노라믹 영상을 재생할 때의 단점을 해소하기 위한 기술로서, 파노라믹 비디오 콘텐츠의 객체를 추적(tracking)하기 위해 비디오 추적 방식이 제안되었다.As a technique for resolving the disadvantages of reproducing a multi-view panoramic image as described above, a video tracking method has been proposed to track an object of the panoramic video content.
상기와 같은 종래의 방식은 특정객체를 인식하기 위한 객체구분화 기술(segmentation)과 특정객체를 추적하기 위한 패턴인식 기술(pattern recognition) 등이 적용된다.In the conventional method as described above, object segmentation technology for recognizing a specific object and pattern recognition technology for tracking a specific object are applied.
종래의 방식은 상기와 같은 복잡한 영상처리과정을 거쳐야 하고, 현재 표시되는 화면내에서 객체가 사라지면 객체추적과정을 재설정해야하는 한계가 있다.The conventional method has to go through the complicated image processing as described above, and there is a limit to reset the object tracking process when the object disappears in the currently displayed screen.
또한, 종래의 방식은 객체의 추적 데이터를 비디오 영상 전체에 대하여 기록함으로써, 방대한 양의 데이터가 요구되어 효율성이 떨어진다.In addition, the conventional method records tracking data of an object for the entire video image, so that a large amount of data is required, thereby decreasing efficiency.
본 발명은 상기 문제점을 해결하기 위하여 제안된 것으로, 파노라믹 비디오 콘텐츠를 입력받아 특정객체의 추적정보를 추적 메타데이터로 생성하고 상기 특정객체를 구별하는 식별아이콘을 부여하여 상기 파노라믹 비디오 콘텐츠와 상기 추적 메타데이터와 상기 식별아이콘을 압축하여 다시점 파노라믹 비디오 콘텐츠를 제작하는, 다시점 파노라믹 비디오 콘텐츠의 제작방법을 제공하는데 그 목적이 있다.The present invention has been proposed to solve the above-mentioned problems, and receives the panoramic video content, generates tracking information of a specific object as tracking metadata, and assigns an identification icon to distinguish the specific object. And a method for producing a multiview panoramic video content by compressing the tracking metadata and the identification icon to produce a multiview panoramic video content.
또한, 본 발명은 다시점 파노라믹 비디오 콘텐츠내의 특정객체를 선택되면 상기 특정객체의 추적정보를 해석하여 최초 객체위치에 따라 디스플레이 영역을 조정하고, 상기 특정객체가 타분할영역으로 이동하면 갱신된 상기 특정객체의 추적정보를 해석하여 디스플레이 영역을 조정하고, 상기 특정객체가 타분할영역의 중앙에 위치하면 객체 추적정보를 참조하여 상기 분할영역에 맞추도록 디스플레이 영역을 조정하여 상기 콘텐츠를 재생하는, 다시점 파노라믹 비디오 콘텐츠의 재생방법을 제공하는데 그 목적이 있다.In addition, the present invention analyzes the tracking information of the specific object when the specific object in the multi-view panoramic video content is selected, adjusts the display area according to the initial object position, and updates when the specific object moves to another division region. Interpreting the tracking information of the specific object to adjust the display area, and when the specific object is located at the center of the other division area, reproducing the content by adjusting the display area to match the partition area with reference to object tracking information; An object of the present invention is to provide a method of playing multi-view panoramic video contents.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.Other objects and advantages of the present invention can be understood by the following description, and will be more clearly understood by the embodiments of the present invention. It will also be appreciated that the objects and advantages of the present invention may be realized by the means and combinations thereof indicated in the claims.
상기 목적을 달성하기 위한 본 발명은, 파노라믹 비디오 콘텐츠를 이용해 다시점 파노라믹 비디오 콘텐츠의 제작방법에 있어서, 상기 파노라믹 비디오 콘텐츠가 입력되면, 상기 파노라믹 비디오 콘텐츠를 임의의 영역으로 분할하는 제1 단계와; 상기 영역분할된 파노라믹 비디오 콘텐츠내 특정객체를 추적하여 시간에 따른 추적정보가 작성되면, 상기 특정객체와 상기 추적정보를 대응시켜 상기 특정객체의 추적정보를 해석할 수 있도록 설정하는 제2 단계; 및 상기 파노라믹 비디오 콘텐츠와 상기 추적정보를 압축하여 다시점 파노라믹 비디오 콘텐츠를 제작하는 제3 단계를 포함한다.According to the present invention for achieving the above object, in the method for producing multi-view panoramic video content using panoramic video content, when the panoramic video content is input, the panoramic video content is randomly selected. Dividing into a first step; A second step of tracing the specific object in the region-divided panoramic video content to generate the tracking information corresponding to the specific object and the tracking information so as to interpret the tracking information of the specific object; ; And a third step of compressing the panoramic video content and the tracking information to produce a multi-view panoramic video content.
또한, 본 발명은 파노라믹 비디오 콘텐츠를 이용하여 제작된 다시점 파노라믹 비디오 콘텐츠의 재생방법에 있어서, 상기 파노라믹 비디오 콘텐츠와 객체 추적정보와 객체식별아이콘을 압축하여 제작된 다시점 파노라믹 비디오 콘텐츠에서 객체식별아이콘이 선택되면, 상기 객체식별아이콘에 대응된 객체 추적정보를 해석하는 제1 단계와; 상기 해석한 객체 추적정보에 따라 최초 객체위치에 따라 디스플레이 영역이 조정되면, 상기 콘텐츠를 재생하는 제2 단계와; 상기 콘텐츠를 재생하면서 상기 특정객체가 제1 분할영역에서 제2 분할영역으로 이동하면, 갱신된 객체 추 적정보를 해석하고 디스플레이 영역을 조정하여 상기 콘텐츠를 재생하는 제3 단계; 및 상기 특정객체가 제2 분할영역으로 이동한 후 상기 제2 분할영역을 이탈하지 않으면, 상기 객체 추적정보를 참조하여 상기 제2 분할영역에 맞추도록 디스플레이 영역을 조정하여 상기 콘텐츠를 재생하는 제4 단계를 포함한다.In addition, the present invention is a multi-view panoramic video content reproduction method produced using the panoramic video content, multi-view wave produced by compressing the panoramic video content, object tracking information and the object identification icon A first step of interpreting object tracking information corresponding to the object identification icon when the object identification icon is selected from the video content; Reproducing the content if the display area is adjusted according to the initial object position according to the analyzed object tracking information; A third step of reproducing the content by interpreting updated object tracking information and adjusting a display area when the specific object moves from the first partition to the second partition while playing the content; And reproducing the content by adjusting a display area to fit the second partition by referring to the object tracking information if the specific object does not leave the second partition after moving to the second partition. Steps.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.The above objects, features and advantages will become more apparent from the following detailed description taken in conjunction with the accompanying drawings, whereby those skilled in the art may easily implement the technical idea of the present invention. There will be. In addition, in describing the present invention, when it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
본 발명을 설명하기에 앞서, 본 발명이 적용되는 다시점 파노라믹 비디오 콘텐츠의 제작장치를 설명의 편의상 "콘텐츠 제작장치"라 하고, 본 발명이 적용되는 다시점 파노라믹 비디오 콘텐츠의 재생장치를 설명의 편의상 "콘텐츠 재생장치"라 한다. Prior to describing the present invention, a multi-view panoramic video content producing apparatus to which the present invention is applied is referred to as a "content producing apparatus" for convenience of description, and a multi-view panoramic video content reproducing apparatus to which the present invention is applied. Is referred to as a "content playback device" for convenience of description.
도 1은 본 발명에 따른 다시점 파노라믹 비디오 콘텐츠의 제작방법에 대한 일실시예 흐름도이고, 도 2는 본 발명이 적용되는 객체와 추적 메타데이터의 연관관계에 대한 일실시예 설명도이다. FIG. 1 is a flowchart illustrating a method of producing multi-view panoramic video content according to the present invention, and FIG. 2 is a diagram illustrating an embodiment of an association between tracking metadata and an object to which the present invention is applied.
도 1에 도시된 바와 같이, 상기 콘텐츠 제작장치는 파노라믹 비디오 콘텐츠를 입력받으면(S10), 상기 파노라믹 비디오 콘텐츠를 임의의 영역으로 분할한다(S11). As illustrated in FIG. 1, when the content production apparatus receives the panoramic video content (S10), the content production apparatus divides the panoramic video content into an arbitrary region (S11).
이후, 상기 콘텐츠 제작장치는 파노라믹 비디오 콘텐츠내 객체들의 추적(tracking)을 수행한다(S12). 이때, 상기 객체들의 추적과정은 공지의 기술로서 당업자라면 쉽게 이해할 수 있으므로 자세한 설명을 생략한다.Thereafter, the apparatus for producing content performs tracking of objects in the panoramic video content (S12). At this time, the tracking process of the objects are well known and can be easily understood by those skilled in the art, and thus detailed descriptions thereof will be omitted.
특히, 상기 콘텐츠 제작장치는 상기 객체들의 추적결과 정보(이하, "객체 추적정보"라 함)를 시간에 따른 추적 메타데이터(metadata)로 작성한다. 즉, 상기 콘텐츠 제작장치는 객체가 분할된 제1 영역에서 제2 영역으로 이동하는 경우와 상기 객체가 제2 영역으로 이동한 후 최초로 상기 제2 영역의 중심부분으로 이동하는 경우의 객체 추적정보를 추적 메타데이터로 기록한다.In particular, the content producing apparatus writes the tracking result information of the objects (hereinafter referred to as "object tracking information") as tracking metadata over time. That is, the content producing apparatus may display object tracking information when the object is moved from the divided first area to the second area and when the object is moved to the center of the second area after the object is moved to the second area for the first time. Record as tracking metadata.
이때, 상기 객체 추적정보는 파노라믹 비디오 콘텐츠의 영역분할 개수, 특정객체를 인지할 수 있는 인식값, 시간값, 분할된 영역의 번호, 분할된 영역에서의 위치값 등을 포함한다.In this case, the object tracking information includes the number of area divisions of the panoramic video content, a recognition value for recognizing a specific object, a time value, a number of the divided area, a position value in the divided area, and the like.
이후, 상기 콘텐츠 제작장치는 파노라믹 비디오 콘텐츠의 객체와 추적 메타데이터의 연관관계를 설정한다(S14). Thereafter, the content producing apparatus establishes an association relationship between the object of the panoramic video content and the tracking metadata (S14).
바람직하게, 상기 콘텐츠 제작장치는 추적하려는 객체에 이미지형태 또는 텍스트형태로 구현된 식별 아이콘(이하, "객체식별아이콘"이라 함)을 부여하여 사용자에게 제공한다. 이를 통해, 사용자는 파노라믹 비디오 콘텐츠내 객체들이 상기 콘텐츠 배경과 분리되지 않아 용이하게 객체를 선택할 수 없을 경우에도 추적하려 는 객체를 쉽게 선택할 수 있다.Preferably, the content producing apparatus provides an user with an identification icon (hereinafter, referred to as an “object identification icon”) implemented in an image or text form to an object to be tracked. Through this, the user can easily select an object to be tracked even when objects in the panoramic video content are not separated from the content background and thus cannot be easily selected.
또한, 상기 콘텐츠 제작장치는 콘텐츠 재생장치가 해당 객체의 추적 메타데이터(즉, 객체 추적정보)를 해석할 수 있게 하는 이벤트를 설정한다. 즉, 상기 콘텐츠 제작장치는 객체식별아이콘의 식별아이디와 해당 객체 추적정보를 대응시켜 콘텐츠 재생장치가 해당 객체 추적정보를 해석할 수 있도록 한다.In addition, the content production device sets an event that allows the content playback device to interpret the tracking metadata (ie, object tracking information) of the object. That is, the content production device corresponds to the identification ID of the object identification icon and the object tracking information so that the content player can interpret the object tracking information.
도 2를 참조하여 설명하면, 콘텐츠 재생장치는 사용자에 의해 "제1 객체의 객체식별아이콘"이 선택되면, 상기 객체식별아이콘의 식별아이디를 획득한다. 이후, 상기 콘텐츠 재생장치는 상기 식별아이디에 대응된 추적 메타데이터의 "제1 객체 추적정보"를 해석하는 과정을 활성화한다.Referring to FIG. 2, when the " object identification icon of the first object " is selected by the user, the content player obtains the identification ID of the object identification icon. Thereafter, the content reproducing apparatus activates a process of interpreting "first object tracking information" of the tracking metadata corresponding to the identification ID.
한편, 콘텐츠 제작장치는 파노라믹 비디오 콘텐츠와 추적 메타데이터와 객체식별아이콘을 하나의 파일 즉, 다시점 파노라믹 비디오 콘텐츠로 압축한다(S15). 이로써, 상기 콘텐츠 제작장치는 다시점 파노라믹 비디오 콘텐츠를 제작한다.Meanwhile, the content production apparatus compresses the panoramic video content, the tracking metadata, and the object identification icon into one file, that is, the multi-view panoramic video content (S15). In this way, the content producing apparatus produces a multi-view panoramic video content.
도 3은 본 발명이 적용되는 다시점 파노라믹 비디오 콘텐츠의 재생장치(즉, 콘텐츠 재생장치)에 대한 일실시예 구성도이다.3 is a block diagram of an embodiment of a playback apparatus (ie, a content playback apparatus) of multi-view panoramic video contents to which the present invention is applied.
도 3에 도시된 바와 같이, 콘텐츠 재생장치는, 디스플레이부(20), 제어부(21), 콘텐츠 해석부(22), 외부 인터페이스부(23)로 구성된다.As shown in FIG. 3, the content reproducing apparatus includes a
제어부(21)는 디스플레이부(20), 콘텐츠 해석부(22), 외부 인터페이스부(23)를 제어한다. The
또한, 제어부(21)는 디스플레이부(20)를 통해 다시점 파노라믹 비디오 콘텐 츠의 객체식별아이콘을 사용자에게 제공한다. 이를 통해, 사용자는 외부 인터페이스부(23)를 통해 다시점 파노라믹 비디오 콘텐츠의 객체중에서 관심이 있는 객체를 선택할 수 있다.In addition, the
또한, 제어부(21)는 외부 인터페이스부(23)를 통해 객체식별아이콘이 선택되면, 상기 객체식별아이콘의 선택신호를 콘텐츠 해석부(22)로 전송한다. 이때, 상기 콘텐츠 해석부(22)는 상기 객체식별아이콘의 식별아이디를 획득하고 상기 식별아이디에 대응된 추적 메타데이터내 객체 추적정보를 해석하여 이를 제어부(21)에 제공한다.In addition, when the object identification icon is selected through the
또한, 제어부(21)는 제공받은 객체 추적정보를 이용해 최초의 객체 위치를 기반으로 디스플레이부(20)의 화면을 조정한다. 이후, 상기 제어부(21)는 최초의 객체 위치로부터 변동이 생기면 객체 추적정보에 따라 콘텐츠와 동기를 이루면서 화면을 갱신한다.In addition, the
도 4는 본 발명에 따른 다시점 파노라믹 비디오 콘텐츠의 재생방법에 대한 일실시예 흐름도이다.4 is a flowchart illustrating a method of playing multi-view panoramic video content according to the present invention.
도 4에 도시된 바와 같이, 콘텐츠 재생장치는 사용자에 의한 객체식별아이콘이 선택되면(S30), 상기 객체식별아이콘의 식별아이디를 획득하고 상기 식별아이디에 대응된 객체 추적정보를 해석한다(S31). 이때, 상기 콘텐츠 재생장치는 객체 추적정보에 포함된 파노라믹 비디오 콘텐츠의 영역분할 개수, 특정객체를 인지할 수 있는 인식값, 시간값, 분할된 영역의 번호, 분할된 영역에서의 위치값을 확인한다.As shown in FIG. 4, when the object identification icon is selected by the user (S30), the content reproducing apparatus acquires an identification ID of the object identification icon and analyzes object tracking information corresponding to the identification ID (S31). . In this case, the content reproducing apparatus may determine the area division number of the panoramic video content included in the object tracking information, the recognition value for recognizing a specific object, the time value, the number of the divided area, and the position value in the divided area. Check it.
이후, 콘텐츠 재생장치는 최초 객체위치에 따라 디스플레이 영역을 조정하고(S32), 다시점 파노라믹 비디오 콘텐츠를 재생한다(S33). 이때, 상기 콘텐츠 재생장치는 콘텐츠내 객체가 이웃 분할영역으로 이동하였는지 확인한다(S34).Thereafter, the content playback apparatus adjusts the display area according to the initial object position (S32), and plays back multi-view panoramic video content (S33). At this time, the content playback apparatus checks whether the object in the content has moved to the neighboring partition (S34).
특히, 상기 콘텐츠 재생장치는 객체가 이웃 분할영역으로 이동하면, 메타데이터에 기록된 객체 추적정보를 갱신 및 해석하면서 디스플레이 영역을 조정한다(S35). 이를 통해, 상기 콘텐츠 재생장치는 특정객체가 영역을 이동하더라도 상기 특정객체의 디스플레이 영역을 사용자에게 지속적으로 제공한다.In particular, when the object moves to the neighboring partition, the content reproduction device adjusts the display area while updating and interpreting the object tracking information recorded in the metadata (S35). In this way, the content reproducing apparatus continuously provides the display area of the specific object to the user even if the specific object moves the area.
이후, 콘텐츠 재생장치는 영역변경후 동일영역내에서 이동하는 특정객체가 분할영역의 중앙에 위치하는지를 확인한다(S36). 이때, 상기 콘텐츠 재생장치는 상기 특정객체가 영역변경후 동일영역내에서 중앙으로 이동하면, 객체추적정보를 참조하고 디스플레이 영역을 조정한다(S37). Thereafter, the content reproducing apparatus checks whether the specific object moving in the same area after the area change is located at the center of the divided area (S36). In this case, when the specific object moves to the center within the same area after changing the area, the content reproducing apparatus refers to the object tracking information and adjusts the display area (S37).
특히, 상기 콘텐츠 재생장치는 특정객체가 영역변경후 동일영역내에서 이동하면, 디스플레이 영역을 객체를 중심으로 맞추는 것이 아니라 해당 분할영역에 맞추도록 조정한다.In particular, when a specific object moves within the same area after changing the area, the content reproducing apparatus adjusts the display area not to be centered on the object but to the corresponding partition area.
한편, 콘텐츠 재생장치는 다시점 파노라믹 비디오 콘텐츠의 종료시점까지 앞서 언급한 과정을 반복수행한다(S38).On the other hand, the content reproduction apparatus repeats the above-described process until the end of the multi-view panoramic video content (S38).
도 5는 본 발명이 적용되는 다시점 파노라믹 비디오 콘텐츠내 객체가 이동하는 경우 디스플레이 영역의 조정과정에 대한 일실시예 설명도이다.5 is a diagram illustrating an embodiment of adjusting a display area when an object in a multiview panoramic video content to which the present invention is applied moves.
도 5에 도시된 바와 같이, 콘텐츠 제작장치는 파노라믹 비디오 콘텐츠를 4개 의 영역(즉, 제1 분할영역, 제2 분할영역, 제3 분할영역, 제4 분할영역)으로 분할하여 다시점 파노라믹 비디오 콘텐츠로 제작한다. 이후, 콘텐츠 재생장치는 상기 제작된 콘텐츠의 추적 메타데이터를 통해 영역분할 정보를 확인한다. As shown in FIG. 5, the apparatus for producing content divides the panoramic video content into four regions (ie, a first segment, a second segment, a third segment, and a fourth segment). Produce with panoramic video content. Thereafter, the content reproducing apparatus checks the region division information through the tracking metadata of the produced content.
이후, 도 5에서 상기 콘텐츠 재생장치는 다시점 파노라믹 비디오 콘텐츠에서 선택된 특정객체가 이동함에 따라 디스플레이 영역을 도 5에서 (a) 단계, (b) 단계, (c) 단계와 같이 조정한다. Then, in FIG. 5, the content reproducing apparatus adjusts the display area as shown in steps (a), (b) and (c) of FIG. 5 as the specific object selected in the multi-view panoramic video content moves.
먼저, 상기 콘텐츠 재생장치는 특정객체가 제2 분할영역에서 제3 분할영역으로 이동하는 경우, 특정객체가 분할영역의 경계에 위치하는 경우에 디스플레이 영역을 (a) 단계와 같이 조정한다.First, when the specific object moves from the second partition to the third partition, the content playback apparatus adjusts the display area as shown in step (a) when the specific object is located at the boundary of the partition.
이후, 상기 콘텐츠 재생장치는 특정객체가 제2 분할영역에서 제3 분할영역으로 이동한 후 제3 분할영역의 중앙에 상기 특정객체가 위치하는 경우[즉, (b) 단계], 디스플레이 영역을 상기 특정객체를 중심으로 맞추는 것이 아니라 (c) 단계와 같이 제3 분할영역에 맞추어서 조정한다.Thereafter, if the specific object is located at the center of the third partition after the specific object moves from the second partition to the third partition (that is, in step (b)), the content reproduction apparatus displays the display area. Rather than centering on a specific object, it adjusts to the third partition as in step (c).
한편, 상기 콘텐츠 재생장치는 특정객체가 제3 분할영역에서 제4 분할영역으로 이동하면, 전술한 과정과 같이 특정객체의 이동에 따라 적절하게 디스플레이 영역을 조정한다. 이로 인해, 사용자는 관심이 있는 특정객체를 놓치지 않고 지속적으로 시청할 수 있게 된다.Meanwhile, when the specific object moves from the third partition area to the fourth partition area, the content reproduction apparatus adjusts the display area according to the movement of the specific object as described above. As a result, the user can watch continuously without missing a specific object of interest.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디 스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.As described above, the method of the present invention may be implemented as a program and stored in a recording medium (CD-ROM, RAM, ROM, floppy disk, hard disk, magneto-optical disk, etc.) in a computer-readable form. Since this process can be easily implemented by those skilled in the art will not be described in more detail.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.The present invention described above is capable of various substitutions, modifications, and changes without departing from the technical spirit of the present invention for those skilled in the art to which the present invention pertains. It is not limited by the drawings.
상기와 같은 본 발명은, 본 발명에 의하면 간단한 방법으로 다시점 파노라믹 비디오 콘텐츠에서 사용자가 선택한 특정 객체를 놓치지 않고 지속적으로 시청할 수 있는 효과가 있다.The present invention as described above has the effect of continuously watching a specific object selected by the user in a multi-view panoramic video content in a simple manner.
Claims (7)
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020050119739 | 2005-12-08 | ||
| KR20050119739 | 2005-12-08 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20070061145A KR20070061145A (en) | 2007-06-13 |
| KR100758304B1 true KR100758304B1 (en) | 2007-09-12 |
Family
ID=38357080
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020060052556A KR100758304B1 (en) | 2005-12-08 | 2006-06-12 | Method for making a multi-view panoramic video content and method for playing thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100758304B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10535147B2 (en) | 2016-11-18 | 2020-01-14 | Samsung Electronics Co., Ltd. | Electronic apparatus and method for processing image thereof |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110047768A (en) | 2009-10-30 | 2011-05-09 | 삼성전자주식회사 | Apparatus and method for displaying multimedia contents |
| KR102157295B1 (en) * | 2013-12-23 | 2020-09-17 | 삼성전자주식회사 | Method for processing image data and an electronic device thereof |
| KR101844032B1 (en) | 2014-12-26 | 2018-05-14 | 주식회사 케이티 | Method for sending video in region of interest from panoramic-video, server and device |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050024104A (en) * | 2003-09-04 | 2005-03-10 | 한국전자통신연구원 | System And Method For Serving Multi-visual Point Video Based On The Object |
| KR20060058607A (en) * | 2004-11-25 | 2006-05-30 | 한국전자통신연구원 | Method for authoring majority view contents or panorama contents, system and apparatus and method for interactive multi-view contents using its |
-
2006
- 2006-06-12 KR KR1020060052556A patent/KR100758304B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050024104A (en) * | 2003-09-04 | 2005-03-10 | 한국전자통신연구원 | System And Method For Serving Multi-visual Point Video Based On The Object |
| KR20060058607A (en) * | 2004-11-25 | 2006-05-30 | 한국전자통신연구원 | Method for authoring majority view contents or panorama contents, system and apparatus and method for interactive multi-view contents using its |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10535147B2 (en) | 2016-11-18 | 2020-01-14 | Samsung Electronics Co., Ltd. | Electronic apparatus and method for processing image thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20070061145A (en) | 2007-06-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106331732B (en) | Generate, show the method and device of panorama content | |
| CN103702039B (en) | image editing apparatus and image editing method | |
| US8935169B2 (en) | Electronic apparatus and display process | |
| KR20020050264A (en) | Reproducing apparatus providing a colored slider bar | |
| JP2004356774A (en) | Multimedia reproducing apparatus and multimedia reproducing method | |
| KR20160044981A (en) | Video processing apparatus and method of operations thereof | |
| US20040126085A1 (en) | System for selecting video tracks during playback of a media production | |
| JP2007134010A (en) | Information processor, display method and its program | |
| JP2012094144A (en) | Centralized database for 3-d and other information in videos | |
| US20080320046A1 (en) | Video data management apparatus | |
| JP2010237516A (en) | Program and device for performing reproduction | |
| KR101440168B1 (en) | Method for creating a new summary of an audiovisual document that already includes a summary and reports and a receiver that can implement said method | |
| JP6628343B2 (en) | Apparatus and related methods | |
| US9240213B2 (en) | Method and assembly for improved audio signal presentation of sounds during a video recording | |
| KR100758304B1 (en) | Method for making a multi-view panoramic video content and method for playing thereof | |
| JP2005025715A (en) | Device and method for producing and reproducing short film | |
| KR101843025B1 (en) | System and Method for Video Editing Based on Camera Movement | |
| KR102073230B1 (en) | Apparaturs for playing vr video to improve quality of specific area | |
| CN105763923A (en) | Video and video template editing methods and device thereof | |
| EP3188130A1 (en) | Information processing device, information processing system, information processing method, and program | |
| JP2012015958A (en) | Content reproduction system | |
| EP3949369A1 (en) | System and method for performance-based instant assembling of video clips | |
| JP5902928B2 (en) | Playback device, control method thereof, and program | |
| JP7524907B2 (en) | Information processing device, proposed device, information processing method, and proposed method | |
| Stoll et al. | Modeling of an Automatic Vision Mixer With Human Characteristics for Multi-Camera Theater Recordings |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20120831 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20130730 Year of fee payment: 19 |