KR100448882B1 - Stereoscopic multimedia contents authoring apparatus and method - Google Patents

Stereoscopic multimedia contents authoring apparatus and method Download PDF

Info

Publication number
KR100448882B1
KR100448882B1 KR20020070750A KR20020070750A KR100448882B1 KR 100448882 B1 KR100448882 B1 KR 100448882B1 KR 20020070750 A KR20020070750 A KR 20020070750A KR 20020070750 A KR20020070750 A KR 20020070750A KR 100448882 B1 KR100448882 B1 KR 100448882B1
Authority
KR
South Korea
Prior art keywords
image
stereoscopic
media
means
step
Prior art date
Application number
KR20020070750A
Other languages
Korean (ko)
Other versions
KR20040042449A (en
Inventor
기명석
이인재
정세윤
김규헌
김진웅
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR20020070750A priority Critical patent/KR100448882B1/en
Publication of KR20040042449A publication Critical patent/KR20040042449A/en
Application granted granted Critical
Publication of KR100448882B1 publication Critical patent/KR100448882B1/en

Links

Images

Abstract

PURPOSE: A system and a method for producing binocular multimedia contents are provided to combine a binocular technique with a multi-media contents producing system to produce a three-dimensional binocular multimedia contents. CONSTITUTION: A system for producing binocular multimedia contents includes a media input unit(11) for receiving media used for producing the multimedia contents, a media pre-processor(12) for pre-processing the received media, and a media editing unit(13) for constructing or editing a scene using the received media. The system further includes a media encoding unit(14) for encoding media that have not been encoded, and a binocular contents converter(15) for converting all of components of the scene into binocular contents form.

Description

양안식 멀티미디어 컨텐츠 저작 장치 및 그 방법{Stereoscopic multimedia contents authoring apparatus and method} Stereoscopic multimedia content authoring apparatus and method for multimedia contents authoring apparatus and method Stereoscopic {}

본 발명은 멀티미디어 저작 도구 시스템에 영상의 깊이값 측정, 객체의 합성을 위한 깊이값 변화 등의 양안식 기반 기술을 결합하여, 사용자가 자유롭게 양안식 영상, 오디오, 그래픽 객체 및 기타 다양한 멀티미디어 객체들을 조합하여 실감나는 입체 컨텐츠를 제작 또는 편집할 수 있도록 하는 양안식 멀티미디어 컨텐츠 저작 장치 및 그 방법과, 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다. The present invention combines the stereoscopic-based technologies such as the depth value changes for the synthesis of the depth measurements, the object of the image in a multimedia authoring system, the user is free to stereoscopic video, audio, graphic objects, and other combinations of various multimedia objects the realistic relates to a computer-readable recording medium recording a program for an amount to make or edit a solid content to realize the stereoscopic multimedia content authoring apparatus and method and the method.

본 저작도구에서 구현되는 양안식 멀티미디어 컨텐츠는 크게 컨텐츠내의 시나리오 및 멀티미디어 데이터를 설명하는 기술언어와 오디오/비디오 데이터 및 정지영상 등의 미디어 데이터 스트림으로 구성된다. Stereoscopic multimedia content to be implemented in the authoring tool is composed of a media data stream, such description language and audio / video data and still images to the scenario and description of multimedia data in the content. 이러한 데이터 구성 방법에 따라 멀티미디어 컨텐츠를 구성하는 기존의 2차원(2D) 기반 AV 저작도구로는 "한국전자통신연구원(ETRI)"의 Interactive Richmedia, "iVast"의 "IVAST STUDIO Author", "Envivio"의 "Envivio Broadcast Studio" 등이 있다. Based on these data, how to configure the AV authoring tool traditional two-dimensional (2D) based configuration for multimedia content of "Korea Electronics and Telecommunications Research Institute (ETRI)" of the Interactive Richmedia, "iVast" "IVAST STUDIO Author", "Envivio" there is such a "Envivio Broadcast Studio".

앞서 서술된 저작도구들은 모두 엠펙4(MPEG-4) 시스템 표준을 모델로 만들어진 저작도구들로, 이들의 구현 범위는 3차원(3D)이 아닌 2차원적인 데이터의 표현에만 중점을 두고 있다. Authoring tools previously described are all in the authoring tool made of a model MPEG 4 (MPEG-4) system standard, the implementation of these ranges is focused only on two-dimensional representation of the data than the three-dimensional (3D). 따라서, 상기 2D 기반 AV 저작 도구들은 이차원 평면상의 데이터만을 표현 대상으로 하기 때문에 현실감이 떨어지며, 깊이에 대한 개념이 없으므로 구성 객체들에 대한 입체감을 느낄 수 없다. Thus, the 2D-based AV authoring tools are impaired, because in reality only represent the target data on the two-dimensional plane, there is no concept of the depth can not feel the three-dimensional configuration of the object. 또한, 장면내의 객체를 합성할 때도 단순한 전후 관계밖에 표현할 수 없다는 단점이 존재한다. In addition, the disadvantage that it can only represent a simple context when the synthesis of the objects in the scene are present. 이러한 이유로 기존의 AV 저작도구의 데이터로는 다양하고 실감있는 미디어를 원하는 사용자들을 만족시키기에는 부족하다. For this reason, it is to fit a lack of existing AV authoring tool data satisfy users who want a variety of media and immersive. 그 중 "Envivio"의 Broadcast Studio는 일부 3D 기능을 지원하지만 깊이감을 지닌 양안식 데이터의 저작에는 적당치 않다. Broadcast Studio of those of the "Envivio" supports some 3D features, but is not suitable, the value of the works amounts rest with depth data.

인간은 동일 물체를 좌우의 눈 사이의 간격에 차이를 두고 다른 방향에서 동시에 관찰하기 때문에 물체의 입체감을 느끼게 된다. Humans to feel a stereoscopic effect of an object due to the difference with the same object in the distance between the right and left eyes are observed at the same time in different directions. 양안식 기술이란, 인간의 두 눈으로 관찰하는 효과를 얻기 위해 두 대의 카메라를 이용하여 동시에 획득된 두 장의 2D 영상에 대해 두 영상의 변위(disparity)를 이용하여 3차원 깊이 정보를 얻어내는 것을 말한다. Stereoscopic technology refers to that obtained for a three-dimensional depth information using the displacement (disparity) of two images for using the two cameras the two sheets of 2D images obtained at the same time to obtain the effect observed by the human eyes . 그동안 양안식 데이터를 재생하기 위해서는 양안식 영상을 볼 수 있는 특수 안경과, 이를 화면에 디스플레이하기 위한 OpenGL 지원 그래픽 카드, 양안식 영상의 주파수를 지원하는 모니터가 있어야 하는 등의 제약때문에 양안식 컨텐츠의 활발한 이용이 이루어지지 못했다. For the meantime, to play stereoscopic data because of constraints such as have a monitor that supports the frequency of OpenGL-capable graphics cards, stereoscopic image for display on special glasses, and this screen you can view the stereoscopic images of the stereoscopic content It had been made active use.

그러나, 최근 디스플레이와 영상처리 기술의 발달로 전에는 제대로 표현할 수 없던 다양한 미디어의 표현이 가능해 졌으며, 이에 따라 사용자들 또한 더욱 현실감있고 정교한 컨텐츠를 요구하게 되었다. However, in recent years it made possible the display and the various expressions of the media could not properly represented before the development of image processing technology, thus the users can also become more realistic requirements for sophisticated content. 상기 기술 발달과 사용자 욕구 증대에 따라 양안식 기술을 이용한 컨텐츠들이 속속 등장하고 있다. The stereoscopic technology in accordance with the increase in technology development and user needs and the content they appeared one after another using. 기존의 양안식 영상은주로 가상현실이나 화성 탐사에 쓰이는 로봇 등의 특수한 환경에서 사용되었지만, 최근에 유럽과 미국 등에서 양안식을 지원할 수 있는 디스플레이들이 활발히 개발되고 있고, 양안식 영상을 이용하여 3D 방송을 전송하기 위한 표준화 작업 또한 진행중이다. Amount of the existing stereoscopic image has been mainly used in special environments such as virtual reality and robots used in the exploration of Mars, the last display that can support the amount of rest in Europe and the United States have been actively developed and, 3D TV using a stereoscopic image standardization work is also underway for sending. 이에 대한 일환으로 국내에서도 2002 월드컵 기간중에 축구 경기 내용을 양안식으로 촬영하여 시험방송을 수행하기도 하였다. In 2002 in the country as part of the test it was also carried out by shooting a soccer game broadcast content to stereoscopic during the World Cup period.

아울러, 양안식 영상을 이용한 다양한 수요에 맞추어, 멀티미디어 저작도구 시스템에 양안식 기반 기술을 결합한다면 평면적인 데이터의 표현에 깊이감을 더한 실감있는 컨텐츠의 저작이 가능하다. In addition, the amount according to the various demands with rest images, if you combine the rest amount based technologies for multimedia authoring tool, authoring system, it is possible to realize a content that adds depth to two-dimensional representation of the data.

따라서, 현재의 기술분야에서는 멀티미디어 저작도구 시스템에 영상의 깊이값 측정, 객체의 합성을 위한 깊이값 변화 등의 양안식 기반 기술을 결합하여, 양안식 멀티미디어 컨텐츠를 저작할 수 있는 방안이 절실히 요구된다. Therefore, in the current art to combine the stereoscopic-based technologies such as the depth value changes for depth measurements, the synthesis of the object in the image in a multimedia authoring system, a stereoscopic ways to author a multimedia content is highly required .

본 발명은, 상기한 바와 같은 요구에 부응하기 위하여 제안된 것으로, 멀티미디어 저작도구 시스템에 영상의 깊이값 측정, 객체의 합성을 위한 깊이값 변화 등의 양안식 기반 기술을 결합하여, 기존 2D 저작도구의 평면적인 2D 컨텐츠가 아닌 입체감을 갖는 양안식 멀티미디어 컨텐츠를 저작하기 위한 양안식 멀티미디어 컨텐츠 저작 장치 및 그 방법과, 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있다. The present invention combines the stereoscopic-based technologies such as that, the depth value is changed for depth measurements, the synthesis of the object in the image in a multimedia authoring system proposed in order to meet the demand as described above, the existing 2D authoring both for planar writing the three-dimensional stereoscopic multimedia contents having a non-2D content of rest its object to provide a multimedia content authoring apparatus and method, and a computer-readable recording medium recording a program for realizing the above method there is.

도 1 은 본 발명에 따른 양안식 멀티미디어 컨텐츠 저작 장치의 일실시예 전체 구성도. Figure 1 is one embodiment of the entire configuration of a stereoscopic multimedia content authoring system according to the present invention.

도 2 는 본 발명에 따른 상기 도 1의 미디어 전처리부의 일실시예 상세 구성도. 2 is a media pre-treatment portion one embodiment detailed block diagram of FIG. 1 according to the present invention.

도 3 은 본 발명에 따른 상기 도 1의 미디어 전처리부의 다른 실시예 상세 구성도. Figure 3 is another embodiment of detailed construction of media pre-treatment portion of FIG. 1 according to the present invention.

도 4 는 본 발명에 따른 상기 도 1의 미디어 전처리부의 또 다른 실시예 상세 구성도. Figure 4 is a media pre-treatment portion further embodiment detailed block diagram of FIG. 1 according to the present invention.

도 5 는 본 발명에 따른 상기 도 1의 미디어 편집부의 일실시예 상세 구성도. Figure 5 is a detailed block diagram one embodiment of a media editing unit of the Figure 1 in accordance with the present invention.

도 6 은 본 발명에 따른 양안식 멀티미디어 컨텐츠 저작 방법에 대한 일실시예 흐름도. Figure 6 is one embodiment of a flow chart for stereoscopic multimedia content authoring process according to the invention.

* 도면의 주요 부분에 대한 부호의 설명 * Description of the Related Art

11 : 미디어 입력부 12 : 미디어 전처리부 11: input unit 12 Media: Media preprocessor

13 : 미디어 편집부 14 : 미디어 부호화부 13: The media editing unit 14: media encoder

15 : 양안식 컨텐츠 변환부 15: stereoscopic content conversion section

상기 목적을 달성하기 위한 본 발명은, 양안식 멀티미디어 컨텐츠 저작 장치에 있어서, 저작용 미디어 파일을 입력받기 위한 미디어 입력수단; The present invention for achieving the above object, according to the stereoscopic multimedia content authoring device, media input means for receiving the authoring a media file; 상기 미디어 입력수단을 통해 입력된 영상의 변이를 이용하여 양안식 영상의 깊이값을 추출하기 위한 미디어 전처리수단; Media preprocessing means for extracting a depth value of a stereoscopic image by using a mutation of an image input through the media input means; 상기 미디어 전처리수단을 통해 깊이값이 추출된 양안식 영상과 그외 미디어 정보들로 장면을 구성하고, 합성된 양안식 영상들간에 깊이감을 조절하기 위한 미디어 편집수단; The media pre-treatment means for editing the media comprising: means for adjusting the depth to the depth value is extracted stereoscopic image and the other, and configure a scene in the media information, between the synthesized stereoscopic image through; 각 미디어 부호화 형식에 맞게 양안식 장면을 부호화하기 위한 미디어 부호화수단; A media encoding means for encoding a stereoscopic scene for each media coding format; 및 저작에 사용된 미디어와, 미디어의 공간/시간적 정보를 양안식 컨텐츠 형식으로 변환하기 위한 양안식 컨텐츠 변환수단을 포함하여 이루어진 것을 특징으로 한다. And the media used in the work, including a stereoscopic content conversion means for converting the spatial / temporal information of the media amounts to rest, it characterized in that the content type is made.

그리고, 본 발명은 양안식 멀티미디어 컨텐츠 저작 장치에 적용되는 양안식 멀티미디어 컨텐츠 저작 방법에 있어서, 저작하고자 하는 미디어 파일 중 영상 미디어의 변이를 이용하여 양안식 영상의 깊이값을 추출하는 제 1 단계; Incidentally, the present invention is a first step in the stereoscopic stereoscopic multimedia content authoring method applied to a multimedia content authoring apparatus, using a variation of the video media from the media file to extract the depth value of the stereoscopic image to be authored; 상기 깊이값이 추출된 양안식 영상과 그외 미디어 정보들로 장면을 구성하고, 합성된 양안식 영상들간에 깊이감을 조절하는 제 2 단계; A second step of constituting the scene with the amount that the depth value extracting stereoscopic video and other media information, control the depth between the synthesized stereoscopic image; 각 미디어 부호화 형식에 맞게 양안식 장면을 부호화하는 제 3 단계; A third step of encoding the amount of rest scene for each media coding format; 및 저작에 사용된 미디어와, 미디어의 공간/시간적 정보를 양안식 컨텐츠 형식으로 변환하는 제 4 단계를 포함하여 이루어진 것을 특징으로 한다. And the media used for writing, characterized in that made in a fourth step of converting the spatial / temporal information of the media amounts to rest content type.

한편, 본 발명은 프로세서를 구비한 양안식 멀티미디어 컨텐츠 저작 장치에, 저작하고자 하는 미디어 파일 중 영상 미디어의 변이를 이용하여 양안식 영상의 깊이값을 추출하는 제 1 기능; The present invention is a first function of using the variation of the imaging media of the media file to a stereoscopic multimedia content authoring device with a processor, writing to extract the depth value of a stereoscopic image; 상기 깊이값이 추출된 양안식 영상과 그외 미디어 정보들로 장면을 구성하고, 합성된 양안식 영상들간에 깊이감을 조절하는 제 2 기능; The second function is for configuring the scene with the amount that the depth value extracting stereoscopic video and other media information, control the depth between the synthesized stereoscopic image; 각 미디어 부호화 형식에 맞게 양안식 장면을 부호화하는 제 3 기능; The third function of both encoding a stereoscopic scene for each media coding format; 및 저작에 사용된 미디어와, 미디어의 공간/시간적 정보를 양안식 컨텐츠 형식으로 변환하는 제 4 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다. And the media used in writing, there is provided a computer readable recording medium recording a program for realizing the function of converting the fourth space / time information of the media amounts to rest content type.

본 발명은 기존 2D 저작도구의 평면적인 2D 컨텐츠가 아닌 입체감을 갖는 양안식 멀티미디어 컨텐츠를 저작하기 위한 것으로서, 단안식 영상과 양안식 영상의 합성, 양안식 영상과 양안식 영상의 합성 등 다양한 방식의 객체 합성을 지원하기 위한 합성 기술, 센서가 부착되지 않은 양안식 영상에 대해서도 깊이값을 추출할 수 있는 깊이값 획득 기술, 입체감을 갖는 영상 데이터의 합성을 위한 객체의 원근감 변환 기술, 상기 기술들을 종합하여 손쉽게 양안식 멀티미디어 컨텐츠를 저작 또는 구성할 수 있도록 한다. The present invention in a variety of ways such as for writing a flat 2D content three-dimensional stereoscopic multimedia contents having a non-existing 2D authoring tool, a short rest image and stereoscopic synthesis images, stereoscopic image and a stereoscopic synthesis images synthesis techniques, obtaining depth values ​​that can be extracted depth value even for both sensors are not attached stereoscopic image technology, the perspective transform technique of the object for the synthesis of the video data with a three-dimensional appearance, synthesis of the technique for supporting the object synthesized to allow for easy stereoscopic authoring multimedia content or configuration. 이렇게 함으로써, 사용자는 자유롭게 양안식 영상, 오디오, 그래픽 객체 및 기타 다양한 멀티미디어 객체들을 조합하여 실감나는 입체 컨텐츠를 제작 또는 편집할 수 있다. By doing so, the user is free to realize a combination of the stereoscopic video, audio, graphics, objects, and other multimedia objects, I can create or edit a stereoscopic content.

상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. The aforementioned objects, features and advantages will become apparent from the following description in conjunction with the accompanying drawings. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다. With reference to the accompanying drawings, it will be described the preferred embodiments of the present invention;

도 1 은 본 발명에 따른 양안식 멀티미디어 컨텐츠 저작 장치의 일실시예 전체 구성도이다. Figure 1 is one embodiment of the entire configuration of a stereoscopic multimedia content authoring system according to the present invention.

도 1에 도시된 바와 같이, 본 발명에 따른 양안식 멀티미디어 컨텐츠 저작 장치는, 저작에 이용되는 해당 미디어(AV 컨텐츠)들을 입력받는 미디어 입력부(11)와, 입력받은 미디어를 저작에 이용하기 위한 전처리 과정을 수행하는 미디어 전처리부(12)와, 입력받은 미디어를 이용하여 장면을 구성 또는 편집하는 미디어 편집부(13)와, 부호화되지 않은 미디어들을 각 미디오 부호화 형식에 맞도록 부호화하는 미디어 부호화부(14)와, 저작에 사용된 미디어와 미디어들의 공간/시간적 정보 등 장면의 모든 구성을 양안식 컨텐츠 형식으로 변환하기 위한 양안식 컨텐츠 변환부(15)를 포함한다. 1, the stereoscopic multimedia content authoring apparatus according to the present invention may be applicable for use in writing media (AV contents) pretreated for use with receiving media input unit 11, the input media, the author of and a media pre-treatment unit 12 for performing the process, that of the constituting or edit the scene using the received media, media editing unit 13, an uncoded media coded to match each MIDI O encoding format media encoder ( 14), and a stereoscopic content converter 15 for converting all the configuration of the media and the area of ​​the media / time information and the like used in the scene authoring amount to rest content type.

보다 구체적으로 살펴보면, 본 발명에 따른 양안식 멀티미디어 컨텐츠 저작 장치는, 저작용 미디어(비디오, 이미지, 오디오 등) 파일을 입력받기 위한 미디어 입력부(11)와, 미디어 입력부(11)를 통해 입력된 영상(단안식 영상(2D), 양안식 영상(센서를 부착하지 않은 카메라를 통하여 획득된 양안식 영상, 센서를 부착한 카메라를 통하여 획득된 양안식 영상)(3D))의 변이를 이용해 양안식 영상의 깊이값을 추출하기 위한 미디어 전처리부(12)와, 미디어 전처리부(12)를 통해 깊이값이 추출된 양안식 영상과 그외 미디어 정보들로 장면을 구성하고, 합성된 양안식 영상들간에 깊이감을 조절하기 위한 미디어 편집부(13)와, 각 미디어 부호화 형식에 맞게 양안식 장면을 부호화하기 위한 미디어 부호화부(14)와, 저작에 사용된 미디어와, 미디어의 공간/시간적 정보를 Specifically looking, the stereoscopic multimedia content authoring device according to the invention, authoring media (video, image, audio, etc.), an image input through the media input unit 11 and a media input unit 11 for inputting the file (where stereoscopic images (2D), stereoscopic images (acquired by the camera is not attached to the sensor stereoscopic image, the stereoscopic image obtained by a camera attached to the sensor) (3D)) stereoscopic image using a variation of the and a media pre-treatment unit 12 for extracting a depth value, constituting the scene with both the depth value through the media pre-processing unit 12 extracts stereoscopic video and other media information, and the depth between the synthesized stereoscopic image media editing unit for controlling the sense 13, a media encoder 14, the media, and a space / time information of the media used in the authoring for encoding stereoscopic scene for each media coding format 양안식 컨텐츠 형식으로 변환하기 위한 양안식 컨텐츠 변환부(15)를 포함한다. Stereoscopic amount for converting a contents format and a stereoscopic content converter 15.

미디어 전처리부(12)는 센서를 부착한 카메라를 통하여 획득된 양안식 영상데이터(카메라 정보 포함) 및 센서를 부착하지 않은 카메라를 통하여 획득된 양안식 영상 데이터의 깊이값을 획득한다. Media pre-processing unit 12 obtains the depth value of the stereoscopic image data obtained by the stereoscopic image data is not attached to the camera (including a camera information) and the sensor obtained through the camera is attached to the sensor. 이때, 센서를 부착하지 않은 카메라를 통하여 획득된 양안식 영상 데이터에 대해서는 카메라 정보를 획득한 후, 카메라 정보의 영상변이를 이용해 양안식 영상의 깊이값을 추출하며, 센서를 부착한 카메라를 통하여 획득된 양안식 영상 데이터에 대해서는 카메라 정보를 포함하고 있으므로 카메라 정보의 영상변이를 이용해 양안식 영상의 깊이값을 추출한다. At this time, after for the stereoscopic image data obtained through the camera is not attached to the sensor acquires the camera information, and extracts a depth value of the amount of using the image variation of the camera information stereoscopic image, obtained through a camera attached to the sensor the amount for the stereoscopic image data because it contains the camera information and extracts the depth value of the stereoscopic image using the image variation of the camera information.

여기서, 양안식 영상의 깊이값을 추출하는 과정은, 좌우 양안식 영상의 특징점을 검출하여, 추출된 특징점을 중심으로 특징점 주위 에지들의 대칭성을 구한 후, 영상 대칭성을 이용하여 좌 영상과 우 영상에서 대응점을 찾아, 획득된 좌우 영상의 두 대응점을 이용하여 깊이값을 구한다. Here, the stereoscopic process for extracting a depth value of the image, the left and right stereoscopic detects the feature points of the image, the extracted feature points after obtaining the symmetry of the feature point around the edge to the center, using the image symmetry left image and on the right images find the corresponding points, obtains the depth value by using the two corresponding points of the acquired left and right images.

한편, 단안식(2D) 영상 데이터가 입력되면, 미디어 전처리부(12)는 단안식 영상을 양안식 영상으로 변환하고, 사용자에 의해 임의로 지정된 영상변위를 이용하여 변환된 양안식 영상의 깊이값을 추출한다. On the other hand, a short rest (2D) When video data is input, a media pre-treatment portion 12 is the depth value of the short-converted rest image as a stereoscopic image, converted by the image displacement is specified arbitrarily by the user stereoscopic image extracts. 이때, 단안식 영상을 양안식 영상에 합성하기 위해, 단안식 영상이 입력되었을 때 장면내의 영상의 삽입 위치를 결정하고, 장면내에 삽입 위치가 결정되면 그 위치의 깊이값을 구해내 단안식 영상을 해당 장면 삽입 위치의 깊이값을 갖는 양안식 영상으로 변환한다. At this time, in order to synthesize a single stereoscopic image in the stereoscopic image, stage Rest determine the insertion position of the image in the scene when the image has been input, and when the insertion position is determined in the scene, the position determined by the depth values ​​of my single stereoscopic image the amount having a depth value for the scene inserted position converted into stereoscopic image.

미디어 편집부(13)를 통해, 그래픽 사용자 인터페이스(GUI) 또는 기타 입력장치를 통하여 입력된 객체들을 해당 객체의 성격에 따라 GUI에 각각 다르게 표현 가능하며, 객체의 표현 시간과 소멸 시간을 GUI의 편집창을 통해 입력 가능하며, 편집창을 통해 입력된 내용을 객체에 반영하여 객체를 시간적 또는 공간적으로 배치 및 표현 가능하며, 각 미디어 객체의 속성 정보를 입력 또는 수정하여 하나의 장면을 구성할 수 있다. Media through the editing unit 13, a graphical user interface (GUI) or other along the object input through an input device in the nature of the object, and can be individually expressed in the GUI, of the representation of time and disappearance time of the object GUI editing window to be input through, and reflect the information input through the edit window to an object to be placed, and expressing an object in the temporal or spatial and may constitute a scene to input or modify the attribute information of each media object. 이때, 입력된 편집/저작 정보는 VRML, XMT 또는 기타 기술언어로 표현하여 내부 자료구조로 저장하거나, 또는 내부 자료구조에 저장되어 있는 편집/저작 정보 및 데이터를 GUI에서 재편집이 가능하도록 GUI에 전달한다. At this time, the input to edit / writing information editing / authoring information, the data stored in the VRML, XMT or other to represent a description language stored in the internal data structure, or the internal data structures in the GUI to enable the re-edited from the GUI It passes. 양안식 멀티미디어 컨텐츠를 출력 장치에 디스플레이하고자 할 때 데이터 기술언어로 표현된 내부자료 구조는 양안식 미디어 데이터를 출력장치에 출력할 수 있는 정보를 제공하여야 하며, 이를 위해 내부 자료구조를 구성한다. Stereoscopic internal data structures representing the multimedia content to the data description language when you want to display on the output device shall provide the amount of information that can output stereoscopic media data to an output device, and configuring the internal data structure for this purpose.

미디어 편집부(13)는 실제 화면 출력을 위해 수치적인 정보인 변위값을 출력 가능한 형태로 변환하고, 양안식 영상의 깊이값을 변경하고자 할 때 장면내의 특정 위치에 양안식 영상의 삽입 위치를 정하고 삽입 위치에 해당하는 변위값으로 입력된 영상의 변위값을 변환하는 기능을 수행한다. Media editing unit 13 is inserted decide the insertion position of the stereoscopic image at a specific location within the scene to be converted to numerical information of the displacement value to the actual screen output to output a form, changes the depth value of a stereoscopic image It performs the function of converting the displacement of the image input to the displacement value corresponding to the position.

미디어 부호화부(14)는 입력된 미디어 데이터들이 부호화가 된 객체인지를 판별하여, 부호화되지 않는 미디어 데이터를 데이터의 성격에 맞는 부호화기를 호출하여 부호화한다. The media encoder 14 is encoded by calling the encoder for the nature of the media data that is not to determine whether the input is a media data objects are encoded, the encoded data.

양안식 컨텐츠 변환부(15)는 장면 기술을 위해 사용된 기술언어 데이터 파일과 미디어 데이터를 양안식 확장 규격에 따라 양안식 멀티미디어 컨텐츠 파일로 변환하거나, 양안식 멀티미디어 컨텐츠가 입력되었을 때, 이 데이터를 기술언어 데이터 파일과 미디어 파일로 변환하는 기능을 수행한다. Stereoscopic content conversion section 15 converts a descriptive language of data files and the media data used for scene description in stereoscopic multimedia content file according to the stereoscopic extension specifications, or the, this data when the amount has been rest multimedia content is input functions to convert data description language files and media files.

그럼, 도 2를 참조하여 입력된 영상 미디어가 양안식 영상일 때, 미디어 편집부(13)에 입력되기 전의 전처리 과정을 살펴보기로 한다. Then, the view in Fig reference to review the pre-processing prior to input to the media editing unit 13 when the input video is stereoscopic video media.

도 2에서, "21"은 양안식 영상 판별부, "22"는 카메라 정보 획득부, "23"은 영상변이 획득부, 그리고 "24"는 영상 깊이값 획득부를 각각 나타낸다. In Figure 2, "21" is a stereoscopic image determining unit, "22" is part acquired camera information, "23" represents each image variation acquiring unit, and "24" parts of the image pickup depth value.

입력되는 미디어가 양안식 영상(센서가 장착된 스테레오 카메라를 통해 획득된 양안식 영상(카메라 정보를 포함하는 양안식 영상), 센서가 장착되지 않은 카메라를 통해 획득된 양안식 영상(카메라 정보를 포함하지 않는 양안식 영상))일 때, 양안식 저작도구는 양안식 영상의 깊이값을 갖는 깊이 지도(depthmap)가 필요하다. The input media is stereoscopic image (the sensor is obtained through the stereo camera mounted stereoscopic image (stereoscopic image including the camera information), obtained by means of the camera that the sensor is not mounted stereoscopic image (a camera information when the stereoscopic image) is not), stereoscopic authoring tool is stereoscopic depth map (depthmap having a depth value of the image) is required.

따라서, 미디어 전처리부(12)는 도 2에 도시된 바와 같이 단안식 또는 양안식 영상을 판별하기 위한 양안식 영상 판별부(21)와, 카메라 정보를 포함하지 않는 양안식 영상으로부터 카메라의 거리 및 초점 등의 카메라 정보를 추출하는 카메라 정보 획득부(22)와, 두 장의 양안식 영상에서 정합점을 찾는 영상변이 획득부(23)와, 획득된 영상변이를 이용하여 영상내의 특정 위치에 대한 깊이값을 찾기 위한 영상 깊이값 획득부(24)를 포함한다. Thus, the media pre-processing unit 12 is also the distance of the camera from the end rest or both the rest amount to determine the image stereoscopic image determination unit 21, a stereoscopic image that does not include the camera information, as shown in Figure 2, and and the camera information acquisition section 22 to extract the camera information of the focus or the like, and the two sheets of stereoscopic image registration point for finding the image variation acquiring part 23 in, using the obtained image variation depth for a particular position in the image and a depth value image pickup section 24 to find a value.

결국, 카메라 정보 획득부(22)는 카메라 정보를 포함하지 않는 양안식 영상으로부터 카메라 정보를 획득하는데 사용된다. After all, the camera information acquisition unit 22 is used to obtain the camera information from a stereoscopic video camera which does not include the information.

상기 영상변이 획득부 및 영상 깊이값 획득부(24)는 도 3과 같이 나타낼 수 있다. The image acquisition unit and an image variation depth value obtaining unit 24 may be expressed as shown in Fig.

따라서, 미디어 전처리부(12)는 도 3에 도시된 바와 같이 미디어 입력수단을 통해 입력된 영상 미디어의 종류를 판별하기 위한 양안식 영상 판별부(21)와, 양안식 영상 판별부(21)에 의해 판별된 양안식 영상으로부터 카메라의 거리 및 초점을 포함하는 카메라 정보를 추출하기 위한 카메라 정보 획득부(22)와, 양안식 영상의에지나 코너점을 포함하는 영상특징점을 검출하기 위한 특징점 검출부(31)와, 영상 대응점 검색을 위해서, 특징점을 중심으로 에지들의 대칭도를 구하기 위한 대칭도 측정부(32)와, 대칭도 측정부(32)를 통해 대칭도가 구해진 두 영상의 대응점을 찾기 위한 매칭점 검출부(33)와, 매칭점 검출부(33)에서 찾은 대응점들의 변위값과 카메라 켈리브레이션을 통해 획득된 카메라 변수값들을 이용하여 영상내의 깊이값을 측정하기 위한 깊이값 측 Thus, a media pre-processing unit 12 is a media input means the stereoscopic image determination part 21 for determining the type of the video media type over and a stereoscopic image determination unit 21, as shown in Figure 3 the amount of the camera information acquisition unit (22) for extracting the camera information including the distance and the focal point of the camera from the stereoscopic images, stereoscopic feature point detection section for detecting the image feature points including the corner points over the image determined by ( 31), and a video for the corresponding point search, and symmetry for obtaining of edges symmetry about the feature point measurement section 32, a symmetric measurement section 32 the symmetry is to find the corresponding points in two images obtained through matching the point detecting unit 33, a matching point detection unit 33, using the camera parameter values ​​and camera calibration values ​​obtained through the displacement of the corresponding points found in the depth value for determining the depth value in the image side 정부(34)를 포함한다. And a unit 34.

만약, 카메라 정보가 없는 양안식 영상이 미디어 입력부(11)를 통해 입력됐을 때, 이 영상은 영상처리에 의한 깊이값 측정이 필요하다. If, when the amount does not have camera stereoscopic image information would have been entered through the media input unit 11, the image needs a depth value measured by image processing. 양안식 영상에서 깊이값 측정은 좌우 영상의 대응점을 찾는 작업부터 시작된다. Stereoscopic depth measured from the video begins working to find the corresponding points of the left and right images. 이를 위해 입력된 영상은 먼저 특징점 검출부(31)를 통해 에지나 코너점 등의 영상의 특징점이 추출된다. An image input for this purpose is first to extract the characteristic point of the image, such as edges and corner points from the characteristic point detector 31. 좌우 영상의 특징점이 검출되었다면, 영상 대응점 검색을 위해서 대칭도 측정부(32)를 통해 특징점을 중심으로 에지들의 대칭도를 구한다. If the feature points of left and right images is detected, obtain a symmetry of symmetry about the feature points through the edge measuring unit 32 to the image search corresponding points.

대칭도 측정부(32)는 특징점을 중심으로 한 주위의 에지점들이 갖는 각각의 대칭특성을 대칭점에 누적시킴으로써, 영상이 갖는 특징을 강조하여 영상 대응점의 검색의 정확성을 높일 수 있다. Symmetry measuring unit 32 can accumulate by each of the symmetrical characteristic with respect to an edge of a surrounding around the feature point in daechingjeom, to emphasize the features which improve the accuracy of the image search corresponding points of the image.

이후, 대칭도 측정부(32)를 통해 대칭도가 구해진 두 영상은 매칭점 검출부(33)를 통해서 양쪽 영상의 대응점을 찾게 된다. Then, the symmetry and the two images are also symmetrical obtained through measurement unit 32 is to find the corresponding points on both images by a matching point detection unit 33. The 양쪽 영상에서 대응점이 검색되었다면, 이 대응점들은 영상 깊이값 측정부(34)에 입력되어 대응점들의 변위값과 카메라 켈리브레이션을 통해 획득된 카메라 변수값들을 이용하여 영상내의 깊이값이 측정된다. If the corresponding points are found in both images, the corresponding point can be input to the image depth value measuring unit 34, using the camera parameter values ​​and camera calibration values ​​obtained through the displacement of the corresponding points are measured depth values ​​in the image.

이제, 도 4를 참조하여 입력된 영상 미디어가 한 장의 단안식 영상일 때, 미디어 편집부(13)에 입력되기 전의 전처리 과정을 살펴보기로 한다. Now, when one reference to FIG. 4, an input video image a piece of media is just rest and take a look at the pre-treatment process before being entered in the media editorial (13).

양안식 저작도구에서 기존의 단안식 영상을 이용하여 양안식 영상과 같이 사용하기 위해서는, 영상의 변환이 필요하며, 2D/3D 영상 변환부(41)는 입력된 2D 영상 이미지를 3차원 공간상에 입력할 수 있도록 2D 이미지를 양안식 영상으로 변환한다. Stereoscopic the order to use as positive by using the existing single stereoscopic image of a stereoscopic image, it is necessary the conversion of the image, 2D / 3D video conversion unit 41 is an input 2D video images from the authoring tool in three-dimensional space to the input and converts the 2D image to a stereoscopic image.

따라서, 미디어 전처리부(12)는 도 4에 도시된 바와 같이 미디어 입력부(11)를 통해 입력된 영상 미디어의 종류를 판별하기 위한 양안식 영상 판별부(21)와, 양안식 영상 판별부(21)에 의해 판별된 단안식 영상을 양안식 영상으로 변환하기 위한 2D/3D 영상 변환부(41)와, 사용자의 요구에 따라, 단안식 영상이 변환된 양안식 영상의 변위를 지정하기 위한 영상변위 지정부(42)와, 영상변이 지정부(42)에 의해 지정된 영상변이를 이용하여 영상내의 특정 위치에 대한 깊이값을 찾기 위한 영상 깊이값 획득부(43)를 포함한다. Thus, the media pre-treatment portion 12 and can be seen as a media input unit 11 the amount to determine the type of the video media stereoscopic image inputted through the determination part 21 shown in Figure 4, the stereoscopic image determination part (21 ) and the 2D / 3D image conversion unit 41 for converting the determined short rest image as a stereoscopic image by the image displacement for specifying the displacement of the short rest, the image is converted stereoscopic image according to user requirements designation unit 42 and, using the variation image specified by the image variation designation unit 42 includes an image depth value acquiring unit 43 for finding the depth value for a particular position in the image.

한편, 미디어 편집부(13)는 입력된 영상 미디어들을 이용하여 장면을 구성하고 편집하는 것으로, 도 4에서 설명한 2D/3D 영상 변환부(41)를 통해 양안식 영상으로 변환된 영상은 기존의 양안식 영상과 영상 합성부(51)를 통해 합성되고, 영상변이 변환부(52)를 통해 입체감있는 장면을 구성하게 된다. On the other hand, media editing unit 13 has the through 2D / 3D image conversion section 41 described as constituting the scene using the input video media and edited, in Figure 4 converts the stereoscopic video image is a positive conventional stereoscopic are synthesized via the image and the image composite section 51, it is converted through an image transition portion 52 constituting the three-dimensional scene.

여기서, 양안식 영상들의 합성에 있어서, 주어진 양안식 영상들의 깊이값을 주어진 값으로 설정하고, 양안식 영상들의 합성 작업시 원하는 영상을 기본 영상의 임의의 깊이 위치에 위치시키고자 할 때 대상 영상의 깊이값을 변화시켜, 깊이값을변화시킨 영상을 화면에 디스플레이할 때 변해진 깊이값에 따라 올바른 형태로 디스플레이되도록 한다. Here, the object image when the amount in the synthesis of the stereoscopic image, to set the depth value of a given stereoscopic image to a given value, and in the synthesis operation of the stereoscopic image of the desired image and located at any depth position of the primary image character by changing the depth values, and to be displayed in the right form in accordance with the depth value Gin changed when the display obtained by changing the depth value in the display image.

다른 한편, 미디어 부호화부(14)는 편집창을 통하여 모든 구성을 끝마친 양안식 장면을 부호화하며, 양안식 멀티미디어 컨텐츠로 부호화할 때 컨텐츠의 디스플레이시 정확한 양안식 디스플레이를 위해 컨텐츠내의 양안식 영상의 동기화를 수행한다. On the other hand, a media encoder 14 through the edit window, encoding all configurations the finished stereoscopic scene, and stereoscopic synchronization of the stereoscopic images in the content for the right stereoscopic display during the display of the content when encoded with multimedia content to be carried out.

도 6 은 본 발명에 따른 양안식 멀티미디어 컨텐츠 저작 방법에 대한 일실시예 흐름도이다. 6 is a flowchart illustrating one embodiment of the stereoscopic multimedia content authoring process according to the invention.

도 6에 도시된 바와 같이, 본 발명에 따른 양안식 멀티미디어 컨텐츠 저작 방법은, 먼저 미디어 입력부(11)를 통해 사용자가 사용하고자 하는 미디어 파일들을 입력받은 후(601), 미디어 파일이 영상인지 아닌지를 판단한다(602). As shown in Figure 6, the stereoscopic multimedia content authoring process according to the invention, first, whether or not after the received media files the user wants to use through the media input unit 11 (601), the media files are video it is determined (602).

판단 결과, 입력된 미디어 파일이 영상이 아니면 장면 구성 초기화 과정(609)으로 넘어가고, 영상이면 미디어 전처리부(12)의 양안식 영상 판별부(21)에서 단안식 또는 양안식 영상인지를 검사한다(603). Determined that the input media file or an image to go beyond the scene configuration initialization process 609, the image is checked for short rest or the stereoscopic image is visible at the stereoscopic image determining unit 21 of the media pre-processing unit 12 603.

검사 결과, 영상 미디어가 단안식(2D) 영상일 경우, 2D/3D 영상 변환부(41)에서 단안식 영상을 양안식 영상으로 변환한다(604). Test results, the imaging medium is converted in stages when the rest (2D) images, 2D / 3D image conversion unit 41, a stereoscopic image only a stereoscopic image (604). 이때, 영상변위 지정부(42)를 통해 사용자에 의해 지정된 영상변이를 이용하여, 영상 깊이값 획득부(43)에서 양안식 영상으로 변환된 영상내의 특정 위치에 대한 깊이값을 찾는다. At this time, the paper through the image displacement unit 42 by using the image variation is designated by the user, looking for a depth value for a particular position in the converted image to the stereoscopic image in the image depth value obtaining unit (43).

검사 결과, 영상 미디어가 양안식(3D) 영상일 경우, 카메라 정보를 포함하지 않는 양안식 영상에 대해서는 카메라 정보 획득부(22)에서 카메라의 거리 및 초점등의 카메라 정보를 추출한 후(606), 영상변이 획득부(23)에서 두 장의 양안식 영상에서 정합점을 찾고(607) 영상 깊이값 획득부(24)에서 획득된 영상변이를 이용하여 영상내의 특정 위치에 대한 깊이값을 찾는다(608). Test results, when the imaging medium is stereoscopic (3D) image, 606, then for stereoscopic image which does not include the camera information, the extraction of the camera information such as the length of the camera and focus the camera information acquisition unit (22), the video transition by using the image variation obtained from the acquisition section 23 from the two sheets of stereoscopic images 607, searching for matching points in the image a depth value obtaining unit 24 to find the depth value for a particular position in the image (608) . 그러나, 센서를 부착한 카메라를 통하여 획득된 양안식 영상 데이터에 대해서는 카메라 정보를 포함하고 있으므로 영상변이 획득부(23)에서 두 장의 양안식 영상에서 정합점을 찾고(607) 영상 깊이값 획득부(24)에서 카메라 정보의 영상변이를 이용해 양안식 영상의 깊이값을 추출한다(608). However, for the stereoscopic image data obtained through the camera, attaching the sensor it includes a camera information acquisition, because the image variation acquiring part 23, 607 in the two sheets of stereoscopic image searching for matching points in the image a depth value unit ( 24) extracts a depth value of a stereoscopic image by using the image variation of the camera information 608.

여기서, 양안식 영상의 깊이값을 추출하는 과정(607,608)은, 좌우 양안식 영상의 특징점을 검출하여, 추출된 특징점을 중심으로 특징점 주위 에지들의 대칭성을 구한 후, 영상 대칭성을 이용하여 좌 영상과 우 영상에서 대응점을 찾아, 획득된 좌우 영상의 두 대응점을 이용하여 깊이값을 구한다. A process (607 608) for extracting a depth value of a stereoscopic image, after obtaining the detected feature points of left and right stereoscopic images, the symmetry of the feature point around the edge about the extracted feature points, the left using the image symmetry image and find the corresponding points in the right image, obtains the depth value by using the two corresponding points of the acquired left and right images. 즉, 양안식 영상의 에지나 코너점을 포함하는 영상특징점을 검출한 후 특징점을 중심으로 에지들의 대칭도를 구하고, 대칭도가 구해진 두 영상의 대응점을 찾아, 대응점들의 변위값과 카메라 켈리브레이션을 통해 획득된 카메라 변수값들을 이용하여 영상내의 깊이값을 측정한다. That is, the stereoscopic obtain and of the edges symmetry about the feature points of after detecting the image feature point that includes the edge or corner point image, find the corresponding point of two images is symmetrical also obtained, through the displacement value and the camera calibration of the corresponding points using the obtained camera parameter value measures the depth values ​​in the image.

이후, 미디어 편집부(13)에서 오디오와 영상 미디어들로 대략적인 초기 장면을 구성한다(609). Then, it constitutes a rough initial scene in the media editing unit 13 to the audio and video media 609. 이 초기화 과정은 오디오 파일의 초기 배치, 양안식 미디어들의 공간적 초기화를 포함한다. This initialization process includes the initial placement, the spatial initialization of stereoscopic media of the audio file. 만약, 해당 영상 미디어들간에 깊이감을 변화시켜 입체감을 조절하고자 한다면, 영상 변이값들을 변화시켜 영상 미디어들을 재배치할 수 있다(610). If, if by changing the depth in the image between the media to adjust the stereoscopic effect, by changing the image variation value can relocate the video media (610).

영상 미디어들의 재배치 외에, 장면 편집은 편집창을 이용해 수행되며(611), 장면을 구성하는 작업이 끝나면(612) 미디어 부호화부(14)는 MPEG-4로 데이터화하기 전에 해당 미디어들이 각각의 형식에 맞게끔 부호화되어 있는가를 판별하여(613), 미디어들이 부호화되어 있다면 다음 과정(615)으로 넘어가고, 만약 부호화되지 않았다면 영상, 오디오들을 표준에 맞는 방식으로 미디어 부호화 작업을 수행한다(614). In addition to the relocation of visual media, scene editing is done using the edit window (611), at the end of the tasks that make up the scene (612) media encoding unit 14 on the media and their respective format before ingestion as MPEG-4 for whether is coded off if it is determined (613), the media were encoded by the following process to perform media encoding tasks if not the encoded video, audio, wading into the 615, in a manner appropriate to the standard (614).

미디어 부호화까지 모든 작업을 마치면, 장면을 구성하는 모든 정보 및 미디어들은 MPEG-4 데이터 형식으로 부호화된 후(615) 종료된다. After all the operations to the media encoding, all of the information and the media that make up the scene it is completed (615) after being coded in the MPEG-4 data type.

상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. The method of the present invention as described above, may be stored in the program is implemented in a computer-readable recording medium (a CD-ROM, RAM, ROM, floppy disk, hard disk, optical magnetic disk, etc.).

이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다. The present invention described above is not limited by the embodiments described above and the accompanying drawings, it is that various changes and modifications may be made without departing from the scope of the present invention in the art got to those of ordinary skill will be obvious.

상기한 바와 같은 본 발명은, 이차원적인 평면 멀티미디어 컨텐츠가 아닌, 양안식 멀티미디어 데이터들을 이용하여 입체감을 갖는 양안식 멀티미디어 컨텐츠를 만들 수 있어, 2D 평면상의 멀티미디어 컨텐츠가 줄 수 없는 사실감을 사용자에게 줄 수 있으며, 컨텐츠 생산 과정에서 사용되는 기반 기술들을 기타 입체 동영상을 제작하는데 이용할 수 있는 효과가 있다. The present invention as described above, two-dimensional plane other than the multimedia contents, stereoscopic using multimedia data, it is possible both to make the rest multimedia contents having a stereoscopic effect, can have a realistic multimedia contents on the 2D plane can not give the user and there is an effect that can be used to produce other three-dimensional movies based on the technology used in the content production process.

또한, 본 발명은 양안식 멀티미디어 컨텐츠를 만드는데 있어 양안식 입체 영상에 적합한 응용 기술을 이용함으로써 양안식 입체 영상 합성 기술의 발달과 양안식 멀티미디어 컨텐츠의 자유로운 저작으로 입체 영상의 다변화 및 산업화를 촉진시킬 수 있는 효과가 있다. In addition, the present invention can promote the stereoscopic diversification and industrialization of the stereoscopic image to stereoscopic free work of the three-dimensional development of the image synthesis technology and stereoscopic multimedia content by using an application technique appropriate for stereoscopic three-dimensional image in creating multimedia content that there is an effect.

Claims (17)

  1. 양안식 멀티미디어 컨텐츠 저작 장치에 있어서, In the stereoscopic multimedia content authoring device,
    저작용 미디어 파일을 입력받기 위한 미디어 입력수단; Media input means for receiving a media file that effect;
    상기 미디어 입력수단을 통해 입력된 영상의 변이를 이용하여 양안식 영상의 깊이값을 추출하기 위한 미디어 전처리수단; Media preprocessing means for extracting a depth value of a stereoscopic image by using a mutation of an image input through the media input means;
    상기 미디어 전처리수단을 통해 깊이값이 추출된 양안식 영상과 그외 미디어 정보들로 장면을 구성하고, 합성된 양안식 영상들간에 깊이감을 조절하기 위한 미디어 편집수단; The media pre-treatment means for editing the media comprising: means for adjusting the depth to the depth value is extracted stereoscopic image and the other, and configure a scene in the media information, between the synthesized stereoscopic image through;
    각 미디어 부호화 형식에 맞게 양안식 장면을 부호화하기 위한 미디어 부호화수단; A media encoding means for encoding a stereoscopic scene for each media coding format; And
    저작에 사용된 미디어와, 미디어의 공간/시간적 정보를 양안식 컨텐츠 형식으로 변환하기 위한 양안식 컨텐츠 변환수단 Stereoscopic content conversion means for converting the spatial / temporal information of the media and the media used for writing an amount in rest content type
    을 포함하는 양안식 멀티미디어 컨텐츠 저작 장치. Stereoscopic multimedia content authoring system that includes.
  2. 제 1 항에 있어서, According to claim 1,
    상기 영상은, The image,
    단안식 영상, 센서를 부착하지 않은 카메라를 통해 획득된 양안식 영상(카메라 정보를 포함한 양안식 영상) 및 센서를 부착한 카메라를 통해 획득된 양안식 영상(카메라 정보를 포함한 양안식 영상)을 포함하는 것을 특징으로 하는 양안식 멀티미디어 컨텐츠 저작 장치. However rest including an image, a stereoscopic image (stereoscopic image including the camera information) obtained by means of the camera is not attached to the sensor, and a stereoscopic image (stereoscopic image including the camera information) obtained by means of the attached camera sensor stereoscopic multimedia content authoring apparatus is characterized in that.
  3. 제 2 항에 있어서, 3. The method of claim 2,
    상기 미디어 전처리수단은, The media pre-treatment means comprises:
    상기 미디어 입력수단을 통해 입력된 영상 미디어의 종류를 판별하기 위한 영상 판별수단; Image discrimination means for discriminating kind of the video media type over the media input means;
    상기 영상 판별수단에 의해 판별된 양안식 영상으로부터 카메라의 거리 및 초점을 포함하는 카메라 정보를 추출하기 위한 카메라 정보 획득수단; Said video camera to determine information acquiring means for extracting the camera information including the distance and the focal point of the camera from the stereoscopic image determined by the means;
    상기 카메라 정보를 바탕으로 두 장의 양안식 영상에서 정합점을 찾는 영상변이 획득수단; The image variation acquisition means finding the matching points on the basis of camera information in chapter two stereoscopic images; And
    상기 영상변이 획득수단에 의해 획득된 영상변이를 이용하여 영상내의 특정 위치에 대한 깊이값을 찾기 위한 영상 깊이값 획득수단 The video transition by using the image variation obtained by the acquiring means acquiring the image depth value to find the depth value for a particular position in the image means
    을 포함하는 양안식 멀티미디어 컨텐츠 저작 장치. Stereoscopic multimedia content authoring system that includes.
  4. 제 2 항에 있어서, 3. The method of claim 2,
    상기 미디어 전처리수단에서 양안식 영상의 깊이값을 추출하는 과정은, Process for extracting a depth value of a stereoscopic image from the media pre-treatment means comprises:
    좌우 양안식 영상의 특징점을 검출하여, 추출된 특징점을 중심으로 특징점주위 에지들의 대칭성을 구한 후, 영상 대칭성을 이용하여 좌 영상과 우 영상에서 대응점을 찾아, 획득된 좌우 영상의 두 대응점을 이용하여 깊이값을 구하는 것을 특징으로 하는 양안식 멀티미디어 컨텐츠 저작 장치. Detecting a feature point of the left and right stereoscopic images, and then obtaining the symmetry of the feature point around the edge about the extracted feature points, using an image symmetry to find the corresponding points in the left image and the right images, using the two corresponding points of the acquired left and right images amount, characterized in that to obtain the depth value rest multimedia content authoring device.
  5. 제 4 항에 있어서, 5. The method of claim 4,
    상기 미디어 전처리수단은, The media pre-treatment means comprises:
    상기 미디어 입력수단을 통해 입력된 영상 미디어의 종류를 판별하기 위한 영상 판별수단; Image discrimination means for discriminating kind of the video media type over the media input means;
    상기 영상 판별수단에 의해 판별된 양안식 영상으로부터 카메라의 거리 및 초점을 포함하는 카메라 정보를 추출하기 위한 카메라 정보 획득수단; Said video camera to determine information acquiring means for extracting the camera information including the distance and the focal point of the camera from the stereoscopic image determined by the means;
    양안식 영상의 에지나 코너점을 포함하는 영상특징점을 검출하기 위한 특징점 검출수단; Both feature point detection means for detecting image feature points including the edge or corner points of the rest image;
    영상 대응점 검색을 위해서, 특징점을 중심으로 에지들의 대칭도를 구하기 위한 대칭도 측정수단; For the image search corresponding points, symmetry measuring means for determining the symmetry of the edges around the feature points;
    상기 대칭도 측정수단을 통해 대칭도가 구해진 두 영상의 대응점을 찾기 위한 매칭점 검출수단; The symmetry matching point detection means for finding the corresponding points of two images is also obtained symmetrically with the measuring means; And
    상기 매칭점 검출수단에서 찾은 대응점들의 변위값과 카메라 켈리브레이션을 통해 획득된 카메라 변수값들을 이용하여 영상내의 깊이값을 측정하기 위한 깊이값 측정수단 It said matching point detection means depth value measuring means for using the camera parameter values ​​and camera calibration values ​​obtained through the displacement of the corresponding points to measure the depth values ​​in the image found in
    을 포함하는 양안식 멀티미디어 컨텐츠 저작 장치. Stereoscopic multimedia content authoring system that includes.
  6. 제 5 항에 있어서, 6. The method of claim 5,
    상기 대칭도 측정수단은, The symmetry also means measurement,
    특징점을 중심으로 한 주위의 에지점들이 갖는 각각의 대칭특성을 대칭점에 누적시킴으로써, 영상이 갖는 특징을 강조하여 영상 대응점의 검색의 정확성을 높이는 것을 특징으로 하는 양안식 멀티미디어 컨텐츠 저작 장치. By accumulating the respective symmetrical characteristic with respect to an edge of a surrounding around the feature point in daechingjeom, both to emphasize the characteristics with the image, characterized in that to increase the accuracy of the search corresponding points of image rest multimedia content authoring device.
  7. 제 2 항에 있어서, 3. The method of claim 2,
    상기 미디어 전처리수단은, The media pre-treatment means comprises:
    단안식 영상을 양안식 영상에 합성할 수 있도록, 단안식 영상이 입력되었을 때 장면내의 영상의 삽입 위치를 결정하여 그 위치의 깊이값을 구해내, 단안식 영상을 해당 장면 삽입위치의 깊이값을 갖는 양안식 영상으로 변환하는 것을 특징으로 하는 양안식 멀티미디어 컨텐츠 저작 장치. To synthesize a single stereoscopic image both in rest image, stage Rest time image has been input to determine the insertion position of the image in the scene, the depth value of the inner determined the depth value of the position, with the proviso that the rest image the scene insertion position both it characterized in that the amount converted into stereoscopic image having stereoscopic multimedia content authoring device.
  8. 제 7 항에 있어서, The method of claim 7,
    상기 미디어 전처리수단은, The media pre-treatment means comprises:
    상기 미디어 입력수단을 통해 입력된 영상 미디어의 종류를 판별하기 위한 영상 판별수단; Image discrimination means for discriminating kind of the video media type over the media input means;
    상기 영상 판별수단에 의해 판별된 단안식 영상을 양안식 영상으로 변환하기 위한 영상 변환수단; Image converting means for converting the single stereoscopic image is determined by the video determination means as stereoscopic images;
    사용자의 요구에 따라, 단안식 영상이 변환된 양안식 영상의 변위를 지정하기 위한 영상변위 지정수단; According to the user's requirements, an image specifying means for displacement stage stereoscopic image is specified, the displacement of the converted stereoscopic image; And
    상기 영상변이 지정수단에 의해 지정된 영상변이를 이용하여 영상내의 특정 위치에 대한 깊이값을 찾기 위한 영상 깊이값 획득수단 The image variation obtained image depth value to find the depth value for a particular position in the image by using the image variation specified by the specifying means means
    을 포함하는 양안식 멀티미디어 컨텐츠 저작 장치. Stereoscopic multimedia content authoring system that includes.
  9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서, The method according to any one of claims 1 to 8,
    상기 장면 구성시에, At the time of the scene structure,
    시각적인 표현을 위해 편집창에서 그래픽화된 도형이나 기하 객체를 이용하고, 장면내의 객체들간의 관계를 트리구조를 통하여 나타내며, 이렇게 표현된 객체 및 객체들의 관계를 데이터 기술언어를 사용하여 내부 자료구조로 저장하는 것을 특징으로 하는 양안식 멀티미디어 컨텐츠 저작 장치. Using a graphical The geometry or geometric objects in the editing window for visual representation and the relationships between objects in the scene indicates through the tree structure, so using the relationship of the represented object and data description language, the internal data structure stereoscopic multimedia content authoring device, characterized in that for storing in.
  10. 양안식 멀티미디어 컨텐츠 저작 장치에 적용되는 양안식 멀티미디어 컨텐츠저작 방법에 있어서, In the stereoscopic stereoscopic multimedia content authoring method applied to a multimedia content authoring device,
    저작하고자 하는 미디어 파일 중 영상 미디어의 변이를 이용하여 양안식 영상의 깊이값을 추출하는 제 1 단계; A first step of using the variation of the video media from the media file to extract the depth value of the stereoscopic image to be authored;
    상기 깊이값이 추출된 양안식 영상과 그외 미디어 정보들로 장면을 구성하고, 합성된 양안식 영상들간에 깊이감을 조절하는 제 2 단계; A second step of constituting the scene with the amount that the depth value extracting stereoscopic video and other media information, control the depth between the synthesized stereoscopic image;
    각 미디어 부호화 형식에 맞게 양안식 장면을 부호화하는 제 3 단계; A third step of encoding the amount of rest scene for each media coding format; And
    저작에 사용된 미디어와, 미디어의 공간/시간적 정보를 양안식 컨텐츠 형식으로 변환하는 제 4 단계 And the media used in the work, a fourth step of converting the spatial / temporal information of the media amounts to rest content type
    를 포함하는 양안식 멀티미디어 컨텐츠 저작 방법. Stereoscopic multimedia content authoring method comprising the.
  11. 제 10 항에 있어서, 11. The method of claim 10,
    상기 영상은, The image,
    단안식 영상, 센서를 부착하지 않은 카메라를 통해 획득된 양안식 영상(카메라 정보를 포함한 양안식 영상) 및 센서를 부착한 카메라를 통해 획득된 양안식 영상(카메라 정보를 포함한 양안식 영상)을 포함하는 것을 특징으로 하는 양안식 멀티미디어 컨텐츠 저작 방법. However rest including an image, a stereoscopic image (stereoscopic image including the camera information) obtained by means of the camera is not attached to the sensor, and a stereoscopic image (stereoscopic image including the camera information) obtained by means of the attached camera sensor stereoscopic multimedia content authoring method characterized in that.
  12. 제 11 항에 있어서, 12. The method of claim 11,
    상기 제 1 단계는, The first step,
    입력된 영상 미디어의 종류를 판별하는 제 5 단계; A fifth step for determining the type of the input video media;
    상기 제 5 단계의 판별 결과에 따라 판별된 양안식 영상으로부터 카메라의 거리 및 초점을 포함하는 카메라 정보를 추출하는 제 6 단계; A sixth step of from the stereoscopic image is determined according to the result of the check in the fifth step extracts the camera information including the distance and the focus of the camera;
    상기 카메라 정보를 바탕으로 두 장의 양안식 영상에서 정합점을 찾아 영상변이를 획득하는 제 7 단계; A seventh step of obtaining the image variation to find the matching points in the two sheets of stereoscopic images on the basis of the camera information; And
    획득된 영상변이를 이용하여 영상내의 특정 위치에 대한 깊이값을 찾는 제 8 단계 An eighth step, using the obtained image variation to find the depth value for a particular position in the image
    를 포함하는 양안식 멀티미디어 컨텐츠 저작 방법. Stereoscopic multimedia content authoring method comprising the.
  13. 제 11 항에 있어서, 12. The method of claim 11,
    상기 제 1 단계에서 양안식 영상의 깊이값을 추출하는 과정은, Process for extracting a depth value of a stereoscopic image in the first stage is,
    좌우 양안식 영상의 특징점을 검출하여, 추출된 특징점을 중심으로 특징점 주위 에지들의 대칭성을 구한 후, 영상 대칭성을 이용하여 좌 영상과 우 영상에서 대응점을 찾아, 획득된 좌우 영상의 두 대응점을 이용하여 깊이값을 구하는 것을 특징으로 하는 양안식 멀티미디어 컨텐츠 저작 방법. Detecting a feature point of the left and right stereoscopic images, and then obtaining the symmetry of the feature point around the edge about the extracted feature points, using an image symmetry to find the corresponding points in the left image and the right images, using the two corresponding points of the acquired left and right images Yang, characterized in that obtaining depth values ​​rest multimedia content authoring methods.
  14. 제 13 항에 있어서, 14. The method of claim 13,
    상기 제 1 단계는, The first step,
    입력된 영상 미디어의 종류를 판별하는 제 5 단계; A fifth step for determining the type of the input video media;
    상기 제 5 단계의 판별 결과에 따라 판별된 양안식 영상으로부터 카메라의 거리 및 초점을 포함하는 카메라 정보를 추출하는 제 6 단계; A sixth step of from the stereoscopic image is determined according to the result of the check in the fifth step extracts the camera information including the distance and the focus of the camera;
    상기 카메라 정보를 바탕으로, 양안식 영상의 에지나 코너점을 포함하는 영상특징점을 검출하는 제 7 단계; The camera based on the information, a seventh step of detecting the image feature point that includes the edge or corner point of the stereoscopic image;
    영상 대응점 검색을 위해서, 특징점을 중심으로 에지들의 대칭도를 구하는 제 8 단계; For the image search corresponding points, the eighth step to obtain the symmetry of the edges around the feature points;
    상기 제 8 단계에서 대칭도가 구해진 두 영상의 대응점을 찾는 제 9 단계; A ninth step of finding the corresponding points of the two images are also symmetrical obtained in the eighth step; And
    상기 제 9 단계에서 찾은 대응점들의 변위값과 카메라 켈리브레이션을 통해 획득된 카메라 변수값들을 이용하여 영상내의 깊이값을 측정하는 제 9 단계 A ninth step of measuring the depth values ​​in the image using a camera parameter values ​​and camera calibration values ​​obtained through the displacement of the corresponding points found in Step 9
    를 포함하는 양안식 멀티미디어 컨텐츠 저작 방법. Stereoscopic multimedia content authoring method comprising the.
  15. 제 11 항에 있어서, 12. The method of claim 11,
    상기 제 1 단계는, The first step,
    단안식 영상을 양안식 영상에 합성할 수 있도록, 단안식 영상이 입력되었을 때 장면내의 영상의 삽입 위치를 결정하여 그 위치의 깊이값을 구해내, 단안식 영상을 해당 장면 삽입위치의 깊이값을 갖는 양안식 영상으로 변환하되, To synthesize a single stereoscopic image both in rest image, stage Rest time image has been input to determine the insertion position of the image in the scene, the depth value of the inner determined the depth value of the position, with the proviso that the rest image the scene insertion position but the amount converted into stereoscopic image having,
    입력된 영상 미디어의 종류를 판별하는 제 5 단계; A fifth step for determining the type of the input video media;
    상기 제 5 단계의 판별 결과에 따라 판별된 단안식 영상을 양안식 영상으로 변환하는 제 6 단계; A sixth step of converting the single stereoscopic image is determined according to the determination result of the fifth step in an amount rest image;
    사용자의 요구에 따라, 단안식 영상이 변환된 양안식 영상의 변위를 지정하는 제 7 단계; A seventh step that specifies the displacement of the short rest, the image is converted stereoscopic image according to user requirements; And
    상기 제 7 단계에서 지정된 영상변이를 이용하여 영상내의 특정 위치에 대한 깊이값을 찾는 제 8 단계 An eighth step in the second stage 7 by using the specified image variation to find the depth value for a particular position in the image
    를 포함하는 양안식 멀티미디어 컨텐츠 저작 방법. Stereoscopic multimedia content authoring method comprising the.
  16. 제 10 항 내지 제 15 항 중 어느 한 항에 있어서, A method according to any one of claims 10 to 15,
    상기 장면 구성시에, At the time of the scene structure,
    시각적인 표현을 위해 편집창에서 그래픽화된 도형이나 기하 객체를 이용하고, 장면내의 객체들간의 관계를 트리구조를 통하여 나타내며, 이렇게 표현된 객체 및 객체들의 관계를 데이터 기술언어를 사용하여 내부 자료구조로 저장하는 것을 특징으로 하는 양안식 멀티미디어 컨텐츠 저작 장치. Using a graphical The geometry or geometric objects in the editing window for visual representation and the relationships between objects in the scene indicates through the tree structure, so using the relationship of the represented object and data description language, the internal data structure stereoscopic multimedia content authoring device, characterized in that for storing in.
  17. 프로세서를 구비한 양안식 멀티미디어 컨텐츠 저작 장치에, The amount which includes the processor rest multimedia content authoring device,
    저작하고자 하는 미디어 파일 중 영상 미디어의 변이를 이용하여 양안식 영상의 깊이값을 추출하는 제 1 기능; The first function of using the variation of the imaging media of the media file to extract the depth value of the stereoscopic image to be authored;
    상기 깊이값이 추출된 양안식 영상과 그외 미디어 정보들로 장면을 구성하고, 합성된 양안식 영상들간에 깊이감을 조절하는 제 2 기능; The second function is for configuring the scene with the amount that the depth value extracting stereoscopic video and other media information, control the depth between the synthesized stereoscopic image;
    각 미디어 부호화 형식에 맞게 양안식 장면을 부호화하는 제 3 기능; The third function of both encoding a stereoscopic scene for each media coding format; And
    저작에 사용된 미디어와, 미디어의 공간/시간적 정보를 양안식 컨텐츠 형식으로 변환하는 제 4 기능 A fourth function for converting the spatial / temporal information of the media and the media used for writing an amount in rest content type
    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체. A computer-readable recording medium recording a program for realizing.
KR20020070750A 2002-11-14 2002-11-14 Stereoscopic multimedia contents authoring apparatus and method KR100448882B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20020070750A KR100448882B1 (en) 2002-11-14 2002-11-14 Stereoscopic multimedia contents authoring apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20020070750A KR100448882B1 (en) 2002-11-14 2002-11-14 Stereoscopic multimedia contents authoring apparatus and method

Publications (2)

Publication Number Publication Date
KR20040042449A KR20040042449A (en) 2004-05-20
KR100448882B1 true KR100448882B1 (en) 2004-09-18

Family

ID=37339233

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20020070750A KR100448882B1 (en) 2002-11-14 2002-11-14 Stereoscopic multimedia contents authoring apparatus and method

Country Status (1)

Country Link
KR (1) KR100448882B1 (en)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6870956B2 (en) 2001-06-14 2005-03-22 Microsoft Corporation Method and apparatus for shot detection
US7116716B2 (en) 2002-11-01 2006-10-03 Microsoft Corporation Systems and methods for generating a motion attention model
US7274741B2 (en) 2002-11-01 2007-09-25 Microsoft Corporation Systems and methods for generating a comprehensive user attention model
US7164798B2 (en) 2003-02-18 2007-01-16 Microsoft Corporation Learning-based automatic commercial content detection
US7400761B2 (en) 2003-09-30 2008-07-15 Microsoft Corporation Contrast-based image attention analysis framework
US7471827B2 (en) 2003-10-16 2008-12-30 Microsoft Corporation Automatic browsing path generation to present image areas with high attention value as a function of space and time
US9053754B2 (en) 2004-07-28 2015-06-09 Microsoft Technology Licensing, Llc Thumbnail generation and presentation for recorded TV programs
US7986372B2 (en) 2004-08-02 2011-07-26 Microsoft Corporation Systems and methods for smart media content thumbnail extraction
US7773813B2 (en) 2005-10-31 2010-08-10 Microsoft Corporation Capture-intention detection for video content analysis
US8180826B2 (en) * 2005-10-31 2012-05-15 Microsoft Corporation Media sharing and authoring on the web
US8196032B2 (en) 2005-11-01 2012-06-05 Microsoft Corporation Template-based multimedia authoring and sharing

Also Published As

Publication number Publication date
KR20040042449A (en) 2004-05-20

Similar Documents

Publication Publication Date Title
Schreer et al. 3D Videocommunication
US6400374B2 (en) Video superposition system and method
Zollhöfer et al. Automatic reconstruction of personalized avatars from 3D face scans
CN102362495B (en) A plurality of remote video cameras having a display wall conference endpoints combined view presentation apparatus and method of operation
JP4198054B2 (en) 3d video conference system
CN101771892B (en) Image processing method and apparatus therefor
US8447141B2 (en) Method and device for generating a depth map
US5748199A (en) Method and apparatus for converting a two dimensional motion picture into a three dimensional motion picture
Smolic et al. 3DAV exploration of video-based rendering technology in MPEG
JP4188968B2 (en) Image providing method and a stereoscopic image display device for stereoscopic
JP3148045B2 (en) A three-dimensional object cg creation device
US20030007700A1 (en) Method and apparatus for interleaving a user image in an original image sequence
US9094675B2 (en) Processing image data from multiple cameras for motion pictures
JP4945642B2 (en) 3d image method and system for color correction
JP4698831B2 (en) Image transformation and coding techniques
Abrantes et al. MPEG-4 facial animation technology: survey, implementation, and results
CN101164083B (en) Album generating apparatus, album generating method
US9445072B2 (en) Synthesizing views based on image domain warping
CN102761767B (en) Method for depth map generation
US8644467B2 (en) Video conferencing system, method, and computer program storage device
US9529427B2 (en) System and method of image rendering
US4925294A (en) Method to convert two dimensional motion pictures for three-dimensional systems
US20070296721A1 (en) Apparatus and Method for Producting Multi-View Contents
Isgro et al. Three-dimensional image processing in the future of immersive media
CN102177721B (en) The method of processing parallax information comprised in a signal

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20080905

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee