KR20040042449A - 양안식 멀티미디어 컨텐츠 저작 장치 및 그 방법 - Google Patents

양안식 멀티미디어 컨텐츠 저작 장치 및 그 방법 Download PDF

Info

Publication number
KR20040042449A
KR20040042449A KR1020020070750A KR20020070750A KR20040042449A KR 20040042449 A KR20040042449 A KR 20040042449A KR 1020020070750 A KR1020020070750 A KR 1020020070750A KR 20020070750 A KR20020070750 A KR 20020070750A KR 20040042449 A KR20040042449 A KR 20040042449A
Authority
KR
South Korea
Prior art keywords
image
binocular
media
depth value
images
Prior art date
Application number
KR1020020070750A
Other languages
English (en)
Other versions
KR100448882B1 (ko
Inventor
기명석
이인재
정세윤
김규헌
김진웅
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR10-2002-0070750A priority Critical patent/KR100448882B1/ko
Publication of KR20040042449A publication Critical patent/KR20040042449A/ko
Application granted granted Critical
Publication of KR100448882B1 publication Critical patent/KR100448882B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야
본 발명은 양안식 멀티미디어 컨텐츠 저작 장치 및 그 방법과, 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은, 멀티미디어 저작도구 시스템에 영상의 깊이값 측정, 객체의 합성을 위한 깊이값 변화 등의 양안식 기반 기술을 결합하여, 기존 2D 저작도구의 평면적인 2D 컨텐츠가 아닌 입체감을 갖는 양안식 멀티미디어 컨텐츠를 저작하기 위한 양안식 멀티미디어 컨텐츠 저작 장치 및 그 방법과, 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하고자 함.
3. 발명의 해결방법의 요지
본 발명은, 양안식 멀티미디어 컨텐츠 저작 장치에 있어서, 저작용 미디어 파일을 입력받기 위한 미디어 입력수단; 상기 미디어 입력수단을 통해 입력된 영상의 변이를 이용하여 양안식 영상의 깊이값을 추출하기 위한 미디어 전처리수단; 상기 미디어 전처리수단을 통해 깊이값이 추출된 양안식 영상과 그외 미디어 정보들로 장면을 구성하고, 합성된 양안식 영상들간에 깊이감을 조절하기 위한 미디어 편집수단; 각 미디어 부호화 형식에 맞게 양안식 장면을 부호화하기 위한 미디어 부호화수단; 및 저작에 사용된 미디어와, 미디어의 공간/시간적 정보를 양안식 컨텐츠 형식으로 변환하기 위한 양안식 컨텐츠 변환수단을 포함함.
4. 발명의 중요한 용도
본 발명은 양안식 멀티미디어 컨텐츠 저작 도구 등에 이용됨.

Description

양안식 멀티미디어 컨텐츠 저작 장치 및 그 방법{Stereoscopic multimedia contents authoring apparatus and method}
본 발명은 멀티미디어 저작 도구 시스템에 영상의 깊이값 측정, 객체의 합성을 위한 깊이값 변화 등의 양안식 기반 기술을 결합하여, 사용자가 자유롭게 양안식 영상, 오디오, 그래픽 객체 및 기타 다양한 멀티미디어 객체들을 조합하여 실감나는 입체 컨텐츠를 제작 또는 편집할 수 있도록 하는 양안식 멀티미디어 컨텐츠 저작 장치 및 그 방법과, 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.
본 저작도구에서 구현되는 양안식 멀티미디어 컨텐츠는 크게 컨텐츠내의 시나리오 및 멀티미디어 데이터를 설명하는 기술언어와 오디오/비디오 데이터 및 정지영상 등의 미디어 데이터 스트림으로 구성된다. 이러한 데이터 구성 방법에 따라 멀티미디어 컨텐츠를 구성하는 기존의 2차원(2D) 기반 AV 저작도구로는 "한국전자통신연구원(ETRI)"의 Interactive Richmedia, "iVast"의 "IVAST STUDIO Author", "Envivio"의 "Envivio Broadcast Studio" 등이 있다.
앞서 서술된 저작도구들은 모두 엠펙4(MPEG-4) 시스템 표준을 모델로 만들어진 저작도구들로, 이들의 구현 범위는 3차원(3D)이 아닌 2차원적인 데이터의 표현에만 중점을 두고 있다. 따라서, 상기 2D 기반 AV 저작 도구들은 이차원 평면상의 데이터만을 표현 대상으로 하기 때문에 현실감이 떨어지며, 깊이에 대한 개념이 없으므로 구성 객체들에 대한 입체감을 느낄 수 없다. 또한, 장면내의 객체를 합성할 때도 단순한 전후 관계밖에 표현할 수 없다는 단점이 존재한다. 이러한 이유로 기존의 AV 저작도구의 데이터로는 다양하고 실감있는 미디어를 원하는 사용자들을 만족시키기에는 부족하다. 그 중 "Envivio"의 Broadcast Studio는 일부 3D 기능을 지원하지만 깊이감을 지닌 양안식 데이터의 저작에는 적당치 않다.
인간은 동일 물체를 좌우의 눈 사이의 간격에 차이를 두고 다른 방향에서 동시에 관찰하기 때문에 물체의 입체감을 느끼게 된다. 양안식 기술이란, 인간의 두 눈으로 관찰하는 효과를 얻기 위해 두 대의 카메라를 이용하여 동시에 획득된 두 장의 2D 영상에 대해 두 영상의 변위(disparity)를 이용하여 3차원 깊이 정보를 얻어내는 것을 말한다. 그동안 양안식 데이터를 재생하기 위해서는 양안식 영상을 볼 수 있는 특수 안경과, 이를 화면에 디스플레이하기 위한 OpenGL 지원 그래픽 카드, 양안식 영상의 주파수를 지원하는 모니터가 있어야 하는 등의 제약때문에 양안식 컨텐츠의 활발한 이용이 이루어지지 못했다.
그러나, 최근 디스플레이와 영상처리 기술의 발달로 전에는 제대로 표현할 수 없던 다양한 미디어의 표현이 가능해 졌으며, 이에 따라 사용자들 또한 더욱 현실감있고 정교한 컨텐츠를 요구하게 되었다. 상기 기술 발달과 사용자 욕구 증대에 따라 양안식 기술을 이용한 컨텐츠들이 속속 등장하고 있다. 기존의 양안식 영상은주로 가상현실이나 화성 탐사에 쓰이는 로봇 등의 특수한 환경에서 사용되었지만, 최근에 유럽과 미국 등에서 양안식을 지원할 수 있는 디스플레이들이 활발히 개발되고 있고, 양안식 영상을 이용하여 3D 방송을 전송하기 위한 표준화 작업 또한 진행중이다. 이에 대한 일환으로 국내에서도 2002 월드컵 기간중에 축구 경기 내용을 양안식으로 촬영하여 시험방송을 수행하기도 하였다.
아울러, 양안식 영상을 이용한 다양한 수요에 맞추어, 멀티미디어 저작도구 시스템에 양안식 기반 기술을 결합한다면 평면적인 데이터의 표현에 깊이감을 더한 실감있는 컨텐츠의 저작이 가능하다.
따라서, 현재의 기술분야에서는 멀티미디어 저작도구 시스템에 영상의 깊이값 측정, 객체의 합성을 위한 깊이값 변화 등의 양안식 기반 기술을 결합하여, 양안식 멀티미디어 컨텐츠를 저작할 수 있는 방안이 절실히 요구된다.
본 발명은, 상기한 바와 같은 요구에 부응하기 위하여 제안된 것으로, 멀티미디어 저작도구 시스템에 영상의 깊이값 측정, 객체의 합성을 위한 깊이값 변화 등의 양안식 기반 기술을 결합하여, 기존 2D 저작도구의 평면적인 2D 컨텐츠가 아닌 입체감을 갖는 양안식 멀티미디어 컨텐츠를 저작하기 위한 양안식 멀티미디어 컨텐츠 저작 장치 및 그 방법과, 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있다.
도 1 은 본 발명에 따른 양안식 멀티미디어 컨텐츠 저작 장치의 일실시예 전체 구성도.
도 2 는 본 발명에 따른 상기 도 1의 미디어 전처리부의 일실시예 상세 구성도.
도 3 은 본 발명에 따른 상기 도 1의 미디어 전처리부의 다른 실시예 상세 구성도.
도 4 는 본 발명에 따른 상기 도 1의 미디어 전처리부의 또 다른 실시예 상세 구성도.
도 5 는 본 발명에 따른 상기 도 1의 미디어 편집부의 일실시예 상세 구성도.
도 6 은 본 발명에 따른 양안식 멀티미디어 컨텐츠 저작 방법에 대한 일실시예 흐름도.
* 도면의 주요 부분에 대한 부호의 설명
11 : 미디어 입력부 12 : 미디어 전처리부
13 : 미디어 편집부 14 : 미디어 부호화부
15 : 양안식 컨텐츠 변환부
상기 목적을 달성하기 위한 본 발명은, 양안식 멀티미디어 컨텐츠 저작 장치에 있어서, 저작용 미디어 파일을 입력받기 위한 미디어 입력수단; 상기 미디어 입력수단을 통해 입력된 영상의 변이를 이용하여 양안식 영상의 깊이값을 추출하기 위한 미디어 전처리수단; 상기 미디어 전처리수단을 통해 깊이값이 추출된 양안식 영상과 그외 미디어 정보들로 장면을 구성하고, 합성된 양안식 영상들간에 깊이감을 조절하기 위한 미디어 편집수단; 각 미디어 부호화 형식에 맞게 양안식 장면을 부호화하기 위한 미디어 부호화수단; 및 저작에 사용된 미디어와, 미디어의 공간/시간적 정보를 양안식 컨텐츠 형식으로 변환하기 위한 양안식 컨텐츠 변환수단을 포함하여 이루어진 것을 특징으로 한다.
그리고, 본 발명은 양안식 멀티미디어 컨텐츠 저작 장치에 적용되는 양안식 멀티미디어 컨텐츠 저작 방법에 있어서, 저작하고자 하는 미디어 파일 중 영상 미디어의 변이를 이용하여 양안식 영상의 깊이값을 추출하는 제 1 단계; 상기 깊이값이 추출된 양안식 영상과 그외 미디어 정보들로 장면을 구성하고, 합성된 양안식 영상들간에 깊이감을 조절하는 제 2 단계; 각 미디어 부호화 형식에 맞게 양안식 장면을 부호화하는 제 3 단계; 및 저작에 사용된 미디어와, 미디어의 공간/시간적 정보를 양안식 컨텐츠 형식으로 변환하는 제 4 단계를 포함하여 이루어진 것을 특징으로 한다.
한편, 본 발명은 프로세서를 구비한 양안식 멀티미디어 컨텐츠 저작 장치에, 저작하고자 하는 미디어 파일 중 영상 미디어의 변이를 이용하여 양안식 영상의 깊이값을 추출하는 제 1 기능; 상기 깊이값이 추출된 양안식 영상과 그외 미디어 정보들로 장면을 구성하고, 합성된 양안식 영상들간에 깊이감을 조절하는 제 2 기능; 각 미디어 부호화 형식에 맞게 양안식 장면을 부호화하는 제 3 기능; 및 저작에 사용된 미디어와, 미디어의 공간/시간적 정보를 양안식 컨텐츠 형식으로 변환하는 제 4 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
본 발명은 기존 2D 저작도구의 평면적인 2D 컨텐츠가 아닌 입체감을 갖는 양안식 멀티미디어 컨텐츠를 저작하기 위한 것으로서, 단안식 영상과 양안식 영상의 합성, 양안식 영상과 양안식 영상의 합성 등 다양한 방식의 객체 합성을 지원하기 위한 합성 기술, 센서가 부착되지 않은 양안식 영상에 대해서도 깊이값을 추출할 수 있는 깊이값 획득 기술, 입체감을 갖는 영상 데이터의 합성을 위한 객체의 원근감 변환 기술, 상기 기술들을 종합하여 손쉽게 양안식 멀티미디어 컨텐츠를 저작 또는 구성할 수 있도록 한다. 이렇게 함으로써, 사용자는 자유롭게 양안식 영상, 오디오, 그래픽 객체 및 기타 다양한 멀티미디어 객체들을 조합하여 실감나는 입체 컨텐츠를 제작 또는 편집할 수 있다.
상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.
도 1 은 본 발명에 따른 양안식 멀티미디어 컨텐츠 저작 장치의 일실시예 전체 구성도이다.
도 1에 도시된 바와 같이, 본 발명에 따른 양안식 멀티미디어 컨텐츠 저작 장치는, 저작에 이용되는 해당 미디어(AV 컨텐츠)들을 입력받는 미디어 입력부(11)와, 입력받은 미디어를 저작에 이용하기 위한 전처리 과정을 수행하는 미디어 전처리부(12)와, 입력받은 미디어를 이용하여 장면을 구성 또는 편집하는 미디어 편집부(13)와, 부호화되지 않은 미디어들을 각 미디오 부호화 형식에 맞도록 부호화하는 미디어 부호화부(14)와, 저작에 사용된 미디어와 미디어들의 공간/시간적 정보 등 장면의 모든 구성을 양안식 컨텐츠 형식으로 변환하기 위한 양안식 컨텐츠 변환부(15)를 포함한다.
보다 구체적으로 살펴보면, 본 발명에 따른 양안식 멀티미디어 컨텐츠 저작 장치는, 저작용 미디어(비디오, 이미지, 오디오 등) 파일을 입력받기 위한 미디어 입력부(11)와, 미디어 입력부(11)를 통해 입력된 영상(단안식 영상(2D), 양안식 영상(센서를 부착하지 않은 카메라를 통하여 획득된 양안식 영상, 센서를 부착한 카메라를 통하여 획득된 양안식 영상)(3D))의 변이를 이용해 양안식 영상의 깊이값을 추출하기 위한 미디어 전처리부(12)와, 미디어 전처리부(12)를 통해 깊이값이 추출된 양안식 영상과 그외 미디어 정보들로 장면을 구성하고, 합성된 양안식 영상들간에 깊이감을 조절하기 위한 미디어 편집부(13)와, 각 미디어 부호화 형식에 맞게 양안식 장면을 부호화하기 위한 미디어 부호화부(14)와, 저작에 사용된 미디어와, 미디어의 공간/시간적 정보를 양안식 컨텐츠 형식으로 변환하기 위한 양안식 컨텐츠 변환부(15)를 포함한다.
미디어 전처리부(12)는 센서를 부착한 카메라를 통하여 획득된 양안식 영상데이터(카메라 정보 포함) 및 센서를 부착하지 않은 카메라를 통하여 획득된 양안식 영상 데이터의 깊이값을 획득한다. 이때, 센서를 부착하지 않은 카메라를 통하여 획득된 양안식 영상 데이터에 대해서는 카메라 정보를 획득한 후, 카메라 정보의 영상변이를 이용해 양안식 영상의 깊이값을 추출하며, 센서를 부착한 카메라를 통하여 획득된 양안식 영상 데이터에 대해서는 카메라 정보를 포함하고 있으므로 카메라 정보의 영상변이를 이용해 양안식 영상의 깊이값을 추출한다.
여기서, 양안식 영상의 깊이값을 추출하는 과정은, 좌우 양안식 영상의 특징점을 검출하여, 추출된 특징점을 중심으로 특징점 주위 에지들의 대칭성을 구한 후, 영상 대칭성을 이용하여 좌 영상과 우 영상에서 대응점을 찾아, 획득된 좌우 영상의 두 대응점을 이용하여 깊이값을 구한다.
한편, 단안식(2D) 영상 데이터가 입력되면, 미디어 전처리부(12)는 단안식 영상을 양안식 영상으로 변환하고, 사용자에 의해 임의로 지정된 영상변위를 이용하여 변환된 양안식 영상의 깊이값을 추출한다. 이때, 단안식 영상을 양안식 영상에 합성하기 위해, 단안식 영상이 입력되었을 때 장면내의 영상의 삽입 위치를 결정하고, 장면내에 삽입 위치가 결정되면 그 위치의 깊이값을 구해내 단안식 영상을 해당 장면 삽입 위치의 깊이값을 갖는 양안식 영상으로 변환한다.
미디어 편집부(13)를 통해, 그래픽 사용자 인터페이스(GUI) 또는 기타 입력장치를 통하여 입력된 객체들을 해당 객체의 성격에 따라 GUI에 각각 다르게 표현 가능하며, 객체의 표현 시간과 소멸 시간을 GUI의 편집창을 통해 입력 가능하며, 편집창을 통해 입력된 내용을 객체에 반영하여 객체를 시간적 또는 공간적으로 배치 및 표현 가능하며, 각 미디어 객체의 속성 정보를 입력 또는 수정하여 하나의 장면을 구성할 수 있다. 이때, 입력된 편집/저작 정보는 VRML, XMT 또는 기타 기술언어로 표현하여 내부 자료구조로 저장하거나, 또는 내부 자료구조에 저장되어 있는 편집/저작 정보 및 데이터를 GUI에서 재편집이 가능하도록 GUI에 전달한다. 양안식 멀티미디어 컨텐츠를 출력 장치에 디스플레이하고자 할 때 데이터 기술언어로 표현된 내부자료 구조는 양안식 미디어 데이터를 출력장치에 출력할 수 있는 정보를 제공하여야 하며, 이를 위해 내부 자료구조를 구성한다.
미디어 편집부(13)는 실제 화면 출력을 위해 수치적인 정보인 변위값을 출력 가능한 형태로 변환하고, 양안식 영상의 깊이값을 변경하고자 할 때 장면내의 특정 위치에 양안식 영상의 삽입 위치를 정하고 삽입 위치에 해당하는 변위값으로 입력된 영상의 변위값을 변환하는 기능을 수행한다.
미디어 부호화부(14)는 입력된 미디어 데이터들이 부호화가 된 객체인지를 판별하여, 부호화되지 않는 미디어 데이터를 데이터의 성격에 맞는 부호화기를 호출하여 부호화한다.
양안식 컨텐츠 변환부(15)는 장면 기술을 위해 사용된 기술언어 데이터 파일과 미디어 데이터를 양안식 확장 규격에 따라 양안식 멀티미디어 컨텐츠 파일로 변환하거나, 양안식 멀티미디어 컨텐츠가 입력되었을 때, 이 데이터를 기술언어 데이터 파일과 미디어 파일로 변환하는 기능을 수행한다.
그럼, 도 2를 참조하여 입력된 영상 미디어가 양안식 영상일 때, 미디어 편집부(13)에 입력되기 전의 전처리 과정을 살펴보기로 한다.
도 2에서, "21"은 양안식 영상 판별부, "22"는 카메라 정보 획득부, "23"은 영상변이 획득부, 그리고 "24"는 영상 깊이값 획득부를 각각 나타낸다.
입력되는 미디어가 양안식 영상(센서가 장착된 스테레오 카메라를 통해 획득된 양안식 영상(카메라 정보를 포함하는 양안식 영상), 센서가 장착되지 않은 카메라를 통해 획득된 양안식 영상(카메라 정보를 포함하지 않는 양안식 영상))일 때, 양안식 저작도구는 양안식 영상의 깊이값을 갖는 깊이 지도(depthmap)가 필요하다.
따라서, 미디어 전처리부(12)는 도 2에 도시된 바와 같이 단안식 또는 양안식 영상을 판별하기 위한 양안식 영상 판별부(21)와, 카메라 정보를 포함하지 않는 양안식 영상으로부터 카메라의 거리 및 초점 등의 카메라 정보를 추출하는 카메라 정보 획득부(22)와, 두 장의 양안식 영상에서 정합점을 찾는 영상변이 획득부(23)와, 획득된 영상변이를 이용하여 영상내의 특정 위치에 대한 깊이값을 찾기 위한 영상 깊이값 획득부(24)를 포함한다.
결국, 카메라 정보 획득부(22)는 카메라 정보를 포함하지 않는 양안식 영상으로부터 카메라 정보를 획득하는데 사용된다.
상기 영상변이 획득부 및 영상 깊이값 획득부(24)는 도 3과 같이 나타낼 수 있다.
따라서, 미디어 전처리부(12)는 도 3에 도시된 바와 같이 미디어 입력수단을 통해 입력된 영상 미디어의 종류를 판별하기 위한 양안식 영상 판별부(21)와, 양안식 영상 판별부(21)에 의해 판별된 양안식 영상으로부터 카메라의 거리 및 초점을 포함하는 카메라 정보를 추출하기 위한 카메라 정보 획득부(22)와, 양안식 영상의에지나 코너점을 포함하는 영상특징점을 검출하기 위한 특징점 검출부(31)와, 영상 대응점 검색을 위해서, 특징점을 중심으로 에지들의 대칭도를 구하기 위한 대칭도 측정부(32)와, 대칭도 측정부(32)를 통해 대칭도가 구해진 두 영상의 대응점을 찾기 위한 매칭점 검출부(33)와, 매칭점 검출부(33)에서 찾은 대응점들의 변위값과 카메라 켈리브레이션을 통해 획득된 카메라 변수값들을 이용하여 영상내의 깊이값을 측정하기 위한 깊이값 측정부(34)를 포함한다.
만약, 카메라 정보가 없는 양안식 영상이 미디어 입력부(11)를 통해 입력됐을 때, 이 영상은 영상처리에 의한 깊이값 측정이 필요하다. 양안식 영상에서 깊이값 측정은 좌우 영상의 대응점을 찾는 작업부터 시작된다. 이를 위해 입력된 영상은 먼저 특징점 검출부(31)를 통해 에지나 코너점 등의 영상의 특징점이 추출된다. 좌우 영상의 특징점이 검출되었다면, 영상 대응점 검색을 위해서 대칭도 측정부(32)를 통해 특징점을 중심으로 에지들의 대칭도를 구한다.
대칭도 측정부(32)는 특징점을 중심으로 한 주위의 에지점들이 갖는 각각의 대칭특성을 대칭점에 누적시킴으로써, 영상이 갖는 특징을 강조하여 영상 대응점의 검색의 정확성을 높일 수 있다.
이후, 대칭도 측정부(32)를 통해 대칭도가 구해진 두 영상은 매칭점 검출부(33)를 통해서 양쪽 영상의 대응점을 찾게 된다. 양쪽 영상에서 대응점이 검색되었다면, 이 대응점들은 영상 깊이값 측정부(34)에 입력되어 대응점들의 변위값과 카메라 켈리브레이션을 통해 획득된 카메라 변수값들을 이용하여 영상내의 깊이값이 측정된다.
이제, 도 4를 참조하여 입력된 영상 미디어가 한 장의 단안식 영상일 때, 미디어 편집부(13)에 입력되기 전의 전처리 과정을 살펴보기로 한다.
양안식 저작도구에서 기존의 단안식 영상을 이용하여 양안식 영상과 같이 사용하기 위해서는, 영상의 변환이 필요하며, 2D/3D 영상 변환부(41)는 입력된 2D 영상 이미지를 3차원 공간상에 입력할 수 있도록 2D 이미지를 양안식 영상으로 변환한다.
따라서, 미디어 전처리부(12)는 도 4에 도시된 바와 같이 미디어 입력부(11)를 통해 입력된 영상 미디어의 종류를 판별하기 위한 양안식 영상 판별부(21)와, 양안식 영상 판별부(21)에 의해 판별된 단안식 영상을 양안식 영상으로 변환하기 위한 2D/3D 영상 변환부(41)와, 사용자의 요구에 따라, 단안식 영상이 변환된 양안식 영상의 변위를 지정하기 위한 영상변위 지정부(42)와, 영상변이 지정부(42)에 의해 지정된 영상변이를 이용하여 영상내의 특정 위치에 대한 깊이값을 찾기 위한 영상 깊이값 획득부(43)를 포함한다.
한편, 미디어 편집부(13)는 입력된 영상 미디어들을 이용하여 장면을 구성하고 편집하는 것으로, 도 4에서 설명한 2D/3D 영상 변환부(41)를 통해 양안식 영상으로 변환된 영상은 기존의 양안식 영상과 영상 합성부(51)를 통해 합성되고, 영상변이 변환부(52)를 통해 입체감있는 장면을 구성하게 된다.
여기서, 양안식 영상들의 합성에 있어서, 주어진 양안식 영상들의 깊이값을 주어진 값으로 설정하고, 양안식 영상들의 합성 작업시 원하는 영상을 기본 영상의 임의의 깊이 위치에 위치시키고자 할 때 대상 영상의 깊이값을 변화시켜, 깊이값을변화시킨 영상을 화면에 디스플레이할 때 변해진 깊이값에 따라 올바른 형태로 디스플레이되도록 한다.
다른 한편, 미디어 부호화부(14)는 편집창을 통하여 모든 구성을 끝마친 양안식 장면을 부호화하며, 양안식 멀티미디어 컨텐츠로 부호화할 때 컨텐츠의 디스플레이시 정확한 양안식 디스플레이를 위해 컨텐츠내의 양안식 영상의 동기화를 수행한다.
도 6 은 본 발명에 따른 양안식 멀티미디어 컨텐츠 저작 방법에 대한 일실시예 흐름도이다.
도 6에 도시된 바와 같이, 본 발명에 따른 양안식 멀티미디어 컨텐츠 저작 방법은, 먼저 미디어 입력부(11)를 통해 사용자가 사용하고자 하는 미디어 파일들을 입력받은 후(601), 미디어 파일이 영상인지 아닌지를 판단한다(602).
판단 결과, 입력된 미디어 파일이 영상이 아니면 장면 구성 초기화 과정(609)으로 넘어가고, 영상이면 미디어 전처리부(12)의 양안식 영상 판별부(21)에서 단안식 또는 양안식 영상인지를 검사한다(603).
검사 결과, 영상 미디어가 단안식(2D) 영상일 경우, 2D/3D 영상 변환부(41)에서 단안식 영상을 양안식 영상으로 변환한다(604). 이때, 영상변위 지정부(42)를 통해 사용자에 의해 지정된 영상변이를 이용하여, 영상 깊이값 획득부(43)에서 양안식 영상으로 변환된 영상내의 특정 위치에 대한 깊이값을 찾는다.
검사 결과, 영상 미디어가 양안식(3D) 영상일 경우, 카메라 정보를 포함하지 않는 양안식 영상에 대해서는 카메라 정보 획득부(22)에서 카메라의 거리 및 초점등의 카메라 정보를 추출한 후(606), 영상변이 획득부(23)에서 두 장의 양안식 영상에서 정합점을 찾고(607) 영상 깊이값 획득부(24)에서 획득된 영상변이를 이용하여 영상내의 특정 위치에 대한 깊이값을 찾는다(608). 그러나, 센서를 부착한 카메라를 통하여 획득된 양안식 영상 데이터에 대해서는 카메라 정보를 포함하고 있으므로 영상변이 획득부(23)에서 두 장의 양안식 영상에서 정합점을 찾고(607) 영상 깊이값 획득부(24)에서 카메라 정보의 영상변이를 이용해 양안식 영상의 깊이값을 추출한다(608).
여기서, 양안식 영상의 깊이값을 추출하는 과정(607,608)은, 좌우 양안식 영상의 특징점을 검출하여, 추출된 특징점을 중심으로 특징점 주위 에지들의 대칭성을 구한 후, 영상 대칭성을 이용하여 좌 영상과 우 영상에서 대응점을 찾아, 획득된 좌우 영상의 두 대응점을 이용하여 깊이값을 구한다. 즉, 양안식 영상의 에지나 코너점을 포함하는 영상특징점을 검출한 후 특징점을 중심으로 에지들의 대칭도를 구하고, 대칭도가 구해진 두 영상의 대응점을 찾아, 대응점들의 변위값과 카메라 켈리브레이션을 통해 획득된 카메라 변수값들을 이용하여 영상내의 깊이값을 측정한다.
이후, 미디어 편집부(13)에서 오디오와 영상 미디어들로 대략적인 초기 장면을 구성한다(609). 이 초기화 과정은 오디오 파일의 초기 배치, 양안식 미디어들의 공간적 초기화를 포함한다. 만약, 해당 영상 미디어들간에 깊이감을 변화시켜 입체감을 조절하고자 한다면, 영상 변이값들을 변화시켜 영상 미디어들을 재배치할 수 있다(610).
영상 미디어들의 재배치 외에, 장면 편집은 편집창을 이용해 수행되며(611), 장면을 구성하는 작업이 끝나면(612) 미디어 부호화부(14)는 MPEG-4로 데이터화하기 전에 해당 미디어들이 각각의 형식에 맞게끔 부호화되어 있는가를 판별하여(613), 미디어들이 부호화되어 있다면 다음 과정(615)으로 넘어가고, 만약 부호화되지 않았다면 영상, 오디오들을 표준에 맞는 방식으로 미디어 부호화 작업을 수행한다(614).
미디어 부호화까지 모든 작업을 마치면, 장면을 구성하는 모든 정보 및 미디어들은 MPEG-4 데이터 형식으로 부호화된 후(615) 종료된다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
상기한 바와 같은 본 발명은, 이차원적인 평면 멀티미디어 컨텐츠가 아닌, 양안식 멀티미디어 데이터들을 이용하여 입체감을 갖는 양안식 멀티미디어 컨텐츠를 만들 수 있어, 2D 평면상의 멀티미디어 컨텐츠가 줄 수 없는 사실감을 사용자에게 줄 수 있으며, 컨텐츠 생산 과정에서 사용되는 기반 기술들을 기타 입체 동영상을 제작하는데 이용할 수 있는 효과가 있다.
또한, 본 발명은 양안식 멀티미디어 컨텐츠를 만드는데 있어 양안식 입체 영상에 적합한 응용 기술을 이용함으로써 양안식 입체 영상 합성 기술의 발달과 양안식 멀티미디어 컨텐츠의 자유로운 저작으로 입체 영상의 다변화 및 산업화를 촉진시킬 수 있는 효과가 있다.

Claims (17)

  1. 양안식 멀티미디어 컨텐츠 저작 장치에 있어서,
    저작용 미디어 파일을 입력받기 위한 미디어 입력수단;
    상기 미디어 입력수단을 통해 입력된 영상의 변이를 이용하여 양안식 영상의 깊이값을 추출하기 위한 미디어 전처리수단;
    상기 미디어 전처리수단을 통해 깊이값이 추출된 양안식 영상과 그외 미디어 정보들로 장면을 구성하고, 합성된 양안식 영상들간에 깊이감을 조절하기 위한 미디어 편집수단;
    각 미디어 부호화 형식에 맞게 양안식 장면을 부호화하기 위한 미디어 부호화수단; 및
    저작에 사용된 미디어와, 미디어의 공간/시간적 정보를 양안식 컨텐츠 형식으로 변환하기 위한 양안식 컨텐츠 변환수단
    을 포함하는 양안식 멀티미디어 컨텐츠 저작 장치.
  2. 제 1 항에 있어서,
    상기 영상은,
    단안식 영상, 센서를 부착하지 않은 카메라를 통해 획득된 양안식 영상(카메라 정보를 포함한 양안식 영상) 및 센서를 부착한 카메라를 통해 획득된 양안식 영상(카메라 정보를 포함한 양안식 영상)을 포함하는 것을 특징으로 하는 양안식 멀티미디어 컨텐츠 저작 장치.
  3. 제 2 항에 있어서,
    상기 미디어 전처리수단은,
    상기 미디어 입력수단을 통해 입력된 영상 미디어의 종류를 판별하기 위한 영상 판별수단;
    상기 영상 판별수단에 의해 판별된 양안식 영상으로부터 카메라의 거리 및 초점을 포함하는 카메라 정보를 추출하기 위한 카메라 정보 획득수단;
    상기 카메라 정보를 바탕으로 두 장의 양안식 영상에서 정합점을 찾는 영상변이 획득수단; 및
    상기 영상변이 획득수단에 의해 획득된 영상변이를 이용하여 영상내의 특정 위치에 대한 깊이값을 찾기 위한 영상 깊이값 획득수단
    을 포함하는 양안식 멀티미디어 컨텐츠 저작 장치.
  4. 제 2 항에 있어서,
    상기 미디어 전처리수단에서 양안식 영상의 깊이값을 추출하는 과정은,
    좌우 양안식 영상의 특징점을 검출하여, 추출된 특징점을 중심으로 특징점주위 에지들의 대칭성을 구한 후, 영상 대칭성을 이용하여 좌 영상과 우 영상에서 대응점을 찾아, 획득된 좌우 영상의 두 대응점을 이용하여 깊이값을 구하는 것을 특징으로 하는 양안식 멀티미디어 컨텐츠 저작 장치.
  5. 제 4 항에 있어서,
    상기 미디어 전처리수단은,
    상기 미디어 입력수단을 통해 입력된 영상 미디어의 종류를 판별하기 위한 영상 판별수단;
    상기 영상 판별수단에 의해 판별된 양안식 영상으로부터 카메라의 거리 및 초점을 포함하는 카메라 정보를 추출하기 위한 카메라 정보 획득수단;
    양안식 영상의 에지나 코너점을 포함하는 영상특징점을 검출하기 위한 특징점 검출수단;
    영상 대응점 검색을 위해서, 특징점을 중심으로 에지들의 대칭도를 구하기 위한 대칭도 측정수단;
    상기 대칭도 측정수단을 통해 대칭도가 구해진 두 영상의 대응점을 찾기 위한 매칭점 검출수단; 및
    상기 매칭점 검출수단에서 찾은 대응점들의 변위값과 카메라 켈리브레이션을 통해 획득된 카메라 변수값들을 이용하여 영상내의 깊이값을 측정하기 위한 깊이값 측정수단
    을 포함하는 양안식 멀티미디어 컨텐츠 저작 장치.
  6. 제 5 항에 있어서,
    상기 대칭도 측정수단은,
    특징점을 중심으로 한 주위의 에지점들이 갖는 각각의 대칭특성을 대칭점에 누적시킴으로써, 영상이 갖는 특징을 강조하여 영상 대응점의 검색의 정확성을 높이는 것을 특징으로 하는 양안식 멀티미디어 컨텐츠 저작 장치.
  7. 제 2 항에 있어서,
    상기 미디어 전처리수단은,
    단안식 영상을 양안식 영상에 합성할 수 있도록, 단안식 영상이 입력되었을 때 장면내의 영상의 삽입 위치를 결정하여 그 위치의 깊이값을 구해내, 단안식 영상을 해당 장면 삽입위치의 깊이값을 갖는 양안식 영상으로 변환하는 것을 특징으로 하는 양안식 멀티미디어 컨텐츠 저작 장치.
  8. 제 7 항에 있어서,
    상기 미디어 전처리수단은,
    상기 미디어 입력수단을 통해 입력된 영상 미디어의 종류를 판별하기 위한 영상 판별수단;
    상기 영상 판별수단에 의해 판별된 단안식 영상을 양안식 영상으로 변환하기 위한 영상 변환수단;
    사용자의 요구에 따라, 단안식 영상이 변환된 양안식 영상의 변위를 지정하기 위한 영상변위 지정수단; 및
    상기 영상변이 지정수단에 의해 지정된 영상변이를 이용하여 영상내의 특정 위치에 대한 깊이값을 찾기 위한 영상 깊이값 획득수단
    을 포함하는 양안식 멀티미디어 컨텐츠 저작 장치.
  9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 장면 구성시에,
    시각적인 표현을 위해 편집창에서 그래픽화된 도형이나 기하 객체를 이용하고, 장면내의 객체들간의 관계를 트리구조를 통하여 나타내며, 이렇게 표현된 객체 및 객체들의 관계를 데이터 기술언어를 사용하여 내부 자료구조로 저장하는 것을 특징으로 하는 양안식 멀티미디어 컨텐츠 저작 장치.
  10. 양안식 멀티미디어 컨텐츠 저작 장치에 적용되는 양안식 멀티미디어 컨텐츠저작 방법에 있어서,
    저작하고자 하는 미디어 파일 중 영상 미디어의 변이를 이용하여 양안식 영상의 깊이값을 추출하는 제 1 단계;
    상기 깊이값이 추출된 양안식 영상과 그외 미디어 정보들로 장면을 구성하고, 합성된 양안식 영상들간에 깊이감을 조절하는 제 2 단계;
    각 미디어 부호화 형식에 맞게 양안식 장면을 부호화하는 제 3 단계; 및
    저작에 사용된 미디어와, 미디어의 공간/시간적 정보를 양안식 컨텐츠 형식으로 변환하는 제 4 단계
    를 포함하는 양안식 멀티미디어 컨텐츠 저작 방법.
  11. 제 10 항에 있어서,
    상기 영상은,
    단안식 영상, 센서를 부착하지 않은 카메라를 통해 획득된 양안식 영상(카메라 정보를 포함한 양안식 영상) 및 센서를 부착한 카메라를 통해 획득된 양안식 영상(카메라 정보를 포함한 양안식 영상)을 포함하는 것을 특징으로 하는 양안식 멀티미디어 컨텐츠 저작 방법.
  12. 제 11 항에 있어서,
    상기 제 1 단계는,
    입력된 영상 미디어의 종류를 판별하는 제 5 단계;
    상기 제 5 단계의 판별 결과에 따라 판별된 양안식 영상으로부터 카메라의 거리 및 초점을 포함하는 카메라 정보를 추출하는 제 6 단계;
    상기 카메라 정보를 바탕으로 두 장의 양안식 영상에서 정합점을 찾아 영상변이를 획득하는 제 7 단계; 및
    획득된 영상변이를 이용하여 영상내의 특정 위치에 대한 깊이값을 찾는 제 8 단계
    를 포함하는 양안식 멀티미디어 컨텐츠 저작 방법.
  13. 제 11 항에 있어서,
    상기 제 1 단계에서 양안식 영상의 깊이값을 추출하는 과정은,
    좌우 양안식 영상의 특징점을 검출하여, 추출된 특징점을 중심으로 특징점 주위 에지들의 대칭성을 구한 후, 영상 대칭성을 이용하여 좌 영상과 우 영상에서 대응점을 찾아, 획득된 좌우 영상의 두 대응점을 이용하여 깊이값을 구하는 것을 특징으로 하는 양안식 멀티미디어 컨텐츠 저작 방법.
  14. 제 13 항에 있어서,
    상기 제 1 단계는,
    입력된 영상 미디어의 종류를 판별하는 제 5 단계;
    상기 제 5 단계의 판별 결과에 따라 판별된 양안식 영상으로부터 카메라의 거리 및 초점을 포함하는 카메라 정보를 추출하는 제 6 단계;
    상기 카메라 정보를 바탕으로, 양안식 영상의 에지나 코너점을 포함하는 영상특징점을 검출하는 제 7 단계;
    영상 대응점 검색을 위해서, 특징점을 중심으로 에지들의 대칭도를 구하는 제 8 단계;
    상기 제 8 단계에서 대칭도가 구해진 두 영상의 대응점을 찾는 제 9 단계; 및
    상기 제 9 단계에서 찾은 대응점들의 변위값과 카메라 켈리브레이션을 통해 획득된 카메라 변수값들을 이용하여 영상내의 깊이값을 측정하는 제 9 단계
    를 포함하는 양안식 멀티미디어 컨텐츠 저작 방법.
  15. 제 11 항에 있어서,
    상기 제 1 단계는,
    단안식 영상을 양안식 영상에 합성할 수 있도록, 단안식 영상이 입력되었을 때 장면내의 영상의 삽입 위치를 결정하여 그 위치의 깊이값을 구해내, 단안식 영상을 해당 장면 삽입위치의 깊이값을 갖는 양안식 영상으로 변환하되,
    입력된 영상 미디어의 종류를 판별하는 제 5 단계;
    상기 제 5 단계의 판별 결과에 따라 판별된 단안식 영상을 양안식 영상으로 변환하는 제 6 단계;
    사용자의 요구에 따라, 단안식 영상이 변환된 양안식 영상의 변위를 지정하는 제 7 단계; 및
    상기 제 7 단계에서 지정된 영상변이를 이용하여 영상내의 특정 위치에 대한 깊이값을 찾는 제 8 단계
    를 포함하는 양안식 멀티미디어 컨텐츠 저작 방법.
  16. 제 10 항 내지 제 15 항 중 어느 한 항에 있어서,
    상기 장면 구성시에,
    시각적인 표현을 위해 편집창에서 그래픽화된 도형이나 기하 객체를 이용하고, 장면내의 객체들간의 관계를 트리구조를 통하여 나타내며, 이렇게 표현된 객체 및 객체들의 관계를 데이터 기술언어를 사용하여 내부 자료구조로 저장하는 것을 특징으로 하는 양안식 멀티미디어 컨텐츠 저작 장치.
  17. 프로세서를 구비한 양안식 멀티미디어 컨텐츠 저작 장치에,
    저작하고자 하는 미디어 파일 중 영상 미디어의 변이를 이용하여 양안식 영상의 깊이값을 추출하는 제 1 기능;
    상기 깊이값이 추출된 양안식 영상과 그외 미디어 정보들로 장면을 구성하고, 합성된 양안식 영상들간에 깊이감을 조절하는 제 2 기능;
    각 미디어 부호화 형식에 맞게 양안식 장면을 부호화하는 제 3 기능; 및
    저작에 사용된 미디어와, 미디어의 공간/시간적 정보를 양안식 컨텐츠 형식으로 변환하는 제 4 기능
    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR10-2002-0070750A 2002-11-14 2002-11-14 양안식 멀티미디어 컨텐츠 저작 장치 및 그 방법 KR100448882B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2002-0070750A KR100448882B1 (ko) 2002-11-14 2002-11-14 양안식 멀티미디어 컨텐츠 저작 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2002-0070750A KR100448882B1 (ko) 2002-11-14 2002-11-14 양안식 멀티미디어 컨텐츠 저작 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20040042449A true KR20040042449A (ko) 2004-05-20
KR100448882B1 KR100448882B1 (ko) 2004-09-18

Family

ID=37339233

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0070750A KR100448882B1 (ko) 2002-11-14 2002-11-14 양안식 멀티미디어 컨텐츠 저작 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR100448882B1 (ko)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007053627A1 (en) * 2005-10-31 2007-05-10 Microsoft Corporation Media sharing and authoring on the web
US7274741B2 (en) 2002-11-01 2007-09-25 Microsoft Corporation Systems and methods for generating a comprehensive user attention model
US7400761B2 (en) 2003-09-30 2008-07-15 Microsoft Corporation Contrast-based image attention analysis framework
US7444018B2 (en) 2001-06-14 2008-10-28 Microsoft Corporation Method and apparatus for shot detection
US7471827B2 (en) 2003-10-16 2008-12-30 Microsoft Corporation Automatic browsing path generation to present image areas with high attention value as a function of space and time
US7565016B2 (en) 2003-02-18 2009-07-21 Microsoft Corporation Learning-based automatic commercial content detection
US7773813B2 (en) 2005-10-31 2010-08-10 Microsoft Corporation Capture-intention detection for video content analysis
US7986372B2 (en) 2004-08-02 2011-07-26 Microsoft Corporation Systems and methods for smart media content thumbnail extraction
US8098730B2 (en) 2002-11-01 2012-01-17 Microsoft Corporation Generating a motion attention model
US8196032B2 (en) 2005-11-01 2012-06-05 Microsoft Corporation Template-based multimedia authoring and sharing
US9053754B2 (en) 2004-07-28 2015-06-09 Microsoft Technology Licensing, Llc Thumbnail generation and presentation for recorded TV programs

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4754327A (en) * 1987-03-20 1988-06-28 Honeywell, Inc. Single sensor three dimensional imaging
KR100358021B1 (ko) * 1994-02-01 2003-01-24 산요 덴키 가부시키가이샤 2차원영상을3차원영상으로변환시키는방법및입체영상표시시스템
JPH11187426A (ja) * 1997-12-18 1999-07-09 Victor Co Of Japan Ltd 立体映像装置及び方法
KR100263936B1 (ko) * 1997-12-30 2000-08-16 윤종용 가상 스테레오 영상을 이용한 2차원 연속 영상의 3차원 영상 변환 장치 및 방법
KR100297831B1 (ko) * 1998-05-04 2001-08-07 윤종용 2차원 연속영상의 3차원 영상변환장치

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7444018B2 (en) 2001-06-14 2008-10-28 Microsoft Corporation Method and apparatus for shot detection
US7274741B2 (en) 2002-11-01 2007-09-25 Microsoft Corporation Systems and methods for generating a comprehensive user attention model
US8098730B2 (en) 2002-11-01 2012-01-17 Microsoft Corporation Generating a motion attention model
US7565016B2 (en) 2003-02-18 2009-07-21 Microsoft Corporation Learning-based automatic commercial content detection
US7400761B2 (en) 2003-09-30 2008-07-15 Microsoft Corporation Contrast-based image attention analysis framework
US7471827B2 (en) 2003-10-16 2008-12-30 Microsoft Corporation Automatic browsing path generation to present image areas with high attention value as a function of space and time
US9053754B2 (en) 2004-07-28 2015-06-09 Microsoft Technology Licensing, Llc Thumbnail generation and presentation for recorded TV programs
US9355684B2 (en) 2004-07-28 2016-05-31 Microsoft Technology Licensing, Llc Thumbnail generation and presentation for recorded TV programs
US7986372B2 (en) 2004-08-02 2011-07-26 Microsoft Corporation Systems and methods for smart media content thumbnail extraction
US7773813B2 (en) 2005-10-31 2010-08-10 Microsoft Corporation Capture-intention detection for video content analysis
US8180826B2 (en) 2005-10-31 2012-05-15 Microsoft Corporation Media sharing and authoring on the web
WO2007053627A1 (en) * 2005-10-31 2007-05-10 Microsoft Corporation Media sharing and authoring on the web
US8196032B2 (en) 2005-11-01 2012-06-05 Microsoft Corporation Template-based multimedia authoring and sharing

Also Published As

Publication number Publication date
KR100448882B1 (ko) 2004-09-18

Similar Documents

Publication Publication Date Title
RU2743732C2 (ru) Способ и устройство для обработки видео- и аудиосигналов и программа
EP1433335B1 (en) 3d video conferencing system
Ribeiro et al. Auditory augmented reality: Object sonification for the visually impaired
US10205889B2 (en) Method of replacing objects in a video stream and computer program
KR101520619B1 (ko) 스테레오 동기화를 위한 스테레오스코픽 영상의 시점 결정방법 및 장치
Feng et al. Object-based 2D-to-3D video conversion for effective stereoscopic content generation in 3D-TV applications
JP4942106B2 (ja) 奥行データ出力装置及び奥行データ受信装置
KR100448882B1 (ko) 양안식 멀티미디어 컨텐츠 저작 장치 및 그 방법
KR20100002049A (ko) 영상 처리 방법 및 장치
KR101393621B1 (ko) 3차원 입체영상의 품질 분석 장치 및 방법
KR20150021522A (ko) 입체 결상을 구현하는 방법 및 장치
KR20120002261A (ko) 3차원 증강 현실 제공 장치 및 방법
US20220385721A1 (en) 3d mesh generation on a server
EP2400767A2 (en) Graphic image processing method and apparatus
JP7184748B2 (ja) 場面の積層深度データを生成するための方法
KR20150105069A (ko) 혼합현실형 가상 공연 시스템을 위한 평면 영상 입체화 합성기법
KR100263936B1 (ko) 가상 스테레오 영상을 이용한 2차원 연속 영상의 3차원 영상 변환 장치 및 방법
JP2002245451A (ja) 立体画像評価装置
JP4862004B2 (ja) 奥行きデータ生成装置及び奥行きデータ生成方法ならびにそのプログラム
KR20110060180A (ko) 관심 객체 선택을 통한 3차원 모델 생성 방법 및 장치
KR101849696B1 (ko) 영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 방법 및 장치
KR20110100341A (ko) 스테레오 엔도스코프를 이용한 가상 엔도스코프를 정합하는 방법
KR20110100343A (ko) 스테레오 엔도스코프를 이용한 수술용 이미지를 정합하는 방법
KR101390811B1 (ko) 3차원 영상을 위한 다시점 카메라 파라미터 수신 방법 및그 장치, 그리고 다시점 카메라 파라미터 전송 방법 및 그장치
US12014516B2 (en) Information integration method, information integration device, and information integration program

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20080905

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee