KR20110097647A - 휴대용 단말기에서 입체 영상 데이터를 생성하기 위한 장치 및 방법 - Google Patents

휴대용 단말기에서 입체 영상 데이터를 생성하기 위한 장치 및 방법 Download PDF

Info

Publication number
KR20110097647A
KR20110097647A KR1020110014557A KR20110014557A KR20110097647A KR 20110097647 A KR20110097647 A KR 20110097647A KR 1020110014557 A KR1020110014557 A KR 1020110014557A KR 20110014557 A KR20110014557 A KR 20110014557A KR 20110097647 A KR20110097647 A KR 20110097647A
Authority
KR
South Korea
Prior art keywords
data
dimensional
portable terminal
display
reproducing
Prior art date
Application number
KR1020110014557A
Other languages
English (en)
Other versions
KR101802238B1 (ko
Inventor
이건일
박하중
김용태
민형석
홍성빈
최광철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP11747702.6A priority Critical patent/EP2541944A4/en
Priority to US13/580,861 priority patent/US9369690B2/en
Priority to PCT/KR2011/001269 priority patent/WO2011105812A2/ko
Priority to JP2012554927A priority patent/JP5859464B2/ja
Publication of KR20110097647A publication Critical patent/KR20110097647A/ko
Application granted granted Critical
Publication of KR101802238B1 publication Critical patent/KR101802238B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 휴대용 단말기의 입체 영상 데이터 처리 장치 및 방법에 관한 것으로, 특히 다수의 카메라를 이용하여 획득된 입체 영상을 효과적으로 저장하기 위한 파일구조 및 저장된 3D 관련 파라미터를 이용하여 다양한 3D 기기들간의 컨텐츠 공유 및 재생을 가능하게 하기 위한 장치 및 방법에 관한 것으로, 다수의 카메라를 이용하여 획득된 입체영상 (일례로 스테레오 영상)을 효과적으로 저장하기 위한 파일구조 및 저장된 3D 관련 파라미터를 이용하여 다양한 3D 기기들간의 컨텐츠 공유 및 재생을 가능하게 한다.

Description

휴대용 단말기에서 입체 영상 데이터를 생성하기 위한 장치 및 방법{APPARATUS AND METHOD FOR GENERATING A THREE-DIMENSION IMAGE DATA IN PORTABLE TERMINAL}
본 발명은 휴대용 단말기의 입체 영상 데이터 처리 장치 및 방법에 관한 것으로, 특히 다수의 카메라를 이용하여 획득된 입체 영상 데이터를 효과적으로 저장하기 위한 파일구조 및 저장된 3D 관련 파라미터를 이용하여 다양한 3D 기기들간의 컨텐츠 공유 및 재생을 가능하게 하기 위한 장치 및 방법에 관한 것이다.
최근의 영상 기술은 3차원 영상을 구현하는 방식에 대한 연구 쪽으로 활발히 진행되고 있다. 이는 보다 사실적이고 현실감 있는 영상 정보를 표현하기 위함이다. 인간 시각 특성을 활용하여, 기존의 디스플레이 장치에 좌시점 영상과 우시점 영상을 각각 해당 위치에 주사한 후, 좌시점과 우시점을 사용자의 좌안과 우안에 분리하여 상이 맺히게 함으로써 3차원 입체감을 느끼게 하는 방법이 여러 가지 면에서 가능성을 인정 받고 있다. 일례로 Barrier LCD를 장착한 휴대용 단말기(입체휴대폰, 입체 카메라, 입체 캠코더 등등) 및 3D TV 에서는 스테레오스코픽 컨텐츠를 재생하여 사용자에게 좀 더 실감나는 영상을 제공할 수 있게 되었다.
도 1은 일반적인 휴대용 단말기에서 사용하는 이미지 파일의 구조를 도시한 도면이다.
상기 도 1을 참조하면, 상기 이미지 파일은 일반적으로 많이 사용되는 정지영상 저장 파일포맷인 JPEG 파일로, SOI(Start of Image) 마커(101)로 시작하고 EOI(End of Image) 마커(107)로 파일의 끝을 나타내게 된다. 중간에 영상의 부가정보들을 저장하는 APP1(EXIF) 어플리케이션 마커(103)가 있으며, 실제적인 영상의 압축 데이터인 MCU(minimum coded unit) Data 부분(105)이 포함된다. 어플리케이션 마커(103) 부분은 APP0 ~ APP15 까지 현재 정의되어 있는 추가적인 필드로써 카메라 제조업체나 관련 뷰어를 만드는 업체에서 나름대로 필요한 파라미터들을 정의하여 사용하고 있다.
다수의 카메라에서 촬영된 이미지 파일을 이용하여 입체 효과를 제공하기 위하여서는 상기와 같은 구조로된 이미지 파일을 다수개 저장해야한다. 일례로 두 개의 카메라에서 촬영된 스테레오 영상 데이터의 경우 두 개의 파일이 각각 생성되어야 하는데 이런 경우 두 파일간의 연결 관계에 대한 정보를 저장하고 있어야 하며, 한쪽의 파일이 지워지거나 파일이름이 수정된 경우 3D 디바이스에서 입체로 재생할 수 없는 문제점이 발생한다.
즉, 종래에는 다수의 카메라로 획득된 영상에 대한 저장 파일포맷 및 3D 관련 파라미터를 저장할 수 있는 파일구조가 정의되어 있지 않음으로 인하여 다양한 3D 기기들간의 컨텐츠 공유 및 재생이 불가능한 문제점이 있다.
상술한 문제점을 해결하기 위하여 안출된 것으로써, 본 발명의 목적은 휴대용 단말기에서 입체 영상 데이터를 생성하기 위한 장치 및 방법을 제공함에 있다.
본 발명의 다른 목적은 휴대용 단말기에서 다른 멀티미디어 기기간 호환성을 높인 입체 영상 데이터를 생성하기 위한 장치 및 방법을 제공함에 있다.
본 발명의 또 다른 목적은 휴대용 단말기에서 시각적 피로도 감소를 위한 경계(Boundary occlusion) 영역 처리를 위한 장치 및 방법을 제공함에 있다.
상술한 목적들을 달성하기 위한 본 발명의 제 1 견지에 따르면, 휴대용 단말기에서 3차원 데이터를 생성하기 위한 장치는 3차원 효과를 제공할 수 있는 다수의 멀티미디어 데이터들을 획득하는 카메라부와, 상기 획득한 멀티미디어 데이터들의 3D 파라미터를 획득하고, 상기 획득한 멀티미디어 데이터를 압축한 후, 상기 획득한 3D 파라미터와 압축한 데이터를 하나의 파일로 생성하는 3차원 데이터 관리부를 포함하는 것을 특징으로 한다.
상술한 목적들을 달성하기 위한 본 발명의 제 2 견지에 따르면, 휴대용 단말기에서 3차원 데이터를 재생하기 위한 장치는 재생하고자 하는 3차원 데이터의 3D 파라미터를 분석한 후, 상기 분석한 파라미터를 기반으로 상기 3차원 데이터에 포함된 다수의 시점을 분석하고, 상기 분석한 다수의 시점을 재생하여 3차원 효과를 제공하는 3차원 데이터 관리부를 포함하는 것을 특징으로 한다.
상술한 목적들을 달성하기 위한 본 발명의 제 3 견지에 따르면, 휴대용 단말기에서 3차원 데이터를 생성하기 위한 방법은 3차원 효과를 제공할 수 있는 다수의 멀티미디어 데이터들을 획득하는 과정과, 상기 획득한 멀티미디어 데이터들의 3D 파라미터를 획득하는 과정과, 상기 획득한 멀티미디어 데이터를 압축한 후, 상기 획득한 3D 파라미터와 압축한 데이터를 하나의 파일로 생성하는 과정을 포함하는 것을 특징으로 한다.
상술한 목적들을 달성하기 위한 본 발명의 제 4 견지에 따르면, 휴대용 단말기에서 3차원 데이터를 재생하기 위한 방법은 재생하고자 하는 3차원 데이터의 3D 파라미터를 분석하는 과정과, 상기 분석한 파라미터를 기반으로 상기 3차원 데이터에 포함된 다수의 시점을 분석하는 과정과, 상기 분석한 다수의 시점을 재생하여 3차원 효과를 제공하는 과정을 포함하는 것을 특징으로 한다.
본 발명을 통하여 다수의 카메라를 이용하여 획득된 입체영상 (일례로 스테레오 영상)을 효과적으로 저장할 수 있으며, 저장된 3D 관련 파라미터들은 다양한 3D 기기들간의 컨텐츠 공유 및 재생을 위한 응용 서비스에 이용될 수 있다.
도 1은 일반적인 휴대용 단말기에서 사용하는 이미지 파일의 구조를 도시한 도면,
도 2는 본 발명에 따른 3차원 데이터를 제어하는 휴대용 단말기의 구성을 도시한 블록도,
도 3(a)는 본 발명의 바람직한 일 실시 예에 따라 두 개의 영상 데이터를 이용하는 3차원 데이터의 구성을 도시한 도면,
도 3(b)는 본 발명의 바람직한 일 실시 예에 따라 세 개의 영상 데이터를 이용하는 3차원 데이터의 구성을 도시한 도면,
도 4는 본 발명의 바람직한 일 실시 예에 따른 휴대용 단말기에서 3차원 데이터를 생성하는 과정을 도시한 흐름도,
도 5는 본 발명의 바람직한 일 실시 예에 따른 휴대용 단말기에서 3차원 데이터를 재생하는 과정을 도시한 흐름도,
도 6은 본 발명의 바람직한 일 실시 예에 따른 휴대용 단말기에서 3D 파라미터를 이용하여 3차원 데이터를 재생하는 과정을 도시한 흐름도,
도 7은 본 발명의 바람직한 일 실시 예에 따른 휴대용 단말기에서 3차원 데이터를 재생하는 과정을 도시한 도면 및,
도 8은 본 발명의 바람직한 일 실시 예에 따른 휴대용 단말기에서 3차원 데이터를 재생하는 과정을 도시한 도면.
이하 본 발명의 바람직한 실시 예를 첨부된 도면의 참조와 함께 상세히 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다.
이하 설명에서는 본 발명에 따른 휴대용 단말기에서 다수의 카메라로 촬영된 데이터(일례로 스테레오 영상)을 하나의 파일로 저장한 3차원 데이터의 생성 및 재생 장치 및 방법에 대하여 설명할 것이다. 또한, 이하 설명에서 상기 휴대용 단말기는 배리어 LCD(Barrier LCD)를 장착한 입체 이동통신 단말기, 입체 카메라, 입체 캠코더, 3D TV등과 같이 스테레오스코픽 컨텐츠를 재생하여 사용자에게 입체감을 제공하는 디스플레이 기기를 의미한다.
도 2는 본 발명에 따른 3차원 데이터를 제어하는 휴대용 단말기의 구성을 도시한 블록도이다.
상기 도 2를 참조하면, 상기 휴대용 단말기는 제어부(200), 3차원 데이터 관리부(202), 카메라부(206), 메모리부(208), 입력부(210), 표시부(212) 및 통신부(214)를 포함하여 구성할 수 있으며, 상기 3차원 데이터 관리부(202)는 3D 파라미터 분석부(204)를 포함하여 구성할 수 있다.
먼저, 상기 휴대용 단말기의 제어부(200)는 상기 휴대용 단말기의 전반적인 동작을 제어한다. 예를 들어, 음성통화 및 데이터 통신을 위한 처리 및 제어를 수행하고, 통상적인 기능에 더하여 본 발명에 따라 상기 제어부(200)는 3D 효과를 제공하는 다수의 데이터를 하나의 파일 형태로 합친 3차원 데이터로 생성하고, 상기와 같은 하나의 파일로 생성된 3차원 데이터를 재생하여 3D 효과를 제공하도록 처리한다.
이때, 상기 제어부(200)는 상기와 같은 3차원 데이터를 재생할 경우, 사용자의 시각적 피로를 줄이면서 해당 데이터를 재생하도록 처리한다.
상기 3차원 데이터 관리부(202)는 상기 제어부(200)의 제어를 받아 상기 3D 효과를 제공하는 다수의 데이터를 하나의 파일 형태로 합친 데이터로 생성하도록 처리한다. 이때, 상기 3차원 데이터 관리부(202)는 상기 데이터들에 대하여 3D 파라미터에 대한 정보를 생성한 후 상기 데이터를 압축시킨다. 이후, 상기 3차원 데이터 관리부(202)는 각각의 데이터들에 대한 3D 파라미터와 상기 압축한 데이터들을 하나의 파일로 합치도록 한다.
또한, 상기 3차원 데이터 관리부(202)는 상기와 같이 하나의 파일로 합쳐진 3차원 데이터를 재생시 상기 3D 파라미터 정보를 분석하고, 상기 분석한 3D 파라미터를 기반으로 3차원 데이터를 재생한다. 이때, 상기 3차원 데이터 관리부(202)는 상기 3차원 데이터를 재생하고자 하는 단말기의 디스플레이 크기에 따라 입체감을 높이거나 입체 효과에 따른 시각적 피로도를 줄이면서 상기 3차원 데이터를 재생하도록 처리한다.
일 예로, 상기 3차원 데이터 관리부(202)는 상기 3차원 데이터를 재생하고자 하는 단말기가 큰 사이즈의 디스플레이를 갖추고 있을 경우, 기준 데이터와 적은 거리에서 획득된 데이터를 재생하여 시각적 피로감을 줄이고, 작은 사이즈의 디스플레이를 갖추고 있을 경우, 기준 데이터와 먼 거리에서 획득된 데이터를 재생하여 입체 효과를 높이도록 처리한다.
또한, 상기 3차원 데이터 관리부(202)는 일정한 거리를 두고 위치한 두개의 카메라를 통해 획득된 데이터의 특정 영역에 존재하는 경계 영역을 제거하면서 3차원 데이터를 재생함으로써 사용자의 시각적 피로를 줄일 수 있다.
상기 3차원 데이터 관리부(202)의 3D 파라미터 분석부(204)는 상기 3차원 데이터 생성시 3D 효과를 제공하는 다수의 데이터들에 대한 파라미터를 분석하며, 상기 3차원 데이터 재생시 상기 데이터에 포함된 시점의 수(NumofStereoPair), 현재 시점과 Stereo Pairing을 이루는 시점의 인덱스(PairedViewID[]), 기준이 되는 시점 대비 현재 시점의 경계 영역의 폭(BoundaryOccludedWidth), 경계 영역이 발생하는 방향(OcclusionDirection)을 파악하여 시청자의 시각적 피로감을 줄이도록 처리한다.
상기 카메라부(206)는 동일 피사체에 대하여 다른 각도에서 촬영하는 카메라들을 의미하는 것으로, 메인 카메라와 서브 카메라는 일정 간격 떨어진 위치에 구비된다.
상기 메모리부(208)는 롬(ROM : Read Only Memory), 램(RAM : Random Access Memory), 플래쉬롬(flash ROM)으로 구성된다. 상기 롬은 상기 제어부(200), 3차원 데이터 관리부(202)의 처리 및 제어를 위한 프로그램의 마이크로코드와 각종 참조 데이터를 저장한다.
상기 램은 상기 제어부(200)의 워킹 메모리(working memory)로, 각종 프로그램 수행 중에 발생하는 일시적인 데이터를 저장한다. 또한, 상기 플래쉬롬은 전화번호부(phone book), 발신메시지 및 수신메시지와 같은 갱신 가능한 각종 보관용 데이터를 저장한다.
상기 입력부(210)는 0 ~ 9의 숫자키 버튼들과, 메뉴버튼(menu), 취소버튼(지움), 확인버튼, 통화버튼(TALK), 종료버튼(END), 인터넷접속 버튼, 네비게이션 키(또는 방향키) 버튼들 및 문자 입력 키 등 다수의 기능키들을 구비하며, 사용자가 누르는 키에 대응하는 키 입력 데이터를 상기 제어부(200)로 제공한다.
상기 표시부(212)는 상기 휴대용 단말기의 동작 중에 발생되는 상태 정보, 제한된 숫자의 문자들, 다량의 동영상 및 정지영상 등을 디스플레이한다. 상기 표시부(212)는 컬러 액정 디스플레이 장치(LCD : Liquid Crystal Display)를 사용할 수 있으며, 상기 표시부(212)는 터치 입력 장치를 구비하여 터치 입력 방식의 휴대용 단말기에 적용할 경우 입력 장치로 사용할 수 있다.
상기 통신부(214)는 안테나(미도시)를 통해 입출력되는 데이터의 무선신호를 송수신 처리하는 기능을 수행한다. 예를 들어, 송신인 경우, 송신할 데이터를 채널 코딩(Channel coding) 및 확산(Spreading)한 후, RF처리하여 송신하는 기능을 수행하고, 수신인 경우, 수신된 RF신호를 기저대역신호로 변환하고 상기 기저대역신호를 역 확산(De-spreading) 및 채널 복호(Channel decoding)하여 데이터를 복원하는 기능을 수행한다.
상기 3차원 데이터 관리부(202)의 역할은 상기 휴대용 단말기의 제어부(200)에 의해 수행할 수 있으나, 본 발명에서 이를 별도로 구성하여 도시한 것은 설명의 편의를 위한 예시적인 구성이지 결코 본 발명의 범위를 제한하자는 것이 아니며, 당업자라면 본 발명의 범위 내에서 다양한 변형 구성이 가능하다는 것을 알 수 있을 것이다. 예를 들어, 이들 모두를 상기 제어부(200)에서 처리하도록 구성할 수도 있다.
이상은 본 발명에 따른 휴대용 단말기에서 다수의 카메라로 촬영된 데이터(일례로 스테레오 영상)을 하나의 파일로 저장한 3차원 데이터의 생성 및 재생 장치에 대하여 설명하였고, 이하 설명에서는 본 발명의 바람직한 일 실시 예에 따른 상기 장치를 이용하여 3차원 데이터의 생성 및 재생 방법에 대하여 설명할 것이다.
도 3은 본 발명의 바람직한 일 실시 예에 따른 3차원 데이터의 구성을 도시한 도면이다.
도 3(a)는 본 발명의 바람직한 일 실시 예에 따라 두 개의 영상 데이터(스테레오 영상 데이터)를 이용하는 3차원 데이터의 구성을 도시한 도면이다.
상기 도 3(a)를 참조하면, 3차원 데이터를 재생할 수 없는 일반적인 휴대용 단말기에서는 상기 3차원 데이터에 포함된 데이터 가운데 메인 카메라를 이용하여 획득한 데이터만을 재생할 수 있도록 한다.
상기와 같이 일반적인 휴대용 단말기에서 상기 3차원 데이터에 대한 호환성(2D backward compatibility)을 높이기 위하여 상기 3차원 데이터는 메인 카메라를 이용하여 획득한 데이터(예; 좌시점 영상) 뒤에 보조 카메라를 통해 획득한 데이터(예; 우시점 영상)를 배치한 형태로 구성한다.
또한, 상기 3차원 데이터는 APP1 마커 영역 및 MCU Data 부분을 포함하며, 본 발명의 바람직한 일 실시 예에 따라 상기 MCU Data의 디코딩을 위한 Offset 정보(301)들을 포함한 APP2 마커 영역과 3차원 데이터에 대한 메타 데이터를 저장하기 위한 APP9 마커 영역(303)을 추가할 수 있다. 여기에서, 상기 MCU Data의 디코딩을 위한 Offset 정보(301)는 다수의 시점에 대한 영상 데이터가 각각 분리되어 저장된 블록의 시작 주소 및 다수의 시점에 대한 영상 데이터의 크기에 대한 정보를 말하는 것이며, 상기 303과 같이 도시한 상기 3차원 데이터에 대한 메타데이터는 하기 표 1과 같이 정의할 수 있다.
Syntax Semantics
NumofStereoPair 현재 시점과 Stereo Pairing을 이루는 총 시점들의 수
PairedViewID[] 현재 시점과 Stereo Pairing을 이루는 시점의 index
- ID 순서는 disparity값에 따라 결정(입체감이 적은 순서)
BoundaryOccludedWidth 기준이 되는 시점 대비 현재 영상의 Occlusion영역의 width
(스테레어 영상일 경우에만 유효함)
OcclusionDirection Occlusion 영역이 발생하는 방향
-0: 영상의 왼쪽 경계 영역에서 발생
-1: 영상의 오른쪽 경계 영역에서 발생
본 발명에서는 상기 3차원 데이터에 대한 메타데이터를 APP9에 정의하여 사용했지만 어플리케이션 마커는 여러 회사에서 나름대로 정의하여 사용하는 필드이기 때문에 어플리케이션 마커 영역의 identifier 필드만 다르게 하면 서로 구분이 되어지기 때문에 APP9으로 사용했지만 APP0 ~ APP15 중 아무거나 지정할 수 있다.
상기와 같은 구조로 저장된 3차원 데이터를 기존의 2D용 휴대용 단말기에서 재생할 경우, 메인 카메라를 통해 획득한 데이터만 재생하고, 3D용 휴대용 단말기에서는 보조 카메라를 통해 획득한 데이터까지 인식하여 3차원으로 재생하도록 한다.
도 3(b)는 본 발명의 바람직한 일 실시 예에 따라 세 개의 영상 데이터를 이용하는 3차원 데이터의 구성을 도시한 도면이다.
상기 도 3(b)를 참조하면, 상기 3차원 데이터는 앞서 설명한 바와 같은 형태로 구성할 수 있다.
하지만, 상기 3차원 데이터는 세 개의 영상 데이터를 하나로 합쳐놓은 데이터로 3개의 MCU Data의 디코딩을 위한 Offset 정보들을 포함한 APP2 마커 영역과 3개의 데이터에 대한 메타데이터를 저장하기 위한 APP9 마커 영역을 추가할 수 있다.
도 4는 본 발명의 바람직한 일 실시 예에 따른 휴대용 단말기에서 3차원 데이터를 생성하는 과정을 도시한 흐름도이다.
상기 도 4를 참조하면, 상기 휴대용 단말기는 먼저 401단계에서 3차원 데이터 생성 이벤트가 발생하는지 확인한다. 여기에서, 상기 3차원 데이터는 3차원 재생에 사용되는 다수의 데이터를 하나의 파일 형태로 합친 데이터를 의미한다.
만일, 상기 401단계에서 3차원 데이터 생성 이벤트가 발생하지 않을 경우, 상기 휴대용 단말기는 413단계로 진행하여 해당 기능(예; 대기 모드)을 수행한다.
한편, 상기 401단계에서 3차원 데이터 생성 이벤트가 발생할 경우, 상기 휴대용 단말기는 다수의 카메라를 이용하여 3차원 데이터로 생성할 멀티미디어 데이터(3D 표과에 사용할 데이터)를 획득한 후, 405단계로 진행하여 상기 획득한 멀티미디어 데이터의 3D 파라미터를 분석한다. 여기에서, 상기 휴대용 단말기는 2개의 카메라를 구비하고 있을 경우, 상기 카메라를 이용하여 하나의 피사체에 대하여 서로 다른 각도에서 촬영한 2개의 멀티미디어 데이터를 획득할 것이며, 상기 획득한 영상 데이터를 분리하여 저장하기 위하여 상기 각각의 영상 데이터가 저장될 블록의 시작 주소와 3D 파라미터를 분석할 것이다. 또한, 상기 3D 파라미터는 상기 획득한 멀티미디어 데이터의 기준이 되는 데이터와 페어링을 이루는 데이터의 수(시점 수)와 상기 데이터의 인덱스 정보, 기준이 되는 시점 대비 현재 데이터의 경계(occlusion) 폭(width) 정보, 및 상기 경계 영역의 발생 방향 정보등을 의미한다.
예를 들어, 상기 휴대용 단말기는 두개의 카메라를 구비함을 가정할 경우, 상기 기준이 되는 데이터는 메인 카메라를 통해 획득한 데이터가 되어 상기 페어링을 이루는 데이터의 수는 "2"가 된다.
만일, 상기 휴대용 단말기가 세개의 카메라를 구비함을 가정할 경우, 메인 카메라를 통해 획득한 데이터가 기준이 되는 데이터가 되고, 상기 페어링을 이루는 데이터의 수는 "3"이 된다. 이때, 상기 휴대용 단말기는 상기 기준이 되는 데이터와 제 2 보조 카메라를 통해 획득한 데이터 사이의 3D 파라미터를 분석하고, 상기 제 2 보조 카메라를 통해 획득한 데이터와 제 3 보조 카메라를 통해 획득한 데이터 사이의 3D 파라미터를 분석한다.
이후, 상기 휴대용 단말기는 407단계로 진행하여 상기 405단계에서 분석한 3D 파라미터를 생성한 후, 409단계로 진행하여 멀티미디어 데이터를 압축한다.
이후, 상기 휴대용 단말기는 411단계로 진행하여 상기 압축한 멀티미디어 데이터와 상기 생성한 3D 파라미터를 하나의 데이터로 생성한다.
즉, 상기 휴대용 단말기는 3차원 효과를 제공할 수 있는 다수의 영상 데이터들을 획득하여 영상 데이터를 분리하여 저장하기 위하여 상기 각각의 영상 데이터가 저장될 블록의 시작 주소와 3D 파라미터를 획득하고, 상기 획득한 영상 데이터를 압축한 후, 상기 압축한 데이터를 상기 3D 파라미터 및 블록의 시작 주소 와 함께 하나의 파일로 생성한는 것이다.
이후, 상기 휴대용 단말기는 본 알고리즘을 종료한다.
도 5는 본 발명의 바람직한 일 실시 예에 따른 휴대용 단말기에서 3차원 데이터를 재생하는 과정을 도시한 흐름도이다.
상기 5를 참조하면, 상기 휴대용 단말기는 먼저 501단계에서 3차원 데이터 재생 이벤트가 발생하는지 확인한다.
만일, 상기 501단계에서 3차원 데이터 재생 이벤트가 발생하지 않을 경우, 상기 휴대용 단말기는 509단계로 진행하여 해당 기능(예; 대기 모드)을 수행한다.
한편, 상기 501단계에서 3차원 데이터 재생 이벤트가 발생함을 확인할 경우, 상기 휴대용 단말기는 503단계로 진행하여 상기 휴대용 단말기가 3차원 데이터를 지원하는 3D용 단말기인지 확인한다.
만일, 상기 503단계에서 상기 3차원 데이터를 지원하는 3D용 단말기가 아님을 확인할 경우, 상기 휴대용 단말기는 509단계로 진행하여 해당 기능(예; 2D용 데이터 재생)을 수행한다. 즉, 2D인 단말기가 상기 3차원 데이터를 재생할 경우, 상기 3차원 데이터에 포함된 메인 카메라를 이용하여 획득한 데이터(예; 좌시점 영상)를 재생한다. 이는 일반적인 휴대용 단말기에서 상기 3차원 데이터에 대한 호환성(2D backward compatibility)을 높이기 위함이다.
한편, 상기 503단계에서 상기 3차원 데이터를 지원하는 3D용 단말기임을 확인할 경우, 상기 휴대용 단말기는 505단계로 진행하여 재생할 데이터의 3D 파라미터를 분석한 후, 507단계로 진행하여 분석한 3D 파라미터를 기반으로 3차원 데이터를 재생한다. 여기에서, 상기 507단계는 상기 3D 파라미터를 분석하여 기준이 되는 데이터와 페어링을 이루는 데이터의 수(시점 수)와 상기 데이터의 인덱스 정보, 기준이 되는 시점 대비 현재 데이터의 경계(occlusion)의 폭(width) 정보, 및 상기 경계 영역의 발생 방향 정보를 확인한 후, 상기 확인한 정보를 기반으로 상기 3차원 데이터를 재생하는 것이다. 상기 3D 파라미터를 이용하여 3차원 데이터를 재생하는 과정은 하기 도 6에서 상세히 설명한다. 이때, 상기 휴대용 단말기는 상기 재생할 데이터의 3D 파라미터를 분석하기 전에 다수의 시점에 대한 영상 데이터가 각각 분리되어 저장된 블록의 시작 주소를 확인한 후, 상기 시작주소의 각 블록에서 재생하고자 하는 3차원 데이터의 파라미터를 분석할 수 있다. 이후, 상기 휴대용 단말기는 상기 분석한 파라미터를 이용하여 상기 3차원 데이터에 포함된 시점을 결정하고, 상기 결정한 시점을 재생하여 사용자에게 입체 효과를 제공하는 것이다.
이후, 상기 휴대용 단말기는 본 알고리즘을 종료한다.
도 6은 본 발명의 바람직한 일 실시 예에 따른 휴대용 단말기에서 3D 파라미터를 이용하여 3차원 데이터를 재생하는 과정을 도시한 흐름도이다.
상기 도 6을 참조하면, 상기 휴대용 단말기는 먼저 601단계에서 3차원 데이터를 재생하고자 하는 단말기의 디스플레이 사이즈를 확인한 후, 603단계로 진행하여 상기 휴대용 단말기가 큰 사이즈의 디스플레이를 구비하였는지 확인한다.
만일, 상기 603단계에서 큰 사이즈의 디스플레이를 구비하였음을 확인할 경우, 상기 휴대용 단말기는 605단계로 진행하여 기준이 되는 데이터(기준 시점)와 거리(disparity)가 짧은 데이터를 선택한다. 여기에서, 상기 휴대용 단말기는 상기 3차원 데이터의 3D 파라미터 가운데 현재 시점과 Stereo Pairing을 이루는 총 시점들의 수를 나타내는 "NumofStereoPair" 정보와 현재 시점과 Stereo Pairing을 이루는 시점의 index을 나타내는 "PairedViewID[]" 정보를 이용하여 기준 시점과 다른 데이터 간의 거리를 확인할 수 있으며, 상기 큰 사이즈의 디스플레이에서 기준 시점과 다른 데이터 간의 거리를 크게할 경우, 영상이 너무 앞으로 튀어나와 보이게 되어 사용자의 시각적 피로가 증가되는 것을 방지하기 위한 것이다.
한편, 상기 603단계에서 작은 사이즈의 디스플레이를 구비하였음을 확인할 경우, 상기 휴대용 단말기는 611단계로 진행하여 기준이 되는 데이터(기준 시점)와 거리가 긴 데이터를 선택한다. 이는 작은 사이즈의 디스플레이를 구비하는 휴대용 단말기의 입체감을 향상시키기 위하여 기준이 되는 데이터(기준 시점)와 거리가 긴 데이터를 선택하는 것이다.
이후, 상기 휴대용 단말기는 607단계로 진행하여 재생할 데이터에 경계 영역(occlusion)이 존재하는지 확인한다. 여기에서, 상기 경계 영역은 시각적 피로도를 증가시키는 영역으로, 두 개 이상의 카메라를 이용하여 촬영한 스테레오 영상의 경우 각각의 시점 영상에서만 나타나는 특정 영역을 말한다. 이때, 상기 휴대용 단말기는 3D 파라미터의 "OcclusionDirection"을 이용하여 경계 영역을 확인할 수 있다.
만일, 상기 607단계에서 재생할 데이터에 경계 영역이 존재하지 않음을 확인할 경우, 상기 휴대용 단말기는 상기 더 5의 507단계로 진행하여 3D 파라미터를 기반으로 3차원 데이터를 재생한다.
한편, 상기 607단계에서 재생할 데이터에 경계 영역이 존재함을 확인할 경우, 상기 휴대용 단말기는 609단계로 진행하여 상기 존재하는 경계 영역에 대한 후처리 과정을 수행하여 사용자의 시각적 피로감을 줄이도록 처리한 후, 3차원 데이터를 재생한다.
도 7은 본 발명의 바람직한 일 실시 예에 따른 휴대용 단말기에서 3차원 데이터를 재생하는 과정을 도시한 도면이다.
상기 도 7을 참조하면, 상기 휴대용 단말기는 두 개의 카메라를 구비하고 있으며, 두 개의 카메라를 이용하여 기준 시점과 거리가 다른 세개의 데이터를 획득한다고 가정한다.
즉, 상기 휴대용 단말기는 두 개의 카메라를 이용하여 한 위치에서 피사체를 촬영하여 좌 우측에 해당하는 데이터(L1, R1)를 획득한 후, 일정 거리 이동 후, 피사체를 촬영한 데이터를 획득(L2, R2)한다. 이때, L2에 대한 시점과 R1에 대한 시점이 동일하여 상기 휴대용 단말기는 총 세개의 데이터(L1, R1 or L2, R2)를 획득하게 된다.
상기 획득한 데이터에서 기준시점의 데이터와 부가시점의 데이터 사이의 거리(disparity)를 비교해보면 기준이 되는 좌시점 L1 데이터, 거리가 가 작은 R1(L2) 데이터, 거리가 큰 R2 데이터로 구분되며, 상기 구분한 데이터는 본 발명에 따른 도 3(b)와 같은 구조를 가지는 3차원 데이터로 저장된다.
이때, 상기 휴대용 단말기는 상기 데이터들의 3D 파라미터를 분석하여 NumOfStereoPair, PairedViewId[] 값을 저장하게 될 것이다.
상기와 같이 생성된 데이터를 재생할 경우, 상기 휴대용 단말기는 디스플레이의 크기에 따라 재생할 데이터를 변경할 수 있다.
일반적으로 상기 기준시점의 데이터와 부가시점의 데이터 사이의 거리가 클 수록 3D용 단말기에서는 높은 입체 효과를 제공할 수 있지만 상기 큰 사이즈의 디스플레이를 가지는 단말기(3D TV)에서는 기준시점의 데이터와 부가시점의 데이터 사이의 거리가 클 수록 3D 객체가 너무 앞으로 튀어나와 보이게 되어 시각적 피로도가 증가되는 문제점이 발생한다.
또한, 작은 사이즈의 디스플레이를 가지는 단말기(3D 카메라, 이동통신 단말기)에서는 작은 사이즈의 디스플레이로 인하여 입체감 효과를 제공할 수 없다는 문제점이 발생한다.
이에 따라, 상기 휴대용 단말기는 상기와 같이 생성된 데이터를 재생할 경우, 작은 사이즈의 디스플레이를 가지는 단말기에서는 기준시점 L1 데이터와 거리가 큰 R2 데이터를 디코딩하여 입체로 재생하여 입체감을 향상시키고, 3D TV와 같이 큰 사이즈의 디스플레이를 가지는 단말기에서는 입체감이 너무 커지지 않도록 기준시점 L1 데이터와 거리가 작은 R1 데이터를 디코딩하여 입체로 재생함으로써, 시각적 피로감을 줄이도록 할 수 있다.
이로 인하여 본 발명에 따른 3차원 데이터는 디스플레이의 사이즈와 상관없이 3D 단말기간의 특성에 맞는 효과를 제공하는 컨텐츠를 재생할 수 있다.
도 8은 본 발명의 바람직한 일 실시 예에 따른 휴대용 단말기에서 3차원 데이터를 재생하는 과정을 도시한 도면이다.
상기 도 8을 참조하면, 두 개의 카메라를 이용하여 촬영한 데이터는 각각의 시점에 해당하는 데이터에만 존재하는 경계 영역이 존재하게 된다.
도시한 바와 같이 좌시점 데이터의 왼쪽 모퉁이와 우시점 데이터의 오른쪽 모퉁이 부분에 경계 영역이 존재한다.
이는 다수의 카메라(스테레오 카메라)를 구비한 휴대용 단말기에서 두 개의 카메라를 일정거리 이상 떨어뜨려 촬영하는 특성 상 좌시점 데이터에서는 왼쪽 모퉁이 영역에 우시점 데이터에 존재하지 않는 경계 영역이 존재하는 것이고, 우시점 데이터에서는 오른쪽 모퉁이 영역에 좌시점 데이터에 존재하지 않는 경계 영역이 존재하는 것이다.
상기와 같은 경계 영역은 입체로 재생 시 시청자의 시각적 피로를 증가시키는 요인으로 본 발명에서는 3차원 데이터에 존재하는 3D 파라미터(OcclusionDirection)를 이용하여 경계 영역이 존재함을 확인하여 해당 영역에 대한 후처리 과정을 수행하여 시청자의 시각적 피로감을 줄이도록 한다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
200: 제어부 202: 3차원 데이터 관리부
204: 3D 파라미터 분석부 206: 카메라부

Claims (18)

  1. 휴대용 단말기에서 3차원 데이터를 생성하기 위한 장치에 있어서,
    3차원 효과를 제공할 수 있는 다수의 영상 데이터들을 획득하는 카메라부와,
    상기 획득한 영상 데이터를 분리하여 저장하기 위하여 상기 각각의 영상 데이터가 저장될 블록의 시작 주소와 3D 파라미터를 획득하고, 상기 획득한 영상 데이터를 압축한 후, 상기 압축한 데이터를 상기 3D 파라미터 및 블록의 시작 주소 와 함께 하나의 파일로 생성하는 3차원 데이터 관리부를 포함하는 것을 특징으로 하는 장치.
  2. 제 1항에 있어서,
    상기 획득한 멀티미디어 데이터들의 3D 파라미터는,
    상기 데이터에 포함된 시점의 수(NumofStereoPair), 현재 시점과 Stereo Pairing을 이루는 시점의 인덱스(PairedViewID[]), 기준이 되는 시점 대비 현재 시점의 경계 영역의 폭(BoundaryOccludedWidth), 경계 영역이 발생하는 방향(OcclusionDirection) 가운데 적어도 어느 한 가지를 포함하는 것을 특징으로 하는 장치.
  3. 휴대용 단말기에서 3차원 데이터를 재생하기 위한 장치에 있어서,
    적어도 2개 이상의 시점에 대한 영상 데이터가 각각 분리되어 저장된 블록의 시작주소를 읽어낸 후, 상기 시작주소의 각 블록에서 재생하고자 하는 3차원 데이터의 파라미터를 분석하고, 상기 분석한 파라미터를 이용하여 상기 3차원 데이터에 포함된 시점을 결정한 후, 상기 결정한 시점을 재생하여 3차원 효과를 제공하는 3차원 데이터 관리부를 포함하는 것을 특징으로 하는 장치.
  4. 제 3항에 있어서,
    상기 3차원 데이터 관리부는,
    상기 3차원 데이터에 포함된 시점의 수(NumofStereoPair), 현재 시점과 Stereo Pairing을 이루는 시점의 인덱스(PairedViewID[]), 기준이 되는 시점 대비 현재 시점의 경계 영역의 폭(BoundaryOccludedWidth), 경계 영역이 발생하는 방향(OcclusionDirection) 가운데 적어도 어느 한 가지를 분석하여 상기 시작주소의 각 블록에서 재생하고자 하는 3차원 데이터의 3D 파라미터를 분석하는 것을 특징으로 하는 장치.
  5. 제 3항에 있어서,
    상기 3차원 데이터 관리부는,
    디스플레이의 크기에 따라 사용자의 입체 효과를 증가시키거나, 상기 디스플레이의 크기에 따라 시청자의 시각적 피로감을 줄여 상기 결정한 시점을 재생하여 3차원 효과를 제공하는 것을 특징으로 하는 장치.
  6. 제 3항에 있어서,
    상기 3차원 데이터 관리부는,
    경계 영역에 제거하여 시청자의 시각적 피로를 줄여 상기 결정한 시점을 재생하여 3차원 효과를 제공하는 것을 특징으로 하는 장치.
  7. 제 5항에 있어서,
    상기 3차원 데이터 관리부는,
    상기 디스플레이의 크기가 작을 경우, 기준 시점과 거리가 먼 보조 시점의 데이터를 재생하여 상기 디스플레이의 크기에 따라 사용자의 입체 효과를 증가시키는 것을 특징으로 하는 장치.
  8. 제 5항에 있어서,
    상기 3차원 데이터 관리부는,
    상기 디스플레이의 크기가 클 경우, 기준 시점과 거리가 짧은 보조 시점의 데이터를 재생하여 상기 디스플레이의 크기에 따라 시청자의 시각적 피로감을 줄이는 것을 특징으로 하는 장치.
  9. 제 6항에 있어서,
    상기 3차원 데이터 관리부는,
    입체 효과를 제공하는 데이터에 포함된 경계 영역의 방향 및 경계 영역의 폭을 확인하고, 상기 확인한 경계 영역에 대하여 후처리 과정을 수행하여 상기 경계 영역에 제거하여 시청자의 시각적 피로를 줄이는 것을 특징으로 하는 장치.
  10. 휴대용 단말기에서 3차원 데이터를 생성하기 위한 방법에 있어서,
    3차원 효과를 제공할 수 있는 다수의 시점에 대한 영상 데이터를 획득하는 과정과,
    상기 획득한 영상 데이터를 분리하여 저장하기 위하여 상기 각각의 영상 데이터가 저장될 블록의 시작 주소를 확인하는 과정과,
    상기 획득한 영상 데이터들의 3D 파라미터를 획득하는 과정과,
    상기 획득한 영상 데이터를 압축한 후, 상기 압축한 데이터를 상기 3D 파라미터 및 블록의 시작 주소와 함께 하나의 파일로 생성하는 과정을 포함하는 것을 특징으로 하는 방법.
  11. 제 10항에 있어서,
    상기 획득한 멀티미디어 데이터들의 3D 파라미터는,
    상기 데이터에 포함된 시점의 수(NumofStereoPair), 현재 시점과 Stereo Pairing을 이루는 시점의 인덱스(PairedViewID[]), 기준이 되는 시점 대비 현재 시점의 경계 영역의 폭(BoundaryOccludedWidth), 경계 영역이 발생하는 방향(OcclusionDirection) 가운데 적어도 어느 한 가지를 포함하는 것을 특징으로 하는 방법.
  12. 휴대용 단말기에서 3차원 데이터를 재생하기 위한 방법에 있어서,
    적어도 2개 이상의 시점에 대한 영상 데이터가 각각 분리되어 저장된 블록의 시작주소를 읽는 과정,
    상기 시작주소의 각 블록에서 재생하고자 하는 3차원 데이터의 파라미터를 분석하는 과정,
    상기 분석한 파라미터를 이용하여 상기 3차원 데이터에 포함된 시점을 결정하는 과정, 및
    상기 결정한 시점을 재생하여 3차원 효과를 제공하는 과정을 포함하는 것을 특징으로 하는 방법.
  13. 제 12항에 있어서,
    상기 시작주소의 각 블록에서 재생하고자 하는 3차원 데이터의 3D 파라미터를 분석하는 과정은,
    상기 3차원 데이터에 포함된 시점의 수(NumofStereoPair), 현재 시점과 Stereo Pairing을 이루는 시점의 인덱스(PairedViewID[]), 기준이 되는 시점 대비 현재 시점의 경계 영역의 폭(BoundaryOccludedWidth), 경계 영역이 발생하는 방향(OcclusionDirection) 가운데 적어도 어느 한 가지를 분석하는 과정임을 특징으로 하는 방법.
  14. 제 12항에 있어서,
    상기 결정한 다수의 시점을 재생하여 3차원 효과를 제공하는 과정은,
    디스플레이의 크기에 따라 사용자의 입체 효과를 증가시키는 과정과,
    상기 디스플레이의 크기에 따라 시청자의 시각적 피로감을 줄이는 과정을 포함하는 것을 특징으로 하는 방법.
  15. 제 12항에 있어서,
    상기 결정한 다수의 시점을 재생하여 3차원 효과를 제공하는 과정은,
    경계 영역에 제거하여 시청자의 시각적 피로를 줄이는 과정을 포함하는 것을 특징으로 하는 방법.
  16. 제 14항에 있어서,
    상기 디스플레이의 크기에 따라 사용자의 입체 효과를 증가시키는 과정은,
    상기 디스플레이의 크기가 작을 경우, 기준 시점과 거리가 먼 보조 시점의 데이터를 재생하여 입체 효과를 증가시키는 과정을 포함하는 것을 특징으로 하는 방법.
  17. 제 14항에 있어서,
    상기 디스플레이의 크기에 따라 시청자의 시각적 피로감을 줄이는 과정은,
    상기 디스플레이의 크기가 클 경우, 기준 시점과 거리가 짧은 보조 시점의 데이터를 재생하여 시각적 피로감을 줄이는 과정을 포함하는 것을 특징으로 하는 방법.
  18. 제 15항에 있어서,
    상기 경계 영역에 제거하여 시청자의 시각적 피로를 줄이는 과정은,
    입체 효과를 제공하는 데이터에 포함된 경계 영역의 방향 및 경계 영역의 폭을 확인하는 과정과,
    상기 확인한 경계 영역에 대하여 시각적 피로감을 줄이기 위한 후처리 과정을 수행하는 과정을 포함하는 것을 특징으로 하는 방법.
KR1020110014557A 2010-02-23 2011-02-18 휴대용 단말기에서 입체 영상 데이터를 생성하기 위한 장치 및 방법 KR101802238B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP11747702.6A EP2541944A4 (en) 2010-02-23 2011-02-23 DEVICE AND METHOD FOR GENERATING 3D IMAGE DATA IN A PORTABLE DEVICE
US13/580,861 US9369690B2 (en) 2010-02-23 2011-02-23 Apparatus and method for generating 3D image data in a portable terminal
PCT/KR2011/001269 WO2011105812A2 (ko) 2010-02-23 2011-02-23 휴대용 단말기에서 입체 영상 데이터를 생성하기 위한 장치 및 방법
JP2012554927A JP5859464B2 (ja) 2010-02-23 2011-02-23 携帯用端末機において立体映像データを生成するための装置及びその方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020100016151 2010-02-23
KR20100016151 2010-02-23

Publications (2)

Publication Number Publication Date
KR20110097647A true KR20110097647A (ko) 2011-08-31
KR101802238B1 KR101802238B1 (ko) 2017-11-29

Family

ID=44932593

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110014557A KR101802238B1 (ko) 2010-02-23 2011-02-18 휴대용 단말기에서 입체 영상 데이터를 생성하기 위한 장치 및 방법

Country Status (5)

Country Link
US (1) US9369690B2 (ko)
EP (1) EP2541944A4 (ko)
JP (1) JP5859464B2 (ko)
KR (1) KR101802238B1 (ko)
WO (1) WO2011105812A2 (ko)

Cited By (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140067156A (ko) * 2011-09-28 2014-06-03 펠리칸 이매징 코포레이션 라이트 필드 이미지 파일의 인코딩 및 디코딩을 위한 시스템 및 방법
US8907332B2 (en) 2013-02-18 2014-12-09 Samsung Display Co., Ltd. Organic light emitting display device
US9041829B2 (en) 2008-05-20 2015-05-26 Pelican Imaging Corporation Capturing and processing of high dynamic range images using camera arrays
US9041824B2 (en) 2010-12-14 2015-05-26 Pelican Imaging Corporation Systems and methods for dynamic refocusing of high resolution images generated using images captured by a plurality of imagers
US9049411B2 (en) 2008-05-20 2015-06-02 Pelican Imaging Corporation Camera arrays incorporating 3×3 imager configurations
US9100635B2 (en) 2012-06-28 2015-08-04 Pelican Imaging Corporation Systems and methods for detecting defective camera arrays and optic arrays
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
US9123117B2 (en) 2012-08-21 2015-09-01 Pelican Imaging Corporation Systems and methods for generating depth maps and corresponding confidence maps indicating depth estimation reliability
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
US9185276B2 (en) 2013-11-07 2015-11-10 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
US9214013B2 (en) 2012-09-14 2015-12-15 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
US9253380B2 (en) 2013-02-24 2016-02-02 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
US9412206B2 (en) 2012-02-21 2016-08-09 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
US9426361B2 (en) 2013-11-26 2016-08-23 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
US9438888B2 (en) 2013-03-15 2016-09-06 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US9497370B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Array camera architecture implementing quantum dot color filters
US9516222B2 (en) 2011-06-28 2016-12-06 Kip Peli P1 Lp Array cameras incorporating monolithic array camera modules with high MTF lens stacks for capture of images used in super-resolution processing
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
US9521416B1 (en) 2013-03-11 2016-12-13 Kip Peli P1 Lp Systems and methods for image data compression
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9633442B2 (en) 2013-03-15 2017-04-25 Fotonation Cayman Limited Array cameras including an array camera module augmented with a separate camera
US9741118B2 (en) 2013-03-13 2017-08-22 Fotonation Cayman Limited System and methods for calibration of an array camera
US9766380B2 (en) 2012-06-30 2017-09-19 Fotonation Cayman Limited Systems and methods for manufacturing camera modules using active alignment of lens stack arrays and sensors
US9774789B2 (en) 2013-03-08 2017-09-26 Fotonation Cayman Limited Systems and methods for high dynamic range imaging using array cameras
US9794476B2 (en) 2011-09-19 2017-10-17 Fotonation Cayman Limited Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures
US9813616B2 (en) 2012-08-23 2017-11-07 Fotonation Cayman Limited Feature based high resolution motion estimation from low resolution images captured using an array source
US9866739B2 (en) 2011-05-11 2018-01-09 Fotonation Cayman Limited Systems and methods for transmitting and receiving array camera image data
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
US9936148B2 (en) 2010-05-12 2018-04-03 Fotonation Cayman Limited Imager array interfaces
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
US9955070B2 (en) 2013-03-15 2018-04-24 Fotonation Cayman Limited Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9986224B2 (en) 2013-03-10 2018-05-29 Fotonation Cayman Limited System and methods for calibration of an array camera
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US10250871B2 (en) 2014-09-29 2019-04-02 Fotonation Limited Systems and methods for dynamic calibration of array cameras
US10306120B2 (en) 2009-11-20 2019-05-28 Fotonation Limited Capturing and processing of images captured by camera arrays incorporating cameras with telephoto and conventional lenses to generate depth maps
US10390005B2 (en) 2012-09-28 2019-08-20 Fotonation Limited Generating images from light fields utilizing virtual viewpoints
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
US11270110B2 (en) 2019-09-17 2022-03-08 Boston Polarimetrics, Inc. Systems and methods for surface modeling using polarization cues
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11302012B2 (en) 2019-11-30 2022-04-12 Boston Polarimetrics, Inc. Systems and methods for transparent object segmentation using polarization cues
US11525906B2 (en) 2019-10-07 2022-12-13 Intrinsic Innovation Llc Systems and methods for augmentation of sensor systems and imaging systems with polarization
US11580667B2 (en) 2020-01-29 2023-02-14 Intrinsic Innovation Llc Systems and methods for characterizing object pose detection and measurement systems
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US11797863B2 (en) 2020-01-30 2023-10-24 Intrinsic Innovation Llc Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US12067746B2 (en) 2021-05-07 2024-08-20 Intrinsic Innovation Llc Systems and methods for using computer vision to pick up small objects
US12069227B2 (en) 2021-03-10 2024-08-20 Intrinsic Innovation Llc Multi-modal and multi-spectral stereo camera arrays

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8451312B2 (en) 2010-01-06 2013-05-28 Apple Inc. Automatic video stream selection
KR101802238B1 (ko) * 2010-02-23 2017-11-29 삼성전자주식회사 휴대용 단말기에서 입체 영상 데이터를 생성하기 위한 장치 및 방법
EP2726930A4 (en) 2011-06-28 2015-03-04 Pelican Imaging Corp OPTICAL ARRANGEMENTS FOR USE WITH AN ARRAY CAMERA
US9638883B1 (en) 2013-03-04 2017-05-02 Fotonation Cayman Limited Passive alignment of array camera modules constructed from lens stack arrays and sensors based upon alignment information obtained during manufacture of array camera modules using an active alignment process
US9247117B2 (en) 2014-04-07 2016-01-26 Pelican Imaging Corporation Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5625408A (en) 1993-06-24 1997-04-29 Canon Kabushiki Kaisha Three-dimensional image recording/reconstructing method and apparatus therefor
JP2888108B2 (ja) * 1993-09-29 1999-05-10 凸版印刷株式会社 視差画像作成方法および装置
JP3551467B2 (ja) * 1994-04-13 2004-08-04 松下電器産業株式会社 視差演算装置、視差演算方法及び画像合成装置
JPH07292259A (ja) 1994-04-28 1995-11-07 Kao Corp 高耐久性加熱瀝青質用添加剤、それを用いた高耐久性アスファルト舗装組成物、及びその製造方法
GB2294173B (en) * 1994-10-11 1998-12-09 Mitsubishi Electric Corp Disk media, and method of and device for recording and playing back information on or from a disk media
US5920842A (en) * 1994-10-12 1999-07-06 Pixel Instruments Signal synchronization
US6492986B1 (en) * 1997-06-02 2002-12-10 The Trustees Of The University Of Pennsylvania Method for human face shape and motion estimation based on integrating optical flow and deformable models
US6678394B1 (en) * 1999-11-30 2004-01-13 Cognex Technology And Investment Corporation Obstacle detection system
US6606406B1 (en) * 2000-05-04 2003-08-12 Microsoft Corporation System and method for progressive stereo matching of digital images
US7082441B1 (en) * 2000-08-17 2006-07-25 Emc Corporation Method and storage and manipulation of storage system metrics
JP3744442B2 (ja) * 2002-03-04 2006-02-08 ソニー株式会社 認証システム及び認証方法、並びに、認証用媒体製造装置及び認証端末装置
JP2003284095A (ja) * 2002-03-27 2003-10-03 Sanyo Electric Co Ltd 立体画像処理方法および装置
US7111142B2 (en) * 2002-09-13 2006-09-19 Seagate Technology Llc System for quickly transferring data
AU2003268676A1 (en) * 2002-09-27 2004-04-19 Sharp Kabushiki Kaisha 3-d image display unit, 3-d image recording device and 3-d image recording method
JP4324435B2 (ja) * 2003-04-18 2009-09-02 三洋電機株式会社 立体視用映像提供方法及び立体映像表示装置
KR100617700B1 (ko) * 2003-11-17 2006-08-28 삼성전자주식회사 통신 단말기를 위한 3차원 입체음향 재생 장치 및 방법
WO2005052838A1 (en) * 2003-11-27 2005-06-09 Agency For Science, Technology And Research A method and apparatus for building a multi-discipline and multi-media personal medical image library
JP4529556B2 (ja) * 2004-06-24 2010-08-25 パナソニック株式会社 立体視用の画像ファイルを生成する電子機器、３次元画像データを生成する電子機器、画像ファイル生成方法、３次元画像データ生成方法および画像ファイルのファイル構造
JP2006013851A (ja) 2004-06-25 2006-01-12 Sharp Corp 撮像表示装置および撮像表示方法
KR100641176B1 (ko) 2004-10-20 2006-11-02 엘지전자 주식회사 휴대단말기에서 삼차원 영상데이터 표시방법
KR100744800B1 (ko) 2005-07-07 2007-08-01 심재용 휴대용 단말기의 3차원 입체영상 처리 장치
JP4914039B2 (ja) * 2005-07-27 2012-04-11 キヤノン株式会社 情報処理方法および装置
KR100653965B1 (ko) * 2005-08-01 2006-12-05 심재용 휴대용 단말기의 서로 다른 카메라를 이용한 3차원입체영상 처리 장치
EP1952199B1 (en) * 2005-11-17 2012-10-03 Nokia Corporation Method and devices for generating, transferring and processing three-dimensional image data
US7538876B2 (en) * 2006-06-12 2009-05-26 The Boeing Company Efficient and accurate alignment of stereoscopic displays
JP4692849B2 (ja) * 2007-01-09 2011-06-01 富士フイルム株式会社 立体画像記録装置および立体画像記録方法
CN101035279B (zh) * 2007-05-08 2010-12-15 孟智平 一种在视频资源中使用信息集的方法
JP4759775B2 (ja) * 2007-06-14 2011-08-31 富士フイルム株式会社 画像記録方法及び装置
JP2008310187A (ja) 2007-06-15 2008-12-25 Fujifilm Corp 画像処理装置及び画像処理方法
JP4748399B2 (ja) * 2007-08-14 2011-08-17 富士フイルム株式会社 画像処理システム、画像処理装置及び画像処理方法
KR20090081190A (ko) 2008-01-23 2009-07-28 엘지전자 주식회사 휴대용 단말기
KR101802238B1 (ko) * 2010-02-23 2017-11-29 삼성전자주식회사 휴대용 단말기에서 입체 영상 데이터를 생성하기 위한 장치 및 방법

Cited By (164)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9049411B2 (en) 2008-05-20 2015-06-02 Pelican Imaging Corporation Camera arrays incorporating 3×3 imager configurations
US9060142B2 (en) 2008-05-20 2015-06-16 Pelican Imaging Corporation Capturing and processing of images captured by camera arrays including heterogeneous optics
US9124815B2 (en) 2008-05-20 2015-09-01 Pelican Imaging Corporation Capturing and processing of images including occlusions captured by arrays of luma and chroma cameras
US9049381B2 (en) 2008-05-20 2015-06-02 Pelican Imaging Corporation Systems and methods for normalizing image data captured by camera arrays
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US9188765B2 (en) 2008-05-20 2015-11-17 Pelican Imaging Corporation Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US10027901B2 (en) 2008-05-20 2018-07-17 Fotonation Cayman Limited Systems and methods for generating depth maps using a camera arrays incorporating monochrome and color cameras
US12041360B2 (en) 2008-05-20 2024-07-16 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US9712759B2 (en) 2008-05-20 2017-07-18 Fotonation Cayman Limited Systems and methods for generating depth maps using a camera arrays incorporating monochrome and color cameras
US9041829B2 (en) 2008-05-20 2015-05-26 Pelican Imaging Corporation Capturing and processing of high dynamic range images using camera arrays
US9191580B2 (en) 2008-05-20 2015-11-17 Pelican Imaging Corporation Capturing and processing of images including occlusions captured by camera arrays
US12022207B2 (en) 2008-05-20 2024-06-25 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US10142560B2 (en) 2008-05-20 2018-11-27 Fotonation Limited Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US9749547B2 (en) 2008-05-20 2017-08-29 Fotonation Cayman Limited Capturing and processing of images using camera array incorperating Bayer cameras having different fields of view
US9077893B2 (en) 2008-05-20 2015-07-07 Pelican Imaging Corporation Capturing and processing of images captured by non-grid camera arrays
US9576369B2 (en) 2008-05-20 2017-02-21 Fotonation Cayman Limited Systems and methods for generating depth maps using images captured by camera arrays incorporating cameras having different fields of view
US9049390B2 (en) 2008-05-20 2015-06-02 Pelican Imaging Corporation Capturing and processing of images captured by arrays including polychromatic cameras
US9055213B2 (en) 2008-05-20 2015-06-09 Pelican Imaging Corporation Systems and methods for measuring depth using images captured by monolithic camera arrays including at least one bayer camera
US9060124B2 (en) 2008-05-20 2015-06-16 Pelican Imaging Corporation Capturing and processing of images using non-monolithic camera arrays
US9485496B2 (en) 2008-05-20 2016-11-01 Pelican Imaging Corporation Systems and methods for measuring depth using images captured by a camera array including cameras surrounding a central camera
US9060121B2 (en) 2008-05-20 2015-06-16 Pelican Imaging Corporation Capturing and processing of images captured by camera arrays including cameras dedicated to sampling luma and cameras dedicated to sampling chroma
US9049391B2 (en) 2008-05-20 2015-06-02 Pelican Imaging Corporation Capturing and processing of near-IR images including occlusions using camera arrays incorporating near-IR light sources
US9094661B2 (en) 2008-05-20 2015-07-28 Pelican Imaging Corporation Systems and methods for generating depth maps using a set of images containing a baseline image
US11412158B2 (en) 2008-05-20 2022-08-09 Fotonation Limited Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US10306120B2 (en) 2009-11-20 2019-05-28 Fotonation Limited Capturing and processing of images captured by camera arrays incorporating cameras with telephoto and conventional lenses to generate depth maps
US10455168B2 (en) 2010-05-12 2019-10-22 Fotonation Limited Imager array interfaces
US9936148B2 (en) 2010-05-12 2018-04-03 Fotonation Cayman Limited Imager array interfaces
US9041824B2 (en) 2010-12-14 2015-05-26 Pelican Imaging Corporation Systems and methods for dynamic refocusing of high resolution images generated using images captured by a plurality of imagers
US11423513B2 (en) 2010-12-14 2022-08-23 Fotonation Limited Systems and methods for synthesizing high resolution images using images captured by an array of independently controllable imagers
US9047684B2 (en) 2010-12-14 2015-06-02 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using a set of geometrically registered images
US9361662B2 (en) 2010-12-14 2016-06-07 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using images captured by an array of independently controllable imagers
US10366472B2 (en) 2010-12-14 2019-07-30 Fotonation Limited Systems and methods for synthesizing high resolution images using images captured by an array of independently controllable imagers
US11875475B2 (en) 2010-12-14 2024-01-16 Adeia Imaging Llc Systems and methods for synthesizing high resolution images using images captured by an array of independently controllable imagers
US10742861B2 (en) 2011-05-11 2020-08-11 Fotonation Limited Systems and methods for transmitting and receiving array camera image data
US9866739B2 (en) 2011-05-11 2018-01-09 Fotonation Cayman Limited Systems and methods for transmitting and receiving array camera image data
US10218889B2 (en) 2011-05-11 2019-02-26 Fotonation Limited Systems and methods for transmitting and receiving array camera image data
US9578237B2 (en) 2011-06-28 2017-02-21 Fotonation Cayman Limited Array cameras incorporating optics with modulation transfer functions greater than sensor Nyquist frequency for capture of images used in super-resolution processing
US9516222B2 (en) 2011-06-28 2016-12-06 Kip Peli P1 Lp Array cameras incorporating monolithic array camera modules with high MTF lens stacks for capture of images used in super-resolution processing
US9794476B2 (en) 2011-09-19 2017-10-17 Fotonation Cayman Limited Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures
US10375302B2 (en) 2011-09-19 2019-08-06 Fotonation Limited Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures
US12052409B2 (en) 2011-09-28 2024-07-30 Adela Imaging LLC Systems and methods for encoding image files containing depth maps stored as metadata
US10019816B2 (en) 2011-09-28 2018-07-10 Fotonation Cayman Limited Systems and methods for decoding image files containing depth maps stored as metadata
US10275676B2 (en) 2011-09-28 2019-04-30 Fotonation Limited Systems and methods for encoding image files containing depth maps stored as metadata
US10984276B2 (en) 2011-09-28 2021-04-20 Fotonation Limited Systems and methods for encoding image files containing depth maps stored as metadata
EP2761534A4 (en) * 2011-09-28 2015-03-04 Pelican Imaging Corp SYSTEMS AND METHOD FOR CODING AND DECODING LIGHT FILM FILES
US9025894B2 (en) 2011-09-28 2015-05-05 Pelican Imaging Corporation Systems and methods for decoding light field image files having depth and confidence maps
US9811753B2 (en) 2011-09-28 2017-11-07 Fotonation Cayman Limited Systems and methods for encoding light field image files
US9042667B2 (en) 2011-09-28 2015-05-26 Pelican Imaging Corporation Systems and methods for decoding light field image files using a depth map
US9025895B2 (en) 2011-09-28 2015-05-05 Pelican Imaging Corporation Systems and methods for decoding refocusable light field image files
US9031335B2 (en) 2011-09-28 2015-05-12 Pelican Imaging Corporation Systems and methods for encoding light field image files having depth and confidence maps
US9864921B2 (en) 2011-09-28 2018-01-09 Fotonation Cayman Limited Systems and methods for encoding image files containing depth maps stored as metadata
US11729365B2 (en) 2011-09-28 2023-08-15 Adela Imaging LLC Systems and methods for encoding image files containing depth maps stored as metadata
US9031342B2 (en) 2011-09-28 2015-05-12 Pelican Imaging Corporation Systems and methods for encoding refocusable light field image files
US20180197035A1 (en) 2011-09-28 2018-07-12 Fotonation Cayman Limited Systems and Methods for Encoding Image Files Containing Depth Maps Stored as Metadata
US9536166B2 (en) 2011-09-28 2017-01-03 Kip Peli P1 Lp Systems and methods for decoding image files containing depth maps stored as metadata
KR20140067156A (ko) * 2011-09-28 2014-06-03 펠리칸 이매징 코포레이션 라이트 필드 이미지 파일의 인코딩 및 디코딩을 위한 시스템 및 방법
US9031343B2 (en) 2011-09-28 2015-05-12 Pelican Imaging Corporation Systems and methods for encoding light field image files having a depth map
US10430682B2 (en) 2011-09-28 2019-10-01 Fotonation Limited Systems and methods for decoding image files containing depth maps stored as metadata
US9129183B2 (en) 2011-09-28 2015-09-08 Pelican Imaging Corporation Systems and methods for encoding light field image files
US9036931B2 (en) 2011-09-28 2015-05-19 Pelican Imaging Corporation Systems and methods for decoding structured light field image files
US10311649B2 (en) 2012-02-21 2019-06-04 Fotonation Limited Systems and method for performing depth based image editing
US9754422B2 (en) 2012-02-21 2017-09-05 Fotonation Cayman Limited Systems and method for performing depth based image editing
US9412206B2 (en) 2012-02-21 2016-08-09 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
US9706132B2 (en) 2012-05-01 2017-07-11 Fotonation Cayman Limited Camera modules patterned with pi filter groups
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
US10334241B2 (en) 2012-06-28 2019-06-25 Fotonation Limited Systems and methods for detecting defective camera arrays and optic arrays
US9807382B2 (en) 2012-06-28 2017-10-31 Fotonation Cayman Limited Systems and methods for detecting defective camera arrays and optic arrays
US9100635B2 (en) 2012-06-28 2015-08-04 Pelican Imaging Corporation Systems and methods for detecting defective camera arrays and optic arrays
US10261219B2 (en) 2012-06-30 2019-04-16 Fotonation Limited Systems and methods for manufacturing camera modules using active alignment of lens stack arrays and sensors
US11022725B2 (en) 2012-06-30 2021-06-01 Fotonation Limited Systems and methods for manufacturing camera modules using active alignment of lens stack arrays and sensors
US9766380B2 (en) 2012-06-30 2017-09-19 Fotonation Cayman Limited Systems and methods for manufacturing camera modules using active alignment of lens stack arrays and sensors
US9129377B2 (en) 2012-08-21 2015-09-08 Pelican Imaging Corporation Systems and methods for measuring depth based upon occlusion patterns in images
US9123118B2 (en) 2012-08-21 2015-09-01 Pelican Imaging Corporation System and methods for measuring depth using an array camera employing a bayer filter
US12002233B2 (en) 2012-08-21 2024-06-04 Adeia Imaging Llc Systems and methods for estimating depth and visibility from a reference viewpoint for pixels in a set of images captured from different viewpoints
US9240049B2 (en) 2012-08-21 2016-01-19 Pelican Imaging Corporation Systems and methods for measuring depth using an array of independently controllable cameras
US9235900B2 (en) 2012-08-21 2016-01-12 Pelican Imaging Corporation Systems and methods for estimating depth and visibility from a reference viewpoint for pixels in a set of images captured from different viewpoints
US9858673B2 (en) 2012-08-21 2018-01-02 Fotonation Cayman Limited Systems and methods for estimating depth and visibility from a reference viewpoint for pixels in a set of images captured from different viewpoints
US9123117B2 (en) 2012-08-21 2015-09-01 Pelican Imaging Corporation Systems and methods for generating depth maps and corresponding confidence maps indicating depth estimation reliability
US9147254B2 (en) 2012-08-21 2015-09-29 Pelican Imaging Corporation Systems and methods for measuring depth in the presence of occlusions using a subset of images
US10380752B2 (en) 2012-08-21 2019-08-13 Fotonation Limited Systems and methods for estimating depth and visibility from a reference viewpoint for pixels in a set of images captured from different viewpoints
US10462362B2 (en) 2012-08-23 2019-10-29 Fotonation Limited Feature based high resolution motion estimation from low resolution images captured using an array source
US9813616B2 (en) 2012-08-23 2017-11-07 Fotonation Cayman Limited Feature based high resolution motion estimation from low resolution images captured using an array source
US9214013B2 (en) 2012-09-14 2015-12-15 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
US10390005B2 (en) 2012-09-28 2019-08-20 Fotonation Limited Generating images from light fields utilizing virtual viewpoints
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
US9749568B2 (en) 2012-11-13 2017-08-29 Fotonation Cayman Limited Systems and methods for array camera focal plane control
US8907332B2 (en) 2013-02-18 2014-12-09 Samsung Display Co., Ltd. Organic light emitting display device
US10009538B2 (en) 2013-02-21 2018-06-26 Fotonation Cayman Limited Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US9774831B2 (en) 2013-02-24 2017-09-26 Fotonation Cayman Limited Thin form factor computational array cameras and modular array cameras
US9253380B2 (en) 2013-02-24 2016-02-02 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
US9743051B2 (en) 2013-02-24 2017-08-22 Fotonation Cayman Limited Thin form factor computational array cameras and modular array cameras
US9374512B2 (en) 2013-02-24 2016-06-21 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
US9917998B2 (en) 2013-03-08 2018-03-13 Fotonation Cayman Limited Systems and methods for measuring scene information while capturing images using array cameras
US9774789B2 (en) 2013-03-08 2017-09-26 Fotonation Cayman Limited Systems and methods for high dynamic range imaging using array cameras
US11272161B2 (en) 2013-03-10 2022-03-08 Fotonation Limited System and methods for calibration of an array camera
US10958892B2 (en) 2013-03-10 2021-03-23 Fotonation Limited System and methods for calibration of an array camera
US11985293B2 (en) 2013-03-10 2024-05-14 Adeia Imaging Llc System and methods for calibration of an array camera
US11570423B2 (en) 2013-03-10 2023-01-31 Adeia Imaging Llc System and methods for calibration of an array camera
US9986224B2 (en) 2013-03-10 2018-05-29 Fotonation Cayman Limited System and methods for calibration of an array camera
US10225543B2 (en) 2013-03-10 2019-03-05 Fotonation Limited System and methods for calibration of an array camera
US9521416B1 (en) 2013-03-11 2016-12-13 Kip Peli P1 Lp Systems and methods for image data compression
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
US10127682B2 (en) 2013-03-13 2018-11-13 Fotonation Limited System and methods for calibration of an array camera
US9733486B2 (en) 2013-03-13 2017-08-15 Fotonation Cayman Limited Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
US9741118B2 (en) 2013-03-13 2017-08-22 Fotonation Cayman Limited System and methods for calibration of an array camera
US9800856B2 (en) 2013-03-13 2017-10-24 Fotonation Cayman Limited Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US10412314B2 (en) 2013-03-14 2019-09-10 Fotonation Limited Systems and methods for photometric normalization in array cameras
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
US9787911B2 (en) 2013-03-14 2017-10-10 Fotonation Cayman Limited Systems and methods for photometric normalization in array cameras
US10091405B2 (en) 2013-03-14 2018-10-02 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US10547772B2 (en) 2013-03-14 2020-01-28 Fotonation Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US10638099B2 (en) 2013-03-15 2020-04-28 Fotonation Limited Extended color processing on pelican array cameras
US9800859B2 (en) 2013-03-15 2017-10-24 Fotonation Cayman Limited Systems and methods for estimating depth using stereo array cameras
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US10542208B2 (en) 2013-03-15 2020-01-21 Fotonation Limited Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9633442B2 (en) 2013-03-15 2017-04-25 Fotonation Cayman Limited Array cameras including an array camera module augmented with a separate camera
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US10455218B2 (en) 2013-03-15 2019-10-22 Fotonation Limited Systems and methods for estimating depth using stereo array cameras
US10182216B2 (en) 2013-03-15 2019-01-15 Fotonation Limited Extended color processing on pelican array cameras
US10674138B2 (en) 2013-03-15 2020-06-02 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9955070B2 (en) 2013-03-15 2018-04-24 Fotonation Cayman Limited Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9438888B2 (en) 2013-03-15 2016-09-06 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US9497370B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Array camera architecture implementing quantum dot color filters
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
US10540806B2 (en) 2013-09-27 2020-01-21 Fotonation Limited Systems and methods for depth-assisted perspective distortion correction
US9924092B2 (en) 2013-11-07 2018-03-20 Fotonation Cayman Limited Array cameras incorporating independently aligned lens stacks
US9185276B2 (en) 2013-11-07 2015-11-10 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
US10767981B2 (en) 2013-11-18 2020-09-08 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
US11486698B2 (en) 2013-11-18 2022-11-01 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
US10708492B2 (en) 2013-11-26 2020-07-07 Fotonation Limited Array camera configurations incorporating constituent array cameras and constituent cameras
US9426361B2 (en) 2013-11-26 2016-08-23 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
US9813617B2 (en) 2013-11-26 2017-11-07 Fotonation Cayman Limited Array camera configurations incorporating constituent array cameras and constituent cameras
US10574905B2 (en) 2014-03-07 2020-02-25 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
US11546576B2 (en) 2014-09-29 2023-01-03 Adeia Imaging Llc Systems and methods for dynamic calibration of array cameras
US10250871B2 (en) 2014-09-29 2019-04-02 Fotonation Limited Systems and methods for dynamic calibration of array cameras
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
US11562498B2 (en) 2017-08-21 2023-01-24 Adela Imaging LLC Systems and methods for hybrid depth regularization
US10818026B2 (en) 2017-08-21 2020-10-27 Fotonation Limited Systems and methods for hybrid depth regularization
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
US11983893B2 (en) 2017-08-21 2024-05-14 Adeia Imaging Llc Systems and methods for hybrid depth regularization
US11699273B2 (en) 2019-09-17 2023-07-11 Intrinsic Innovation Llc Systems and methods for surface modeling using polarization cues
US11270110B2 (en) 2019-09-17 2022-03-08 Boston Polarimetrics, Inc. Systems and methods for surface modeling using polarization cues
US11525906B2 (en) 2019-10-07 2022-12-13 Intrinsic Innovation Llc Systems and methods for augmentation of sensor systems and imaging systems with polarization
US12099148B2 (en) 2019-10-07 2024-09-24 Intrinsic Innovation Llc Systems and methods for surface normals sensing with polarization
US11982775B2 (en) 2019-10-07 2024-05-14 Intrinsic Innovation Llc Systems and methods for augmentation of sensor systems and imaging systems with polarization
US11302012B2 (en) 2019-11-30 2022-04-12 Boston Polarimetrics, Inc. Systems and methods for transparent object segmentation using polarization cues
US11842495B2 (en) 2019-11-30 2023-12-12 Intrinsic Innovation Llc Systems and methods for transparent object segmentation using polarization cues
US11580667B2 (en) 2020-01-29 2023-02-14 Intrinsic Innovation Llc Systems and methods for characterizing object pose detection and measurement systems
US11797863B2 (en) 2020-01-30 2023-10-24 Intrinsic Innovation Llc Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US12069227B2 (en) 2021-03-10 2024-08-20 Intrinsic Innovation Llc Multi-modal and multi-spectral stereo camera arrays
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11683594B2 (en) 2021-04-15 2023-06-20 Intrinsic Innovation Llc Systems and methods for camera exposure control
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US12067746B2 (en) 2021-05-07 2024-08-20 Intrinsic Innovation Llc Systems and methods for using computer vision to pick up small objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Also Published As

Publication number Publication date
US9369690B2 (en) 2016-06-14
US20120314033A1 (en) 2012-12-13
KR101802238B1 (ko) 2017-11-29
EP2541944A4 (en) 2013-08-21
EP2541944A2 (en) 2013-01-02
JP5859464B2 (ja) 2016-02-10
WO2011105812A3 (ko) 2012-01-12
WO2011105812A2 (ko) 2011-09-01
JP2013520912A (ja) 2013-06-06

Similar Documents

Publication Publication Date Title
KR101802238B1 (ko) 휴대용 단말기에서 입체 영상 데이터를 생성하기 위한 장치 및 방법
JP4525831B1 (ja) 画像受信装置、および、プログラム
KR101340911B1 (ko) 다중 뷰들의 효율적인 인코딩 방법
JP5241500B2 (ja) カメラパラメータを利用した多視点動画符号化及び復号化装置並びに方法と、これを行うためのプログラムの記録された記録媒体
US8705844B2 (en) Image processing method and apparatus therefor
KR101521655B1 (ko) ＬＡＳｅＲ 기반의 단말을 위한 스테레오스코픽 입체 영상 컨텐츠 제공 장치 및 방법
CA2713857C (en) Apparatus and method for generating and displaying media files
CN104584546A (zh) 便携式终端装置以及程序
EP2088789A2 (en) Apparatus and method for generating and displaying media files
US20130106997A1 (en) Apparatus and method for generating three-dimension data in portable terminal
US20130070052A1 (en) Video procesing device, system, video processing method, and video processing program capable of changing depth of stereoscopic video images
US9503710B2 (en) Mobile terminal and method of controlling the simultaneous display of 2D and 3D images
CA2896132A1 (en) Method and apparatus of compatible depth dependent coding
KR101645465B1 (ko) 휴대용 단말기에서 입체 영상 데이터를 생성하기 위한 장치 및 방법
KR20120054746A (ko) 휴대용 단말기에서 입체 이미지를 생성하기 위한 장치 및 방법
CN112272319A (zh) 音视频数据的传输方法、装置、存储介质与电子设备
CN110198457B (zh) 视频播放方法及其设备、系统、存储介质、终端、服务器
KR101386810B1 (ko) 3차원 영상을 판별하기 위한 장치 및 방법
KR101306671B1 (ko) 정보 처리 장치, 정보 처리 방법, 및 컴퓨터 판독 가능 기억 매체
CN116962743A (zh) 视频图像编码、抠图方法和装置及直播系统
US8055086B2 (en) Method and apparatus for efficiently storing stereo image
Aflaki et al. Unpaired multiview video plus depth compression
JP2012205029A (ja) 記録再生方法、および、記録再生装置
KR20120063388A (ko) 전자 장치 및 입체영상 재생 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant