WO2011105814A2 - 다시점 정지 영상 서비스 제공 방법 및 그 장치, 다시점 정지 영상 서비스 수신 방법 및 그 장치 - Google Patents

다시점 정지 영상 서비스 제공 방법 및 그 장치, 다시점 정지 영상 서비스 수신 방법 및 그 장치 Download PDF

Info

Publication number
WO2011105814A2
WO2011105814A2 PCT/KR2011/001271 KR2011001271W WO2011105814A2 WO 2011105814 A2 WO2011105814 A2 WO 2011105814A2 KR 2011001271 W KR2011001271 W KR 2011001271W WO 2011105814 A2 WO2011105814 A2 WO 2011105814A2
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
view
still image
multiview
Prior art date
Application number
PCT/KR2011/001271
Other languages
English (en)
French (fr)
Other versions
WO2011105814A3 (ko
Inventor
김용태
박하중
이건일
민형석
홍성빈
최광철
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US13/580,895 priority Critical patent/US9456196B2/en
Publication of WO2011105814A2 publication Critical patent/WO2011105814A2/ko
Publication of WO2011105814A3 publication Critical patent/WO2011105814A3/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은, 다시점 정지 영상을 구성하기 위한 복수 개의 영상 정보가 삽입될 복수 개의 영상 영역들을 구비한 다시점 정지 영상 파일 포맷을 구성하여, 복수 개의 영상 영역들에 상기 복수 개의 영상 정보를 각각 삽입하고, 복수 개의 영상 영역들 중에서, 주시점 영상 정보가 삽입되는 영상 영역에 다시점 정지 영상을 3차원 재생하기 위한 3차원 기본 속성정보를 삽입하여, 다시점 정지 영상 파일 포맷에 기초하여 복수 개의 영상 정보를 포함하는 다시점 정지 영상 데이터를 출력하는, 다시점 정지 영상 서비스 제공 방법을 개시한다.

Description

다시점 정지 영상 서비스 제공 방법 및 그 장치, 다시점 정지 영상 서비스 수신 방법 및 그 장치
본 발명은 다시점 정지 영상 서비스를 제공하는 방법과 수신하는 방법, 그리고 다시점 정지 영상 서비스의 제공 장치 및 수신 장치에 관한 것이다.
정지 영상 파일 포맷으로 JPEG (Joint Photographic Coding Experts Group) 파일 포맷이 널리 이용되고 있다. JPEG 파일 포맷에 기반한 정지 영상 데이터는, SOI(Start of Image) 표시자(marker)로 시작하여 마지막에 EOI(End of Image) 표시자로 끝나며, SOI 마커 와 EOI 마커 사이에 하나의 정지 영상의 압축 데이터와 정지 영상 데이터에 대한 정보가 저장된다.
3차원 비디오 포맷으로, MPEG (Moving Picture Experts Group)의 SVAF (Stereoscopic Video Application Format) 비디오 포맷이 개발되었다. SVAF 포맷은 ISO(International Organization for Standardization) 미디어 파일 포맷에 기초한다. ISO 미디어 파일 포맷은, 미디어 데이터터가 저장되는 'mdia' 박스(media data box)과, 'mdia' 박스에 저장된 컨텐츠에 대한 정보가 저장되는 'moov' 박스(movie box)로 구성된다. SVAF 포맷은 'mdia' 박스에 3차원 비디오 데이터를 저장한다.
본 발명의 일 실시예에 따라, 다시점 정지 영상을 구성하는 복수 개의 정지 영상에 대한 영상 정보와, 다시점 정지 영상을 3차원 재생하기 위해 필요한 각종 정보를 효과적으로 송수신하기 위한 다시점 정지 영상 파일 포맷을 개시하고, 다시점 정지 영상 파일 포맷을 제공하고 제공받기 위한 다시점 정지 영상 서비스를 개시한다.
본 발명의 일 실시예에 따라 다시점 정지 영상 서비스를 제공하는 방법은, 상기 다시점 정지 영상을 구성하기 위한 복수 개의 영상 정보가 삽입될 복수 개의 영상 영역들을 구비한 다시점 정지 영상 파일 포맷을 구성하는 단계; 상기 복수 개의 영상 영역들에 상기 복수 개의 영상 정보를 각각 삽입하는 단계; 상기 복수 개의 영상 영역들 중에서, 상기 복수 개의 영상 정보 중 주시점 영상 정보가 삽입되는 제 1 영상 영역에 상기 다시점 정지 영상을 3차원 재생하기 위한 3차원 기본 속성정보를 삽입하는 단계; 및 상기 다시점 정지 영상 파일 포맷에 기초하여 상기 복수 개의 영상 정보를 포함하는 다시점 정지 영상 데이터를 출력하는 단계를 포함한다. 일 실시예에 따른 상기 다시점 정지 영상 서비스 제공 방법은, 상기 제 1 영상 영역에, 상기 복수 개의 영상 영역들 중 각각의 시작 위치를 나타내기 위한 영역 오프셋 정보를 삽입하는 단계를 더 포함할 수 있다.
본 발명의 다양한 실시예들에 따라, 하나의 정지 영상 데이터에, 다시점 정지 영상을 구성하는 복수 개의 시점별 영상들에 대한 복수 개의 영상 정보가 모두 삽입되고, 복수 개의 영상 정보를 복수 개의 시점별 영상으로 복원하여 3차원 재생하는데 필요한 3차원 속성정보가 삽입되어 전송될 수 있다. 또한, 하나의 정지 영상 데이터로부터, 다시점 정지 영상을 구성하는 복수 개의 시점별 영상들에 대한 복수 개의 영상 정보가 모두 추출되고, 3차원 속성정보가 추출될 수 있다. 3차원 속성정보를 이용하여, 원하는 스테레오 쌍을 구성하는 둘 이상의 영상 정보가 선택되어 시점별 영상들이 복원되고, 3차원 재생될 수 있다.
본 발명의 다양한 실시예들에 따라, 미디어 파일 포맷의 미디어 데이터 영역에 정지 영상 파일 포맷에 기초한 3차원 정지 영상 데이터가 삽입되고, 미디어 파일 포맷의 무브 영역에 3차원 정지 영상을 복원하여 3차원 재생하는데 필요한 3차원 속성정보가 삽입되어 전송될 수 있다. 또한, 하나의 정지 영상 데이터로부터, 미디어 파일 포맷의 미디어 데이터 영역으로부터 정지 영상 파일 포맷에 기초한 3차원 정지 영상 데이터가 추출되고, 미디어 파일 포맷의 무브 영역으로부터 3차원 속성정보가 추출되어, 3차원 속성정보를 이용한 좌시점 영상과 우시점 영상의 복원및 3차원 재생이 가능하다.
도 1 은 본 발명의 일 실시예에 따른 다시점 정지 영상 서비스 제공 장치의 블록도를 도시한다.
도 2 는 본 발명의 일 실시예에 따른 다시점 정지 영상 서비스 수신 장치의 블록도를 도시한다.
도 3 은 본 발명의 일 실시예에 따른 미디어 파일 포맷에 기반한 다시점 정지 영상 서비스 제공 장치의 블록도를 도시한다.
도 4 는 본 발명의 일 실시예에 따른 미디어 파일 포맷에 기반한 다시점 정지 영상 서비스 수신 장치의 블록도를 도시한다.
도 5 는 일 실시예에 따른 3차원 영상 재생 시스템의 동작 개요도를 도시한다.
도 6 은 일 실시예에 따른 미디어 파일 포맷에 기반한 다시점 정지 영상 서비스 제공 장치에 의해 생성되는 다시점 정지 영상 파일 포맷을 예시한다.
도 7 과 8은 일 실시예에 따른 다시점 정지 영상 서비스 제공 장치에 의해 생성되는 다시점 정지 영상 파일 포맷을 예시한다.
도 9 는 일 실시예에 따라 종횡비에 대한 정보에 기초하여, 다시점 정지 영상을 출력한 결과 영상을 예시한다.
도 10 는 종횡비가 고려되지 않은 다시점 정지 영상을 출력하여 오류가 발생한 경우를 예시한다.
도 11 은 일 실시예에 따른 멀티패쓰 정보에 기초하여, 재생 장치의 크기에 따라 스테레오 쌍이 선택되어 출력되는 실시예를 도시한다.
도 12 는 일 실시예에 따른 저피로도 정보의 이용례를 도시한다.
도 13 은 일 실시예에 따라 오클루젼과 관련된 경계 영역에 대한 정보에 기초한 후처리를 수반하는 출력 화면을 예시한다.
도 14 는 다른 시점 영상들 간에 변이에 따라 발생하는 양안 시차를 예시하고, 도 15는 일 실시예에 따른 다른 시점 영상들 간 변이 벡터를 이용하여 양안 시차를 수렴하도록 조절하는 자동 초점 수렴 방식을 도시한다.
도 16 은 다시점 정지 영상을 구성하는 복수 개의 시점별 영상 중에서 가능한 복수 개의 스테레오 쌍들을 예시한다.
도 17 은 본 발명의 일 실시예에 따른 다시점 정지 영상 서비스 제공 방법의 흐름도를 도시한다.
도 18 는 본 발명의 일 실시예에 따른 다시점 정지 영상 서비스 수신 방법의 흐름도를 도시한다.
도 19 은 본 발명의 다른 실시예에 따른 미디어 파일 포맷에 기반한 다시점 정지 영상 서비스 제공 방법의 흐름도를 도시한다.
도 20 는 본 발명의 다른 실시예에 따른 미디어 파일 포맷에 기반한 다시점 정지 영상 서비스 수신 방법의 흐름도를 도시한다.
본 발명의 일 실시예에 따라 다시점 정지 영상 서비스를 제공하는 방법은, 상기 다시점 정지 영상을 구성하기 위한 복수 개의 영상 정보가 삽입될 복수 개의 영상 영역들을 구비한 다시점 정지 영상 파일 포맷을 구성하는 단계; 상기 복수 개의 영상 영역들에 상기 복수 개의 영상 정보를 각각 삽입하는 단계; 상기 복수 개의 영상 영역들 중에서, 상기 복수 개의 영상 정보 중 주시점 영상 정보가 삽입되는 제 1 영상 영역에 상기 다시점 정지 영상을 3차원 재생하기 위한 3차원 기본 속성정보를 삽입하는 단계; 및 상기 다시점 정지 영상 파일 포맷에 기초하여 상기 복수 개의 영상 정보를 포함하는 다시점 정지 영상 데이터를 출력하는 단계를 포함한다. 일 실시예에 따른 상기 다시점 정지 영상 서비스 제공 방법은, 상기 제 1 영상 영역에, 상기 복수 개의 영상 영역들 중 각각의 시작 위치를 나타내기 위한 영역 오프셋 정보를 삽입하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따라 다시점 정지 영상 서비스를 수신하는 방법은, 다시점 정지 영상 데이터를 수신하여 복수 개의 영상 영역들을 구비한 다시점 정지 영상 파일 포맷에 기초한 상기 다시점 정지 영상 데이터를 파싱하는 단계; 상기 복수 개의 영상 영역들 중에서, 상기 다시점 정지 영상을 구성하기 위한 복수 개의 영상 정보 중 주시점 영상 정보가 삽입되는 제 1 영상 영역으로부터, 상기 다시점 정지 영상을 3차원 재생하기 위한 3차원 기본 속성정보를 추출하는 단계; 및 상기 제 1 영상 영역으로부터 상기 주시점 영상 정보를 추출하고, 상기 복수 개의 영상 영역들 중 나머지 영상 영역으로부터 상기 복수 개의 영상 정보 중 나머지 영상 정보를 각각 추출하는 단계를 포함한다. 일 실시예에 따른 상기 다시점 정지 영상 서비스 수신 방법은, 상기 추출된 3차원 기본 속성정보와 상기 추출된 복수 개의 영상 정보를 이용하여, 상기 다시점 정지 영상을 구성하는 복수 개의 시점별 영상들을 복원하여 3차원 재생하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따라 미디어 파일 포맷에 기반하여 다시점 정지 영상 서비스를 제공하는 방법은, 상기 다시점 정지 영상을 구성하기 위한 복수 개의 영상 정보가 각각 삽입된 적어도 하나의 정지 영상 파일 포맷의 영상 데이터가 입력되는 단계; 상기 미디어 파일 포맷의 미디어 데이터 영역에, 상기 적어도 하나의 정지 영상 파일 포맷의 영상 데이터를 삽입하는 단계; 상기 미디어 파일 포맷의 무비 영역에, 상기 다시점 정지 영상 데이터를 3차원 재생하기 위한 정보가 수록된 메타데이터를 삽입하는 단계; 및 상기 미디어 파일 포맷에 기초하여 상기 복수 개의 영상 정보를 포함하는 다시점 정지 영상 데이터를 출력하는 단계를 포함한다.
본 발명의 일 실시예에 따라 미디어 파일 포맷에 기반하여 다시점 정지 영상 서비스를 수신하는 방법은, 다시점 정지 영상 데이터를 수신하여 상기 미디어 파일 포맷에 기초한 상기 다시점 정지 영상 데이터를 파싱하는 단계; 상기 미디어 파일 포맷의 무비 영역으로부터, 상기 다시점 정지 영상을 구성하기 위한 복수 개의 시점별 영상들을 복원하여 3차원 재생하기 위한 정보가 수록된 3차원 메타데이터를 추출하는 단계; 및 상기 미디어 파일 포맷의 미디어 데이터 영역으로부터, 상기 복수 개의 시점별 영상들에 대한 영상 정보가 삽입된 적어도 하나의 정지 영상 파일 포맷의 영상 데이터를 추출하는 단계를 포함한다. 일 실시예에 따른 상기 다시점 정지 영상 서비스 수신 방법은, 상기 추출된 메타데이터와 상기 추출된 복수 개의 영상 정보를 이용하여, 상기 다시점 정지 영상을 구성하는 복수 개의 시점별 영상들을 복원하여 3차원 재생하는 단계를 더 포함한다.
본 발명의 일 실시예에 따른 다시점 정지 영상 서비스 제공 장치는, 상기 다시점 정지 영상을 구성하기 위한 복수 개의 영상 정보가 삽입될 복수 개의 영상 영역들을 구비한 다시점 정지 영상 파일 포맷을 구성하는 다시점 정지 영상 파일 포맷 구성부; 상기 복수 개의 영상 영역들에 상기 복수 개의 영상 정보를 각각 삽입하는 영상 정보 삽입부; 상기 복수 개의 영상 영역들 중에서, 상기 복수 개의 영상 정보 중 주시점 영상 정보가 삽입되는 제 1 영상 영역에 상기 다시점 정지 영상을 3차원 재생하기 위한 3차원 기본 속성정보를 삽입하는 속성정보 삽입부; 및 상기 다시점 정지 영상 파일 포맷에 기초하여 상기 복수 개의 영상 정보를 포함하는 다시점 정지 영상 데이터를 출력하는 출력부를 포함한다.
본 발명의 일 실시예에 따른 다시점 정지 영상 서비스 수신 장치는, 다시점 정지 영상 데이터를 수신하여 복수 개의 영상 영역들을 구비한 다시점 정지 영상 파일 포맷에 기초한 상기 다시점 정지 영상 데이터를 파싱하는 수신파싱부; 상기 복수 개의 영상 영역들 중에서, 상기 다시점 정지 영상을 구성하기 위한 복수 개의 영상 정보 중 주시점 영상 정보가 삽입되는 제 1 영상 영역으로부터, 상기 다시점 정지 영상을 3차원 재생하기 위한 3차원 기본 속성정보를 추출하는 속성정보 추출부; 상기 제 1 영상 영역으로부터 상기 주시점 영상 정보를 추출하고, 상기 복수 개의 영상 영역들 중 나머지 영상 영역으로부터 상기 복수 개의 영상 정보 중 나머지 영상 정보를 각각 추출하는 영상 정보 추출부; 및 상기 추출된 3차원 기본 속성정보와 상기 추출된 복수 개의 영상 정보를 이용하여, 상기 다시점 정지 영상을 구성하는 복수 개의 시점별 영상들을 복원하는 영상 복원부를 포함한다.
본 발명의 일 실시예에 따라 미디어 파일 포맷에 기반한 다시점 정지 영상 서비스 제공 장치는, 상기 다시점 정지 영상을 구성하기 위한 복수 개의 영상 정보가 각각 삽입된 적어도 하나의 정지 영상 파일 포맷의 영상 데이터가 입력되는 영상 데이터 입력부; 상기 미디어 파일 포맷의 미디어 데이터 영역에, 상기 적어도 하나의 정지 영상 파일 포맷의 영상 데이터를 삽입하는 영상 데이터 삽입부; 상기 미디어 파일 포맷의 무비 영역에, 상기 다시점 정지 영상 데이터를 3차원 재생하기 위한 정보가 수록된 3차원 메타데이터를 삽입하는 3차원 메타데이터 삽입부; 및 상기 미디어 파일 포맷에 기초하여 상기 복수 개의 영상 정보를 포함하는 다시점 정지 영상 데이터를 출력하는 출력부를 포함한다.
본 발명의 일 실시예에 따라 미디어 파일 포맷에 기반한 다시점 정지 영상 서비스 수신 장치는, 다시점 정지 영상 데이터를 수신하여 상기 미디어 파일 포맷에 기초한 상기 다시점 정지 영상 데이터를 파싱하는 수신파싱부; 상기 미디어 파일 포맷의 무비 영역으로부터, 상기 다시점 정지 영상을 구성하기 위한 복수 개의 시점별 영상들을 복원하여 3차원 재생하기 위한 정보가 수록된 3차원 메타데이터를 추출하는 3차원 메타데이터 추출부; 상기 미디어 파일 포맷의 미디어 데이터 영역으로부터, 상기 복수 개의 시점별 영상들에 대한 영상 정보가 삽입된 적어도 하나의 정지 영상 파일 포맷의 영상 데이터를 추출하는 영상 데이터 추출부; 및 상기 추출된 메타데이터와 상기 추출된 복수 개의 영상 정보를 이용하여, 상기 다시점 정지 영상을 구성하는 복수 개의 시점별 영상들을 복원하는 영상 복원부를 포함한다.
본 발명은, 일 실시예에 따른 다시점 정지 영상 서비스 제공 방법을 컴퓨터로 구현하기 위한 프로그램이 기록된 컴퓨터로 판독가능한 기록매체를 포함한다. 본 발명은, 일 실시예에 따른 다시점 정지 영상 서비스 수신 방법을 컴퓨터로 구현하기 위한 프로그램이 기록된 컴퓨터로 판독가능한 기록매체를 포함한다.
본 발명은, 일 실시예에 따른 미디어 파일 포맷에 기반한 다시점 정지 영상 서비스 제공 방법을 컴퓨터로 구현하기 위한 프로그램이 기록된 컴퓨터로 판독가능한 기록매체를 포함한다. 본 발명은 일 실시예에 따른 미디어 파일 포맷에 기반한 다시점 정지 영상 서비스 수신 방법을 컴퓨터로 구현하기 위한 프로그램이 기록된 컴퓨터로 판독가능한 기록매체를 포함한다.
이하 도 1 내지 20을 참조하여, 본 발명의 일 실시예에 따라, 다시점 정지 영상을 구성하는 복수 개의 정지 영상에 대한 영상 정보와, 다시점 정지 영상을 3차원 재생하기 위해 필요한 각종 정보를 효과적으로 송수신하기 위한 다시점 정지 영상 파일 포맷을 개시하고, 다시점 정지 영상 파일 포맷을 제공하고 제공받기 위한 다시점 정지 영상 서비스를 개시한다.
도 1 은 본 발명의 일 실시예에 따른 다시점 정지 영상 서비스 제공 장치(100)의 블록도를 도시한다.
일 실시예에 따른 다시점 정지 영상 서비스 제공 장치(100)는, 다시점 정지 영상 파일 포맷 구성부(100), 영상 정보 삽입부(120), 속성 정보 삽입부(130) 및 출력부(140)를 포함한다.
다시점 정지 영상 파일 포맷 구성부(100)는, 다시점 정지 영상에 대한 데이터가 기록될 다시점 정지 영상 파일 포맷을 구성한다. 다시점 정지 영상은, 복수 개의 시점별 영상으로 구성될 수 있다. 다시점 정지 영상을 구성하기 위한 복수 개의 시점별 영상은, 시점별 영상의 픽셀값 뿐만 아니라, 시점 간 뎁스(depth), 시점 간 변이(disparity) 등으로 표현될 수 있다. 따라서 다시점 정지 영상을 구성하기 위한 복수 개의 영상 정보는, 복수 개의 시점별 영상에 대한 픽셀 정보, 뎁스 정보, 변이 정보 등을 포함할 수 있다. 또한 복수 개의 영상 정보는, 복수 개의 영상 정보 중 일부가 합성된 형태 등을 포함할 수 있다.
따라서 다시점 정지 영상 파일 포맷 구성부(100)는, 다시점 정지 영상을 구성하기 위한 복수 개의 영상 정보가 수록될 수 있는 구조의 다시점 정지 영상 파일 포맷을 구성할 수 있다. 일 실시예에 따른 다시점 정지 영상 파일 포맷 구성부(100)는, 다시점 정지 영상을 구성하기 위한 복수 개의 영상 정보가 삽입될 복수 개의 영상 영역들을 구비하는 다시점 정지 영상 파일 포맷을 구성할 수 있다.
다시점 정지 영상 파일 포맷 구성부(100)에 의해 구성된 다시점 정지 영상 파일 포맷의 영상 영역들은, 영상 정보가 삽입되는 영상 정보 영역 및 영상 정보에 대한 부가 정보가 삽입되는 부가 정보 영역을 포함할 수 있다. 또한, 다시점 정지 영상 파일 포맷 구성부(100)에 의해 구성된 다시점 정지 영상 파일 포맷의 영상 영역들은, 현재 영상 영역의 시작을 나타내는 영상 시작 영역과, 현재 영상 영역의 종료를 알리는 영상 종료 영역을 포함할 수 있다. 영상 시작 영역 및 영상 종료 영역 사이의 영역에 영상 정보 영역과 부가 정보 영역이 위치할 수 있다.
영상 정보 삽입부(120)는, 다시점 정지 영상 파일 포맷 구성부(100)에 의해 구성된 다시점 정지 영상 파일 포맷의 복수 개의 영상 영역들에, 다시점 정지 영상을 구성하기 위한 복수 개의 영상 정보를 각각 삽입한다. 일 실시예에 따른 영상 정보 삽입부(120)는, 다시점 정지 영상 파일 포맷의 복수 개의 영상 영역들 중 제 1 영상 영역에, 다시점 정지 영상을 구성하기 위한 복수 개의 영상 정보 중 주시점 영상 정보를 삽입할 수 있다.
속성정보 삽입부(130)는, 다시점 정지 영상 파일 포맷 구성부에 의해 구성된 다시점 정지 영상 파일 포맷의 영상 영역들마다 삽입된 영상 정보에 대한 각종 속성 정보를, 영상 영역에 삽입할 수 있다.
일 실시예에 따른 속성정보 삽입부(130)는, 다시점 정지 영상 파일 포맷 구성부(100)에 의해 구성된 다시점 정지 영상 파일 포맷의 복수 개의 영상 영역들 중에서 제 1 영상 영역에, 다시점 정지 영상을 3차원 재생하기 위한 3차원 기본 속성정보를 삽입한다. 3차원 기본 속성정보는, 다시점 정지 영상을 구성하기 위한 복수 개의 영상 정보를 시점별 영상들로 복원하여 3차원 재생하기 위해 필요한 속성을 나타낸다.
다시점 정지 영상 파일 포맷 구성부(110)에 의해 구성된 다시점 정지 영상 파일 포맷의 영상 영역들은, 영상 정보에 대한 EXIF (Exchangeable Image File Format) 정보가 삽입되는 제 1 부가 정보 영역을 포함할 수 있다. 일 실시예에 따른 다시점 정지 영상 파일 포맷 구성부(110)에 의해 구성된 다시점 정지 영상 파일 포맷의 영상 영역들은, 제 1 부가 정보 영역 이외에 추가적인 부가 정보 영역들을 포함할 수 있다.
일 실시예에 따른 속성정보 삽입부(130)는, 3차원 기본 속성정보를, 제 1 영상 영역의 제 1 부가 정보 영역 이외의 추가적인 부가 정보 영역에 삽입할 수 있다.
다른 실시예에 따른 속성정보 삽입부(130)는, 3차원 기본 속성정보를 제 1 영상 영역의 제 1 부가 정보 영역에 삽입할 수 있다. 또한, 다른 실시예에 따른 속성정보 삽입부(130)는, 복수 개의 영상 영역들의 제 1 부가 정보 영역마다, 3차원 기본 속성정보를 삽입할 수 있다. 이 경우 속성정보 삽입부(130)는, 필요에 따라 제 1 영상 영역의 제 1 부가 정보 영역 이외의 추가적인 부가 정보 영역에도 3차원 기본 속성정보를 삽입할 수도 있다.
일 실시예에 따른 속성정보 삽입부(130)는, 다시점 정지 영상 파일 포맷의 제 1 영상 영역에, 복수 개의 영상 영역들 각각의 시작 위치를 나타내기 위한 영역 오프셋 정보를 삽입할 수 있다. 속성정보 삽입부(130)는, 영역 오프셋 정보를, 제 1 영상 영역 중에서 3차원 기본 속성정보가 삽입되는 부가 정보 영역에 삽입할 수 있다.
일 실시예에 따른 속성정보 삽입부(130)는, 영상 영역들마다 각각의 영상 정보에 대한 3차원 부가 속성정보를 삽입할 수 있다. 일 실시예에 따른 3차원 부가 속성 정보는, 현재 영상 정보를 시점별 영상으로 복원하여 3차원 재생하기 위해 필요한 개별적인 속성을 나타낸다.
따라서, 영상 정보 삽입부(120)에 의해, 복수 개의 영상 영역들마다 '현재 영상 영역'의 영상 정보 영역에는, 복수 개의 영상 정보 중 '현재 영상 정보'가 삽입되고, 속성정보 삽입부(130)에 의해, 현재 영상 영역의 부가 정보 영역에는 현재 영상 정보에 대한 EXIF 정보와 같은 부가 정보와 3차원 재생을 위한 3차원 속성정보가 삽입될 수 있다.
일 실시예에 따른 속성정보 삽입부(130)는, 복수 개의 영상 영역들마다, 3차원 기본 속성정보가 삽입되는 부가 정보 영역 이외의 추가적인 부가 정보 영역에, 현재 영상 영역에 삽입된 현재 영상 정보에 대한 3차원 부가 정보를 삽입할 수 있다.
일 실시예에 따른 3차원 기본 속성정보는, 다시점 정지 영상의 2차원/3차원 출력 방식에 대한 정보, 다시점 정지 영상의 3차원 영상 포맷에 대한 정보, 다시점 정지 영상의 우선시점에 대한 정보, 다시점 정지 영상의 시점들의 배열 순서에 대한 정보, 다시점 정지 영상의 시점들 중 주시점의 인덱스에 대한 정보, 다시점 정지 영상의 시점들의 개수에 대한 정보, 및 다시점 정지 영상의 정지 영상 파일 포맷 시작점으로부터 각각의 영상 영역까지의 거리에 대한 정보, 각각의 영상 정보의 3차원 영상 포맷의 구성 요소에 대한 정보 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른 다시점 정지 영상 파일 포맷에 삽입된 복수 개의 영상 정보에 대한 3차원 기본 속성정보는, 다시점 정지 영상을 구성하는 복수 개의 시점별 영상들 중 소정 시점 영상의 원본 영상의 종횡비의 수평값 및 수직값에 대한 정보를 포함할 수 있다.
일 실시예에 따른 3차원 기본 속성정보는, 복수 개의 영상 정보가 구성하는 하나 이상의 스테레오 쌍이 서로 다른 시점 간 뎁스 정보를 갖는 스테레오 쌍들을 포함할 때, 재생 장치의 크기에 따라 대응되는 시점 간 뎁스 정보를 갖는 스테레오 쌍을 나타내는 멀티패쓰 정보를 포함한다.
일 실시예에 따른 다시점 정지 영상 파일 포맷의 현재 영상 영역에 삽입된 현재 영상 정보에 대한 3차원 부가 속성정보는, 현재 영상 정보의 현재 시점 영상의 경계에서 기준 시점 영상에 대비하여 발생하는 오클루젼(Occlusion) 영역의 넓이에 대한 정보 및 오클루젼 영역의 방향에 대한 정보를 포함할 수 있다.
일 실시예에 따른 현재 영상 정보에 대한 3차원 부가 속성정보는, 상기 복수 개의 영상 정보 중 현재 영상 정보의 현대 시점 영상과 스트레오 쌍을 구성하는 영상 정보의 개수에 관한 정보를 포함할 수 있다.
그 밖에 일 실시예에 따른 현재 영상 정보에 대한 3차원 부가 속성정보는, 복수 개의 영상 정보 중 현재 영상 정보의 현대 시점 영상과 스트레오 쌍을 구성하는 적어도 하나의 영상 정보의 인덱스에 관한 정보, 스테레오 쌍을 구성하는 현재 시점 영상과 상대 시점 영상 간의 양안 시차(parallax)를 조절하기 위해, 현재 시점 영상 중 재생 영상의 너비 및 높이에 대한 정보, 현재 시점 영상 중 재생 영상의 수평 좌표 및 수직 좌표에 대한 정보, 상대 시점 영상 중 재생 영상의 수평 좌표 및 수직 좌표에 대한 정보 중 적어도 하나를 포함할 수 있다. 일 실시예에 따른 3차원 부가 속성정보는, 상대 시점 영상 중 재생 영상의 너비 및 높이에 대한 정보를 더 포함할 수도 있다.
일 실시예에 따른 현재 영상 정보에 대한 3차원 부가 속성정보는, 복수 개의 영상 정보 중 현재 영상 정보의 3차원 영상 포맷 구성 요소에 대한 정보, 다시점 정지 영상을 획득한 카메라에 대한 정보, 상기 현재 영상 정보의 유효한 최소 수직 변이에 대한 정보 및 유효한 최대 수직 변이에 대한 정보, 현재 영상 정보의 3차원 재생으로 인해 발생 가능한 시청자 피로도를 경감하기 위한 저피로도 정보, 및 주시점 영상에 대비하여 현재 영상 정보의 색차에 대한 정보 중 적어도 하나를 포함할 수 있다.
다시점 정지 영상 서비스 제공 장치(100)의 출력부(140)는, 다시점 정지 영상 파일 포맷 구성부(100)에 의해 구성된 다시점 정지 영상 파일 포맷에 기초하여, 영상 정보 삽입부(120) 및 속성정보 삽입부(130)가 다시점 정지 영상을 구성하기 위한 복수 개의 영상 정보 및 각종 속성 정보를 포함하는 다시점 정지 영상 데이터를 출력한다.
도 2 는 본 발명의 일 실시예에 따른 다시점 정지 영상 서비스 수신 장치(200)의 블록도를 도시한다.
일 실시예에 따른 다시점 정지 영상 서비스 수신 장치(200)는, 수신파싱부(210), 속성정보 추출부(220), 영상 정보 추출부(230) 및 영상 복원부(240)를 포함한다.
일 실시예에 따른 수신파싱부(210)는, 복수 개의 영상 영역들을 구비한 다시점 정지 영상 파일 포맷에 기초한 다시점 정지 영상 데이터를 수신하여 파싱한다. 일 실시예에 따른 수신파싱부(210)에 의해 파싱된 다시점 정지 영상 데이터는, 복수 개의 영상 영역들로 구분될 수 있다.
일 실시예에 따른 속성정보 추출부(220)는, 다시점 정지 영상 데이터의 복수 개의 영상 영역들 중 제 1 영상 영역으로부터, 다시점 정지 영상을 3차원 재생하기 위한 3차원 기본 속성정보를 추출할 수 있다.
일 실시예에 따른 영상 정보 추출부(230)는, 복수 개의 영상 영역들로부터, 다시점 정지 영상을 구성하는 복수 개의 영상 정보를 추출할 수 있다.
일 실시예에 따른 영상 정보 추출부(230)는, 복수 개의 영상 영역들로부터, 다시점 정지 영상을 구성하는 복수 개의 시점별 정지 영상들에 대한 영상 픽셀값 정보, 시점 간 뎁스 정보, 시점 간 변이 정보 및 상기 복수 개의 영상 정보 중 일부 정보가 합성된 형태 중 적어도 하나를 포함하는 복수 개의 영상 정보를 추출할 수 있다.
일 실시예에 따른 영상 정보 추출부(230)는, 제 1 영상 영역으로부터 다시점 정지 영상을 구성하기 위한 복수 개의 영상 정보 중 주시점 영상 정보를 추출하고, 일 실시예에 따른 영상 정보 추출부(230)는, 복수 개의 영상 영역들 중 제 1 영상 영역을 제외한 나머지 영상 영역들로부터, 복수 개의 영상 정보 중 주시점 영상 정보를 제외한 나머지 영상 정보를 각각 추출할 수 있다.
일 실시예에 따른 속성정보 추출부(220)는, 다시점 정지 영상 데이터의 제 1 영상 영역으로부터, 복수 개의 영상 영역들 각각의 시작 위치를 나타내기 위한 영역 오프셋 정보를 추출할 수 있다. 일 실시예에 따른 오프셋 정보에 기초하여 다시점 정지 영상 데이터에서 각각의 영상 영역의 위치가 결정될 수 있다. 따라서, 속성정보 추출부(220) 및 영상 정보 추출부(230)는, 영역 오프셋 정보에 기초하여 제 1 영상 영역을 제외한 나머지 영상 영역을 검색하여, 주시점 영상 정보를 제외한 나머지 영상 정보와 각종 속성 정보를 각각 추출할 수 있다.
일 실시예에 따른 속성정보 추출부(220)는, 제 1 영상 영역 중에서, EXIF 정보가 삽입된 제 1 부가 정보 영역 이외의 추가적인 부가 정보 영역으로부터 3차원 기본 속성정보를 추출할 수 있다.
다른 실시예에 따른 속성정보 추출부(220)는, 제 1 영상 영역 중에서, EXIF 정보가 삽입된 제 1 부가 정보 영역으로부터 3차원 기본 속성정보를 추출할 수 있다. 다른 실시예에 따른 속성정보 추출부(220)는, 복수 개의 영상 영역들마다, 제 1 부가 정보 영역으로부터 3차원 기본 속성정보를 추출할 수 있다. 이 경우, 제 1 영상 영역의 제 1 부가 정보 영역 이외의 추가적인 부가 정보 영역으로부터 3차원 기본 속성정보가 더 추출될 수도 있다.
일 실시예에 따른 속성정보 추출부(220)는, 영역 오프셋 정보를, 제 1 영상 영역 중에서 3차원 기본 속성정보가 삽입되는 부가 정보 영역으로부터 추출할 수 있다.
일 실시예에 따른 속성정보 추출부(220)는, 각각의 영상 영역으로부터, 복수 개의 영상 정보 중 현재 영상 영역에 삽입된 현재 영상 정보를 3차원 재생하기 위해 필요한 개별적인 속성을 나타내는 3차원 부가 속성정보를 추출할 수 있다.
일 실시예에 따른 속성정보 추출부(220)는, 복수 개의 영상 영역들마다, 3차원 기본 속성정보가 삽입되는 부가 정보 영역 이외의 추가적인 부가 정보 영역으로부터, 현재 영상 정보에 대한 3차원 부가 속성정보를 추출할 수 있다.
일 실시예에 따른 속성정보 추출부(220) 및 영상 정보 추출부(230)는, 현재 영상 영역의 영상 시작 영역 및 영상 종료 영역 사이의 영역으로부터, 복수 개의 영상 정보 중 하나의 영상 정보와 해당 속성 정보를 추출할 수 있다.
일 실시예에 따른 속성정보 추출부(220)에 의해 추출된 3차원 기본 속성정보 및 3차원 부가 속성정보의 종류는, 일 실시예에 따른 다시점 정지 영상 서비스 제공 장치(100)를 통해 예시된 바와 같다.
따라서, 일 실시예에 따른 영상 정보 추출부(230)는, 영상 영역들마다, 다시점 정지 영상 데이터의 현재 영상 영역의 영상 정보 영역으로부터 복수 개의 영상 정보 중 현재 영상 정보를 추출하고, 일 실시예에 따른 속성정보 추출부(220)는, 영상 영역들마다, 현재 영상 영역의 부가 정보 영역으로부터 현재 영상 정보에 대한 부가 정보 및 3차원 속성정보를 추출할 수 있다.
일 실시예에 따른 영상 복원부(240)는, 속성정보 추출부(220)에 의해 추출된 3차원 기본 속성정보와 3차원 부가 속성정보, 및 영상 정보 추출부(230)에 의해 추출된 복수 개의 영상 정보를 이용하여, 다시점 정지 영상을 구성하는 복수 개의 시점별 영상들을 복원할 수 있다.
다시점 정지 영상 서비스 수신 장치(200)는, 3차원 기본 속성정보 및 3차원 부가 속성정보에 기초하여, 다시점 정지 영상을 구성하는 시점별 영상들을 복원하여 3차원 재생될 수 있다.
일 실시예에 따른 다시점 정지 영상 서비스 수신 장치(200)는, 3차원 기본 속성정보 중에서 소정 시점 영상의 원본 영상의 종횡비의 수평값 및 수직값에 대한 정보에 기초하여, 현재 시점 영상의 원본 영상의 종횡비를 판독하고, 원본 영상의 종횡비와 현재 3차원 디스플레이 장치의 크기에 기초하여, 복원된 시점별 영상들에 대해 영상 크기를 조절하는 후처리 동작을 수행한 후 3차원 재생할 수 있다.
일 실시예에 따른 다시점 정지 영상 서비스 수신 장치(200)는, 3차원 기본 속성정보 중에서 멀티패쓰 정보에 기초하여, 복수 개의 영상 정보 중에서, 재생 장치의 크기에 대응되는 스테레오 쌍을 구성하는 영상 정보의 조합을 선택하고, 스테레오 쌍을 구성하는 조합의 영상 정보를 이용하여 시점별 영상들로 복원하여 3차원 재생할 수 있다.
일 실시예에 따른 다시점 정지 영상 서비스 수신 장치(200)는, 3차원 부가 속성정보 중에서, 오클루젼 영역의 넓이에 대한 정보 및 오클루젼 영역의 방향에 대한 정보에 기초하여, 복수 개의 시점별 영상들에 대해 영상 경계에서 발생하는 오클루젼 영역에 대한 후처리 과정을 수행하여 3차원 재생할 수 있다.
일 실시예에 따른 다시점 정지 영상 서비스 수신 장치(200)는, 3차원 부가 속성정보 중에서, 복수 개의 영상 정보 중 현재 영상 정보의 현대 시점 영상과 스트레오 쌍을 구성하는 영상 정보의 개수에 관한 정보에 기초하여, 스테레오 쌍을 구성하는 시점별 영상들을 복원하여 3차원 재생할 수 있다.
일 실시예에 따른 다시점 정지 영상 서비스 수신 장치(200)는, 3차원 부가 속성정보 중에서, 복수 개의 영상 정보 중 현재 영상 정보의 현대 시점 영상과 스트레오 쌍을 구성하는 적어도 하나의 영상 정보의 인덱스에 관한 정보, 스테레오 쌍을 구성하는 현재 시점 영상과 상대 시점 영상 간의 양안 시차를 조절하기 위해, 현재 시점 영상 중 재생 영상의 너비 및 높이에 대한 정보, 현재 시점 영상 중 재생 영상의 수평 좌표 및 수직 좌표에 대한 정보, 상대 시점 영상 중 재생 영상의 수평 좌표 및 수직 좌표에 대한 정보 중 적어도 하나에 기초하여, 스트레오 쌍을 구성하는 현재 시점 영상과 상대 시점 영상을 복원하여, 현재 시점 영상 중 재생 영상 및 상대 시점 영상의 재생 영상을 3차원 재생할 수 있다.
일 실시예에 따른 다시점 정지 영상 서비스 수신 장치(200)는, 3차원 부가 속성정보 중에서, 현재 영상 정보와 스트레오 쌍을 구성하는 상대 시점 영상 중 재생 영상의 너비 및 높이에 대한 정보를 더 이용하여, 상대 시점 영상의 재생 영상을 3차원 재생할 수도 있다.
일 실시예에 따른 다시점 정지 영상 서비스 제공 장치(100)는, 하나의 정지 영상 데이터에, 다시점 정지 영상을 구성하는 복수 개의 시점별 영상들에 대한 복수 개의 영상 정보를 모두 삽입하고, 복수 개의 영상 정보를 복수 개의 시점별 영상으로 복원하여 3차원 재생하는데 필요한 3차원 속성정보를 삽입하여 출력한다.
일 실시예에 따른 다시점 정지 영상 서비스 수신 장치(200)는, 하나의 정지 영상 데이터로부터, 다시점 정지 영상을 구성하는 복수 개의 시점별 영상들에 대한 복수 개의 영상 정보를 모두 추출하고, 3차원 속성정보를 추출할 수 있다. 또한 일 실시예에 따른 다시점 정지 영상 서비스 수신 장치(200)는, 추출된 3차원 속성정보를 이용하여, 원하는 스테레오 쌍을 구성하는 둘 이상의 영상 정보를 선택하여 시점별 영상들을 복원하고, 3차원 재생할 수 있다.
도 3 은 본 발명의 일 실시예에 따른 미디어 파일 포맷에 기반한 다시점 정지 영상 서비스 제공 장치(300)의 블록도를 도시한다.
일 실시예에 따른 미디어 파일 포맷에 기반한 다시점 정지 영상 서비스 제공 장치(300)는, 영상 데이터 입력부(310), 영상 데이터 삽입부(320), 3차원 메타데이터 삽입부(330) 및 출력부(340)를 포함한다.
일 실시예에 따른 영상 데이터 입력부(310)를 통해, 다시점 정지 영상을 구성하기 위한 복수 개의 영상 정보가 각각 삽입된 적어도 하나의 정지 영상 파일 포맷의 영상 데이터가 입력된다. 정지 영상 파일 포맷은 JPEG (Joint Photographic Coding Experts Group) 파일 포맷을 포함할 수 있다.
일 실시예에 따른 복수 개의 영상 정보는, 상기 다시점 정지 영상을 구성하는 복수 개의 시점별 정지 영상들에 대한 영상 픽셀값 정보, 시점 간 뎁스 정보, 시점 간 변이 정보 및 상기 복수 개의 영상 정보 중 일부 정보가 합성된 형태 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른 미디어 파일 포맷은, ISO(International Organization for Standardization) 미디어 파일 포맷일 수도 있다. 일 실시예에 따른 미디어 파일 포맷은, 영상 정보가 삽입되는 미디어 데이터 영역, 영상 정보에 대한 각종 부가 정보가 삽입되는 무비 영역으로 구성될 수 있다. 무비 영역은 트랙 영역을 포함하고, 트랙 영역은 미디어 정보 영역을 포함하고, 미디어 정보 영역은 샘플 테이블 영역을 포함하여, 무비 영역, 트랙 영역, 미디어 정보 영역, 샘플 테이블 영역이 계층적으로 구성될 수 있다.
일 실시예에 따른 영상 데이터 삽입부(320)는, 미디어 파일 포맷의 미디어 데이터 영역에, 적어도 하나의 정지 영상 파일 포맷의 영상 데이터를 삽입한다.
일 실시예에 따른 영상 데이터 삽입부(320)는, 미디어 파일 포맷의 미디어 데이터 영역에, 사이드-바이-사이드 포맷 및 탑 앤 바텀 포맷 중 하나의 3차원 영상 포맷인 하나의 3차원 영상을 포함하는 하나의 정지 영상 파일 포맷의 영상 데이터를 삽입할 수 있다.
일 실시예에 따른 영상 데이터 삽입부(320)는, 미디어 파일 포맷의 미디어 데이터 영역에, 프레임 시퀀셜 포맷 및 필드 시퀀셜 포맷 중 하나의 3차원 영상 포맷인 3차원 영상 데이터를 포함하는 둘 이상의 정지 영상 파일 포맷의 영상 데이터를 삽입할 수 있다. 프레임 시퀀셜 포맷 및 필드 시퀀셜 포맷의 시점별 프레임 또는 필드가 각각 포함된 정지 영상 파일 포맷의 시점별 영상 데이터가, 미디어 파일 포맷의 미디어 데이터 영역에 삽입될 수 있다.
일 실시예에 따른 3차원 메타데이터 삽입부(330)는, 미디어 파일 포맷의 무비 영역에, 다시점 정지 영상 데이터를 3차원 재생하기 위한 정보가 수록된 3차원 메타데이터를 삽입한다. 일 실시예에 따른 다시점 정지 영상 데이터에 대한 3차원 메타데이터는, 미디어 데이터 영역에 삽입된 영상 데이터의 3차원 영상 포맷에 관한 정보와 다시점 정지 영상의 시점 배열에 대한 정보를 포함할 수 있다.
일 실시예에 따른 3차원 메타데이터 삽입부(330)는, 미디어 파일 포맷의 무비 영역에, 미디어 데이터 영역에 삽입된 정지 영상 파일 포맷의 영상 데이터의 시작 위치를 나타내기 위한 영상 데이터 오프셋 정보를 삽입할 수 있다.
일 실시예에 따른 3차원 메타데이터 삽입부(330)는, 미디어 파일 포맷의 무비 영역에 다시점 정지 영상을 획득한 카메라에 대한 카메라 정보 및 현재 정지 영상의 3차원 재생으로 인해 발생 가능한 시청자 피로도를 경감하기 위한 저피로도 정보를 삽입할 수도 있다.
일 실시예에 따른 3차원 메타데이터 삽입부(330)는, 미디어 파일 포맷의 무비 영역의 하위 영역인 트랙 영역, 트랙 영역의 하위 영역인 미디어 정보 영역, 미디어 정보 영역의 하위 영역인 샘플 테이블 영역, 및 샘플 테이블 영역의 하위 영역에 다시점 정지 영상 데이터에 대한 3차원 메타데이터를 삽입할 수 있다. 여기서 샘플 테이블 영역의 하위 영역은 스테레오스코픽 비디오 미디어 정보 영역일 수도 있다.
일 실시예에 따른 차원 메타데이터 삽입부(330)는, 카메라 정보 및 저피로도 정보를, 트랙 영역, 미디어 정보 영역, 샘플 테이블 영역, 및 샘플 테이블 영역의 하위 영역인 스테레오스코픽 카메라 및 디스플레이 정보 영역에 삽입할 수도 있다.
일 실시예에 따른 3차원 메타데이터 삽입부(330)는, 3차원 메타데이터로서, 앞서 개시된 3차원 기본 속성정보 및 3차원 부가 속성정보를 미디어 파일 포맷의 트랙 영역의 하위 영역인 미디어 정보 영역에 더 삽입할 수도 있다.
일 실시예에 따른 출력부(340)는, 미디어 파일 포맷에 기초하여 복수 개의 영상 정보를 포함하는 다시점 정지 영상 데이터를 출력한다.
도 4 는 본 발명의 일 실시예에 따른 미디어 파일 포맷에 기반한 다시점 정지 영상 서비스 수신 장치(400)의 블록도를 도시한다.
일 실시예에 따른 미디어 파일 포맷에 기반한 다시점 정지 영상 서비스 수신 장치(400)는, 수신파싱부(410), 3차원 메타데이터 추출부(420), 영상 데이터 추출부(430) 및 영상 복원부(440)를 포함한다.
수신파싱부(410)는, 미디어 파일 포맷에 기초한 다시점 정지 영상 데이터를 수신하여 파싱한다. 일 실시예에 따른 수신파싱부(410)는, 미디어 파일 포맷의 다시점 정지 영상 데이터를 파싱하여, 미디어 파일 포맷의 미디어 데이터 영역 및 무비 영역을 검색할 수 있다. 또한 일 실시예에 따른 수신파싱부(410)는, 무비 영역의 하위 영역인 트랙 영역, 트랙 영역의 하위 영역인 미디어 정보 영역, 미디어 정보 영역의 하위 영역인 샘플 테이블 영역을 계층적으로 검색할 수 있다.
3차원 메타데이터 추출부(420)는, 수신파싱부(410)에 의해 파싱된 다시점 정지 영상 데이터의 무비 영역으로부터 다시점 정지 영상에 대한 3차원 메타데이터를 추출할 수 있다. 일 실시예에 따른 3차원 메타데이터는, 다시점 정지 영상을 구성하기 위한 복수 개의 시점별 영상들을 복원하여 3차원 재생하기 위한 정보를 포함할 수 있다.
영상 데이터 추출부(430)는, 수신파싱부(410)에 의해 파싱된 다시점 정지 영상 데이터의 미디어 데이터 영역으로부터, 적어도 하나의 정지 영상 파일 포맷의 영상 데이터를 추출할 수 있다. 각각의 정지 영상 파일 포맷의 영상 데이터에는, 다시점 정지 영상을 구성하는 복수 개의 시점별 영상들에 대한 영상 정보가 수록될 수 있다.
일 실시예에 따른 영상 복원부(440)는, 3차원 메타데이터 추출부(420)에 의해 추출된 3차원 메타데이터와 영상 데이터 추출부(430)에 의해 추출된 복수 개의 영상 정보를 이용하여, 다시점 정지 영상을 구성하는 복수 개의 시점별 영상들을 복원할 수 있다.
일 실시예에 따른 3차원 메타데이터 추출부(420)에 의해 추출된 3차원 메타데이터의 종류는, 일 실시예에 따른 미디어 파일 포맷에 기반한 다시점 정지 영상 서비스 제공 장치(300)를 통해 예시된 바와 같다.
일 실시예에 따른 미디어 파일 포맷에 기반한 다시점 정지 영상 서비스 제공 장치(300)는, 미디어 파일 포맷의 미디어 데이터 영역에 정지 영상 파일 포맷에 기초한 3차원 정지 영상 데이터를 삽입하고, 미디어 파일 포맷의 무브 영역에 3차원 정지 영상을 복원하여 3차원 재생하는데 필요한 3차원 속성정보를 삽입하여 출력한다.
일 실시예에 따른 미디어 파일 포맷에 기반한 다시점 정지 영상 서비스 수신 장치(400)는, 하나의 정지 영상 데이터로부터, 미디어 파일 포맷의 미디어 데이터 영역으로부터 정지 영상 파일 포맷에 기초한 3차원 정지 영상 데이터를 추출하고, 미디어 파일 포맷의 무브 영역으로부터 3차원 속성정보를 추출할 수 있다. 또한 일 실시예에 따른 미디어 파일 포맷에 기반한 다시점 정지 영상 서비스 수신 장치(400)는, 추출된 3차원 속성정보를 이용하여, 좌시점 영상과 우시점 영상을 복원하고, 3차원 재생할 수 있다.
도 5 는 일 실시예에 따른 3차원 영상 재생 시스템(500)의 동작 개요도를 도시한다.
3차원 영상 재생 시스템(500)는, 3차원 정지 영상을 포함하는 정지 영상 포맷에 기반한 3차원 정지 영상 데이터를 입력받는다. 3차원 정지 영상은 3차원 카메라 또는 3차원 모바일 폰에 탑재된 3차원 영상 촬영 장치로부터 획득될 수 있다. 예를 들어, 사이드 바이 사이드 포맷의 스테레오 영상(501) 또는 탑 앤 바텀 포맷의 3차원 영상 포맷의 스테레오 영상(503)이 수록된 3차원 정지 영상 데이터가 입력될 수 있다. 3차원 정지 영상 데이터는 JPEG 파일 포맷에 따른 영상 데이터일 수 있다.
JPEG 파싱부(510)를 통해 JPEG 파일 포맷의 영상 데이터로부터 스테레오 영상 정보 및 3차원 파라미터(515)가 추출할 수 있다. 스테레오 영상 정보는 시점별로 각각 JPEG 디코더(520)를 통해 복호화되어, 스테레오 영상의 시점별 영상들이 복원될 수 있다.
3차원 파라미터(515) 중 3차원 영상 포맷 정보를 이용하여, 3차원 재구성부(540)는 시점별 영상들을 3차원 재생하기 위한 조합으로 재구성하고, 3차원 디스플레이 장치(560)는 시점별 영상들을 3차원 재생할 수 있다. 3차원 영상 포맷 정보는 복원된 스테레오 영상의 3차원 영상 포맷을 나타낼 수 있다.
후처리부(550)는 3차원 파라미터(515) 중 3차원 부가 정보를 이용하여 시점별 영상이 올바르게 3차원 재생되도록, 시점별 영상들에 대해 각종 후처리를 수행할 수 있다. 3차원 부가 정보에 기초하여 후처리된 시점별 영상들이, 3차원 디스플레이 장치(560)를 통해 올바르게 3차원 재생될 수 있다.
도 6 은 일 실시예에 따른 미디어 파일 포맷에 기반한 다시점 정지 영상 서비스 제공 장치(300)에 의해 생성되는 다시점 정지 영상 파일 포맷(600)을 예시한다.
일 실시예에 따른 미디어 파일 포맷에 기반한 다시점 정지 영상 서비스 제공 장치(300)는, ISO 미디어 파일 포맷에 기반한 다시점 정지 영상 파일 포맷(600)을 생성할 수 있다. 일 실시예에 따른 다시점 정지 영상 파일 포맷(600)은, ISO 미디어 파일 포맷에 기초하여 파일 타입 영역(ftyp, 610), 무브 영역(moov, 620), 미디어 데이터 영역(mdat, 650)을 포함할 수 있다. 파일 타입 영역(610)은, 다시점 정지 영상 파일 포맷(600)의 파일 타입에 대한 정보가 수록될 수 있다. 미디어 데이터 영역(650)에는 미디어 데이터가 수록될 수 있다. 무브 영역(620)에는 미디어 데이터 영역(650)에 수록된 미디어 및 미디어 데이터에 대한 정보가 수록될 수 있다.
무브 영역(620)은, LASeR (Light Application Scene Representation) 포맷의 미디어 데이터 영역(mdia, 660)을 위한 정보가 수록되는 제 1 트랙 영역(trak, 630) 및 스테레오스코픽 비디오 데이터 영역(665)을 위한 정보가 수록되는 제 2 트랙 영역(trak, 635)를 포함할 수 있다.
제 2 트랙 영역(635)은, 제 2 트랙 영역(635)에 대한 종합적인 정보가 수록되는 트랙 헤더 영역(tkhd, 641)과, 미디어 정보 저장 영역(mdat, 643)을 포함하고, 미디어 정보 저장 영역(643)은 미디어 정보 영역(minf, 645)를 포함하고, 미디어 정보 영역(645)은 샘플 테이블 영역(stbl, 647)을 포함할 수 있다. 샘플 테이블 영역(647)은 스테레오스코픽 비디오 미디어 정보 영역(svmi, 649)을 포함할 수 있다.
일 실시예에 따른 미디어 파일 포맷에 기반한 다시점 정지 영상 서비스 제공 장치(300)는, 다시점 정지 영상 파일 포맷(600)의 미디어 데이터 영역(650)의 스테레오스코픽 비디오 데이터 영역(665)에 정지 영상 파일 포맷에 기초한 다시점 정지 영상 데이터를 삽입할 수 있다. 예를 들어 일 실시예에 따른 미디어 파일 포맷에 기반한 다시점 정지 영상 서비스 제공 장치(300)는, 스테레오스코픽 비디오 데이터 영역(665)에 JPEG 파일 포맷의 다시점 정지 영상 데이터(670)를 삽입할 수 있다.
JPEG 파일 포맷의 다시점 정지 영상 데이터(670)의 영상 데이터 영역에 3차원 영상 포맷의 3차원 영상이 삽입될 수 있다. 예를 들어, JPEG 파일 포맷의 다시점 정지 영상 데이터(671)의 영상 데이터 영역(681)에 사이드 바이 사이드 포맷의 3차원 영상이 삽입되고, JPEG 파일 포맷의 다시점 정지 영상 데이터(673)의 영상 데이터 영역(683)에 탑 앤 바텀 포맷의 3차원 영상(683)이 삽입되고, JPEG 파일 포맷의 다시점 정지 영상 데이터(675, 677)의 영상 데이터 영역(685, 687)에 프레임 시퀀셜 포맷의 시점별 영상들(685, 687)이 각각 수록된 다시점 정지 영상 데이터(675, 677)의 세트(679)가 삽입될 수 있다.
일 실시예에 따른 미디어 파일 포맷에 기반한 다시점 정지 영상 서비스 제공 장치(300)는, 다시점 정지 영상 파일 포맷(600)의 무브 영역(650)에 다시점 정지 영상 데이터(670)에 대한 3차원 메타데이터(690)를 삽입할 수 있다. 예를 들어, 일 실시예에 따른 미디어 파일 포맷에 기반한 다시점 정지 영상 서비스 제공 장치(300)는, 다시점 정지 영상 파일 포맷(600)의 무브 영역(650)의 하위 영역인, 스테레오스코픽 비디오 미디어정보 영역(649)에, 3차원 메타데이터(690)로서 다시점 정지 영상 데이터(670)에 대한 3차원 영상 포맷 정보 및 시점 배열 정보를 삽입할 수 있다.
스테레오스코픽 비디오 데이터 영역(665)에 다시점 정지 영상 데이터(671)가 삽입되어 있다면, 사이드 바이 사이드 포맷을 가리키는 3차원 영상 포맷 정보가 스테레오스코픽 비디오 미디어정보 영역(649)에 삽입될 수 있다. 유사하게, 스테레오스코픽 비디오 데이터 영역(665)에 다시점 정지 영상 데이터(673)가 삽입되어 있다면, 탑 앤 바텀 포맷을 가리키는 3차원 영상 포맷 정보가 스테레오스코픽 비디오 미디어정보 영역(649)에 삽입될 수 있다. 스테레오스코픽 비디오 데이터 영역(665)에 다시점 정지 영상 데이터(675, 677)가 삽입되어 있다면, 필드 시퀀셜 포맷 또는 프레임 시퀀셜 포맷을 가리키는 3차원 영상 포맷 정보가 스테레오스코픽 비디오 미디어정보 영역(649)에 삽입될 수 있다.
스테레오스코픽 비디오 데이터 영역(665)에 삽입된 다시점 정지 영상 데이터(671, 673, 675 & 677)의 좌시점 영상 정보 및 우시점 영상 정보의 배열 순서에 따라 설정된 시점 배열 정보도, 스테레오스코픽 비디오 미디어정보 영역(649)에 삽입될 수 있다.
다시점 정지 영상 데이터(670)에 대한 카메라 정보 및 저피로도 정보는 다시점 정지 영상 파일 포맷(600)의 무브 영역(650)의 하위 영역인, 스테레오스코픽 카메라 변이 정보에 삽입될 수도 있다.
일 실시예에 따른 미디어 파일 포맷에 기반한 다시점 정지 영상 서비스 수신 장치(400)는, ISO 미디어 파일 포맷에 기반한 다시점 정지 영상 파일 포맷(600)을 파싱하여, 무브 영역(620)으로부터 3차원 메타데이터(690)를 추출하고, 미디어 데이터 영역(650)으로부터 다시점 정지 영상 데이터(670)를 추출할 수 있다. 일 실시예에 따른 미디어 파일 포맷에 기반한 다시점 정지 영상 서비스 수신 장치(400)는, 3차원 메타데이터(690)를 이용하여 다시점 정지 영상 데이터(670)로부터 시점별 영상들을 복원하여 출력할 수 있다.
도 7 과 8 은 일 실시예에 따른 다시점 정지 영상 서비스 제공 장치(100)에 의해 생성되는 다시점 정지 영상 파일 포맷(700, 800)을 예시한다.
먼저 도 7을 참조하여 일 실시예에 따른 다시점 정지 영상 서비스 제공 장치(100)에 의해 생성되는 다시점 정지 영상 파일 포맷(700)이 예시된다. 다시점 정지 영상 파일 포맷(700)은, 다시점 정지 영상을 구성하는 복수 개의 영상 정보가 각각 수록될 복수 개의 영상 영역들(701, 703, 705)로 구성될 수 있다. 설명의 편의를 위해 다시점 정지 영상을 구성하는 복수 개의 영상 정보는, 픽셀값 데이터인 시점별 영상들(752, 754, 756)인 경우를 가정한다.
영상 영역들(701, 703, 705)은 각각, 현재 영상 영역의 시작을 나타내는 SOI (Start of Image) 표시자(711, 713, 715), 현재 영상 영역의 종료를 나타내는 EOI (End of Image) 표시자(761, 763, 765)를 포함할 수 있다. 또한, 영상 영역들(701, 703, 705)은 각각, EXIF 정보(722, 724, 726)가 삽입되는 제 1 부가 정보 영역(APP1)(721, 723, 725)을 포함하고, 영상 정보가 삽입되는 영상 데이터 영역(751, 753, 755)을 포함할 수 있다. 제 1 영상 영역(701)을 제외한 영상 영역들(703, 705)은 각각, 라지 썸네일 정보(Large Thumbnail Information)(734)가 수록되는 제 2 부가 정보 영역(APP2)(733, 735)을 더 포함할 수 있다.
일 실시예에 따른 영상 정보 삽입부(120)는, 영상 영역들(701, 703, 705)마다, 영상 정보 영역(751, 753, 755)에 다시점 정지 영상을 구성하는 시점별 영상(752, 754, 756)을 각각 삽입할 수 있다. 대표적으로 시점별 영상들(752, 754, 756) 중 주시점 영상(752)은 제 1 영상 영역(701)의 영상 정보 영역(751)에 삽입될 수 있다.
일 실시예에 따른 다시점 정지 영상 파일 포맷 구성부(110)에 의해 구성된 다시점 정지 영상 파일 포맷(700)은, 영상 영역들(701, 703, 705)마다, 제 1 부가 정보 영역(APP1)(721, 723, 725) 또는 제 2 부가 정보 영역(APP2)(733, 735) 이외에 추가적인 부가 정보 영역(APPn)(741, 743, 745)을 포함할 수 있다.
일 실시예에 따른 속성정보 삽입부(130)는, 제 1 영상 영역(701)의 부가 정보 영역(741)에 다시점 정지 영상에 대한 3차원 기본 속성정보(732)를 삽입할 수 있다. 또한 일 실시예에 따른 속성정보 삽입부(130)는, 제 1 영상 영역(701)의 부가 정보 영역(741)에 영역 오프셋 정보(731)를 삽입할 수 있다. 일 실시예에 따른 영역 오프셋 정보(731)는, 영상 영역들(701, 703, 705)의 시작 위치를 가리킬 수 있다.
일 실시예에 따른 속성정보 삽입부(130)는, 영상 영역들(701, 703, 705)마다, 각각의 시점별 영상(752, 754, 756)에 대한 3차원 부가 속성정보를 각각 부가 정보 영역(APPn)(741, 743, 745)에 삽입할 수 있다.
일 실시예에 따른 다시점 정지 영상 서비스 제공 장치(200)는, 다시점 정지 영상 데이터(700)를 파싱하여, 제 1 영상 영역(701)의 부가 정보 영역(741)으로부터 영역 오프셋 정보(731)를 추출하여, 영상 영역들(701, 703, 705)의 시작 위치를 검색할 수 있다. 일 실시예에 따른 다시점 정지 영상 서비스 제공 장치(200)는, 제 1 영상 영역(701)의 부가 정보 영역(741)으로부터 다시점 정지 영상에 대한 3차원 기본 속성정보(732)를 추출할 수 있다.
일 실시예에 따른 다시점 정지 영상 서비스 제공 장치(200)는, 영상 영역들(701, 703, 705)마다, 다시점 정지 영상을 구성하는 시점별 영상(752, 754, 756)을 각각 추출할 수 있다.
또한 일 실시예에 따른 다시점 정지 영상 서비스 제공 장치(200)는, 영상 영역들(701, 703, 705)마다 부가 정보 영역(APPn)(741, 743, 745)으로부터, 각각의 시점별 영상(752, 754, 756)에 대한 3차원 부가 속성정보를 추출할 수도 있다.
일 실시예에 따른 다시점 정지 영상 서비스 제공 장치(200)는, 제 1 영상 영역(701)의 부가 정보 영역(741)으로부터 추출된 3차원 기본속성 정보 및 부가 정보 영역(APPn)(741, 743, 745)으로부터 추출된 3차원 부가 속성정보를 이용하여, 다시점 정지 영상을 구성하는 시점별 영상(752, 754, 756)을 각각 복원하여 3차원 재생할 수 있다.
다음, 도 8을 참조하여 일 실시예에 따른 다시점 정지 영상 서비스 제공 장치(100)에 의해 생성되는 다시점 정지 영상 파일 포맷(800)가 예시된다. 다시점 정지 영상 파일 포맷 구성부(110)는, 다시점 정지 영상을 구성하는 복수 개의 영상 정보가 각각 수록될 복수 개의 영상 영역들(801, 803, 805)을 포함하도록 다시점 정지 영상 파일 포맷(800)을 구성한다. 설명의 편의를 위해 다시점 정지 영상을 구성하는 복수 개의 영상 정보는, 각각 JPEG 파일 포맷의 정지 영상 데이터이며, 픽셀값 데이터인 시점별 영상(852, 854, 856)인 경우를 가정한다. 영상 정보 삽입부(120)는, 영상 영역들(801, 803, 805)의 영상 데이터 영역(851,853, 855)마다, 다시점 정지 영상을 구성하는 시점별 영상(852, 854, 856)을 각각 삽입할 수 있다.
영상 영역들(801, 803, 805)은 각각, SOI 표시자(811, 813, 815)와 EOI 표시자(861, 863, 865)를 포함하고, EXIF 정보(822, 824, 826)가 삽입되는 제 1 부가 정보 영역(APP1)(821, 823, 825)을 포함하고, 영상 데이터가 삽입되는 영상 데이터 영역(851, 853, 855)을 포함할 수 있다.
일 실시예에 따른 속성정보 삽입부(130)는, 영상 영역들(801, 803, 805)마다, 제 1 부가 정보 영역(APP1)(821, 823, 825)에 EXIF 정보(822, 824, 826)와 함께, 다시점 정지 영상에 대한 3차원 기본 속성정보(832,834, 836)를 삽입할 수 있다. 또한 일 실시예에 따른 속성정보 삽입부(130)는, 제 1 영상 영역(801)의 제 1 부가 정보 영역(APP1)(821)에 영역 오프셋 정보(841)를 삽입할 수 있다. 일 실시예에 따른 영역 오프셋 정보(841)도, 영상 영역들(803, 805)의 시작 위치를 가리킬 수 있다.
일 실시예에 따른 다시점 정지 영상 파일 포맷 구성부(110)에 의해 구성된 다시점 정지 영상 파일 포맷(800)은, 영상 영역들(801, 803, 805)마다, 제 1 부가 정보 영역(APP1)(821, 823, 825) 이외에 추가적인 부가 정보 영역(APPn)(831, 833, 835)을 포함할 수 있다.
일 실시예에 따른 속성정보 삽입부(130)는, 영상 영역들(801, 803, 805)마다, 각각의 시점별 영상(852, 854, 856)에 대한 3차원 부가 속성정보를 각각 부가 정보 영역(APPn)(831, 833, 835)에 삽입할 수 있다. 일 실시예에 따른 속성정보 삽입부(130)는, 제 1 영상 영역(801)의 부가 정보 영역(APPn)(831)에 3차원 기본 속성정보를 더 삽입할 수도 있다.
일 실시예에 따른 다시점 정지 영상 서비스 제공 장치(200)는, 다시점 정지 영상 데이터(800)를 파싱하여, 제 1 영상 영역(801)의 제 1 부가 정보 영역(821)으로부터 영역 오프셋 정보(841)를 추출하여, 영상 영역들(803, 805)의 시작 위치를 검색할 수 있다. 일 실시예에 따른 다시점 정지 영상 서비스 제공 장치(200)는, 제 1 영상 영역(801)의 제 1 부가 정보 영역(821)으로부터 다시점 정지 영상에 대한 3차원 기본 속성정보(832)를 추출할 수 있다.
일 실시예에 따른 다시점 정지 영상 서비스 제공 장치(200)는, 영상 영역들(801, 803, 805)마다, 다시점 정지 영상을 구성하는 시점별 영상(852, 854, 856)을 각각 추출할 수 있다. 또한 일 실시예에 따른 다시점 정지 영상 서비스 제공 장치(200)는, 영상 영역들(801, 803, 805)마다 부가 정보 영역(APPn)(831, 833, 835)으로부터, 각각의 시점별 영상(852, 854, 856)에 대한 3차원 부가 속성정보를 추출할 수도 있다. 일 실시예에 따른 다시점 정지 영상 서비스 제공 장치(200)는, 제 1 영상 영역들(801)의 부가 정보 영역(APPn)(831)으로부터, 3차원 기본 속성정보를 더 추출할 수도 있다.
일 실시예에 따른 다시점 정지 영상 서비스 제공 장치(200)는, 영상 영역들(801, 803, 805)마다, 제 1 부가 정보 영역(821, 823, 935)으로부터 추출된 3차원 기본속성 정보(832, 834, 836), 및 부가 정보 영역(APPn)(831, 833, 835)으로부터 추출된 3차원 부가 속성정보를 이용하여, 다시점 정지 영상을 구성하는 시점별 영상(852, 854, 856)을 각각 복원하여 3차원 재생할 수 있다.
이하, 표 1 내지 6 및 도 9 내지 16을 참조하여 일 실시예에 따른 3차원 기본속성 정보 및 3차원 부가 속성정보가 상술된다.
일 실시예에 따른 다시점 정지 영상 서비스 제공 장치(100) 및 일 실시예에 따른 미디어 파일 포맷에 기반한 다시점 정지 영상 서비스 제공 장치(300)는 다시점 정지 영상을 구성하기 위한 시점별 영상들에 대한 복수 개의 영상 정보와 함께, 일 실시예에 따른 3차원 기본 속성정보를 다시점 정지 영상 데이터의 헤더에 삽입할 수 있다.
일 실시예에 따른 다시점 정지 영상 서비스 수신 장치(200) 및 일 실시예에 따른 미디어 파일 포맷에 기반한 다시점 정지 영상 서비스 수신 장치(400)는 다시점 정지 영상 데이터의 헤더로부터, 다시점 정지 영상을 구성하기 위한 시점별 영상들에 대한 복수 개의 영상 정보와 함께, 일 실시예에 따른 3차원 기본 속성정보를 추출하여, 시점별 영상을 복원하여 3차원 재생할 수 있다.
표 1 은, 일 실시예에 따라 3차원 기본 속성정보를 예시한다.
표 1
3차원 기본 속성정보 내용
EnabIe3D 다시점 정지 영상의 2차원/3차원 출력 방식
FormatStyle 다시점 정지 영상의 3차원 영상 포맷
IsLeftFirst 다시점 정지 영상의 우선시점
OriginalAspectratioX 다시점 정지 영상을 구성하는 복수 개의 시점별 영상들 중 소정 시점 영상의 원본 영상의 종횡비의 수평값
OriginalAspectratioY 다시점 정지 영상을 구성하는 복수 개의 시점별 영상들 중 소정 시점 영상의 원본 영상의 종횡비의 수직값
ViewOrderinginfo 다시점 정지 영상의 시점들의 배열 순서
MainViewindex 다시점 정지 영상의 시점들 중 주시점의 인덱스
NumOfView 다시점 정지 영상의 시점들의 개수
시점 정보 ViewOffset[i] 다시점 정지 영상의 정지 영상 파일 포맷 중 소정 위치로부터 각각의 영상 영역까지의 거리
ViewFormat[i] 각각의 영상 정보의 3차원 영상 포맷 구성 요소
Multipathinfo[i] 복수 개의 영상 정보가 구성하는 하나 이상의 스테레오 쌍이 서로 다른 시점 간 뎁스 정보를 갖는 스테레오 쌍을 포함할 때, 재생 장치의 크기에 대응되는 시점 간 뎁스 정보를 갖는 스테레오 쌍
일 실시예에 따른 3차원 기본 속성정보는, 3차원 출력 파라미터(EnabIe3D), 3차원 영상 포맷 파라미터(FormatStyle), 우선시점 파라미터(IsLeftFirst), 원본 종횡비 수평값 파라미터(OriginalAspectratioX), 원본 종횡비 수직값 파라미터(OriginalAspectratioY), 시점 순서 파라미터(ViewOrderinginfo), 주시점 인덱스 파라미터(MainViewindex), 시점 개수 파라미터(NumOfView), 영상 영역 오프셋 파라미터(ViewOffset[i]), 3차원 영상 포맷 구성 요소 파라미터(ViewFormat[i]), 멀티패쓰 파라미터(Multipathinfo[i])를 포함할 수 있다.
일 실시예에 따른 3차원 출력 파라미터(EnabIe3D)는, 현재 다시점 정지 영상 데이터에 삽입된 현재 다시점 정지 영상의 2차원/3차원 출력 방식에 대한 정보를 포함할 수 있다.
예를 들어, 현재 다시점 정지 영상의 3차원 출력에 문제가 없는 경우, 다시점 정지 영상 서비스 제공 장치(100)는, 3차원 출력 파라미터(EnabIe3D)를 1로 설정할 수 있다. 다시점 정지 영상 서비스 수신 장치(200)는, 1로 설정된 3차원 출력 파라미터에 기초하여 현재 다시점 정지 영상의 시점별 영상들을 복원하여 3차원 출력할 수 있다.
예를 들어, 현재 다시점 정지 영상 데이터는 현재 다시점 정지 영상의 3차원 재생이 부적합한 경우, 다시점 정지 영상 서비스 제공 장치(100)는, 3차원 출력 파라미터를 0으로 설정할 수 있다. 예를 들어, 현재 다시점 정지 영상의 변이가 과도한 경우에, 사용자가 현재 다시점 정지 영상의 3차원 출력 화면을 장시간 시청한 사용자에게 시각적 피로감이 유발될 수 있으므로, 3차원 출력 파라미터가 0으로 설정할 수 있다. 다시점 정지 영상 서비스 수신 장치(200)는, 0으로 설정된 3차원 출력 파라미터에 기초하여 현재 다시점 정지 영상을 강제로 2차원 출력할 수 있다.
다만 3차원 출력 파라미터에 비해, 사용자 설정이 우선되는 경우에는, 3차원 출력 파라미터와 무관하게 사용자에 의해 2차원/3차원 출력 방식이 선택될 수도 있다.
일 실시예에 따른 3차원 영상 포맷 파라미터(FormatStyle)는, 현재 다시점 정지 영상의 3차원 영상 포맷에 대한 정보를 포함할 수 있다.
표 2는 일 실시예에 따른 3차원 영상 포맷 파라미터(FormatStyle)의 시멘틱을 예시한다.
표 2
FormatStyle 내용
0 스테레오 영상 포맷
1 다시점 영상 포맷
2 합성 영상 포맷
3 스테레오 영상 + 뎁스 맵 포맷
4 다시점 영상 + 뎁스 맵 포맷
5 합성 영상 + 뎁스 맵 포맷
6 스테레오 영상 + 변이 맵 포맷
7 다시점 영상 + 변이 맵 포맷
8 합성 영상 + 변이 맵 포맷
9 - 255 (reserved)
3차원 영상 포맷은, 좌시점 영상 및 우시점 영상이 개별 프레임으로 구성된 형태의 스테레오 영상 포맷(Stereoscopic image format), 셋 이상의 다시점 영상들로 구성된 형태의 다시점 영상 포맷(Multi-view image format) 및 하나의 프레임에 좌시점 영상 정보와 우시점 영상 정보가 모두 포함된 형태의 합성 영상 포맷(Composition format)을 포함할 수 있다. 전술한 사이드-바이-사이드 포맷 및 탑 앤 바텀 포맷이 합성 영상 포맷에 해당하고, 프레임 시퀀셜 포맷 및 필드 시퀀셜 포맷이 스테레오 영상 포맷에 해당할 수 있다.
또한 3차원 영상 포맷은, 스테레오 영상, 다시점 영상 및 합성 영상에, 뎁스 맵 또는 변이 맵이 추가되는 포맷을 더 포함할 수 있다.
일 실시예에 따른 다시점 정지 영상 서비스 수신 장치(200)는 3차원 영상 포맷 파라미터(FormatStyle)를 이용하여, 현재 다시점 정지 영상의 3차원 영상 포맷을 예측할 수 있으며, 다시점 정지 영상으로부터 시점별 정지 영상들을 각각 복원할 수 있다.
예를 들어, 다시점 정지 영상의 3차원 재생을 원하는 경우, 일 실시예에 따른 다시점 정지 영상 서비스 수신 장치(200)는 3차원 영상 포맷 파라미터(FormatStyle)가 다시점 영상 포맷인 다시점 정지 영상을 선택적으로 복원하여 재생할 수 있다.
또한, 자유 시점(Free view)의 3차원 재생을 원하는 경우, 일 실시예에 따른 다시점 정지 영상 서비스 수신 장치(200)는, 3차원 영상 포맷 파라미터(FormatStyle)이 뎁스 맵 또는 변이 맵을 포함하는 3차원 영상 포맷의 다시점 정지 영상을 검색하여, 뎁스 영상 기반 3차원 렌더링(Depth Image Based Rendering)을 구현하여, 다시점 정지 영상을 자유 시점으로 3차원 재생할 수 있다.
일 실시예에 따른 우선시점 파라미터(IsLeftFirst)는, 현재 다시점 정지 영상의 우선시점에 대한 정보를 포함할 수 있다. 예를 들어 일 실시예에 따른 다시점 정지 영상 서비스 수신 장치(200)는, 현재 다시점 정지 영상이 합성 영상 포맷인 경우, 현재 다시점 정지 영상을 구성하는 시점별 영상 정보 중 앞서는 영상 정보가 좌시점 영상 정보 및 우시점 영상 정보 중 어느 것인지를 나타낸다.
일 실시예에 따른 원본 종횡비 수평값 파라미터(OriginalAspectratioX) 및 원본 종횡비 수직값 파라미터(OriginalAspectratioY)는, 각각 현재 다시점 정지 영상을 구성하는 복수 개의 시점별 영상들 중 소정 시점 영상의 원본 영상의 종횡비의 수평값 및 수직값에 대한 정보를 포함할 수 있다. 원본 종횡비 수평값 파라미터(OriginalAspectratioX) 및 원본 종횡비 수직값 파라미터(OriginalAspectratioY)는, 각각 원본 영상의 수평 너비값 및 수직 높이값을 나타낼 수도 있다.
합성 영상 포맷의 다시점 정지 영상은, 둘 이상의 시점별 프레임들이 하나의 프레임에 합성되므로, 시점별 영상의 확대/축소 과정에서 각각의 시점별 영상의 너비 또는 높이가 원본 영상과는 다르게 변경될 수 있다. 이에 따라 다시점 정지 영상의 3차원 재생을 위한 후처리 과정에서 원본 종횡비를 고려하지 않는다면, 다시점 정지 영상이 부적절하게 3차원 재생될 수 있다. 이하 도 9 및 10을 참조하여 원본 종횡비의 필요성이 설명된다.
도 9 는 일 실시예에 따라 동일한 종횡비에서, 다시점 정지 영상을 확대하여 재생하는 결과 영상을 예시한다.
원본 3차원 영상(900)은, 사이드 바이 사이드 포맷의 3차원 정지 영상으로, 좌시점 영상(902) 및 우시점 영상(904)을 포함한다. 원본 3차원 영상(900)의 크기는 너비 1280 및 높이 720으로, 원본 종횡비가 16:9이다. 너비 1920 및 높이 1080의 3차원 디스플레이 장치를 통해 3차원 재생하기 위해, 원본 3차원 영상(900)을 너비 1920 및 높이 1080로 확대하여, 좌시점 영상(902) 및 우시점 영상(904)을 너비 1920 및 높이 1080로 각각 확대하며 복원하면, 너비 1920 및 높이 1080의 제 1 좌시점 영상(910) 및 제 1 우시점 영상(920)이 생성될 수 있다. 제 1 좌시점 영상(910) 및 제 1 우시점 영상(920)의 종횡비가 원본 3차원 영상(900)의 종횡비 16:9와 동일하므로, 원본 3차원 영상(900)의 좌시점 영상(902) 및 우시점 영상(904)은, 너비 1920 및 높이 1080의 3차원 디스플레이 장치의 화면 크기에 적합하게 확대될 수 있다.
도 10 는 종횡비가 고려되지 않은 다시점 정지 영상을 출력하여 오류가 발생한 경우를 예시한다.
반면, 너비 1280 및 높이 720, 원본 종횡비 16:9인 원본 3차원 영상(900)이, 너비 1280 및 높이 960의 제 2 3차원 영상(1000)으로 확대된 경우, 제 2 3차원 영상(1000)의 종횡비는 4:3이므로, 원본 3차원 영상(900)의 종횡비(16:9)와 다르게 된다.
제 2 3차원 영상(1000)을 너비 1920 및 높이 1080의 디스플레이 장치에서 재생하기 위해 확대하면, 제 2 3차원 영상(1000)의 종횡비는 4:3를 유지하며 확대되면서 영상의 높이가 1080으로 제한되므로 너비도 1440보다 크게 확대되지 못한다. 따라서, 너비 1440 및 높이 1080의 제 3 3차원 영상(1010)이 생성될 수 있다. 이 경우 너비 1920 및 높이 1080의 디스플레이 장치 화면의 너비에 비해, 제 3 3차원 영상(1010)의 너비가 작으므로, 제 3 3차원 영상(1010)으로 채워지지 않는 공간(1013, 1015)이 발생된다.
제 3 3차원 영상(1010)의 제 2 좌시점 영상(1002) 및 제 2 우시점 영상(1004)도, 너비 1920 및 높이 1080의 디스플레이 장치에서 재생하기 위해 확대하면, 각각 종횡비 4:3인 너비 1440 및 높이 1080의 제 3 좌시점 영상(1022) 및 제 3 우시점 영상(1032)이 생성된다. 따라서 원본 종횡비 16:9인 너비 1920 및 높이 1080의 디스플레이 장치의 화면 상에서는, 제 3 좌시점 영상(1022) 및 제 3 우시점 영상(1032)으로 채워지지 않는 공간(1023, 1033)이 발생하게 된다. 이로 인해 제 3 좌시점 영상(1022) 및 제 3 우시점 영상(1032)의 시점 간 변이가, 원본 3차원 영상(900)의 좌시점 영상(902) 및 우시점 영상(904)의 시점 간 변이와 다르게 변경되므로, 정확한 3차원 재생이 불가능하다.
일 실시예에 따른 다시점 정지 영상 서비스 제공 장치(100)는, 일 실시예에 따른 원본 종횡비 수평값 파라미터(OriginalAspectratioX) 및 원본 종횡비 수직값 파라미터(OriginalAspectratioY)에 원본 영상의 종횡비에 대한 정보를 헤더에 수록할 수 있다.
일 실시예에 따른 다시점 정지 영상 서비스 수신 장치(200)는, 원본 종횡비 수평값 파라미터(OriginalAspectratioX) 및 원본 종횡비 수직값 파라미터(OriginalAspectratioY)로부터, 원본 영상의 종횡비에 대한 정보를 획득하여, 복원된 3차원 정지 영상과 원본 영상의 종횡비를 비교할 수 있다. 복원된 3차원 영상과 원본 영상의 종횡비가 일치하지 않는 경우, 다시점 정지 영상 서비스 수신 장치(200)는, 원본 영상의 종횡비 및 3차원 디스플레이 장치의 화면 크기를 고려하여, 복원된 3차원 영상의 크기를 조절하는 후처리 작업을 수행함으로써, 3차원 디스플레이 장치를 통해 3차원 정지 영상을 올바르게 3차원 재생할 수 있다.
일 실시예에 따른 시점 순서 파라미터(ViewOrderinginfo)는, 현재 다시점 정지 영상의 시점들의 배열 순서에 대한 정보를 포함할 수 있다. 시점 순서 파라미터(ViewOrderinginfo)는, 현재 다시점 정지 영상이 좌/우시점 영상인 경우, 좌시점 영상 및 우시점 영상이 어떻게 배열되는지를 나타낼 수 있다.
예를 들어, 왼쪽에서 오른쪽으로 순차적으로 배열된 시점별 영상들에 대한 시점 순서 파라미터(ViewOrderinginfo)가 0으로 설정될 때, 가장 왼쪽에 위치한 시점별 영상의 시점 인덱스(view_index[i])가 0이고, 가장 왼쪽 시점 영상으로부터 시작하여 현재 시점 영상에 비해 오른쪽 시점 영상의 시점 인덱스가 1씩 증가할 수 있다. 또한 시점 순서 파라미터(ViewOrderinginfo)가 1로 설정될 때, 가장 오른쪽에 위치한 시점별 영상의 시점 인덱스가 0이고, 가장 오른쪽 시점 영상으로부터 시작하여 현재 시점 영상에 비해 왼쪽 시점 영상의 시점 인덱스가 1씩 증가할 수 있다.
일 실시예에 따른 시점 인덱스 정보는, 각각의 시점별 영상의 인덱스 정보를 나타낸다. 시점별 영상의 인덱스는 일 실시예에 따른 시점 순서 파라미터(ViewOrderinginfo)에 의해 설정되는 시점들의 배열 순서가 결정될 수 있다.
일 실시예에 따른 주시점 인덱스 파라미터(MainViewindex)는, 현재 다시점 정지 영상의 시점들 중 주시점의 인덱스에 대한 정보를 포함할 수 있다. 다시점 정지 영상 서비스 수신 장치(200)는, 다시점 정지 영상 파일 포맷(700, 800)의 제 1 영상 영역(701, 801) 중 영상 데이터 영역(751, 753, 755)으로부터 주시점 영상을 추출할 수 있다. 기존의 정지 영상 재생 장치는, 일 실시예에 따른 다시점 정지 영상 파일 포맷(700 또는 800)의 복수 개의 영상 영역들(701, 703, 705, 또는 801, 803, 805) 중 제 1 영상 영역(701, 801)만을 판독할 수 있고, 나머지 영상 영역들(703, 705, 또는, 803, 805)은 판독하지 못하지만, 제 1 영상 영역(701, 801)으로부터 주시점 영상을 2차원 정지 영상이라고 파악하고 추출할 수 있다.
일 실시예에 따른 시점 개수 파라미터(NumOfView)는, 현재 다시점 정지 영상의 시점들의 총 개수에 대한 정보를 포함할 수 있다.
일 실시예에 따른 영상 영역 오프셋 파라미터(ViewOffset[i]), 3차원 영상 포맷 구성 요소 파라미터(ViewFormat[i]) 및 멀티패쓰 파라미터(Multipathinfo[i])는, 현재 다시점 정지 영상의 다시점이 구성된 형태에 관한 정보이다.
일 실시예에 따른 영상 영역 오프셋 파라미터(ViewOffset[i])는, 현재 다시점 정지 영상 파일 포맷(700, 800)의 시작점으로부터 각각의 영상 영역(701, 703, 705, 801, 803, 805)까지의 거리에 대한 정보를 포함할 수 있다. 일 실시예에 따른 영상 영역 오프셋 파라미터(ViewOffset[i])는, 현재 다시점 정지 영상 파일 포맷(700, 800)의 소정 위치로부터 현재 시점 영상이 저장된 현재 영상 영역(701, 703, 705, 801, 803, 805)의 영상 시작 영역(SOI 영역)(711, 713, 715, 811, 813, 815)까지의 어드레스로, 바이트 단위로 표현될 수 있다. 예를 들어, 현재 시점 영상이 주시점 영상인 경우, 현재 영상 영역이 제 1 영상 영역(701, 801)이므로, 일 실시예에 따른 영상 영역 오프셋 파라미터(ViewOffset[i])는 0으로 설정될 수 있다.
일 실시예에 따른 3차원 영상 포맷 구성 요소 파라미터(ViewFormat[i])는, 3차원 영상 포맷을 구성하는 각각의 영상 정보의 포맷 구성 요소에 대한 정보를 포함할 수 있다. 현재 다시점 정지 영상의 3차원 영상 포맷이, 스테레오 영상 포맷, 다시점 영상 포맷, 합성 영상 포맷 및 뎁스 맵(변이 맵) 추가 포맷일 수 있다. 3차원 영상 포맷 구성 요소 파라미터(ViewFormat[i])는, 현재 다시점 정지 영상을 구성하는 각각의 영상 정보가, 3차원 영상 포맷을 구성하는 좌시점 영상, 우시점 영상 또는 소정 시점 영상 등의 시점별 영상, 시점 간 차이 영상, 뎁스 맵/변이 맵, 및 합성 영상 중 어느 하나인지를 나타낼 수 있다.
일 실시예에 따른 멀티패쓰 파라미터(Multipathinfo[i])는, 복수 개의 영상 정보가 구성하는 하나 이상의 스테레오 쌍이 서로 다른 시점 간 뎁스 정보를 갖는 스테레오 쌍을 포함할 때, 재생 장치의 크기에 대응되는 시점 간 뎁스 정보를 갖는 스테레오 쌍에 대한 정보를 포함할 수 있다.
일 실시예에 따른 다시점 정지 영상 데이터에는, 시점 간 뎁스가 큰 시점별 영상들의 스테레오 쌍과 시점 간 뎁스가 작은 시점별 영상들의 스테레오 쌍을 포함하는 셋 이상의 시점별 영상들이 모두 수록될 수 있다. 이러한 다시점 정지 영상 데이터를 이용하여, 3차원 디스플레이 장치의 재생 환경에 따라 적합한 스테레오 쌍의 시점별 영상들을 선택적으로 출력하는 방식을 멀티패쓰 방식이라 칭한다.
도 11 은 일 실시예에 따른 멀티패쓰 정보에 기초하여, 재생 장치의 크기에 따라 스테레오 쌍이 선택되어 출력되는 실시예를 도시한다.
예를 들어, 세 대의 카메라들(1110, 1120 , 1130)이 이동 촬영(stereo multi-shot)을 통해 하나의 촬영 대상(1100)을 촬영하여, 세 개의 시점별 영상들(1115, 1125, 1135)이 각각 획득될 수 있다.
연속하는 카메라들 간에 획득된 시점별 영상들이 스테레오 쌍을 구성할 수 있다. 예를 들어, 제 1 카메라(1110)가 획득한 영상(1115)이 좌시점 영상 L1이 되고, 제 2 카메라(1120)가 획득한 영상(1125)이 우시점 영상 R1이 될 때, 좌시점 영상 L1(1115) 및 우시점 영상 R1(1125)의 제 1 스테레오 쌍이 구성될 수 있다. 제 2 카메라(1120)가 획득한 영상(1125)이 좌시점 영상 L2이 되고, 제 3 카메라(1130)가 획득한 영상(1135)이 우시점 영상 R2이 될 때, 좌시점 영상 L2(1125)과 우시점 영상 R2(1135)의 제 2 스테레오 쌍이 구성될 수 있다.
따라서 세 대의 카메라들(1110, 1120 , 1130)을 이용하여 획득된 시점별 영상들(1115, 1125, 1135) 중에서 스테레오 쌍을 구성하는 영상들이 선택적으로 3차원 정지 영상 파일 포맷에 삽입될 수 있다. 제 1 스테레오 쌍의 좌시점 영상 L1(1115) 및 우시점 영상 R1(1125)이 삽입된 제 1 3차원 정지 영상 파일 포맷(1140)에 저장되고, 제 2 스테레오 쌍의 좌시점 영상 L2(1125) 및 우시점 영상 R2(1135)이 제 2 3차원 정지 영상 파일 포맷(1150)에 저장될 수 있다.
또한, 시점별 영상들(1115, 1125, 1135) 중 스테레오 쌍을 구성하는 영상들이 시점 간 뎁스의 크기에 기초하여 선택될 수 있다. 제 1 카메라(1110)가 획득한 영상(1115)이 좌시점 영상 L1이 되고, 제 3 카메라(1130)가 획득한 영상(1135)이 우시점 영상 R2이 될 때, 좌시점 영상 L1(1115)과 우시점 영상 R2(1135)의 제 3 스테레오 쌍이 구성될 수 있다. 주시점 영상이 영상(1115)인 경우, 제 1 스테레오 쌍의 좌시점 영상 L1(1115) 및 우시점 영상 R1(1125)의 시점 간 뎁스와 비교하여, 제 3 스테레오 쌍의 좌시점 영상 L1(1115)과 우시점 영상 R2(1135)의 시점 간 뎁스가 크다.
큰 화면의 3차원 디스플레이 장치(1170)에서 시점 간 뎁스가 큰 시점별 영상들이 3차원 재생된다면, 작은 화면의 디스플레이 장치(1160)에 비해, 사용자가 느끼는 시각적 피로감이 더 심하다. 따라서, 시점 간 뎁스가 다른 스테레오 쌍들이 존재하는 경우에는, 3차원 디스플레이 장치의 화면 크기에 기초하여 스테레오 쌍이 선택되는 것이 바람직하다.
예를 들어, 시점 간 뎁스가 큰 제 3 스테레오 쌍의 좌시점 영상 L1(1115)과 우시점 영상 R2(1135)은 선택적으로 작은 화면의 3차원 디스플레이 장치(1160)에 의해 재생되고, 시점 간 뎁스가 작은 제 1 스테레오 쌍의 좌시점 영상 L1(1115)과 우시점 영상 R1(1125)은 큰 화면의 3차원 디스플레이 장치(1170)로 선택적으로 출력될 수 있다.
일 실시예에 따른 다시점 정지 영상 서비스 제공 장치(100)는, 좌시점 영상 L1(1115)가 주시점 영상인 경우, 좌시점 영상 L1(1115)과 우시점 영상 R1(1125)과의 제 1 스테레오 쌍을 가리키는 멀티패쓰 파라미터(Multipathinfo[i])를 0로 설정하고, 우시점 영상 R2(1135)과의 제 3 스테레오 쌍을 가리키는 멀티패쓰 파라미터(Multipathinfo[i])를 1로 설정할 수 있다.
일 실시예에 따른 다시점 정지 영상 서비스 수신 장치(200)는, 좌시점 영상 L1(1115)가 주시점 영상인 경우, 일 실시예에 따른 멀티패쓰 파라미터(Multipathinfo[i])가 0이라면, 시점 간 뎁스가 작은 제 1 스테레오 쌍의 좌시점 영상 L1(1115)과 우시점 영상 R1(1125)을 복원하여, 큰 화면의 3차원 디스플레이 장치(1170)를 이용하여 출력할 수 있다. 일 실시예에 따른 멀티패쓰 파라미터(Multipathinfo[i])가 1이라면, 시점 간 뎁스가 큰 제 3 스테레오 쌍의 좌시점 영상 L1(1115)과 우시점 영상 R2(1135)을 복원하여 작은 화면의 3차원 디스플레이 장치(1180)를 이용하여 출력할 수 있다. 즉 일 실시예에 따른 다시점 정지 영상 서비스 수신 장치(200)는, 3차원 디스플레이 장치(1160, 1170)의 크기에 적합한 시점 간 뎁스를 갖는 스테레오 쌍을 검색하기 위해, 일 실시예에 따른 멀티패쓰 파라미터(Multipathinfo[i])를 판독하여 검색할 수도 있다.
또한, 현재 다시점 정지 영상의 시점들의 총 개수와 영상 영역 오프셋의 총 개수, 3차원 영상 포맷을 구성하는 구성 요소의 총 개수, 스테레오 쌍의 총 개수는 상응하므로, 일 실시예에 따른 시점 개수 파라미터(NumOfView)는, 영상 영역 오프셋 파라미터(ViewOffset[i])의 총 개수, 개별 3차원 영상 포맷 파라미터(ViewFormat[i])의 총 개수, 멀티패쓰 파라미터(Multipathinfo[i])의 총 개수를 나타낼 수도 있다.
일 실시예에 따른 다시점 정지 영상 서비스 제공 장치(100) 및 일 실시예에 따른 미디어 파일 포맷에 기반한 다시점 정지 영상 서비스 제공 장치(300)는 다시점 정지 영상을 구성하기 위한 시점별 영상들에 대한 복수 개의 영상 정보와 함께, 일 실시예에 따른 3차원 부가 속성정보를 다시점 정지 영상 데이터의 헤더에 삽입할 수 있다. 즉, 일 실시예에 따른 3차원 부가 속성정보는, 복수 개의 영상 정보 중 현재 영상 정보를 시점별 영상으로 복원하여 3차원 재생하는데 필요한 개별적인 속성정보일 수 있다.
일 실시예에 따른 다시점 정지 영상 서비스 수신 장치(200) 및 일 실시예에 따른 미디어 파일 포맷에 기반한 다시점 정지 영상 서비스 수신 장치(400)는 다시점 정지 영상 데이터의 헤더로부터, 다시점 정지 영상을 구성하기 위한 시점별 영상들에 대한 복수 개의 영상 정보와 함께, 일 실시예에 따른 3차원 부가 속성정보를 추출하여, 시점별 영상을 복원하여 후처리하여 3차원 재생할 수 있다.
표 3 및 4 은, 일 실시예에 따라 3차원 부가 속성정보를 예시한다.
표 3
3차원 부가 속성정보 내용
3차원 영상 포맷 관련 파라미터 ViewFormat 복수 개의 영상 정보 중 현재 영상 정보의 3차원 영상 포맷 구성 요소
카메라 파라미터 - 다시점 정지 영상을 획득한 카메라 관련 정보
수직 변이 파라미터 RepresentativeMinVerDisparity 현재 시점 영상의 유효한 최소 수직 변이
RepresentativeMaxVerDisparity 현재 시점 영상의 유효한 최대 수직 변이
저피로도 파라미터 RepresentativeMinDisparity 주시점 영상 대비 현재 시점 영상의 유효한 최소 수직 변이
MainObjectDisparity 자동 초점 수렴시, 기준 객체의 변이
RepresentativeMaxDisparity 주시점 영상 대비 현재 시점 영상의 유효한 최대 수직 변이
ExpectedHorDisplaySize 권장 디스플레이 장치의 너비
ExpectedVerDisplaySize 권장 디스플레이 장치의 높이
ExpectedViewingDistanceMin 권장 시청 거리의 최소값
ExpectedViewingDistanceOptimal 권장 시청 거리의 최적값
ExpectedViewingDistanceMax 권장 시청 거리의 최대값
임밸런스 파라미터 ImbalanceOffset[i] 주시점 영상에 대비하여 현재 시점 영상의 어긋나는 화소값
표 4
3차원 부가 속성정보 내용
오클루젼 관련 파라미터 BoundaryOccludedWidth 현재 시점 영상의 경계에서 기준 시점 영상에 대비하여 발생하는 오클루젼 영역의 넓이
OcclusionDirection 현재 시점 영상의 경계에서 기준 시점 영상에 대비하여 발생하는 오클루젼 영역의 방향
NumOfStereoPair 복수 개의 영상 정보 중 현재 영상 정보의 현재 시점 영상과 스트레오 쌍을 구성하는 영상 정보의 개수
자동 초점 수렴 관련 파라미터 PairedViewId[i] 복수 개의 영상 정보 중 현재 영상 정보의 현재 시점 영상과 스트레오 쌍을 구성하는 적어도 하나의 상대 시점 영상의 시점 인덱스
CurCropSizeX[i] 현재 시점 영상 중 재생 영상의 너비
CurCropSizeY[i] 현재 시점 영상 중 재생 영상의 높이
CurCropOffsetX[i] 현재 시점 영상 중 재생 영상의 수평 좌표
CurCropOffsetY[i] 현재 시점 영상 중 재생 영상의 수직 좌표
PairedCropSizeX[i] 상대 시점 영상 중 재생 영상의 너비
PairedCropSizeY[i] 상대 시점 영상 중 재생 영상의 높이
PairedCropOffsetX[i] 상대 시점 영상 중 재생 영상의 수평 좌표
PairedCropOffsetY[i] 상대 시점 영상 중 재생 영상의 수직 좌표
일 실시예에 따른 3차원 부가 속성정보는, 현재 3차원 영상 포맷 구성 요소 파라미터(ViewFormat), 카메라 파라미터, 유효 최소 수직 변이 파라미터(RepresentativeMinVerDisparity), 유효 최대 수직 변이 파라미터(RepresentativeMaxVerDisparity), 유효 최소 변이 파라미터(RepresentativeMinDisparity), 기준 객체 변이 파라미터(MainObjectDisparity), 유효 최대 변이 파라미터(RepresentativeMaxDisparity), 권장 디스플레이 너비 파라미터(ExpectedHorDisplaySize), 권장 디스플레이 높이 파라미터(ExpectedVerDisplaySize), 최소 권장 시청 거리 파라미터(ExpectedViewingDistanceMin), 최적 권장 시청 거리 파라미터(ExpectedViewingDistanceOptimal), 최대 권장 시청 거리 파라미터(ExpectedViewingDistanceMax), 임밸런스 오프셋 파라미터(ImbalanceOffset[i]), 경계 오클루젼 너비 파라미터(BoundaryOccludedWidth), 오클루젼 방향 파라미터(OcclusionDirection), 스테레오 쌍 개수 파라미터(NumOfStereoPair), 상대 시점 인덱스 파라미터(PairedViewId[i]), 현재 시점 재생 너비 파라미터(CurCropSizeX[i]), 현재 시점 재생 높이 파라미터(CurCropSizeY[i]), 현재 시점 재생 수평 오프셋 파라미터(CurCropOffsetX[i]), 현재 시점 재생 수직 오프셋 파라미터(CurCropOffsetY[i]), 상대 시점 재생 수평 파라미터(PairedCropSizeX[i]), 상대 시점 재생 수직 파라미터(PairedCropSizeY[i]), 상대 시점 재생 수평 오프셋 파라미터(PairedCropOffsetX[i]), 상대 시점 재생 수직 오프셋 파라미터(PairedCropOffsetY[i]) 등을 포함할 수 있다.
일 실시예에 따른 현재 3차원 영상 포맷 구성 요소 파라미터(ViewFormat)는, 3차원 영상 포맷을 구성하는 현재 영상 정보의 포맷 구성 요소에 대한 정보를 포함할 수 있다. 현재 다시점 정지 영상의 3차원 영상 포맷이, 스테레오 영상 포맷, 다시점 영상 포맷, 합성 영상 포맷 및 뎁스 맵(변이 맵) 추가 포맷일 수 있으므로, 현재 다시점 정지 영상을 구성하는 현재 영상 정보는, 3차원 영상 포맷을 구성하는 좌시점 영상, 우시점 영상 또는 소정 시점 영상 등의 시점별 영상, 시점 간 차이 영상, 뎁스 맵/변이 맵, 및 합성 영상 중 어느 하나일 수 있다.
표 5는, 현재 3차원 영상 포맷 구성 요소 파라미터(ViewFormat)의 시멘틱을 예시한다.
표 5
현재 3차원 영상 포맷 구성 요소 파라미터(ViewFormat) 내용
0 스테레오 영상 포맷 중 좌시점 영상
1 스테레오 영상 포맷 중 우시점 영상
2 다시점 영상
3 뎁스 맵
4 변이 맵
5 합성 영상 포맷의 사이드 바이 사이드 포맷
6 합성 영상 포맷의 탑 앤 바텀 포맷
7 합성 영상 포맷의 버티컬 라인 인터리브드 포맷
8 합성 영상 포맷의 수평 라인 인터리브드 포맷
9 합성 영상 포맷의 체커보드 포맷
10-255 (reserved)
표 6은 일 실시예에 따른 카메라 파라미터의 신택스를 예시한다.
표 6
unsigned int(32) translation[3];
unsigned int(32) focal_length;
unsigned int(32) aspect_ratio;
unsigned int(3) reserved = 0;
unsigned int(1) is_camera_cross;
unsigned int(3) reserved = 0;
unsigned int(1) is_principal_point;
if (is_camera_cross){
unsigned int(32) rotation[3];
}
if (is_principal_point){
unsigned int(16) principal_point_x;
unsigned int(16) principai_point_y;
}
일 실시예에 따른 카메라 파라미터는, 3차원 카메라의 X, Y, Z 축 방향의 평행 이동 거리에 대한 정보를 포함하는 평행 이동 파라미터(translation[3]), 3차원 카메라의 초점 거리에 대한 정보를 포함하는 초점 거리 파라미터(focal_length), 3차원 카메라의 종횡비에 대한 정보를 포함하는 종횡비 파라미터(aspect_ratio), 3차원 카메라가 교차식인지 여부를 나타내는 교차식 카메라 파라미터(is_camera_cross), 소정 중점이 주점(principal point)인지 여부를 나타내는 주점 파라미터(is_principal_point), 교차식 카메라의 X, Y, Z 축 방향의 회전각에 대한 정보를 포함하는 회전각 파라미터(rotation[3]), 주점의 수평 성분 및 수직 성분에 대한 정보를 포함하는 주점 수평 성분 파라미터(principal_point_x) 및 주점 수직 성분 파라미터(principal_point_y)를 포함할 수 있다.
현재 3차원 카메라가 교차식 카메라가 아니라면 일 실시예에 따른 카메라 파라미터 중에서 회전각 파라미터(rotation[3])가 생략될 수 있다. 소정 중점이 주점이 아니라면, 일 실시예에 따른 카메라 파라미터 중에서 주점 수평 성분 파라미터(principal_point_x) 및 주점 수직 성분 파라미터(principal_point_y)가 생략될 수 있다.
일 실시예에 따른 3차원 부가 속성정보 중, 유효 최소 수직 변이 파라미터(RepresentativeMinVerDisparity)와, 일 실시예에 따른 유효 최대 수직 변이 파라미터(RepresentativeMaxVerDisparity)는, 현재 영상 정보의 현재 시점 영상의 수직 변이(vertical disparity) 파라미터로서, 각각 현재 시점 영상의 유효한 최소 수직 변이와 유효한 최대 수직 변이에 대한 정보를 포함할 수 있다.
제대로 고정되지 않은 스테레오스코픽 카메라로 3차원 영상이 촬영된 경우에는 수직 변이가 발생할 수 있다. 3차원 영상의 수직 변이도 3차원 영상이 3차원 재생될 때 사용자에게 피로감을 유발할 수 있다. 큰 화면의 3차원 디스플레이 장치에 비해 작은 화면의 3차원 디스플레이 장치에 대한 수직 변이의 허용치가 더 크다.
일 실시예에 따른 다시점 정지 영상 서비스 수신 장치(200)는, 유효 최소 수직 변이 파라미터(RepresentativeMinVerDisparity)와, 일 실시예에 따른 유효 최대 수직 변이 파라미터(RepresentativeMaxVerDisparity)에 기초하여, 현재 시점 영상의 유효한 최소/최대 수직 변이를 판독할 수 있다. 일 실시예에 따른 다시점 정지 영상 서비스 수신 장치(200)는, 시점별 영상들을 복원한 후, 현재 시점 영상의 유효한 최소/최대 수직 변이와 현재 3차원 디스플레이 장치의 수직 변이의 허용치를 비교하여, 현재 3차원 디스플레이 장치의 수직 변이의 허용치 이하의 수직 변이를 갖는 영상만을 선택적으로 재생할 수 있다.
일 실시예에 따른 3차원 부가 속성정보 중, 유효 최소 변이 파라미터(RepresentativeMinDisparity), 기준 객체 변이 파라미터(MainObjectDisparity), 유효 최대 변이 파라미터(RepresentativeMaxDisparity), 권장 디스플레이 너비 파라미터(ExpectedHorDisplaySize), 권장 디스플레이 높이 파라미터(ExpectedVerDisplaySize), 최소 권장 시청 거리 파라미터(ExpectedViewingDistanceMin), 최적 권장 시청 거리 파라미터(ExpectedViewingDistanceOptimal) 및 최대 권장 시청 거리 파라미터(ExpectedViewingDistanceMax)는, 저피로도 파라미터들로서, 현재 시점 영상의 3차원 재생시 시청자에게 유발될 수 있는 피로감을 경감시키기 위한 정보를 포함할 수 있다.
유효 최소 변이 파라미터(RepresentativeMinDisparity) 및 유효 최대 변이 파라미터(RepresentativeMaxDisparity)는 각각, 주시점 영상에 대비하여, 현재 시점 영상의 유효한 최소 변이 및 최대 변이에 대한 정보를 포함할 수 있다. 예를 들어 3차원 공간을 촬영한 현재 시점 영상에서, 3차원 공간 내의 객체들 중 가장 뒤에 위치한 객체의 주시점 영상에 대비한 변이가 유효한 최소 변이일 수 있으며, 가장 앞에 위치한 객체의 주시점 영상에 대비한 변이가 유효한 최대 변이일 수 있다.
기준 객체 변이 파라미터(MainObjectDisparity)는 기준 객체의 변이에 대한 정보를 포함할 수 있다. 일 실시예에 따른 다시점 정지 영상 서비스 수신 장치(200)는, 시점별 영상들을 복원한 후, 기준 객체 변이 파라미터(MainObjectDisparity)로부터 판독한 기준 객체의 변이를 조절함으로써 초점과 폭주점이 모두 스크린에 위치하도록 조정하는 자동 초점 수렴 동작을 수행할 수 있다.
일 실시예에 따른 유효 최소 변이 파라미터(RepresentativeMinDisparity), 기준 객체 변이 파라미터(MainObjectDisparity) 및 유효 최대 변이 파라미터(RepresentativeMaxDisparity)의 변이값은 쿼터 펠(quarter pel) 단위로 표현될 수도 있다.
도 12 는 일 실시예에 따른 저피로도 정보의 이용례를 도시한다.
스크린의 변이를 기준으로 양(+) 방향의 허용치 및 음(-) 방향의 허용치의 범위 안에 3차원 영상의 변이 범위가 포함되는지 여부에 따라, 3차원 재생되는 3차원 영상을 바라보는 사용자에게 피로감이 발생할 수 있다.
일 실시예에 따른 다시점 정지 영상 서비스 수신 장치(200)는, 3차원 부가 속성정보의 저피로도 정보(1210) 중에서, 유효 최소 변이 파라미터(RepresentativeMinDisparity) 및 유효 최대 변이 파라미터(RepresentativeMaxDisparity)로부터 각각 현재 3차원 영상의 유효 최소 변이(1220) 및 유효 최대 변이(1225)를 판독할 수 있다.
일 실시예에 따른 다시점 정지 영상 서비스 수신 장치(200)는, 3차원 재생 장치(1250)의 화면 크기 및 해상도를 이용하여 3차원 재생 장치(1250)의 최소 한계 변이(1260) 및 최대 한계 변이(1265)를 분석할 수 있다.
따라서, 현재 3차원 영상의 유효 최소 변이(1220)로부터 유효 최대 변이(1225)까지의 현재 3차원 영상의 변이 구간(1230)이, 3차원 재생 장치(1250)의 최소 한계 변이(1260)로부터 최대 한계 변이(1265)까지의 구간에 포함된다면, 3차원 재생 장치(1250)로 3차원 재생된 현재 3차원 영상을 사용자가 피로감 없이 안전하게 감상할 수 있다.
또한, 일 실시예에 따른 다시점 정지 영상 서비스 수신 장치(200)는, 시점별 영상들을 복원한 후, 기준 객체 변이 파라미터(MainObjectDisparity)로부터 판독된 기준 객체의 변이를 0으로 조절하면서, 전제 3차원 영상의 변이를 조절하는 후처리 과정을 수행함으로써, 초점 조절(accomodation)에 의한 초점 위치와 양안 수렴(convergence)으로 인한 폭주 위치가 일치하지 않아 발생하는 시청 피로감이 경감될 수 있다.
일 실시예에 따른 권장 디스플레이 너비 파라미터(ExpectedHorDisplaySize) 및 권장 디스플레이 높이 파라미터(ExpectedVerDisplaySize)는 각각, 현재 시점 영상을 3차원 재생하기에 최적의 디스플레이 너비 및 높이에 대한 정보를 포함할 수 있다. 일 실시예에 따른 다시점 정지 영상 서비스 수신 장치(200)는, 권장 디스플레이 너비 파라미터(ExpectedHorDisplaySize) 및 권장 디스플레이 높이 파라미터(ExpectedVerDisplaySize)에 기초하여, 현재 3차원 재생 장치의 크기에 최적화된 3차원 영상을 검색할 수 있다.
현재 시점 영상의 최적의 디스플레이의 너비 및 높이에 대한 정보가 현재 3차원 재생 장치의 크기와 다르다면, 일 실시예에 따른 다시점 정지 영상 서비스 수신 장치(200)는, 현재 시점 영상의 최적의 3차원 디스플레이 장치의 너비 및 높이 및 현재 3차원 디스플레이 장치의 너비 및 높이를 이용하여, 현재 시점 영상의 뎁스를 조절하는 후처리 동작을 수행한 후 3차원 재생할 수도 있다.
또한 일 실시예에 따른 다시점 정지 영상 서비스 수신 장치(200)는, 후처리 동작 없이, 최적 크기가 아닌 현재 3차원 디스플레이 장치를 이용하여 현재 시점 영상을 재생할지 여부를 묻는 경고 문구를 화면 상에 표시할 수 있다. 이 경우 일 실시예에 따른 다시점 정지 영상 서비스 수신 장치(200)는, 사용자가 3차원 정지 영상을 안정적으로 2차원 재생할지, 피로감이 유발될 가능성이 있더라도 3차원 재생할지 여부를 선택하도록 유도할 수 있다.
일 실시예에 따른 3차원 부가 속성정보 중, 최소 권장 시청 거리 파라미터(ExpectedViewingDistanceMin), 최적 권장 시청 거리 파라미터(ExpectedViewingDistanceOptimal) 및 최대 권장 시청 거리 파라미터(ExpectedViewingDistanceMax)는, 각각 권장 시청 거리의 최소값, 최적값 및 최대값에 대한 정보를 포함할 수 있다. 일 실시예에 따른 다시점 정지 영상 서비스 수신 장치(200)는 최소 권장 시청 거리 파라미터(ExpectedViewingDistanceMin), 최적 권장 시청 거리 파라미터(ExpectedViewingDistanceOptimal) 및 최대 권장 시청 거리 파라미터(ExpectedViewingDistanceMax)에 기초하여, 사용자가 현재 시점 영상의 입체감을 정확하게 경함할 수 있는 위치에서 3차원 영상을 감상할 수 있도록 유도하거나, 사용자에게 권장 시청 위치를 알려줄 수 있다.
일 실시예에 따른 임밸런스 오프셋 파라미터(ImbalanceOffset[i])는, 주시점 영상에 대비하여 현재 시점 영상의 색차에 대한 정보를 포함할 수 있다. 동일한 성능의 카메라를 사용하여 3차원 영상을 촬영하더라도, 색감이 다른 좌시점 영상 및 우시점 영상이 획득될 수 있다. 색감이 달라지는 이유는, 빛이 산란되지 않고 일정 방향을 가지고 반사되는 현상이나 카메라의 미세한 세팅 차이 등일 수 있다. 좌시점 영상 및 우시점 영상의 색상 성분의 화소값이 일치하지 않는 경우, 사용자에게 3차원 재생으로 인한 피로감이 유발될 수도 있다.
일 실시예에 따른 임밸런스 오프셋 파라미터(ImbalanceOffset[i])는, RGB 색상 포맷(또는 YUV 색상 포맷)에서, R/G/B 색상 채널(또는 Y/U/V 색상 채널)별로, 현재 시점 영상과 기준 시점 영상의 차이값에 대한 정보를 포함할 수 있다.
일 실시예에 따른 다시점 정지 영상 서비스 수신 장치(200)는, 시점별 영상들을 복원한 후, 임밸런스 오프셋 파라미터(ImbalanceOffset[i])에 기초하여, 현재 시점 영상과 기준 시점 영상의 색차를 조절하는 후처리 동작을 수행한 후, 3차원 재생할 수 있다.
일 실시예에 따른 3차원 부가 속성정보 중, 경계 오클루젼 너비 파라미터(BoundaryOccludedWidth) 및 오클루젼 방향 파라미터(OcclusionDirection)는, 오클루젼 관련 정보로, 기준 시점 대비 현재 시점 영상의 경계에서 발생하는 오클루젼 영역과 관련된 정보를 포함할 수 있다.
경계 오클루젼 너비 파라미터(BoundaryOccludedWidth)는, 좌시점 영상 및 우시점 영상으로 구성된 스테레오 영상에서, 현재 시점 영상의 오클루젼 영역의 너비에 대한 정보를 포함할 수 있다. 오클루젼 방향 파라미터(OcclusionDirection)는 현재 시점 영상의 오클루젼 영역이 발생하는 방향에 대한 정보를 포함할 수 있다. 예를 들어, 현재 시점 영상의 왼쪽 경계 영역 또는 오른쪽 경계에 오클루젼 영역이 발생하는 경우, 오클루젼 방향 파라미터(OcclusionDirection)가 0 또는 1로 설정될 수 있다.
도 13 은 일 실시예에 따라 오클루젼과 관련된 경계 영역에 대한 정보에 기초한 후처리를 수반하는 출력 화면을 예시한다.
스테레오 영상을 구성하는 좌시점 영상(1310) 및 우시점 영상(1320)에서, 좌시점 영상(1310)의 좌측 경계에서 오클루젼 영역(1315)이 발생하고, 우시점 영상(1320)의 우측 경계에 오클루젼 영역(1325)이 발생할 수 있다.
좌시점 영상(1310)의 오클루젼 영역(1315)과 우시점 영상(1320)의 오클루젼 영역(1325)에 대한 아무런 처리 없이, 3차원 디스플레이 장치(1330)가 좌시점 영상(1310) 및 우시점 영상(1320)을 3차원 재생한다면, 3차원 재생 화면(1340)의 좌측 오클루젼 영역(1341)은 좌안에서만 보이고, 우측 오클루젼 영역(1342)은 우안에서만 보이므로, 사용자에게 피로감을 유발할 수 있다. 또한, 3차원 재생 화면(1340)의 좌측 오클루젼 영역(1341)과 우측 오클루젼 영역(1342)은, 3차원 디스플레이 장치(1330)의 화면의 좌우 양끝에서 입체감을 발생시키지 못한 채 2차원 평면으로 보이므로 사용자는 위화감을 느낄 수 있다.
따라서 일 실시예에 따른 다시점 정지 영상 서비스 수신 장치(200)는, 시점별 영상들을 복원한 후, 경계 오클루젼 너비 파라미터(BoundaryOccludedWidth) 및 오클루젼 방향 파라미터(OcclusionDirection)에 기초하여, 오클루젼 영역의 너비 및 방향을 판독하여, 오클루젼 영역(1341, 1342)의 재생을 방지하는 후처리 동작을 수행하고 3차원 재생할 수 있다.
도 14 는 다른 시점 영상들 간에 변이에 따라 발생하는 양안 시차를 예시하고, 도 15는 일 실시예에 따른 다른 시점 영상들 간 변이 벡터를 이용하여 양안 시차를 수렴하도록 조절하는 자동 초점 수렴 방식을 도시한다.
평행식의 3차원 카메라들(1410, 1420)로 하나의 객체(1400)를 촬영하면, 좌시점 카메라(1410)로부터 좌시점 영상(1430)이 획득되고, 우시점 카메라(1420)로부터 우시점 영상(1440)이 획득된다. 객체(1400)는, 좌시점 카메라(1410)에 의해 좌시점 영상(1430) 중 좌시점 영역(1435)에 맺히고, 우시점 카메라(1420)에 의해 우시점 영상(1440) 중 우시점 영역(1445)에 맺히게 된다. 좌시점이 기준 시점인 경우, 객체(1400)의 좌시점 영역(1435)을 기준으로 좌시점 영역(1435)과 우시점 영역(1445) 사이에는 변이(1450)가 발생한다.
좌시점 영상(1430) 및 우시점 영상(1440)이 하나의 스크린(1500)에서 3차원 재생된다면, 스크린 상의 좌시점 객체 영역(1530)에 객체(1400)의 좌시점 영역(1435)이 위치하고, 우안(1520)이 스크린 상의 우시점 객체 영역(1540)에 객체(1400)의 우시점 영역(1445)이 위치한다. 사용자는 습관적으로 스크린(1500)에 초점을 맞추므로, 초점의 원근이 조절된다(accomodation).
객체(1400)의 좌시점 영역(1435) 및 우시점 영역(1445) 간의 변이(1450)로 인해, 사용자의 좌안(1510)이 스크린 상의 좌시점 객체 영역(1530)을 향하는 시선과, 사용자의 우안(1520)이 스크린 상의 우시점 객체 영역(1540)을 향하는 시선들의 교차점에 폭주가 발생하므로(convergence), 사용자는 좌안(1510)과 우안(1520)의 시선들의 교차점에 객체(1400)가 위치하는 것처럼 감지하게 된다.
따라서, 사용자의 좌안(1510) 및 우안(1520)의 초점이 스크린(1500)에 맺히도록 조절(accomodation)되는 초점의 위치와 사용자의 좌안(1510) 및 우안(1520)의 시선이 수렴(convergence)하는 위치가 불일치하여 음 방향의 양안 시차(1560)가 발생한다. 사용자는 스크린(1500)에 비해 객체(1400)가 음 방향의 양안시차(1560)만큼 튀어 나와 있다고 느낄 수 있다. 음 방향의 양안시차(1560)는 양방향의 양안시차에 비해 폭주각이 크므로, 사용자가 느끼는 피로감이 더 크다.
전술한 바와 같이, 일 실시예에 따른 다시점 정지 영상 서비스 수신 장치(200)는 기준 객체 변이 파라미터에 기초하여 자동 초점 수렴 동작을 수행할 수 있다. 일 실시예에 따른 다시점 정지 영상 서비스 수신 장치(200)는 자동 초점 수렴 과정을 통해, 객체(1400)의 변이(1450)를 0으로 조정할 수 있다. 이로 인해, 사용자의 좌안(1510) 및 우안(1520)의 객체(1400)에 대한 초점 영역(1570)이 스크린(1500) 상에 정확히 맺히고, 좌안(1510) 및 우안(1520)이 스크린 상의 좌시점 객체 영역(1530)과 우시점 객체 영역(1540)을 향하는 시선의 교차점(1580)도 역시 스크린(1500) 상에 위치하도록 조절되므로, 초점 조절 위치와 수렴 위치가 일치하면서 양안 시차가 제거될 수 있다.
일 실시예에 따른 3차원 부가 속성정보 중, 스테레오 쌍 개수 파라미터(NumOfStereoPair)는, 다시점 정지 영상을 구성하는 복수 개의 시점별 영상들 중, 현재 시점 영상과 스테레오 쌍을 구성하는 시점들의 총 개수에 대한 정보를 포함할 수 있다.
일 실시예에 따른 3차원 부가 속성정보 중에서, 상대 시점 인덱스 파라미터(PairedViewId[i]), 현재 시점 재생 너비 파라미터(CurCropSizeX[i]), 현재 시점 재생 높이 파라미터(CurCropSizeY[i]), 현재 시점 재생 수평 오프셋 파라미터(CurCropOffsetX[i]), 현재 시점 재생 수직 오프셋 파라미터(CurCropOffsetY[i]), 상대 시점 재생 수평 파라미터(PairedCropSizeX[i]), 상대 시점 재생 수직 파라미터(PairedCropSizeY[i]), 상대 시점 재생 수평 오프셋 파라미터(PairedCropOffsetX[i]), 상대 시점 재생 수직 오프셋 파라미터(PairedCropOffsetY[i])는, 자동 초점 수렴 관련 정보로서, 일 실시예에 따른 다시점 정지 영상 서비스 수신 장치(200)의 자동 초점 수렴 동작을 보조하기 위한 정보를 포함할 수 있다.
상대 시점 인덱스 파라미터(PairedViewId[i])는, 다시점 영상을 구성하는 시점별 영상들 중, 현재 시점 영상과 스테레오 쌍을 구성하는 상대 시점 영상의 시점 인덱스에 대한 정보를 포함할 수 있다. 인덱스 순서는 시점 간 변이에 따라 결정될 수 있다. 예를 들어 시점 간 변이가 작아 입체감이 작은 순서로 인덱스 순서가 결정될 수 있다.
현재 시점 재생 너비 파라미터(CurCropSizeX[i]) 및 현재 시점 재생 높이 파라미터(CurCropSizeY[i])는 각각, 현재 시점 영상 중 재생 영상의 너비 및 높이에 대한 정보를 포함할 수 있다. 현재 시점 재생 수평 오프셋 파라미터(CurCropOffsetX[i]) 및 현재 시점 재생 수직 오프셋 파라미터(CurCropOffsetY[i])는 각각, 현재 시점 영상 중 재생 영상의 수평 좌표 및 수직 좌표에 대한 정보를 포함할 수 있다.
상대 시점 재생 수평 파라미터(PairedCropSizeX[i]) 및 상대 시점 재생 수직 파라미터(PairedCropSizeY[i])는 각각, 상대 시점 영상 중 재생 영상의 너비 및 높이에 대한 정보를 포함할 수 있다. 다만, 상대 시점 재생 수평 파라미터(PairedCropSizeX[i]) 및 상대 시점 재생 수직 파라미터(PairedCropSizeY[i])는, 현재 시점 재생 너비 파라미터(CurCropSizeX[i]) 및 현재 시점 재생 높이 파라미터(CurCropSizeY[i])로 대체될 수 있으므로 생략 가능하다.
상대 시점 재생 수평 오프셋 파라미터(PairedCropOffsetX[i]) 및 상대 시점 재생 수직 오프셋 파라미터(PairedCropOffsetY[i])는 각각, 상대 시점 영상 중 재생 영상의 수평 좌표 및 수직 좌표에 대한 정보를 포함할 수 있다.
도 16 은 다시점 정지 영상을 구성하는 복수 개의 시점별 영상 중에서 가능한 복수 개의 스테레오 쌍들을 예시한다.
일 실시예에 따른 다시점 정지 영상 서비스 수신 장치(200)는, 스테레오 쌍 개수 파라미터(NumOfStereoPair) 및 상대 시점 인덱스 파라미터(PairedViewId[i]), 에 기초하여, 현재 시점 영상과 스테레오 쌍을 구성하는 시점들의 총 개수에 대한 정보와 스테레오 쌍을 구성하는 상대 시점 인덱스를 판독하여, 현재 시점 영상과 스테레오 쌍을 구성하는 상대 시점 영상들을 선택적으로 복원하여 3차원 재생할 수 있다.
또한, 일 실시예에 따른 다시점 정지 영상 서비스 수신 장치(200)는 시점별 영상을 복원하여 재생할 때, 복원된 시점별 영상 중 일부 영역을 크롭(crop)하여 재생하거나, 재생 영역을 원하는 영역으로 시프트하여 재생할 수 있다.
다시점 정지 영상을 구성하는 제 1 시점(View1) 영상(1620), 제 2 시점(View2) 영상(1630), 제 3 시점(View3) 영상(1640) 중에서, 제 1 시점 영상(1620)과 제 2 시점 영상(1630)이 제 1 스테레오 쌍을 구성하고, 제 2 시점 영상(1630)과 제 3 시점 영상(1640)이 제 2 스테레오 쌍을 구성할 수 있다.
제 1 스테레오 쌍에서, 객체(1600)는 제 1 시점 영상(1620)의 영역(1625)에 맺히고, 제 2 시점 영상(1630)의 영역(1631)에 맺힌다. 그러나 제 2 스테레오 쌍에서는, 객체(1610)는 제 2 시점 영상(1630)의 영역(1632)에 맺히고, 제 3 시점 영상(1640)의 영역(1642)에 맺힌다.
따라서 제 2 시점 영상(1630)을 제 1 스테레오 쌍을 기준으로 자동 초점 수렴 동작을 수행하여, 영역(1631)이 출력 영역으로 결정된다면, 제 2 시점 영상(1630)이 제 2 스테레오 쌍을 구성할 때 객체(1610)가 3차원 재생될 수 없다.
따라서, 현재 시점 영상의 출력 영역을 결정하기 위해서는, 현재 시점 영상의 가능한 스테레오 쌍들 중 현재 스테레오 쌍을 파악하고, 현재 스테레오 쌍을 구성하는 현재 시점 영상과 상대 시점 영상에 대해 자동 초점 수렴 동작을 수행한 후, 현재 시점 영상과 상대 시점 영상의 출력 영역이 결정되어야 한다.
따라서, 일 실시예에 따른 다시점 정지 영상 서비스 수신 장치(200)는, 상대 시점 인덱스 파라미터(PairedViewId[i]), 현재 시점 재생 너비 파라미터(CurCropSizeX[i]), 현재 시점 재생 높이 파라미터(CurCropSizeY[i]), 현재 시점 재생 수평 오프셋 파라미터(CurCropOffsetX[i]), 현재 시점 재생 수직 오프셋 파라미터(CurCropOffsetY[i]), 상대 시점 재생 수평 파라미터(PairedCropSizeX[i]), 상대 시점 재생 수직 파라미터(PairedCropSizeY[i]), 상대 시점 재생 수평 오프셋 파라미터(PairedCropOffsetX[i]), 상대 시점 재생 수직 오프셋 파라미터(PairedCropOffsetY[i])에 기초하여, 현재 시점 영상의 원하는 스테레오 쌍을 검색하고, 자동 초점 수렴 동작을 수행하여, 현재 스테레오 쌍을 구성하는 현재 시점 영상과 상대 시점 영상의 최적의 재생 영상을 결정하여 재생할 수 있다.
도 17 은 본 발명의 일 실시예에 따른 다시점 정지 영상 서비스 제공 방법의 흐름도를 도시한다.
단계 1710에서, 다시점 정지 영상을 구성하기 위한 복수 개의 영상 정보가 삽입될 복수 개의 영상 영역들을 구비하는 다시점 정지 영상 파일 포맷이 구성될 수 있다. 다시점 정지 영상 파일 포맷의 영상 영역들은 각각, 영상 정보 영역 및 복수 개의 부가 정보 영역들을 포함할 수 있다.
단계 1720에서, 다시점 정지 영상 파일 포맷의 복수 개의 영상 영역들에, 다시점 정지 영상을 구성하기 위한 복수 개의 영상 정보가 각각 삽입된다. 다시점 정지 영상 파일 포맷의 복수 개의 영상 영역들 중 제 1 영상 영역에는, 다시점 정지 영상을 구성하기 위한 복수 개의 영상 정보 중 주시점 영상 정보가 삽입될 수 있다.
단계 1730에서, 다시점 정지 영상 파일 포맷의 복수 개의 영상 영역들에 삽입된 영상 정보들에 대한 각종 속성 정보가, 다시점 정지 영상 파일 포맷의 영상 영역들에 삽입될 수 있다.
다시점 정지 영상 파일 포맷의 제 1 영상 영역에, 다시점 정지 영상을 3차원 재생하기 위한 3차원 기본 속성정보가 삽입될 수 있다. 다시점 정지 영상 파일 포맷의 영상 영역들은, EXIF 정보가 삽입되는 제 1 부가 정보 영역 이외에 추가적인 부가 정보 영역들을 더 포함할 수 있다.
일 실시예에 따라, 3차원 기본 속성정보가 제 1 영상 영역의 제 1 부가 정보 영역 이외의 추가적인 부가 정보 영역에 삽입될 수 있다. 다른 실시예에 따라, 3차원 기본 속성정보는, 제 1 영상 영역의 제 1 부가 정보 영역에 삽입될 수 있다. 다른 실시예에 따르면, 복수 개의 영상 영역들의 제 1 부가 정보 영역마다, 3차원 기본 속성정보가 삽입될 수 있다.
다시점 정지 영상 파일 포맷의 제 1 영상 영역에 영역 오프셋 정보가 삽입될 수 있다. 일 실시예에 따른 영역 오프셋 정보는, 제 1 영상 영역 중에서 3차원 기본 속성정보가 삽입되는 부가 정보 영역에 삽입될 수 있다.
영상 영역들마다 각각의 영상 정보에 대한 3차원 부가 속성정보가 삽입될 수 있다. 복수 개의 영상 영역들마다, 현재 영상 정보에 대한 3차원 부가 속성정보가, 3차원 기본 속성정보가 삽입되는 부가 정보 영역 이외의 추가적인 부가 정보 영역에 삽입될 수 있다.
단계 1740에서, 다시점 정지 영상 파일 포맷에 기초하여 다시점 정지 영상을 구성하기 위한 복수 개의 영상 정보 및 각종 속성 정보를 포함하는, 다시점 정지 영상 데이터가 출력된다.
도 18 는 본 발명의 일 실시예에 따른 다시점 정지 영상 서비스 수신 방법의 흐름도를 도시한다.
단계 1810에서, 복수 개의 영상 영역들을 구비한 다시점 정지 영상 파일 포맷에 기초한 다시점 정지 영상 데이터가 수신되어 파싱된다.
단계 1820에서 다시점 정지 영상 데이터의 복수 개의 영상 영역들 중 제 1 영상 영역으로부터, 3차원 기본 속성정보가 추출된다.
다시점 정지 영상 데이터의 제 1 영상 영역으로부터 영역 오프셋 정보가 추출될 수 있다. 영역 오프셋 정보에 기초하여 제 1 영상 영역을 제외한 나머지 영상 영역이 검색되어, 각종 속성정보 및 주시점 영상 정보를 제외한 나머지 영상 정보가 각각 추출될 수 있다. 영역 오프셋 정보는, 제 1 영상 영역 중에서 3차원 기본 속성정보가 삽입되는 부가 정보 영역으로부터 추출될 수 있다.
일 실시예에 따라, 제 1 영상 영역 중에서, EXIF 정보가 삽입된 제 1 부가 정보 영역 이외의 추가적인 부가 정보 영역으로부터 3차원 기본 속성정보가 추출될 수 있다.
다른 실시예에 따른 제 1 영상 영역 중에서, EXIF 정보가 삽입된 제 1 부가 정보 영역으로부터 3차원 기본 속성정보가 추출될 수 있다. 이 경우 복수 개의 영상 영역들마다, 제 1 부가 정보 영역으로부터 3차원 기본 속성정보가 추출될 수 있다.
각각의 영상 영역으로부터, 복수 개의 영상 정보 중 현재 영상 정보에 대한 3차원 부가 속성정보가 추출될 수 있다. 복수 개의 영상 영역들마다, 3차원 기본 속성정보가 삽입되는 부가 정보 영역 이외의 추가적인 부가 정보 영역으로부터, 현재 영상 정보에 대한 3차원 부가 속성정보가 추출될 수 있다.
단계 1830에서, 다시점 정지 영상 데이터의 복수 개의 영상 영역들로부터, 다시점 정지 영상을 구성하는 복수 개의 영상 정보가 추출될 수 있다.
제 1 영상 영역으로부터 주시점 영상 정보가 추출되고, 복수 개의 영상 영역들 중 제 1 영상 영역을 제외한 나머지 영상 영역으로부터, 복수 개의 영상 정보 중 주시점 영상 정보를 제외한 나머지 영상 정보가 각각 추출될 수 있다.
단계 1840에서, 3차원 기본 속성정보와 3차원 부가 속성정보, 및 복수 개의 영상 정보를 이용하여, 다시점 정지 영상을 구성하는 복수 개의 시점별 영상들이 복원될 수 있다. 3차원 기본 속성정보 및 3차원 부가 속성정보에 기초하여, 다시점 정지 영상을 구성하는 시점별 영상들이 복원되고 3차원 재생될 수 있다.
도 19 은 본 발명의 다른 실시예에 따른 미디어 파일 포맷에 기반한 다시점 정지 영상 서비스 제공 방법의 흐름도를 도시한다.
단계 1910에서, 다시점 정지 영상을 구성하기 위한 복수 개의 영상 정보가 각각 삽입된 적어도 하나의 정지 영상 파일 포맷의 영상 데이터가 입력된다. 정지 영상 파일 포맷은 JPEG 파일 포맷을 포함할 수 있다. 일 실시예에 따른 미디어 파일 포맷은, ISO(International Organization for Standardization) 미디어 파일 포맷일 수도 있다.
단계 1920에서, 미디어 파일 포맷의 미디어 데이터 영역에, 적어도 하나의 정지 영상 파일 포맷의 영상 데이터가 삽입된다. 미디어 파일 포맷의 미디어 데이터 영역에, 사이드-바이-사이드 포맷 및 탑 앤 바텀 포맷 중 하나의 3차원 영상 포맷인 하나의 3차원 영상을 포함하는 하나의 정지 영상 파일 포맷의 영상 데이터가 삽입될 수 있다. 또한, 미디어 파일 포맷의 미디어 데이터 영역에, 프레임 시퀀셜 포맷 및 필드 시퀀셜 포맷 중 하나의 3차원 영상 포맷인 3차원 영상을 포함하는 둘 이상의 정지 영상 파일 포맷의 영상이 삽입될 수도 있다.
단계 1930에서, 미디어 파일 포맷의 무비 영역에, 다시점 정지 영상을 3차원 재생하기 위한 정보가 수록된 3차원 메타데이터가 삽입된다. 일 실시예에 따른 다시점 정지 영상 데이터에 대한 3차원 메타데이터는, 미디어 데이터 영역에 삽입된 정지 영상 파일 포맷의 영상 데이터의 3차원 영상 포맷에 관한 정보, 및 다시점 정지 영상의 시점 배열에 대한 정보를 포함할 수 있다. 미디어 파일 포맷의 무비 영역에, 미디어 데이터 영역에 삽입된 정지 영상 파일 포맷의 영상 데이터의 시작 위치를 나타내기 위한 영상 데이터 오프셋 정보가 삽입될 수 있다.
3차원 메타데이터로서, 앞서 개시된 3차원 기본 속성정보 및 3차원 부가 속성정보가 미디어 파일 포맷의 트랙 영역의 하위 영역인 미디어 정보 영역에 삽입될 수도 있다.
단계 1940에서, 미디어 파일 포맷에 기초하여 복수 개의 영상 정보를 포함하는 다시점 정지 영상 데이터가 출력된다.
도 20 는 본 발명의 다른 실시예에 따른 미디어 파일 포맷에 기반한 다시점 정지 영상 서비스 수신 방법의 흐름도를 도시한다.
단계 2010에서, 미디어 파일 포맷에 기초한 다시점 정지 영상 데이터가 수신되어 파싱된다. 미디어 파일 포맷의 다시점 정지 영상 데이터가 파싱되어, 미디어 파일 포맷의 미디어 데이터 영역 및 무비 영역이 검색될 수 있다.
단계 2020에서, 다시점 정지 영상 데이터의 무비 영역으로부터 다시점 정지 영상에 대한 3차원 메타데이터가 추출될 수 있다. 일 실시예에 따른 3차원 메타데이터는, 다시점 정지 영상을 구성하기 위한 복수 개의 시점별 영상들을 복원하여 3차원 재생하기 위한 정보를 포함할 수 있다.
단계 2030에서, 다시점 정지 영상 데이터의 미디어 데이터 영역으로부터, 적어도 하나의 정지 영상 파일 포맷의 영상 데이터가 추출될 수 있다. 각각의 정지 영상 파일 포맷의 영상 데이터에는, 다시점 정지 영상을 구성하는 복수 개의 시점별 영상들에 대한 영상 정보가 수록될 수 있다.
단계 2040에서, 추출된 3차원 메타데이터와 복수 개의 영상 정보를 이용하여, 다시점 정지 영상을 구성하는 복수 개의 시점별 영상들이 복원될 수 있다. 추출된 3차원 메타데이터와 복수 개의 영상 정보를 이용하여, 복원된 복수 개의 시점별 영상들이 정확하게 3차원 재생될 수도 있다.
본 발명에서 개시된 블록도들은 본 발명의 원리들을 구현하기 위한 회로를 개념적으로 표현한 형태라고 당업자에게 해석될 수 있을 것이다. 유사하게, 임의의 흐름 차트, 흐름도, 상태 전이도, 의사코드 등은 컴퓨터 판독가능 매체에서 실질적으로 표현되어, 컴퓨터 또는 프로세서가 명시적으로 도시되든지 아니든지 간에 이러한 컴퓨터 또는 프로세서에 의해 실행될 수 있는 다양한 프로세스를 나타낸다는 것이 당업자에게 인식될 것이다. 따라서, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
도면들에 도시된 다양한 요소들의 기능들은 적절한 소프트웨어와 관련되어 소프트웨어를 실행할 수 있는 하드웨어뿐만 아니라 전용 하드웨어의 이용을 통해 제공될 수 있다. 프로세서에 의해 제공될 때, 이런 기능은 단일 전용 프로세서, 단일 공유 프로세서, 또는 일부가 공유될 수 있는 복수의 개별 프로세서에 의해 제공될 수 있다. 또한, 용어 "프로세서" 또는 "제어부"의 명시적 이용은 소프트웨어를 실행할 수 있는 하드웨어를 배타적으로 지칭하는 것으로 해석되지 말아야 하며, 제한 없이, 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 및 비휘발성 저장장치를 묵시적으로 포함할 수 있다.
본 명세서의 청구항들에서, 특정 기능을 수행하기 위한 수단으로서 표현된 요소는 특정 기능을 수행하는 임의의 방식을 포괄하고, 이러한 요소는 특정 기능을 수행하는 회로 요소들의 조합, 또는 특정 기능을 수행하기 위한 소프트웨어를 수행하기 위해 적합한 회로와 결합된, 펌웨어, 마이크로코드 등을 포함하는 임의의 형태의 소프트웨어를 포함할 수 있다.
본 명세서에서 본 발명의 원리들의 '일 실시예'와 이런 표현의 다양한 변형들의 지칭은 이 실시예와 관련되어 특정 특징, 구조, 특성 등이 본 발명의 원리의 적어도 하나의 실시예에 포함된다는 것을 의미한다. 따라서, 표현 '일 실시예에서'와, 본 명세서 전체를 통해 개시된 임의의 다른 변형례들은 반드시 모두 동일한 실시예를 지칭하는 것은 아니다.
본 명세서에서, 'A와 B 중 적어도 하나'의 경우에서 '~중 적어도 하나'의 표현은, 첫 번째 옵션 (A)의 선택만, 또는 두 번째 열거된 옵션 (B)의 선택만, 또는 양쪽 옵션들 (A와 B)의 선택을 포괄하기 위해 사용된다. 추가적인 예로 'A, B, 및 C 중 적어도 하나'의 경우는, 첫 번째 열거된 옵션 (A)의 선택만, 또는 두 번째 열거된 옵션 (B)의 선택만, 또는 세 번째 열거된 옵션 (C)의 선택만, 또는 첫 번째와 두 번째 열거된 옵션들 (A와 B)의 선택만, 또는 두 번째와 세 번째 열거된 옵션 (B와 C)의 선택만, 또는 모든 3개의 옵션들의 선택(A와 B와 C)이 포괄할 수 있다. 더 많은 항목들이 열거되는 경우에도 당업자에게 명백하게 확장 해석될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다.
본 명세서를 통해 개시된 모든 실시예들과 조건부 예시들은, 본 발명의 기술 분야에서 통상의 지식을 가진 당업자가 독자가 본 발명의 원리와 개념을 이해하도록 돕기 위한 의도로 기술된 것으로, 당업자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (15)

  1. 다시점 정지 영상 서비스를 제공하는 방법에 있어서,
    상기 다시점 정지 영상을 구성하기 위한 복수 개의 영상 정보가 삽입될 복수 개의 영상 영역들을 구비한 다시점 정지 영상 파일 포맷을 구성하는 단계;
    상기 복수 개의 영상 영역들에 상기 복수 개의 영상 정보를 각각 삽입하는 단계;
    상기 복수 개의 영상 영역들 중에서, 상기 복수 개의 영상 정보 중 주시점 영상 정보가 삽입되는 제 1 영상 영역에 상기 다시점 정지 영상을 3차원 재생하기 위한 3차원 기본 속성정보를 삽입하는 단계; 및
    상기 다시점 정지 영상 파일 포맷에 기초하여 상기 복수 개의 영상 정보를 포함하는 다시점 정지 영상 데이터를 출력하는 단계를 포함하는 것을 특징으로 하는 다시점 정지 영상 서비스 제공 방법.
  2. 다시점 정지 영상 서비스를 수신하는 방법에 있어서,
    복수 개의 영상 영역들을 구비한 다시점 정지 영상 파일 포맷에 기초한 다시점 정지 영상 데이터를 수신하여 파싱하는 단계;
    상기 복수 개의 영상 영역들 중에서, 상기 다시점 정지 영상을 구성하기 위한 복수 개의 영상 정보 중 주시점 영상 정보가 삽입되는 제 1 영상 영역으로부터, 상기 다시점 정지 영상을 3차원 재생하기 위한 3차원 기본 속성정보를 추출하는 단계; 및
    상기 제 1 영상 영역으로부터 상기 주시점 영상 정보를 추출하고, 상기 복수 개의 영상 영역들 중 나머지 영상 영역으로부터 상기 복수 개의 영상 정보 중 나머지 영상 정보를 각각 추출하는 단계를 포함하는 것을 특징으로 하는 다시점 정지 영상 서비스 수신 방법.
  3. 제 2 항에 있어서, 상기 다시점 정지 영상 서비스 수신 방법은,
    상기 추출된 3차원 기본 속성정보와 상기 추출된 복수 개의 영상 정보를 이용하여, 상기 다시점 정지 영상을 구성하는 복수 개의 시점별 영상들을 복원하여 3차원 재생하는 단계를 더 포함하는 것을 특징으로 하는 다시점 정지 영상 서비스 수신 방법.
  4. 제 2 항에 있어서, 상기 다시점 정지 영상 서비스 수신 방법은,
    상기 제 1 영상 영역 중, 상기 3차원 기본 속성정보가 삽입되는 부가 정보 영역으로부터, 상기 복수 개의 영상 영역들 중 각각의 시작 위치를 나타내기 위한 영역 오프셋 정보를 추출하는 단계; 및
    상기 영역 오프셋 정보에 기초하여 결정된 상기 나머지 영상 영역으로부터 상기 나머지 영상 정보를 각각 추출하는 단계를 포함하는 것을 특징으로 하는 다시점 정지 영상 서비스 수신 방법.
  5. 제 2 항에 있어서, 상기 3차원 기본 속성정보 추출 단계는,
    상기 제 1 영상 영역 중에서, 상기 EXIF 정보가 삽입된 상기 제 1 부가 정보 영역 이외의 추가적인 부가 정보 영역으로부터 상기 3차원 기본 속성정보를 추출하는 것을 특징으로 하는 다시점 정지 영상 서비스 수신 방법.
  6. 제 2 항에 있어서, 상기 3차원 기본 속성정보 추출 단계는,
    상기 복수 개의 영상 영역들의 제 1 부가 정보 영역으로부터 상기 3차원 기본 속성정보를 추출하는 단계를 더 포함하는 것을 특징으로 하는 다시점 정지 영상 서비스 수신 방법.
  7. 제 2 항에 있어서, 상기 다시점 정지 영상 서비스 수신 방법은, 상기 복수 개의 영상 영역들마다, 상기 복수 개의 영상 정보 중 현재 영상 정보에 대한 3차원 부가 속성정보를, 상기 3차원 기본 속성정보가 삽입되는 부가 정보 영역 이외의 추가적인 부가 정보 영역으로부터 추출하는 단계를 더 포함하는 것을 특징으로 하는 다시점 정지 영상 서비스 수신 방법.
  8. 제 2 항에 있어서,
    상기 3차원 기본 속성정보는, 상기 다시점 정지 영상을 구성하는 복수 개의 시점별 영상들 중 소정 시점 영상의 원본 영상의 종횡비의 수평값 및 수직값에 대한 정보를 포함하는 것을 특징으로 하는 다시점 정지 영상 서비스 수신 방법.
  9. 제 2 항에 있어서,
    상기 3차원 기본 속성정보는, 상기 복수 개의 영상 정보가 구성하는 하나 이상의 스테레오 쌍이 서로 다른 시점 간 뎁스 정보를 갖는 스테레오 쌍을 포함할 때, 재생 장치의 크기에 대응되는 시점 간 뎁스 정보를 갖는 스테레오 쌍을 나타내는 멀티패쓰 정보를 포함하는 것을 특징으로 하는 다시점 정지 영상 서비스 수신 방법.
  10. 제 7 항에 있어서,
    상기 3차원 부가 속성정보는, 현재 영상 정보의 현재 시점 영상이 기준 시점 영상에 대비하여 오클루젼이 발생하는 경계 영역의 넓이에 대한 정보 및 오클루젼이 발생하는 경계 영역의 방향에 대한 정보를 포함하는 것을 특징으로 하는 다시점 정지 영상 서비스 수신 방법.
  11. 제 7 항에 있어서,
    상기 3차원 부가 속성정보는, 상기 복수 개의 영상 정보 중 현재 영상 정보의 현대 시점 영상과 스트레오 쌍을 구성하는 영상 정보의 개수에 관한 정보, 상기 스트레오 쌍을 구성하는 적어도 하나의 상대 시점 영상의 시점 인덱스에 관한 정보, 상기 스테레오 쌍을 구성하는 상기 현재 시점 영상과 상대 시점 영상 간의 양안 시차를 조절하기 위해, 상기 현재 시점 영상 중 재생 영상의 너비 및 높이에 대한 정보, 상기 현재 시점 영상 중 재생 영상의 수평 좌표 및 수직 좌표에 대한 정보, 상기 상대 시점 영상 중 재생 영상의 수평 좌표 및 수직 좌표에 대한 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 다시점 정지 영상 서비스 제공 방법.
  12. 다시점 정지 영상 서비스 제공 장치에 있어서,
    상기 다시점 정지 영상을 구성하기 위한 복수 개의 영상 정보가 삽입될 복수 개의 영상 영역들을 구비한 다시점 정지 영상 파일 포맷을 구성하는 다시점 정지 영상 파일 포맷 구성부;
    상기 복수 개의 영상 영역들에 상기 복수 개의 영상 정보를 각각 삽입하는 영상 정보 삽입부;
    상기 복수 개의 영상 영역들 중에서, 상기 복수 개의 영상 정보 중 주시점 영상 정보가 삽입되는 제 1 영상 영역에 상기 다시점 정지 영상을 3차원 재생하기 위한 3차원 기본 속성정보를 삽입하는 속성정보 삽입부; 및
    상기 다시점 정지 영상 파일 포맷에 기초하여 상기 복수 개의 영상 정보를 포함하는 다시점 정지 영상 데이터를 출력하는 출력부를 포함하는 것을 특징으로 하는 다시점 정지 영상 서비스 제공 장치.
  13. 다시점 정지 영상 서비스 수신 장치에 있어서,
    복수 개의 영상 영역들을 구비한 다시점 정지 영상 파일 포맷에 기초한 다시점 정지 영상 데이터를 수신하여 파싱하는 수신파싱부;
    상기 복수 개의 영상 영역들 중에서, 상기 다시점 정지 영상을 구성하기 위한 복수 개의 영상 정보 중 주시점 영상 정보가 삽입되는 제 1 영상 영역으로부터, 상기 다시점 정지 영상을 3차원 재생하기 위한 3차원 기본 속성정보를 추출하는 속성정보 추출부;
    상기 제 1 영상 영역으로부터 상기 주시점 영상 정보를 추출하고, 상기 복수 개의 영상 영역들 중 나머지 영상 영역으로부터 상기 복수 개의 영상 정보 중 나머지 영상 정보를 각각 추출하는 영상 정보 추출부; 및
    상기 추출된 3차원 기본 속성정보와 상기 추출된 복수 개의 영상 정보를 이용하여, 상기 다시점 정지 영상을 구성하는 복수 개의 시점별 영상들을 복원하는 영상 복원부를 포함하는 것을 특징으로 하는 다시점 정지 영상 서비스 수신 장치.
  14. 제 1 항의 다시점 정지 영상 서비스 제공 방법을 컴퓨터로 구현하기 위한 프로그램이 기록된 컴퓨터로 판독가능한 기록매체.
  15. 제 2 항의 다시점 정지 영상 서비스 수신 방법을 컴퓨터로 구현하기 위한 프로그램이 기록된 컴퓨터로 판독가능한 기록매체.
PCT/KR2011/001271 2010-02-23 2011-02-23 다시점 정지 영상 서비스 제공 방법 및 그 장치, 다시점 정지 영상 서비스 수신 방법 및 그 장치 WO2011105814A2 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/580,895 US9456196B2 (en) 2010-02-23 2011-02-23 Method and apparatus for providing a multi-view still image service, and method and apparatus for receiving a multi-view still image service

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US28251010P 2010-02-23 2010-02-23
US61/282,510 2010-02-23

Publications (2)

Publication Number Publication Date
WO2011105814A2 true WO2011105814A2 (ko) 2011-09-01
WO2011105814A3 WO2011105814A3 (ko) 2012-01-12

Family

ID=44507431

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/001271 WO2011105814A2 (ko) 2010-02-23 2011-02-23 다시점 정지 영상 서비스 제공 방법 및 그 장치, 다시점 정지 영상 서비스 수신 방법 및 그 장치

Country Status (3)

Country Link
US (1) US9456196B2 (ko)
KR (1) KR20110097690A (ko)
WO (1) WO2011105814A2 (ko)

Cited By (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103139587A (zh) * 2011-11-28 2013-06-05 索尼公司 图像处理装置和方法、记录介质和程序
EP2761875A1 (en) * 2011-09-29 2014-08-06 Qualcomm Incorporated Methods and apparatus for conditional display of a stereoscopic image pair
US9774789B2 (en) 2013-03-08 2017-09-26 Fotonation Cayman Limited Systems and methods for high dynamic range imaging using array cameras
US9774831B2 (en) 2013-02-24 2017-09-26 Fotonation Cayman Limited Thin form factor computational array cameras and modular array cameras
US9787911B2 (en) 2013-03-14 2017-10-10 Fotonation Cayman Limited Systems and methods for photometric normalization in array cameras
US9794476B2 (en) 2011-09-19 2017-10-17 Fotonation Cayman Limited Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures
US9800859B2 (en) 2013-03-15 2017-10-24 Fotonation Cayman Limited Systems and methods for estimating depth using stereo array cameras
US9800856B2 (en) 2013-03-13 2017-10-24 Fotonation Cayman Limited Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9807382B2 (en) 2012-06-28 2017-10-31 Fotonation Cayman Limited Systems and methods for detecting defective camera arrays and optic arrays
US9813617B2 (en) 2013-11-26 2017-11-07 Fotonation Cayman Limited Array camera configurations incorporating constituent array cameras and constituent cameras
US9813616B2 (en) 2012-08-23 2017-11-07 Fotonation Cayman Limited Feature based high resolution motion estimation from low resolution images captured using an array source
US9811753B2 (en) 2011-09-28 2017-11-07 Fotonation Cayman Limited Systems and methods for encoding light field image files
US9858673B2 (en) 2012-08-21 2018-01-02 Fotonation Cayman Limited Systems and methods for estimating depth and visibility from a reference viewpoint for pixels in a set of images captured from different viewpoints
US9866739B2 (en) 2011-05-11 2018-01-09 Fotonation Cayman Limited Systems and methods for transmitting and receiving array camera image data
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
US9924092B2 (en) 2013-11-07 2018-03-20 Fotonation Cayman Limited Array cameras incorporating independently aligned lens stacks
US9936148B2 (en) 2010-05-12 2018-04-03 Fotonation Cayman Limited Imager array interfaces
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
US9955070B2 (en) 2013-03-15 2018-04-24 Fotonation Cayman Limited Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9986224B2 (en) 2013-03-10 2018-05-29 Fotonation Cayman Limited System and methods for calibration of an array camera
US10009538B2 (en) 2013-02-21 2018-06-26 Fotonation Cayman Limited Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US10027901B2 (en) 2008-05-20 2018-07-17 Fotonation Cayman Limited Systems and methods for generating depth maps using a camera arrays incorporating monochrome and color cameras
US10091405B2 (en) 2013-03-14 2018-10-02 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
US10127682B2 (en) 2013-03-13 2018-11-13 Fotonation Limited System and methods for calibration of an array camera
US10142560B2 (en) 2008-05-20 2018-11-27 Fotonation Limited Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US10182216B2 (en) 2013-03-15 2019-01-15 Fotonation Limited Extended color processing on pelican array cameras
US10250871B2 (en) 2014-09-29 2019-04-02 Fotonation Limited Systems and methods for dynamic calibration of array cameras
US10261219B2 (en) 2012-06-30 2019-04-16 Fotonation Limited Systems and methods for manufacturing camera modules using active alignment of lens stack arrays and sensors
US10306120B2 (en) 2009-11-20 2019-05-28 Fotonation Limited Capturing and processing of images captured by camera arrays incorporating cameras with telephoto and conventional lenses to generate depth maps
US10311649B2 (en) 2012-02-21 2019-06-04 Fotonation Limited Systems and method for performing depth based image editing
US10366472B2 (en) 2010-12-14 2019-07-30 Fotonation Limited Systems and methods for synthesizing high resolution images using images captured by an array of independently controllable imagers
US10390005B2 (en) 2012-09-28 2019-08-20 Fotonation Limited Generating images from light fields utilizing virtual viewpoints
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
US10805589B2 (en) 2015-04-19 2020-10-13 Fotonation Limited Multi-baseline camera array system architectures for depth augmentation in VR/AR applications
US11270110B2 (en) 2019-09-17 2022-03-08 Boston Polarimetrics, Inc. Systems and methods for surface modeling using polarization cues
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11302012B2 (en) 2019-11-30 2022-04-12 Boston Polarimetrics, Inc. Systems and methods for transparent object segmentation using polarization cues
US11525906B2 (en) 2019-10-07 2022-12-13 Intrinsic Innovation Llc Systems and methods for augmentation of sensor systems and imaging systems with polarization
US11580667B2 (en) 2020-01-29 2023-02-14 Intrinsic Innovation Llc Systems and methods for characterizing object pose detection and measurement systems
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US11797863B2 (en) 2020-01-30 2023-10-24 Intrinsic Innovation Llc Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11983893B2 (en) 2023-01-12 2024-05-14 Adeia Imaging Llc Systems and methods for hybrid depth regularization

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2461238B1 (en) 2010-12-02 2017-06-28 LG Electronics Inc. Image display apparatus including an input device
US20120236114A1 (en) * 2011-03-18 2012-09-20 Te-Hao Chang Depth information generator for generating depth information output by only processing part of received images having different views, and related depth information generating method and depth adjusting apparatus thereof
US9363504B2 (en) * 2011-06-23 2016-06-07 Lg Electronics Inc. Apparatus and method for displaying 3-dimensional image
US8989481B2 (en) * 2012-02-13 2015-03-24 Himax Technologies Limited Stereo matching device and method for determining concave block and convex block
CA2869322C (en) * 2012-04-20 2021-04-13 Affirmation, Llc Systems and methods for real-time conversion of video into three-dimensions
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
WO2014078443A1 (en) 2012-11-13 2014-05-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
US9998800B2 (en) * 2013-03-12 2018-06-12 Electronics And Telecommunications Research Institute 3D broadcast service providing method and apparatus, and 3D broadcast service reproduction method and apparatus for using image of asymmetric aspect ratio
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
JP2015012442A (ja) * 2013-06-28 2015-01-19 ソニー株式会社 撮像装置、撮像方法、画像生成装置、画像生成方法、及び、プログラム
US9807372B2 (en) * 2014-02-12 2017-10-31 Htc Corporation Focused image generation single depth information from multiple images from multiple sensors
JP6611588B2 (ja) * 2015-12-17 2019-11-27 キヤノン株式会社 データ記録装置、撮像装置、データ記録方法およびプログラム
CN108463787B (zh) * 2016-01-05 2021-11-30 瑞尔D斯帕克有限责任公司 多视角图像的注视校正
US10163251B2 (en) 2016-03-25 2018-12-25 Outward, Inc. Arbitrary view generation
US10163249B2 (en) 2016-03-25 2018-12-25 Outward, Inc. Arbitrary view generation
US11972522B2 (en) 2016-03-25 2024-04-30 Outward, Inc. Arbitrary view generation
US9996914B2 (en) 2016-03-25 2018-06-12 Outward, Inc. Arbitrary view generation
US10726792B2 (en) * 2017-04-17 2020-07-28 Intel Corporation Glare and occluded view compensation for automotive and other applications
CN110999312B (zh) * 2017-06-15 2022-01-21 Lg电子株式会社 发送360度视频的方法、接收360度视频的方法、发送360度视频的装置和接收360度视频的装置
WO2019032604A1 (en) 2017-08-08 2019-02-14 Reald Spark, Llc ADJUSTING A DIGITAL REPRESENTATION OF A HEADQUARTERS
US10701342B2 (en) * 2018-02-17 2020-06-30 Varjo Technologies Oy Imaging system and method for producing images using cameras and processor
US11017575B2 (en) 2018-02-26 2021-05-25 Reald Spark, Llc Method and system for generating data to provide an animated visual representation
WO2019231178A1 (ko) * 2018-06-01 2019-12-05 엘지전자 주식회사 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치
US11509878B2 (en) * 2018-09-14 2022-11-22 Mediatek Singapore Pte. Ltd. Methods and apparatus for using track derivations for network based media processing
JP2020098412A (ja) * 2018-12-17 2020-06-25 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US11257283B2 (en) 2019-03-07 2022-02-22 Alibaba Group Holding Limited Image reconstruction method, system, device and computer-readable storage medium
CN111669564B (zh) * 2019-03-07 2022-07-26 阿里巴巴集团控股有限公司 图像重建方法、系统、设备及计算机可读存储介质
CN111669603B (zh) * 2019-03-07 2023-03-21 阿里巴巴集团控股有限公司 多角度自由视角数据处理方法及装置、介质、终端、设备
US11589032B2 (en) * 2020-01-07 2023-02-21 Mediatek Singapore Pte. Ltd. Methods and apparatus for using track derivations to generate new tracks for network based media processing applications
KR102551857B1 (ko) * 2020-11-30 2023-07-13 (주)오버다임케이 3 차원 이미지 생성 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000047558A (ja) * 1998-07-29 2000-02-18 Sony Corp 画像データ作成装置及び作成方法、画像データ変換装置及び変換方法、ホログラフィックステレオグラム作成装置及び作成方法、記録媒体並びにデータ伝送方法
KR20050100895A (ko) * 2004-04-16 2005-10-20 한국전자통신연구원 영상시점 변환 기능을 이용한 입체영상 변환 표시장치 및그 방법과 그를 이용한 다시점 입체영상 디스플레이 시스템
KR20070036542A (ko) * 2005-09-29 2007-04-03 한국전자통신연구원 Ｍρｅｇ-4 기반의 다시점 동영상 처리 장치 및 방법

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6151404A (en) * 1995-06-01 2000-11-21 Medical Media Systems Anatomical visualization system
US6710903B2 (en) 1998-07-29 2004-03-23 Sony Corporation Method and apparatus for formulating image data, method and apparatus for converting image data, method and apparatus for formulating holographic stereogram, recording medium and data transmitting method
JP3639476B2 (ja) * 1999-10-06 2005-04-20 シャープ株式会社 画像処理装置および画像処理方法ならびに画像処理プログラムを記録した記録媒体
US7720308B2 (en) * 2002-09-27 2010-05-18 Sharp Kabushiki Kaisha 3-D image display unit, 3-D image recording device and 3-D image recording method
US7643671B2 (en) * 2003-03-24 2010-01-05 Animetrics Inc. Facial recognition system and method
DE102004011154B3 (de) * 2004-03-08 2005-11-24 Siemens Ag Verfahren zur Registrierung einer Folge von 2D-Bilddaten eines Hohlraumorgans mit 3D-Bilddaten des Hohlraumorgans
US7899516B2 (en) * 2004-06-23 2011-03-01 M2S, Inc. Method and apparatus for determining the risk of rupture of a blood vessel using the contiguous element defined area
US7738733B2 (en) * 2005-09-29 2010-06-15 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Systems and methods for 3-D imaging
KR20080066408A (ko) * 2007-01-12 2008-07-16 삼성전자주식회사 3차원 영상 처리 장치 및 방법
EP2026246A1 (en) * 2007-08-03 2009-02-18 Harman/Becker Automotive Systems GmbH Method and apparatus for evaluating an image
US8218855B2 (en) * 2007-10-04 2012-07-10 Samsung Electronics Co., Ltd. Method and apparatus for receiving multiview camera parameters for stereoscopic image, and method and apparatus for transmitting multiview camera parameters for stereoscopic image
US8384764B2 (en) * 2007-12-20 2013-02-26 Samsung Electronics Co., Ltd. Method and apparatus for generating multiview image data stream and method and apparatus for decoding the same
US8878836B2 (en) * 2008-02-29 2014-11-04 Samsung Electronics Co., Ltd. Method and apparatus for encoding datastream including additional information on multiview image and method and apparatus for decoding datastream by using the same
KR100957129B1 (ko) * 2008-06-12 2010-05-11 성영석 영상 변환 방법 및 장치
US8250480B2 (en) * 2008-08-14 2012-08-21 Mastercard International, Inc. Interactive navigation of a dataflow process image
US8682107B2 (en) * 2010-12-22 2014-03-25 Electronics And Telecommunications Research Institute Apparatus and method for creating 3D content for oriental painting

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000047558A (ja) * 1998-07-29 2000-02-18 Sony Corp 画像データ作成装置及び作成方法、画像データ変換装置及び変換方法、ホログラフィックステレオグラム作成装置及び作成方法、記録媒体並びにデータ伝送方法
KR20050100895A (ko) * 2004-04-16 2005-10-20 한국전자통신연구원 영상시점 변환 기능을 이용한 입체영상 변환 표시장치 및그 방법과 그를 이용한 다시점 입체영상 디스플레이 시스템
KR20070036542A (ko) * 2005-09-29 2007-04-03 한국전자통신연구원 Ｍρｅｇ-4 기반의 다시점 동영상 처리 장치 및 방법

Cited By (94)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US10142560B2 (en) 2008-05-20 2018-11-27 Fotonation Limited Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US10027901B2 (en) 2008-05-20 2018-07-17 Fotonation Cayman Limited Systems and methods for generating depth maps using a camera arrays incorporating monochrome and color cameras
US11412158B2 (en) 2008-05-20 2022-08-09 Fotonation Limited Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US10306120B2 (en) 2009-11-20 2019-05-28 Fotonation Limited Capturing and processing of images captured by camera arrays incorporating cameras with telephoto and conventional lenses to generate depth maps
US10455168B2 (en) 2010-05-12 2019-10-22 Fotonation Limited Imager array interfaces
US9936148B2 (en) 2010-05-12 2018-04-03 Fotonation Cayman Limited Imager array interfaces
US11423513B2 (en) 2010-12-14 2022-08-23 Fotonation Limited Systems and methods for synthesizing high resolution images using images captured by an array of independently controllable imagers
US10366472B2 (en) 2010-12-14 2019-07-30 Fotonation Limited Systems and methods for synthesizing high resolution images using images captured by an array of independently controllable imagers
US11875475B2 (en) 2010-12-14 2024-01-16 Adeia Imaging Llc Systems and methods for synthesizing high resolution images using images captured by an array of independently controllable imagers
US9866739B2 (en) 2011-05-11 2018-01-09 Fotonation Cayman Limited Systems and methods for transmitting and receiving array camera image data
US10218889B2 (en) 2011-05-11 2019-02-26 Fotonation Limited Systems and methods for transmitting and receiving array camera image data
US10742861B2 (en) 2011-05-11 2020-08-11 Fotonation Limited Systems and methods for transmitting and receiving array camera image data
US10375302B2 (en) 2011-09-19 2019-08-06 Fotonation Limited Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures
US9794476B2 (en) 2011-09-19 2017-10-17 Fotonation Cayman Limited Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures
US9864921B2 (en) 2011-09-28 2018-01-09 Fotonation Cayman Limited Systems and methods for encoding image files containing depth maps stored as metadata
US11729365B2 (en) 2011-09-28 2023-08-15 Adela Imaging LLC Systems and methods for encoding image files containing depth maps stored as metadata
US10430682B2 (en) 2011-09-28 2019-10-01 Fotonation Limited Systems and methods for decoding image files containing depth maps stored as metadata
US20180197035A1 (en) 2011-09-28 2018-07-12 Fotonation Cayman Limited Systems and Methods for Encoding Image Files Containing Depth Maps Stored as Metadata
US10984276B2 (en) 2011-09-28 2021-04-20 Fotonation Limited Systems and methods for encoding image files containing depth maps stored as metadata
US10275676B2 (en) 2011-09-28 2019-04-30 Fotonation Limited Systems and methods for encoding image files containing depth maps stored as metadata
US9811753B2 (en) 2011-09-28 2017-11-07 Fotonation Cayman Limited Systems and methods for encoding light field image files
US10019816B2 (en) 2011-09-28 2018-07-10 Fotonation Cayman Limited Systems and methods for decoding image files containing depth maps stored as metadata
EP2761875A1 (en) * 2011-09-29 2014-08-06 Qualcomm Incorporated Methods and apparatus for conditional display of a stereoscopic image pair
CN103139587A (zh) * 2011-11-28 2013-06-05 索尼公司 图像处理装置和方法、记录介质和程序
US10424049B2 (en) 2011-11-28 2019-09-24 Sony Corporation Image processing device, method, and recording medium
US9392257B2 (en) 2011-11-28 2016-07-12 Sony Corporation Image processing device and method, recording medium, and program
US10311649B2 (en) 2012-02-21 2019-06-04 Fotonation Limited Systems and method for performing depth based image editing
US10334241B2 (en) 2012-06-28 2019-06-25 Fotonation Limited Systems and methods for detecting defective camera arrays and optic arrays
US9807382B2 (en) 2012-06-28 2017-10-31 Fotonation Cayman Limited Systems and methods for detecting defective camera arrays and optic arrays
US10261219B2 (en) 2012-06-30 2019-04-16 Fotonation Limited Systems and methods for manufacturing camera modules using active alignment of lens stack arrays and sensors
US11022725B2 (en) 2012-06-30 2021-06-01 Fotonation Limited Systems and methods for manufacturing camera modules using active alignment of lens stack arrays and sensors
US10380752B2 (en) 2012-08-21 2019-08-13 Fotonation Limited Systems and methods for estimating depth and visibility from a reference viewpoint for pixels in a set of images captured from different viewpoints
US9858673B2 (en) 2012-08-21 2018-01-02 Fotonation Cayman Limited Systems and methods for estimating depth and visibility from a reference viewpoint for pixels in a set of images captured from different viewpoints
US10462362B2 (en) 2012-08-23 2019-10-29 Fotonation Limited Feature based high resolution motion estimation from low resolution images captured using an array source
US9813616B2 (en) 2012-08-23 2017-11-07 Fotonation Cayman Limited Feature based high resolution motion estimation from low resolution images captured using an array source
US10390005B2 (en) 2012-09-28 2019-08-20 Fotonation Limited Generating images from light fields utilizing virtual viewpoints
US10009538B2 (en) 2013-02-21 2018-06-26 Fotonation Cayman Limited Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US9774831B2 (en) 2013-02-24 2017-09-26 Fotonation Cayman Limited Thin form factor computational array cameras and modular array cameras
US9774789B2 (en) 2013-03-08 2017-09-26 Fotonation Cayman Limited Systems and methods for high dynamic range imaging using array cameras
US9917998B2 (en) 2013-03-08 2018-03-13 Fotonation Cayman Limited Systems and methods for measuring scene information while capturing images using array cameras
US9986224B2 (en) 2013-03-10 2018-05-29 Fotonation Cayman Limited System and methods for calibration of an array camera
US10958892B2 (en) 2013-03-10 2021-03-23 Fotonation Limited System and methods for calibration of an array camera
US10225543B2 (en) 2013-03-10 2019-03-05 Fotonation Limited System and methods for calibration of an array camera
US11272161B2 (en) 2013-03-10 2022-03-08 Fotonation Limited System and methods for calibration of an array camera
US11570423B2 (en) 2013-03-10 2023-01-31 Adeia Imaging Llc System and methods for calibration of an array camera
US10127682B2 (en) 2013-03-13 2018-11-13 Fotonation Limited System and methods for calibration of an array camera
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
US9800856B2 (en) 2013-03-13 2017-10-24 Fotonation Cayman Limited Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US10091405B2 (en) 2013-03-14 2018-10-02 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US10412314B2 (en) 2013-03-14 2019-09-10 Fotonation Limited Systems and methods for photometric normalization in array cameras
US10547772B2 (en) 2013-03-14 2020-01-28 Fotonation Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9787911B2 (en) 2013-03-14 2017-10-10 Fotonation Cayman Limited Systems and methods for photometric normalization in array cameras
US9800859B2 (en) 2013-03-15 2017-10-24 Fotonation Cayman Limited Systems and methods for estimating depth using stereo array cameras
US10455218B2 (en) 2013-03-15 2019-10-22 Fotonation Limited Systems and methods for estimating depth using stereo array cameras
US9955070B2 (en) 2013-03-15 2018-04-24 Fotonation Cayman Limited Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US10542208B2 (en) 2013-03-15 2020-01-21 Fotonation Limited Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US10638099B2 (en) 2013-03-15 2020-04-28 Fotonation Limited Extended color processing on pelican array cameras
US10674138B2 (en) 2013-03-15 2020-06-02 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US10182216B2 (en) 2013-03-15 2019-01-15 Fotonation Limited Extended color processing on pelican array cameras
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
US10540806B2 (en) 2013-09-27 2020-01-21 Fotonation Limited Systems and methods for depth-assisted perspective distortion correction
US9924092B2 (en) 2013-11-07 2018-03-20 Fotonation Cayman Limited Array cameras incorporating independently aligned lens stacks
US10767981B2 (en) 2013-11-18 2020-09-08 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
US11486698B2 (en) 2013-11-18 2022-11-01 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
US10708492B2 (en) 2013-11-26 2020-07-07 Fotonation Limited Array camera configurations incorporating constituent array cameras and constituent cameras
US9813617B2 (en) 2013-11-26 2017-11-07 Fotonation Cayman Limited Array camera configurations incorporating constituent array cameras and constituent cameras
US10574905B2 (en) 2014-03-07 2020-02-25 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
US11546576B2 (en) 2014-09-29 2023-01-03 Adeia Imaging Llc Systems and methods for dynamic calibration of array cameras
US10250871B2 (en) 2014-09-29 2019-04-02 Fotonation Limited Systems and methods for dynamic calibration of array cameras
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
US10805589B2 (en) 2015-04-19 2020-10-13 Fotonation Limited Multi-baseline camera array system architectures for depth augmentation in VR/AR applications
US11368662B2 (en) 2015-04-19 2022-06-21 Fotonation Limited Multi-baseline camera array system architectures for depth augmentation in VR/AR applications
US11562498B2 (en) 2017-08-21 2023-01-24 Adela Imaging LLC Systems and methods for hybrid depth regularization
US10818026B2 (en) 2017-08-21 2020-10-27 Fotonation Limited Systems and methods for hybrid depth regularization
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
US11270110B2 (en) 2019-09-17 2022-03-08 Boston Polarimetrics, Inc. Systems and methods for surface modeling using polarization cues
US11699273B2 (en) 2019-09-17 2023-07-11 Intrinsic Innovation Llc Systems and methods for surface modeling using polarization cues
US11525906B2 (en) 2019-10-07 2022-12-13 Intrinsic Innovation Llc Systems and methods for augmentation of sensor systems and imaging systems with polarization
US11842495B2 (en) 2019-11-30 2023-12-12 Intrinsic Innovation Llc Systems and methods for transparent object segmentation using polarization cues
US11302012B2 (en) 2019-11-30 2022-04-12 Boston Polarimetrics, Inc. Systems and methods for transparent object segmentation using polarization cues
US11580667B2 (en) 2020-01-29 2023-02-14 Intrinsic Innovation Llc Systems and methods for characterizing object pose detection and measurement systems
US11797863B2 (en) 2020-01-30 2023-10-24 Intrinsic Innovation Llc Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
US11683594B2 (en) 2021-04-15 2023-06-20 Intrinsic Innovation Llc Systems and methods for camera exposure control
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
US11982775B2 (en) 2022-12-12 2024-05-14 Intrinsic Innovation Llc Systems and methods for augmentation of sensor systems and imaging systems with polarization
US11983893B2 (en) 2023-01-12 2024-05-14 Adeia Imaging Llc Systems and methods for hybrid depth regularization
US11985293B2 (en) 2023-01-30 2024-05-14 Adeia Imaging Llc System and methods for calibration of an array camera

Also Published As

Publication number Publication date
US20120314937A1 (en) 2012-12-13
WO2011105814A3 (ko) 2012-01-12
KR20110097690A (ko) 2011-08-31
US9456196B2 (en) 2016-09-27

Similar Documents

Publication Publication Date Title
WO2011105814A2 (ko) 다시점 정지 영상 서비스 제공 방법 및 그 장치, 다시점 정지 영상 서비스 수신 방법 및 그 장치
WO2009145426A1 (en) Method and apparatus for generating stereoscopic image data stream by using camera parameter, and method and apparatus for restoring stereoscopic image by using camera parameter
WO2010076933A1 (ko) 이차원 영상과 3d 영상의 통합 서비스가 가능한 디지털 방송 수신방법, 및 이를 이용한 디지털 방송 수신장치
WO2010151049A2 (en) Method and apparatus for automatic transformation of three-dimensional video
WO2018048078A1 (ko) 공간적 구조 정보를 이용한 동기화된 다시점 영상의 부호화/복호화 방법 및 그 장치
WO2019194573A1 (en) Method for transmitting 360-degree video, method for receiving 360-degree video, apparatus for transmitting 360-degree video, and apparatus for receiving 360-degree video
WO2011013995A2 (en) Method and apparatus for generating 3-dimensional image datastream including additional information for reproducing 3-dimensional image, and method and apparatus for receiving the 3-dimensional image datastream
WO2011152633A2 (en) Method and apparatus for processing and receiving digital broadcast signal for 3-dimensional subtitle
WO2010126227A2 (en) Broadcast receiver and 3d video data processing method thereof
WO2010071283A1 (ko) 입체영상 디스플레이가 가능한 디지털 방송 수신방법, 및 이를 이용한 디지털 방송 수신장치
WO2012074328A2 (ko) 다시점 3차원 방송 신호를 수신하기 위한 수신 장치 및 방법
WO2017090988A1 (ko) 다시점 비디오의 부호화/복호화 방법
WO2011093677A2 (en) Method and apparatus for transmitting digital broadcasting stream using linking information about multi-view video stream, and method and apparatus for receiving the same
WO2014025239A1 (ko) 3d 영상을 위한 영상 컴포넌트 송수신 처리 방법 및 장치
WO2011046338A2 (en) Broadcast receiver and 3d video data processing method thereof
WO2019132577A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2013032221A1 (ko) 디지털 방송 신호 처리 방법 및 장치
WO2015002442A1 (ko) 다시점 영상이 제공되는 시스템에서 부가 오브젝트를 포함하는 3차원 영상 처리 방법 및 장치
WO2012002690A2 (ko) 디지털 수신기 및 디지털 수신기에서의 캡션 데이터 처리 방법
WO2019147008A1 (ko) 카메라 렌즈 정보를 포함한 360도 비디오를 송수신하는 방법 및 그 장치
WO2020036390A1 (ko) 영상 신호를 처리하기 위한 방법 및 장치
WO2012121543A2 (ko) 디지털 방송 신호 송/수신 방법 및 장치
WO2012102522A2 (ko) 디지털 방송 신호 송/수신 방법 및 장치
WO2013100641A1 (ko) 입체영상 디스플레이가 가능한 디지털 방송 수신방법 및 수신장치
WO2022220633A1 (en) Method and apparatus for timed and event triggered updates in scene

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11747704

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13580895

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 11747704

Country of ref document: EP

Kind code of ref document: A2