KR20160102898A - 렌즈 관련 메타데이터를 생성하기 위한 방법 및 장치 - Google Patents

렌즈 관련 메타데이터를 생성하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20160102898A
KR20160102898A KR1020160019273A KR20160019273A KR20160102898A KR 20160102898 A KR20160102898 A KR 20160102898A KR 1020160019273 A KR1020160019273 A KR 1020160019273A KR 20160019273 A KR20160019273 A KR 20160019273A KR 20160102898 A KR20160102898 A KR 20160102898A
Authority
KR
South Korea
Prior art keywords
lens
display image
parameters
generating
optical field
Prior art date
Application number
KR1020160019273A
Other languages
English (en)
Inventor
토마스 브루네
올리버 테이스
띠에리 보렐
발떼르 드라직
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20160102898A publication Critical patent/KR20160102898A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2228—Video assist systems used in motion picture production, e.g. video cameras connected to viewfinders of motion picture cameras or related video signal processing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Studio Devices (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)

Abstract

광 필드 이미징 디바이스에 대한 렌즈 관련 메타데이터를 생성하기 위한 방법 및 장치(50)가 설명된다. 이미지 렌더러(8)는 렌즈 모델을 이용하여 광 필드 캡처로부터 표시 이미지를 생성한다(40). 이어서, 메타데이터 어셈블러(9)는 표시 이미지를 생성하는 데 사용된 렌즈 모델의 파라미터들을 광 필드 이미징 디바이스(1)에 대한 렌즈 관련 메타데이터로서 출력한다(41).

Description

렌즈 관련 메타데이터를 생성하기 위한 방법 및 장치{METHOD AND APPARATUS FOR GENERATING LENS-RELATED METADATA}
본 발명은 렌즈 관련 메타데이터를 생성하기 위한 방법 및 장치에 관한 것이다. 구체적으로, 본 발명은 광 필드 이미징 디바이스에 대한, 특히 모션 픽처들에 대한 렌즈 관련 메타데이터를 생성하기 위한 방법 및 장치에 관한 것이다.
필드의 초점 및 깊이는 이미지 획득의 시각적 품질 및 미학에 크게 영향을 주는 2개의 파라미터이다. 그들은 예를 들어 이동 물체를 추적하거나 시청자들의 주의를 다른 물체로 돌리기 위해 촬영 동안 하나의 평면으로부터 다른 평면으로 초점을 당기는 것이 필요할 수 있는 모션 픽처 필름들에서 특히 중요하다. 이러한 상황에서, 특히 필름 룩(film look)을 생성하기 위해 얕은 깊이의 필드를 이용하여 작업할 때, 렌즈의 초점을 수동으로 조정하는 것은 어렵다. 전문적인 필름 프로덕션들은 이러한 작업을 위해 카메라 조수들을 갖는다. 그러나, 이것은 필드의 초점 및/또는 깊이가 항상 올바르게 설정된다는 것을 의미하지는 않는다. 초점 이탈 에러들은 후반 작업에서 해결될 수 없으므로, 그들은 용인되어야 하거나, 촬영이 다시 수행되어야 한다.
그러나, 초점 길이, 초점 거리 및 초점 비율, 예로서 개구 또는 조리개 값과 같은 렌즈 메타데이터는 통상적으로 전문 카메라뿐만 아니라 소비자 카메라에 대해서도 이미지 데이터와 함께 저장된다. 그들의 값은 후반 작업에서 상당히 유용하다.
비디오 및 오디오 기록을 동기적으로 유지하기 위해, 필름 세트 상의 디바이스들 사이에 타임코드 신호들이 분배된다. LTC(LTC: Linear or Longitudinal Timecode)는 SMPTE(Society of Motion Picture and Television Engineers) 타임코드 표준의 인코딩이고, 5-핀 LEMO 커넥터들 또는 HD-SDI 신호들(HD-SDI: High Definition Serial Digital Interface)을 통해 분배될 수 있다.
광 필드 카메라들은 촬영 후의 필드의 초점 및 깊이의 조정을 가능하게 한다. 이것은 초점 이탈된 촬영들의 문제를 극복하기 위한 잠재적 장점으로서 간주될 수 있다. 그러나, 이것은 또한 예를 들어 필드의 초점 및 깊이를 설정하는 프로세스가 촬영으로부터 나중 시점으로 연기될 뿐이라는 것을 의미한다.
결정은 사용자에게 남겨질 수도 있다. 예를 들어, 사용자가 초점 거리를 상호작용 방식으로 설정하고, 동일 촬영의 다수의 뷰를 렌더링하기 위해 시야각을 약간 변경하는 것을 가능하게 하는 소위 "리빙 픽처(living picture)"가 도입되었다.
촬영 후에 필드의 초점 및 깊이를 조정할 가능성은 광 필드 캡처들의 모든 프레임에 대한 렌더링 의도를 어떻게 정의할지 그리고 이를 모션 픽처 생성 작업 흐름을 통해 어떻게 전달할지에 관한 문제를 유발한다.
본 원리들의 목적은 광 필드 이미징 디바이스에 대한 렌즈 관련 메타데이터를 생성하고, 그러한 메타데이터를 이용하기 위한 솔루션을 제안하는 것이다.
본 원리들의 일 양태에 따르면, 광 필드 이미징 디바이스에 대한 렌즈 관련 메타데이터를 생성하기 위한 방법은
- 렌즈 모델을 이용하여 광 필드 캡처로부터 표시 이미지를 생성하는 단계; 및
- 상기 표시 이미지를 생성하는 데 사용된 상기 렌즈 모델의 파라미터들을 상기 광 필드 이미징 디바이스에 대한 렌즈 관련 메타데이터로서 출력하는 단계를 포함한다.
따라서, 컴퓨터 판독 가능 저장 매체는 광 필드 이미징 디바이스에 대한 렌즈 관련 메타데이터를 생성하는 것을 가능하게 하는 명령어들을 내부에 저장하였으며, 상기 명령어들은, 컴퓨터에 의해 실행될 때, 상기 컴퓨터로 하여금,
- 렌즈 모델을 이용하여 광 필드 캡처로부터 표시 이미지를 생성하고;
- 상기 표시 이미지를 생성하는 데 사용된 상기 렌즈 모델의 파라미터들을 상기 광 필드 이미징 디바이스에 대한 렌즈 관련 메타데이터로서 출력하게 한다.
컴퓨터 판독 가능 저장 매체는 예를 들어 하드 디스크, 광 또는 자기 디스크 또는 테이프, 반도체 메모리 디바이스 등과 같은 비일시적 휘발성 또는 비휘발성 저장 매체이다. 따라서, 저장 매체는 본 명세서에서 설명되는 바와 같은 프로그램 단계들을 수행하기 위해 컴퓨터 또는 처리 디바이스에 의해 실행될 수 있는 명령어들의 프로그램을 유형적으로 구현한다.
또한, 일 실시예에서, 광 필드 이미징 디바이스에 대한 렌즈 관련 메타데이터를 생성하도록 구성되는 장치는
- 렌즈 모델을 이용하여 광 필드 캡처로부터 표시 이미지를 생성하도록 구성되는 이미지 렌더러; 및
- 상기 표시 이미지를 생성하는 데 사용된 상기 렌즈 모델의 파라미터들을 상기 광 필드 이미징 디바이스에 대한 렌즈 관련 메타데이터로서 출력하도록 구성되는 메타데이터 어셈블러를 포함한다.
다른 실시예에서, 광 필드 이미징 디바이스에 대한 렌즈 관련 메타데이터를 생성하도록 구성되는 장치는 처리 디바이스 및 명령어들을 내부에 저장한 메모리 디바이스를 포함하고, 상기 명령어들은, 상기 처리 디바이스에 의해 실행될 때, 상기 장치로 하여금,
- 렌즈 모델을 이용하여 광 필드 캡처로부터 표시 이미지를 생성하고;
- 상기 표시 이미지를 생성하는 데 사용된 상기 렌즈 모델의 파라미터들을 상기 광 필드 이미징 디바이스에 대한 렌즈 관련 메타데이터로서 출력하게 한다.
더구나, 저장 매체는 광 필드 캡처들 및 상기 광 필드 캡처들로부터 표시 이미지들을 생성하기 위한 렌즈 모델의 파라미터들을 포함한다.
본 원리들의 다른 양태에 따르면, 광 필드 캡처로부터 표시 이미지를 생성하기 위한 방법은
- 저장 매체로부터 광 필드 캡처를 검색하는 단계;
- 상기 광 필드 캡처로부터 표시 이미지를 생성하기 위한 렌즈 모델의 파라미터들을 검색하는 단계;
- 상기 렌즈 모델 및 상기 검색된 파라미터들을 이용하여 상기 광 필드 캡처로부터 표시 이미지를 생성하는 단계; 및
- 상기 표시 이미지를 디스플레이에 제공하는 단계를 포함한다.
따라서, 컴퓨터 판독 가능 비일시적 저장 매체는 광 필드 캡처로부터 표시 이미지를 생성하는 것을 가능하게 하는 명령어들을 내부에 저장하였고, 상기 명령어들은, 컴퓨터에 의해 실행될 때, 상기 컴퓨터로 하여금,
- 저장 매체로부터 광 필드 캡처를 검색하고;
- 상기 광 필드 캡처로부터 표시 이미지를 생성하기 위한 렌즈 모델의 파라미터들을 검색하고;
- 상기 렌즈 모델 및 상기 검색된 파라미터들을 이용하여 상기 광 필드 캡처로부터 표시 이미지를 생성하고;
- 상기 표시 이미지를 디스플레이에 제공하게 한다.
또한, 일 실시예에서, 광 필드 캡처로부터 표시 이미지를 생성하도록 구성되는 장치는
- 저장 매체로부터 광 필드 캡처를 검색하고, 렌즈 모델의 파라미터들을 검색하고, 상기 렌즈 모델 및 상기 검색된 파라미터들을 이용하여 상기 광 필드 캡처로부터 표시 이미지를 생성하도록 구성되는 이미지 렌더러; 및
- 상기 표시 이미지를 표시하도록 구성되는 디스플레이 또는 상기 표시 이미지를 디스플레이에 제공하도록 구성되는 출력을 포함한다.
다른 실시예에서, 광 필드 캡처로부터 표시 이미지를 생성하도록 구성되는 장치는 처리 디바이스 및 명령어들을 내부에 저장한 메모리 디바이스를 포함하고, 상기 명령어들은, 상기 처리 디바이스에 의해 실행될 때, 상기 장치로 하여금,
- 저장 매체로부터 광 필드 캡처를 검색하고;
- 상기 광 필드 캡처로부터 표시 이미지를 생성하기 위한 렌즈 모델의 파라미터들을 검색하고;
- 상기 렌즈 모델 및 상기 검색된 파라미터들을 이용하여 상기 광 필드 캡처로부터 표시 이미지를 생성하고;
- 상기 표시 이미지를 디스플레이에 제공하게 한다.
본 명세서에서 설명되는 일반적인 아이디어는 광 필드 획득 디바이스들로부터의 모션 픽처 스트림들에 대한 초점 길이, 초점 비율 및 초점 거리와 같은 파라미터와 함께 가상 렌즈의 파라미터들을 설명하는 프레임-정밀 메타데이터를 생성하는 것이다. 가상 렌즈의 적용으로부터 생성되는 이미지들은 파라미터들의 실시간 또는 비실시간 조정을 가능하게 하기 위해 사전 렌더링 또는 사전 시각화된다. 광 필드 캡처들은 예를 들어 렌즈 관련 메타데이터의 온-셋(on-set) 생성을 위해 광 필드 이미징 디바이스로부터 직접 수신되거나, 예를 들어 렌즈 관련 메타데이터의 오프-셋(off-set) 또는 니어-셋(near-set) 생성을 위해 저장 시스템으로부터 판독된다.
솔루션은 렌즈 메타데이터를 본질적으로 제공하지 않거나 메타데이터가 고정되는 광 필드 획득 디바이스들에 대해 전문 필름 생성 동안 저장된 동기 렌즈 메타데이터를 전달하는 장점을 갖는다. 이것은 후반 작업에서의 최종 렌더링 의도에 대한 프레임 정밀 실마리들을 제공한다.
일 실시예에서, 렌즈 모델의 파라미터들은 초점 거리, 초점 비율, 초점 길이, 렌즈 경사 및 렌즈 시프트 중 하나 이상과 관련된다. 전통적인 사진술에서의 이미징 프로세스의 대부분은 이러한 렌즈 특성들에 의해 정의된다. 따라서, 이러한 파라미터들은 필름 생성자의 렌더링 의도를 설명하기 위한 유용한 제한들을 나타낸다.
일 실시예에서, 렌즈 관련 메타데이터는 메타데이터 패킷들로서 출력된다. 각각의 프레임에 대응하는 렌즈 파라미터들을 갖는 메타데이터 스트림이 이러한 방식으로 생성된다. 렌더링된 출력은 반드시 저장될 필요는 없지만, 물론 이용 가능해질 수도 있다.
일 실시예에서, 렌즈 모델의 하나 이상의 파라미터를 조정하기 위한 사용자 입력이 사용자 인터페이스를 통해 수신된다. 렌즈 모델의 조정된 파라미터들에 기초하여, 갱신된 표시 이미지가 생성된다. 이러한 방식으로, 오퍼레이터는 모니터 상에서 이미지를 검사하고, 결과적인 표시 이미지에 만족할 때까지 파라미터들을 상호작용 방식으로 조정할 수 있다.
일 실시예에서, 광 필드 캡처에 대해 타임 코드가 검색된다. 예를 들어, 타임 코드는 광 필드 캡처로부터 판독되거나, 타임 코드 생성기로부터 수신된다. 이어서, 타임 코드는 렌즈 관련 메타데이터에 추가된다. 이러한 방식으로, 렌즈 관련 메타데이터와 광 필드 카메라 신호, 즉 광 필드 캡처들 간의 동기화가 보증된다.
제안되는 솔루션은 모션 픽처들의 스트림의 처리에 중점을 두지만, 단일 정지 픽처를 처리하는 데에도 이용될 수 있다. 그러한 경우에 동기화는 고려될 필요가 없다.
도 1은 광 필드 카메라에 대한 렌즈 관련 메타데이터를 생성하기 위한 온-셋 솔루션의 예시적인 셋업을 나타낸다.
도 2는 제안되는 디지털 렌즈의 더 상세한 예시를 나타낸다.
도 3은 이미지 렌더러의 주요 동작 단계들을 나타낸다.
도 4는 메타데이터 어셈블러의 주요 동작 단계들을 나타낸다.
도 5는 니어-셋 환경(near-set environment)에 대한 도 1의 온-셋 솔루션의 수정을 나타낸다.
도 6은 광 필드 이미징 디바이스에 대한 렌즈 관련 메타데이터를 생성하기 위한 방법의 일 실시예를 개략적으로 나타낸다.
도 7은 도 6의 방법을 수행하도록 구성되는 장치의 제1 실시예를 개략적으로 나타낸다.
도 8은 도 6의 방법을 수행하도록 구성되는 장치의 제2 실시예를 개략적으로 나타낸다.
이제, 더 나은 이해를 위해, 일부 실시예들의 원리들이 도면들과 관련된 아래의 설명에서 더 상세히 설명될 것이다. 제안되는 솔루션은 이러한 예시적인 실시예들로 한정되지 않으며, 상술되는 특징들은 첨부된 청구항들에서 정의되는 바와 같은 본 원리들의 범위로부터 벗어나지 않고서 편의적으로 결합되고/되거나 수정될 수도 있다는 것을 이해한다.
광 필드 카메라들은 동일 촬영의 상이한 뷰들의 렌더링을 가능하게 한다. 파라미터 설계 공간은 크지만, 전통적인 사진술과 관련된 사고에 의해 유용한 제한들이 자연스럽게 생성된다. 전통적인 사진술에서의 이미징 프로세스의 대부분은 렌즈 특성들에 의해 정의된다. 주요 렌즈들은 통상적으로 초점 거리 및 초점 비율의 조정을 가능하게 하고, 한편 줌 렌즈들은 초점 길이의 조정을 추가로 가능하게 한다. 렌즈 경사 및 시프트와 같은 추가 파라미터들이 모델링될 수 있다. 기하 왜곡들 및 색 수차들은 초점 길이가 수정되는 경우에 프레임마다 변할 수 있다. 간소화를 위해, 아래에서는 전술한 바와 같은 3개의 가장 중요한 특성만이 고려될 것이다.
도 1은 광 필드 카메라(1)에 대한 렌즈 관련 메타데이터를 생성하기 위한 온-셋 솔루션의 예시적인 셋업을 나타낸다. 디지털 렌즈(2)는 위의 파라미터들에 따라 광학 렌즈의 거동을 모델링한다. 이것은 광 필드 캡처들의 스트림으로부터 각각의 프레임을 취하고, 현재 파라미터들과 함께 렌즈 모델을 적용하고, 최종 렌더링을 모니터(3)로 출력하는 실시간 렌더링 엔진에 의해 달성된다. 따라서, 디지털 렌즈(2)는 실제 렌즈를 모델링하는 가상 렌즈이다. 오퍼레이터는 모니터(3) 상에서 이미지를 검사하고, 사용자 인터페이스(4)를 통해 파라미터들에 대한 조정들을 수행한다. 렌더링된 출력은 반드시 저장될 필요는 없다. 그러나, 메타데이터 레코더(5)는 각각의 프레임에 대응하는 렌즈 파라미터들 및 고유 타임 코드 스탬프와 함께 메타데이터 스트림을 로컬 또는 원격 저장 시스템(6) 상에 저장한다. 디지털 렌즈(2)와 광 필드 카메라 신호의 동기화는 최신 온-셋 동기화 기술들을 이용하여, 예로서 타임 코드 생성기(7)를 이용하여 달성된다.
디지털 렌즈(2)의 더 상세한 예시가 도 2에 도시된다. 이 도면에서, 디지털 렌즈(2)는 2개의 독립적인 처리 블록, 즉 각각의 프레임 사이클(n)에 대해 동기적으로 동작하는 이미지 렌더러(8) 및 메타데이터 어셈블러(9)에 의해 설명된다. 이미지 렌더러(8)는 광 필드 카메라(1)로부터의 광 필드 캡처들은 물론, 파라미터화 유닛(10)에 의해 출력되는 렌즈 파라미터들을 수신하고, 렌더링된 이미지들을 출력으로 제공한다. 메타데이터 어셈블러(9)는 또한 제1 레지스터(11)를 통해 파라미터화 유닛(10)에 의해 출력되는 렌즈 파라미터들은 물론, 제2 레지스터(12)를 통해 타임 코드 생성기(7)에 의해 제공되는 타임 코드들을 수신하고, 이러한 데이터를 메타데이터 패킷들로 조립한다.
이미지 렌더러(8)의 주요 동작 단계들이 도 3에 도시된다. 이미지 렌더러(8)에 의해 수행되는 렌더링 루프는 각각의 프레임 사이클로부터 다시 시작되며, 사이클 동안 계속 실행된다. 제1 단계에서, 광 필드 캡처들의 동기화된 스트림으로부터 프레임 F(n)이 획득된다(20). 렌즈 모델 및 현재 파라미터 세트 P(n)을 이용하여, 뷰가 렌더링되고(21), 모니터로 출력된다(22). 이어서, n이 변했는지를 체크하고(23), 그러한 경우에 이미지 렌더러(8)가 제1 단계로 복귀하여 다음 프레임을 획득하거나(20), 파라미터 세트 P(n)이 변했는지를 체크하고(24), 그러한 경우에 갱신된 뷰가 렌더링된다(21). 루프는 오퍼레이터가 렌더링 출력을 모니터링하고 파라미터들을 수동으로 조정함으로써 종료된다.
프레임 레이트 및 렌더링 속도에 따라, 렌더링 루프는 프레임별로 정확하게 한 번 또는 여러 번 실행될 수 있다. 광 필드 캡처들의 동기화된 스트림은 예를 들어 HD-SDI를 통해 제공될 수 있다.
메타데이터 어셈블러(9)의 주요 동작 단계들이 도 4에 도시된다. 제1 단계에서, 메타데이터 어셈블러(9)는 제1 레지스터(11) 및 제2 레지스터(12)로부터 각각 이전 프레임의 렌즈 파라미터 세트 P(n-1) 및 타임 코드 T(n-1)을 획득한다(30). 이어서, 이러한 데이터로부터, 메타데이터 어셈블러(9)는 메타데이터 스트림에 최종적으로 기록(32)되는 메타데이터 패킷 M(n-1)을 조립한다(31). 메타데이터 절차는 프레임당 정확하게 한 번 실행된다. 이것은 이전 프레임의 최종 파라미터 세트를 샘플링(30), 조립(31) 및 기록(32)한다. 동기화된 메타데이터 패킷은 예를 들어 보조 데이터 패킷들을 이용하여 HD-SDI를 통해 필드 레코더로 전달될 수 있다.
지금까지, 제안되는 솔루션은 주로 모션 픽처 필름 세트들에 대한 실시간 사용을 목표로 하여 설명되었다. 이것은 입력 비디오를 처리하고 메타데이터 스트림들을 소정의 프레임 레이트로 출력할 수 있는 전용 디바이스를 필요로 한다. 그러나, 솔루션은 실시간 데이터 처리에 대한 필요 없이 니어-셋 환경에서도 이용될 수 있다. 대신, 인제스트들(ingests) 상에서 동작하는 파일 기반 접근법이 또한 PC 기반 소프트웨어를 이용하여 적용될 수 있다. 이것은 광 필드 캡처 파일들이 타임 코드 메타데이터를 제공할 것을 요구한다. 도 5는 도 1에 대한 대응하는 수정들을 나타낸다. 구체적으로, 광 필드 캡처들은 광 필드 카메라(1) 대신에 저장 시스템(13)으로부터 획득된다. 게다가, 타임 코드 생성기(7)는 더 이상 사용되지 않는다.
도 6은 광 필드 이미징 디바이스(1)에 대한 렌즈 관련 메타데이터를 생성하기 위한 방법의 더 일반적인 실시예를 개략적으로 나타낸다. 제1 단계에서, 렌즈 모델을 이용하여 광 필드 캡처로부터 표시 이미지가 생성된다(40). 이어서, 표시 이미지를 생성하는 데 사용된 렌즈 모델의 파라미터들이 광 필드 이미징 디바이스(1)에 대한 렌즈 관련 메타데이터로서 출력된다(41).
광 필드 이미징 디바이스(1)에 대한 렌즈 관련 메타데이터를 생성하기 위한 제안되는 방법을 수행하도록 구성되는 장치(50)의 일 실시예가 도 7에 개략적으로 도시된다. 장치(50)는 예를 들어 광 필드 이미징 디바이스(1)로부터 광 필드 캡처를 수신하기 위한 입력(51)을 갖는다. 대안으로서, 광 필드 캡처는 저장 시스템(13)으로부터 검색된다. 도면에서, 저장 시스템(13)은 로컬 저장 시스템이다. 물론, 이것은 장치(50)에 직접 접속되거나 네트워크를 통해 접속되는 원격 저장 시스템일 수도 있다. 이미지 렌더러(8)는 렌즈 모델을 이용하여 광 필드 캡처로부터 표시 이미지를 생성한다(40). 생성된 표시 이미지는 장치(50)의 디스플레이(3) 상에 표시되거나, 이미지 출력(53)을 통해 외부 디스플레이(52)에 제공된다. 사용자 인터페이스(4)를 통해, 렌즈 모델의 파라미터들에 대한 조정들이 오퍼레이터로부터 수신된다. 메타데이터 어셈블러(9)는 렌즈 모델의 최종 파라미터들을 광 필드 이미징 디바이스(1)에 대한 렌즈 관련 메타데이터로서 출력한다(41). 메타데이터 어셈블러(9)는 클럭 입력(54)을 통해 접속된 타임 코드 생성기(7)에 의해 제공되거나 광 필드 캡처와 함께 제공되는 타임 코드들을 추가로 처리할 수 있다. 결과적인 메타데이터는 출력(55)을 통해 이용 가능해진다. 그들은 저장 시스템(13) 상에 저장될 수도 있다. 다양한 인터페이스들(51, 53, 54, 55)은 하나 이상의 양방향 인터페이스로 완전히 또는 부분적으로 결합될 수도 있다. 이미지 렌더러(8) 및 메타데이터 어셈블러(9)는 전용 하드웨어로서 또는 하나 이상의 프로세서 상에서 실행되는 소프트웨어로서 구현될 수 있다. 물론, 그들은 단일 하드웨어 유닛으로 결합될 수도 있다.
제안되는 방법을 수행하도록 구성되는 장치(60)의 다른 실시예가 도 8에 개략적으로 도시된다. 장치(60)는 처리 디바이스(61) 및 실행될 때 장치로 하여금 설명되는 방법들 중 하나에 따른 단계들을 수행하게 하는 명령어들을 저장하는 메모리 디바이스(62)를 포함한다.
예를 들어, 처리 디바이스(61)는 설명되는 방법들 중 하나에 따른 단계들을 수행하도록 적응되는 프로세서일 수 있다. 일 실시예에서, 상기 적응은 프로세서가 설명되는 방법들 중 하나에 따른 단계들을 수행하도록 구성, 예를 들어 프로그래밍되는 것을 포함한다.
본 명세서에서 사용되는 바와 같은 프로세서는 마이크로프로세서, 디지털 신호 프로세서 또는 이들의 조합과 같은 하나 이상의 처리 유닛을 포함할 수 있다.
로컬 저장 시스템(13) 및 메모리 디바이스(62)는 휘발성 및/또는 비휘발성 메모리 영역들 및 저장 디바이스들, 예로서 하드 디스크 드라이브들 및 DVD 드라이브들을 포함할 수 있다. 메모리의 일부는 본 명세서에서 설명되는 바와 같은 원리들에 따른 프로그램 단계들을 수행하기 위해 처리 디바이스(61)에 의해 실행될 수 있는 명령어들의 프로그램을 유형적으로 구현하는, 처리 디바이스(61)에 의해 판독될 수 있는 비일시적 프로그램 저장 디바이스이다.

Claims (15)

  1. 광 필드 이미징 디바이스(light field imaging device)(1)에 대한 렌즈 관련 메타데이터를 생성하기 위한 방법으로서,
    - 렌즈 모델을 이용하여 광 필드 캡처(light field capture)로부터 표시 이미지를 생성하는 단계(40); 및
    - 상기 표시 이미지를 생성하는 데 사용된 상기 렌즈 모델의 파라미터들을 상기 광 필드 이미징 디바이스(1)에 대한 렌즈 관련 메타데이터로서 출력하는 단계(41)
    를 포함하는 방법.
  2. 제1항에 있어서, 상기 렌즈 모델의 상기 파라미터들은 초점 거리, 초점 비율, 초점 길이, 렌즈 경사 및 렌즈 시프트 중 하나 이상과 관련되는 방법.
  3. 제1항 또는 제2항에 있어서, 상기 렌즈 관련 메타데이터를 메타데이터 패킷들로서 출력하는 단계를 더 포함하는 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    - 상기 렌즈 모델의 상기 파라미터들 중 하나 이상을 조정하기 위한 사용자 입력을 수신하는 단계; 및
    - 상기 렌즈 모델의 상기 조정된 파라미터들에 기초하여, 갱신된 표시 이미지를 생성하는 단계
    를 더 포함하는 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    - 상기 광 필드 캡처에 대한 타임 코드를 검색하는 단계; 및
    - 상기 렌즈 관련 메타데이터에 상기 타임 코드를 추가하는 단계
    를 더 포함하는 방법.
  6. 제5항에 있어서, 상기 타임 코드는 상기 광 필드 캡처로부터 판독되거나 타임 코드 생성기(7)로부터 수신되는 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 광 필드 캡처는 광 필드 이미징 디바이스(1)로부터 수신되거나 저장 시스템(13)으로부터 판독되는 방법.
  8. 광 필드 이미징 디바이스(1)에 대한 렌즈 관련 메타데이터를 생성하는 것을 가능하게 하는 명령어들을 내부에 저장한 컴퓨터 판독 가능 비일시적 저장 매체로서,
    상기 명령어들은, 컴퓨터에 의해 실행될 때, 상기 컴퓨터로 하여금,
    - 렌즈 모델을 이용하여 광 필드 캡처로부터 표시 이미지를 생성(40)하고;
    - 상기 표시 이미지를 생성하는 데 사용된 상기 렌즈 모델의 파라미터들을 상기 광 필드 이미징 디바이스(1)에 대한 렌즈 관련 메타데이터로서 출력(41)하게 하는 컴퓨터 판독 가능 비일시적 저장 매체.
  9. 광 필드 이미징 디바이스(1)에 대한 렌즈 관련 메타데이터를 생성하도록 구성되는 장치(50)로서,
    - 렌즈 모델을 이용하여 광 필드 캡처로부터 표시 이미지를 생성(40)하도록 구성되는 이미지 렌더러(8); 및
    - 상기 표시 이미지를 생성하는 데 사용된 상기 렌즈 모델의 파라미터들을 상기 광 필드 이미징 디바이스(1)에 대한 렌즈 관련 메타데이터로서 출력(41)하도록 구성되는 메타데이터 어셈블러(metadata assembler)(9)
    를 포함하는 장치(50).
  10. 광 필드 이미징 디바이스(1)에 대한 렌즈 관련 메타데이터를 생성하도록 구성되는 장치(60)로서,
    상기 장치(60)는 처리 디바이스(61)와, 명령어들을 내부에 저장한 메모리 디바이스(62)를 포함하고,
    상기 명령어들은, 상기 처리 디바이스(61)에 의해 실행될 때, 상기 장치(60)로 하여금,
    - 렌즈 모델을 이용하여 광 필드 캡처로부터 표시 이미지를 생성(40)하고;
    - 상기 표시 이미지를 생성하는 데 사용된 상기 렌즈 모델의 파라미터들을 상기 광 필드 이미징 디바이스(1)에 대한 렌즈 관련 메타데이터로서 출력(41)하게 하는 장치(60).
  11. 광 필드 캡처들을 포함하는 저장 매체(13)로서,
    상기 저장 매체(13)는 상기 광 필드 캡처들로부터 표시 이미지들을 생성하기 위한 렌즈 모델의 파라미터들을 더 포함하는 것을 특징으로 하는 저장 매체(13).
  12. 광 필드 캡처로부터 표시 이미지를 생성하기 위한 방법으로서,
    - 저장 매체(13)로부터 광 필드 캡처를 검색하는 단계;
    - 상기 광 필드 캡처로부터 표시 이미지를 생성하기 위한 렌즈 모델의 파라미터들을 검색하는 단계;
    - 상기 렌즈 모델 및 상기 검색된 파라미터들을 이용하여 상기 광 필드 캡처로부터 표시 이미지를 생성하는 단계(40); 및
    - 상기 표시 이미지를 디스플레이(3, 52)에 제공하는 단계
    를 포함하는 방법.
  13. 광 필드 캡처로부터 표시 이미지를 생성하는 것을 가능하게 하는 명령어들을 내부에 저장한 컴퓨터 판독 가능 비일시적 저장 매체로서,
    상기 명령어들은, 컴퓨터에 의해 실행될 때, 상기 컴퓨터로 하여금,
    - 저장 매체(13)로부터 광 필드 캡처를 검색하고;
    - 상기 광 필드 캡처로부터 표시 이미지를 생성하기 위한 렌즈 모델의 파라미터들을 검색하고;
    - 상기 렌즈 모델 및 상기 검색된 파라미터들을 이용하여 상기 광 필드 캡처로부터 표시 이미지를 생성(40)하고;
    - 상기 표시 이미지를 디스플레이(3, 52)에 제공하게 하는 컴퓨터 판독 가능 비일시적 저장 매체.
  14. 광 필드 캡처로부터 표시 이미지를 생성하도록 구성되는 장치(50)로서,
    - 저장 매체(13)로부터 광 필드 캡처를 검색하고, 렌즈 모델의 파라미터들을 검색하고, 상기 렌즈 모델 및 상기 검색된 파라미터들을 이용하여 상기 광 필드 캡처로부터 표시 이미지를 생성(40)하도록 구성되는 이미지 렌더러(8); 및
    - 상기 표시 이미지를 표시하도록 구성되는 디스플레이(3) 또는 상기 표시 이미지를 디스플레이(52)에 제공하도록 구성되는 출력(53)
    을 포함하는 장치(50).
  15. 광 필드 캡처로부터 표시 이미지를 생성하도록 구성되는 장치(60)로서,
    상기 장치(60)는 처리 디바이스(61)와, 명령어들을 내부에 저장한 메모리 디바이스(62)를 포함하고,
    상기 명령어들은, 상기 처리 디바이스(61)에 의해 실행될 때, 상기 장치(60)로 하여금,
    - 저장 매체(13)로부터 광 필드 캡처를 검색하고;
    - 상기 광 필드 캡처로부터 표시 이미지를 생성하기 위한 렌즈 모델의 파라미터들을 검색하고;
    - 상기 렌즈 모델 및 상기 검색된 파라미터들을 이용하여 상기 광 필드 캡처로부터 표시 이미지를 생성(40)하고;
    - 상기 표시 이미지를 디스플레이(3, 52)에 제공하게 하는 장치(60).
KR1020160019273A 2015-02-23 2016-02-18 렌즈 관련 메타데이터를 생성하기 위한 방법 및 장치 KR20160102898A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15305275.8A EP3059949A1 (en) 2015-02-23 2015-02-23 Method and apparatus for generating lens-related metadata
EP15305275.8 2015-02-23

Publications (1)

Publication Number Publication Date
KR20160102898A true KR20160102898A (ko) 2016-08-31

Family

ID=52727051

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160019273A KR20160102898A (ko) 2015-02-23 2016-02-18 렌즈 관련 메타데이터를 생성하기 위한 방법 및 장치

Country Status (6)

Country Link
US (1) US10536685B2 (ko)
EP (2) EP3059949A1 (ko)
JP (1) JP2016157421A (ko)
KR (1) KR20160102898A (ko)
CN (1) CN105915779A (ko)
TW (1) TW201631949A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3099055A1 (en) * 2015-05-29 2016-11-30 Thomson Licensing Method and apparatus for displaying a light field based image on a user's device, and corresponding computer program product
CN111970444B (zh) * 2020-08-17 2021-11-23 长安大学 一种实现场景内物体远近辨识的方法、系统及机器人

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7292257B2 (en) * 2004-06-28 2007-11-06 Microsoft Corporation Interactive viewpoint video system and process
US20130113981A1 (en) 2006-12-01 2013-05-09 Lytro, Inc. Light field camera image, file and configuration data, and methods of using, storing and communicating same
US8189065B2 (en) 2008-01-23 2012-05-29 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering
US8289440B2 (en) 2008-12-08 2012-10-16 Lytro, Inc. Light field data acquisition devices, and methods of using and manufacturing same
US20120249550A1 (en) 2009-04-18 2012-10-04 Lytro, Inc. Selective Transmission of Image Data Based on Device Attributes
US8908058B2 (en) * 2009-04-18 2014-12-09 Lytro, Inc. Storage and transmission of pictures including multiple frames
US20140176592A1 (en) 2011-02-15 2014-06-26 Lytro, Inc. Configuring two-dimensional image processing based on light-field parameters
WO2013049699A1 (en) * 2011-09-28 2013-04-04 Pelican Imaging Corporation Systems and methods for encoding and decoding light field image files
US8995785B2 (en) 2012-02-28 2015-03-31 Lytro, Inc. Light-field processing and analysis, camera control, and user interfaces and interaction on light-field capture devices
US20140181630A1 (en) 2012-12-21 2014-06-26 Vidinoti Sa Method and apparatus for adding annotations to an image
JP2016511850A (ja) 2012-12-21 2016-04-21 ヴィディノティ エスアーＶｉｄｉｎｏｔｉ Ｓａ プレノプティックライトフィールドに対しアノテーションを付加するための方法および装置
US20160205341A1 (en) * 2013-08-20 2016-07-14 Smarter Tv Ltd. System and method for real-time processing of ultra-high resolution digital video
WO2015037473A1 (ja) * 2013-09-11 2015-03-19 ソニー株式会社 画像処理装置および方法
KR101826704B1 (ko) * 2013-09-13 2018-02-08 인텔 코포레이션 비디오 프로덕션 공유 장치 및 방법
US10547822B2 (en) * 2014-05-21 2020-01-28 Sony Corporation Image processing apparatus and method to generate high-definition viewpoint interpolation image
JP6562197B2 (ja) * 2014-06-20 2019-08-21 パナソニックＩｐマネジメント株式会社 画像処理方法および画像処理システム

Also Published As

Publication number Publication date
US10536685B2 (en) 2020-01-14
EP3059949A1 (en) 2016-08-24
CN105915779A (zh) 2016-08-31
EP3059951A1 (en) 2016-08-24
JP2016157421A (ja) 2016-09-01
TW201631949A (zh) 2016-09-01
US20160246817A1 (en) 2016-08-25

Similar Documents

Publication Publication Date Title
US8199211B2 (en) Camera direct dailies
US10123070B2 (en) Method and system for central utilization of remotely generated large media data streams despite network bandwidth limitations
JP4332364B2 (ja) 映像記録システム，映像記録方法
JP5094739B2 (ja) 連続的なカラーグレーディングの方法
WO2020195232A1 (ja) 画像処理装置、画像処理方法、プログラム
JP2004312278A (ja) メタデータ表示システム，メタデータ合成装置，映像信号記録再生装置，撮像装置，メタデータ表示方法
JP2012015830A (ja) カメラ
JP4161773B2 (ja) 映像編集装置，映像編集装置の処理方法
US10536685B2 (en) Method and apparatus for generating lens-related metadata
JP6055964B2 (ja) 映像制作システムおよび映像制作方法
US10582135B2 (en) Computer generated imagery compositors
KR20170143076A (ko) 스튜디오 장비 제어 시퀀스 공유 서비스 제공 시스템 및 제공방법
JP7146575B2 (ja) 撮像装置、撮像装置の制御方法およびプログラム
KR101879168B1 (ko) 스튜디오 장비 제어 시퀀스 공유 서비스 제공 시스템 및 제공방법
KR102599664B1 (ko) 다시점 영상을 전송하기 위한 시스템의 동작 방법 및 이를 수행하는 시스템
JP7550805B2 (ja) 撮像装置、及びそれらの制御方法、プログラム
JP7374698B2 (ja) 撮像装置、制御方法およびプログラム
JP2008065698A (ja) 画像生成方法及び画像生成システム
KR20150070598A (ko) 파노라마 영상 촬영 시스템 및 그 작동 방법
JP2021078045A (ja) 出力制御装置、出力制御方法およびプログラム
KR200352424Y1 (ko) 삼차원 디지털 입체 카메라
JP5084586B2 (ja) 画像記録再生装置及び画像再生装置
JP2013062850A (ja) カメラ、画像再生装置、画像合成方法、およびプログラム
JP2011014954A (ja) 記録装置および再生装置
JP2018074208A (ja) 電子機器