KR20210038609A - 이미지 합성을 위한 방법 및 데이터 처리 시스템 - Google Patents

Abstract

본 발명은, 제1 개별 이미지 시퀀스에 의해 제2 개별 이미지 시퀀스를 생성하는 방법에 관한 것이며, 이때 제1 개별 이미지 시퀀스 또는 제2 개별 이미지 시퀀스의 개별 이미지는 대물부에 의해 기록되고, 이러한 이미지 시퀀스 생성 방법은, 제1 시퀀스의 개별 이미지를 위한 대물부의 입사 동공 및 시야를 결정하는 단계와; 제1 시퀀스의 각각의 개별 이미지의 대물부의 입사 동공 및 시야의 고려 하에 제2 시퀀스의 개별 이미지를 매칭 또는 생성하는 단계;를 포함한다.

Description

이미지 합성을 위한 방법 및 데이터 처리 시스템

본 발명은 제1 개별 이미지 시퀀스에 의해 제2 개별 이미지 시퀀스를 생성하는 방법이며, 이때 제1 개별 이미지 시퀀스의 개별 이미지는 대물부(objective)에 의해 기록된다. 특히, 본 발명은 사전 정의된 매개변수에 기초하여 동영상을 수정 및/또는 생성하기 위한 소프트웨어에 기반한 방법에 관한 것이다.

오늘날에는, 예를 들어, 장편 영화, 컴퓨터 게임, 의료 영상, 안면 인식용 보안 어플리케이션을 위한 애니메이션이, 컴퓨터 기반 시뮬레이션에서, 가상 현실 어플리케이션에서 또는 마찬가지로 산업용 측정 기술에서, 렌더링(rendering)이라고도 불리는 이미지 합성에 의해 생성된다. 예를 들어 여기서 사용되는 기술은, 가상 센서점의 가상 빔 경로를 가상 핀홀 카메라 조리개를 통해 가상 3차원 장면으로 연산하고, 가상 장면 내의 입사점에 따라, 상응하는 색상 및 강도를 센서점에 할당하는 것이다.

이러한 형태의 이미지 합성으로 생성된 필름 시퀀스를 실제 촬영된 장면과 중첩 또는 통합하기 위한 요구가 종종 존재한다. 즉, 예를 들어, 예컨대 실제 배우가 있는 스튜디오 상황을 보여주는 실제 촬영된 이미지 시퀀스 내에는, 예를 들어 가상의 컴퓨터 애니메이션 생물 또는 배경을 보여주는 상술한 바와 같이 생성된 이미지 콘텐츠가 있는 이미지 시퀀스가 내장되어야 한다.

이 경우, 실제 이미지 시퀀스에 내장할 이미지 콘텐츠를 가능한 한 매끄럽게 통합하는 것이 목표이다. 이 경우, 이미지 콘텐츠에 따라서는, 시청자에게 실제 콘텐츠가 실제로 다루어진다는 인상을 주는 것이 반드시 중요한 것이 아니고, 전체 이미지 콘텐츠가 후처리없이 순수하게 생성되었다는 인상이 형성되어야 한다. 이러한 인상을 위해 현재 많은 노력을 기울이고 있으며, 이러한 노력은 무엇보다도 후반 제작(postproduction)에서의 이미지별(image by image) 이미지 조작을 포함한다. 이 경우, 이미지 처리 프로그램에 의해서는, 개별 이미지 콘텐츠를 실제 촬영된 풍경에 가능한 한 잘 맞추기 위해 개별 이미지 콘텐츠의 변경이 실행된다. 이러한 이미지 후처리는 대부분 수작업으로 실행되어야 하고, 경험적 가치를 기반으로 한다. 설득력있는 시청 경험을 위해서는, 모델링된 특수 효과가 실제 이미지 콘텐츠와 어느 정도 병합되고 시청자가 끊김을 인식하지 않는 것이 중요하다. 상응하는 상황에 해당하는 설정(FOV, 개구경, 입사 동공, 로케이션, 초점 거리 등)은 물리적 모델에 의해 시뮬레이션된다.

본 발명의 과제는 상술한 요구 사항을 충족시키고, 더 고도의 매끄러운 통합을 제공하는 동시에, 더 적은 수작업 노력을 필요로 하는, 제1 개별 이미지 시퀀스에 의해 제2 개별 이미지 시퀀스를 생성하는 방법을 제공하는 것이다.

이러한 과제는 독립 청구항 제1항에 따른 방법에 의해 해결된다. 제1 개별 이미지 시퀀스에 의해 제2 개별 이미지 시퀀스를 생성하는 방법이며, 이때 제1 개별 이미지 시퀀스 또는 제2 개별 이미지 시퀀스의 개별 이미지는 대물부에 의해 기록되는, 본 발명에 따른 방법은, 제1 시퀀스의 개별 이미지를 위한 대물부 내의 광선 특성을 결정하는 단계와; 제1 시퀀스의 각각의 개별 이미지의 대물부 내의 광선 특성의 고려 하에 제2 시퀀스의 개별 이미지를 매칭 또는 생성하는 단계;를 포함한다.

제2 시퀀스의 개별 이미지의 이미지 콘텐츠를 매칭하는 것은, 이미 산출되었거나 다른 방식으로 생성된 개별 이미지 시퀀스를 후속 변환하는 것일 수 있다. 이 경우, 예를 들어 제1 시퀀스의 개별 이미지는 제2 시퀀스의 이미지와 정확히 결합될 수 있다. 제2 시퀀스의 개별 이미지를 생성하는 것은 대물부에 의해 개별 이미지 시퀀스를 생성하는 것, 즉 종래의 의미에서 이미지 시퀀스를 기록하는 것이거나, 가상 장면을 기반으로 이미지 합성(렌더링)의 의미에서 개별 이미지 시퀀스를 산출하는 것일 수 있다. 이 경우, 예를 들어 제2 시퀀스의 이미지로부터 예를 들어 사람 또는 사물과 같은 개별 요소들이 추출되고, 제1 시퀀스의 이미지에 통합될 수 있다.

바람직한 일 실시예에서, 대물부 내의 광선 특성을 결정하는 단계는, 제1 시퀀스의 개별 이미지에 대한 대물부의 입사 동공 및 시야를 결정하는 것을 포함한다.

대물부의, 필드 오브 뷰(Field of View: FoV)라고도 하는 시야 및 입사 동공을 결정하는 단계는, 제2 시퀀스의 개별 이미지의 이미지 콘텐츠의 매칭 또는 생성 시에, 정확한 주시 방향, 즉 제2 시퀀스의 이미지 콘텐츠의 연산 또는 변환을 위한, 대물부에 의해 실제로 검출된 시야 및 입사 동공을 고려하는 것을 가능하게 한다.

예를 들어, 다른 대물부 모티브 거리에 매칭하기 위한 대물부의 포커싱 과정에서 입사 동공 및/또는 시야는 약간, 그러나 인식 가능하게 변경될 수 있다. 이러한 효과는 특히 이미지 세그먼트의 변화로서 인지되며, 펌핑[포커스 브리딩(focus breathing)]으로도 불린다. 이러한 효과는 개별 기록 시에는 중요성을 거의 갖지 않는 반면, 필름 시퀀스에서는 인지되며, 특히 시뮬레이션의 또는 가상의, 즉 산출된 이미지 콘텐츠의 추후 삽입 시에는 종래의 처리 방식에 대한 큰 도전 과제이다. 반면, 추가할 이미지 콘텐츠의 산출 시에 입사 동공 및 시야가 이미 고려된 경우에는, 이미지 콘텐츠들의 결합이 훨씬 더 간단한 방식으로 그리고 특히 대체로 수작업의 개입없이 실행될 수 있다.

본 발명의 바람직한 일 실시예는, 제1 개별 이미지 시퀀스의 이미지 콘텐츠와 제2 개별 이미지 시퀀스의 이미지 콘텐츠를 결합하는 단계를 포함하고, 이러한 결합은 제1 시퀀스의 개별 이미지의 이미지 콘텐츠에 제2 시퀀스의 개별 이미지의 이미지 콘텐츠를 매칭하는 것 또는 각각 제1 시퀀스의 각각의 개별 이미지의 대물부의 입사 동공 및 시야의 고려 하에 제2 시퀀스의 개별 이미지를 생성하는 것을 포함한다. 대물부의 입사 동공 및 시야의 로케이션과 관련한 정보의 인지 하에 제2 개별 이미지 시퀀스의 생성 및 매칭이 실행된 이후, 두 이미지 시퀀스들의 결합(예를 들어 두 이미지 시퀀스들의 중첩 또는 제1 이미지 시퀀스의 이미지 콘텐츠로의 제2 개별 이미지 시퀀스의 이미지 콘텐츠의 삽입)이 더 큰 매칭없이 가능하다.

본 발명의 추가의 일 실시예에서, 개별 이미지를 매칭 또는 생성하는 단계에서는 입사 동공 및 시야와 더불어, 출사 동공의 위치, 피사계 심도, 경우에 따라서는 색상에 좌우되기도 하는 비네팅(vignetting), 왜곡, 보케(bokeh), 색상 오류, 초점, 대물부 내의 렌즈 요소의 위치, 애퍼처(aperture), 노출 기간, 컬러 어피어런스(color appearance) 및/또는 카메라 내부의 반사를 고려하는 것이 제공된다. 상술한 매개변수는 개별적으로 또는 임의의 조합으로 고려될 수 있다. 또한, 예를 들어 광원의 위치, 광원의 유형, 그림자의 분포 및 강도, 모션 블러(motion blur) 등과 같은 다른 관련 매개변수도 검출될 수 있다. 광원에서는, 예를 들어 광의 분광 분포, 방출 특성, 방사선의 강도 등이 검출될 수 있다. 대물부 또는 장면의 더 많은 특성이 매칭 또는 생성 단계에서 제공되고 고려될수록, 제1 이미지 시퀀스의 이미지 콘텐츠에 제2 이미지 시퀀스의 이미지 콘텐츠를 더 잘 매칭하는 것이 가능하다.

충분히 많은 수의 상술한 매개변수가, 개별 이미지를 매칭하는 단계 또는 특히 생성하는 단계에서 고려된다면, 결합된 이미지 시퀀스가 추후 결합없이 생성된 듯한 인상을 시청자에게 불러일으킬 수 있다.

본 발명의 일 실시예에서, 제2 시퀀스의 개별 이미지를 생성하는 단계는 가상 장면의 렌더링에 의해 개별 이미지를 생성하는 것을 포함한다. 이는 빈번한 요구 사항이며, 제1 시퀀스의 개별 이미지에 대한 대물부의 시야 및 장면 내 입사 동공의 로케이션의 검출에 의해 간단한 방식으로 해결될 수 있다.

이에 대안적으로, 본 발명의 일 실시예에서, 제 2 시퀀스의 개별 이미지를 매칭하는 단계보다, 카메라를 위한 대물부에 의해 개별 이미지를 생성하는 것이 선행할 수 있다. 카메라를 위한 대물부는, 제1 개별 이미지 시퀀스의 기록에 사용된 동일한 대물부일 필요가 없다. 오히려, 입사 동공 및 시야의 결정에 기초하여, 제1 개별 이미지 시퀀스와 제2 개별 이미지 시퀀스의 문제없는 결합이 실행될 수 있도록 제2 개별 이미지 시퀀스의 이미지 콘텐츠의 변환이 실행될 수 있다.

본 발명의 일 개선예에서, 결정의 단계는 제1 개별 이미지 시퀀스의 기록 시에 대물부의 하나 이상의 이미징 매개변수를 레코딩하는 것을 포함한다. 이와 같이, 예를 들어 각각의 개별 이미지를 위해 또는 복수의 개별 이미지들을 위해 검출된 이미징 매개변수, 정확히는 입사 동공, 시야 등과 같은 이미징 매개변수는 제2 개별 이미지 시퀀스의 생성 또는 매칭 시에 사용될 수 있다. 이는 제1 개별 이미지 시퀀스와 제2 개별 이미지 시퀀스의 결합을 위한 노력을 감소시킨다. 이와 같이, 예를 들어 배우 또는 사물이 중립적(예를 들어, 파란색 또는 녹색의) 배경 앞에서 기록되는 소위 블루 스크린 또는 그린 스크린 기록 시에는, 이러한 기록 시에 사용되는 매개변수가 검출되고, 특히 시간 분해되기도 하며, 이러한 기록에 기반한 가상 장면의 생성 시에 사용될 수 있다. 이는, 사용될 수도 있는 설정과 관련한 후속 연산이 실행될 필요가 없고, 두 개별 이미지 시퀀스들의 이미지 콘텐츠들이 간단한 방식으로 결합될 수 있으며, 최종 결과가 매우 사실적인/진짜와 같은 인상을 준다는 장점을 제공한다.

이러한 실시예의 일 개선예에서, 대물부의 이미징 매개변수는 제2 시퀀스의 개별 이미지를 생성하기 위해 실시간으로 사용된다. 이는 예를 들어, 그린 스크린/블루 스크린 장면을, 생성 중에, 즉 기록 중에, 이미 준비된 이미지 콘텐츠 또는 현재 산출된 이미지 콘텐츠와의 제공된 결합을 실시간으로 실행하고 예를 들어 모니터 또는 접안 렌즈와 같은 디스플레이에 표시하는 시뮬레이션 컴퓨터에 실시간으로 전달하는데 사용될 수 있다. 이에 따라, 상응하는 블루 스크린/그린 스크린 기록이 이미 생성 시에 평가될 수 있고, 경우에 따라서는 보정 또는 반복될 수 있다.

본 발명의 일 실시예에서, 광선 특성을 결정하는 단계는 제1 대물부를 위해 실행되고, 제2 시퀀스의 개별 이미지를 생성하는 단계는 추가로 제2 대물부 내의 광선 특성의 고려 하에 실행된다. 이에 따라, 예를 들어 제1 대물부(예를 들어, 광각 대물부)에 의해 기록된 제1 개별 이미지 시퀀스는, 이후 다른 대물부(예를 들어, 망원 대물부)에 의해 기록된 것과 같은 인상을 불러일으키는 제2 개별 이미지 시퀀스로 변환될 수 있다.

본 발명의 일 개선예에서, 결정의 단계는 이미징 매개변수의 시간 시퀀스를 레코딩하는 것을 포함한다. 이에 따라, 특히, 좁은 시간 순서로 일련의 개별 이미지들을 기록하는 것을 포함하는 필름 기록 시에는 모든 개별 이미지들 또는 개별 이미지들의 특정 부분 집합을 위하여, 결합에 필요한 매개변수가 검출 및 고려될 수 있다. 예를 들어, 실제 촬영 시작 이전에 카메라맨은 가상 장면 내에서, 가상 작동하는 카메라에 의해 기록을 사전에 재생할 수 있고, 기록될 장면을 계획할 수 있다. 이는 사전 시각화 또는 프리비주얼라이징(previsualizing)으로 불릴 수 있다.

이러한 방식으로, 예를 들어 다양한 카메라 설정 또는 다양한 대물부 유형이 예술적 측면 및/또는 가능한 기술적 타당성과 관련하여 시험 및 검사될 수 있다. 시간 분해 방식으로 검출 가능한, 가능한 매개변수는 예를 들어 대물부의 위치; 대물부의 방향; 초점, 조리개 및/또는 줌과 관련한 현재 설정;일 수 있다. 이러한 레코딩 내용은 세트 계획을 위한 추후 작업 단계에서 사용될 수 있다.

필름의 기록 시간이 일반적으로 비용이 많이 들고 종종 제한적이기 때문에, 렌더링에 의한 사전 시각화는 일반 비용을 최소화하는데 사용된다. 사전 시각화(previsualisation)의 장점은, 연출가, 카메라맨 또는 VFX 감독이, 조명; 카메라 위치 설정; 카메라 움직임; 및 예를 들어 초점 섹션, 초점 거리 또는 피사계 심도와 같은 대물부의 광학 설정;과 같은 다양한 연출 및 예술 경향의 적용 가능성과, 연출 배치 및 편집을, 상당한 제작 비용의 발생없이 실험할 수 있는 것이다. 예산이 더 큰 프로젝트의 경우, 연출가는 시각 효과 부서 또는 특수실에서 배우와 함께 작업한다.

사전 시각화는 완전히 제작 및 편집된 장면 시퀀스의 외관을 에뮬레이션하기 위해 음악, 음향 효과 및 대화를 추가할 수 있다. 이는 [크로마 키(Chroma-Key)와 같은] 특수 효과 및 스턴트가 있는 장면에서 가장 일반적으로 사용된다. 사전 시각화 중에는, 디지털 비디오, 사진, 손그림 아트(hand drawn art), 클립 아트 및 3D 애니메이션이 조합된다. 영화 산업 및 사진 이외에도, 사전 시각화를 위한 렌더링의 적용예는 건물 계획, 성형 수술 또는 의료용 임플란트 위치 설정에서 사용될 수 있다.

이와 관련하여, 본 발명에 따른 방법은 상술한 바와 같이, 이미징 매개변수의 시간 시퀀스의 레코딩에 기초하여 제1 개별 이미지 시퀀스의 기록을 계획하는 것 및/또는 이미징 매개변수의 시간 시퀀스의 레코딩의 사용 하에 제1 개별 이미지 시퀀스를 기록하는 것을 추가로 포함할 수 있다. 이미 설명한 바와 같이, 이는 매우 사실적인 인상을 주는 기록 시뮬레이션에 의한 고도의 사전 계획으로 이미지 시퀀스의 생성을 가능하게 한다.

또한, 본 발명은 본 발명에 따른 방법을 실행하기 위한 수단을 갖는 데이터 처리 시스템 및 컴퓨터 프로그램에 관한 것이다.

본 발명에 의해, 광학 설계, 즉 대물부 내의 렌즈의 치수, 특성 및 로케이션은 장면의 시뮬레이션에서 사용될 수 있다. 이미 설명한 바와 같이, 장편 영화를 위한 최신 애니메이션은 렌더링에 의해 생성된다. 이 경우, 가상 센서 픽셀의 가상 빔은 가상 핀홀 카메라 조리개를 통해 가상 3차원 장면 내로 추적된다. 이후, 픽셀은 어디에서 빔이 장면 내에 입사하는지에 따라, 상응하는 색상 및 강도를 얻는다. 본 발명을 통해, 간단한 핀홀 조리개 모델은 광학 설계 프로그램의 레이 트레이싱(ray tracing)에 의해 대체된다. 이는 대물부의 극사실적 시뮬레이션을 유도한다. 현실도를 추가로 향상시키기 위하여, 레이 트레이싱 방법과 더불어 또는 레이 트레이싱 방법에 추가하여, 파동 광학 효과도 시뮬레이션될 수 있다. 이 경우, 예를 들어 점 확산 함수(point spread function)는 회절 적분에 의해 연산될 수 있다.

본 발명의 가능한 일 실시예는, 장면의 계획을 위한 필름 세트의 3차원 컴퓨터 모델을 사용하도록 구성될 수 있다(사전 시각화). 이러한 모델에서는, 촬영할 장면이 예를 들어 대략적으로만 모델링될 수 있고 그리고/또는 애니메이션화될 수 있으므로, (원하는 장면으로부터) 배우, 카메라(그리고 카메라의 설정 및 위치), 필요한 장비, 풍경 및/또는 특수 효과에 대한 요구 사항이 도출될 수 있다. 촬영 시작 이전에 카메라맨은 가상 장면 내에서 가상 카메라에 의해 기록을 계획한다. 카메라의 사실적인 시뮬레이션에 의하여, 예를 들어 실제 촬영 이전에 다양한 카메라 설정이 테스트될 수 있다. 이와 같이, 비용이 절감되고, 예상치 못한 상황이 인식되며, 이와 같이 장면이 더 잘 계획될 수 있다. 예를 들어, 일반적으로 수작업으로 실행되는 초점 설정이 특히 모티브가 빠르게 움직일 때 실행될 수 있거나, 특정 대물부 유형(실제의 또는 아직 실현되지 않은 프로토 타입)의 적합성이 테스트될 수 있다. 예술적 측면 및 기술적 타당성과 관련한 설정도 시험될 수 있다. 예를 들어, 위치, 방향, 초점, 조리개, 줌 설정이 시뮬레이션에서 시간 분해 방식으로 저장될 수 있다. 이후, 이러한 정보는 세트를 계획하는데 사용된다. 선택적으로, 이러한 데이터는 실제의 제어식 전자 카메라로 전송될 수 있으며, 설정의 이러한 시퀀스는 실제 카메라에서 재생될 수 있다.

다른 일 실시예는 3D 모델로부터의 부분적인 또는 완전한 포토리얼리스틱(photorealistic)한 필름 장면 생성을 포함할 수 있다. 실제 필름 장면이 컴퓨터 애니메이션 장면에 의해 중첩될 수 있고, 예를 들어 가상 생물이 실제 풍경 내에 삽입되는 것 및/또는 배우가 가상 풍경 내에 삽입되는 것 또는 이 둘의 조합이 나타난다. 이를 위해, 소위 그린 스크린이 종종 사용된다. 컴퓨터 애니메이션과 실제 장면의 조합의 품질을 위해서는, 모델 내의 조명 조건, 모션 블러, 연색성(color rendering), 노이즈 등이 실제 풍경의 기록과 얼마나 잘 일치하는지가 중요하다. 이러한 모델링된 특수 효과가 풍경과 병합되지 않는 제작물은, 즉각적으로 시청자에게 충분히 전문적이지 않다는 인상을 준다. 핀홀 카메라 모델에 의한 대물부의 모델링은 매우 단순화된 방식으로 대물부의 (일정한) 초점 거리만을 고려한다. 장면의 원근 렌더링만이, 입사 동공 및 출사 동공의 로케이션과, 대물부의 초점 거리 변화에 좌우된다. 이 경우, 이러한 동공 로케이션은 개별적으로 대물부에 좌우되는 포커싱 거리 및 줌 설정의 함수이다. 또한, 장면의 피사계 심도를 결정하는 조리개 수치가 중요하다. 또한, 왜곡, 주변부의 감광(비네팅), 연색성 편차, 색수차(chromatic aberration), 반사 종속성 등과 같은 일련의 대물부 매개변수가 있다. 구체적으로, 그린 스크린 장면에서는 예를 들어 이미지 기록 시의 위치, 방향, 초점 설정, 조리개 설정 및 줌 설정이 시간 분해 방식으로 저장된다. 이러한 설정은 가상 장면의 생성 시에 사용된다. 진짜와 같은 외관과 간단한 이미지 중첩이 장점으로 언급될 수 있다.

대안적으로 또는 추가적으로, 그린 스크린 장면에서는 예를 들어 이미지 기록 시의 위치, 방향, 초점 설정, 조리개 설정 및 줌 설정이 실시간 시뮬레이션으로 직접 전달될 수 있으며, 두 이미지들이 중첩된 상태로 접안 렌즈 내 또는 디스플레이 상에서 중첩될 수 있다.

전체적으로, 본 발명에 의해서는 실시예에 따라서 일련의 장점들이 구현될 수 있으며, 즉 가상 장면 내 설정의 사전 생성을 통해 카메라의 설정 시간이 단축될 수 있다. 전체 카메라 기록이 미리 계획될 수 있으며, 카메라 설정 사항 및 변경 사항이 가상 카메라에 레코딩되고, 실제 카메라에서 재생될 수 있다. 특히 원하는만큼 자주 반복될 수 없는 장면에서의 특정 필름 기록의 기록 품질은 카메라맨의 사전 트레이닝을 통해 개선될 수 있다. 가상 장면의 기록 시에는 실제 장면의 기록 시와 동일한 인상이 실제 대물부의 정확한 시뮬레이션을 통해 생성될 수 있다. 실제 카메라에 의해 시뮬레이션된 장면이 애니메이션화/생성될 수 있다. 아직 실존하는 대물부/카메라를 위한 가상 프로토 타이핑이 실행될 수 있다.

본 발명의 일 실시예는 저장 및 보간된 점 확산 함수 데이터를 갖는 컴퓨터 프로그램의 범주 내에서 3D 이미지 시뮬레이션을 실행한다. 이러한 방법은 하기 단계들, 즉

선택된 화소 그룹에 대한 대물부의 출사 동공의 크기, 형태 및 로케이션을 결정하는 단계이며; 예를 들어, 이를 위해 약 5.4mm의 그리드 간격을 갖는 2D 포인트 그리드가 선택될 수 있는 단계와;

다른 이미지 위치에 대한 선택된 화소들 사이의 화소의 크기, 형태 및 로케이션을 보간하는 단계와;

객체 공간 함수를 입력하는 단계이며; 객체 공간 함수는 대물부의 입사 동공에 대한 거리에 따른 강도의 3차원 함수를 의미할 수 있고; 예를 들어, 객체 공간 함수는 예를 들어 RGB 데이터 또는 그레이 스케일 데이터와 같은 스펙트럼 특성 및/또는 객체로부터 입사 동공까지의 거리(깊이 맵)를 포함하는 단계와;

객체 공간 및 이미지 공간의 할당을 실행하는 목적 함수와 객체 공간 함수의 결합을 통해 점 확산 함수를 생성하는 단계이며; 이러한 방식으로, 점 확산 함수는, 경우에 따라서는 대물부 내의 개별 광학 요소 또는 모든 광학 요소들의 코팅 데이터를 포함하는 대물부의 광학 설계 데이터를 포함하는 단계와;

객체 좌표를 통해 점 확산 함수를 통합하는 단계와;

이와 같이, 출사 동공을 통한 파면 변형(wavefront deformation)을 고려하기 위하여, 출사 동공의 형태를 통해 점 확산 함수를 통합하는 단계와;

렌더링된 개체 공간을 생성하는 단계;를 포함한다.

추가적으로, 이러한 실시예에서는 디지털 수차(왜곡 및/또는 음영 등)에 대한 보상이 실행될 수 있다.

본 발명의 추가의 대안적인 일 실시예는, 광학 전달 함수의 데이터를 갖는 3D 이미지 시뮬레이션을 실행한다. 이러한 방법은 하기 단계들, 즉

선택된 화소 그룹에 대한 대물부의 출사 동공의 크기, 형태 및 로케이션을 결정하는 단계이며; 예를 들어, 이를 위해 약 5.4mm의 그리드 간격을 갖는 2D 포인트 그리드가 선택될 수 있는 단계와;

출사 동공 함수를 얻기 위하여, 다른 이미지 위치에 대한 선택된 화소들 사이의 화소의 크기, 형태 및 로케이션을 보간하는 단계와;

객체 공간 함수를 입력하는 단계이며; 객체 공간 함수는 대물부의 입사 동공에 대한 거리에 따른 강도의 3차원 함수를 의미할 수 있고; 예를 들어, 객체 공간 함수는 광학 전달 함수와 파장의 조합으로부터 얻어질 수 있으며; 광학 전달 함수를 얻기 위해 출사 동공 함수의 콘볼루션(convolution)[자기 상관(autocorrelation)]이 실행되는 단계와;

객체 공간 함수로부터 연속 푸리에 변환을 연산하는 단계와;

고정 파장에 대한 출사 동공 좌표를 통해 광학 전달 함수와 푸리에 변환된 객체 공간 함수의 곱을 통합하는 단계와;

복수의 파장을 통해 연산을 반복하는 단계와;

각각의 색상 채널(스펙트럼 응답 함수) 및 광원의 스펙트럼 분포 상의 파장을 통해 통합을 실행하는 단계와;

각각의 색상 채널(RGB)에 대한 이미지를 생성하는 단계와;

사실적인 이미지를 얻기 위해 각각의 색상 채널(RGB)에 대한 이미지들을 중첩하는 단계;를 포함한다.

상술한 실시예에서는, 심하게 디포커싱된 객체 공간점에 대한 푸리에 변환을 실행하는 것이 문제이다. 이는, 예를 들어 30x30 대신 10,000x10,000의 출사 동공의 매우 고도의 그리드 샘플링을 필요로 한다. 이는 시간이 많이 걸리고, 전파 시간이 매우 길다.

그에 상응하게, 3D 이미지 시뮬레이션의 광선 추적(레이 트레이싱) 기반 렌더링을 실행하는 본 발명의 대안적인 일 실시예가 제공된다. 이러한 방법은, 대물부에 입사하는 광선이 광원으로 재추적되는 것을 기반으로 한다. 이러한 방법은 하기 단계들, 즉

선택된 화소 그룹에 대한 대물부의 출사 동공의 크기, 형태 및 로케이션을 결정하는 단계이며; 예를 들어, 이를 위해 약 5.4mm의 그리드 간격을 갖는 2D 포인트 그리드가 선택될 수 있는 단계와;

다른 이미지 위치에 대한 선택된 화소들 사이의 화소의 크기, 형태 및 로케이션을 보간하는 단계와;

빔 방향을 연산하는 단계이며; 예를 들어, 출사 동공을 통해 정의된 경계 내에 위치 설정을 실행하는 단계와;

빔 함수를 생성하는 단계이며; 빔 함수는 예를 들어 확률 함수를 나타낼 수 있고, 방향에 따른 빔 분포를 나타낼 수 있으며, 예를 들어 입력 좌표를 출력 좌표와 결합시킬 수 있고; 각각 하나의 입력 빔에는 달성하려는 렌더링 품질에 따라 수백 내지 수백만 개의 출력 빔이 나타날 수 있는 단계와;

광원에 이르기까지 모든 빔들을 시뮬레이션하는 단계와;

모든 불연속형 출력 빔을 위한 광원 및 광원에 대한 거리의 각도 공간을 통한 통합을 실행하는 단계와;

대물부로부터 객체로 이어지는 각각의 입력 빔에 대해, 예를 들어 10,000개의 빔에 대해 상기 방법을 반복하는 단계와;

모든 입력 빔에 대하여, 광원에 도달하는 모든 출력 빔들을 통합하는 단계와;

이미지를 생성하는 단계;를 포함한다.

하기에는 본 발명의 실시예가 도면을 참조하여 더 상세히 설명된다.
도 1a 및 도 1b는 본 발명에 따른 제1 방법의 흐름도 및 개략도이고,
도 2a 및 도 2b는 본 발명에 따른 제2 방법의 흐름도 및 개략도이고,
도 3a 및 도 3b는 본 발명에 따른 제3 방법의 흐름도 및 개략도이고,
도 4는 본 발명에 따른 제4 방법의 개략도이다.

도 1a 및 도 1b에는 제1 개별 이미지 시퀀스에 의해 제2 개별 이미지 시퀀스를 생성하는 본 발명에 따른 제1 방법이 도시되어 있다. 제1 단계(S11)에서는, 제1 개별 이미지 시퀀스가 실제 카메라(10)에 의해 생성된다. 제1 방법에 대해, 이러한 제1 개별 이미지 시퀀스가 실제로 저장되는지 여부는 중요하지 않다. 이러한 개별 이미지 시퀀스가 저장될 수 있지만, 단지 생성될 뿐이고 레코딩되지 않을 수도 있다.

제2 단계(S12)에서, 제1 이미지 시퀀스의 카메라 위치 및 카메라 설정이 검출된다. 이는 바람직하게는 이미지 시퀀스의 생성, 즉 실제 카메라(10)에 의한 제1 이미지 시퀀스의 기록 중에 실행된다. 이것이 기록 중에 실행된다면, 제1 이미지 시퀀스의 레코딩은 중단될 수 있다. 카메라 설정 및 카메라 위치는 적어도 입사 동공의 위치와; 기록을 실행하는 대물부의 시야;일 수 있지만, 예를 들어 조리개/애퍼처, 노출 기간, 줌 설정, 초점 등과 같은 추가의 매개변수가 추가로 검출될 수도 있다.

추가의 단계(S13)에서, 카메라 설정 및 카메라 위치는 데이터(11)로서 가상 카메라(12)에 전송된다. 이러한 단계도 처음 두 단계들(S11, S12) 이후에 또는 이들과 동시에 실행될 수 있다. 즉, 제1 이미지 시퀀스(S11)의 기록, 카메라 설정 및 카메라 위치의 검출(S12), 및 그들의 전송(S13)이 동시에 실행될 수 있거나, 적절한 중간 저장 시에 시간 오프셋을 두고 연달아 실행될 수도 있다. 이에 상응하게, 카메라 설정 및 카메라 위치의 전송이 실행될 수 있다.

예를 들어, 가상 카메라(12)는, 가상 장면(16)으로부터 생성되는 가상 이미지 시퀀스(14)가 추가의 단계(S14)에 상응하게 카메라 설정 및 카메라 위치에 의해 제2 이미지 시퀀스를 생성할 수 있도록 하는 이미지 합성 프로그램(18)의 설정을 위한 매개변수 세트일 수 있다. 예를 들어, 이러한 이미지 합성 프로그램은 레이 트레이싱 알고리즘(ray tracing algorism)을 사용하는 연산 프로그램일 수 있다. 실제 카메라(10)로부터 얻어진 데이터와, 이미 사전에 공지되어 있을 수도 있는 데이터에 의해, 이미지 합성 프로그램 내에 카메라(10)의 모델이 생성될 수 있다. 이러한 모델에 의해[정확히는 가상 카메라(12)에 의해], 한편으로는, 대물부별로 특화되어 있으며, 이에 따라 광학 이미징과 관련한 효과들이 함께 고려될 수 있다. 이는 사용된 대물부 또는 전체 카메라(10)의 사실적인 시뮬레이션을 가능하게 한다. 다른 한편으로는, 입사 동공 및 시야의 검출이 경우에 따라서는 시간 분해되기도 함으로써, 실제 카메라(10)의 움직임과, 이에 따라 경우에 따라서는 상이한 장소에서의 조명 조건의 영향과 같은 연관 효과들이나, 모션 블러, 연색성 또는 노이즈와 같은 효과들도 가상 이미지 생성 시에 영향을 미칠 수 있다.

이러한 방법의 구체적인 일 실시예에서, 예를 들어, 실제 카메라(10)는, 가상 장면(16) 내에서 가상 이미지 시퀀스(14)를 생성하기 위한 가상 카메라(12)의 컨트롤러로서 어느 정도 사용될 수 있다. 이러한 방식으로, 컴퓨터 애니메이션 장면이 간단하게 생성될 수 있다.

도 2a 및 도 2b에는 본 발명에 따른 방법의 제2 실시예가 도시되어 있다. 하기 실시예에서, 동일하거나 비교 가능한 특징부에는 동일한 도면 부호가 사용되며, 반복을 피하기 위해 재차 별도로 설명되지 않는다. 도 2a 및 도 2b의 방법은 상술한 방법에서와 마찬가지로, 실제 카메라(10)에 의한 제1 이미지 시퀀스의 기록(S21)을 제공한다. 이 경우, 이러한 방법에서는, 제1 이미지 시퀀스의 기록이 실제로 존재하는 실제 장면(20)에서 일어나고, 결과적으로 실제 이미지 시퀀스(22)가 되는 것이 제공된다. 이미 전술한 바와 같이, 이러한 방법에서도 카메라 설정 및 카메라 위치가 검출되고(S22), 가상 카메라(12)에 전송된다(S23).

이러한 단계들(S21 내지 S23)에서 획득된 정보는 이제, 추가 단계(S24)에서, 카메라 설정 및 카메라 위치(11)의 고려 하에 이미지 합성 프로그램(18)에 의한 가상 장면(16) 내에서 가상 카메라(12)에 의해 제2 이미지 시퀀스(24)를 생성하기 위해 사용된다. 제2 가상 이미지 시퀀스(24)가 생성될 때는, 예를 들어 실제 이미지 시퀀스(22)의 카메라(10)의 시야 및 입사 동공의 로케이션에 대한 정보(11)가 이미 제공된다. 구체적인 애플리케이션에서, 제1 실제 이미지 시퀀스(22)는 예를 들어 필름 기록 시의 그린 스크린 장면일 수 있을 것이다. 이러한 경우, 예를 들어, 카메라(10)의 위치 및 배치, 초점, 조리개, 줌 설정이 이미지 기록 시에 시간 분해 방식으로 검출될 수 있을 것이다. 이후, 이러한 정보는 상응하게 가상 장면(16)의 생성 시에 그리고 궁극적으로는 가상 이미지 시퀀스(24)의 생성 시에 사용될 수 있다.

추가 단계(S24)에서, 제1 실제 이미지 시퀀스(22)와 제2 가상 이미지 시퀀스(24)는 결합된 이미지 시퀀스(26)를 형성하도록 결합될 수 있다. 이 경우, 그린 스크린 기술의 상술한 예시에서, 가상 이미지 시퀀스(24)의 가상 이미지 콘텐츠는 실제 이미지 시퀀스(22)의 이미지 콘텐츠에 통합될 수 있다. 대체로 매끄러운 삽입 가능성으로 인해, 결합된 이미지 시퀀스(26)의 진짜와 같은 외관이 얻어진다. 또한, 이러한 중첩/삽입은 매우 간단한 방식으로 실행될 수 있다.

본 발명에 따른 방법의 추가의 일 실시예가 도 3a 및 도 3b에 도시되어 있다. 제1 단계(S31)에서는 실제 장면(20)의 공간 데이터 및 기타 데이터(13)의 고려 하에 가상 장면(16)이 생성된다. 제2 단계(S32)에서는 가상 카메라(12)에 의해 제1 이미지 시퀀스(24)가 기록된다. 이 경우, 이러한 실시예에서는 이러한 제1 이미지 시퀀스(24)를 저장하는 것이 중요하지 않다. 오히려, 이러한 실시예에서는 실제 이미지 시퀀스(22)의 실제 기록 이전에 카메라맨에게 카메라의 다양한 설정을 테스트하고 계획할 가능성을 제공하는 것이 목적이다. 가상 카메라(12)에 의한 실제 카메라(10)의 사실적인 시뮬레이션에 의해, 이러한 방식으로 다양한 카메라 설정 및 카메라 위치가, 예를 들어 예술적 측면 및 기술적 타당성과 관련하여서도 계획되고 시험될 수 있다.

이에 상응하게, 추가의 단계에서 가상 카메라(12)의 카메라 설정 및 카메라 위치가 검출된다(S33). 이는 바람직하게는 시간 분해 방식으로 실행되며, 즉 각각 검출된 각 카메라 설정 및 카메라 위치에 타임 스탬프가 할당된다. 바람직하게, 이러한 설정 및 위치는 개별 이미지 시퀀스의 각각의 개별 이미지에 대해 검출된다. 그러나, 구성에 따라서는 검출 빈도가 여건에 매칭될 수도 있다. 이와 같이, 예를 들어 각각의 이미지보다 더 낮은 빈도가 제공될 수 있다. 이 경우, 빈도는 고정 빈도(n번째 이미지 마다)로 설정 가능할 수 있거나, 발생하는 변화에 따라 매칭 가능할 수 있다. 검출된 설정은, 예를 들어 위치, 방향, 초점, 조리개 또는 줌 설정을 포함할 수 있다. 이후, 이와 같이 검출된 정보는 세트 및 카메라 촬영을 계획하기 위해 사용될 수 있다.

선택적으로, 이와 같이 검출된 카메라 설정 및 카메라 위치는 추가 단계에서 실제 카메라(10)로 전송될 수 있다(S34). 이후, 이러한 설정은 제2 개별 이미지 시퀀스의 실제 기록 시에 고려될 수 있다. 예를 들어, 카메라 설정은 실제 카메라(20)에서의 기록 중에 설정 시퀀스로서 재생될 수 있으므로, 카메라맨은 부담을 덜게 되고, 기록 중에 적은 기록 세부 사항을 돌보기만 하면 된다.

본 발명에 따른 방법의 추가의 일 실시예가 도 4에 도시되어 있다. 도 4에 설명된 바와 같이, 이러한 방법은 단계들(S41 및 S42)에 의하여, 시간적으로 서로 독립적으로 발생할 수 있는 2개의 방법 단계들을 제공한다.

단계(S41)에 의해, 여기서 VFX 생성(VFX-generation)으로 불리는 후속 렌더링을 위한 시작 기반이 생성된다. 예를 들어, 이러한 시작 기반은 필요한 3차원 정보를 포함하는 가상 장면의 데이터일 수 있다.

개별 이미지 시퀀스가 생성되는 방식으로 3차원 정보로부터 렌더링을 실행할 수 있는 각각의 다른 기반도 사용될 수 있다. 예를 들어, 이는 추가의 깊이 정보를 갖는 전처리된 2차원 이미지 또는 각각의 화소에 3차원 장면 내의 3D 위치가 할당된 2차원 이미지에 대한 문제일 수도 있다. 이 경우, 3D 정보는 2차원 이미지에 통합될 수 있고, 표시된 장면과 관련하여 사전 정의될 수 있으며, 표시된 장면에 대해 에뮬레이션될 수 있거나, 예를 들어, 예컨대 3D 센서에 의한 표시된 실제 장면의 검출을 통해 획득된 3차원 데이터를 기반으로, 표시된 장면에 대해 생성될 수 있다.

단계(S42)에서는, 개별 이미지 시퀀스(필름 시퀀스의 프레임)에 할당 가능한 대물부/카메라 데이터가 기록된다. 검출은 예를 들어 카메라의 대물부와 관련될 수 있으며, 예를 들어 대물부에 의해 실행될 수 있다.

바람직하게는, 대물부/카메라 데이터의 검출(S42)과 동시에, 필름 시퀀스의 검출(S43)이 실행될 수 있다.

대물부/카메라 데이터는 대물부 데이터 시퀀스를 포함할 수 있으며, 이러한 시퀀스는 예를 들어 개별 이미지(프레임)에 대한 각각 하나의 대물부/카메라 데이터 세트를 포함한다. 대안적으로 또는 추가적으로, 전체 개별 이미지 시퀀스(필름 시퀀스)에 할당 가능한 대물부/카메라 데이터만이 검출될 수 있다.

예를 들어, 대물부/카메라 데이터는, 예를 들어 대물부 타입 또는 개별 대물부의 식별, 대물부의 유형에 대한 정보, 대물부의 초점 거리, 보정된 초점 거리, 보정된 티스톱(T-stop) 값, 피사계 심도, 과초점 거리(hyperfocal distance), 수평 화각, 또는 입사 동공의 위치 및/또는 크기와 같은 대물부 자체의 가능한 특성 및/또는 설정에 대한 정보를 포함할 수 있으며, 예를 들어, 이러한 대물부/카메라 데이터는 제1 개별 이미지 시퀀스(필름 시퀀스)의 레코딩 동안 실제 카메라 또는 실제 대물부에 의해 기록될 수 있다. 대물부/카메라 데이터의 검출/연산 및/또는 레코딩은 예를 들어 각각의 초점 및 각각의 유효 티스톱 값 및/또는 각각의 개별 이미지(프레임)에 대해 실행될 수 있다.

대안적으로 또는 추가적으로, 대물부/카메라 데이터는, 예를 들어 대물부 내의 렌즈, 조리개 및/또는 필터와 같은 하나 또는 복수의, 바람직하게는 모든 광학 요소를 특성화하는 특정 물리 데이터를 포함할 수 있다. 이러한 물리 데이터는 예를 들어 렌즈 형태, 요소의 애퍼처, 예를 들어 대물부의 최대 애퍼처(최소 조리개 수치), 스펙트럼 투과율 등일 수 있다. 일반적으로, 특정 물리 데이터는, 대물부의 광학 설계에 대한 추론을 가능하게 하고, 이에 따라 레이 트레이싱, 레이 캐스팅, 점 확산 함수, 또는 광학 전달 함수를 사용하는 방법의 실행 및/또는 이미징 특성의 연산을 가능하게 하는 데이터일 수 있다.

추가적으로 또는 대안적으로, 대물부/카메라 데이터는 실제로 촬영된 장면의 3차원 구조에 대한 정보를 포함할 수 있다. 이러한 3D 데이터의 검출(S44)은, 예를 들어 대물부의 특성 및/또는 설정의 검출(S42)과 병렬적으로 실행될 수 있다.

3D 데이터는 대물부/카메라 데이터에 통합될 수 있다. 대안적으로 또는 추가적으로, 3D 데이터는 필름 시퀀스 데이터에 추가될 수도 있다(S45).

3D 데이터의 검출 시에, 예를 들어 하나 이상의 3D 센서가 사용될 수 있으며, 이러한 3D 센서는 예를 들어, 촬영된 장면의 광학적 스캔 또는 음향적 스캔을 통해, 촬영된 개별 이미지 시퀀스(필름 시퀀스)에 할당될 수 있는 공간 데이터를 생성한다. 이러한 센서 또는 센서들은 예를 들어 대물부 또는 카메라로부터 분리되어 배열될 수 있다. 바람직하게, 센서 또는 센서는 카메라 또는 대물부에 위치하거나, 카메라 또는 대물부에 통합된다.

대안적으로 또는 추가적으로, 대물부/카메라 데이터는, 추가적으로 시간 분해 방식으로 레코딩되는, 즉 예를 들어 개별 이미지 시퀀스(필름 시퀀스)의 개별 이미지(프레임)에 할당 가능한 위치 데이터, 로케이션 데이터 및/또는 움직임 데이터를 포함할 수 있다. 위치 정보, 로케이션 정보 및/또는 움직임 정보는 촬영된 실제 장면에 대한 카메라 및/또는 대물부의 위치의 결정과, 촬영된 장면에 대한 카메라 및/또는 대물부의 배치를 가능하게 한다. 시간 분해식 검출을 통해, 카메라 및/또는 대물부의 움직임에 대한 정보가 직접 또는 간접적으로 검출 또는 도출될 수도 있다. 이와 같이, 예를 들어 로케이션 또는 위치의 변화로부터 카메라 및/또는 대물부의 움직임이 도출될 수 있으며, 대안적으로 또는 추가적으로, 예를 들어 자이로 센서와 같이, 카메라 및/또는 대물부의 움직임을 직접적으로 검출하는 센서가 사용될 수 있다.

요약하면, 대물부/카메라 데이터는 대물부별로 특화된 데이터, 실제 장면의 3D 데이터 및/또는 위치/로케이션/움직임 데이터를 포함할 수 있다.

이러한 대물부/카메라 데이터는 이미 레코딩 중에 실시간으로 추가 처리되고, 렌더링을 위해 가용하도록 제공될 수 있다(S46).

대안적으로 또는 추가적으로, 대물부/카메라 데이터는 레코딩될 수 있으며, 시간적으로 레코딩에 후속적으로 실행되는 후속하는 추가 처리 단계에서야 사용될 수 있다(S47).

단계(S48)에서는 렌더링, 즉 3차원 데이터에 기초한 2차원 이미지의 생성이 실행된다.

렌더링 시에는 대물부/카메라 데이터(S46, S47)가 고려될 수 있다.

렌더링은 하기 방법들 중 하나 이상의 방법, 즉 레이 트레이싱(광 함수), 레이 캐스팅, 점 확산 함수 및/또는 광학 전달 함수를 사용하는 알고리즘의 사용 하에 실행될 수 있다.

대안적으로 또는 추가적으로, (이미 상술한 바와 같이) 2차원 이미지의 생성 시에, 예를 들어, 깊이 정보를 갖는 이미 전처리 된 2차원 이미지 또는 통합된 3차원 정보를 갖는 2차원 이미지가 사용될 수 있다. 렌더링은, 대물부/카메라 데이터를 기반으로 이미 존재하는 2차원 이미지의 보정만을 표시할 수도 있다.

대물부/카메라 데이터의 사용에 의해, 렌더링된 개별 이미지(프레임) 또는 개별 이미지 시퀀스(필름 시퀀스)에는, 대물부/카메라 데이터의 일부인 카메라에 의해/대물부에 의해 기록된 듯한 인상을 불러일으키는 외관이 부여될 수 있다.

이 경우, 대물부/카메라 데이터는 대물부/카메라 데이터의 기록 중에 실시간으로 렌더링을 위해 사용될 수 있다. 이 경우, 대물부/카메라 데이터는, 예를 들어 렌더링 컴퓨터로의 대물부/카메라 데이터의 무선 또는 유선 전송에 의하여 실시간으로 렌더링 과정에 가용할 수 있으며(S46), 렌더링을 위해 사용될 수 있다.

대안적으로 또는 추가적으로, 이미 사전에 기록된 대물부/카메라 데이터는 렌더링을 위해 사용될 수 있다(S47).

이 경우, 대물부/카메라 데이터는 예를 들어 시간 분해되지 않은, 대물부별로 그리고/또는 렌즈별로 특화된 데이터만을 포함할 수 있다.

대안적으로 또는 추가적으로, 대물부/카메라 데이터는 예를 들어 위치 데이터 및/또는 로케이션 데이터 및/또는 움직임 데이터만을 포함할 수 있다.

일 실시예에서, 다양한 대물부/카메라 데이터가 렌더링 시에 조합되어 사용될 수도 있다. 예를 들어, 제1 대물부의 시간 분해되지 않은, 대물부별로 그리고/또는 렌즈별로 특화된 데이터는, 제2 대물부/제2 카메라의 위치 데이터 및/또는 로케이션 데이터 및/또는 움직임 데이터와 조합될 수 있다. 이와 같이, 예를 들어 제1 대물부에 의해 촬영된 필름 시퀀스는, 제2 대물부의 대물부별로 그리고/또는 렌즈별로 특화된 데이터에 의한 렌더링을 위한 위치 데이터 및/또는 로케이션 데이터 및/또는 움직임 데이터를 제공할 수 있다. 이와 같이, 필름 시퀀스가 다른 대물부에 의해 촬영된 것 같은 인상이 불러일으켜질 수 있다. 이 경우, 렌더링은 실시간으로 실행되거나, 후속 단계에서 실행될 수 있다.

예를 들어, 렌더링은 24fps의 프레임 속도에서 실시간으로 2K 해상도의 필름 시퀀스를 생성할 수 있다. 연산 능력이 향상됨에 따라, 상술한 프레임 속도를 갖는 4K 또는 8K 해상도도 가능하다.

렌더링된 필름 시퀀스는 생성(S44) 중에 또는 이후에 렌더링 모니터에서 관찰 가능하게 표시될 수 있다(S49).

이와 같이 대물부/카메라 데이터를 함께 고려하여 렌더링된 제1 개별 이미지 시퀀스(제1 필름 시퀀스)는 후속 단계(S50)에서, 실제로 촬영된 제2 개별 이미지 시퀀스(제2 필름 시퀀스)와 결합("합성")될 수 있다. 제2 필름 시퀀스의 촬영에 사용된 대물부/카메라 데이터에 의해 제1 필름 시퀀스가 렌더링 또는 수정된 경우, 두 필름 시퀀스들의 결합이 간단하고 원활한 방식으로 가능하다.

하나의 필름 시퀀스를 위해 결합된 필름 시퀀스들은 레코딩되고(S51), 합성 모니터에서 관찰 가능하게 표시될 수 있다(S52).

Claims (16)

1. 제1 개별 이미지 시퀀스에 의해 제2 개별 이미지 시퀀스를 생성하는 방법으로서, 제1 개별 이미지 시퀀스 또는 제2 개별 이미지 시퀀스의 개별 이미지는 대물부에 의해 기록되고(S11),
   - 제1 시퀀스의 개별 이미지를 위한 대물부 내의 광선 특성을 결정하는 단계(S12)와;
   - 제1 시퀀스의 각각의 개별 이미지의 대물부 내의 광선 특성의 고려 하에 제2 시퀀스의 개별 이미지를 매칭 또는 생성하는 단계(S14);를 포함하는, 이미지 시퀀스 생성 방법.
2. 제1항에 있어서, 대물부 내의 광선 특성을 결정하는 단계는, 제1 시퀀스의 개별 이미지에 대한 대물부의 입사 동공 및 시야를 결정하는 단계(S12)를 포함하고, 그리고/또는
   제1 시퀀스의 각각의 개별 이미지의 대물부의 입사 동공 및 시야의 고려 하에 제2 시퀀스의 개별 이미지를 매칭 또는 생성하는 단계가 실행되는, 이미지 시퀀스 생성 방법.
3. 제2항에 있어서, 매칭 또는 생성 단계는 점 확산 함수 및/또는 광학 전달 함수 및/또는 빔 함수의 사용을 포함하는, 이미지 시퀀스 생성 방법.
4. 제1항 내지 제3항 중 어느 한 항에 있어서, 제1 개별 이미지 시퀀스의 이미지 콘텐츠와 제2 개별 이미지 시퀀스의 이미지 콘텐츠를 결합하는 단계(S25)를 포함하고, 결합 단계는 제1 시퀀스의 개별 이미지의 이미지 콘텐츠에 제2 시퀀스의 개별 이미지의 이미지 콘텐츠를 매칭하는 단계 또는 각각 제1 시퀀스의 각각의 개별 이미지의 대물부의 입사 동공 및 시야의 고려 하에 제2 시퀀스의 개별 이미지를 생성하는 단계를 포함하는, 이미지 시퀀스 생성 방법.
5. 제4항에 있어서, 개별 이미지의 매칭 단계 또는 생성 단계는 입사 동공 및 시야의 고려와 더불어, 출사 동공의 위치, 피사계 심도, 비네팅(vignetting), 왜곡, 보케(bokeh), 색상 오류, 초점, 대물부 내의 렌즈 요소의 위치, 애퍼처(aperture), 노출 기간, 컬러 어피어런스(color appearance) 및/또는 대물부 내부의 반사의 고려를 포함하는, 이미지 시퀀스 생성 방법.
6. 제1항 내지 제5항 중 어느 한 항에 있어서, 제2 시퀀스의 개별 이미지의 생성 단계는 가상 장면의 렌더링에 의해 개별 이미지를 생성하는 단계(S24)를 포함하는, 이미지 시퀀스 생성 방법.
7. 제1항 내지 제5항 중 어느 한 항에 있어서, 제2 시퀀스의 개별 이미지의 매칭 단계보다, 카메라를 위한 대물부에 의해 개별 이미지를 생성하는 단계(S21)가 선행하는, 이미지 시퀀스 생성 방법.
8. 제1항 내지 제7항 중 어느 한 항에 있어서, 광선 특성의 결정 단계는 제1 대물부를 위해 실행되고, 제2 시퀀스의 개별 이미지의 생성 단계는 추가로 제2 대물부 내의 광선 특성의 고려 하에 실행되는, 이미지 시퀀스 생성 방법.
9. 제1항 내지 제8항 중 어느 한 항에 있어서, 결정의 단계는,
   - 제1 개별 이미지 시퀀스의 기록 시에 대물부의 하나 이상의 이미징 매개변수를 레코딩하는 단계(S22)를 포함하고,
   매칭 단계 또는 생성 단계는,
   - 이미징 매개변수가 제2 시퀀스의 개별 이미지의 매칭 단계 또는 생성 단계에서 사용되는 단계(S24)를 포함하는, 이미지 시퀀스 생성 방법.
10. 제9항에 있어서, 대물부의 이미징 매개변수는 제2 시퀀스의 개별 이미지를 생성하기 위해 실시간으로 사용되는, 이미지 시퀀스 생성 방법.
11. 제1항 내지 제10항 중 어느 한 항에 있어서, 결정의 단계는 이미징 매개변수의 시간 시퀀스를 레코딩하는 것을 포함하는, 이미지 시퀀스 생성 방법.
12. 제11항에 있어서,
    a) 이미징 매개변수의 시간 시퀀스의 레코딩에 기초하여 제1 개별 이미지 시퀀스의 기록을 계획하는 단계(S34) 및/또는
    b) 이미징 매개변수의 시간 시퀀스의 레코딩의 사용 하에 제1 개별 이미지 시퀀스를 기록하는 단계(S34)를 포함하는, 이미지 시퀀스 생성 방법.
13. 영화, 사진, 컴퓨터 게임, 의료 영상, 예를 들어 안면 인식과 같은 보안 어플리케이션, 컴퓨터 기반 시뮬레이션, 가상 현실 및/또는 산업용 측정 기술의 분야들 중 하나 이상의 분야에서의, 제1항 내지 제12항 중 어느 한 항에 따른 방법의 사용.
14. 제1항 내지 제13항 중 어느 한 항의 단계를 실행하기 위한 수단을 갖는 데이터 처리 시스템.
15. 데이터 처리 시스템에서 실행될 때, 데이터 처리 시스템으로 하여금,
    - 사전 결정된 화소 그룹에 대한 대물부의 출사 동공의 크기, 형태 및/또는 로케이션을 결정하는 단계와;
    - 객체 공간 함수를 입력하는 단계와;
    - 점 확산 함수를 생성하고 그리고/또는 광학 전달 함수를 입력하고 그리고/또는 빔 함수를 생성하는 단계와;
    - 이미지를 생성하는 단계;를 실행하도록 하는 명령어를 갖는 컴퓨터 프로그램.
16. 제15항에 따른 컴퓨터 프로그램을 포함하는, 컴퓨터 판독 가능한 휘발성 또는 비휘발성 저장 매체.

Images