KR20220088779A - 멀티-스펙트럼 체적계측 캡처 - Google Patents

멀티-스펙트럼 체적계측 캡처 Download PDF

Info

Publication number
KR20220088779A
KR20220088779A KR1020227018019A KR20227018019A KR20220088779A KR 20220088779 A KR20220088779 A KR 20220088779A KR 1020227018019 A KR1020227018019 A KR 1020227018019A KR 20227018019 A KR20227018019 A KR 20227018019A KR 20220088779 A KR20220088779 A KR 20220088779A
Authority
KR
South Korea
Prior art keywords
camera
data
color
subject
cameras
Prior art date
Application number
KR1020227018019A
Other languages
English (en)
Other versions
KR102657733B1 (ko
Inventor
스캇 메츠거
데이비드 베일리
Original Assignee
소니그룹주식회사
소니 픽쳐스 엔터테인먼트, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사, 소니 픽쳐스 엔터테인먼트, 인크. filed Critical 소니그룹주식회사
Publication of KR20220088779A publication Critical patent/KR20220088779A/ko
Application granted granted Critical
Publication of KR102657733B1 publication Critical patent/KR102657733B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/2253—
    • H04N5/2256—
    • H04N5/247—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N5/275—Generation of keying signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H04N9/045—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

피사체의 비디오 캡처는: 피사체의 비디오 데이터를 캡처하기 위한 제1 IR 카메라, 제2 IR 카메라, 및 컬러 카메라; 포스트 - 제1 IR 카메라, 제2 IR 카메라, 및 컬러 카메라는 포스트에 부착되고, 컬러 카메라는 제1 IR 카메라와 제2 IR 카메라 사이에서 위치결정됨 -; 피사체를 조명하기 위한 적어도 하나의 IR 광원; 및 프로세서 - 프로세서는: 제1 IR 카메라 및 제2 IR 카메라로부터의 데이터를 이용하여 피사체를 위한 심도 솔브 데이터를 생성하고; 컬러를 심도 솔브 데이터 상으로 투영하기 위하여 컬러 카메라로부터의 데이터를 이용함으로써 투영된 컬러 데이터를 생성하고; 심도 솔브 데이터 및 투영된 컬러 데이터를 병합함으로써 최종적인 캡처 데이터를 생성하도록 구성됨 - 를 포함한다.

Description

멀티-스펙트럼 체적계측 캡처
본 개시내용은 피사체의 비디오 캡처에 관한 것으로, 더 구체적으로, 멀티-스펙트럼 적외선 및 컬러 카메라들의 조합을 이용한 비디오 캡처에 관한 것이다.
녹색 또는 청색 스크린은 피사체의 움직임들을 캡처하기 위하여 종종 이용되고, 움직임들은 특수한 효과들인 맞춤형 배경들과 더 이후에 합성된다. 그러나, 녹색 스크린을 이용하는 것을 회피하는 것은 유용할 수 있는데, 그 이유는 녹색 스크린 캡처가 피사체의 조명에 대한 한정들을 부과하고, 또한, 녹색 배경의 "컬러 블리딩(color bleeding)"을 피사체 상으로 도입할 수 있기 때문이다.
본 개시내용은 IR 패턴과 조합된 멀티-스펙트럼 적외선(infrared)(IR) 및 컬러 카메라들의 조합을 이용한 피사체의 비디오 캡처를 제공한다.
하나의 구현예에서는, 피사체의 비디오 캡처를 위한 시스템이 개시된다. 시스템은: 피사체의 비디오 데이터를 캡처하기 위한 제1 IR 카메라; 피사체의 비디오 데이터를 캡처하기 위한 제2 IR 카메라; 피사체의 비디오 데이터를 캡처하기 위한 컬러 카메라; 포스트(post) - 제1 IR 카메라, 제2 IR 카메라, 및 컬러 카메라는 포스트에 부착되고, 컬러 카메라는 제1 IR 카메라와 제2 IR 카메라 사이에서 위치결정됨 -; 피사체를 조명하기 위한 적어도 하나의 IR 광원; 및 제1 IR 카메라, 제2 IR 카메라, 및 컬러 카메라에 접속된 프로세서 - 프로세서는: 제1 IR 카메라 및 제2 IR 카메라로부터의 데이터를 이용하여 피사체를 위한 심도 솔브 데이터(depth solve data)를 생성하고; 컬러를 심도 솔브 데이터 상으로 투영하기 위하여 컬러 카메라로부터의 데이터를 이용함으로써 투영된 컬러 데이터를 생성하고; 심도 솔브 데이터 및 투영된 컬러 데이터를 병합함으로써 최종적인 캡처 데이터를 생성하도록 구성됨 - 를 포함한다.
또 다른 구현예에서는, 피사체의 비디오 캡처를 위한 방법이 개시된다. 방법은: 제1 IR 카메라 및 제2 IR 카메라로부터의 데이터를 이용하여 피사체를 위한 심도 솔브 데이터를 생성하는 단계; 컬러를 심도 솔브 데이터 상으로 투영하기 위하여 컬러 카메라로부터의 데이터를 이용하여 투영된 컬러 데이터를 생성하는 단계; 및 심도 솔브 데이터 및 투영된 컬러 데이터를 병합함으로써 최종적인 캡처 데이터를 생성하는 단계 - 컬러 카메라는 제1 IR 카메라와 제2 IR 카메라 사이에서 위치결정됨 - 를 포함한다.
또 다른 구현예에서는, 피사체의 비디오를 캡처하기 위한 컴퓨터 프로그램을 저장하는 비-일시적 컴퓨터-판독가능 저장 매체가 개시된다. 컴퓨터 프로그램은 실행가능한 명령들을 포함하고, 실행가능한 명령들은, 컴퓨터로 하여금: 제1 IR 카메라 및 제2 IR 카메라로부터의 데이터를 이용하여 피사체를 위한 심도 솔브 데이터를 생성하게 하고; 컬러를 심도 솔브 데이터 상으로 투영하기 위하여 컬러 카메라로부터의 데이터를 이용하여 투영된 컬러 데이터를 생성하게 하고; 심도 솔브 데이터 및 투영된 컬러 데이터를 병합함으로써 최종적인 캡처 데이터를 생성하게 하고, 여기서, 컬러 카메라는 제1 IR 카메라와 제2 IR 카메라 사이에서 위치결정된다.
다른 특징들 및 장점들은 예로서, 개시내용의 양태들을 예시하는 본 설명으로부터 분명해져야 한다.
그 구조 및 동작의 둘 모두에 대한, 본 개시내용의 세부사항들은 유사한 참조 번호들이 유사한 부분들을 지칭하는 첨부된 도면들의 연구에 의해 부분적으로 얻어질 수 있고, 여기서:
도 1은 본 개시내용의 하나의 구현예에 따라, 비디오 캡처를 위한 비디오 시스템의 블록도이고;
도 2는 본 개시내용의 하나의 구현예에 따라, 피사체의 비디오 캡처를 위한 방법의 흐름도이고;
도 3a는 본 개시내용의 구현예에 따라, 컴퓨터 시스템 및 사용자의 표현이고; 그리고
도 3b는 본 개시내용의 구현예에 따라, 비디오 애플리케이션을 호스팅하는 컴퓨터 시스템을 예시하는 기능적인 블록도이다.
위에서 설명된 바와 같이, 기존의 녹색 스크린 캡처는 피사체의 조명에 대한 한정들을 부과하고, 또한, 녹색 배경의 "컬러 블리딩(color bleeding)"을 피사체 상으로 도입할 수 있다.
본 개시내용의 어떤 구현예들은 비디오 데이터를 프로세싱하기 위한 시스템들 및 방법들을 제공한다. 하나의 구현예에서, 비디오 시스템은 IR 패턴과 조합된 멀티-스펙트럼 IR 및 컬러 카메라들의 조합을 이용하여 피사체 및 환경 및 배경을 위한 비디오 데이터를 캡처한다. 이 시스템은 심도(depth)를 갖는 배경으로부터 피사체를 분리하기 위하여 녹색 스크린을 이용하지 않으면서 체적계측 데이터(volumetric data)를 캡처한다. 이것은 배경에 대한 우려 없이 피사체를 자유롭게 조명하는 것을 가능하게 한다.
아래의 설명들을 판독한 후에, 다양한 구현예들 및 애플리케이션들에서 개시내용을 어떻게 구현할 것인지가 분명해질 것이다. 본 개시내용의 다양한 구현예들은 본 명세서에서 설명될 것이지만, 이 구현예들은 제한이 아니라, 오직 예로서 제시된다는 것이 이해된다. 이와 같이, 다양한 구현예들의 상세한 설명은 본 개시내용의 범위 또는 폭을 제한하도록 해석되지 않아야 한다.
구현예들에서 제공된 특징들은 다음의 항목들 중의 하나 이상을 포함할 수 있지만, 이것으로 제한되지는 않는다: (a) 움직임 결부 포인트(motion tie point)들로부터의 구조를 이용한 심도의 포인트 삼각화(point triangulation); (b) 적외선 및 컬러 카메라들의 조합; (c) 카메라들이 특정 순서: IR, 컬러, IR로 배치되는 것 - 좌측 및 우측 IR 카메라들은 2 개 이상의 IR 카메라들의 기여분을 갖는 심도 솔브(depth solve)를 위하여 이용됨 -; (d) IR LED 플러드라이트(floodlight)들이 IR 심도 캡처의 피사체를 조명하여 매트(matte)를 생성하기 위하여 이용되는 것; (e) (가시적인 스펙트럼 광 데이터를 캡처하는) 중심 컬러 카메라가 컬러를 IR 카메라 심도 솔브 상으로 투영하기 위하여 이용되는 것; (f) 3 개의 카메라들의 하나의 그룹의 최소치가 이용되지만, 피사체에 따라서는 3 개의 카메라들의 N 개의 그룹들로 확장가능한 것; 및 (g) IR 흡수 안료가 센서로 복귀하는 IR 광을 차단하기 위하여 이용되는 것.
하나의 구현예에서, 비디오 시스템은 비디오 제작 또는 스튜디오 환경에서 이용되고, 이미지 캡처를 위한 하나 이상의 카메라들, 하나 이상의 센서들, 및 카메라 및 센서 데이터를 프로세싱하기 위한 하나 이상의 컴퓨터들을 포함한다. IR 및 컬러 카메라들의 조합을 갖는 움직임을 위한 구조를 이용함으로써, 시스템은 녹색 스크린을 이용하지 않으면서 캡처된 피사체의 조명 및 노출을 위한 완전한 자유도로 체적계측 데이터를 캡처한다. 녹색 스크린을 이용하는 것을 회피하는 것은 유용한데, 그 이유는 녹색 스크린 캡처가 피사체의 조명에 대한 한정들을 부과하고, 또한, 녹색 배경의 "컬러 블리딩(color bleeding)"을 피사체 상으로 도입할 수 있기 때문이다.
도 1은 본 개시내용의 하나의 구현예에 따라, 비디오 캡처를 위한 비디오 시스템(100)의 블록도이다. 도 1의 예시된 구현예에서, 비디오 시스템(100)은 제1 IR 카메라(110), 제2 IR 카메라(114), 컬러 카메라(112), 포스트(140), 적어도 하나의 IR 광원(120, 122), 및 프로세서(130)를 포함한다.
하나의 구현예에서, 제1 IR 카메라(110), 제2 IR 카메라(114), 및 컬러 카메라(112)는 피사체(104)의 비디오 데이터를 캡처하도록 구성된다. 2 개의 IR 카메라들은 심도 솔브들을 위하여 이용된다. 또한, 하나의 구현예에서, 제1 IR 카메라(110), 제2 IR 카메라(114), 및 컬러 카메라(112)는, 컬러 카메라(112)가 제1 IR 카메라(110)와 제2 IR 카메라(114) 사이에서 위치결정되도록 포스트(140)에 모두 부착된다. 또 다른 구현예에서, 컬러 카메라(112)는 포스트(140)에 부착할 필요 없이, 제1 IR 카메라(110)와 제2 IR 카메라(114) 사이에서 위치결정되지만, 함께 부착되거나 테이블 상에서 위치결정되는 것과 같이, 다른 수단과 함께 위치결정된다. 추가의 구현예에서, IR 광원들(120, 122)은 피사체(104)를 조명하도록 구성된다.
하나의 구현예에서, 프로세서(130)는 제1 IR 카메라(110), 제2 IR 카메라(114), 및 컬러 카메라(112)에 접속된다. 프로세서(130)는: (a) 제1 IR 카메라(110) 및 제2 IR 카메라(114)로부터의 데이터를 이용하여 피사체를 위한 심도 솔브 데이터(111, 115)를 생성하고; (b) 컬러를 심도 솔브 데이터(111, 115) 상으로 투영하기 위하여 컬러 카메라(112)로부터의 데이터를 이용함으로써 투영된 컬러 데이터(113)를 생성하고; (c) 심도 솔브 데이터(111, 115) 및 투영된 컬러 데이터(113)를 병합함으로써 최종적인 캡처 데이터(132)를 생성하도록 구성된다. 프로세서(130)는 최종적인 캡처 데이터를 생성하기 위하여 모든 카메라들로부터의 데이터를 이용한다. 또한, 프로세서(130)는 최종적인 캡처 데이터를 생성하기 위하여 모든 카메라들로부터의 데이터를 이용한다.
추가의 구현예에서, 비디오 시스템(100)은 피사체(104)의 비디오 데이터를 캡처하기 위한 적어도 하나 초과의 컬러 카메라 및 적어도 2 개 초과의 IR 카메라들을 포함한다. 또 다른 구현예에서, 카메라들은 노드들의 시스템을 형성하기 위하여 3 개의 카메라들의 그룹들로 배열되고, 각각의 노드는 2 개의 IR 카메라들 및 컬러 카메라를 가진다.
추가의 구현예에서, 비디오 시스템(100)은 또한, 레이저 패턴을 피사체(104) 상에서 투영하기 위하여 포스트(140)에 부착된 레이저(124)를 포함한다. 하나의 구현예에서, 830 nm 레이저는 레이저 패턴을 피사체 상에서 투영하기 위하여 각각의 카메라 노드 포지션으로부터 투영되고, 이것은 2 개의 IR 카메라들을 위한 콘트라스트(contrast) 및 심도 캡처 솔브를 돕는다.
추가의 구현예에서, IR 카메라들(110, 114)의 각각은 가시 광을 제거하는 필터를 포함한다. 하나의 구현예에서, 필터는 700 내지 715 nm 고역-절단(high-cut) 필터이다. 하나의 구현예에서, 비디오 시스템(100)은 또한, IR로 피사체(104)를 조명하기 위하여 피사체(104) 주위에서 위치결정된 IR 플러드라이트들(예컨대, 850 nm LED 플러드라이트들)을 포함한다. 이것은 심도 생성을 보조하기 위하여, 피사체(104) 주위의 휘도 매트(luminance matte) 및 일정한 에지가 캡처된 피사체(104)로부터 배경(102)을 분리하는 것을 허용한다. 하나의 구현예에서, 배경(102)은 심도 생성을 위한 (2 개 이상의 이미지들에서 식별된 특징들이고 참조 포인트들로서 선택되는) 결부 포인트들을 유지하기 위하여 캡처되고 있는 피사체(104) 후방에서 "블랙 홀(black hole)"을 생성하기 위하여 IR 차단 페인트(IR blocking paint)로 구성된다. 비디오 시스템(100)은 움직임으로부터의 구조를 이용하고, 심도를 측정하기 위하여 각각의 뷰(view) 사이의 이미지 결부 포인트(image tie point)들에 의존한다. 하나의 구현예에서, IR 안료는 2 개 이상의 IR 카메라들을 위한 콘트라스트 및 심도 캡처 솔브를 돕기 위하여 피사체(104)에 도포된다. 안료는 IR 광이 피부 내로 산란하는 것을 감소시키거나 정지시킨다.
시스템 동작의 하나의 예에서, 비디오 시스템은 사람의 체적계측 캡처를 위하여 이용된다. 카메라들을 셋업하기 전에, 조작자들은 최종적인 제작을 위하여 필요한 피사체의 커버리지(coverage), 예를 들어, 180 도에 대해 판정한다. 카메라들은 노드들의 시스템, 예를 들어, 3 개의 카메라들의 3 개의 행(row)들을 갖는 3 개의 포스트들 내로 배열된다. 포스트들은 최대 커버리지를 위하여 피사체 주위에서 배열된다. 카메라들은 모두 셔터 동기화된다. 그 다음으로, 비디오 시스템은 카메라들을 이용하여 피사체를 위한 이미지들 및 데이터를 캡처한다. 시스템은 결과적인 IR 데이터의 심도 솔브를 수행하고, 대응하는 컬러 카메라 데이터를 솔빙된 심도 데이터 상으로 투영한다. 시스템은 결과적인 심도 및 투영된 컬러 데이터를 최종적인 전체 캡처로 병합한다.
도 2는 본 개시내용의 하나의 구현예에 따라, 피사체의 비디오 캡처를 위한 방법(200)의 흐름도이다. 도 2의 예시된 구현예에서, 피사체를 위한 심도 솔브 데이터는 블록(210)에서, 제1 IR 카메라 및 제2 IR 카메라로부터의 데이터를 이용하여 생성된다. 또한, 투영된 컬러 데이터는 블록(220)에서, 컬러를 심도 솔브 데이터 상으로 투영하기 위하여 컬러 카메라로부터의 데이터를 이용하여 생성된다. 블록(230)에서는, 그 다음으로, 최종적인 캡처 데이터가 심도 솔브 데이터 및 투영된 컬러 데이터를 병합함으로써 생성되고, 여기서, 컬러 카메라는 제1 IR 카메라와 제2 IR 카메라 사이에서 위치결정된다.
하나의 구현예에서, 피사체는 적어도 하나의 IR 광원을 이용하여 조명된다. 추가의 구현예에서, 적어도 하나 초과의 컬러 카메라 및 적어도 2 개 초과의 IR 카메라들은 노드들의 시스템을 형성하기 위하여 3 개의 카메라들의 그룹들로 배열되고, 각각의 노드는 2 개의 적외선 카메라들 및 컬러 카메라를 가진다. 그 다음으로, 최종적인 캡처 데이터는 모든 카메라들로부터의 데이터를 이용하여 생성된다. 추가의 구현예에서, 레이저 패턴은 피사체 상에서 투영된다. 하나의 구현예에서, 레이저 패턴은 각각의 카메라 노드 포지션으로부터 투영된다. 하나의 구현예에서, 제1 IR 카메라 및 제2 IR 카메라의 각각은 가시 광을 제거하는 필터를 포함한다. 하나의 구현예에서, 필터는 700 내지 715 nm의 범위인 고역-절단 필터이다. 추가의 구현예에서는, IR 차단 페인트로 구성된 배경 패널이 제공된다. 추가의 구현예에서, IR 안료는 피사체에 도포된다.
도 3a는 본 개시내용의 구현예에 따라, 컴퓨터 시스템(300) 및 사용자(302)의 표현이다. 사용자(302)는 도 1의 비디오 시스템(100) 및 도 2의 방법(200)에 대하여 피사체의 비디오 캡처를 위한 기법을 구현하기 위한 비디오 애플리케이션(390)을 구현하기 위하여 컴퓨터 시스템(300)을 이용한다.
컴퓨터 시스템(300)은 도 3b의 비디오 애플리케이션(390)을 저장하고 실행한다. 추가적으로, 컴퓨터 시스템(300)은 소프트웨어 프로그램(304)과 통신할 수 있다. 소프트웨어 프로그램(304)은 비디오 애플리케이션(390)을 위한 소프트웨어 코드를 포함할 수 있다. 소프트웨어 프로그램(304)은 이하에서 추가로 설명되는 바와 같이, CD, DVD, 또는 저장 드라이브와 같은 외부 매체 상에서 로딩될 수 있다.
또한, 컴퓨터 시스템(300)은 네트워크(380)에 접속될 수 있다. 네트워크(380)는 다양한 상이한 아키텍처들, 예를 들어, 클라이언트-서버 아키텍처, 피어-투-피어(Peer-to-Peer) 네트워크 아키텍처, 또는 다른 유형의 아키텍처들에서 접속될 수 있다. 예를 들어, 네트워크(380)는 비디오 애플리케이션(390) 내에서 이용된 엔진들 및 데이터를 조정하는 서버(385)와 통신할 수 있다. 또한, 네트워크는 상이한 유형들의 네트워크들일 수 있다. 예를 들어, 네트워크(380)는 인터넷, 로컬 영역 네트워크(Local Area Network) 또는 로컬 영역 네트워크의 임의의 변형들, 광역 네트워크(Wide Area Network), 대도시 영역 네트워크(Metropolitan Area Network), 인트라넷(Intranet) 또는 익스트라넷(Extranet), 또는 무선 네트워크일 수 있다.
도 3b는 본 개시내용의 구현예에 따라, 비디오 애플리케이션(390)을 호스팅하는 컴퓨터 시스템(300)을 예시하는 기능적인 블록도이다. 제어기(310)는 프로그래밍가능한 프로세서이고, 컴퓨터 시스템(300) 및 그 컴포넌트들의 동작을 제어한다. 제어기(310)는 메모리(320) 또는 내장된 제어기 메모리(도시되지 않음)로부터 (예컨대, 컴퓨터 프로그램의 형태로) 명령들을 로딩하고, 시스템을 제어하기 위하여 이 명령들을 실행한다. 그 실행 시에, 제어기(310)는 피사체의 비디오 캡처를 가능하게 하기 위한 것과 같은, 소프트웨어 시스템을 갖는 비디오 애플리케이션(390)을 제공한다. 대안적으로, 이 서비스는 제어기(310) 또는 컴퓨터 시스템(300)에서의 별도의 하드웨어 컴포넌트들로서 구현될 수 있다.
메모리(320)는 컴퓨터 시스템(300)의 다른 컴포넌트들에 의한 이용을 위하여 데이터를 임시로 저장한다. 하나의 구현예에서, 메모리(320)는 RAM으로서 구현된다. 하나의 구현예에서, 메모리(320)는 또한, 플래시 메모리 및/또는 ROM과 같은 장기간 또는 영구적 메모리를 포함한다.
스토리지(330)는 컴퓨터 시스템(300)의 다른 컴포넌트들에 의한 이용을 위하여 데이터를 임시로 또는 긴 시간의 주기들 동안 중의 어느 하나로 저장한다. 예를 들어, 스토리지(330)는 비디오 애플리케이션(390)에 의해 이용된 데이터를 저장한다. 하나의 구현예에서, 스토리지(330)는 하드 디스크 드라이브이다.
미디어 디바이스(340)는 분리가능한 매체들을 수납하고, 데이터를 판독하고 및/또는 데이터를 삽입된 매체들에 기입한다. 하나의 구현예에서, 예를 들어, 미디어 디바이스(340)는 광학 디스크 드라이브이다.
사용자 인터페이스(350)는 컴퓨터 시스템(300)의 사용자로부터 사용자 입력을 받아들이고 정보를 사용자(302)에게 제시하기 위한 컴포넌트들을 포함한다. 하나의 구현예에서, 사용자 인터페이스(350)는 키보드, 마우스, 오디오 스피커들, 및 디스플레이를 포함한다. 제어기(310)는 컴퓨터 시스템(300)의 동작을 조절하기 위하여 사용자(302)로부터의 입력을 이용한다.
I/O 인터페이스(360)는 외부 스토리지 또는 보충적 디바이스들(예컨대, 프린터 또는 PDA)과 같은 대응하는 I/O 디바이스들에 접속하기 위한 하나 이상의 I/O 포트들을 포함한다. 하나의 구현예에서, I/O 인터페이스(360)의 포트들은 USB 포트들, PCMCIA 포트들, 직렬 포트들, 및/또는 병렬 포트들과 같은 포트들을 포함한다. 또 다른 구현예에서, I/O 인터페이스(360)는 외부 디바이스들과의 무선 통신을 위한 무선 인터페이스를 포함한다.
네트워크 인터페이스(370)는 이더넷(Ethernet) 접속을 지원하는 RJ-45 또는 (802.11을 포함하지만, 이것으로 제한되지는 않는) "Wi-Fi" 인터페이스와 같은, 유선 및/또는 무선 네트워크 접속을 포함한다.
컴퓨터 시스템(300)은 컴퓨터 시스템들에 전형적인 추가적인 하드웨어 및 소프트웨어(예컨대, 전력, 냉각, 오퍼레이팅 시스템)를 포함하지만, 이 컴포넌트들은 단순함을 위하여 도 3b에서 구체적으로 도시되지 않는다. 다른 구현예들에서, 컴퓨터 시스템의 상이한 구성들이 이용될 수 있다(예컨대, 상이한 버스 또는 스토리지 구성들 또는 멀티-프로세서 구성).
개시된 구현예들의 본 명세서에서의 설명은 본 기술분야에서의 임의의 통상의 기술자가 본 개시내용을 제조하거나 이용하는 것을 가능하게 하도록 제공된다. 이 구현예들에 대한 수많은 변형들은 본 기술분야에서의 통상의 기술자들에게 용이하게 분명할 것이고, 본 명세서에서 정의된 원리들은 본 개시내용의 사상 또는 범위로부터 이탈하지 않으면서 다른 구현예들에 적용될 수 있다. 따라서, 본 개시내용은 본 명세서에서 도시된 구현예들로 제한되도록 의도된 것이 아니라, 본 명세서에서 개시된 주요한 그리고 신규한 특징들과 부합하는 가장 넓은 범위를 따르도록 하기 위한 것이다.
따라서, 추가적인 변형들 및 구현예들이 또한 가능하다. 예를 들어, 영화들 또는 텔레비전을 위한 비디오 제작에 추가적으로, 시스템 및 방법들의 구현예들은 영화들, 텔레비전, 게임들, 다른 체적계측 캡처 시스템들 및 환경들을 위한 가상적 제작(예컨대, 가상 현실 환경들)과 같은 다른 애플리케이션들을 위하여, 또는 녹색 스크린 동작을 대체하기 위한 다른 캡처 시스템들에서 적용될 수 있고 적응될 수 있다.
위에서 논의된 예들의 각각의 예의 모든 특징들은 본 개시내용의 특정한 구현예에서 반드시 요구되지는 않는다. 또한, 본 명세서에서 제시된 설명 및 도면들은 본 개시내용에 의해 대략적으로 고려되는 발명 요지를 나타낸다는 것이 이해되어야 한다. 본 개시내용의 범위는 본 기술분야에서의 통상의 기술자들에게 자명해질 수 있는 다른 구현예들을 완전히 망라하고, 본 개시내용의 범위는 이에 따라, 첨부된 청구항들 이외의 어떤 것에 의해서도 제한되지 않는다는 것이 추가로 이해된다.

Claims (20)

  1. 피사체의 비디오 캡처를 위한 시스템으로서,
    상기 피사체의 비디오 데이터를 캡처하기 위한 제1 적외선(infrared)(IR) 카메라;
    상기 피사체의 상기 비디오 데이터를 캡처하기 위한 제2 IR 카메라;
    상기 피사체의 상기 비디오 데이터를 캡처하기 위한 컬러 카메라;
    포스트 - 상기 제1 IR 카메라, 상기 제2 IR 카메라, 및 상기 컬러 카메라는 상기 포스트에 부착되고, 상기 컬러 카메라는 상기 제1 IR 카메라와 상기 제2 IR 카메라 사이에서 위치결정됨 -;
    상기 피사체를 조명하기 위한 적어도 하나의 IR 광원; 및
    상기 제1 IR 카메라, 상기 제2 IR 카메라, 및 상기 컬러 카메라에 접속된 프로세서 - 상기 프로세서는: 상기 제1 IR 카메라 및 상기 제2 IR 카메라로부터의 데이터를 이용하여 상기 피사체를 위한 심도 솔브 데이터(depth solve data)를 생성하고; 컬러를 상기 심도 솔브 데이터 상으로 투영하기 위하여 상기 컬러 카메라로부터의 데이터를 이용함으로써 투영된 컬러 데이터를 생성하고; 그리고 상기 심도 솔브 데이터 및 상기 투영된 컬러 데이터를 병합함으로써 최종적인 캡처 데이터를 생성하도록 구성됨 -
    를 포함하는, 시스템.
  2. 제1항에 있어서,
    적어도 2 개 초과의 IR 카메라들; 및
    적어도 하나 초과의 컬러 카메라를 더 포함하는, 시스템.
  3. 제2항에 있어서, 상기 카메라들은 노드들의 시스템을 형성하기 위하여 3 개의 카메라들의 그룹들로 배열되고, 각각의 노드는 2 개의 적외선 카메라들 및 컬러 카메라를 가지는, 시스템.
  4. 제2항에 있어서, 상기 프로세서는 상기 최종적인 캡처 데이터를 생성하기 위하여 모든 상기 카메라들로부터의 데이터를 이용하는, 시스템.
  5. 제1항에 있어서, 레이저 패턴을 상기 피사체 상에서 투영하기 위하여 상기 포스트에 부착된 레이저를 더 포함하는, 시스템.
  6. 제5항에 있어서, 상기 레이저는 각각의 카메라 노드 포지션으로부터 투영하도록 구성되는, 시스템.
  7. 제1항에 있어서, 상기 제1 IR 카메라 및 상기 제2 IR 카메라의 각각은 가시 광을 제거하는 필터를 포함하는, 시스템.
  8. 제7항에 있어서, 상기 필터는 700 내지 715 nm의 범위인 고역-절단(high-cut) 필터인, 시스템.
  9. 제1항에 있어서,
    IR 차단 페인트로 구성된 배경 패널을 더 포함하는, 시스템.
  10. 제1항에 있어서,
    상기 피사체에 도포된 IR 안료를 더 포함하는, 시스템.
  11. 피사체의 비디오 캡처를 위한 방법으로서,
    제1 IR 카메라 및 제2 IR 카메라로부터의 데이터를 이용하여 상기 피사체를 위한 심도 솔브 데이터를 생성하는 단계;
    컬러를 상기 심도 솔브 데이터 상으로 투영하기 위하여 컬러 카메라로부터의 데이터를 이용하여 투영된 컬러 데이터를 생성하는 단계; 및
    상기 심도 솔브 데이터 및 상기 투영된 컬러 데이터를 병합함으로써 최종적인 캡처 데이터를 생성하는 단계
    를 포함하고,
    상기 컬러 카메라는 상기 제1 IR 카메라와 상기 제2 IR 카메라 사이에서 위치결정되는, 방법.
  12. 제11항에 있어서,
    적어도 하나의 IR 광원을 이용하여 상기 피사체를 조명하는 단계를 더 포함하는, 방법.
  13. 제11항에 있어서,
    노드들의 시스템을 형성하기 위하여 적어도 2 개 초과의 IR 카메라들 및 적어도 하나 초과의 컬러 카메라를 3 개의 카메라들의 그룹들로 배열하는 단계 - 각각의 노드는 2 개의 적외선 카메라들 및 컬러 카메라를 가짐 - 를 더 포함하는, 방법.
  14. 제13항에 있어서, 상기 최종적인 캡처 데이터는 모든 상기 카메라들로부터의 데이터를 이용하여 생성되는, 방법.
  15. 제11항에 있어서,
    레이저 패턴을 상기 피사체 상에서 투영하는 단계를 더 포함하는, 방법.
  16. 제15항에 있어서, 상기 레이저 패턴은 각각의 카메라 노드 포지션으로부터 투영되는, 방법.
  17. 제11항에 있어서, 상기 제1 IR 카메라 및 상기 제2 IR 카메라의 각각은 가시 광을 제거하는 필터를 포함하는, 방법.
  18. 제17항에 있어서, 상기 필터는 700 내지 715 nm의 범위인 고역-절단 필터인, 방법.
  19. 제11항에 있어서,
    IR 차단 페인트로 구성된 배경 패널을 제공하는 단계를 더 포함하는, 방법.
  20. 피사체의 비디오를 캡처하기 위한 컴퓨터 프로그램을 저장하는 비-일시적 컴퓨터-판독가능 저장 매체로서,
    상기 컴퓨터 프로그램은 실행가능한 명령들을 포함하고, 상기 실행가능한 명령들은, 컴퓨터로 하여금:
    제1 IR 카메라 및 제2 IR 카메라로부터의 데이터를 이용하여 상기 피사체를 위한 심도 솔브 데이터를 생성하게 하고;
    컬러를 상기 심도 솔브 데이터 상으로 투영하기 위하여 컬러 카메라로부터의 데이터를 이용하여 투영된 컬러 데이터를 생성하게 하고; 그리고
    상기 심도 솔브 데이터 및 상기 투영된 컬러 데이터를 병합함으로써 최종적인 캡처 데이터를 생성하게 하고,
    상기 컬러 카메라는 상기 제1 IR 카메라와 상기 제2 IR 카메라 사이에서 위치결정되는, 비-일시적 컴퓨터-판독가능 저장 매체.
KR1020227018019A 2019-12-13 2020-12-11 멀티-스펙트럼 체적계측 캡처 KR102657733B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962947684P 2019-12-13 2019-12-13
US62/947,684 2019-12-13
PCT/US2020/064513 WO2021119427A1 (en) 2019-12-13 2020-12-11 Multi-spectral volumetric capture
US17/119,003 2020-12-11
US17/119,003 US20210185297A1 (en) 2019-12-13 2020-12-11 Multi-spectral volumetric capture

Publications (2)

Publication Number Publication Date
KR20220088779A true KR20220088779A (ko) 2022-06-28
KR102657733B1 KR102657733B1 (ko) 2024-04-17

Family

ID=76320617

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227018019A KR102657733B1 (ko) 2019-12-13 2020-12-11 멀티-스펙트럼 체적계측 캡처

Country Status (7)

Country Link
US (1) US20210185297A1 (ko)
EP (1) EP4055564A4 (ko)
JP (1) JP7494298B2 (ko)
KR (1) KR102657733B1 (ko)
CN (1) CN114096995A (ko)
CA (1) CA3145844A1 (ko)
WO (1) WO2021119427A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020205541A1 (en) * 2019-03-29 2020-10-08 Flir Systems Ab Infrared and visible light imaging module arrangement for improved image processing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060210146A1 (en) * 2005-01-07 2006-09-21 Jin Gu Creating 3D images of objects by illuminating with infrared patterns
US20100231692A1 (en) * 2006-07-31 2010-09-16 Onlive, Inc. System and method for performing motion capture and image reconstruction with transparent makeup
US20120253201A1 (en) * 2011-03-29 2012-10-04 Reinhold Ralph R System and methods for monitoring and assessing mobility
US20130100256A1 (en) * 2011-10-21 2013-04-25 Microsoft Corporation Generating a depth map

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4094303B2 (ja) 2002-02-08 2008-06-04 オリンパス株式会社 立体情報取得装置及び立体情報取得方法
US7157112B2 (en) * 2004-03-26 2007-01-02 Textured Coatings Of America, Inc. Infrared reflective wall paint
CA2812021C (en) * 2012-04-04 2021-04-20 Lifetouch Inc. Photography system with depth and position detection
US8837780B2 (en) 2012-06-22 2014-09-16 Hewlett-Packard Development Company, L.P. Gesture based human interfaces
US20140192158A1 (en) * 2013-01-04 2014-07-10 Microsoft Corporation Stereo Image Matching
CA2902430C (en) 2013-03-15 2020-09-01 Uber Technologies, Inc. Methods, systems, and apparatus for multi-sensory stereo vision for robotics
US9191643B2 (en) * 2013-04-15 2015-11-17 Microsoft Technology Licensing, Llc Mixing infrared and color component data point clouds
US10523855B2 (en) * 2015-09-24 2019-12-31 Intel Corporation Infrared and visible light dual sensor imaging system
WO2018129104A1 (en) * 2017-01-03 2018-07-12 Owlii Inc. Processing holographic videos
US10771766B2 (en) * 2018-03-30 2020-09-08 Mediatek Inc. Method and apparatus for active stereo vision

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060210146A1 (en) * 2005-01-07 2006-09-21 Jin Gu Creating 3D images of objects by illuminating with infrared patterns
US20100231692A1 (en) * 2006-07-31 2010-09-16 Onlive, Inc. System and method for performing motion capture and image reconstruction with transparent makeup
US20120253201A1 (en) * 2011-03-29 2012-10-04 Reinhold Ralph R System and methods for monitoring and assessing mobility
US20130100256A1 (en) * 2011-10-21 2013-04-25 Microsoft Corporation Generating a depth map

Also Published As

Publication number Publication date
JP7494298B2 (ja) 2024-06-03
WO2021119427A1 (en) 2021-06-17
US20210185297A1 (en) 2021-06-17
CA3145844A1 (en) 2021-06-17
EP4055564A1 (en) 2022-09-14
JP2022554409A (ja) 2022-12-28
EP4055564A4 (en) 2023-01-11
KR102657733B1 (ko) 2024-04-17
CN114096995A (zh) 2022-02-25

Similar Documents

Publication Publication Date Title
US11115633B2 (en) Method and system for projector calibration
O'Toole et al. Homogeneous codes for energy-efficient illumination and imaging
JP5676264B2 (ja) 家庭用娯楽システムに利用可能な照明効果の自動識別を備えた照明管理システム
CN105392254A (zh) 一种舞台灯光排演系统
US11425283B1 (en) Blending real and virtual focus in a virtual display environment
CN104160692A (zh) 用于图像和目标增强的方法以及光照系统
JP2006040897A (ja) 色を複製する装置
US20150289338A1 (en) Automatic chroma key background generator with incident key lighting
KR102657733B1 (ko) 멀티-스펙트럼 체적계측 캡처
US11282231B2 (en) Camera rig with multiple sensors
Jockenhövel What is it if it’s not real? it’s genre—early color film and digital 3D
JP2017028430A (ja) 投影方法、投影装置及び投影プログラム
US10039995B2 (en) Arrangement for providing visual effects and related method
US20170287140A1 (en) High quality Lightning resilient segmentation system using active background
US10110865B2 (en) Lighting device, lighting system, and program
Velho et al. Vr tour: Guided participatory metanarrative for virtual reality exploration
US20230110191A1 (en) Background display device
US20230328194A1 (en) Background display device
AU781270B2 (en) Monitoring device and method
Strömgren Real-time previsualization on set
JP6403650B2 (ja) 空間像演出装置、その制御方法およびプログラム
Clark et al. American Society of Cinematographers Motion Imaging Technology Council Progress Report 2023
Siriborvornratanakul et al. ipProjector: Designs and Techniques for Geometry‐Based Interactive Applications Using a Portable Projector
Gritti et al. Automatic light scene setting through image-based sparse light effect approximation
Setkov IVORA (Image and Computer Vision for Augmented Reality): Color invariance and correspondences for the definition of a camera/video-projector system

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right