KR20220102630A

KR20220102630A - 레코딩 인디케이터들

Info

Publication number: KR20220102630A
Application number: KR1020227019906A
Authority: KR
Inventors: 저스틴 제이. 슈왑; 나다나엘 디. 파크힐; 앤드류 맥마혼; 재 이; 제롬 투; 디크 칼리노브스키; 날라카 비다나가마치치; 요한 라잔; 캠 하더; 요시카즈 시노하라
Original assignee: 애플 인크.
Priority date: 2019-12-23
Filing date: 2020-12-22
Publication date: 2022-07-20
Also published as: WO2021133773A1; US20210191133A1; CN114830621A; EP4082182A1; US20210191236A1; US20230341752A1; US11442342B2

Abstract

레코딩 인디케이터들이 쉽게 디스에이블되거나 마스킹될 수 없도록 변조로부터의 보호를 제공하는 카메라들을 갖는 디바이스들에 대한 레코딩 인디케이터들이 설명된다. 디바이스의 카메라에 통합되고 카메라 렌즈 구경을 통해 가시광을 방출하는 레코딩 인디케이터들이 설명된다. 추가적으로, 레코딩할 수 있게 하기 위해 사용자가 디바이스에 부착해야 하는 모듈식 부속품들이 설명되며; 모듈식 부착물의 존재는 환경 내의 사람들에게 그들이 레코딩되고 있을 수 있다는 것을 나타낸다.

Description

레코딩 인디케이터들

가상 현실(virtual reality, VR)은 사용자들이 몰입형 인공 환경을 경험하고/하거나 그와 상호작용하게 하고, 그에 따라, 사용자는 자신들이 물리적으로 그 환경 내에 있는 것처럼 느끼게 된다. 예를 들어, 가상 현실 시스템들은 깊이의 착각을 불러일으키기 위해 사용자들에게 입체 장면을 디스플레이할 수 있고, 컴퓨터는 장면 내에서 움직인다는 사용자의 착각을 제공하기 위해 장면 콘텐츠를 실시간으로 조정할 수 있다. 사용자가 가상 현실 시스템을 통해 이미지들을 볼 때, 사용자는 그에 따라 1인칭 시점으로부터 자신들이 장면 내에서 움직이고 있는 것처럼 느낄 수 있다. 유사하게, 혼합 현실(mixed reality, MR)은 컴퓨터 생성 정보(가상 콘텐츠로 지칭됨)를 현실 세계 이미지들 또는 현실 세계 뷰(view)와 조합하여, 사용자의 세계관을 증강시키거나 또는 그에 콘텐츠를 추가한다. 따라서, VR의 시뮬레이션된 환경들 및/또는 MR의 혼합된 환경들은, 관찰자의 환경의 실시간 뷰에 가상 콘텐츠를 추가하는 애플리케이션들과 같은 다수의 애플리케이션에, 가상 훈련 환경들과 상호작용하는 것, 게임하는 것, 드론 및 다른 기계적 시스템들을 원격으로 조종하는 것, 디지털 미디어 콘텐츠를 시청하는 것, 인터넷과 상호작용하는 것 등의 상호작용형 사용자 경험을 제공하기 위해 이용될 수 있다.

카메라들을 갖는 디바이스들 내에 레코딩 인디케이터(recording indicator)들을 제공하기 위한 방법들 및 장치의 다양한 실시예들이 설명된다. 디바이스(예를 들어, 모바일, 핸드헬드 디바이스(handheld device) 또는 머리-장착형 디바이스(head-mounted device, HMD))는 사용자의 환경의 정지 이미지들 또는 비디오 프레임들을 캡처하는 데 사용될 수 있는 하나 이상의 카메라들을 포함할 수 있다. 적어도 일부 디바이스들에서, 디바이스는 사용자가 카메라(들)에 의해 캡처된 실제 환경의 이미지들 또는 비디오를 레코딩할 수 있게 하는 레코딩 기능성을 포함할 수 있다. 레코딩 인디케이터들이 쉽게 디스에이블(disable)되거나 마스킹(masking)될 수 없도록 변조(tampering)로부터의 보호를 제공하는 디바이스들에 대한 레코딩 인디케이터들의 다양한 실시예들이 설명된다.

디바이스의 카메라에 통합되고 카메라 렌즈 구경을 통해 가시광을 방출하는 레코딩 인디케이터들의 실시예들이 설명된다. 레코딩 인디케이터들은 프레임 캡처 (노출) 기간들 사이의 기간들에 카메라 렌즈를 통해 광을 방출하는 카메라 내부의 광원들(예를 들어, LED 광들)을 포함한다. 레코딩 인디케이터들은 카메라에 통합되어 있기 때문에, 그들은 쉽게 기계적으로 디스에이블될 수 없다. 또한, 레코딩 인디케이터들은 카메라 렌즈를 통해 광을 방출하기 때문에, 인디케이터 위에 테이프를 붙이는 것은 카메라가 레코딩하지 못하게 할 것이다.

일부 실시예들에서, 광학 소자(예를 들어, 프리즘)가 렌즈통 앞에 위치될 수 있다. 소자의 제1 표면(S1)은 카메라 앞의 물체 필드를 향한다. 소자의 제2 표면(S2)은 렌즈통을 향한다. 레코딩 인디케이터(예를 들어, 하나 이상의 LED들)는 소자의 표면(S2)에 위치될 수 있다. 물체 필드로부터의 광은 소자의 표면(S1) 및 제3(S3)을 통해 렌즈통으로 전달된다. 레코딩 인디케이터는 소자의 표면(S2)을 통해 광의 펄스들을 방출하고; 레코딩 인디케이터로부터의 광은 이어서, 소자의 표면(S3)에서 (예를 들어, 표면(S3)에서의 내부 전반사(total internal reflection, TIR)를 통해) 반사되고, 소자의 표면(S1)을 통해 빠져나가, 카메라의 시야를 효과적으로 커버(cover)하는 가시광을 제공한다.

디바이스의 비디오 카메라들에 대한 변조-방지 레코딩 인디케이터 솔루션들로서 전술된 바와 같은 내부 가시광 레코딩 인디케이터들을 사용하는 것 외에도, 사용자가 디바이스의 카메라로 레코딩하고 있을 수 있다는 표시들을 제공하기 위한 모듈식 솔루션들의 실시예들이 설명된다. 일부 실시예들에서, 디바이스에 대한 전체 레코딩 기능성을 포함하는 모듈식 부속품이 제공될 수 있다. 비디오를 레코딩하기 위해, 사용자는 디바이스에 부속품을 부착해야 한다. 대안적으로, 일부 실시예들에서, 통합된 카메라로 레코딩을 할 수 있게 하기 위해, 사용자가 디바이스에 부착해야 하는 모듈식 "키"가 제공될 수 있다. 두 경우 모두에서, 모듈식 부착물의 존재는, 환경 내의 사람들에게 그들이 레코딩되고 있을 수 있다는 것을 나타낼 것이다. 전술한 바와 같은 내부 가시광 레코딩 인디케이터들은 모듈식 솔루션들 중 어느 하나와 조합하여 사용될 수 있다는 점에 유의한다.

도 1은 일부 실시예들에 따른, 레코딩 인디케이터를 구현할 수 있는 카메라를 포함하는 예시적인 디바이스를 예시한다.
도 2a 내지 도 2c는 일부 실시예들에 따른, 카메라 내의 레코딩 인디케이터 컴포넌트들 및 방법들을 예시한다.
도 3은 일부 실시예들에 따른, 예시적인 카메라를 예시한다.
도 4는 일부 실시예들에 따른, 이미지 센서에 또는 그 근처에 위치된 레코딩 인디케이터를 포함하는, 도 3에 예시된 바와 같은 예시적인 카메라를 예시한다.
도 5는 일부 실시예들에 따른, 렌즈통의 이미지 측과 이미지 센서 사이에 위치된 레코딩 인디케이터를 포함하는, 도 3에 예시된 바와 같은 예시적인 카메라를 예시한다.
도 6은 일부 실시예들에 따른, 카메라 구경 조리개의 이미지 측에 위치된 레코딩 인디케이터를 포함하는, 도 3에 예시된 바와 같은 예시적인 카메라를 예시한다.
도 7은 일부 실시예들에 따른, 렌즈통 내에서 카메라 구경 조리개의 물체 측 상에, 예를 들어, 렌즈통 내의 제1 (대물) 렌즈에 위치된 레코딩 인디케이터를 포함하는, 도 3에 예시된 바와 같은 예시적인 카메라를 도시한다.
도 8은 일부 실시예들에 따른, 도 2a 내지 도 7에 예시된 바와 같은 디바이스 내에 레코딩 인디케이터를 제공하기 위한 방법의 흐름도이다.
도 9a 및 도 9b는 일부 실시예들에 따른, 암호화된 패턴으로 광 펄스들을 생성하는, 카메라 렌즈 주위의 광 요소들의 링을 포함하는 레코딩 인디케이터를 예시한다.
도 10은 일부 실시예들에 따른, 도 9a 및 도 9b에 예시된 바와 같은 디바이스 내에 레코딩 인디케이터를 제공하기 위한 방법의 흐름도이다.
도 11은 일부 실시예들에 따른, 카메라 렌즈 앞에 프리즘을 포함하는 레코딩 인디케이터를 예시한다.
도 12는 일부 실시예들에 따른 예시적인 머리-장착형 디바이스(HMD)를 예시한다.
도 13은 일부 실시예들에 따른, HMD용 모듈식 카메라 부속품을 예시한다.
도 14는 일부 실시예들에 따른, HMD 카메라에 대한 레코딩 기능성을 인에이블(enable)하기 위한 "키"로서 동작하는 HMD용 모듈식 부속품을 예시한다.
도 15a 내지 도 15c는 일부 실시예들에 따른, 도 2 내지 도 14에 예시된 바와 같은 레코딩 인디케이터들을 디바이스에 제공하기 위한 컴포넌트들을 포함하고 방법들을 구현할 수 있는 예시적인 시스템들을 예시하는 블록도들이다.
본 명세서는 "일 실시예" 또는 "실시예"에 대한 언급들을 포함한다. "일 실시예에서" 또는 "실시예에서"라는 문구들의 등장들은 반드시 동일한 실시예를 지칭하는 것은 아니다. 특정 특성들, 구조들, 또는 특징들은 본 개시내용에 부합하는 임의의 적합한 방식으로 조합될 수 있다.
"포함하는(Comprising)". 이러한 용어는 개방형(open-ended)이다. 청구범위에서 사용되는 바와 같이, 이러한 용어는 부가적인 구조 또는 단계들을 배제(foreclose)하지 않는다. "... 하나 이상의 프로세서 유닛들을 포함하는 장치"를 언급하는 청구항을 고려한다. 그러한 청구항은 장치가 추가적인 컴포넌트들(예컨대, 네트워크 인터페이스 유닛, 그래픽 회로부 등)을 포함하는 것을 배제하지 않는다.
"~하도록 구성되는(configured to)". 다양한 유닛들, 회로들 또는 다른 컴포넌트들이 태스크 또는 태스크들을 수행"하도록 구성"되는 것으로 설명되거나 청구될 수 있다. 그러한 문맥들에서, "~하도록 구성되는"은 유닛들/회로들/컴포넌트들이 동작 동안에 그들 태스크 또는 태스크들을 수행하는 구조물(예를 들어, 회로부)을 포함한다는 것을 표시함으로써 구조물을 내포하는 데 사용된다. 이와 같이, 유닛/회로/컴포넌트는, 특정된 유닛/회로/컴포넌트가 현재 동작중이지 않은 경우(예를 들어, 켜진 상태가 아닌 경우)에도 태스크를 수행하도록 구성되는 것으로 칭해질 수 있다. "~하도록 구성되는"이라는 문구와 함께 사용되는 유닛들/회로들/컴포넌트들은 하드웨어 - 예를 들어, 회로들, 동작을 구현하도록 실행가능한 프로그램 명령어들을 저장하는 메모리 등 -를 포함한다. 유닛/회로/컴포넌트가 하나 이상의 태스크들을 수행"하도록 구성"됨을 언급하는 것은 그 유닛/회로/컴포넌트에 대해 미국 특허법 35 U.S.C. § 112, (f) 문단 규정이 적용되지 않도록 하기 위한 의도의 명시이다. 추가로, "~하도록 구성되는"은 사안이 되는 태스크(들)를 수행할 수 있는 방식으로 동작하도록 소프트웨어 또는 펌웨어(예컨대, FPGA 또는 소프트웨어를 실행하는 범용 프로세서)에 의해 조작되는 일반 구조물(예를 들어, 일반 회로부)을 포함할 수 있다. "~하도록 구성되는"은 또한 하나 이상의 태스크들을 구현하거나 수행하도록 적응된 디바이스들(예를 들어, 집적 회로들)을 제조하도록 제조 프로세스(예를 들어, 반도체 제조 설비)를 적응하는 것을 포함할 수 있다.
"제1", "제2", 등. 본 명세서에서 사용되는 바와 같이, 이러한 용어들은 이들이 선행하고 있는 명사들에 대한 라벨들로서 사용되고, 임의의 유형의(예를 들어, 공간적, 시간적, 논리적 등) 순서를 암시하는 것은 아니다. 예를 들어, 버퍼 회로는 "제1" 및 "제2" 값들에 대한 기입 동작들을 수행하는 것으로서 본 명세서에 설명될 수 있다. 용어들 "제1" 및 "제2"는 반드시 제1 값이 제2 값 전에 기입되어야 한다는 것을 암시하지는 않는다.
"~에 기초하여" 또는 "~에 따라". 본 명세서에서 사용되는 바와 같이, 이 용어들은 결정에 영향을 주는 하나 이상의 인자들을 기술하는 데 사용된다. 이 용어들은 결정에 영향을 줄 수 있는 추가적 인자들을 배제하지 않는다. 즉, 결정은 오직 그들 인자들에만 기초하거나 또는 그들 인자들에 적어도 부분적으로 기초할 수 있다. "B에 기초하여 A를 결정한다"라는 문구를 고려한다. 이러한 경우에, B가 A의 결정에 영향을 주는 인자이기는 하지만, 그러한 문구는 A의 결정이 또한 C에도 기초하는 것임을 배제하지 않는다. 다른 예시들에서, A는 오직 B에만 기초하여 결정될 수 있다.
"또는". 청구범위에 사용될 때, 용어 "또는"은 포괄적인 '또는'으로서 사용되고 배타적인 '또는'으로서 사용되지 않는다. 예를 들어, 문구 "x, y, 또는 z 중 적어도 하나"는 x, y, 및 z 중 어느 하나뿐만 아니라 이들의 임의의 조합을 의미한다.

디바이스들 내에 레코딩 인디케이터들을 제공하기 위한 방법들 및 장치의 다양한 실시예들이 설명된다. 본 명세서에 설명된 레코딩 인디케이터 방법들 및 장치의 실시예들은, 예를 들어, 모바일, 핸드헬드 디바이스들, 예컨대, 스마트폰들, 및 태블릿 또는 패드 디바이스들 내의 카메라들에 적용될 수 있다. 도 1은 일부 실시예들에 따른, 레코딩 인디케이터를 구현할 수 있는 카메라를 포함하는 예시적인 핸드헬드 디바이스를 예시한다. 디바이스(100)는, 예를 들어, 스마트폰 또는 태블릿 또는 패드 디바이스일 수 있다. 디바이스(100)는 하나의 측면(전면으로 언급됨) 상에 디스플레이 스크린(102)을 포함하고 반대 측면(후면으로 언급됨) 상에 하나 이상의 카메라들(150)을 포함할 수 있다. 도 1은 디바이스(100)의 후면의 뷰를 도시한다. 그러나, 디바이스는 또한, 전면 상에 하나 이상의 카메라들을 포함할 수 있다는 것에 유의한다. 일부 실시예들에서, 카메라(150)는, 카메라(150)에 통합된 LED들이 카메라의 시야를 효과적으로 커버하는 가시광을 제공하도록 카메라 렌즈 구경을 통해 가시광을 방출하는, 도 2a 내지 도 2c 및 도 4 내지 도 7에 예시된 바와 같은 레코딩 인디케이터(158) 기술을 포함할 수 있다. 일부 실시예들에서, 카메라(150)는, 카메라(150) 렌즈 주위에 배열된 LED들이 암호화된 패턴으로 가시광을 방출하는, 도 9a 및 도 9b에 예시된 바와 같은 레코딩 인디케이터(158) 기술을 포함할 수 있다. 일부 실시예들에서, 카메라(150)는, 광학 소자(예를 들어, 프리즘)가 카메라(150)의 렌즈통의 앞에 위치되는, 도 11에 예시된 바와 같은 레코딩 인디케이터(158) 기술을 포함할 수 있다. 일부 실시예들에서, 도 14에 예시된 바와 같은 모듈식 "키"가 카메라(150)에 의한 레코딩을 할 수 있게 하기 위해 디바이스(100)에 부착되어야 할 수 있다.

디바이스(100)는, 다양한 유형의 프로세서들, 이미지 신호 프로세서(image signal processor, ISP)들, 그래픽 프로세싱 유닛(graphics processing unit, GPU)들, 코더/디코더들(코덱들), 시스템 온 칩(system on a chip, SOC), 중앙 프로세싱 유닛(central processing unit, CPU)들, 및/또는 비디오 및/또는 이미지들을 프로세싱 및 렌더링(rendering)하기 위한 다른 컴포넌트들 중 하나 이상을 포함할 수 있는 제어기(160)를 포함할 수 있다. 제어기(160)는, 예를 들어, 카메라(들)(150)로부터 획득된 입력들에 적어도 부분적으로 기초하여 프레임들을 렌더링할 수 있고, 예를 들어, 디스플레이 스크린(102)에 프레임들을 제공할 수 있다.

디바이스(100)는, 예를 들어, 하나 이상의 카메라들(150)에 의해 캡처된 비디오 또는 이미지들을 레코딩하는 데 사용될 수 있는 메모리(170)를 포함할 수 있다. 메모리(170)는, 동적 랜덤 액세스 메모리(DRAM), 동기식 DRAM(SDRAM), 더블 데이터 레이트(DDR, DDR2, DDR3 등) SDRAM(mDDR3 등과 같은 모바일 버전들의 SDRAM들, 또는 LPDDR2 등과 같은 저전력 버전들의 SDRAM들을 포함함), RDRAM(RAMBUS DRAM), 정적 RAM(SRAM) 등과 같은 임의의 유형의 메모리를 포함할 수 있다. 일부 실시예들에서, 하나 이상의 메모리 디바이스들은 단일 인라인 메모리 모듈(SIMM)들, 듀얼 인라인 메모리 모듈(DIMM)들 등과 같은 메모리 모듈들을 형성하기 위해 회로 보드 상에 결합될 수 있다. 대안적으로, 디바이스들에는 칩-온-칩 구성, 패키지-온-패키지 구성, 또는 멀티-칩 모듈 구성으로 시스템을 구현하는 집적 회로가 실장될 수 있다.

레코딩 인디케이터들이 쉽게 디스에이블되거나 마스킹될 수 없도록 변조로부터의 보호를 제공하는, 도 1에 예시된 바와 같은, 모바일, 핸드헬드 디바이스들을 포함하지만 이에 제한되지 않는, 디바이스들에 대한 레코딩 인디케이터들의 다양한 실시예들이 설명된다.

디바이스의 카메라에 통합되고 카메라 렌즈 구경을 통해 가시광을 방출하는 레코딩 인디케이터들의 실시예들이 설명된다. 레코딩 인디케이터들은 프레임 캡처 (노출) 기간들 사이의 기간들에 카메라 렌즈를 통해 광을 방출하는 광원들(예를 들어, LED 광들)을 포함한다. 레코딩 인디케이터들은 카메라에 통합되어 있기 때문에, 그들은 쉽게 기계적으로 디스에이블될 수 없다. 또한, 레코딩 인디케이터들은 카메라 렌즈를 통해 광을 방출하기 때문에, 인디케이터 위에 테이프를 붙이는 것은 카메라가 레코딩하지 못하게 할 것이다.

디바이스의 카메라 외부에 있는 레코딩 인디케이터들의 실시예들이 또한 설명된다. 이들 실시예들은 암호화된 패턴으로 가시광을 방출할 수 있는, 카메라 렌즈 주위에 배열된 하나 이상의 광원들(예를 들어, LED 광들)을 포함할 수 있다. LED들은 카메라 렌즈 주위에 가깝게 배열될 수 있으며, 이는, 예를 들어, 테이프를 사용하여 LED들을 차단하기 어렵게 만들 수 있다. 추가적으로, 방출된 광 패턴은 환경 내의 하나 이상의 물체들 또는 표면들로부터 반사되어 카메라에 의해 캡처될 수 있다. 디바이스 제어기는 암호화된 패턴을 검출하기 위해 캡처된 프레임들을 프로세싱할 수 있다. (예를 들어, 사용자가 LED들을 차단하거나 디스에이블했기 때문에) 암호화된 패턴을 검출할 수 없는 경우, 제어기는 카메라에 의해 캡처되는 비디오의 레코딩을 디스에이블할 수 있다. 디바이스 제어기는 또한, 프레임들을 레코딩하거나 추가로 프로세싱하기 전에, 캡처된 프레임들로부터 암호화된 패턴을 제거하거나 감소시키기 위한 방법들을 구현할 수 있다.

디바이스들 내의 비디오 카메라들에 대한 변조-방지 레코딩 인디케이터 솔루션들로서 전술된 바와 같은 내부 또는 외부 가시광 레코딩 인디케이터들을 사용하는 것 외에도, 사용자가 디바이스의 카메라로 레코딩하고 있을 수 있다는 표시들을 제공하기 위한 모듈식 솔루션들의 실시예들이 설명된다. 일부 실시예들에서, 디바이스에 대한 전체 레코딩 기능성을 포함하는 모듈식 부속품이 제공될 수 있다. 비디오를 레코딩하기 위해, 사용자는 디바이스에 부속품을 부착해야 한다. 대안적으로, 일부 실시예들에서, 통합된 카메라로 레코딩을 할 수 있게 하기 위해, 사용자가 디바이스에 부착해야 하는 모듈식 "키"가 제공될 수 있다. 두 경우 모두에서, 모듈식 부착물의 존재는, 환경 내의 사람들에게 그들이 레코딩되고 있을 수 있다는 것을 나타낼 것이다. 전술한 바와 같은 내부 또는 외부 가시광 레코딩 인디케이터들은 모듈식 솔루션들 중 어느 하나와 조합하여 사용될 수 있다는 점에 유의한다.

본 명세서에 설명된 레코딩 인디케이터 방법들 및 장치의 실시예들은 스마트폰들, 태블릿 또는 패드 디바이스들 내의 카메라들, HMD들 내의 카메라들, 핸드헬드 비디오 카메라들, 휴대폰들 내의 카메라들, 랩톱 또는 데스크톱 컴퓨터 시스템들 내의 카메라들, 및 감시 비디오 카메라들을 포함하지만 이에 제한되지 않는, 다양한 디바이스들 및 시스템들 내의 카메라들에 적용될 수 있다.

도 2a 내지 도 2c는 일부 실시예들에 따른, 카메라 렌즈 구경을 통해 광을 방출하기 위한 레코딩 인디케이터 컴포넌트들 및 방법들을 예시한다.

도 2a는 일부 실시예들에 따른, 예시적인 카메라(250)의 컴포넌트들을 예시하는 블록도이다. 카메라(250)는 하나 이상의 굴절 렌즈 요소들 및 적어도 하나의 구경 조리개를 포함하지만 이에 제한되지 않는, 렌즈통(254)을 포함하지만, 이에 제한되지는 않는다. 카메라(250)는 또한, 노출 기간들 동안 픽셀들을 노출시키도록 구성된 이미지 센서(256)를 포함한다. 요소(252)는 카메라(250) 앞의 사람들에게 가시적일 수 있는 카메라(250)의 "구경"을 예시하고, 또한 카메라(250)의 시야에 대응할 수 있다. 레코딩 인디케이터(258)는 카메라(250)에 통합된다. 레코딩 인디케이터(258)는 프레임 캡처 (노출) 기간들 사이의 기간들에 카메라 구경(252)을 통해 광 펄스들을 방출하는 하나 이상의 광원들(예를 들어, LED 광들)을 포함할 수 있지만, 이에 제한되는 것은 아니다. 레코딩 인디케이터(258)가 이미지들을 캡처하는 데 사용되는 것과 동일한 구경(252)을 통해 광 펄스들을 방출하기 때문에, 레코딩 인디케이터(258)는 카메라의 시야 내에 있는 모든 사람들에게 가시적일 수 있다. 레코딩 인디케이터(258)는 카메라(250)에 통합되어 있기 때문에, 그것은 쉽게 기계적으로 디스에이블될 수 없다. 또한, 레코딩 인디케이터(258)는 이미지들을 캡처하는 데 사용되는 것과 동일한 구경(252)을 통해 광을 방출하기 때문에, 인디케이터(258) 위에 테이프를 붙이는 것은 카메라(250)가 레코딩하지 못하게 할 것이다. 카메라(250)는, 비디오를 레코딩하지 않는 동안, 디바이스 제어기로 프로세싱할 프레임들을 캡처하도록 동작할 수 있으며, 이러한 경우에, 레코딩 인디케이터(258)는 디스에이블될 수 있다는 것에 유의한다.

도 2b 및 도 2c는 비-노출 기간들 동안 광들의 펄스들을 방출하는 레코딩 인디케이터(258)를 그래프로 예시한다. 도 2b는, 픽셀들이 카메라(250)의 이미지 센서(256)에 의해 노출되고 있을 때의 기간들을 그래프로 도시한다. 도 2b에 도시된 바와 같이, 카메라(250)는, 픽셀들이 노출되고 있지 않을 때의 프레임 캡처들 사이에 짧은 기간들이 존재하도록 구성될 수 있다. 예를 들어, 카메라(250)는 초당 30 또는 60개 프레임들의 프레임 레이트로 프레임들을 캡처할 수 있다. 도 2c에 도시된 바와 같이, 레코딩 인디케이터(258)가 카메라 구경(252)을 통해 광의 펄스들을 방출하는, 프레임 캡처들 사이의 비교적 짧은 비-노출 기간들이 제공될 수 있다. 도 2b 및 도 2c에 도시된 바와 같은 비-노출 기간들 동안 광의 펄스들을 방출하는 것은 레코딩 인디케이터(258)에 의해 방출된 광이 노출 기간들 동안 캡처된 광과 간섭하는 것을 방지할 수 있다.

레코딩 인디케이터(258)는 다양한 방식들 중 임의의 방식으로 구현될 수 있다. 도 3 내지 도 7은, 도 2a 내지 도 2c에 예시된 바와 같이, 비-노출 기간들 동안 카메라 렌즈 구경을 통해 광의 펄스들을 방출하는 레코딩 인디케이터들의 몇몇 예시적인 실시예들을 예시한다.

도 3은 렌즈통(354), 이미지 센서(356), 및 렌즈통(354)과 이미지 센서(356) 사이에 위치된 선택적 요소(357)(예를 들어, 적외선(infrared, IR) 필터)를 포함하지만, 이에 제한되지 않는, 예시적인 카메라(350)를 도시한다. 렌즈통(354)은 렌즈통 내에 위치된 하나 이상의 굴절 렌즈 요소들(이러한 예에서는, 4개의 렌즈 요소들) 및 구경 조리개(355)를 포함할 수 있지만, 이에 제한되지 않는다. 렌즈 요소들의 수 및 형상이 예들로서 제공되며, 제한하려는 의도가 아님에 유의한다. 렌즈통(354) 내의 렌즈 요소들은, 이미지 센서(356)의 표면에의 또는 그 근처의 이미지 평면에 이미지를 형성하기 위해, 구경(355)을 통해 카메라(350) 앞의 시야(352)로부터 수신된 광을 굴절시킨다. 이미지 센서(356)는 도 2b에 예시된 바와 같은 노출 기간 동안 프레임들을 캡처하도록 구성될 수 있다.

도 4는 이미지 센서(456)에 또는 그 근처에 위치된 레코딩 인디케이터(458)를 포함하는, 도 3에 예시된 바와 같은 예시적인 카메라(450)를 도시한다. 예를 들어, 레코딩 인디케이터(458)는 이미지 센서(456)의 주변부 주위에 배열된 2개 이상의 광원들(예를 들어, LED들)을 포함할 수 있다. 레코딩 인디케이터(458)는, 도 2b 및 도 2c에 예시된 바와 같이, 비-노출 기간들 동안 광 펄스들을 방출하도록 구성될 수 있다. 렌즈통(454) 내의 렌즈 요소들은 카메라(450)의 시야(452)를 효과적으로 커버하는 가시광을 제공하기 위해, 방출된 광을 구경(455)을 통해 굴절시킨다.

도 5는 렌즈통의 이미지 측과 이미지 센서(556) 사이에 위치된 레코딩 인디케이터(558)를 포함하는, 도 3에 예시된 바와 같은 예시적인 카메라(550)를 도시한다. 카메라(550)는 렌즈통과 이미지 센서(556) 사이에 위치된 선택적 요소(557)를 포함할 수 있지만, 반드시 포함하는 것은 아니다. 요소(557)는, 예를 들어, 이미지 센서(556)의 물체 측 표면 상에 또는 그 근처에 위치된 IR 필터 또는 일부 다른 유형의 필터, 편광자, 커버 유리일 수 있다. 예를 들어, 레코딩 인디케이터(558)는 렌즈통 내의 마지막 렌즈 요소의 이미지 측의 주변부 주위에 배열된 2개 이상의 광원들(예를 들어, LED들)을 포함할 수 있다. 레코딩 인디케이터(558)는, 도 2b 및 도 2c에 예시된 바와 같이, 비-노출 기간들 동안 이미지 센서(556)를 향해 광 펄스들을 방출하도록 구성될 수 있다. 선택적 요소(557)가 존재하는 경우, 광 펄스들은 요소(557)의 표면에서 렌즈통(554)을 향해 반사될 수 있다. 대안적으로, 선택적 요소(557)가 존재하지 않는 경우, 광 펄스들은 센서(556)의 표면에서 반사될 수 있다. 렌즈통(554) 내의 렌즈 요소들은 카메라(550)의 시야(552)를 효과적으로 커버하는 가시광을 제공하기 위해, 반사된 광을 구경(555)을 통해 굴절시킨다.

도 6은 카메라 구경 조리개(655)의 이미지 측에 위치된 레코딩 인디케이터(658)를 포함하는, 도 3에 예시된 바와 같은 예시적인 카메라(650)를 도시한다. 예를 들어, 레코딩 인디케이터(658)는 카메라 구경 조리개(655)의 이미지 측에 위치된 유리 또는 플라스틱 요소(659)(예를 들어, 유리 또는 플라스틱 판)의 외부 에지 주위에 배열된 2개 이상의 광원들(예를 들어, LED들)을 포함할 수 있다. 레코딩 인디케이터(658)의 LED들은, 도 2b 및 도 2c에 예시된 바와 같이, 비-노출 기간들 동안 요소(659)의 외부 에지로 광 펄스들을 방출하도록 구성될 수 있다. 광 펄스들은 구경 조리개(655)에서 요소(659)를 빠져나가기 전에, 예를 들어, 요소(659)의 표면들의 내부 전반사(TIR)를 통해, 구경 조리개(655)를 향해 표면들에서 1회 이상 반사될 수 있다. 대안적으로, 요소(659)는 홀로그래픽 요소 또는 도파관일 수 있으며, 이를 통해 LED들에 의해 방출된 광이 구경 조리개(655)에서 빠져나가도록 요소(659)의 외부 에지로부터 "안내"된다. t(650).

도 7은 렌즈통(754) 내에서 카메라 구경 조리개(755)의 물체 측 상에, 예를 들어, 렌즈통(754) 내의 제1 (대물) 렌즈에 위치된 레코딩 인디케이터(758)를 포함하는, 도 3에 예시된 바와 같은 예시적인 카메라(750)를 도시한다. 예를 들어, 레코딩 인디케이터(758)는 렌즈통(754) 내의 제1 (대물) 렌즈의 외측 에지 또는 플랜지(flange) 주위에 배열된 2개 이상의 광원들(예를 들어, LED들)을 포함할 수 있다. 레코딩 인디케이터(758)의 LED들은, 도 2b 및 도 2c에 예시된 바와 같이, 비-노출 기간들 동안 렌즈의 외부 에지 또는 플랜지(S2)로 광 펄스들을 방출하도록 구성될 수 있다. 광 펄스들은, 예를 들어, 이미지 측 표면의 내부 전반사(TIR)를 통해 렌즈의 내부 (이미지 측) 표면(S3)에서 반사되고, 이어서 렌즈의 외부 (물체 측) 표면(S1)을 통해 렌즈를 빠져나가, 카메라(750)의 시야(752)를 효과적으로 커버하는 가시광을 제공할 수 있다.

도 8은 일부 실시예들에 따른, 도 2a 내지 도 7에 예시된 바와 같은 디바이스 내에 레코딩 인디케이터를 제공하기 위한 방법의 고레벨 흐름도이다. (800)에 나타낸 바와 같이, 카메라의 이미지 센서가 프레임을 생성하기 위해 노출 기간 동안 카메라 렌즈를 통해 굴절된 광을 캡처한다. (810)에 나타낸 바와 같이, 레코딩 인디케이터는, 카메라가 카메라의 시야를 효과적으로 커버하는 레코딩을 하고 있다는 표시를 제공하기 위해, 프레임 캡처들 사이의 비-노출 기간 동안 카메라 렌즈를 통해 광의 펄스를 방출한다. 요소(800)로 복귀하는 화살표로 나타낸 바와 같이, 이러한 프로세스는 카메라가 비디오를 캡처 및 레코딩하고 있는 한 계속된다. 카메라는, 비디오를 레코딩하지 않는 동안, 디바이스 제어기로 프로세싱할 프레임들을 캡처하도록 여전히 동작할 수 있으며, 이러한 경우에, 레코딩 인디케이터는 디스에이블될 수 있다는 것에 유의한다.

도 9a, 도 9b 및 도 10은 디바이스의 카메라의 외부에 있는 레코딩 인디케이터들의 실시예들을 예시한다.

도 9a 및 도 9b는 일부 실시예들에 따른, 암호화된 패턴으로 광 펄스들을 생성하는, 카메라 렌즈(954) 주위의 광 요소들(959)의 링을 포함하는 레코딩 인디케이터(958)를 예시한다. 도 9a에 도시된 바와 같이, 레코딩 인디케이터(958)에 의해 방출되는 광은, 카메라(950)가 카메라(950)의 시야를 효과적으로 커버하는 레코딩을 하고 있다는 표시를 제공할 수 있다. 광 요소들(959)(예를 들어, LED들)은, 도 9b에 도시된 바와 같이, 카메라 렌즈(954) 주위에 가깝게 배열될 수 있으며, 이는, 예를 들어, 테이프를 사용하여 LED들을 차단하기 어렵게 만들 수 있다. 추가적으로, 방출된 광 패턴은 환경 내의 하나 이상의 물체들 또는 표면들로부터 반사되어 카메라(950)에 의해 캡처될 수 있다. 환경으로부터의 반사된 광 대신에 또는 이에 더하여, 광 요소들(959)로부터의 적어도 일부 광은 카메라 렌즈(954)로 직접 되돌아갈 수 있다. 디바이스 제어기(960)는 암호화된 패턴을 검출하도록 캡처된 프레임들을 프로세싱할 수 있다. (예를 들어, 사용자가 LED들을 차단하거나 디스에이블했기 때문에) 암호화된 패턴을 검출할 수 없는 경우, 제어기(960)는 카메라(950)가 캡처한 비디오의 레코딩을 디스에이블할 수 있다. 디바이스 제어기(960)는 또한, 프레임들을 레코딩하거나 추가로 프로세싱하기 전에, 캡처된 프레임들로부터 암호화된 패턴을 제거하거나 감소시키기 위한 방법들을 구현할 수 있다.

도 10은 일부 실시예들에 따른, 도 9a 및 도 9b에 예시된 바와 같은 디바이스 내에 레코딩 인디케이터를 제공하기 위한 방법의 흐름도이다. (1000)에 나타낸 바와 같이, 레코딩 인디케이터가 암호화된 패턴으로 광의 펄스들을 방출한다. (1010)에 나타낸 바와 같이, 광 패턴이 환경 내의 물체들 또는 표면들에서 반사되어, 카메라의 이미지 센서에 의해 프레임들에 캡처된다. (1020)에 나타낸 바와 같이, 디바이스 제어기가 암호화된 패턴을 찾기 위해 캡처된 프레임들 중 하나 이상을 프로세싱한다. (1030)에서, 패턴이 검출되는 경우, 레코딩 모드가 (1040)에 나타낸 바와 같이 카메라에 대해 인에이블될 수 있다. 그렇지 않으면, 레코딩 모드는 (1050)에 나타낸 바와 같이 디스에이블될 수 있다. 카메라는 레코딩 모드가 디스에이블되는 동안 디바이스 제어기에 의해 프로세싱할 프레임들을 캡처하도록 여전히 동작할 수 있고, 제어기는, 레코딩 모드가 인에이블될 때 그리고 레코딩 모드가 디스에이블될 때, 이미지 센서에 의해 캡처된, 레코딩 인디케이터로부터 방출된 광에 의해 형성된 암호화된 패턴을 검출하기 위해 카메라에 의해 캡처된 비디오 프레임들을 계속 프로세싱할 수 있다.

일부 실시예들에서, 암호화된 패턴은, 사용자에 의한 패턴의 "스푸핑(spoofing)"을 방지하기 위해 사용자에 의해 레코딩이 개시될 때마다 무작위로 선택될 수 있다.

도 10에 도시되지 않았지만, 디바이스 제어기는 또한, 프레임들을 레코딩하거나 추가로 프로세싱하기 전에, 캡처된 프레임들로부터 암호화된 패턴을 제거하거나 감소시키기 위한 방법들을 구현할 수 있다.

도 11은 일부 실시예들에 따른, 카메라 렌즈 앞에 프리즘을 포함하는 레코딩 인디케이터를 예시한다. 카메라(1150)는 렌즈통(1154) 및 이미지 센서(1156)를 포함할 수 있지만, 이에 제한되지는 않는다. 광학 소자(1180)(예를 들어, 프리즘)가 렌즈통(1154) 앞에 위치될 수 있다. 소자(1180)의 표면(S1)은 카메라(1150) 앞의 물체 필드를 향한다. 소자(1180)의 표면(S2)은 렌즈통(1154)을 향한다. 레코딩 인디케이터(1158)(예를 들어, 하나 이상의 LED들)는 소자(1180)의 표면(S2)에 위치될 수 있다. 물체 필드로부터의 광은 소자(1180)의 표면들(S1, S3)을 통해 렌즈통(1154)으로 전달된다. 레코딩 인디케이터(1158)는 소자(1180)의 표면(S2)을 통해 광의 펄스들을 방출하고; 레코딩 인디케이터(1158)로부터의 광은 이어서, 소자(1180)의 표면(S3)에서 (예를 들어, 표면(S3)에서의 내부 전반사(TIR)를 통해) 반사되고, 소자(1180)의 표면(S1)을 통해 빠져나가, 카메라(1150)의 시야를 효과적으로 커버하는 가시광을 제공한다.

도 11에 나타낸 바와 같은 레코딩 인디케이터 시스템은, 도 2b 및 도 2c에 도시된 바와 같이, 비-노출 기간들 동안 광의 펄스들을 방출하도록 구성될 수 있거나, 또는 대안적으로 노출 기간들 동안 펄스들을 방출할 수 있다. 두 번째 경우에, 카메라 및/또는 제어기는 카메라에 의해 캡처되는, 레코딩 인디케이터에 의해 방출된 광을 필터링해 내도록 구성될 수 있다.

CGR 시스템들 내의 레코딩 인디케이터들

도 1에 예시된 바와 같은 모바일 핸드헬드 디바이스들에서의 응용예들에 더하여, 본 명세서에 설명된 바와 같은 레코딩 인디케이터들의 실시예들은 또한 컴퓨터-생성 현실(computer-generated reality, CGR) 시스템들에 적용될 수 있다. CGR 시스템은 헤드셋, 헬멧, 고글 또는 안경과 같은 웨어러블 디바이스(본 명세서에서 머리-장착형 디바이스(HMD)로 지칭됨)를 포함할 수 있다. HMD는 다양한 유형의 디스플레이 기술들 중 임의의 것을 구현할 수 있다. 예를 들어, HMD는 사용자가 보는, 사용자의 눈 앞의 불투명한 디스플레이 스크린들 상에 좌측 및 우측 이미지들을 디스플레이하는 근안(near-eye) 디스플레이 시스템을 포함할 수 있다. 다른 예로서, 불투명한 디스플레이보다는, HMD는 그것을 통해 사용자가 실제 환경을 볼 수 있는 투명한 또는 반투명한 디스플레이, 및 사용자에게 현실의 증강된 뷰를 제공하기 위해 그것을 통해 이미지들을 표현하는 광이 사람의 눈들로 지향되는 매체를 가질 수 있다.

HMD는 또한, 사용자의 환경의 정지 이미지들 또는 비디오 프레임들을 캡처하는 데 사용될 수 있는 하나 이상의 카메라들을 포함할 수 있다. 카메라(들)에 의해 캡처된 비디오 프레임들은, 예를 들어, HMD의 제어기에 의해 프로세싱되고, 디스플레이 시스템을 통해 사용자에게 실제 환경의 증강된 뷰를 제공하는 데 사용될 수 있다. 적어도 일부 시스템들에서, HMD는 사용자가 HMD 카메라(들)에 의해 캡처된 실제 환경의 이미지들 또는 비디오를 레코딩할 수 있게 하는 레코딩 기능성을 포함할 수 있다.

종래의 비디오 레코딩 시스템들(예를 들어, 종래의 핸드헬드 비디오 카메라들)은, 카메라들이 비디오를 레코딩하고 있을 때 켜지고, 카메라들이 비디오를 레코딩하고 있지 않을 때 꺼지는 인디케이터들(예를 들어, 적색 또는 녹색 LED 광들)을 포함할 수 있다. 이들 레코딩 인디케이터들은, 비디오 레코딩 시스템이 카메라 앞의 환경의 비디오를 레코딩하고 있다는(또는 레코딩하고 있지 않다는) 것을 환경 내의 사람들에게 시그널링한다. 그러나, 이들 종래의 레코딩 인디케이터들은, 예를 들어, 광을 기계적으로 디스에이블하거나 단순히 광 위에 불투명한 테이프 조각을 위치시킴으로써 쉽게 무력화될 수 있다. 종래의 핸드헬드 비디오 카메라들, 스마트폰들, 및 태블릿 또는 패드 디바이스들과 같은 핸드헬드 디바이스들의 경우, 이들 디바이스들로 레코딩하는 물리적 동작은 그 자체로 사람들에게 그들이 레코딩되고 있다는(또는 레코딩되고 있을 수 있다는) 것을 나타낼 수 있다. 그러나, HMD들은 사용자의 머리에 착용되므로, 사용자가 현재 비디오를 레코딩하고 있을 수 있는지 여부를 나타낼 명확한 물리적 모션이 없다. 따라서, 사람들이, 그들이 레코딩되고 있다는 것을 인식할 수 있게 하도록 쉽게 무력화될 수 없는 HMD들용 레코딩 인디케이터들이 필요하다.

도 12는 일부 실시예들에 따른 예시적인 머리-장착형 디바이스(HMD)를 예시한다. 도 12에 예시된 바와 같은 HMD(1200)는 예로서 주어진 것이고, 제한하고자 의도된 것은 아님에 유의한다. 다양한 실시예들에서, HMD(1200)의 형상, 크기, 및 다른 특징부들은 상이할 수 있고, HMD(1200)의 컴포넌트들의 위치들, 수들, 유형들, 및 다른 특징부들은 달라질 수 있다.

HMD(1200)는 다양한 유형의 디스플레이 기술들 중 임의의 것을 구현할 수 있다. 예를 들어, HMD(1200)는 DLP(digital light processing), LCD(liquid crystal display) 및 LCoS(liquid crystal on silicon) 기술 디스플레이 시스템들과 같은, 피험자에 의해 보여지는 사용자의 눈들 앞의 스크린 상에 좌측 및 우측 이미지들을 디스플레이하는 근안 디스플레이 시스템을 포함할 수 있다. 다른 예로서, HMD(1200)는 피험자의 눈들에, 픽셀 단위로, 좌측 및 우측 이미지들을 스캐닝하는 직접식 망막 프로젝터 시스템을 포함할 수 있다. 이미지들을 스캐닝하기 위해, 좌측 및 우측 프로젝터들은 사용자의 눈들 앞에 위치된 좌측 및 우측 디스플레이 스크린들(예컨대, 타원형 미러들)로 지향되는 빔들을 생성하고; 디스플레이 스크린들은 빔들을 사용자의 눈들로 반사한다. 3차원(3D) 효과를 생성하기 위해, 상이한 깊이 또는 거리에 있는 가상 콘텐츠는 거리의 삼각측량의 함수로서 2개의 이미지들에서 좌측 또는 우측으로 시프트되는데, 이때 더 가까운 물체들은 더 먼 물체들보다 더 많이 시프트된다.

HMD(1200)는 웨어러블 하우징 또는 프레임에 장착된 디스플레이(1210)를 포함할 수 있다. 도 12에 도시된 바와 같이, 디스플레이(1210)(예컨대, 근안 디스플레이 시스템의 스크린들 및 광학계들, 또는 직접식 망막 프로젝터 시스템의 반사 컴포넌트들(예컨대, 타원형 미러들))가 사용자의 눈들 앞에 배치되도록, HMD(200)가 사용자의 머리에 착용될 수 있다. 근안 디스플레이 시스템을 포함하는 실시예들에서, HMD(1200)는 또한, 2개의 광학 렌즈들(접안 렌즈들)을 포함할 수 있고; 사용자는 디스플레이(1210) 상의 접안 렌즈들을 통해 본다.

HMD(1200)는 또한 사용자의 환경에 관한 정보(비디오, 깊이 정보, 조명 정보 등)를 수집하는 하나 이상의 센서들 및 사용자에 관한 정보를 수집하는 하나 이상의 센서들(예를 들어, 눈 또는 시선 추적 센서들)을 포함할 수 있다. 센서들은 사용자의 눈들의 뷰들을 캡처하는 하나 이상의 눈 추적 카메라들(예를 들어, 적외선(IR) 카메라들), 사용자 앞의 시야 내의 현실 세계 환경의 이미지들을 캡처하는 하나 이상의 카메라들(1250)(예를 들어, RGB 비디오 카메라들), 및 환경에 대한 조명 정보를 캡처하는 하나 이상의 주변 광 센서들 중 하나 이상을 포함할 수 있지만, 이들로 제한되지 않는다.

시스템을 위한 제어기(1260)는 HMD(1200) 내에 구현될 수 있거나, 또는 대안적으로, 유선 또는 무선 인터페이스를 통해 HMD(1200)에 통신가능하게 결합된 외부 디바이스(예컨대, 컴퓨팅 시스템)에 의해 적어도 부분적으로 구현될 수 있다. 제어기(1260)는, 다양한 유형의 프로세서들, 이미지 신호 프로세서(ISP)들, 그래픽 프로세싱 유닛(GPU)들, 코더/디코더들(코덱들), 시스템 온 칩(SOC), CPU들, 및/또는 비디오 및/또는 이미지들을 프로세싱 및 렌더링하기 위한 다른 컴포넌트들 중 하나 이상을 포함할 수 있다. 제어기(1260)는 센서들로부터 획득된 입력들에 적어도 부분적으로 기초하여 가상 콘텐츠를 포함하는 프레임들(각각의 프레임은 좌측 및 우측 이미지를 포함함)을 렌더링할 수 있고, 디스플레이(1210)에 프레임들을 제공할 수 있다.

시스템을 위한 메모리(1270)는 HMD(1200) 내에 구현될 수 있거나, 또는 대안적으로, 유선 또는 무선 인터페이스를 통해 HMD(1200)에 통신가능하게 결합된 외부 디바이스(예컨대, 컴퓨팅 시스템)에 의해 적어도 부분적으로 구현될 수 있다. 메모리(1270)는, 예를 들어, 하나 이상의 카메라들(1250)에 의해 캡처된 비디오 또는 이미지들을 레코딩하는 데 사용될 수 있다. 메모리(1270)는, 동적 랜덤 액세스 메모리(DRAM), 동기식 DRAM(SDRAM), 더블 데이터 레이트(DDR, DDR2, DDR3 등) SDRAM(mDDR3 등과 같은 모바일 버전들의 SDRAM들, 또는 LPDDR2 등과 같은 저전력 버전들의 SDRAM들을 포함함), RDRAM(RAMBUS DRAM), 정적 RAM(SRAM) 등과 같은 임의의 유형의 메모리를 포함할 수 있다. 일부 실시예들에서, 하나 이상의 메모리 디바이스들은 단일 인라인 메모리 모듈(SIMM)들, 듀얼 인라인 메모리 모듈(DIMM)들 등과 같은 메모리 모듈들을 형성하기 위해 회로 보드 상에 결합될 수 있다. 대안적으로, 디바이스들에는 칩-온-칩 구성, 패키지-온-패키지 구성, 또는 멀티-칩 모듈 구성으로 시스템을 구현하는 집적 회로가 실장될 수 있다.

도 15a 내지 도 15c는 일부 실시예들에 따른, 레코딩 인디케이터 기술을 구현할 수 있는 HMD를 포함할 수 있는 시스템의 컴포넌트들을 추가로 예시한다.

도 12에 예시된 바와 같은 HMD(1200)의 실시예들은, 예를 들어, 증강 또는 혼합(AR) 애플리케이션들에서 사용자에게 증강 또는 혼합 현실 뷰들을 제공하는 데 사용될 수 있다. HMD(1200)는, 예를 들어, 사용자의 외부 환경에 관한 정보(비디오, 깊이 정보, 조명 정보 등)를 수집하는, HMD(1200)의 외부 표면들 상에 위치하는 하나 이상의 센서들을 포함할 수 있고; 센서들은 수집된 정보를 CGR 시스템의 제어기(1260)에 제공할 수 있다. 센서들은, 사용자에게 그들의 실제 환경의 가상 뷰를 제공하는 데 사용될 수 있는 사용자의 환경의 비디오를 캡처하는 하나 이상의 가시광 카메라들(1250)(예컨대, RGB 비디오 카메라들)을 포함할 수 있다. 일부 실시예들에서, 가시광 카메라들(1250)에 의해 캡처된 실제 환경의 비디오 스트림들은 실제 환경의 뷰 상에 중첩된 가상 콘텐츠를 포함하는 증강 또는 혼합 현실 프레임들을 렌더링하도록 HMD(1200)의 제어기(1260)에 의해 프로세싱될 수 있고, 렌더링되는 프레임들은 디스플레이(1210)에 제공될 수 있다.

HMD(1200)는, 예를 들어, 비디오를 메모리(1270)에 저장함으로써 또는 대안적으로 유선 또는 무선 연결을 통해 저장을 위해 원격 디바이스로 비디오를 스트리밍함으로써, 사용자가 HMD 카메라(들)(1250)에 의해 캡처된 실제 환경의 이미지들 또는 비디오를 레코딩할 수 있게 하는 레코딩 기능성을 포함할 수 있다. 레코딩 인디케이터들이 쉽게 디스에이블되거나 마스킹될 수 없도록 변조로부터의 보호를 제공하는 HMD들(1200)용 레코딩 인디케이터들의 다양한 실시예들이 설명된다. 카메라(들)(1250)는, 비디오를 레코딩하지 않는 동안, HMD 제어기(1260)로 프로세싱할 프레임들을 캡처하도록 동작할 수 있으며, 이러한 경우에, 레코딩 인디케이터(258)는 디스에이블될 수 있다는 것에 유의한다.

HMD 카메라(1200)에 통합되고 카메라 렌즈 구경을 통해 가시광을 방출하는 레코딩 인디케이터들의 실시예들이 도 2a 내지 도 8에 관련하여 설명된다.

모듈식 레코딩 인디케이터 솔루션들

사용자가 HMD 내의 카메라로 레코딩을 하고 있을 수 있다는 표시들을 제공하기 위한 모듈식 솔루션들의 실시예들이 설명된다. 그러나, 이들 모듈식 솔루션들은 또한 도 1에 예시된 바와 같은 모바일, 핸드헬드 디바이스들뿐만 아니라, 카메라(들)를 포함하는 다른 디바이스들에도 적용될 수 있다는 것에 유의한다.

도 13은 일부 실시예들에 따른, HMD용 모듈식 카메라 부속품을 예시한다. HMD(1300)는 프레임, 디스플레이(1310), 제어기(1360), 및 메모리(1370)를 포함할 수 있지만, 이에 제한되지 않는다. 일부 실시예들에서, HMD(1300)에 대한 전체 레코딩 기능성을 포함하는 모듈식 부속품(1350)(예를 들어, 비디오 카메라, 비디오 프레임들을 프로세싱하기 위한 하나 이상의 프로세서들, 및 캡처된 비디오를 저장하기 위한 메모리)이 제공될 수 있다. HMD(1300) 및 부속품(1350)으로 비디오를 레코딩하기 위해, 사용자는 부속품(1350)을 HMD(1300) 프레임에 부착해야 한다. 따라서, HMD(1300) 상의 모듈식 부속품(1350)의 존재는, 환경 내의 사람들에게, 그들이 레코딩되고 있을 수 있다는 것을 나타내는 역할을 할 것이다. 이는 또한 (부속품(1350)이 없이는) HMD(1300) 프레임을 더 가볍게 만드는 추가적인 효과를 가질 것이며, 이는 레코딩할 필요가 없거나 레코딩 기능성에 관심이 없는 사용자들에게 이로울 것이다. 모듈식 부속품(1350)은 또한, 술집들 및 극장들과 같은 곳들이 모듈식 부속품(1350)은 금지하는 반면, 그 곳에서 (부속품(1350)이 없는) HMD(1300) 프레임은 여전히 허용하는 것을 가능하게 할 것이다.

모듈식 부속품(1350)은 자기 또는 기계식 연결을 통해 HMD(1300) 프레임에 부착될 수 있다. 모듈식 부속품(1350)은 전기 접촉들을 통해 또는 무선 연결을 통해 HMD(1300) 제어기(1360)와 통신할 수 있다. 모듈식 부속품(1350)은 모듈식 부속품(1350)에 의해 캡처된 비디오의 레코딩을 할 수 있게 하기 위해 HMD(1300)에 결합되고 제어기(1360)와 통신해야 한다. 일부 실시예들에서, 모듈식 부속품(1350)은 전원(예를 들어, 배터리)을 포함할 수 있다. 일부 실시예들에서, 모듈식 부속품(1350)은 하나 이상의 프로세서들(예를 들어, 카메라의 이미지 센서에 결합된 ISP)을 포함할 수 있다. 다양한 실시예들에서, 사용자는 HMD(1300) 및/또는 부속품(1350) 상의 물리적 버튼들, 음성 명령들, 또는 제스처들 중 하나 이상을 통해 부속품(1350)을 제어할 수 있다.

일부 실시예들에서, 모듈식 부속품(1350)은 HMD 메모리(1370)에 비디오를 레코딩할 수 있게 할 수 있다. 일부 실시예들에서, 모듈식 부속품(1350)은 비디오를 레코딩하기 위한 메모리를 포함할 수 있다. 대신에 또는 추가적으로, 모듈식 부속품(1350)은 레코딩을 위해 스마트폰 또는 다른 외부 디바이스로 비디오를 송신하기 위한 유선 또는 무선 통신 기술을 포함할 수 있다. 일부 실시예들에서, 부속품(1350)은, 각각의 부속품(1350)이 특정 HMD(1300)와 고유하게 페어링(pairing)되도록 스마트 인증 기술을 포함할 수 있다. 스마트 인증은, 예를 들어, 도난을 막고 부속품들(1350)의 우발적인 "스와핑(swapping)"을 통한 위험을 감소시킬 수 있다.

도 14는 일부 실시예들에 따른, HMD 카메라(들)(1450)에 대한 레코딩 기능성을 인에이블하기 위한 "키"로서 동작하는 HMD(1400)용 모듈식 부속품(1490)을 예시한다. 이들 실시예들에서, 통합된 카메라(1450)로 레코딩을 할 수 있게 하기 위해, 사용자가 HMD(1400)에 부착해야 하는 모듈식 부속품(1490)이 제공될 수 있다. 따라서, HMD(1400) 상의 모듈식 부속품(1490)의 존재는, 환경 내의 사람들에게, 그들이 레코딩되고 있을 수 있다는 것을 나타내는 역할을 할 것이다. 모듈식 부속품(1490)은 또한, 술집들 및 극장들과 같은 곳들이 모듈식 부속품(1490)은 금지하는 반면, 그 곳에서 (부속품(1490)이 없는) HMD(1400) 프레임은 여전히 허용하는 것을 가능하게 할 것이다.

모듈식 부속품(1490)은 자기 또는 기계식 연결을 통해 HMD(1300) 프레임에 부착될 수 있다. 모듈식 부속품(1490)은 전기 접촉들을 통해 또는 무선 연결을 통해 HMD(1400) 제어기(1460)와 통신할 수 있다. 일부 실시예들에서, 모듈식 부속품(1490)은 통합된 카메라(1450)에 의해 캡처된 비디오를 HMD 메모리(1470)에 레코딩할 수 있게 할 수 있으며; 부속품(1490) 없이, 비디오는 레코딩될 수 없다. 일부 실시예들에서, 모듈식 부속품(1490)은 통합된 카메라(1450)에 의해 캡처된 비디오를 레코딩하기 위한 메모리를 포함할 수 있고; 부속품(1490) 없이, 비디오는 레코딩될 수 없다. 대신에 또는 추가적으로, 모듈식 부속품(1490)은 레코딩을 위해 스마트폰 또는 다른 외부 디바이스로 비디오를 송신하기 위한 유선 또는 무선 통신 기술을 포함할 수 있다. 일부 실시예들에서, 부속품(1490)은, 각각의 부속품(1490)이 특정 HMD(1400)와 고유하게 페어링되도록 스마트 인증을 포함할 수 있다. 스마트 인증은, 예를 들어, 도난을 막고 부속품들(1490)의 우발적인 "스와핑"을 통한 위험을 감소시킬 수 있다.

도 2 내지 도 11을 참조하여 전술한 바와 같은 내부 또는 외부 가시광 레코딩 인디케이터들은 도 13 및 도 14에 예시된 바와 같은 모듈식 솔루션들 중 어느 하나와 조합하여 사용될 수 있다는 점에 유의한다. 그러나, 두 실시예들 모두에서, 모듈식 부착물의 존재는 환경 내의 사람들에게 그들이 레코딩되고 있을 수 있다는 것을 나타내는 역할을 할 수 있다.

도 15a 내지 도 15c는 일부 실시예들에 따른, 도 2 내지 도 11에 예시된 바와 같은 레코딩 인디케이터들을, 핸드헬드 디바이스들 및 HMD들을 포함하는 디바이스들에 제공하기 위한 컴포넌트들을 포함하고 방법들을 구현할 수 있는 예시적인 시스템들을 예시하는 블록도들이다. 이들 예들이 HMD들 내의 카메라들용 레코딩 인디케이터들에 관한 것이지만, 유사한 레코딩 인디케이터 방법들이 도 1에 예시된 바와 같은 모바일, 핸드헬드 디바이스들을 포함하지만, 이에 제한되지 않는 다른 디바이스들에 적용될 수 있다는 것에 유의한다.

도 15a는 일부 실시예들에 따른, 도 2a 내지 도 11에 예시된 바와 같은 레코딩 인디케이터 컴포넌트들 및 방법들을 포함할 수 있는 예시적인 시스템을 예시하는 블록도이다. 일부 실시예들에서, 시스템은 헤드셋, 헬멧, 고글 또는 안경과 같은 HMD(2000)를 포함할 수 있다. HMD(2000)는 다양한 유형의 디스플레이 기술들 중 임의의 것을 구현할 수 있다. 예를 들어, HMD(2000)는 사용자가 보는, 사용자의 눈 앞의 불투명한 디스플레이 스크린들(2022A, 2022B) 상에 좌측 및 우측 이미지들을 디스플레이하는 근안 디스플레이 시스템을 포함할 수 있다. 다른 예로서, 불투명한 디스플레이보다는, HMD는 그것을 통해 사용자가 실제 환경을 볼 수 있는 투명한 또는 반투명한 디스플레이들(2022A, 2022B)(예를 들어, 안경 렌즈들), 및 사용자에게 현실의 증강된 뷰를 제공하기 위해 그것을 통해 가상 이미지들을 표현하는 광이 사용자의 눈들로 지향되는 디스플레이들(2022A, 2022B)이 통합된 매체를 포함할 수 있다.

일부 실시예들에서, HMD(2000)는 시스템의 기능성을 구현하도록 그리고 디스플레이들(2022A, 2022B)에 제공되는 프레임들(각각의 프레임은 좌측 및 우측 이미지를 포함함)을 생성하도록 구성된 제어기(2030)를 포함할 수 있다. 일부 실시예들에서, HMD(2000)는 또한, 제어기(2030)에 의해 실행가능한 시스템의 소프트웨어(코드(2034))뿐만 아니라, 제어기(2030) 상에서 실행 중일 때 시스템에 의해 사용될 수 있는 데이터(2038)를 저장하도록 구성된 메모리(2032)를 포함할 수 있다. 일부 실시예들에서, 메모리(2032)는 또한, 카메라(2050)에 의해 캡처된 비디오를 저장하는 데 사용될 수 있다. 일부 실시예들에서, HMD(2000)는 또한, 유선 또는 무선 연결을 통해 외부 디바이스(2090)와 통신하도록 구성된 하나 이상의 인터페이스들(예컨대, 블루투스 기술 인터페이스, USB 인터페이스 등)을 포함할 수 있다. 일부 실시예들에서, 제어기(2030)에 대해 기술된 기능성의 적어도 일부는 외부 디바이스(2090)에 의해 구현될 수 있다. 외부 디바이스(2090)는 데스크톱 컴퓨터, 노트북 또는 랩톱 컴퓨터, 패드 또는 태블릿 디바이스, 스마트폰, 핸드헬드 컴퓨팅 디바이스, 게임 제어기, 게임 시스템 등과 같은 임의의 유형의 컴퓨팅 시스템 또는 컴퓨팅 디바이스일 수 있거나 이를 포함할 수 있다.

다양한 실시예들에서, 제어기(2030)는 하나의 프로세서를 포함하는 단일프로세서 시스템, 또는 여러 개(예를 들어, 2개, 4개, 8개, 또는 다른 적합한 수)의 프로세서들을 포함하는 멀티프로세서 시스템일 수 있다. 제어기(2030)는 임의의 적합한 명령어 세트 아키텍처를 구현하도록 구성된 중앙 프로세싱 유닛(CPU)들을 포함할 수 있고, 그 명령어 세트 아키텍처 내에 정의된 명령어들을 실행하도록 구성될 수 있다. 예를 들어, 다양한 실시예들에서, 제어기(2030)는 x86, PowerPC, SPARC, RISC 또는 MIPS ISA들, 또는 임의의 다른 적합한 ISA와 같은 다양한 명령어 세트 아키텍처(ISA)들 중 임의의 것을 구현하는 범용 또는 임베디드 프로세서들을 포함할 수 있다. 멀티프로세서 시스템들에서, 프로세서들 각각은 일반적으로 동일한 ISA를 구현할 수 있지만 반드시 그러한 것은 아니다. 제어기(2030)는 스칼라, 수퍼스칼라, 파이프라인형, 수퍼파이프라인형, 비순차형, 순차형, 추측형, 비추측형 등 또는 이들의 조합을 포함하는 임의의 마이크로아키텍처를 채용할 수 있다. 제어기(2030)는 마이크로코딩 기법들을 구현하기 위한 회로부를 포함할 수 있다. 제어기(2030)는 하나 이상의 프로세싱 코어들을 포함할 수 있고, 이는 각각 명령어들을 실행하도록 구성된다. 제어기(2030)는 하나 이상의 레벨들의 캐시들을 포함할 수 있고, 이는 임의의 크기 및 임의의 구성(세트 연관, 직접 맵핑 등)을 채용할 수 있다. 일부 실시예들에서, 제어기(2030)는 임의의 적합한 그래픽 프로세싱 회로부를 포함할 수 있는 적어도 하나의 그래픽 프로세싱 유닛(GPU)을 포함할 수 있다. 일반적으로, GPU는 디스플레이될 객체들을 프레임 버퍼(예컨대, 전체 프레임에 대한 픽셀 데이터를 포함하는 것) 내에 렌더링하도록 구성될 수 있다. GPU는 그래픽 동작의 일부 또는 전부를 수행하기 위한 그래픽 소프트웨어 또는 소정 그래픽 동작들의 하드웨어 가속을 실행할 수 있는 하나 이상의 그래픽 프로세서들을 포함할 수 있다. 일부 실시예들에서, 제어기(2030)는 비디오 및/또는 이미지들을 프로세싱 및 렌더링하기 위한 하나 이상의 다른 컴포넌트들, 예를 들어 이미지 신호 프로세서(ISP)들, 코더/디코더들(코덱들) 등을 포함할 수 있다.

메모리(2032)는, 동적 랜덤 액세스 메모리(DRAM), 동기식 DRAM(SDRAM), 더블 데이터 레이트(DDR, DDR2, DDR3 등) SDRAM(mDDR3 등과 같은 모바일 버전들의 SDRAM들, 또는 LPDDR2 등과 같은 저전력 버전들의 SDRAM들을 포함함), RDRAM(RAMBUS DRAM), 정적 RAM(SRAM) 등과 같은 임의의 유형의 메모리를 포함할 수 있다. 일부 실시예들에서, 하나 이상의 메모리 디바이스들은 단일 인라인 메모리 모듈(SIMM)들, 듀얼 인라인 메모리 모듈(DIMM)들 등과 같은 메모리 모듈들을 형성하기 위해 회로 보드 상에 결합될 수 있다. 대안적으로, 디바이스들에는 칩-온-칩 구성, 패키지-온-패키지 구성, 또는 멀티-칩 모듈 구성으로 시스템을 구현하는 집적 회로가 실장될 수 있다.

일부 실시예들에서, HMD(2000)는 사용자 환경에 대한 정보(비디오, 깊이 정보, 조명 정보 등)를 수집하는 하나 이상의 센서들(도시되지 않음)을 포함할 수 있다. 센서들은 정보를 시스템의 제어기(2030)에 제공할 수 있다. 일부 실시예들에서, 센서들은 적어도 하나의 가시광 카메라(2050)(예를 들어, RGB 비디오 카메라) 및 주변 광 센서들을 포함할 수 있지만, 이들로 제한되지 않는다.

일부 실시예들에서, HMD(2000)는 적어도 센서 입력들에 따라 부분적으로 기초하여 사용자에게 증강 또는 혼합 현실(MR) 뷰를 제공하기 위해 프레임들을 렌더링 및 디스플레이하도록 구성될 수 있다. MR 뷰는, 디스플레이를 위해 사용자의 환경의 고품질, 고해상도 비디오를 캡처하는 하나 이상의 비디오 카메라들(2050)에 의해 캡처된 비디오에 기초한, 사용자의 환경에서의 실제 물체들의 렌더링들을 포함하는 사용자의 환경의 렌더링들을 포함할 수 있다. MR 뷰는 또한, 시스템에 의해 생성되고 사용자의 실제 환경의 디스플레이된 뷰와 합성된 가상 콘텐츠(예컨대, 가상 물체들, 실제 물체들에 대한 가상 태그들, 사용자의 아바타들 등)를 포함할 수 있다.

HMD(2000)는, 사용자가 HMD 카메라(들)(2050)에 의해 캡처된 실제 환경의 이미지들 또는 비디오를 레코딩할 수 있게 하는 레코딩 기능성을 포함할 수 있다. HMD(2000)는 카메라(2058)에 통합되고, 예를 들어, 도 2a 내지 도 8에 예시된 바와 같이, 레코딩 인디케이터가 카메라의 시야를 커버하도록, 카메라 렌즈 구경을 통해 또는 카메라 대물 렌즈를 통해 가시광을 방출하는 레코딩 인디케이터(2058)를 포함할 수 있다. 대안적으로, HMD(2000)는 도 9a, 도 9b, 및 도 10에 예시된 바와 같은 레코딩 인디케이터(2058), 또는 도 11에 예시된 바와 같이 카메라 렌즈 앞에 위치되는 프리즘을 포함하는 레코딩 인디케이터(2058)를 포함할 수 있다.

도 15b는 일부 실시예들에 따른, 도 13에 예시된 바와 같은 레코딩 인디케이터 컴포넌트들 및 방법들을 포함할 수 있는 예시적인 시스템을 예시하는 블록도이다. 이들 실시예들에서, HMD(2000)는 카메라 리시버(receiver)(2051)를 포함하며, 이를 통해, 도 13을 참조하여 설명된 바와 같은 카메라 부속품(2050) 모듈이 HMD(2000)에 물리적으로 또는 자기적으로 부착된다. 모듈식 부속품(2050)은 HMD(2000)에 대한 전체 레코딩 기능성을 포함한다. 비디오를 레코딩하기 위해, 사용자는 부속품(2050)을 HMD(2000) 프레임에 부착해야 한다. 따라서, HMD(2000) 상의 모듈식 부속품(2050)의 존재는, 환경 내의 사람들에게, 그들이 레코딩되고 있을 수 있다는 것을 나타내는 역할을 할 것이다.

도 15c는 일부 실시예들에 따른, 도 14에 예시된 바와 같은 레코딩 인디케이터 컴포넌트들 및 방법들을 포함할 수 있는 예시적인 시스템을 예시하는 블록도이다. 이들 실시예들에서, HMD(2000)는, 이를 통해, 도 14를 참조하여 설명된 바와 같은 키 부속품(2080) 모듈이 HMD(2000)에 물리적으로 또는 자기적으로 부착되는 키 리시버(2081)를 포함한다. 사용자는 통합된 카메라(2050)로 레코딩할 수 있기 위해 부속품(2080)을 HMD(2000)에 부착시켜야 한다. 따라서, HMD(2000) 상의 모듈식 부속품(2080)의 존재는, 환경 내의 사람들에게, 그들이 레코딩되고 있을 수 있다는 것을 나타내는 역할을 할 것이다.

도 2 내지 도 11을 참조하여 전술한 바와 같은 내부 또는 외부 가시광 레코딩 인디케이터들은 도 15b 및 도 15c에 예시된 바와 같은 모듈식 솔루션들 중 어느 하나와 조합하여 사용될 수 있다는 점에 유의한다.

도 15a 내지 도 15c에 예시된 바와 같은 HMD(2000)의 실시예들은 또한, VR 뷰들을 사용자에게 제공하기 위해 가상 현실(VR) 애플리케이션들에서 사용될 수 있다. 이들 실시예들에서, HMD(2000)의 제어기(2030)는 가상 콘텐츠를 포함하는 가상 현실(VR) 프레임들을 렌더링하거나 획득할 수 있으며, 렌더링된 프레임들은 사용자에게 (혼합 현실과는 대조적으로) 가상 현실 경험을 제공하도록 디스플레이될 수 있다.

본 발명의 적어도 일부 실시예들의 양태들은 하기의 항목에 의해 추가로 나타내진다:

항목 1. 디바이스로서,

카메라 - 카메라는,

이미지 센서; 및

이미지 센서의 표면에의 이미지 평면에 이미지를 형성하기 위해 물체 필드로부터 수신된 광을 굴절시키도록 구성된 하나 이상의 굴절 렌즈 요소들을 포함하는 카메라 렌즈를 포함함 -;

카메라 렌즈 주위에 배열된 하나 이상의 광원들을 포함하는 레코딩 인디케이터 - 레코딩 인디케이터는 가시광의 펄스들을 암호화된 패턴으로 물체 필드를 향해 방출하도록 구성됨 -; 및

하나 이상의 프로세서들을 포함하는 제어기를 포함하고, 하나 이상의 프로세서들은,

이미지 센서에 의해 캡처된 레코딩 인디케이터로부터 방출된 광에 의해 형성된 암호화된 패턴을 검출하기 위해 카메라에 의해 캡처된 하나 이상의 비디오 프레임들을 프로세싱하도록;

하나 이상의 비디오 프레임들에서 암호화된 패턴을 검출할 때, 캡처된 비디오가 레코딩될 수 있도록 카메라에 대한 레코딩 모드를 인에이블하도록; 그리고

하나 이상의 비디오 프레임들에서 암호화된 패턴을 검출하지 않을 때, 캡처된 비디오가 레코딩될 수 없도록 카메라에 대한 레코딩 모드를 디스에이블하도록 구성되는, 디바이스.

항목 2. 항목 1에 있어서, 레코딩 인디케이터에 의해 방출된 가시광은 카메라의 시야를 커버하는, 디바이스.

항목 3. 항목 1에 있어서, 암호화된 패턴은 이미지 센서에 의해 캡처된 물체 필드로부터 반사된 광에 의해 하나 이상의 비디오 프레임들에 형성되는, 디바이스.

항목 4. 항목 1에 있어서, 레코딩 인디케이터는 추가로, 암호화된 패턴의 가시광의 펄스들을 카메라 렌즈로 직접 방출하고, 암호화된 패턴은 레코딩 인디케이터로부터 카메라 렌즈로 방출되는 그리고 이미지 센서에 캡처되는 광에 의해 하나 이상의 비디오 프레임들에 형성되는, 디바이스.

항목 5. 항목 1에 있어서, 레코딩 인디케이터는 디바이스의 사용자가 카메라에 의한 레코딩을 개시하는 것에 응답하여 활성화되는, 디바이스.

항목 6. 항목 5에 있어서, 제어기는, 디바이스의 사용자에 의해 레코딩이 개시될 때마다, 상이한 암호화된 패턴을 무작위로 선택하도록 추가로 구성되는, 디바이스.

항목 7. 항목 1에 있어서, 제어기는 카메라에 의해 캡처된 비디오 프레임들로부터 암호화된 패턴을 제거하도록 추가로 구성되는, 디바이스.

항목 8. 항목 1에 있어서, 제어기는, 레코딩 모드가 인에이블될 때 그리고 레코딩 모드가 디스에이블될 때, 레코딩 인디케이터로부터 방출된 광에 의해 형성된 암호화된 패턴을 검출하기 위해 카메라에 의해 캡처된 비디오 프레임들을 계속 프로세싱하도록 구성되는, 디바이스.

항목 9. 항목 1에 있어서, 하나 이상의 광원들은 발광 다이오드(LED)들인, 디바이스.

항목 10. 항목 1에 있어서, 디바이스는 모바일 핸드헬드 디바이스인, 디바이스.

항목 11. 항목 1에 있어서, 디바이스는 머리-장착형 디바이스(HMD)인, 디바이스.

항목 12. 항목 1에 있어서, 레코딩 모드가 인에이블될 때, 카메라에 의해 캡처된 비디오 프레임들을 저장하기 위한 메모리를 추가로 포함하는, 디바이스.

항목 13. 방법으로서,

레코딩 인디케이터에 의해, 가시광의 펄스들을 암호화된 패턴으로 물체 필드를 향해 방출하는 단계;

카메라에 의해, 물체 필드의 비디오 프레임들을 캡처하는 단계;

하나 이상의 프로세서들을 포함하는 제어기에 의해:

레코딩 인디케이터로부터 방출된 광에 의해 형성된 암호화된 패턴을 검출하기 위해 카메라에 의해 캡처된 하나 이상의 비디오 프레임들을 프로세싱하는 단계;

하나 이상의 비디오 프레임들에서 암호화된 패턴을 검출할 때, 캡처된 비디오가 레코딩될 수 있도록 카메라에 대한 레코딩 모드를 인에이블하는 단계; 및

하나 이상의 비디오 프레임들에서 암호화된 패턴을 검출하지 않을 때, 캡처된 비디오가 레코딩될 수 없도록 카메라에 대한 레코딩 모드를 디스에이블하는 단계를 포함하는, 방법.

항목 14. 항목 13에 있어서, 암호화된 패턴은 카메라에 의해 캡처된 물체 필드로부터 반사된 광에 의해 하나 이상의 비디오 프레임들에 형성되는, 방법.

항목 15. 항목 13에 있어서, 암호화된 패턴은 카메라의 렌즈로 직접 방출되는, 레코딩 인디케이터로부터의 광에 의해 하나 이상의 비디오 프레임들에 형성되는, 방법.

항목 16. 항목 13에 있어서, 카메라에 대한 레코딩을 개시할 때 암호화된 패턴을 무작위로 선택하는 단계를 추가로 포함하는, 방법.

항목 17. 항목 13에 있어서, 카메라에 의해 캡처된 비디오 프레임들로부터 암호화된 패턴을 제거하는 단계를 추가로 포함하는, 방법.

항목 18. 항목 13에 있어서, 레코딩 모드가 인에이블될 때 그리고 레코딩 모드가 디스에이블될 때, 카메라에 의해 캡처된 비디오 프레임들을 프로세싱하는 단계를 추가로 포함하는, 방법.

항목 19. 항목 13에 있어서, 레코딩 인디케이터는 하나 이상의 발광 다이오드(LED)들을 포함하는, 방법.

항목 20. 항목 13에 있어서, 레코딩 모드가 인에이블될 때, 카메라에 의해 캡처된 비디오 프레임들을 메모리에 저장하는 단계를 추가로 포함하는, 방법.

본 명세서에 설명된 방법들은, 상이한 실시예들에서, 소프트웨어, 하드웨어, 또는 이들의 조합으로 구현될 수 있다. 부가적으로, 방법들의 블록들의 순서는 변경될 수 있고, 다양한 요소들이 부가, 재순서화, 조합, 생략, 수정, 기타 등등될 수 있다. 본 개시의 이익을 가진 당업자에게 명백한 바와 같이 다양한 수정들 및 변화들이 이루어질 수 있다. 본 명세서에 설명된 다양한 실시예들은 예시적인 것이며 제한하려는 것으로 의도되지 않는다. 많은 변형들, 수정들, 부가들 및 개선들이 가능하다. 따라서, 복수의 예시들이 본 명세서에 설명된 컴포넌트들에 대해 단일의 예시로서 제공될 수 있다. 다양한 컴포넌트들, 동작들, 및 데이터 저장들 사이의 경계들은 다소 임의적이고, 특정 동작들은 특정 예시 구성들의 맥락에서 예시된다. 기능의 다른 할당들이 계획되고, 다음의 청구범위의 범주 내에 속할 수 있다. 마지막으로, 예시적인 구성들에서 별개의 컴포넌트들로서 제시된 구조들 및 기능은 조합된 구조 또는 컴포넌트로서 구현될 수 있다. 이들 및 다른 변형들, 수정들, 부가들 및 개선들은 다음의 청구범위에 정의된 바와 같은 실시예들의 범주 내에 속할 수 있다.

Claims

카메라로서,
이미지 센서;
하나 이상의 굴절 렌즈들을 포함하는 렌즈통 - 상기 렌즈통은 상기 이미지 센서의 표면에의 이미지 평면에 이미지를 형성하기 위해 물체 필드로부터 수신된 광을 굴절시키도록 구성됨 -; 및
하나 이상의 광원들을 포함하는 레코딩 인디케이터(recording indicator)를 포함하고,
상기 이미지 센서는 노출 기간들 동안 비디오 프레임들을 캡처하도록 구성되고,
상기 레코딩 인디케이터는 상기 노출 기간들 사이의 비-노출 기간들 동안 상기 카메라로부터 상기 물체 필드를 향해 가시광의 펄스들을 방출하도록 구성되는, 카메라.
제1항에 있어서, 상기 레코딩 인디케이터에 의해 방출된 상기 가시광은 상기 카메라의 시야를 커버(cover)하는, 카메라.
제1항에 있어서, 상기 레코딩 인디케이터는, 상기 카메라가 레코딩 모드에 있을 때 활성화되고, 상기 카메라가 레코딩 모드에 있지 않을 때 비활성화되는, 카메라.
제1항에 있어서, 상기 레코딩 인디케이터는 상기 비-노출 기간들 동안 광 펄스들을 방출하는 상기 이미지 센서 주위에 배열된 2개 이상의 발광 다이오드(light-emitting diode, LED)들을 포함하고, 상기 렌즈통 내의 렌즈 요소들은 상기 카메라의 시야를 커버하는 가시광을 제공하기 위해, 상기 방출된 광 펄스들을 상기 렌즈통 내의 구경 조리개를 통해 굴절시키는, 카메라.
제1항에 있어서, 상기 레코딩 인디케이터는 상기 비-노출 기간들 동안 상기 이미지 센서를 향해 광 펄스들을 방출하는, 상기 렌즈통과 상기 이미지 센서 사이에 위치된 2개 이상의 발광 다이오드(LED)들을 포함하고, 상기 광 펄스들은 상기 이미지 센서에의 또는 그 근처의 표면에 의해 상기 렌즈통을 향해 반사되고, 상기 렌즈통 내의 렌즈 요소들은 상기 카메라의 시야를 커버하는 가시광을 제공하기 위해, 상기 반사된 광 펄스들을 상기 렌즈통 내의 구경 조리개를 통해 굴절시키는, 카메라.
제1항에 있어서, 상기 카메라는 상기 렌즈통 내의 구경 조리개의 이미지 측에 위치된 유리 또는 플라스틱 요소를 추가로 포함하고, 상기 레코딩 인디케이터는 상기 유리 또는 플라스틱 요소의 외부 에지에 위치된 2개 이상의 발광 다이오드(LED)들을 포함하고, 상기 LED들은 비-노출 기간들 동안 상기 유리 또는 플라스틱 요소의 외부 에지에 광 펄스들을 방출하고, 상기 광 펄스들은 상기 구경 조리개에서 상기 유리 또는 플라스틱 요소를 빠져나가기 전에 상기 유리 또는 플라스틱 요소에 의해 상기 구경 조리개를 향해 지향되고, 상기 렌즈통 내의 상기 구경 조리개의 물체 측의 하나 이상의 렌즈 요소들은 상기 카메라의 시야를 커버하는 가시광을 제공하기 위해, 상기 방출되는 광의 펄스들을 상기 구경 조리개를 통해 굴절시키는, 카메라.
제1항에 있어서,
상기 렌즈통의 물체 측에 위치하는 광학 소자를 추가로 포함하고, 상기 광학 소자는,
상기 물체 필드를 향하는 제1 표면;
제2 표면; 및
상기 렌즈통을 향하는 제3 표면을 포함하고,
상기 레코딩 인디케이터의 하나 이상의 광원들은 상기 광학 소자의 제2 표면을 향하고, 상기 하나 이상의 광원들은 상기 광학 소자의 제2 표면을 통해 가시광을 방출하도록 구성되고, 상기 광학 소자의 제3 표면은 상기 제2 표면을 통해 수신된 상기 가시광을 상기 광학 소자의 제1 표면을 통해 상기 물체 필드를 향해 방향전환시키고,
상기 물체 필드로부터 수신된 상기 광은 상기 광학 소자의 상기 제1 표면 및 상기 제2 표면을 통해 상기 렌즈통으로 전달되는, 카메라.
제7항에 있어서, 상기 광학 소자는 프리즘인, 카메라.
제7항에 있어서, 상기 광학 소자는 상기 렌즈통 내의 상기 하나 이상의 굴절 렌즈들 중 하나인, 카메라.
시스템으로서,
카메라 - 상기 카메라는,
이미지 센서;
하나 이상의 굴절 렌즈들을 포함하는 렌즈통으로서, 상기 렌즈통은 상기 이미지 센서의 표면에의 이미지 평면에 이미지를 형성하기 위해 물체 필드로부터 수신된 광을 굴절시키도록 구성되는, 상기 렌즈통; 및
하나 이상의 광원들을 포함하는 레코딩 인디케이터로서, 상기 레코딩 인디케이터는, 상기 카메라가 레코딩 모드에 있을 때 활성화되고, 상기 카메라가 레코딩 모드에 있지 않을 때 비활성화되는, 상기 레코딩 인디케이터를 포함함 -; 및
상기 카메라가 레코딩 모드에 있을 때 상기 카메라에 의해 캡처된 비디오를 저장하기 위한 메모리를 포함하고,
상기 시스템은, 상기 카메라가 레코딩 모드에 있을 때 노출 기간들 동안 비디오 프레임들을 캡처하고 저장하도록 구성되고,
상기 레코딩 인디케이터는, 상기 카메라가 레코딩 모드에 있을 때 상기 노출 기간들 사이의 비-노출 기간들 동안 상기 카메라로부터 상기 물체 필드를 향해 가시광의 펄스들을 방출하도록 구성되는, 시스템.
제10항에 있어서, 상기 레코딩 인디케이터는 상기 비-노출 기간들 동안 광 펄스들을 방출하는 상기 이미지 센서 주위에 배열된 2개 이상의 발광 다이오드(LED)들을 포함하고, 상기 렌즈통 내의 렌즈 요소들은 상기 카메라의 시야를 커버하는 가시광을 제공하기 위해, 상기 방출된 광 펄스들을 상기 렌즈통 내의 구경 조리개를 통해 굴절시키는, 시스템.
제10항에 있어서, 상기 레코딩 인디케이터는 상기 비-노출 기간들 동안 상기 이미지 센서를 향해 광 펄스들을 방출하는, 상기 렌즈통과 상기 이미지 센서 사이에 위치된 2개 이상의 발광 다이오드(LED)들을 포함하고, 상기 광 펄스들은 상기 이미지 센서에의 또는 그 근처의 표면에 의해 상기 렌즈통을 향해 반사되고, 상기 렌즈통 내의 렌즈 요소들은 상기 카메라의 시야를 커버하는 가시광을 제공하기 위해, 상기 반사된 광 펄스들을 상기 렌즈통 내의 구경 조리개를 통해 굴절시키는, 시스템.
제10항에 있어서, 상기 카메라는 상기 렌즈통 내의 구경 조리개의 이미지 측에 위치된 유리 또는 플라스틱 요소를 추가로 포함하고, 상기 레코딩 인디케이터는 상기 유리 또는 플라스틱 요소의 외부 에지에 위치된 2개 이상의 발광 다이오드(LED)들을 포함하고, 상기 LED들은 비-노출 기간들 동안 상기 유리 또는 플라스틱 요소의 외부 에지에 광 펄스들을 방출하고, 상기 광 펄스들은 상기 구경 조리개에서 상기 유리 또는 플라스틱 요소를 빠져나가기 전에 상기 유리 또는 플라스틱 요소에 의해 상기 구경 조리개를 향해 지향되고, 상기 렌즈통 내의 상기 구경 조리개의 물체 측의 하나 이상의 렌즈 요소들은 상기 카메라의 시야를 커버하는 가시광을 제공하기 위해, 상기 방출되는 광의 펄스들을 상기 구경 조리개를 통해 굴절시키는, 시스템.
제10항에 있어서,
상기 카메라의 상기 렌즈통의 물체 측에 위치하는 광학 소자를 추가로 포함하고, 상기 광학 소자는,
상기 물체 필드를 향하는 제1 표면;
제2 표면; 및
상기 렌즈통을 향하는 제3 표면을 포함하고,
상기 레코딩 인디케이터의 하나 이상의 광원들은 상기 광학 소자의 제2 표면을 향하고, 상기 하나 이상의 광원들은 상기 광학 소자의 제2 표면을 통해 가시광을 방출하도록 구성되고, 상기 광학 소자의 제3 표면은 상기 제2 표면을 통해 수신된 상기 가시광을 상기 광학 소자의 제1 표면을 통해 상기 물체 필드를 향해 방향전환시키고,
상기 물체 필드로부터 수신된 상기 광은 상기 광학 소자의 상기 제1 표면 및 상기 제2 표면을 통해 상기 렌즈통으로 전달되는, 시스템.
제10항에 있어서, 디바이스를 추가로 포함하고, 상기 카메라 및 상기 메모리는 상기 디바이스에 통합되고, 상기 디바이스는 상기 비디오 카메라에 의해 캡처된 비디오 프레임들을 프로세싱하기 위한 하나 이상의 프로세서들을 포함하는, 시스템.
제10항에 있어서,
디바이스; 및
상기 디바이스에 물리적으로 또는 자기적으로 부착되도록 구성된 모듈식 부속품을 추가로 포함하고,
상기 디바이스에 부착될 때, 상기 모듈식 부속품은 상기 카메라에 의해 캡처된 비디오를 상기 메모리에 레코딩할 수 있게 하기 위해 유선 또는 무선 연결을 통해 상기 디바이스의 제어기와 통신하는, 시스템.
제16항에 있어서, 상기 카메라 및 상기 메모리는 상기 디바이스에 통합되고, 상기 디바이스는 상기 비디오 카메라에 의해 캡처된 비디오 프레임들을 프로세싱하기 위한 하나 이상의 프로세서들을 포함하는, 시스템.
제16항에 있어서, 상기 카메라는 상기 모듈식 부속품 내의 컴포넌트인, 시스템.
제18항에 있어서, 상기 모듈식 부속품은 상기 카메라가 레코딩 모드에 있을 때 상기 카메라에 의해 캡처된 비디오를 저장하기 위한 상기 메모리, 및 상기 비디오 카메라에 의해 캡처된 비디오 프레임들을 프로세싱하기 위한 하나 이상의 프로세서들을 포함하는, 시스템.
제16항에 있어서, 상기 모듈식 부속품은, 상기 모듈식 부속품이 특정 디바이스와 고유하게 페어링(pairing)되도록 스마트 인증 기술을 포함하는, 시스템.