KR20240039596A - 신뢰할 수 있는 패스쓰루 비디오 폴백 능력을 갖는 머리 장착형 전자 디바이스 - Google Patents

Abstract

원시 비디오 피드를 획득하도록 구성된 하나 이상의 카메라들 및 사용자에게 패스쓰루 비디오 피드를 제시하도록 구성된 하나 이상의 디스플레이들을 포함하는 머리 장착형 디바이스가 제공된다. 패스쓰루 비디오 피드의 생성은 이미지 신호 프로세서 및 보조 계산 블록들을 사용하여 원시 비디오 피드를 프로세싱하는 것을 수반할 수 있다. 보조 계산 블록들 중 하나 이상은, 보조 계산 블록들과 연관된 하나 이상의 실패들을 검출하는 것에 응답하여, 우회될 수 있다. 이러한 방식으로 구성되고 동작되면, 머리 장착형 디바이스는 실패가 발생할 때 머리 장착형 디바이스의 전원을 껐다 켤 필요 없이 더 신뢰할 수 있는 패스쓰루 비디오 피드로 폴백할 수 있다.

Description

신뢰할 수 있는 패스쓰루 비디오 폴백 능력을 갖는 머리 장착형 전자 디바이스{HEAD-MOUNTED ELECTRONIC DEVICE WITH RELIABLE PASSTHROUGH VIDEO FALLBACK CAPABILITY}

본 출원은, 2023년 9월 6일자로 출원된 미국 특허 출원 제18/462,161호, 및 2022년 9월 19일자로 출원된 미국 가특허 출원 제63/408,043호에 대한 우선권을 주장하며, 이들은 그 전체가 본 명세서에 참조로서 포함된다.

기술분야

본 출원은 대체적으로 전자 디바이스들에 관한 것으로, 더 상세하게는, 머리 장착형 디바이스(head-mounted device)들과 같은 전자 디바이스들에 관한 것이다.

머리 장착형 디바이스들과 같은 전자 디바이스들은 외부 환경의 비디오 피드(video feed)를 캡처하기 위한 카메라들 및 캡처된 비디오 피드를 사용자에게 제시하기 위한 하나 이상의 디스플레이들을 가질 수 있다. 머리 장착형 디바이스들은 시선 추적, 손 제스처 추적, 또는 비디오 피드 내의 실세계 콘텐츠 위에서의 가상 콘텐츠의 렌더링을 수행하기 위한 하드웨어/소프트웨어 서브시스템들과 같은, 비디오 피드를 프로세싱하기 위한 하드웨어 또는 소프트웨어 서브시스템들을 포함할 수 있다.

사용자에게 그러한 패스쓰루 비디오 피드(passthrough video feed)를 제시하는 머리 장착형 디바이스를 설계하는 것은 어려울 수 있다. 이러한 서브시스템들 중 하나 이상이 충돌할 때, 머리 장착형 디바이스는 실패하는 컴포넌트들을 간단히 재시작할 수 있다. 시스템 실패 또는 충돌이 발생할 때 애플리케이션들을 재시작하는 것은, 특히 사용자가 패스쓰루 비디오 피드에 의존하여 외부 환경을 내비게이션하고 있을 때, 문제가 될 수 있다. 주의를 기울이지 않는 경우, 비디오 피드의 시각적 품질이 또한 열화되어, 사용자에게 시각적 불편함이 초래될 수 있다.

머리 장착형 디바이스와 같은 전자 디바이스는 실세계 환경의 비디오 피드를 캡처하기 위한 하나 이상의 카메라들 및 패스쓰루 비디오 피드를 사용자에게 제시하기 위한 하나 이상의 디스플레이들을 포함할 수 있다. 전자 디바이스는 캡처된 비디오 피드 상에서 하나 이상의 프로세싱 기능들을 수행하여 패스쓰루 비디오 피드를 생성하기 위한 프로세싱 회로부를 포함할 수 있다. 프로세싱 회로부는 이미지 신호 프로세서와 같은 전용 계산 블록들을 포함할 수 있고, 또한 비디오 피드 상에서 애플리케이션 레벨 기능들을 수행하기 위한 보조 계산 블록들을 포함할 수 있다. 전자 디바이스는 프로세싱 회로 내의 하나 이상의 프로세싱 블록들이 실패하고 있는지 또는 이와 달리 신뢰할 수 없는 방식으로 동작하고 있는지에 따라 다수의 비디오 패스쓰루 모드들에서 동작가능할 수 있다. 예를 들어, 모든 기능을 갖춘(full-featured) 비디오 패스쓰루 모드로부터 더 신뢰할 수 있는 비교적 더 간단한 비디오 패스쓰루 모드로 스위칭하는 것은 사용자의 시각적 편안함 및 그의 또는 그녀의 주변에 대한 인식을 보호하는 것을 도울 수 있다.

본 발명의 일 태양은 전자 디바이스를 동작시키는 방법을 제공하며, 상기 방법은, 적어도 하나의 이미지 센서를 사용하여 비디오 피드를 획득하는 단계, 프로세싱 회로부의 조건을 식별하는 단계, 프로세싱 회로부의 식별된 조건에 기초하여 제1 비디오 패스쓰루 모드에서 동작할지 또는 제2 비디오 패스쓰루 모드에서 동작할지를 결정하는 단계, 제1 비디오 패스쓰루 모드에서 동작하는 동안, 적어도 하나의 이미지 센서로부터의 비디오 피드 상에서 프로세싱 기능을 수행하도록 프로세싱 회로부를 사용함으로써 패스쓰루 비디오 피드를 디스플레이하는 단계, 및 제2 비디오 패스쓰루 모드에서 동작하는 동안, 프로세싱 기능을 수행하지 않으면서 적어도 하나의 이미지 센서로부터의 비디오 피드에 기초하여 패스쓰루 비디오 피드를 디스플레이하는 단계를 포함한다.

제1 비디오 패스쓰루 모드 동안 프로세싱 회로부에 의해 수행되는 프로세싱 기능은, 확장 현실(extended reality, XR) 콘텐츠 생성, 시선 추적, 머리 포즈 추적, 동적 포비에이션(dynamic foveation), 시점 보정, 왜곡 보상, 및 3차원 매팅(3-dimensional matting)을 포함할 수 있다. 프로세싱 회로부의 조건을 식별하기 위한 동작들은, 프로세싱 회로부에서 실패를 검출하는 것, 프로세싱 회로부의 불안정한 동작을 검출하는 것, 커널 패닉 신호를 검출하는 것, 감시 타이머(watchdog timer)의 만료를 검출하는 것, 프로세싱 회로부와 연관된 적어도 하나의 파라미터를 모니터링하여 적어도 하나의 파라미터가 오래되었는지, 누락되었는지, 또는 무효한지를 검출하는 것, 및/또는 프로세싱 회로부로부터의 하나 이상의 에러 신호들을 검출하는 것을 포함할 수 있다. 원하는 경우, 프로세싱 회로부는 제1 비디오 패스쓰루 모드 동안 비디오 피드에 실시간 조정을 적용하고, 대안적으로, 제2 비디오 패스쓰루 모드 동안 비디오 피드에 디폴트(폴백) 조정을 적용하여, 사용자에 대한 더 안정적인 비디오 피드 경험을 보장할 수 있다.

본 발명의 일 태양은 적어도 제1, 제2, 및 제3 비디오 패스쓰루 모드들 사이에서 전자 디바이스를 스위칭하기 위한 방법을 제공한다. 상기 방법은, 하나 이상의 카메라들을 사용하여 비디오 피드를 획득하는 단계; 이미지 신호 프로세서를 사용하여 비디오 피드를 프로세싱하는 단계; 복수의 보조 계산 블록들을 사용하여 비디오 피드를 선택적으로 프로세싱하는 단계; 제1 비디오 패스쓰루 모드 동안, 이미지 신호 프로세서를 사용하여 그리고 복수의 보조 계산 블록들을 사용하여 비디오 피드를 프로세싱함으로써 패스쓰루 비디오 피드를 디스플레이하는 단계; 제1 모드 스위칭 조건이 충족되었는지 또는 제2 모드 스위칭 조건이 충족되었는지를 결정하는 단계; 제1 모드 스위칭 조건이 충족되었다고 결정하는 것에 응답하여, 제1 비디오 패스쓰루 모드로부터 제2 비디오 패스쓰루 모드로 스위칭하고, 그리고 제2 비디오 패스쓰루 모드 동안, 복수의 보조 계산 블록들을 우회하면서 또는 복수의 보조 계산 블록들에 대한 폴백 값들을 사용하면서 이미지 신호 프로세서를 사용하여 비디오 피드를 프로세싱함으로써 패스쓰루 비디오 피드를 디스플레이하는 단계; 및 제2 모드 스위칭 조건이 충족되었다고 결정하는 것에 응답하여, 제1 비디오 패스쓰루 모드로부터 제3 비디오 패스쓰루 모드로 스위칭하고, 그리고 제3 비디오 패스쓰루 모드 동안, 복수의 보조 계산 블록들의 서브세트를 우회하면서 또는 복수의 보조 계산 블록들의 서브세트에 대한 폴백 값들을 사용하면서 이미지 신호 프로세서를 사용하여 비디오 피드를 프로세싱함으로써 패스쓰루 비디오 피드를 디스플레이하는 단계를 포함할 수 있다.

도 1은 일부 실시예들에 따른 예시적인 머리 장착형 디바이스의 평면도이다.
도 2는 일부 실시예들에 따른 예시적인 머리 장착형 디바이스의 개략도이다.
도 3은 일부 실시예들에 따른, 패스쓰루 비디오 스트림을 프로세싱하도록 구성된 예시적인 전용 계산 블록들 및 보조 계산 블록들을 도시하는 도면이다.
도 4는 일부 실시예들에 따른, 패스쓰루 비디오 스트림이 현재 동작 조건들에 따라 상이한 계층들로 어떻게 분류될 수 있는지를 예시하는 도면이다.
도 5는 일부 실시예들에 따른, 2개의 상이한 계층들 사이에서 스위칭하기 위한 예시적인 동작들의 흐름도이다.
도 6은 일부 실시예들에 따른, 3개의 상이한 계층들 사이에서 패스쓰루 비디오 스트림을 스위칭하기 위한 예시적인 동작들의 흐름도이다.

머리 장착형 디바이스와 같은 전자 디바이스는 사용자의 머리로부터 멀어지게 향하는 전면을 가질 수 있고, 사용자의 머리를 향하는 대향하는 후면을 가질 수 있다. 디바이스의 전면 상의 하나 이상의 카메라들은 외부 실세계 환경의 라이브 패스쓰루 비디오 스트림을 캡처하는 데 사용될 수 있다. 디바이스의 후면 상의 하나 이상의 디스플레이들은 라이브 패스쓰루 비디오 스트림을 사용자의 눈들에 제시하는 데 사용될 수 있다.

머리 장착형 디바이스는 패스쓰루 비디오 스트림 상에서 기본 프로세싱을 수행하기 위한 전용 계산 블록들을 포함할 수 있고, 또한 패스쓰루 비디오 스트림 상에서 더 복잡하거나 진보된 프로세싱을 선택적으로 수행하기 위한 보조 계산 블록들(때때로 애플리케이션 레벨 서브시스템들로 지칭됨)을 포함할 수 있다. 전용 계산 블록들은 기본 이미지 신호 프로세싱 기능들을 제공할 수 있는 반면, 보조 계산 블록들은 시선 추적(또는 다른 신체 부위들의 추적), 시점 보정, 가상 콘텐츠의 렌더링, 동적 포비에이션, 왜곡 보상 등과 같은 확장가능 비디오 프로세싱 기능들을 제공할 수 있다.

동작 동안, 보조 계산 블록들과 연관된 기능들 중 일부는 충돌하거나 실패할 수 있으므로, 시스템 실패 또는 패스쓰루 비디오 피드 내의 다른 불안정성을 초래할 수 있다. 사용자의 시각적 편안함 및 그의 또는 그녀의 주변에 대한 인식을 보호하기 위해, 시스템 실패 또는 불안정성을 검출하는 것과 같은 프로세싱 회로부의 조건을 검출하는 것에 응답하여, 머리 장착형 디바이스는 자동으로, (보조 계산 블록들을 우회하거나, 비활성화하거나, 또는 그들에 대한 디폴트/폴백 설정들을 사용하면서) 전용 계산 블록들에만 의존하거나 또는 (임의의 실패하는 계산 블록들을 우회하거나, 비활성화하거나, 또는 그들에 대한 디폴트 설정들을 사용하면서) 기능적 계산 블록들에만 의존하는 신뢰할 수 있는(또는 안정적인) 패스쓰루 비디오 피드로 스위칭하거나 폴백할 수 있다. 실패 또는 불안정성 검출 스킴은 커널 패닉 신호 또는 감시 타이머 만료의 검출, 보조 계산 블록들로부터의 자가 보고, 시스템 파라미터들의 능동적인 모니터링, 및/또는 하나 이상의 보조 계산 블록들이 언제 충돌했을 수 있는지를 추론하기 위한 다른 적합한 조건의 검출에 의존할 수 있다. 이러한 방식으로 더 신뢰할 수 있는 패스쓰루 비디오 피드로 폴백함으로써, 머리 장착형 디바이스는 충돌이 발생할 때 사용자에 대한 시각적 불편함을 최소화하면서 시스템을 재시작하는 것을 회피할 수 있다.

예시적인 머리 장착형 디바이스의 평면도가 도 1에 도시된다. 도 1에 도시된 바와 같이, 전자 디바이스(10)와 같은 머리 장착형 디바이스들은 하우징(12)과 같은 머리 장착형 지지 구조체들을 가질 수 있다. 하우징(12)은 디바이스(10)가 사용자의 머리 상에 착용되게 하는 부분들(예컨대, 머리 장착형 지지 구조체들(12T))을 포함할 수 있다. 지지 구조체들(12T)은 직물, 중합체, 금속, 및/또는 다른 재료로 형성될 수 있다. 지지 구조체들(12T)은 디바이스(10)를 사용자의 머리 상에서 지지하는 것을 돕기 위해 스트랩 또는 다른 머리 장착형 지지 구조체들을 형성할 수 있다. 하우징(12)의 메인 지지 구조체(예컨대, 메인 하우징 부분(12M)과 같은 머리 장착형 하우징)는 디스플레이들(14)과 같은 전자 컴포넌트들을 지지할 수 있다.

메인 하우징 부분(12M)은 금속, 중합체, 유리, 세라믹, 및/또는 다른 재료로 형성된 하우징 구조체들을 포함할 수 있다. 예를 들어, 하우징 부분(12M)은 강성(rigid) 중합체 또는 다른 강성 지지 구조체로 형성된 전면(F) 상의 하우징 벽들 및 인접한 상부, 하부, 좌측, 및 우측 면들 상의 하우징 벽들을 가질 수 있고, 이러한 강성 벽들은 선택적으로 전기 컴포넌트들, 직물, 가죽 또는 다른 연성(soft) 재료들 등으로 덮일 수 있다. 하우징 부분(12M)은 또한 프레임(섀시)과 같은 내부 지지 구조체들 및/또는 구조적 지지를 제공하면서 공기 흐름을 제어하고 열을 발산시키는 것과 같은 다수의 기능들을 수행하는 구조체들을 가질 수 있다.

하우징 부분(12M)의 벽들은 디바이스(10)의 내부 영역(34) 내의 내부 컴포넌트들(38)을 에워쌀 수 있고, 디바이스(10)를 둘러싸는 환경(외부 영역(36))으로부터 내부 영역(34)을 분리할 수 있다. 내부 컴포넌트들(38)은 집적 회로, 액추에이터, 배터리, 센서, 및/또는 디바이스(10)를 위한 다른 회로들 및 구조체들을 포함할 수 있다. 하우징(12)은 사용자의 머리 상에 착용되도록 구성될 수 있고, 안경(glasses, spectacles), 모자, 마스크, 헬멧, 고글, 및/또는 다른 머리 장착형 디바이스를 형성할 수 있다. 하우징(12)이 고글을 형성하는 구성들이 때때로 본 명세서에서 일례로서 설명될 수 있다.

하우징(12)의 전면(F)은 사용자의 머리 및 얼굴로부터 멀어지게 외향으로 향할 수 있다. 하우징(12)의 대향하는 후면(R)은 사용자를 향할 수 있다. 후면(R) 상의 하우징(12)의 부분들(예컨대, 메인 하우징(12M)의 부분들)은 커버(12C)(때때로 커튼으로 지칭됨)와 같은 커버를 형성할 수 있다. 후면(R) 상의 커버(12C)의 존재는 내부 하우징 구조체들, 내부 컴포넌트들(38), 및 내부 영역(34) 내의 다른 구조체들을 사용자에 의한 시야로부터 숨기는 것을 도울 수 있다.

디바이스(10)는 도 1의 카메라들(46)과 같은 하나 이상의 카메라들을 가질 수 있다. 전면(F) 상에 장착되고 (디바이스(10)의 전방을 향하고 사용자로부터 멀어지게) 외향으로 향하는 카메라들(46)은 때때로 본 명세서에서 앞쪽-대면 또는 전방-대면 카메라들로 지칭될 수 있다. 카메라들(46)은 시각적 주행 거리 측정 정보, 사용자의 시야 내의 객체들의 위치를 알아내기 위해 프로세싱되는 이미지 정보(예컨대, 이에 따라 가상 콘텐츠가 실세계 객체들에 대해 적절하게 기록될 수 있게 됨), 디바이스(10)의 사용자에게 실시간으로 디스플레이되는 이미지 콘텐츠, 및/또는 다른 적합한 이미지 데이터를 캡처할 수 있다. 예를 들어, 앞쪽-대면(전방-대면) 카메라들은 디바이스(10)가 디바이스(10)를 둘러싸는 환경에 관련하여 디바이스(10)의 이동을 모니터링하게 할 수 있다(예컨대, 카메라들은 시각적 주행 거리 측정 시스템 또는 시각적 관성 주행 거리 측정 시스템의 일부를 형성하는 데 사용될 수 있음). 앞쪽-대면 카메라들은 또한 디바이스(10)의 사용자에게 디스플레이되는 환경의 이미지들을 캡처하는 데 사용될 수 있다. 원하는 경우, 다수의 앞쪽-대면 카메라들로부터의 이미지들은 서로 병합될 수 있고/있거나 앞쪽-대면 카메라 콘텐츠는 사용자를 위한 컴퓨터 생성 콘텐츠와 병합될 수 있다.

디바이스(10)는 임의의 적합한 수의 카메라들(46)을 가질 수 있다. 예를 들어, 디바이스(10)는 K개의 카메라들을 가질 수 있으며, 여기서 K의 값은 적어도 1개, 적어도 2개, 적어도 4개, 적어도 6개, 적어도 8개, 적어도 10개, 적어도 12개, 20개 미만, 14개 미만, 12개 미만, 10개 미만, 4개 내지 10개, 또는 다른 적합한 값이다. 카메라들(46)은 적외선 파장들에 민감할 수 있고(예컨대, 카메라들(46)은 적외선 카메라들일 수 있음), 가시 파장들에 민감할 수 있고(예컨대, 카메라들(46)은 가시 카메라들일 수 있음), 및/또는 카메라들(46)은 다른 파장들에 민감할 수 있다. 원하는 경우, 카메라들(46)은 가시 및 적외선 파장들 둘 모두에 민감할 수 있다.

디바이스(10)는 좌측 및 우측 광학 모듈들(40)을 가질 수 있다. 광학 모듈들(40)은 발광 컴포넌트들 및 렌즈들과 같은 전기 및 광학 컴포넌트들을 지지하며, 그에 따라 때때로 광학 조립체들, 광학 시스템들, 광학 컴포넌트 지지 구조체들, 렌즈 및 디스플레이 지지 구조체들, 전기 컴포넌트 지지 구조체들, 또는 하우징 구조체들로 지칭될 수 있다. 각각의 광학 모듈은 각자의 디스플레이(14), 렌즈(30), 및 지지 구조체(32)와 같은 지지 구조체를 포함할 수 있다. 때때로 렌즈 지지 구조체, 광학 컴포넌트 지지 구조체, 광학 모듈 지지 구조체, 또는 광학 모듈 부분, 또는 렌즈 배럴로 지칭될 수 있는 지지 구조체(32)는, 개방된 단부들을 갖는 중공 원통형 구조체들 또는 디스플레이들(14) 및 렌즈들(30)을 수용하기 위한 다른 지지 구조체들을 포함할 수 있다. 지지 구조체들(32)은, 예를 들어 좌측 디스플레이(14) 및 좌측 렌즈(30)를 지지하는 좌측 렌즈 배럴, 및 우측 디스플레이(14) 및 우측 렌즈(30)를 지지하는 우측 렌즈 배럴을 포함할 수 있다.

디스플레이들(14)은 이미지들을 생성하기 위한 픽셀들의 어레이들 또는 다른 디스플레이 디바이스들을 포함할 수 있다. 디스플레이들(14)은, 예를 들어, 박막 회로부를 갖는 기판들 상에 형성되고/되거나 반도체 기판들 상에 형성된 유기 발광 다이오드 픽셀들, 결정질 반도체 다이들로부터 형성된 픽셀들, 액정 디스플레이 픽셀들, 스캐닝 디스플레이 디바이스들, 및/또는 이미지들을 생성하기 위한 다른 디스플레이 디바이스들을 포함할 수 있다.

렌즈들(30)은 디스플레이들(14)로부터 각자의 아이 박스들(13)로 이미지 광을 제공하기 위한 하나 이상의 렌즈 요소들을 포함할 수 있다. 렌즈들은 굴절 유리 렌즈 요소들을 사용하여, 미러 렌즈 구조체들(반사굴절 렌즈들)을 사용하여, 프레넬 렌즈를 사용하여, 홀로그램 렌즈들을 사용하여, 그리고/또는 다른 렌즈 시스템들을 사용하여 구현될 수 있다.

사용자의 눈이 아이 박스들(13) 내에 위치될 때, 디스플레이들(디스플레이 패널들)(14)은 함께 동작하여 디바이스(10)를 위한 디스플레이를 형성한다(예를 들어, 각자의 좌측 및 우측 광학 모듈들(40)에 의해 제공되는 이미지들은 아이 박스들(13) 내의 사용자의 눈에 의해 보일 수 있어서 사용자를 위해 입체 이미지가 생성되게 한다). 디스플레이가 사용자에 의해 보이는 동안 좌측 광학 모듈로부터의 좌측 이미지는 우측 광학 모듈로부터의 우측 이미지와 융합된다.

사용자의 눈이 아이 박스들(13) 내에 위치되는 동안 사용자의 눈을 모니터링하는 것이 바람직할 수 있다. 예를 들어, 사용자 인증을 위해 사용자의 홍채들(또는 사용자의 눈의 다른 부분들)의 이미지들을 캡처하기 위해 카메라를 사용하는 것이 바람직할 수 있다. 또한, 사용자의 시선의 방향을 모니터링하는 것이 바람직할 수 있다. 시선 추적 정보는 사용자 입력의 형태로서 사용될 수 있고/있거나, 이미지 내에서 이미지 콘텐츠 해상도가 포비티드(foveated) 이미징 시스템에서 국소적으로 향상되어야 하는 곳을 결정하는 데 사용될 수 있다. 사용자의 눈들이 아이 박스들(13) 내에 위치하는 동안 디바이스(10)가 만족스러운 눈 이미지들을 캡처할 수 있는 것을 보장하기 위해, 각각의 광학 모듈(40)에는 카메라, 예컨대, 카메라(42) 및 하나 이상의 광원들, 예컨대, 발광 다이오드들(44) 또는 다른 발광 디바이스들, 예컨대, 레이저들, 램프들 등이 제공될 수 있다. 카메라(42) 및 발광 다이오드들(44)은 임의의 적합한 파장들(가시광, 적외선, 및/또는 자외선)에서 동작할 수 있다. 일례로서, 다이오드들(44)은 사용자에게 비가시적인(또는 거의 비가시적인) 적외선 광을 방출할 수 있다. 이는, 디스플레이들(14) 상의 이미지들을 보는 사용자의 능력을 방해하지 않으면서 눈 모니터링 동작들이 계속 수행되게 한다.

머리 장착형 디바이스 또는 다른 웨어러블 디바이스와 같은 예시적인 전자 디바이스의 개략도가 도 2에 도시되어 있다. 도 2의 디바이스(10)는 독립형 디바이스로서 동작될 수 있고/있거나 디바이스(10)의 자원들은 외부 전자 장비와 통신하는 데 사용될 수 있다. 일례로서, 디바이스(10) 내의 통신 회로부는 사용자 입력 정보, 센서 정보, 및/또는 다른 정보를 외부 전자 디바이스들로 (예컨대, 무선으로 또는 유선 연결을 통해) 송신하는 데 사용될 수 있다. 이들 외부 디바이스들 각각은 도 2의 디바이스(10)에 의해 도시된 유형의 컴포넌트들을 포함할 수 있다.

도 2에 도시된 바와 같이, 디바이스(10)와 같은 머리 장착형 디바이스는 제어 회로부(20)를 포함할 수 있다. 제어 회로부(20)는 디바이스(10)의 동작을 지원하기 위한 저장 및 프로세싱 회로부를 포함할 수 있다. 저장 및 프로세싱 회로부는 비휘발성 메모리(예를 들어, 플래시 메모리, 또는 솔리드 스테이트 드라이브를 형성하도록 구성되는 다른 전기적으로 프로그래밍가능한 판독 전용 메모리), 휘발성 메모리(예를 들어, 정적 또는 동적 랜덤 액세스 메모리) 등과 같은 저장소를 포함할 수 있다. 제어 회로부(20) 내의 하나 이상의 프로세서들은 센서들 및 다른 입력 디바이스들로부터 입력을 수집하는 데 사용될 수 있고, 출력 디바이스들을 제어하는 데 사용될 수 있다. 프로세싱 회로부는 하나 이상의 프로세서들, 예컨대, 마이크로프로세서들, 마이크로제어기들, 디지털 신호 프로세서들, 기저대역 프로세서들 및 다른 무선 통신 회로들, 전력 관리 유닛들, 오디오 칩들, 주문형 집적 회로들 등에 기초할 수 있다. 동작 동안, 제어 회로부(20)는 시각적 출력 및 다른 출력을 사용자에게 제공하는 데 디스플레이(들)(14) 및 다른 출력 디바이스들을 사용할 수 있다. 제어 회로부(20)는 하드웨어(예를 들어, 전용 하드웨어 또는 회로부), 펌웨어, 및/또는 소프트웨어를 사용하여 디바이스(10)에서의 동작들을 수행하도록 구성될 수 있다. 디바이스(10)에서 동작들을 수행하기 위한 소프트웨어 코드는 저장 회로부(예컨대, 소프트웨어 코드를 저장하는 비일시적(유형적) 컴퓨터 판독가능 저장 매체들) 상에 저장될 수 있다. 소프트웨어 코드는 때때로 프로그램 명령어들, 소프트웨어, 데이터, 명령어들, 또는 코드로 지칭될 수 있다. 저장된 소프트웨어 코드는 회로부(20) 내의 프로세싱 회로부에 의해 실행될 수 있다.

디바이스(10)와 외부 장비 사이의 통신을 지원하기 위해, 제어 회로부(20)는 통신 회로부(22)를 사용하여 통신할 수 있다. 회로부(22)는 안테나들, 무선 주파수 송수신기 회로부, 및 다른 무선 통신 회로부 및/또는 유선 통신 회로부를 포함할 수 있다. 때때로 제어 회로부 및/또는 제어 및 통신 회로부로 지칭될 수 있는 회로부(22)는 무선 링크를 통해 디바이스(10)와 외부 장비(예를 들어, 컴패니언 디바이스, 예컨대, 컴퓨터, 셀룰러 전화, 또는 다른 전자 디바이스, 액세서리, 예컨대, 포인트 디바이스 또는 컨트롤러, 컴퓨터 스타일러스, 또는 다른 입력 디바이스, 스피커들 또는 다른 출력 디바이스 등) 사이의 양방향 무선 통신들을 지원할 수 있다.

예를 들어, 회로부(22)는 무선 주파수 송수신기 회로부, 예컨대 무선 로컬 영역 네트워크 링크를 통한 통신들을 지원하도록 구성되는 무선 로컬 영역 네트워크 송수신기 회로부, 근거리 통신 링크를 통한 통신들을 지원하도록 구성되는 근거리 통신 송수신기 회로부, 셀룰러 전화 링크를 통한 통신들을 지원하도록 구성되는 셀룰러 전화 송수신기 회로부, 또는 임의의 다른 적합한 유선 또는 무선 통신 링크를 통한 통신들을 지원하도록 구성되는 송수신기 회로부를 포함할 수 있다. 무선 통신들은, 예를 들어, Bluetooth® 링크, WiFi® 링크, 10 ㎓ 내지 400 ㎓의 주파수에서 동작하는 무선 링크, 60 ㎓ 링크, 또는 다른 밀리미터파 링크, 셀룰러 전화 링크, 또는 다른 무선 통신 링크를 통해 지원될 수 있다. 디바이스(10)는, 원하는 경우, 유선 및/또는 무선 전력을 송신하고/하거나 수신하기 위한 전력 회로들을 포함할 수 있고, 배터리들 또는 다른 에너지 저장 디바이스들을 포함할 수 있다. 예를 들어, 디바이스(10)는 디바이스(10) 내의 회로부에 제공되는 무선 전력을 수신하기 위한 코일 및 정류기를 포함할 수 있다.

디바이스(10)는 디바이스들(24)과 같은 입출력 디바이스들을 포함할 수 있다. 입출력 디바이스들(24)은 사용자 입력을 수집하는 데, 사용자를 둘러싸는 환경에 대한 정보를 수집하는 데, 그리고/또는 사용자에게 출력을 제공하는 데 사용될 수 있다. 디바이스들(24)은 디스플레이(들)(14)와 같은 하나 이상의 디스플레이들을 포함할 수 있다. 디스플레이(들)(14)는 하나 이상의 디스플레이 디바이스들, 예컨대 유기 발광 다이오드 디스플레이 패널들(픽셀 제어 회로부를 포함하는 중합체 기판들 또는 실리콘 기판들 상에 형성된 유기 발광 다이오드 픽셀들을 갖는 패널들), 액정 디스플레이 패널들, 마이크로전자기계 시스템 디스플레이들(예를 들어, 2차원 미러 어레이들 또는 스캐닝 미러 디스플레이 디바이스들), 결정질 반도체 발광 다이오드 다이들(때때로 마이크로LED들로 지칭됨)로 형성된 픽셀 어레이들을 갖는 디스플레이 패널들, 및/또는 다른 디스플레이 디바이스들을 포함할 수 있다.

입출력 디바이스들(24) 내의 센서들(16)은 힘 센서들(예를 들어, 스트레인 게이지들, 용량성 힘 센서들, 저항력 센서들 등), 마이크로폰들과 같은 오디오 센서들, 용량성 센서들과 같은 터치 및/또는 근접 센서들, 예컨대 버튼, 트랙패드, 또는 다른 입력 디바이스를 형성하는 터치 센서), 및 다른 센서들을 포함할 수 있다. 원하는 경우, 센서들(16)은 광학 센서들, 예컨대, 광을 방출 및 검출하는 광학 센서들, 초음파 센서들, 광학 터치 센서들, 광학 근접 센서들, 및/또는 다른 터치 센서들 및/또는 근접 센서들, 단색 및 색상 주변 광 센서들, 이미지 센서들(예컨대, 카메라들), 지문 센서들, 홍채 스캐닝 센서들, 망막 스캐닝 센서들, 및 다른 생체측정 센서들, 온도 센서들, 3차원 비접촉 제스처들("에어 제스처들")을 측정하기 위한 센서들, 압력 센서들, 디바이스(10)의 포지션, 배향 및/또는 모션, 및/또는 사용자 머리의 포즈에 대한 정보를 검출하기 위한 센서들(예컨대, 가속도계들, 자기 센서들, 예컨대, 나침반 센서들, 자이로스코프들, 및/또는 이들 센서들 중 일부 또는 전부를 포함하는 관성 측정 유닛들), 건강 센서들, 예컨대, 혈중 산소 센서들, 심박수 센서들, 혈류 센서들, 및/또는 다른 건강 센서들, 무선 주파수 센서들, 3차원 카메라 시스템들, 예컨대, 깊이 센서들(예컨대, 3차원 이미지들을 캡처하는 스테레오 이미징 디바이스들에 기초한 구조화된 광 센서들 및/또는 깊이 센서들), 및/또는 광학 센서들, 예컨대 자체-혼합 센서들 및 비행 시간(time-of-flight) 측정들을 수집하는 광 검출 및 레인징(라이다(lidar)) 센서들(예컨대, 비행 시간 카메라들), 습도 센서들, 수분 센서들, 시선 추적 센서들, 근육 활성도를 감지하기 위한 근전도 센서들, 얼굴 센서들, 및/또는 다른 센서들을 포함할 수 있다. 일부 배열들에서, 디바이스(10)는 사용자 입력을 수집하기 위해 센서들(16) 및/또는 다른 입출력 디바이스들을 사용할 수 있다. 예를 들어, 버튼들은 버튼 누르기 입력을 수집하는 데 사용될 수 있고, 디스플레이들과 중첩되는 터치 센서들은 사용자 터치 스크린 입력을 수집하는 데 사용될 수 있고, 터치 패드들은 터치 입력을 수집하는 데 사용될 수 있고, 마이크로폰들은 오디오 입력(예컨대, 음성 커맨드들)을 수집하는 데 사용될 수 있고, 가속도계들은 손가락이 입력 표면과 접촉할 때를 모니터링하는 데 사용될 수 있고, 그에 따라 손가락 누르기 입력을 수집하는 데 사용될 수 있는 식이다.

원하는 경우, 전자 디바이스(10)는 부가적인 컴포넌트들을 포함할 수 있다(예를 들어, 입출력 디바이스들(24) 내의 다른 디바이스들(18) 참조). 부가적인 컴포넌트들은 햅틱 출력 디바이스들, 이동가능한 하우징 구조체들을 이동시키기 위한 액추에이터들, 스피커들과 같은 오디오 출력 디바이스들, 상태 표시자들을 위한 발광 다이오드들, 하우징 및/또는 디스플레이 구조체의 부분들을 조명하는 발광 다이오드들과 같은 광원들, 다른 광학 출력 디바이스들, 및/또는 입력을 수집하고 그리고/또는 출력을 제공하기 위한 다른 회로부를 포함할 수 있다. 디바이스(10)는 또한 배터리 또는 다른 에너지 저장 디바이스, 보조 장비와의 유선 통신을 지원하고 유선 전력을 수신하기 위한 커넥터 포트들, 및 다른 회로부를 포함할 수 있다.

디스플레이(들)(14)는 사용자의 눈에 다양한 콘텐츠를 제시하는 데 사용될 수 있다. 아이 박스들(13)을 통해 보고 있을 때 사용자의 눈들에 융합된 입체 이미지를 제시하는 데 사용되는 좌측 및 우측 디스플레이들(14)은 때때로 집합적으로 디스플레이(14)로 지칭될 수 있다. 일례로서, 가상 현실(virtual reality, VR) 콘텐츠가 디스플레이(14)에 의해 제시될 수 있다. 가상 현실 콘텐츠는 가상 현실 (컴퓨터 생성) 환경 내에 가상 객체들만을 포함하는 콘텐츠를 지칭할 수 있다. 다른 예로서, 혼합 현실(mixed reality, MR) 콘텐츠가 디스플레이(14)에 의해 제시될 수 있다. 혼합 현실 콘텐츠는 가상 객체들 및 디바이스(10)가 동작되고 있는 실세계 물리적 환경으로부터의 실제 객체들을 포함하는 콘텐츠를 지칭할 수 있다. 다른 예로서, 실세계 콘텐츠만이 디스플레이(14)에 의해 제시될 수 있다. 실세계 콘텐츠는 하나 이상의 전방-대면 카메라들(예컨대, 도 1의 카메라들(46)을 참조)에 의해 캡처되고 라이브 피드로서 사용자에게 패스쓰루되고 있는 이미지들을 지칭할 수 있다. 그에 따라, 전방-대면 카메라들에 의해 캡처되고 있는 실세계 콘텐츠는 때때로 카메라 패스쓰루 피드, (라이브) 비디오 패스쓰루 피드, 또는 패스쓰루 비디오 피드(스트림)로 지칭된다.

도 3은, 디바이스(10) 내의 전방-대면 카메라들에 의해 캡처된 패스쓰루 비디오 피드가 디스플레이(14)에 의해 출력되기 전에 하나 이상의 계산(컴퓨팅) 블록들을 사용하여 어떻게 프로세싱될 수 있는지를 도시하는 도면이다. 도 3에 도시된 바와 같이, 하나 이상의 카메라들(50)은 패스쓰루 비디오 피드를 캡처하고 전용 계산 블록들(52)로 출력할 수 있다. 카메라(들)(50)는 전방-대면 카메라(들)(46) 및/또는 디바이스(10)를 둘러싸는 외부 실세계 환경의 이미지들을 캡처하는 데 사용될 수 있는 다른 카메라들을 표현할 수 있다. 카메라(50)로부터 출력된 비디오 피드는 때때로 원시 비디오 피드로 지칭될 수 있다. 전용 계산 블록들(52)은 원시 비디오 피드 상에서 기본 이미지 신호 프로세싱을 수행하여 프로세싱된 패스쓰루 비디오 피드를 생성하도록 구성된 하드웨어 및/또는 소프트웨어 블록들(서브시스템들)을 포함할 수 있다.

전용 계산 블록들(52)은, 패스쓰루 비디오 피드가 디바이스(10) 내의 다양한 계산 블록들에 의해 프로세싱되고 있는 동안, 그것을 저장하거나 버퍼링하도록 구성된 디스플레이 버퍼(54)를 포함할 수 있다. 전용 계산 블록들(56)은 이미지 신호 프로세싱(image signal processing, ISP) 블록, 예컨대, 라이브 카메라 피드 자체의 입력에만 의존하는 고전적인 ISP 기능들을 수행하도록 구성된 이미지 신호 프로세서(56)를 포함할 수 있다. 예를 들어, ISP 블록(56)은 패스쓰루 비디오 피드에 대한 노출 설정을 제어하기 위한 자동 노출, 화이트 밸런스를 제어하기 위한 자동 색상 보정(때때로 자동 화이트 밸런스로 지칭됨), 톤 곡선 맵핑, 감마 보정, 음영 보정, 잡음 감소, 블랙 레벨 조정, 디모자이싱(demosaicing), 이미지 선명화, 높은 동적 범위(high dynamic range, HDR) 보정, 색상 공간 변환, 및/또는 다른 이미지 신호 프로세싱 기능들(단지 몇 개만 명명함)을 수행하도록 구성될 수 있다.

전용 계산 블록들(52)은 또한 컴포지터(58)와 같은 이미지 컴포지터를 포함할 수 있다. 컴포지터(58)는 패스쓰루 비디오 피드 위에 비교적 간단한 이미지를 오버레이하는 데 사용될 수 있다. 시스템 실패 또는 패스쓰루 비디오 피드와 연관된 다른 불안정성을 검출하는 것에 응답하여, 컴포지터(58)는 사용자에게 가능한 에러 또는 결함에 경보를 제공하는 텍스트 이미지를 오버레이하도록 지시될 수 있다. 예를 들어, 컴포지터(58)는, 하나 이상의 시스템 에러들 또는 라이브 패스쓰루 비디오 스트림 내의 가능한 불안정성을 검출할 시에, "헤드셋을 벗어주세요"라는 텍스트를 오버레이할 수 있다. 원하는 경우, 컴포지터(58)는 사용자를 위한 다른 유형들의 경고 메시지들 또는 경보들을 오버레이하는 데 사용될 수 있다. 디스플레이(14)는 전용 계산 블록들(52)로부터 프로세싱된 패스쓰루 비디오 피드를 수신할 수 있다.

전용 계산 블록들(52)에 더하여, 디바이스(10)는 보조 계산 블록들(70)을 추가로 포함할 수 있다. 전용 계산 블록들(52)과는 대조적으로, 보조 계산 블록들(70)은 카메라 피드 자체뿐만 아니라 디바이스(10) 내의 다른 센서들로부터 수집된 정보에도 종속할 수 있는 상위 레벨 이미지 조정들을 선택적으로 수행하도록 구성된 하드웨어 및/또는 소프트웨어 블록들(서브시스템들)을 포함할 수 있다. 도 3의 예에서, 보조 계산 블록들(70)은, 패스쓰루 비디오 피드 내의 실세계 콘텐츠 위에 가상 콘텐츠를 오버레이하도록 구성된 확장 현실(XR) 프로세싱 블록, 예컨대, XR 프로세서(72), 디스플레이(14)를 보고 있을 때의 사용자의 시선을 추적하도록 구성된 시선 추적 블록, 예컨대, 시선 추적기(74), 사용자의 시선의 영역 내의 비디오 피드의 이미지 해상도를 국소적으로 향상시키도록 (사용자의 시선과 정렬되지 않는 영역들 내의 비디오 피드의 이미지 해상도는 감소시키면서) 구성된 동적 포비에이션 블록, 예컨대, 동적 포비에이션 서브시스템(76), 사용자의 머리 포즈를 추적하도록(예컨대, 사용자의 머리와 연관된 요, 피치, 롤, 또는 다른 움직임을 추적하도록) 구성된 머리 포즈 추적 블록, 예컨대, 머리 추적기(78), 카메라(50)에 의해 캡처된 객체들에 대한 카메라(50)의 시점(또는 기울기)과 연관된 임의의 이슈들을 해결하기 위해 패스쓰루 비디오 피드를 조정하도록 구성된 시점(POV) 보정 블록, 예컨대, POV 보정 서브시스템(80), 카메라(50) 내의 렌즈(들) 및/또는 디스플레이(14) 내의 렌즈(들)로 인한 왜곡과 연관된 임의의 이슈들을 해결하기 위해 패스쓰루 비디오 피드를 조정하도록 구성된 왜곡 보상 블록, 예컨대, 왜곡 보상 서브시스템(82), 캡처된 이미지들 내의 깊이 정보를 계산하도록 구성된 3차원(3D) 매팅 블록, 예컨대, 3D 매팅 서브시스템(84), 캡처된 이미지들 내의 다양한 유형들의 객체들을 검출하도록(예컨대, 정적인 객체가 벽인지 여부를 검출하고, 이동하는 객체가 개인지 여부를 검출하는 등을 하도록) 구성된 장면 이해 블록, 예컨대, 장면 이해 서브시스템(86), 블록(72)으로부터 생성된 VR 콘텐츠 또는 다른 애플리케이션들로부터의 콘텐츠를 패스쓰루 비디오 피드 상에 오버레이하도록 구성된 이미지 컴포지터, 예컨대, 컴포지터(88), 및/또는 다른 소프트웨어 또는 상위 레벨 애플리케이션들과 연관된 다른 계산 블록들(90)을 포함할 수 있다. 대체적으로, XR 프로세서(72)는 가상 현실(VR) 콘텐츠, 증강 현실(augmented reality, AR) 콘텐츠, 혼합 현실(MR) 콘텐츠를 생성하도록 구성될 수 있거나, 다른 그래픽 프로세싱 기능들을 수행하는 데 사용될 수 있다. 그러한 유형들의 보조 계산 블록들(70)은 때때로 애플리케이션 레벨 또는 애플리케이션 서브시스템들로 지칭된다. 보조 계산 블록들(70)은, 프로세싱된 비디오 피드가 디스플레이(14)에 의해 출력되기 전에, 다양한 조정들 및 보정들을 패스쓰루 비디오 피드에 적용할 수 있다. 전용 계산 블록들(52) 및 보조 계산 블록들(70)은 집합적으로 프로세싱 회로부로 지칭될 수 있다.

일 실시예에 따르면, 디바이스(10)는, 그렇지 않으면 패스쓰루 비디오 피드가 실패하게 할 수 있는 시스템 에러가 발생할 때 또는 패스쓰루 비디오 피드와 연관된 파라미터 내의 불안정성을 검출할 때, 신뢰할 수 있는 패스쓰루 비디오 피드로 자동으로 스위칭(또는 폴백)하여, 그에 따라 사용자의 시각적 편안함 및 그의 또는 그녀의 주변에 대한 인식을 보호할 수 있다. 예를 들어, 디바이스(10)는 보조 계산 블록들(70) 중 하나 이상이 충돌했거나 결함있는 데이터를 출력하고 있을 때를 검출할 수 있다. 예로서, 운영 체제 레벨 커널 패닉 신호(패닉 플래그) 또는 다른 대체적인 결함 신호가, 보조 계산 블록들 중 임의의 하나 이상이 실패했을 때, 경로(92) 상에 출력될 수 있다. 커널 패닉 신호는 (예들로서) 메모리 에러를 검출할 때 및/또는 운영 체제에서 버그를 검출할 때 어써션(assertion)될 수 있다.

다른 예로서, 시스템은 보조 계산 블록들(70)에 의해, 경로들(94) 상에 출력된 개개의 파라미터들을 능동적으로 모니터링할 수 있다. 그러한 실시예들에서, 디바이스(10)는 경로들(94) 상의 파라미터들을 모니터링하기 위한 파라미터 모니터링 블록(60)을 포함할 수 있다. 경로(84) 상의 파라미터들은 XR 프로세싱 블록(72)으로부터 생성된 VR/AR/MR 콘텐츠를 포함할 수 있다(예컨대, 블록(60) 또는 블록(62)은 보조 계산 블록들(70)로부터 출력된 가상 콘텐츠를 모니터링하는 데 사용될 수 있음). 그러한 능동적인 모니터링 스킴에서, 시스템은, 하나 이상의 파라미터들이 오래되었는지 여부를 검출함으로써(예컨대, 이와 달리 정기적으로 업데이트되어야 하는 반복된 프레임들 또는 반복된 가상 콘텐츠를 관찰함으로써), 하나 이상의 파라미터들이 누락되었는지 여부를 검출함으로써(예컨대, 이와 달리 존재해야 하는 프레임들 또는 가상 콘텐츠가 전혀 없음을 관찰함으로써), 그리고/또는 하나 이상의 파라미터들이 무효한지 여부를 검출함으로써(예컨대, 무효하거나 가변적인 프레임레이트를 관찰함으로써 또는 파라미터가 예상 값 범위 밖에 있음을 관찰함으로써) 특정 실패를 검출할 수 있다. 실패로 고려될 반복된 프레임들의 수는 조정가능할 수 있다. 원하는 경우, 디바이스(10)는 또한, 하나 이상의 하드웨어/소프트웨어 서브시스템들(70)이 시간을 초과했거나 또는 동작을 중지했을 때를 모니터링하는 감시 타이머(62)와 같은 타이머를 포함할 수 있다. 예를 들어, 감시 타이머(62)는 경로(94) 상의 하나 이상의 파라미터들의 최근 활동을 모니터링하도록 구성될 수 있다. 감시 타이머(62)의 만료는, 모니터링되고 있는 파라미터들 중 하나 이상이 오래되었는지, 누락되었는지 또는 무효한지를 나타낼 수 있으며, 이에 따라 보조 계산 블록들(70) 중 하나 이상이 충돌되었거나 실패했음을 나타낼 수 있다. 원하는 경우, 에러 정정 코드(error correcting code, ECC) 스킴이 파라미터들 내의 에러들을 검출하고/하거나 정정하는 데 선택적으로 사용될 수 있다.

다른 예로서, 시스템은 에러를 자가 보고할 수 있다(예컨대, 개개의 보조 계산 블록들은 경로들(96) 상에 각자의 에러 신호들을 출력할 수 있음). 예를 들어, XR 프로세싱 블록(72)은, 그것이 충돌하거나 또는 이와 달리 불안정한 상황들을 경험하고 있을 때 에러 신호 Err1을 출력할 수 있고, 시선 추적기(74)는 그것이 충돌하거나 이와 달리 불안정한 상황들을 경험하고 있을 때 에러 신호 Err2를 출력할 수 있는 등이다. 대체적으로, 하드웨어 컴포넌트들 및 소프트웨어 애플리케이션들 중 임의의 것은 시스템에게 가능한 실패를 알려주는 예외 또는 다른 경보를 발생시킬 수 있다. 원하는 경우, 패스쓰루 비디오 피드는, 애플리케이션 레벨 서브시스템들(70)의 계속된 동작에 종속하지 않고, 사용자에게 가능한 실패를 알려주는 디폴트(폴백) 가상 콘텐츠를 출력할 수 있다. 일례로서, 디바이스(10)는, 치명적인 시스템 실패 또는 비디오 피드 불안정성을 검출할 때, "헤드셋을 벗어주세요"라는 경보 메시지를 오버레이할 수 있다. 다른 예로서, 디바이스(10)는 시스템 실패/에러 또는 비디오 피드 불안정성을 검출할 때 사용자에게 통지하기 위한 오디오 큐 또는 다른 가청 경보를 재생할 수 있다. 원하는 경우, 디폴트 가상 콘텐츠는 블록들(52)의 일부인 신뢰할 수 있는(백업) 렌더링 컴포넌트를 사용하여 렌더링되거나 사전 렌더링될 수 있다. 이러한 방식으로 동작되면, 디폴트 콘텐츠의 렌더링은 보조 계산 블록들(70)의 적절한 동작에 종속하거나 의존하지 않는다.

도 3은 패스쓰루 비디오 피드를 출력하기 위한 다계층(multi-tiered) 접근법을 예시하는 도면이다. 보조 계산 블록들(70) 모두가 적절히 기능하고 있을 때, 패스쓰루 비디오 피드는 다양한 애플리케이션 레벨 서브시스템들로부터의 모든 조정들을 포함할 것이다. 예를 들어, 블록(72)에 의해 제공되는 VR/AR 콘텐츠 오버레이들, 블록(76)에 의해 제공되는 동적 포비에이션, 블록(80)에 의해 제공되는 POV 보정, 블록(82)에 의해 제공되는 렌즈 왜곡 보상, 및 모든 다른 애플리케이션 레벨 기능들이 활성화된다. 이는 때때로 본 명세서에서 "계층-1" 또는 정상 패스쓰루 동작(100)으로 지칭된다. 계층-1 정상 패스쓰루 동작/모드 동안에는, (예로서) 가상 콘텐츠만이 사용자에게 선택적으로 디스플레이될 수 있다. 다른 시나리오들에서, 디바이스(10)는 또한 계층-1 정상 패스쓰루 모드 동안 가상 및 패스쓰루 콘텐츠의 조합을 디스플레이할 수 있다.

보조 계산 블록들(70) 중 하나 이상이 충돌했을 때, 충돌하는 블록들이 일시적으로 우회(무시)될 수 있거나 디폴트 파라미터들(때때로 폴백 파라미터들로 지칭됨)이 그러한 특정 블록들에 대해 사용될 수 있다. 예를 들어, XR 프로세싱 블록(72)이 충돌한 경우, XR 프로세서 및 블록(72)의 렌더링 기능에 의존하는 다른 애플리케이션 레벨 보조 계산 블록들은 일시적으로 보류되고 우회될 수 있는 반면, 다른 실패하지 않은 보조 계산 블록들은 의도된 바와 같이 계속 기능할 수 있다. 다른 예로서, POV 보정 블록(80)이 충돌한 경우, POV 보정 블록 및 POV 보정 블록으로부터의 데이터에 의존하는 다른 애플리케이션 레벨 보조 계산 블록들은 일시적으로 보류되고 우회될 수 있는 반면, 다른 실패하지 않은 보조 계산 블록들은 의도된 바와 같이 계속 기능할 수 있다. 또 다른 예로서, 왜곡 보상 블록(82)이 충돌한 경우, 왜곡 보상 블록 및 왜곡 보상 블록으로부터의 데이터에 의존하는 다른 애플리케이션 레벨 보조 계산 블록들은 일시적으로 보류되고 우회될 수 있는 반면, 다른 실패하지 않은 보조 계산 블록들은 의도된 바와 같이 계속 기능할 수 있다. 자가 에러 보고를 통해, 각각의 개개의 계산 블록으로부터의 파라미터들을 모니터링함으로써, 또는 보조 계산 블록들(70)로부터 출력된 다른 애플리케이션 레벨 경보 플래그들을 모니터링함으로써, 결함있는 블록들이 검출될 수 있다. 하나 이상의 가능한 에러들이 존재하더라도 적어도 부분적으로 향상된 패스쓰루 비디오 피드가 여전히 출력될 수 있는 이러한 동작은 본 명세서에서 때때로 "계층-2" 또는 고품질 패스쓰루 동작(102) 또는 중간 패스쓰루 폴백 동작으로 지칭된다. 디바이스(10)가 계층-2 고품질 패스쓰루 동작으로 폴백할 때, 디바이스(10)는 사용자에게 계층-2 패스쓰루 모드(102)로의 스위칭을 통지하는 오디오 또는 햅틱 경보들을 (선택적인 텍스트 메시지와 함께) 출력할 수 있다. 계층-2 고품질 패스쓰루 동작/모드 동안, (예로서) 패스쓰루 콘텐츠는 일부 가상 콘텐츠와 선택적으로 블렌딩될 수 있고, 블렌딩된(병합된) 콘텐츠는 사용자에게 선택적으로 디스플레이될 수 있다.

보조 계산 블록들(70) 중 하나 이상이 충돌한 때, 보조 계산 블록들 모두가 일시적으로 우회/무시될 수 있거나 디폴트(폴백) 파라미터들이 보조 계산 블록들 모두에 대해 사용될 수 있다. 이러한 모드에서는, 전용 계산 블록들(52)과 연관된 기능들만이 활성화된다. 예를 들어, 블록(56)에 의해 제공되는 기본 이미지 신호 프로세싱 기능들 및/또는 블록(58)에 의해 제공되는 기본 메시지 오버레이만이 활성화된다. 이는, 보조 계산 블록들(70) 중 하나만이 결함이 있더라도, 발생할 수 있다. 이러한 모드는, 커널 패닉 신호 또는 다른 대체적인 운영 체제 레벨 패닉 플래그를 검출할 때, 하나 이상의 감시 타이머들의 만료를 검출할 때, (예를 들어, 자가 에러 보고를 통해, 각각의 개개의 보조 계산 블록으로부터의 파라미터들을 모니터링함으로써, 또는 보조 계산 블록들로부터 출력된 다른 애플리케이션 레벨 경보 플래그들을 모니터링함으로써) 하나 이상의 보조 계산 블록들이 충돌했음을 검출할 때, 기타 등등일 때 트리거될 수 있다. 기본 신뢰할 수 있는(안정적인) 패스쓰루 비디오 피드가 (애플리케이션 레벨 서브시스템들(70)로부터의 어떠한 향상 또는 조정도 없이) 디스플레이(14)로 패스쓰루되는 이러한 동작은 때때로 본 명세서에서 "계층-3" 또는 단순 패스쓰루 동작(104) 또는 단순 패스쓰루 폴백 동작으로 지칭된다. 원하는 경우, 안전 통지가 단순(안정적인) 패스쓰루 비디오 피드 위에 선택적으로 오버레이될 수 있다. 디바이스(10)가, 보조 계산 블록들 중 하나 이상에서 실패를 검출함으로 인해 또는 비디오 피드 내의 다른 불안정성으로 인해, 단순 패스쓰루 동작으로 폴백할 때, 디바이스(10)는 사용자에게 단순 패스쓰루 동작(104)으로의 스위칭을 통지하는 오디오 또는 햅틱 경보들을 (선택적인 텍스트 메시지와 함께) 출력할 수 있다. 예를 들어, 오디오 및/또는 시각적 메시지들은 디바이스(10)를 제거하라고, 디바이스(10)를 재시작하라고, 또는 달리 실패하는 블록들이 복구되게 하기 위해 소정 시간 동안 대기하라고 사용자에게 알려줄 수 있다.

원하는 경우, 소정 보조 계산 블록들(70)의 충돌 또는 실패는 자동으로 디바이스(10)의 동작을 계층-1 또는 계층-2로부터 계층-3 단순 패스쓰루 폴백 모드로 직접 스위칭시킬 수 있다. 일례로서, 시선 추적기 블록(74)이 충돌했음을 검출하는 것에 응답하여, 디바이스(10)는 자동으로 계층-3 단순 패스쓰루 폴백 모드로 스위칭하여 보조 계산 블록들(70) 모두를 우회할 수 있다. 다른 예로서, 머리 포즈 추적기 블록(78)이 충돌했음을 검출하는 것에 응답하여, 디바이스(10)는 또한 자동으로 계층-3 단순 패스쓰루 폴백 모드로 스위칭하여 보조 계산 블록들(70) 모두를 우회할 수 있다. 이것은 단지 예시적인 것이다. 다른 블록들(70)의 실패가 또한 계층-3 폴백 모드로의 그러한 직접적인 스위칭을 트리거할 수 있다.

일부 실시예들에서, 디바이스(10)는 정상 동작 모드(100)와 단순 패스쓰루 모드(104) 사이에서 교번할 수 있다(예컨대, 계층-2 동작은 사용되지 않음). 다시 말하면, 고품질 패스쓰루 모드(102)는 선택적이다. 다른 실시예들에서, 디바이스(10)는 정상 동작 모드(100)와 고품질 패스쓰루 모드(102) 사이에서 교번할 수 있다(예컨대, 계층-3 동작은 사용되지 않음). 다시 말하면, 단순 패스쓰루 모드(104)는 선택적이다. 또 다른 실시예들에서, 디바이스(10)는 정상 동작 모드(100), 고품질 패스쓰루 모드(102), 및 단순 패스쓰루 모드(104) 사이에서 스위칭할 수 있다(예컨대, 모든 3개의 계층들 또는 비디오 패스쓰루 모드들이 사용 중임).

도 5는, 디바이스(10)를 사용하여 계층-1 정상 패스쓰루 모드와 계층-3 단순 패스쓰루 폴백 모드(때때로 제1 및 제2 비디오 패스쓰루 모드들로 각각 지칭됨) 사이에서 스위칭하기 위한 예시적인 동작들의 흐름도이다. 블록(110)의 동작들 동안, 디바이스(10)의 전원이 켜질 수 있다. 전원이 켜진 후에, 디바이스(10)는 계층-1 정상 패스쓰루 모드에서 동작될 수 있다(블록(112)의 동작들을 참조).

블록(114)의 동작들 동안, 디바이스(10)는 하나 이상의 일반적인(시스템 레벨) 또는 특정(블록 레벨) 실패들을 검출할 수 있다. 예를 들어, 디바이스(10)는, 커널 패닉 플래그의 어써션을 관찰함으로써, 보조 계산 블록들로부터의 파라미터들을 모니터링하여 파라미터가 오래되었는지, 무효한지, 또는 존재하지 않는지를 결정함으로써, 보조 계산 블록들로부터 출력된 자가 보고 에러 신호들을 모니터링함으로써, 하나 이상의 감시 타이머들의 만료를 검출함으로써, ECC 동작들을 수행함으로써, 또는 다른 에러/결함 검출 동작들을 수행함으로써 실패를 검출할 수 있다.

블록(114)의 동작들 동안 실패를 검출하는 것에 응답하여, 디바이스(10)는 계층-3 단순 패스쓰루 폴백 모드에서 동작하는 것으로 스위칭할 수 있다(블록(116)의 동작들을 참조). 단순 패스쓰루 폴백 모드 동안, 모든 보조 블록 기능들이 우회될 수 있거나 디폴트(폴백) 파라미터들이 모든 보조 계산 블록들에 사용될 수 있다. 예를 들어, 계층-3 모드 동안, 블록(56)과 연관된 기본 ISP 기능들만이 패스쓰루 비디오 피드에 적용되는 반면, 블록들(70)과 연관된 애플리케이션 레벨 이미지 조정 알고리즘들은 일시적으로 보류되거나 비활성화된다.

블록(118)의 동작들 동안, 실패하거나 충돌하는 블록들과 연관된 하드웨어/소프트웨어 서브시스템들은 적절한 기능을 회복하려는 시도로 재시작, 리셋, 또는 이와 달리 복구될 수 있다. 일단 문제가 있는 블록들이 적절히 동작하고 있으면, 디바이스(10)는, 루프백 경로(119)에 의해 도시된 바와 같이, 계층-1 정상 패스쓰루 모드에서 동작하는 것으로 다시 복귀할 수 있다. 원하는 경우, 문제가 있는 블록들이 소정 기간 후에 복구할 수 없는 경우, 디바이스(10)는 선택적으로 재시작(재부팅)될 수 있다. 예를 들어, 문제가 있는 블록들 중 하나 이상이 5초 내에, 10초 내에, 1초 내지 5초 내에, 5초 내지 10초 내에, 10초 내지 20초 내에 복구할 수 없는 경우, 또는 계층-3 지속기간이 일부 다른 임계치를 초과하는 경우, 디바이스(10)는 선택적으로 재부팅될 수 있다. 일부 실시예들에서, 디바이스(10)가 소정 기간 동안 계층-3 단순 패스쓰루 모드(104)에서 동작해 왔던 후에, 디바이스(10)는, 디바이스(10)가 재시작하는 동안, 디스플레이(14)가 블랙 스크린 및/또는 캐싱된(디폴트) 이미지를 제시하는 또 다른 모드로 선택적으로 전이할 수 있다. 원하는 경우, 이러한 시간 동안 시각적 메시지 및/또는 오디오 메시지를 갖는 임의의 유형의 가상 콘텐츠가 사용자에게 출력될 수 있어, 디바이스(10)가 재부팅하는 것을 사용자가 알게 한다.

시동 시에 계층-1 정상 패스쓰루 동작을 디폴트로 하는(블록(112)) 도 5의 예는 단지 예시적인 것이다. 원하는 경우, 디바이스(10)는 대안적으로, 시동 후에 계층-3 단순 패스쓰루 모드를 디폴트로 할 수 있다(블록(116)). 디바이스(10)는, 모든 보조 계산 블록 기능들이 적절히 기능하고 있음을 검증한 후에, 결국 계층-1 정상 패스쓰루 모드에서 동작하는 것으로 스위칭할 수 있다.

머리 장착형 디바이스(10)가 계층-1 패스쓰루 모드와 계층-3 패스쓰루 모드 사이에서 스위칭하는 도 5의 예는 예시적인 것이다. 도 6은, 디바이스(10)를 사용하여 계층-1 정상 패스쓰루 모드, 계층-3 단순 패스쓰루 폴백 모드, 계층-2 고품질 패스쓰루 폴백 모드 사이에서 스위칭하기 위한 예시적인 동작들의 흐름도이다. 블록(120)의 동작들 동안, 디바이스(10)의 전원이 켜질 수 있다. 전원이 켜진 후에, 디바이스(10)는 계층-1 정상 패스쓰루 모드에서 동작될 수 있다(블록(122)의 동작들을 참조).

블록(124)의 동작들 동안, 디바이스(10)는 계층-3 단순 패스쓰루 폴백 모드를 트리거하기 위한 조건을 검출할 수 있다. 예를 들어, 디바이스(10)는 커널 패닉 플래그의 어써션을 관찰함으로써, 하나 이상의 감시 타이머들의 만료를 검출함으로써, 또는 시스템 레벨 결함을 나타내는 다른 에러 검출 동작들을 수행함으로써 대체적인 실패를 검출할 수 있다.

계층-3 동작을 트리거하기 위한 조건을 검출하는 것에 응답하여, 디바이스(10)는 계층-3 단순 패스쓰루 폴백 모드에서 동작하는 것으로 스위칭할 수 있다(블록(126)의 동작들을 참조). 단순 패스쓰루 폴백 모드 동안, 모든 보조 블록 기능들이 우회될 수 있거나 디폴트(폴백) 파라미터들이 모든 보조 계산 블록들에 사용될 수 있다. 예를 들어, 계층-3 모드 동안, 블록(56)과 연관된 기본 ISP 기능들만이 패스쓰루 비디오 피드에 적용되는 반면, 블록들(70)과 연관된 애플리케이션 레벨 이미지 조정 알고리즘들은 일시적으로 보류되거나 비활성화된다. 이러한 시간 동안, 실패하거나 충돌하는 블록들과 연관된 하드웨어/소프트웨어 서브시스템들은 적절한 기능을 회복하려는 시도로 재시작되거나 리셋될 수 있다. 일단 문제가 있는 블록들이 적절히 동작하고 있으면, 디바이스(10)는 계층-1 정상 패스쓰루 모드에서 동작하는 것으로 다시 복귀할 수 있다(예를 들어, 블록(122)의 동작들로 루프백함). 원하는 경우, 계층-2 동작을 트리거하기 위한 조건이 만족되는 경우, 디바이스(10)가 계층-3 단순 패스쓰루 모드에서 동작하는 것으로부터 계층-2 고품질 패스쓰루 모드에서 동작하는 것으로 스위칭하는 것이 또한 가능하다. 예를 들어, 계층-3 모드로부터 계층-2 모드로의 자동 스위칭은, 시선 추적기와 같은 더 중요한 보조 계산 블록은 적절한 기능을 복구하고 회복하지만, VR 콘텐츠 프로세서와 같은 덜 중요한 보조 계산 블록은 여전히 실패하고 있거나 또는 복구를 시도하고 있을 때, 트리거될 수 있다.

블록(128)의 동작들 동안, 디바이스(10)는 계층-2 고품질 패스쓰루 폴백 모드를 트리거하기 위한 조건을 검출할 수 있다. 예를 들어, 디바이스(10)는, 보조 계산 블록들로부터의 파라미터들을 모니터링하여 파라미터가 오래되었는지, 무효한지, 또는 존재하지 않는지를 결정함으로써, 보조 계산 블록들로부터 출력된 자가 보고 에러 신호들을 모니터링함으로써, ECC 동작들을 수행함으로써, 또는 다른 에러/결함 검출 동작들을 수행함으로써 특정 실패를 검출할 수 있다.

계층-2 동작을 트리거하기 위한 조건을 검출하는 것에 응답하여, 디바이스(10)는 계층-2 고품질 패스쓰루 폴백 모드에서 동작하는 것으로 스위칭할 수 있다(블록(130)의 동작들을 참조). 고품질 패스쓰루 폴백 모드 동안, 보조 블록 기능들 중 일부(서브세트)만이 우회될 수 있거나 디폴트(폴백) 파라미터들이 결함있는 보조 계산 블록(들)에 사용될 수 있다. 예를 들어, 계층-2 모드 동안, 충돌하는 XR 프로세싱 블록(72)과 연관된 모든 기능들은 우회되거나 무시될 수 있는 반면, 나머지 적절하게 기능하는 보조 계산 블록들(70)과 연관된 기능들은 여전히 동작 중이다. 다시 말하면, 실패하는 보조 계산 블록(들)과 연관된 기능들만이 일시적으로 보류되거나 비활성화된다. 이러한 시간 동안, 실패하거나 충돌하는 블록들 또는 디바이스(10)와 연관된 하드웨어/소프트웨어 서브시스템들은 적절한 기능을 회복하려는 시도로 재시작되거나 리셋될 수 있다. 일단 문제가 있는 블록들이 적절히 동작하고 있으면, 디바이스(10)는 계층-1 정상 패스쓰루 모드에서 동작하는 것으로 다시 복귀할 수 있다(예를 들어, 블록(122)의 동작들로 루프백함). 원하는 경우, 경로(132)에 의해 도시된 바와 같이, 계층-3 동작을 트리거하기 위한 조건이 만족되는 경우, 디바이스(10)가 계층-2 모드로부터 계층-3 단순 패스쓰루 모드에서 동작하는 것으로 스위칭하는 것이 또한 가능하다. 예를 들어, 시선 추적기와 같은 더 중요한 보조 계산 블록이 실패할 때, 계층-2 모드로부터 계층-3 모드로의 자동 스위칭이 트리거될 수 있다.

도 1 내지 도 6과 관련하여 위에서 설명된 방법들 및 동작들은 소프트웨어, 펌웨어 및/또는 하드웨어(예를 들어, 전용 회로부 또는 하드웨어)를 사용하여 디바이스(10)의 컴포넌트들에 의해 수행될 수 있다. 이러한 동작들을 수행하기 위한 소프트웨어 코드는 디바이스(10)의 컴포넌트들 중 하나 이상(예를 들어, 도 1의 제어 회로부(20) 내의 저장 회로부)에 저장된 비일시적 컴퓨터 판독가능 저장 매체들(예를 들어, 유형적 컴퓨터 판독가능 저장 매체들)에 저장될 수 있다. 소프트웨어 코드는 때때로 소프트웨어, 데이터, 명령어들, 프로그램 명령어들, 또는 코드로 지칭될 수 있다. 비일시적 컴퓨터 판독가능 저장 매체들은 드라이브들, 비휘발성 메모리, 예컨대 비휘발성 랜덤 액세스 메모리(NVRAM), 착탈식 플래시 드라이브들 또는 다른 착탈식 매체들, 다른 유형들의 랜덤 액세스 메모리 등을 포함할 수 있다. 비일시적 컴퓨터 판독가능 저장 매체 상에 저장된 소프트웨어는 디바이스(10)의 컴포넌트들 중 하나 이상 상의 프로세싱 회로부(예를 들어, 제어 회로부(20) 내의 하나 이상의 프로세서들)에 의해 실행될 수 있다. 상기 프로세싱 회로부에는 마이크로프로세서, 애플리케이션 프로세서, 디지털 신호 프로세서, 중앙 처리 장치(CPU), 프로세싱 회로부가 있는 애플리케이션별 통합 회로 또는 다른 프로세싱 회로부를 포함할 수 있다.

물리적 환경은 사람들이 전자 디바이스의 도움 없이 감지하고/하거나 그와 상호작용할 수 있는 물리적 세계를 지칭한다. 대조적으로, 확장 현실(XR) 환경은 사람들이 전자 디바이스를 통해 감지하고/하거나 그와 상호작용하는 완전히 또는 부분적으로 시뮬레이션된 환경을 지칭한다. 예를 들어, XR 환경은 증강 현실(AR) 콘텐츠, 혼합 현실(MR) 콘텐츠, 가상 현실(VR) 콘텐츠 등을 포함할 수 있다. XR 시스템을 이용하면, 사람의 신체적 움직임들 또는 그 표현들의 서브세트가 추적되고, 이에 응답하여, XR 환경에서 시뮬레이션된 하나 이상의 가상 객체들의 하나 이상의 특성들이 적어도 하나의 물리 법칙에 따르는 방식으로 조정된다.

많은 상이한 유형들의 전자 시스템들이, 사람이 다양한 XR 환경들을 감지하고/하거나 그와 상호작용할 수 있게 한다. 예들은 머리 장착가능 시스템들, 투영-기반 시스템들, 헤드-업(head-up) 디스플레이(HUD)들, 디스플레이 능력이 통합된 차량 앞유리들, 디스플레이 능력이 통합된 창문들, 사람의 눈들에 배치되도록 설계된 렌즈들로서 형성된 디스플레이들(예컨대, 콘택트 렌즈들과 유사함), 헤드폰들/이어폰들, 스피커 어레이들, 입력 시스템들(예컨대, 햅틱 피드백이 있거나 또는 없는 웨어러블 또는 핸드헬드 제어기들), 스마트폰들, 태블릿들, 및 데스크톱/랩톱 컴퓨터들을 포함한다.

일 실시예에 따르면, 적어도 하나의 이미지 센서 및 프로세싱 회로부를 갖는 전자 디바이스를 동작시키는 방법이 제공되며, 상기 방법은, 적어도 하나의 이미지 센서를 사용하여 비디오 피드를 획득하는 단계, 프로세싱 회로부의 조건을 식별하는 단계, 프로세싱 회로부의 식별된 조건에 기초하여 제1 비디오 패스쓰루 모드에서 동작할지 또는 제2 비디오 패스쓰루 모드에서 동작할지를 결정하는 단계, 제1 비디오 패스쓰루 모드에서 동작하는 동안, 적어도 하나의 이미지 센서로부터의 비디오 피드 상에서 프로세싱 기능을 수행하도록 프로세싱 회로부를 사용함으로써 패스쓰루 비디오 피드를 디스플레이하는 단계, 및 제2 비디오 패스쓰루 모드에서 동작하는 동안, 프로세싱 기능을 수행하지 않으면서 적어도 하나의 이미지 센서로부터의 비디오 피드에 기초하여 패스쓰루 비디오 피드를 디스플레이하는 단계를 포함한다.

다른 실시예에 따르면, 제1 비디오 패스쓰루 모드 동안 프로세싱 회로부에 의해 수행되는 프로세싱 기능은, 확장 현실 콘텐츠 생성, 시선 추적, 머리 포즈 추적, 동적 포비에이션, 시점 보정, 왜곡 보상, 및 3차원 매팅으로 이루어진 그룹으로부터 선택된 기능을 포함한다.

다른 실시예에 따르면, 상기 방법은, 제1 및 제2 비디오 패스쓰루 모드들 둘 모두 동안, 프로세싱 회로부를 사용하여, 자동 노출, 자동 화이트 밸런스, 톤 곡선 맵핑, 감마 보정, 음영 보정, 잡음 감소, 블랙 레벨 조정, 디모자이싱, 및 이미지 선명화로 이루어진 그룹으로부터 선택된 기능을 수행하는 단계를 포함한다.

다른 실시예에 따르면, 프로세싱 회로부의 조건을 식별하는 단계는 프로세싱 회로부에서 실패를 검출하는 단계 또는 프로세싱 회로부의 불안정한 동작을 검출하는 단계를 포함한다.

다른 실시예에 따르면, 조건을 검출하는 것은 커널 패닉 신호를 검출하는 것을 포함한다.

다른 실시예에 따르면, 조건을 검출하는 것은 감시 타이머의 만료를 검출하는 것을 포함한다.

다른 실시예에 따르면, 조건을 검출하는 것은 프로세싱 회로부와 연관된 적어도 하나의 파라미터를 모니터링하여 적어도 하나의 파라미터가 오래되었는지, 누락되었는지, 또는 무효한지를 검출하는 것을 포함한다.

다른 실시예에 따르면, 조건을 검출하는 것은 프로세싱 회로부로부터의 하나 이상의 에러 신호들을 검출하는 것을 포함한다.

다른 실시예에 따르면, 상기 방법은, 제2 비디오 패스쓰루 모드에서 동작하는 동안, 적어도 하나의 이미지 센서로부터의 비디오 피드에 디폴트 조정을 적용함으로써 패스쓰루 비디오 피드를 디스플레이하는 단계를 포함한다.

일 실시예에 따르면, 적어도 하나의 카메라 및 프로세싱 회로부를 갖는 전자 디바이스를 동작시키는 방법이 제공되며, 상기 방법은, 적어도 하나의 카메라를 사용하여 비디오 피드를 획득하는 단계, 프로세싱 회로부의 조건을 식별하는 단계, 프로세싱 회로부의 식별된 조건에 기초하여 제1 비디오 패스쓰루 모드에서 동작할지 또는 제2 비디오 패스쓰루 모드에서 동작할지를 결정하는 단계, 제1 비디오 패스쓰루 모드에서 동작하는 동안, 적어도 하나의 카메라로부터의 비디오 피드에 조정을 적용하도록 프로세싱 회로부를 사용함으로써 패스쓰루 비디오 피드를 디스플레이하는 단계, 및 제2 비디오 패스쓰루 모드에서 동작하는 동안, 적어도 하나의 카메라로부터의 비디오 피드에 상기 조정과는 상이한 디폴트 조정을 적용하도록 프로세싱 회로부를 사용함으로써 패스쓰루 비디오 피드를 디스플레이하는 단계를 포함한다.

다른 실시예에 따르면, 프로세싱 회로부에 의해 적용되는 조정은, 확장 현실 콘텐츠 생성, 시선 추적, 머리 포즈 추적, 동적 포비에이션, 시점 보정, 왜곡 보상, 및 3차원 매팅으로 이루어진 그룹으로부터 선택된 기능을 수행하는 것을 포함한다.

다른 실시예에 따르면, 프로세싱 회로부의 조건을 식별하는 단계는 프로세싱 회로부에서 실패를 검출하는 단계 또는 프로세싱 회로부의 불안정한 동작을 검출하는 단계를 포함한다.

다른 실시예에 따르면, 조건을 검출하는 것은 커널 패닉 신호 또는 감시 타이머의 만료를 검출하는 것을 포함한다.

다른 실시예에 따르면, 조건을 검출하는 것은 프로세싱 회로부와 연관된 적어도 하나의 파라미터를 모니터링하여 적어도 하나의 파라미터가 오래되었는지, 누락되었는지, 또는 무효한지를 검출하는 것을 포함한다.

다른 실시예에 따르면, 조건을 검출하는 것은 프로세싱 회로부로부터의 하나 이상의 에러 신호들을 검출하는 것을 포함한다.

일 실시예에 따르면, 제1, 제2, 및 제3 비디오 패스쓰루 모드들에서 동작가능한 머리 장착형 디바이스를 동작시키는 방법이 제공되며, 상기 방법은, 하나 이상의 카메라들을 사용하여 비디오 피드를 획득하는 단계, 이미지 신호 프로세서를 사용하여 비디오 피드를 프로세싱하는 단계, 복수의 보조 계산 블록들을 사용하여 비디오 피드를 선택적으로 프로세싱하는 단계, 제1 비디오 패스쓰루 모드 동안, 이미지 신호 프로세서를 사용하여 그리고 복수의 보조 계산 블록들을 사용하여 비디오 피드를 프로세싱함으로써 패스쓰루 비디오 피드를 디스플레이하는 단계, 제1 모드 스위칭 조건이 충족되었는지 또는 제2 모드 스위칭 조건이 충족되었는지를 결정하는 단계, 제1 모드 스위칭 조건이 충족되었다고 결정하는 것에 응답하여, 제1 비디오 패스쓰루 모드로부터 제2 비디오 패스쓰루 모드로 스위칭하고, 그리고 제2 비디오 패스쓰루 모드 동안, 복수의 보조 계산 블록들을 우회하면서 또는 복수의 보조 계산 블록들에 대한 폴백 값들을 사용하면서 이미지 신호 프로세서를 사용하여 비디오 피드를 프로세싱함으로써 패스쓰루 비디오 피드를 디스플레이하는 단계, 및 제2 모드 스위칭 조건이 충족되었다고 결정하는 것에 응답하여, 제1 비디오 패스쓰루 모드로부터 제3 비디오 패스쓰루 모드로 스위칭하고, 그리고 제3 비디오 패스쓰루 모드 동안, 복수의 보조 계산 블록들의 서브세트를 우회하면서 또는 복수의 보조 계산 블록들의 서브세트에 대한 폴백 값들을 사용하면서 이미지 신호 프로세서를 사용하여 비디오 피드를 프로세싱함으로써 패스쓰루 비디오 피드를 디스플레이하는 단계를 포함한다.

다른 실시예에 따르면, 이미지 신호 프로세서를 사용하여 비디오를 프로세싱하는 단계는, 이미지 신호 프로세서를 사용하여, 자동 노출, 자동 화이트 밸런스, 톤 곡선 맵핑, 감마 보정, 음영 보정, 잡음 감소, 블랙 레벨 조정, 디모자이싱, 및 이미지 선명화로 이루어진 그룹으로부터 선택된 기능을 수행하는 단계를 포함한다.

다른 실시예에 따르면, 복수의 보조 계산 블록들을 사용하여 비디오 피드를 선택적으로 프로세싱하는 단계는, 복수의 보조 계산 블록들을 사용하여, 확장 현실 콘텐츠 생성, 시선 추적, 머리 포즈 추적, 동적 포비에이션, 시점 보정, 왜곡 보상, 및 3차원 매팅으로 이루어진 그룹으로부터 선택된 기능을 수행하는 단계를 포함한다.

다른 실시예에 따르면, 제1 모드 스위칭 조건이 충족되었는지를 결정하는 것은 커널 패닉 신호를 검출하는 것 또는 감시 타이머의 만료를 검출하는 것을 포함한다.

다른 실시예에 따르면, 제2 모드 스위칭 조건이 충족되었는지를 결정하는 것은, 복수의 보조 계산 블록들과 연관된 파라미터들을 모니터링하여 파라미터들 중 적어도 하나가 오래되었는지, 누락되었는지, 또는 무효한지를 검출하는 것 또는 복수의 보조 계산 블록들과 연관된 적어도 하나의 에러 신호를 검출하는 것을 포함한다.

다른 실시예에 따르면, 상기 방법은, 임계치를 초과하는 기간 동안 제3 비디오 패스쓰루 모드에서 머리 장착형 디바이스를 동작시킨 후에, 머리 장착형 디바이스를 재시작하는 단계를 포함한다.

다른 실시예에 따르면, 상기 방법은, 제1 비디오 패스쓰루 모드로부터 제2 비디오 패스쓰루 모드로 스위칭하는 것에 응답하여, 제1 시각적, 오디오, 또는 햅틱 경보를 디스플레이하는 단계; 및 제1 비디오 패스쓰루 모드로부터 제3 비디오 패스쓰루 모드로 스위칭하는 것에 응답하여, 제2 시각적, 오디오, 또는 햅틱 경보를 디스플레이하는 단계를 포함한다.

전술한 것은 단지 예시적인 것이며, 설명된 실시예들에 대해 다양한 수정들이 이루어질 수 있다. 전술한 실시예들은 개별적으로 또는 임의의 조합으로 구현될 수 있다.

Claims (22)

1. 적어도 하나의 이미지 센서 및 프로세싱 회로부를 갖는 전자 디바이스를 동작시키는 방법으로서,
   상기 적어도 하나의 이미지 센서를 사용하여 비디오 피드(video feed)를 획득하는 단계;
   상기 프로세싱 회로부의 조건을 식별하는 단계;
   상기 프로세싱 회로부의 식별된 조건에 기초하여 제1 비디오 패스쓰루 모드(video passthrough mode)에서 동작할지 또는 제2 비디오 패스쓰루 모드에서 동작할지를 결정하는 단계;
   상기 제1 비디오 패스쓰루 모드에서 동작하는 동안, 상기 적어도 하나의 이미지 센서로부터의 상기 비디오 피드 상에서 프로세싱 기능을 수행하도록 상기 프로세싱 회로부를 사용함으로써 패스쓰루 비디오 피드를 디스플레이하는 단계; 및
   상기 제2 비디오 패스쓰루 모드에서 동작하는 동안, 상기 프로세싱 기능을 수행하지 않으면서 상기 적어도 하나의 이미지 센서로부터의 상기 비디오 피드에 기초하여 패스쓰루 비디오 피드를 디스플레이하는 단계를 포함하는, 방법.
2. 제1항에 있어서, 상기 제1 비디오 패스쓰루 모드 동안 상기 프로세싱 회로부에 의해 수행되는 상기 프로세싱 기능은, 확장 현실 콘텐츠 생성, 시선 추적, 머리 포즈 추적, 동적 포비에이션(dynamic foveation), 시점 보정, 왜곡 보상, 및 3차원 매팅(3-dimensional matting)으로 이루어진 그룹으로부터 선택된 기능을 포함하는, 방법.
3. 제2항에 있어서,
   상기 제1 및 제2 비디오 패스쓰루 모드들 둘 모두 동안, 상기 프로세싱 회로부를 사용하여, 자동 노출, 자동 화이트 밸런스, 톤 곡선 맵핑, 감마 보정, 음영 보정, 잡음 감소, 블랙 레벨 조정, 디모자이싱(demosaicing), 및 이미지 선명화로 이루어진 그룹으로부터 선택된 기능을 수행하는 단계를 추가로 포함하는, 방법.
4. 제1항에 있어서, 상기 프로세싱 회로부의 조건을 식별하는 단계는 상기 프로세싱 회로부에서 실패를 검출하는 단계 또는 상기 프로세싱 회로부의 불안정한 동작을 검출하는 단계를 포함하는, 방법.
5. 제4항에 있어서, 상기 조건을 검출하는 것은 커널 패닉 신호를 검출하는 것을 포함하는, 방법.
6. 제4항에 있어서, 상기 조건을 검출하는 것은 감시 타이머(watchdog timer)의 만료를 검출하는 것을 포함하는, 방법.
7. 제4항에 있어서, 상기 조건을 검출하는 것은 상기 프로세싱 회로부와 연관된 적어도 하나의 파라미터를 모니터링하여 상기 적어도 하나의 파라미터가 오래되었는지, 누락되었는지, 또는 무효한지를 검출하는 것을 포함하는, 방법.
8. 제4항에 있어서, 상기 조건을 검출하는 것은 프로세싱 회로부로부터의 하나 이상의 에러 신호들을 검출하는 것을 포함하는, 방법.
9. 제1항에 있어서,
   상기 제2 비디오 패스쓰루 모드에서 동작하는 동안, 상기 적어도 하나의 이미지 센서로부터의 상기 비디오 피드에 디폴트 조정을 적용함으로써 상기 패스쓰루 비디오 피드를 디스플레이하는 단계를 추가로 포함하는, 방법.
10. 적어도 하나의 카메라 및 프로세싱 회로부를 갖는 전자 디바이스를 동작시키는 방법으로서,
    상기 적어도 하나의 카메라를 사용하여 비디오 피드를 획득하는 단계;
    상기 프로세싱 회로부의 조건을 식별하는 단계;
    상기 프로세싱 회로부의 식별된 조건에 기초하여 제1 비디오 패스쓰루 모드에서 동작할지 또는 제2 비디오 패스쓰루 모드에서 동작할지를 결정하는 단계;
    상기 제1 비디오 패스쓰루 모드에서 동작하는 동안, 상기 적어도 하나의 카메라로부터의 상기 비디오 피드에 조정을 적용하도록 상기 프로세싱 회로부를 사용함으로써 패스쓰루 비디오 피드를 디스플레이하는 단계; 및
    상기 제2 비디오 패스쓰루 모드에서 동작하는 동안, 상기 적어도 하나의 카메라로부터의 상기 비디오 피드에 상기 조정과는 상이한 디폴트 조정을 적용하도록 상기 프로세싱 회로부를 사용함으로써 패스쓰루 비디오 피드를 디스플레이하는 단계를 포함하는, 방법.
11. 제10항에 있어서, 상기 프로세싱 회로부에 의해 적용되는 상기 조정은, 확장 현실 콘텐츠 생성, 시선 추적, 머리 포즈 추적, 동적 포비에이션, 시점 보정, 왜곡 보상, 및 3차원 매팅으로 이루어진 그룹으로부터 선택된 기능을 수행하는 것을 포함하는, 방법.
12. 제10항에 있어서, 상기 프로세싱 회로부의 조건을 식별하는 단계는 상기 프로세싱 회로부에서 실패를 검출하는 단계 또는 상기 프로세싱 회로부의 불안정한 동작을 검출하는 단계를 포함하는, 방법.
13. 제12항에 있어서, 상기 조건을 검출하는 것은 커널 패닉 신호 또는 감시 타이머의 만료를 검출하는 것을 포함하는, 방법.
14. 제12항에 있어서, 상기 조건을 검출하는 것은 상기 프로세싱 회로부와 연관된 적어도 하나의 파라미터를 모니터링하여 상기 적어도 하나의 파라미터가 오래되었는지, 누락되었는지, 또는 무효한지를 검출하는 것을 포함하는, 방법.
15. 제12항에 있어서, 상기 조건을 검출하는 것은 프로세싱 회로부로부터의 하나 이상의 에러 신호들을 검출하는 것을 포함하는, 방법.
16. 제1, 제2, 및 제3 비디오 패스쓰루 모드들에서 동작가능한 머리 장착형 디바이스(head-mounted device)를 동작시키는 방법으로서,
    하나 이상의 카메라들을 사용하여 비디오 피드를 획득하는 단계;
    이미지 신호 프로세서를 사용하여 상기 비디오 피드를 프로세싱하는 단계;
    복수의 보조 계산 블록들을 사용하여 상기 비디오 피드를 선택적으로 프로세싱하는 단계;
    상기 제1 비디오 패스쓰루 모드 동안, 상기 이미지 신호 프로세서를 사용하여 그리고 상기 복수의 보조 계산 블록들을 사용하여 상기 비디오 피드를 프로세싱함으로써 패스쓰루 비디오 피드를 디스플레이하는 단계;
    제1 모드 스위칭 조건이 충족되었는지 또는 제2 모드 스위칭 조건이 충족되었는지를 결정하는 단계;
    상기 제1 모드 스위칭 조건이 충족되었다고 결정하는 것에 응답하여, 상기 제1 비디오 패스쓰루 모드로부터 상기 제2 비디오 패스쓰루 모드로 스위칭하고, 그리고 상기 제2 비디오 패스쓰루 모드 동안, 상기 복수의 보조 계산 블록들을 우회하면서 또는 상기 복수의 보조 계산 블록들에 대한 폴백 값들을 사용하면서 상기 이미지 신호 프로세서를 사용하여 상기 비디오 피드를 프로세싱함으로써 패스쓰루 비디오 피드를 디스플레이하는 단계; 및
    상기 제2 모드 스위칭 조건이 충족되었다고 결정하는 것에 응답하여, 상기 제1 비디오 패스쓰루 모드로부터 상기 제3 비디오 패스쓰루 모드로 스위칭하고, 그리고 상기 제3 비디오 패스쓰루 모드 동안, 상기 복수의 보조 계산 블록들의 서브세트를 우회하면서 또는 상기 복수의 보조 계산 블록들의 서브세트에 대한 폴백 값들을 사용하면서 상기 이미지 신호 프로세서를 사용하여 상기 비디오 피드를 프로세싱함으로써 패스쓰루 비디오 피드를 디스플레이하는 단계를 포함하는, 방법.
17. 제16항에 있어서, 상기 이미지 신호 프로세서를 사용하여 상기 비디오 피드를 프로세싱하는 단계는, 상기 이미지 신호 프로세서를 사용하여, 자동 노출, 자동 화이트 밸런스, 톤 곡선 맵핑, 감마 보정, 음영 보정, 잡음 감소, 블랙 레벨 조정, 디모자이싱, 및 이미지 선명화로 이루어진 그룹으로부터 선택된 기능을 수행하는 단계를 포함하는, 방법.
18. 제17항에 있어서, 상기 복수의 보조 계산 블록들을 사용하여 상기 비디오 피드를 선택적으로 프로세싱하는 단계는, 상기 복수의 보조 계산 블록들을 사용하여, 확장 현실 콘텐츠 생성, 시선 추적, 머리 포즈 추적, 동적 포비에이션, 시점 보정, 왜곡 보상, 및 3차원 매팅으로 이루어진 그룹으로부터 선택된 기능을 수행하는 단계를 포함하는, 방법.
19. 제16항에 있어서, 상기 제1 모드 스위칭 조건이 충족되었는지를 결정하는 것은 커널 패닉 신호를 검출하는 것 또는 감시 타이머의 만료를 검출하는 것을 포함하는, 방법.
20. 제19항에 있어서, 상기 제2 모드 스위칭 조건이 충족되었는지를 결정하는 것은,
    상기 복수의 보조 계산 블록들과 연관된 파라미터들을 모니터링하여 상기 파라미터들 중 적어도 하나가 오래되었는지, 누락되었는지, 또는 무효한지를 검출하는 것; 또는
    상기 복수의 보조 계산 블록들과 연관된 적어도 하나의 에러 신호를 검출하는 것을 포함하는, 방법.
21. 제16항에 있어서,
    임계치를 초과하는 기간 동안 제3 비디오 패스쓰루 모드에서 상기 머리 장착형 디바이스를 동작시킨 후에, 상기 머리 장착형 디바이스를 재시작하는 단계를 추가로 포함하는, 방법.
22. 제16항에 있어서,
    상기 제1 비디오 패스쓰루 모드로부터 상기 제2 비디오 패스쓰루 모드로 스위칭하는 것에 응답하여, 제1 시각적, 오디오, 또는 햅틱 경보를 디스플레이하는 단계; 및
    상기 제1 비디오 패스쓰루 모드로부터 상기 제3 비디오 패스쓰루 모드로 스위칭하는 것에 응답하여, 제2 시각적, 오디오, 또는 햅틱 경보를 디스플레이하는 단계를 추가로 포함하는, 방법.

Images