KR20220002583A - 증강 현실에서의 사용자 참여 인디케이터 시스템 및 방법 - Google Patents

Abstract

본 발명은 증강 현실(AR)에서의 사용자 활동 인디케이터 장치에 대한 것이다. 상기 인디케이터 장치는 적어도 하나의 사회적 관련 파라미터를 나타내는 적어도 하나의 신호를 적어도 한 사용자 관람자에게 생성하도록 구성되며 동작 가능한 인디케이터 모듈, 그리고 상기 인디케이터 모듈에 연결 가능하고, 사용자 활동과 관련된 데이터를 수신 및 처리하고, 사용자가 특정 사회적 관련 파라미터에 대응하는 특정 조건에 있는지 여부를 결정하며, 그리고 특정 사용자 컨디션의 식별 시 인디케이터 모듈을 활성화하도록 구성되고 동작 가능한 모니터링 모듈을 포함한다.

Description

증강 현실에서의 사용자 참여 인디케이터 시스템 및 방법

본 발명은 사용자에게 증강 현실 또는 가상 현실의 경험을 제공하기 위해 사용자 눈(들)으로 이미지를 투영하도록 적용된 웨어러블/머리 장착 이미지 투영 시스템 분야에 관한 것이다. 보다 상세하게는 증강현실(AR)을 위한 사용자 참여 인디케이터 기술에 관한 것이다.

현재 공개된 본 발명 배경으로 관련이 있는 것으로 간주되는 참조는 다음과 같다.

미국 특허 8,531,590

본 명세서에서 상기 참조는 본원 명세서에서 개시된 본 발명의 특허 가능성과 어떤 식으로든 관련이 있다는 의미로 받아들여서는 안 된다.

가상 및/또는 증강 가상 현실을 사용자 눈(들)으로 투사하기 위한 머리 장착형 또는 달리 착용할 수 있는 이미지 투사 시스템이 점점 대중화되고 있다. 이러한 시스템은 많은 경우에 사용자의 머리에 장착할 수 있고 사용자에게 가상 현실 이미지/비디오 프로젝션을 제공하기 위해 사용자의 눈으로 이미지를 프로젝팅하도록 동작 가능한 안경으로 구성된다. 이를 위해, 알려진 시스템 중 일부는 순수한 가상 현실 이미지 프로젝션을 사용자 눈으로 제공하는 것을 목표로 하며, 이때 외부 풍경으로부터의 광선이 눈(들)에 도달하는 것을 차단한다. 다른 시스템은 외부 풍경으로부터의 광선이 눈으로 전달되는 동시에 이미지 프로젝션 시스템에 의해 눈으로 투영된 이미지/비디오 프레임에 의해 증강/중첩되는, 증강 가상 현실 인식을 제공하도록 한다.

증강 현실(AR)은 쉽고 직관적인 협업은 물론 디지털 콘텐츠로의 즉각적이고 유비쿼터스하며 신중한 액세스를 제공한다. 따라서 웨어러블 AR 장치가 더 널리 채택되고 있다. 그러나 공공 또는 사회적 환경에서 다른 사람에게 보이지 않는 가상 콘텐츠와 상호 작용하는 사람(또는 여러 사람)은 사회적으로 불편한 상황을 만들 수 있다. 이것은 상호 작용하는 물체(예를 들면, 책, 랩톱, 스마트폰, 헤드폰)의 일반적인 가시성과 상충하며, 이 같은 물체에 대한 사용자의 명확하게 보이는 초점(화면을 향한 시선, 헤드폰으로 막힌 귀)이 사용자가 무엇과 상호 작용하는지에 관해 관람자에게 명확한 표시를 제공하는 현재 일반적인 상황과 상충된다.

이러한 불편한 상황을 피할 수 있는 기술을 제공하는 것이 당업계에 필요하다. 이를 위해, 본 발명은 AR 사용자 참여 인디케이터에 대한 새로운 기술을 제공한다. 이것은 AR내에서 사용자 활동에 대한 사회적 관련 정보를 관람자에게 표시(즉, 명확하게 신호)하도록 구성되고 동작 가능한 외부 인디케이터를 사용하여 구현할 수 있다. 다음 설명에서 "관람자"라는 용어가 단일 형태로 사용되지만 사용자 환경에 있는 사람의 수는 본 발명의 일부가 아니며 본 발명은 임의의 수의 관람자로 제한되지 않는다. 따라서, 참여 인디케이터 장치는 AR 시스템을 통해 그에게 제공된 실제 또는 가상 콘텐츠에 사용자 참여/어텐션이 제공되는지 여부를 주변 환경에 나타내도록 동작 가능하다.

따라서, 본 발명의 광의의 특징에 따르면, 증강 현실(AR)에서의 사용자 활동의 인디케이터 장치가 제공된다. 인디케이터 장치는 적어도 하나의 사회적 관련 파라미터를 나타내는 적어도 하나의 신호를 적어도 한 사용자 관람자에게 생성하도록 구성되며 동작 가능한 인디케이터 모듈, 및 인디케이터 모듈에 연결 가능하고, 사용자 활동과 관련된 데이터를 수신 및 처리하고, 사용자가 특정 사회적 관련 파라미터에 대응하는 특정 조건에 있는지 여부를 결정하고, 특정 사용자 컨디션의 식별 시 인디케이터 모듈을 활성화하도록 구성되고 동작 가능한 모니터링 모듈을 포함한다. 사용자 활동과 관련된 데이터는 현재 사용자 활동을 나타내는 데이터 및/또는 적어도 하나의 사용자 활동을 나타내는 참조 데이터 패턴 및/또는 사용자에게 제공된 가상 콘텐츠를 나타내는 데이터 및/또는 사용자의 현재 현실 세계 환경과 관련된 데이터 및/또는 반복적인 사용자 응시 방향을 나타내는 데이터를 포함할 수 있다. 사용자의 환경 및/또는 시간 경과에 따른 사용자의 시선 방향을 나타내는 데이터. 인디케이터 장치는 독립형 장치일 수 있거나 임의의 웨어러블 증강/가상 현실 시스템에 통합되도록 구성될 수 있다. 예를 들어, 인디케이터 장치는 관람자에게 정보를 제공하는 것을 목표로 하는 완전하고 별도의 하위 시스템일 수 있다. 가상 및/또는 증강 가상 현실을 사용자 눈(들)으로 투사하는 본 발명의 신규 인디케이터 장치와 함께 머리 장착형 또는 착용형 이미지 투사 시스템이 사용될 수 있다. 이러한 시스템은 사용자의 머리에 장착 가능한 안경으로 구성될 수 있다. 본 발명은 외부 풍경으로부터의 광선이 눈(들)에 도달하는 것을 차단하는 사용자 눈에 대한 순수한 가상 현실 이미지 프로젝션의 사용으로 제한되지 않는다. 본 발명은 또한 외부 풍경으로부터의 광선이 눈으로 전달되는 것이 허용되는 동시에 이미지 프로젝션 시스템에 의해 눈에 투영된 이미지/비디오 프레임에 의해 증강/중첩되는 증강 가상 현실 인식의 사용으로 제한되지 않는다.

상기 사회적 관련 파라미터는 레코딩 활동 및/또는 몰입 컨디션 및/또는 포커싱 컨디션 및/또는 공간 활동일 수 있다. 인디케이터 모듈은 시각적 인디케이터 모듈 및/또는 청각적 인디케이터 모듈일 수 있다.

일부 실시 예에서, 인디케이터 모듈은 온/오프, 점진적 동작 모드 및 특정 사회적 파라미터를 나타내는 동작 모드 중 적어도 하나로 동작 가능하다. 점진적 동작 모드는 사용자 컨디션의 레벨을 나타낼 수 있다.

일부 실시 예에서, 모니터링 모듈은 특정 사용자 컨디션을 결정하기 위해 사용자 활동과 관련된 데이터를 처리하도록 구성되고 동작 가능하다.

일부 실시 예에서, 모니터링 모듈은 사용자의 레코딩 활동을 결정하기 위해 현재 사용자 활동을 나타내는 데이터를 처리하도록 구성되고 동작 가능하다.

일부 실시 예에서, 모니터링 모듈은 사용자의 시선 방향의 시간적 패턴을 나타내는 데이터를 수신하고, 특정 패턴을 식별하기 위해 데이터를 처리하며, 식별된 패턴을 적어도 하나의 사용자 활동을 나타내는 하나 이상의 참조 패턴과 비교하여 매칭 패턴을 결정하고, 매칭 패턴을 결정하면 그에 따라 인디케이터 모듈을 활성화 하도록 구성되고 동작 가능하다.

일부 실시 예에서, 모니터링 모듈은 가상 콘텐츠의 3D 위치와 사용자의 시선 방향 사이의 대응 관계를 식별하도록 구성되고 동작 가능하다.

일부 실시 예에서, 인디케이터 모듈은 각각이 상이한 유형의 사용자 활동을 나타내는 복수의 신호를 생성하도록 구성되고 동작 가능하다.

본 발명의 다른 광의 특징에 따르면, AR 사용자 활동을 표시하기 위한 방법이 제공된다. 본 발명 방법은 사용자 활동과 관련된 데이터를 수신 및 처리하는 단계; 사용자가 특정 사회적 관련 파라미터에 대응하는 특정 사용자 컨디션에 있는지 여부를 식별하는 단계; 및 사용자 활동과 관련된 적어도 하나의 사회적 관련 파라미터를 나타내는 적어도 하나의 신호를 관람자에게 생성하는 단계를 포함한다. 상기 신호를 생성하는 절차는 다음의 동작 모드 중 적어도 하나를 활성화하는 단계를 포함할 수 있다: 온/오프, 점진적 및 특정 사회적 파라미터를 나타내는 동작 모드. 이것은 시각 또는 청각 신호를 생성함으로써 구현될 수 있다.

일부 실시예에서, 방법은 특정 사용자 상태의 식별 시 인디케이터 장치를 활성화하는 단계를 더 포함합니다.

일부 실시 예에서, 본 발명 방법은 사용자 활동의 유형을 결정하는 단계를 더 포함한다.

일부 실시예에서, 방법은 사용자 활동의 유형을 나타내는 적어도 하나의 신호를 생성하는 단계를 더 포함한다.

일부 실시 예에서, 사용자에게 제공된 가상 콘텐츠를 나타내는 데이터를 처리하는 것은 가상 콘텐츠에 의해 차단된 사용자의 시야의 양을 결정하는 것을 포함한다.

일부 실시 예에서, 처리 절차는 데이터 내에서 특정 패턴을 식별하고, 식별된 패턴을 적어도 하나의 사용자 활동을 나타내는 하나 이상의 참조 패턴과 비교하여 매칭 패턴을 결정하고, 매칭 패턴을 결정할 때 특정 사회적 파라미터에 해당하는 적어도 하나의 신호를 생성함을 포함한다.

일부 실시 예에서, 처리 절차는 사용자가 이하 "공간 활동"으로 참조된 주변 환경에 대한 인식 없이 갑자기 움직이게 할 수 있는 활동과 관련된 공간 조건을 결정하기 위해 사용자에게 제공된 가상 콘텐츠를 나타내는 데이터에 기초하여 그리고 적어도 하나의 사용자 활동을 나타내는 참조 데이터 패턴에 기초하여 사용자 움직임의 정도를 예상하는 단계를 포함한다.

일부 실시 예에서, 상기 처리 절차는 가상 콘텐츠의 3D 위치와 사용자의 시선 방향 사이의 대응 관계를 식별함을 포함한다.

본 명세서에 개시된 본원 발명을 더 잘 이해하고 그것이 실제로 어떻게 수행될 수 있는지를 예시하기 위해, 이제 실시 예가 첨부 도면을 참조하여 비제한적인 예로서 설명될 것이다.
도 1은 본 발명 장치의 주요 기능 요소를 도시하는 개략적인 블록도이다.
도 2는 본 발명의 방법의 주요 절차를 나타내는 개략적인 흐름도이다.
도 3은 본 발명의 일부 실시 예에 따른 장치의 특정 구성의 가능한 예시이다.

본 발명은 AR 활동의 사용과 관련된 사회적 당혹스러운 상황을 방지하는 것을 목적으로 한다. 다음은 불명확한 AR 활동이 사회적 실책으로 이어지는 사용 사례의 예이다(이 모든 경우에서 Alice는 AR 안경을 착용하고 Bob은 그렇지 않음).

ㆍ 앨리스와 밥은 파티에 참석한다. Alice는 Bob을 보고 동시에 그녀의 친구와 온라인 채팅을 한다. Bob은 Alice가 자신의 사진을 찍어 온라인에 올릴 수 있다고 생각하지만 정중하게 물어볼 수 없기 때문에 걱정한다.

ㆍ 밥은 앨리스에게 인사하지만, 그녀는 밥을 똑바로 쳐다보고 있음에도 반응하지 않는다. 밥은 혼란스러워한다. 사실 앨리스는 AR로 콘서트를 보고 있으며, 앨리스의 시야를 완전히 가리게 되므로, 엘리스는 밥을 전혀 보지도 듣지도 못한다.

ㆍ 기차에서, 앨리스는 밥의 가슴을 빤히 쳐다본다. Bob은 혼란스럽고 약간 불안하다. 실제로 Alice는 이메일을 확인하고 있으며 이메일 위젯은 우연히 Bob의 가슴이 보이는 선상에 있다.

ㆍ 앨리스와 밥이 이야기하고 있다. 앨리스는 이따금씩 문을 쳐다본다. 그녀가 그렇게 할 때마다 Bob은 자동으로 그곳을 살펴보고 누군가가 들어올 것을 기대한다. 사실 앨리스는 언니에게서 받은 메시지를 읽고 있다.

AR 장치의 편안한 폼 팩터는 활발히 사용되지 않을 때도 착용할 수 있다(예를 들면, 요즘의 헤드폰과 대조적으로). 따라서 헤드폰을 사용할 때와 관련된 소셜 메시지, "나는 시각적으로 헤드폰을 착용하고 있으며, 그러므로 나는 당신의 말을 들을 수 없다."는 "나는 AR 안경을 쓰고 있다. 그러므로 나는 당신을 볼 수 없다."인 것으로 해석될 수 없다. 또한 최소한의 AR 헤드업 디스플레이(예를 들면, 누군가의 시야 가장자리에 있는 시계)의 소셜 의미는 본질적으로 사용자가 외부 세계를 보지 못하게 하는 완전히 몰입형 서라운드 경험과는 매우 다르다. 본 발명은 이러한 요구를 모두 해결한다. 위의 예에서 설명된 불쾌한 상황을 피하기 위해, 본 발명은 AR 장치가 사용자의 사생활을 손상시키지 않으면서 사용자 AR 활동에 대한 사회적 관련 정보인 관람자에게 명확하게 신호를 보낼 수 있도록 한다.

증강/가상 현실(AR)에서의 사용자 활동의 인디케이터 장치를 블록도를 통해 설명하는 도 1을 참조한다. 인디케이터 장치는 사용자의 AR 장치에서 사용자 활동을 반영하도록 구성된다. "AR 장치"는 일반적으로 사용자에게만 보이는 시각적 콘텐츠를 표시할 수 있는 장치, 스마트 안경을 의미한다. 인디케이터 장치(100)는 하나 이상의 인디케이터 모듈(102)과 모니터링 모듈(104)을 포함하며, 하나 이상의 인디케이터 모듈은 적어도 하나의 사용자의 관람자에 대한 사용자 활동과 관련된 적어도 하나의 사회적 관련 파라미터를 나타내는 적어도 하나의 신호(예를 들어, 시각적 또는 청각적 신호)를 생성하도록 구성되고 동작 가능하며, 모니터링 모듈(104)은 인디케이터 모듈(102)에 연결 가능하고 사용자 활동과 관련된 데이터를 수신 및 처리하고, 사용자가 특정 사회적 관련 파라미터에 해당하는 특정 조건에 있는지 여부를 결정하고, 그리고 특정 사용자 컨디션의 식별 시 인디케이터 모듈을 활성화하도록 구성 및 동작 가능하다. 사용자 활동과 관련된 데이터는 현재 사용자 활동을 나타내는 데이터 및/또는 적어도 하나의 사용자 활동을 나타내는 참조 데이터 패턴 및/또는 사용자에게 제공되는 가상 콘텐츠를 나타내는 데이터 및/또는 현재 현실 세계 환경과 관련된 데이터를 포함할 수 있다. 사용자 및/또는 시간 경과에 따른 사용자의 시선 방향을 나타내는 데이터. 사용자의 조건은 사용자가 AR 콘텐츠와 상호작용(예를 들면, AR 콘텐츠의 존재, 유형 및 3D 위치 식별)하고 환경과 상호 작용할 수 없는 상황 및/또는 사용자가 특정 활동을 수행하는 상황 및/또는 사용자가 특정 참여 수준에서 AR 콘텐츠와 상호 작용하는 상황을 의미한다. 특정 활동으로는 레코딩 활동 및 "공간 활동" 참여를 포함한다. 특정 참여 수준으로는 AR 콘텐츠(예를 들면, 시간 지속 시간, 볼륨 또는 필드 또는 뷰)와 상호 작용할 때 특정 수준 임계값을 포함한다.

이와 관련하여, 모니터링 모듈(104)은 특정 데이터를 수신하고 상이한 문제가 있는 사회적 관련 파라미터를 식별하기 위해 상이한 방식으로 이 같은 데이터를 처리한다는 것을 이해해야 한다. 사회적 관련 파라미터는 다양한 신호를 통해 관람자에게 전달되는 다양한 유형의 정보를 나타낸다. 레코딩 활동 및/또는 침수 상태 및/또는 포커싱 컨디션 및/또는 공간 활동을 나타낼 수 있다. 인디케이터 모듈(102)은 사회적 관련 파라미터를 나타내는 적어도 하나의 통지 신호를 생성한다.

보다 구체적으로, 레코딩 활동은 정상적인 장치 기능(음성 명령 듣기, 시각적 위치 지정 등)을 위해 수행되는 지속적인 레코딩을 무시하고 사용자가 개인적인 용도로 오디오, 비디오 또는 이미지를 레코딩하고 있음을 환경에 알린다. 이러한 방식으로, 레코딩 신호가 활성화되면 관람자는 자신이 사용자의 시야에 있는 경우 사용자가 자신이 나타나는 데이터를 레코딩한다는 것을 인식한다. 원하는 경우 관람자는 프레임에 나타나지 않도록 사용자의 시야로부터 이동하거나 사용자와 통신해야 한다. 반대로, 레코딩 신호가 꺼져 있으면(즉, 켜지지 않음) 관람자는 자신이 레코딩되고 있지 않다고 합리적으로 추측할 수 있다. 모니터링 모듈(104) 및 인디케이터 모듈(102) 각각은 통지 데이터를 각각 송신 및 수신하기 위한 통신 유틸리티를 포함할 수 있다. 더 구체적으로, 모니터링 모듈(104)은 운영 체제에서 사용 가능한 현재 실행 중인 애플리케이션과 관련된 데이터(예를 들면, 해당 권한)를 처리하고 레코딩 조건이 식별되는지 여부(즉, '개인 용도의 레코딩'이 진행 중인지 여부)를 결정한다. 일부 실시 예에서, 레코딩 신호는 사용자 측에서의 자발적인 사생활 침해를 전달하기 때문에 주변부에서도 볼 수 있는 가장 강한 신호이다. 예를 들어 눈에 잘 띄고 시선을 사로잡는 깜박이는 빨간 불빛이 사용된다.

몰입 상태는 사용자의 감각이 디지털 콘텐츠에 의해 흡수되었음을 환경에 알린다. 몰입 신호는 중요도 순으로 레코딩 신호 다음에 올 수 있다. 사용자와 통신을 설정하려는 관람자가 볼 수 있어야 한다. 예를 들어, 몰입 컨디션을 활성화하기 위해 모니터링 모듈은 다음과 같이 진행할 수 있다. 가려진 사용자 시야의 특정 임계값(예를 들면, 50%)을 식별하면 인디케이터 모듈이 활성화된다. 일부 실시 예에서, 몰입 상태는 사용자의 감각(시각 및 청각 분리하여)이 디지털 콘텐츠에 의해 얼마나 많이 흡수되는지, 또는 사용자가 AR에 얼마나 몰입하는지, 또는 반대로 사용자가 실제 환경을 얼마나 알고 있는지를 나타내는 척도 방식으로 디스플레이될 수 있다. 이러한 방식으로, 몰입 컨디션 신호가 활성화되면 관람자는 사용자가 자신을 둘러싼 현실 세계에 대해 부분적으로 또는 인식하지 못한다는 것을 인식한다. 예를 들어, 점진적 척도를 통해 'AR 없음', '약간 AR', '거의 완전히 몰입' 및 '완전 VR'을 구분할 수 있다. 가려진 사용자의 시야의 다른 양에 대응하여 복수의 조명 모듈이 연속적으로 활성화될 수 있다.

포커싱 컨디션(focusing condition)은 사용자가 현재 가상 콘텐츠에 초점을 맞추거나 가상 콘텐츠와 상호 작용하고 있음을 환경에 알린다. 이러한 방식으로, 포커싱 컨디션 신호가 활성화되면 관람자는 사용자가 점유되고 있음을 인식하고 그의 시야가 가상 콘텐츠에 의해 방해받지 않더라도 환경과의 상호 작용에 주의를 기울이지 않을 것임을 알게된다. 포커싱 컨디션은 레코딩 활동 및 몰입 컨디션보다 더 미묘할 수 있다. 포커싱 컨디션은 사용자와 관람자가 이미 통신 중이거나 둘 사이의 잘못된 통신을 방지하기 위해 사용할 수 있다. 예를 들어, 포커싱 컨디션 신호를 활성화하기 위해 모니터링 모듈은 다음과 같이 진행할 수 있다: 시선 방향 및 3D 시선 지점을 결정하기 위해 시선 추적 데이터를 수신 및 처리하는 단계; 사용자가 보고 있는 것을 결정하기 위해 AR 콘텐츠 데이터와 함께 세상 매핑으로부터 데이터를 수신 및 처리하는 단계; 사용자가 AR 콘텐츠를 보고 있는 경우, 사용자 유형의 활동 및 컨텍스트를 추론하기 위해 눈 움직임 패턴 분석을 수행하는 단계; 사용자가 현재 보고 있는 AR 콘텐츠에 적극적으로 참여하고 있는지 여부를 결정하는 단계; AR 콘텐츠에 대한 사용자의 현재 활성 참여를 식별하면 인디케이터 모듈을 활성화하는 단계.

공간 활동은 관람자에게 관람자가 주위를 의식하지 못한 채 갑자기 움직일 수 있는 활동에 사용자가 참여하고 있음을 알려준다. 이와 같이 공간 활동 신호가 활성화되면 사용자가 갑자기 움직일 수 있음을 관찰자에게 경고한다. 일부 실시 예에서, 공간 신호는 사용자로부터 관람자에게 가능한 물리적 손상을 전달하기 때문에 주변부에서도 인지할 수 있는 가장 강력한 신호이다.

인디케이터 모듈(102)은 특별한 장비가 필요 없이 사용자와 다른 사람(들)이 인지할 수 있는(예를 들어, 가시적 또는 청각적) 적어도 하나의 신호를 생성한다. 보다 구체적으로, 인디케이터 모듈(102)은 상이한 신호를 생성하는 복수의 상이한 광 모듈 또는 상이한 광 신호를 생성하는 하나의 광 모듈(예를 들어, 소형 LED(들))을 포함할 수 있다. 신호는 다른 색상일 수 있고/있거나 다른 디자인(예를 들면, 형상)을 갖는 단위로 표시될 수 있고/있거나 이진수(켜짐/꺼짐) 및/또는 다른 강도(예를 들면, 밝기)일 수 있다. 신호가 2진수이면 주파수가 다를 수 있다(즉, 켜짐/꺼짐 기간이 다름). 추가적으로 또는 대안적으로, 인디케이터 모듈(102)은 가청 사운드 신호를 생성하는 스피커를 포함할 수 있다. 장치의 다른 요소는 서로 통신하며 동일한 환경에 배치되지 않을 수 있다. 각 신호는 관람자가 식별할 수 있는 각기 다른 사회적 파라미터를 나타낸다. 또한 신호는 다양한 유형의 활동(예를 들면, 음악 듣기, 비디오 시청, 누군가와 대화)을 나타낼 수 있다. 예를 들어, 특정 색상은 특정 유형의 활동과 연관될 수 있다. 다른 신호는 사용자 상태의 수준에 따라 점진적일 수 있다. 이를 위해, 모니터링 모듈(104)은 가상 활동에 의해 점유된 시야의 비율을 결정하기 위해 수신된 데이터를 처리한다. 예를 들어, 몰입 또는 포커싱 컨디션에서, 몰입 또는 포커싱의 수준은 관람자에 의해 식별되고 주목될 수 있다.

일반적으로, 모니터링 모듈(104)은 프로세서, 컨트롤러, 마이크로컨트롤러 또는 임의의 종류의 집적 회로일 수 있다. 모니터링 모듈(104)은 특히 데이터 입력 및 출력 모듈/유틸리티(104A 및 104D), 메모리(104C)(즉, 비휘발성 컴퓨터 판독 가능 매체), 및 분석기/데이터 처리 유틸리티(104B)와 같은 유틸리티를 포함하는 컴퓨팅/전자 유틸리티로서 일반적으로 구성된다. 따라서 모니터링 모듈(104)의 유틸리티는 적절한 회로에 의해 및/또는 사용자 상태의 식별을 구현하도록 구성된 컴퓨터 판독가능 코드를 포함하는 소프트웨어 및/또는 하드웨어 구성요소에 의해 구현될 수 있다. 본 발명의 특징은 다양한 컴퓨터 하드웨어 구성요소를 포함하는 범용 또는 특수 목적 컴퓨터 시스템을 포함할 수 있다.

본 발명의 범위 내의 특징은 또한 컴퓨터 실행가능 명령어, 컴퓨터 판독가능 명령어, 또는 그 위에 저장된 데이터 구조를 수행하거나 갖기 위한 컴퓨터 판독가능 매체를 포함한다. 이러한 컴퓨터 판독 가능 매체는 범용 또는 특수 목적 컴퓨터 시스템에 의해 액세스 가능한 임의의 이용 가능한 매체일 수 있다. 예를 들어, 제한 없이, 그러한 컴퓨터 판독 가능 매체는 RAM, ROM, EPROM, 플래시 디스크, CD-ROM 또는 기타 광 디스크 저장 장치, 자기 디스크 저장 장치 또는 기타 자기 저장 장치, 또는 컴퓨터 실행 명령어, 컴퓨터 판독 명령어 또는 데이터 구조의 형태로 원하는 프로그램 코드 수단을 운반하거나 저장하는 데 사용할 수 있고 범용 또는 특수 목적 컴퓨터 시스템에서 액세스할 수 있는 임의의 다른 매체와 같은 물리적 저장 매체를 포함할 수 있다. 컴퓨터 판독 가능 매체는 예를 들면 인터넷과 같은, 광역 네트워크(WAN)(Wide Area Network)과 같은 네트워크를 통해 컴퓨터 시스템에 다운로드할 수 있는 컴퓨터 프로그램 또는 컴퓨터 애플리케이션을 포함할 수 있다. 본 발명 설명과 다음 청구범위에서 "모니터링 모듈"은 전자 데이터에 대한 작업을 수행하기 위해 함께 동작하는 하나 이상의 소프트웨어 모듈, 하나 이상의 하드웨어 모듈 또는 이들의 조합으로 정의된다. 예를 들어, 처리 유틸리티의 정의에는 개인용 컴퓨터의 하드웨어 구성 요소와 개인용 컴퓨터의 운영 체제와 같은 소프트웨어 모듈이 포함된다. 모듈의 물리적 레이아웃은 관련이 없다. 컴퓨터 시스템은 컴퓨터 네트워크를 통해 연결된 하나 이상의 컴퓨터를 포함할 수 있다. 마찬가지로, 컴퓨터 시스템은 내부 모듈(예를 들면, 메모리 및 프로세서)이 함께 동작하여 전자 데이터에 대한 작업을 수행하는 단일 물리적 장치를 포함할 수 있다. 모니터링 모듈(104)은 컴퓨터 프로그램을 실행하는 내장된 프로세서로 구성되거나 이에 부착될 수 있다. 컴퓨터 프로그램 제품은 그 위에 구현된 컴퓨터 판독가능 프로그램 코드를 갖는 하나 이상의 컴퓨터 판독가능 매체(들)로 구현될 수 있다. 컴퓨터가 읽을 수 있는 매체는 컴퓨터가 읽을 수 있는 신호매체 또는 컴퓨터가 읽을 수 있는 저장매체일 수 있다. 본 발명의 태양에 대한 동작을 수행하기 위한 컴퓨터 프로그램 코드는 하나 이상의 프로그래밍 언어의 임의의 조합으로 작성될 수 있다. 프로그램 코드는 전적으로 사용자의 컴퓨터에서, 독립 실행형 소프트웨어 패키지로서 부분적으로 사용자의 컴퓨터에서, 부분적으로 사용자의 컴퓨터에서, 부분적으로 원격 컴퓨터에서, 또는 전체적으로 원격 컴퓨터나 서버에서 실행될 수 있다. 후자의 시나리오에서 원격 컴퓨터는 LAN(Local Area Network) 또는 WAN(Wide Area Network)을 포함한 모든 유형의 네트워크를 통해 사용자의 컴퓨터에 연결되거나 외부 컴퓨터에 연결될 수 있다(예를 들어 인터넷 서비스 공급자를 사용하여 인터넷을 통해). 이러한 컴퓨터 프로그램 명령은 범용 컴퓨터, 특수 목적 컴퓨터 또는 기타 프로그램 가능한 데이터 처리 장치의 프로세서에 제공되어 머신을 생성할 수 있으며, 컴퓨터 또는 기타 프로그램 가능 데이터 처리장치의 처리기를 통해 실행되는 이러한 명령은 흐름도 및/또는 블록 다이어그램 블록 또는 블록에 지정된 기능/행위를 구현하기 위한 수단을 생성한다. 프로세서의 지정된 기능은 지정된 기능이나 동작을 수행하는 특수 목적 하드웨어 기반 시스템, 또는 특수 목적 하드웨어와 컴퓨터 명령의 조합으로 구현될 수 있다.

상이한 신호들과 상이한 사회적 관련 파라미터 사이의 대응은 본 발명의 인디케이터 장치와 함께 사용되는 AR 시스템의 구성에 따라 미리 결정될 수 있다. 그러한 대응의 일부 예는 예를 들어 도 3에 도시된 바와 같이 아래에 상세히 설명되어 있다. 예를 들어, 상이한 신호와 상이한 사회적 관련 파라미터 사이의 대응 테이블은 데이터베이스에 저장될 수 있다. 그러한 테이블은 메모리(104C)에 저장될 수 있다. 또는 스토리지가 서버와 분리될 수 있다(예를 들면, SAN 스토리지). 만약 분리된 다면, 저장소의 위치는 하나의 물리적 위치 또는 여러 위치에 있을 수 있으며 모든 유형의 유선 또는 무선 통신 인프라를 통해 연결된다. 데이터베이스는 디지털 데이터를 저장하기 위한 모든 종류의 방법론이나 플랫폼에 의존할 수 있다. 데이터베이스는 예를 들어 Oracle 및 MS SQL Server와 같은 전통적인 SQL 데이터베이스, 파일 시스템, 빅 데이터, NoSQL, 인메모리 데이터베이스 어플라이언스, 병렬 컴퓨팅(예를 들면, Hadoop 클러스터) 등을 포함할 수 있다. 메모리(104C)가 스토리지로 구성된 경우 데이터베이스의 매체로서, 자기 디스크 또는 테이프, 광 스토리지, 반도체 스토리지 등과 같은 임의의 표준 또는 독점 스토리지 매체를 포함할 수 있다.

모니터링 모듈(104)은 특정 환경(예를 들어, 임의의 원하는 장치에 통합됨)에 배치될 수 있거나, 대안적으로 특정 환경에 근접하지 않은 서버가 데이터 수신 및/또는 데이터 내에서 특정 조건 식별을 수행할 수 있다. 공고. 서버가 장치의 다른 부분과 데이터 통신 중이다.

예를 들어, 레코딩 활동을 식별하기 위해, 모니터링 모듈(104)은 사용자가 환경을 레코딩하고 있는지 여부를 결정하기 위해 사용자 주변의 레코딩된 데이터를 수신 및 처리할 수 있다. 모니터링 모듈(104)은 이 데이터를 레코딩하기 위한 허가가 존재하는지 여부를 제어하도록 구성되며, 그러한 허가가 식별되면 모니터링 모듈(104)은 관찰자에게 레코딩 신호를 생성하고 이 레코딩된 데이터의 액세스 및 저장을 제어한다. 따라서 모니터링 모듈(104)은 운영 체제 사용을 위한 데이터와 개인 사용을 위한 데이터를 구별하고 사용자가 자신의 개인적인 사용을 위해 레코딩하고 있다는 표시와 함께 개인 데이터를 레코딩하는 애플리케이션에 허가를 제공하도록 구성된다. 예를 들어, 사용자의 몰입 상태를 식별하기 위해, 모니터링 모듈(104)은 사용자에게 제공된 가상 콘텐츠를 나타내는 데이터를 수신 및 처리할 수 있고 가상 콘텐츠에 의해 차단된 사용자의 시야의 양을 결정(예를 들어, 계산)할 수 있다. 가상 콘텐츠에 의해 차단된 사용자의 시야의 양이 특정 임계값을 초과하는 경우, 모니터링 모듈(104)은 사용자가 몰입 상태에 있다고 결정한다.

예를 들어, 포커싱 컨디션을 식별하기 위해, 시선 데이터에 추가하여, 모니터링 모듈(104)은 현재 사용자에게 제시되는 가상 콘텐츠(예를 들어, 무엇이 어디에 보이는 가를)와 사용자의 현재 현실 세계 환경에 대한 데이터를 수신 및 처리할 수 있다(예를 들면, 거기에 무엇이 있고 사용자를 기준으로 어디에 위치하는지). 모니터링 모듈(104)은 수신된 데이터를 처리하여 사용자가 무엇을 보고 있는지(예를 들어, 실제 사람, 또는 동일한 응시 방향의 가상 창)을 결정한다.

예를 들어, 공간 활동 상태를 식별하기 위해 모니터링 모듈(104)은 사용자 움직임을 예상하기 위해 현재 가상 활동에 대한 데이터를 수신 및 처리할 수 있다.

보다 구체적으로, 모니터링 모듈(104)은 사용자의 시선 방향의 데이터 일시적 패턴을 처리하여 특정 패턴을 식별하고, 일치하는 패턴을 결정하기 위해, 식별된 패턴을 다양한 개별 사용자 활동(예를 들어, 읽기, 응시, 게임 등)을 나타내는 하나 이상의 참조 패턴과 비교할 수 있다. 매칭 패턴을 결정하면, 사용자 참여 모니터링 모듈은 식별된 패턴이 그에게 제공된 가상 콘텐츠에 대한 사용자 참여에 대응하는지 여부를 결정하고 그에 따라 모듈을 활성화한다.

특정 처리 단계가 설명되고 특정 처리 단계 순서가 개시된다. 그러나, 이 같은 단계의 순서는 본 명세서에서 설명된 것에 제한되지 않으며, 특정 순서로 반드시 발생하는 단계 또는 행위를 제외하고는 당업계에 공지된 바와 같이 변경될 수 있다. AR 사용자 활동을 표시하기 위한 방법을 설명하는 흐름도를 도시하는 도 2를 참조한다. 다른 방식으로 본 명세서에서 설명된 흐름도 또는 임의의 프로세스 또는 방법은 지정된 논리 기능(들)을 구현하기 위한 하나 이상의 실행 가능한 명령을 포함하거나 진행 단계 하나 이상의 실행 가능 명령을 포함하는 모듈, 세그먼트 또는 코드 부분을 나타낼 수 있다. 비록 흐름도 차트가 특정 순서의 실행을 보여주지만 실행 순서는 도시된 것과 다를 수 있음을 이해하여야 한다. 예를 들어, 두 개 이상의 상자의 실행 순서는 도시된 순서와 관련하여 스크램블될 수 있다. 방법(200)은 (202)에서 사용자 활동과 관련된 데이터를 수신 및 처리하는 단계; (204)에서 사용자가 특정 사회적 관련 파라미터에 대응하는 특정 사용자 컨디션에 있는지 여부를 식별하는 단계; 및 관찰자에 대한 사용자 활동과 관련된 적어도 하나의 사회적 관련 파라미터를 나타내는 적어도 하나의 신호를 생성하는 단계(206)를 포함한다. 신호는 (208)에서 이 신호의 수신 시 활성화되는 인디케이터 장치로 전송될 수 있다. (202)에서 사용자 활동과 관련된 데이터를 수신 및 처리함은 (210)에서 사용자 활동의 유형(예를 들어, 음악 듣기, 비디오 시청, 누군가와 대화)을 결정하는 것을 포함할 수 있다.

예를 들어, 사용자의 몰입 상태를 식별하기 위해, (202)에서 사용자 활동과 관련된 데이터를 수신 및 처리하는 것은 또한 (212)에서 가상 콘텐츠에 의해 차단된 사용자의 시야의 양을 결정하고, 및/또는 (216)에서 가상 콘텐츠의 3D 위치와 사용자의 시선 방향 사이의 대응을 결정함을 포함할 수 있다.

예를 들어, 사용자의 공간 컨디션을 식별하기 위해, (202)에서 사용자 활동과 관련된 데이터를 수신하고 처리하는 것은 (210)에서 활동 유형(예를 들면, 게임)을 식별하고, 사용자에게 제공되는 가상 콘텐츠를 표시하는 데이터에 기초하여, (214)에서 사용자 활동의 범위를 예측하여 적어도 하나의 사용자 활동을 나타내는 참조 데이터 패턴 및 공간 컨디션을 결정하도록 한다.

본 발명의 인디케이터 장치(300)의 가능한 구성을 예시하는 도 3을 참조한다. 3개의 삽입 도면은 인디케이터 모듈(302)의 상이한 가능한 동작 모드를 도시한다. 그러나, 본 발명은 그러한 동작 모드로 제한되지 않는다. 도면에서 모니터링 모듈(304)은 AR 웨어러블 시스템(스마트 안경)에 통합된 것으로 예시되어 있지만, 본 발명은 이러한 구성으로 제한되지 않으며, 모니터링 모듈(304)은 인디케이터 모듈(302)로부터 멀리 떨어진 환경에 배치될 수도 있다. 인디케이터 모듈(302) 및 모니터링 모듈(304)은 유선 또는 무선으로 통신한다. 이 특정하고 비제한적인 예에서, 인디케이터 모듈(302)은 상이한 수의 심볼을 갖는 복수의 유닛을 포함하고, 각각의 심볼은 상이한 형상, 즉 하나의 원형, 3개의 직사각형 및 4개의 곡선을 갖는다. 기호 각각은 다른 색상을 생성할 수 있다. 예를 들어, 도면에서 설명하는 바와 같이, 레코딩 활동을 나타내기 위해, 둥근 빨강색 표시등이 깜박일 수 있다. 예를 들어, 몰입 상태를 나타내기 위해 파란색 사각형은 사용자가 얼마나 몰입했는지를 나타낼 수 있다(예를 들면, 사각형 없음 - AR 콘텐츠가 보이지 않음, 사각형 1개 - 일부 있음, 사각형 2개 - 사용자 시야의 절반 이상 AR 콘텐츠로 가림, 사각형 3개 - 사용자가 전체 VR 모드에 있음). 동일한 파란색 사각형은 사용자가 일시적으로 밝아짐(켜져 있음)을 통해 AR과 상호 작용하는지 여부를 나타낼 수도 있다. 예를 들어, 헤드폰 활동과 같은 포커싱 컨디션을 나타내기 위해 녹색 곡선 표시등이 더 밝은 빛으로 헤드폰 활동을 표시할 수 있으며, 이는 더 큰 소리를 의미한다.

Claims (26)

1. 적어도 하나의 사회적 관련 파라미터를 나타내는 적어도 하나의 신호를 적어도 한 사용자 관람자에게 생성하도록 구성되며 동작 가능한 인디케이터 모듈, 그리고
   상기 인디케이터 모듈에 연결 가능하고, 사용자 활동과 관련된 데이터를 수신 및 처리하고, 사용자가 특정 사회적 관련 파라미터에 대응하는 특정 조건에 있는지 여부를 결정하며, 그리고 특정 사용자 컨디션의 식별 시 인디케이터 모듈을 활성화하도록 구성되고 동작 가능한 모니터링 모듈을 포함하는, 증강 현실(AR)에서의 사용자 활동 인디케이터 장치.
2. 제1항에 있어서, 사용자 활동과 관련된 데이터는 현재 사용자 활동을 나타내는 데이터, 적어도 하나의 사용자 활동을 나타내는 참조 데이터 패턴, 사용자에게 제공되는 가상 콘텐츠를 나타내는 데이터, 사용자의 현재 실제 환경과 관련된 데이터 또는 시간 경과에 따른 사용자의 시선 방향을 나타내는 데이터 중 적어도 하나를 포함하는, 증강 현실(AR)에서의 사용자 활동 인디케이터 장치.
3. 제1항 또는 2항에 있어서, 적어도 하나의 사회적 관련 파라미터가 레코딩 활동, 몰입 컨디션, 포커싱 컨디션 및 공간 활동 중 적어도 하나를 포함하는, 증강 현실(AR)에서의 사용자 활동 인디케이터 장치.
4. 제 1항 내지 3항 중 어느 한 항에 있어서, 상기 인디케이터 모듈은 온/오프, 점진적 동작 모드 및 특정 사회적 파라미터를 나타내는 동작 모드 중 적어도 하나로 동작 가능한, 증강 현실(AR)에서의 사용자 활동 인디케이터 장치.
5. 제4항에 있어서, 상기 점진적 동작 모드가 사용자 컨디션의 레벨을 나타내는, 증강 현실(AR)에서의 사용자 활동 인디케이터 장치.
6. 제1항 내지 5항 중 어느 한 항에 있어서, 상기 인디케이터 모듈이 시각 인디케이터 모듈인, 증강 현실(AR)에서의 사용자 활동 인디케이터 장치.
7. 제1항 내지 6항 중 어느 한 항에 있어서, 상기 인디케이터 모듈이 청각 인디케이터 모듈인, 증강 현실(AR)에서의 사용자 활동 인디케이터 장치.
8. 제1항 내지 7항 중 어느 한 항에 있어서, 상기 모니터링 모듈은 특정 사용자 컨디션을 결정하기 위해 사용자 활동과 관련된 데이터를 처리하도록 구성되고 동작 가능한, 증강 현실(AR)에서의 사용자 활동 인디케이터 장치.
9. 제8항에 있어서, 상기 모니터링 모듈은 사용자의 레코딩 활동을 결정하기 위해 현재 사용자 활동을 나타내는 데이터를 처리하도록 구성되고 동작 가능한, 증강 현실(AR)에서의 사용자 활동 인디케이터 장치.
10. 제8항 또는 9항에 있어서, 상기 모니터링 모듈은 사용자에게 제공된 가상의 콘텐츠를 나타내는 데이터를 처리하고, 그리고 가상의 콘텐츠에 의해 방해되는 사용자 시야의 양을 결정하도록 구성되고 동작 가능한, 증강 현실(AR)에서의 사용자 활동 인디케이터 장치.
11. 제1항 내지 10항 중 어느 한 항에 있어서, 상기 모니터링 모듈은 사용자의 시선 방향의 시간적 패턴을 나타내는 데이터를 수신하고, 특정 패턴을 식별하기 위해 데이터를 처리하며, 식별된 패턴을 적어도 하나의 사용자 활동을 나타내는 하나 이상의 참조 패턴과 비교하여 매칭 패턴을 결정하고, 그리고 상기 매칭 패턴을 결정하면 그에 따라 인디케이터 모듈을 활성화 하도록 구성되고 동작 가능한, 증강 현실(AR)에서의 사용자 활동 인디케이터 장치.
12. 제2항 내지 11항 중 어느 한 항에 있어서, 상기 모니터링 모듈은 가상 콘텐츠의 3D 위치와 사용자의 시선 방향 사이의 대응 관계를 식별하도록 구성되고 동작 가능한, 증강 현실(AR)에서의 사용자 활동 인디케이터 장치.
13. 제1항 내지 12항 중 어느 한 항에 있어서, 상기 인디케이터 모듈은 각각이 상이한 유형의 사용자 활동을 나타내는 복수의 신호를 생성하도록 구성되고 동작 가능한, 증강 현실(AR)에서의 사용자 활동 인디케이터 장치.
14. 제1항 내지 13항 중 어느 한 항에 있어서, 착용 가능한 증강 현실 시스템으로 통합되도록 구성된, 증강 현실(AR)에서의 사용자 활동 인디케이터 장치.
15. 사용자 활동과 관련된 데이터를 수신 및 처리하는 단계;
    사용자가 특정 사회적 관련 파라미터에 대응하는 특정 사용자 컨디션에 있는지 여부를 식별하는 단계; 그리고
    사용자 활동과 관련된 적어도 하나의 사회적 관련 파라미터를 나타내는 적어도 하나의 신호를 관람자에게 생성하는 단계를 포함하는, AR 사용자 활동을 표시하기 위한 방법.
16. 제15항에 있어서, 특정 사용자 컨디션을 식별하면 인디케이터 장치를 활성화함을 더욱 포함하는, AR 사용자 활동을 표시하기 위한 방법.
17. 제15항 또는 16항에 있어서, 적어도 한 사회적 관련 파라미터가 레코딩 활동, 몰입 컨디션, 포커싱 컨디션 및 공간 활동 중 적어도 하나를 포함하는, AR 사용자 활동을 표시하기 위한 방법.
18. 제 15항 또는 16항에 있어서, 사용자 활동 유형을 결정함을 더욱 포함하는, AR 사용자 활동을 표시하기 위한 방법.
19. 제18항에 있어서, 적어도 한 신호가 사용자 활동 유형을 나타내는, AR 사용자 활동을 표시하기 위한 방법.
20. 제15항 내지 19항 중 어느 한 항에 있어서, 적어도 하나의 신호를 생성하는 단계가 온/오프, 점진적 동작 모드 및 특정 사회적 파라미터를 나타내는 동작 모드 중 적어도 하나를 활성화함을 포함하는, AR 사용자 활동을 표시하기 위한 방법.
21. 제20항에 있어서, 상기 점진적 동작 모드가 사용자 컨디션 레벨을 나타내는, AR 사용자 활동을 표시하기 위한 방법.
22. 제15항 내지 21항 중 어느 한 항에 있어서, 상기 적어도 하나의 신호를 생성함이 적어도 하나의 시각 또는 청각 신호를 생성함을 포함하는, AR 사용자 활동을 표시하기 위한 방법.
23. 제15항 내지 22항 중 어느 한 항에 있어서, 상기 사용자 활동과 관련된 데이터를 처리함이 사용자에게 제공된 가상 콘텐츠를 나타내는 데이터를 처리하는 것 그리고 가상 콘텐츠에 의해 차단된 사용자의 시야의 양을 결정하는 것을 포함하는, AR 사용자 활동을 표시하기 위한 방법.
24. 제23항에 있어서, 상기 처리 절차는 상기 데이터 내에서 특정 패턴을 식별하고, 식별된 패턴을 적어도 하나의 사용자 활동을 나타내는 하나 이상의 참조 패턴과 비교하여 매칭 패턴을 결정하고, 매칭 패턴을 결정할 때 특정 사회적 파라미터에 해당하는 적어도 하나의 신호를 생성함을 포함하는, AR 사용자 활동을 표시하기 위한 방법.
25. 제23항 또는 24항에 있어서, 상기 처리 절차는 사용자가 공간 컨디션을 결정하기 위해 사용자에게 제공된 가상 콘텐츠를 나타내는 데이터에 기초하여, 그리고 적어도 한 사용자 활동을 나타내는 참조 데이터 패턴을 기초하여, 사용자 움직임의 정도를 예상함을 포함하는, AR 사용자 활동을 표시하기 위한 방법.
26. 제23항 내지 25항 중 어느 한 항에 있어서, 상기 처리 데이터는 가상 콘텐츠의 3D 위치와 사용자의 시선 방향 사이의 대응 관계를 식별함을 포함하는, AR 사용자 활동을 표시하기 위한 방법.

Images