KR20200032197A

KR20200032197A - 3d 물체에 웹 페이지를 오버레이하는 방법, 장치 및 컴퓨터 프로그램

Info

Publication number: KR20200032197A
Application number: KR1020207005847A
Authority: KR
Inventors: 바바로스 키리스켄
Original assignee: 베스텔 일렉트로닉 사나이 베 티카레트 에이에스
Priority date: 2017-07-27
Filing date: 2017-12-28
Publication date: 2020-03-25
Also published as: EP3435250A1; US20200167520A1; JP2020528626A; WO2019020207A1; CN111052110A; TR201711212A2

Abstract

시청자에 의한 관측을 위해, 실제 또는 가상의 3D 물체(24, 26) 위에 웹 페이지(10)가 오버레이된다. 웹 페이지(10)는 복수의 콘텐츠 영역(12, 14, 16)을 구비한다. 오버레이를 달성하기 위해, 콘텐츠 영역(12, 14, 16)이 3D 물체(24, 26)의 각각의 다양한 부분(24A, 24B; 26)에 할당된다. 콘텐츠 영역(12, 14, 16)의 할당은 계층적이어서, 가장 높은 중요도를 갖는 웹 페이지(10)의 콘텐츠 영역이 3D 물체(24, 26)의 (i)시청자(22)의 시야에서 시청자(22)에게 가장 가깝고, (ii)시청자(22)의 시야에서 가장 중앙인, 두 조건 중 적어도 하나를 만족하는 부분에 할당된다. 상기 콘텐츠 영역(12, 14, 16)이 할당되는 3D 물체(24, 26)의 부분 내에 콘텐츠 영역(12, 14, 16)이 맞춰지도록, 필요에 따라 콘텐츠 영역(12, 14, 16)의 크기가 설정된다.

Description

3D 물체에 웹 페이지를 오버레이하는 방법, 장치 및 컴퓨터 프로그램

본 발명의 개시는 실제 또는 가상의 3D 물체에 웹페이지를 오버레이하는 방법, 장치 및 컴퓨터 프로그램에 관한 것이다.

디스플레이 상에 웹 페이지를 표시하는 다양한 장치 및 기술이 공지되어 있으며, 웹 페이지는 월드 와이드 웹 및 웹 브라우저에 적절한 "문서"이다. 종종, 예컨대 퍼스널 컴퓨터, 타블릿 컴퓨터, 스마트폰 등과 같은 사용자의 컴퓨터 디바이스에서 실행되는 브라우저는 제공되는 형태의 웹 페이지를 디스플레이한다.

소위 "반응형 웹 디자인"은 웹 페이지를 보기 위해 사용되는 스크린 또는 웹 브라우저의 크기 및/또는 종횡비에 따라 디스플레이되는 웹 페이지의 레이아웃을 조정하는 웹 디자인 접근 방식이다. 이는, 예를 들어 웹 페이지가 큰 모니터 또는 디스플레이 스크린, 태블릿 컴퓨터 또는 스마트폰에서 보여지는지 여부에 따라 웹 페이지의 디스플레이의 레이아웃이 조정될 수 있도록 한다.

US6898307B1호는 증강-현실 디스플레이를 위한 물체 식별 방법 및 시스템을 개시한다. 실제 아이템, 바람직하게는 한 장의 종이가 디스플레이될 전자 이미지에 대한 기준 프레임으로서 배치된다. 종이의 배향이 시스템에 의해 식별된다. 캡처된 이미지에 대해 대응하는 실세계 좌표가 계산되고, 소정의 표준과 비교하여 물체의 본질을 확인(verify)한다. 이는, 예컨대 종이와 같은 실 세계 아이템을 종이의 이미지에 오버레이된 이미지 및/또는 텍스트의 가상 디스플레이와 함께 보고 상호작용할 수 있도록 하여, 실제로 디스플레이된 문서를 인쇄하지 않고도, 전자 문서의 인쇄된 버전을 가지고 있다는 착각(illusion)을 제공한다.

본 명세서에 개시된 제1 양태에 따르면, 시청자에 의한 관측을 위해 실제 또는 가상의 3D 물체에 웹 페이지를 오버레이하는 컴퓨터-구현된 방법이 제공되며, 웹 페이지는 복수의 콘텐츠 영역을 구비하고, 상기 방법은:

웹 페이지의 콘텐츠 영역을 3D 물체의 각각의 다양한 부분에 할당하는 단계;

적어도 하나의 콘텐츠 영역이 할당되는 3D 물체의 부분 내에 콘텐츠 영역이 맞춰지도록, 필요에 따라 웹 페이지의 콘텐츠 영역의 크기를 조절(resizing)하는 단계; 및

웹 페이지의 콘텐츠 영역을 3D 물체의 각각의 할당된 부분에 오버레이하는 단계;를 포함하며,

가장 높은 중요도를 갖는 웹 페이지의 콘텐츠 영역이 (i)시청자의 시야에서 시청자에게 가장 가까운 것, 및 (ii)시청자의 시야에서 가장 중심에 있는 것 중 적어도 하나의 조건을 충족하는 3D 물체의 부분에 할당되도록, 웹 페이지의 콘텐츠 영역을 할당하는 단계가 계층적이다.

3D 물체는 실제 또는 가상의 물체일 수 있다. 예를 들어, (헤드-장착형 디스플레이 또는 고글 등이 없어도) 시청자가 직접적으로 관측할 수 있는 실제 3D 물체에 웹 페이지의 이미지를 투사함으로써, 실제 3D 물체에 웹 페이지가 오버레이될 수 있다. 또 다른 예시로서, 3D 물체는 예컨대 헤드-장착형 디스플레이나 고글 등과 같은 시각 장치를 통해 관측되는 실제 물체일 수 있으며, 이 경우에 웹 페이지는 어떤 시각 장치를 통해 관측되는 실제 3D 물체의 이미지에 오버레이된다. 또 다른 예시에서, 3D 물체는 예컨대 헤드-장착형 디스플레이나 고글 등과 같은 시각 장치를 통해 관측되는 컴퓨터-생성된 가상의 물체일 수 있으며, 이 경우, 웹 페이지는 어떤 시각 장치를 통해 관측되는 3D 물체의 컴퓨터-생성된 이미지 위에 오버레이된다.

하나의 예시에서, 웹 페이지의 적어도 하나의 콘텐츠 영역의 크기 조절은 복수의 행과 복수의 열을 구비하는 그리드를 이용하여 수행되며, 그리드는 상기 콘텐츠 영역이 할당되는 3D 물체의 부분에 가상적으로 적용되고, 그리드의 행들 및 열들의 간격은 그리드가 상기 콘텐츠 영역에 맞춰지도록 필요에 따라 조절된다.

이는, 2D 반응형 웹 디자인에서 사용되는 소위 유동형 그리드와 유사하지만, 자세히 보면 다르다.

하나의 예시에서, 방법은, 콘텐츠 영역을 3D 물체의 할당된 부분에 오버레이하기 전에, 3D 물체의 할당된 부분의 3차원 형상에 따라서 필요에 따라 콘텐츠 영역의 형상을 조절하는 단계를 포함한다.

3D 물체의 할당된 부분의 3차원 형상은 예를 들어, 정육면체 또는 직육면체 등의 면처럼 평평할 수 있다. 이러한 경우, 할당된 부분의 3차원 형상을 고려하기 위해 형상을 조절할 필요가 없다. 만약, 3D 물체의 할당된 부분의 3차원 형상이 이와 달리 평평하지 않은 경우에는, 통상적으로 어느 정도의 형상 조절이 수행된다.

한 예시에서, 방법은, 콘텐츠 영역을 3D 물체의 할당된 부분에 오버레이하기 전에, 사용자에 의해 관측되는 것과 같이 3D 물체의 할당된 부분의 관점에 따라서, 필요에 따라 콘텐츠 영역의 형상을 조절하는 단계를 포함한다.

예를 들어, 3D 물체의 할당된 부분이 시청자가 관측하였을 때 점점 멀어지게(taper off) 보일 수 있다. 이러한 경우, 콘텐츠 영역은 3D 물체의 할당된 부분의 테이퍼링을 따르도록 또는 일치하도록 형상이 조절될 수 있다.

한 예시에서, 3D 물체는 증강-현실 시각 장치를 통해 시청자에게 관측되는 실제 3D 물체의 이미지이다.

한 예시에서, 3D 물체는 가상현실 시각 장치를 통해 시청자에게 관측되는 컴퓨터-생성된 이미지이다.

한 예시에서, 3D 물체는 실제 3D 물체이고, 웹 페이지의 콘텐츠 영역을 3D 물체의 각각의 할당된 부분에 오버레이하는 단계는, 실제 3D 물체의 각각의 할당된 부분에 웹 페이지의 콘텐츠 영역의 이미지를 투사하는 것을 포함하다.

본 명세서에 개시되는 제2 양태에 따르면, 시청자에 의한 관측을 위해 웹 페이지를 실제 또는 가상의 3D 물체에 오버레이하는 장치가 제공되며, 웹 페이지는 복수의 콘텐츠 영역을 구비하고, 장치는,

적어도 하나의 프로세서;

및 컴퓨터 프로그램 명령어를 포함하는 적어도 하나의 메모리를 포함하고,

상기 적어도 하나의 메모리와 컴퓨터 프로그램 명령어는 적어도 하나의 프로세서와 함께, 장치가,

웹 페이지의 콘텐츠 영역을 3D 물체의 다양한 각각의 부분에 할당하되, 이때 웹 페이지의 콘텐츠 영역의 할당은 계층적이어서, 가장 높은 중요도를 갖는 웹 페이지의 콘텐츠 영역이 3D 물체의 (i) 시청자의 시야에서 시청자에게 가장 가깝고, (ii) 시청자의 시야에서 가장 중앙인 두 조건 중 적어도 하나를 만족하는 부분에 할당되도록 하고,

적어도 하나의 콘텐츠 영역이 할당되는 3D 물체의 부분 내에 상기 콘텐츠 영역이 맞춰지도록, 필요에 따라 웹 페이지의 콘텐츠 영역의 크기를 조절하고,

웹 페이지의 콘텐츠 영역을 3D 물체의 각각의 할당된 부분에 오버레이하도록, 구성된다.

한 예시에서, 장치는 3D 물체의 이미지를 관측하기 위한 디스플레이를 포함한다.

디스플레이는, 예를 들어 헤드-장착형 디스플레이 또는 다른 시각 장치인 장치를 갖는, 예를 들어 고글 또는 다른 아이 피스(eye pieces) 등일 수 있다.

본 명세서에 개시되는 제3 양태에 따르면, 명령어를 포함하는 컴퓨터 프로그램이 제공되는데, 상기 명령어는, 컴퓨터 프로그램이 컴퓨팅 장치에서 실행될 때, 컴퓨팅 장치가 시청자에 의해 관측하기 위해 실제 또는 가상의 3D 물체에, 복수의 콘텐츠 영역을 구비하는 웹 페이지를 오버레이하도록 배치되되,

웹 페이지의 콘텐츠 영역을 3D 물체의 다양한 각각의 부분에 할당하고,

이때, 웹 페이지의 콘텐츠 영역의 할당이 계층적이어서, 가장 높은 중요도를 갖는 웹 페이지의 콘텐츠가 3D 물체의 (i) 시청자의 시야에서 시청자에게 가장 가깝고 (ii) 시청자의 시야에서 가장 중심인 두 조건 중 적어도 하나를 만족하는 부분에 할당되며,

웹 페이지의 적어도 하나의 콘텐츠가 할당되는 3D 물체의 부분 내에 콘텐츠 영역이 맞춰지도록, 필요에 따라 상기 콘텐츠 영역의 크기를 조절하고,

웹 페이지의 콘텐츠 영역을 3D 물체의 각각의 할당된 부분에 오버레이함으로써, 웹 페이지를 오버레이하도록 배치된다.

본 개시의 이해를 돕기 위해, 그리고 실시예들이 어떻게 실시될 수 있는지를 보여주기 위해, 예시로서 첨부된 도면들이 참조로서 사용된다.
도 1은 예시적인 웹 페이지를 개략적으로 나타낸다.
도 2는 웹 페이지가 오버레이된 3D 물체를 시청하는 시청자를 개략적으로 나타낸다.
도 3a 및 도 3b는 오버레이 방법의 예시에 사용되는 그리드를 나타낸다.
도 4a 및 도 4b는 3D 물체에 그리드를 오버레이하는 것을 개략적으로 나타낸다.
도 5는 그리드의 크기 조절을 개략적으로 나타낸다.

언급한 바와 같이, 웹 페이지가 월드 와이드 웹 및 웹 브라우저에 적절한 "문서"일 때, 웹 페이지를 디스플레이에 제시하는 다양한 장치 및 기술이 공지되어 있다. 소위 CSS(cascading style sheets)는, 예컨대 HTML(Hypertext Markup Language)와 같은 마크업 언어로 기록된 문서의 제시를 묘사하는 데 사용되는 스타일 시트 언어의 예시이다. CSS는 주로, 프리젠테이션과 콘텐츠의 분리를 가능하게 하도록 설계되며, 예를 들어 웹 페이지의 그래픽 디자인이 용이하게 조절될 수 있도록 한다.

전술한 US6898307B1호는 증강 현실(AR) 고글을 통해 보여지는 실제의 종이 한장의 이미지에 웹 페이지를 오버레이하는 것을 개시한다. 이는, 디스플레이되는 문서를 실제로 인쇄하지 않고도, 전자 문서의 인쇄된 버전을 가지고 있다는 착각을 시청자에게 제공하기 위해 사용된다. "3차원" 물체의 수많은 기준 및 좌표에도 불구하고, 이는 단지 한 장의 종이를 실제 3차원 세계에 제시하는 것을 설명한다. 종이 자체, 그리고 이로 인해 고글에서의 종이의 이미지는 엄격하게는 2차원이다. 따라서, 이는 2차원적 종이의 이미지에 웹 페이지를 오버레이하는 것을 상대적으로 용이하게 한다.

반면에, 본 명세서에서 설명되는 예시에서, 웹 페이지는 시청자가 볼 수 있도록 3차원 물체에 웹 페이지가 오버레이된다. 이는, 시청자가 웹 페이지 및/또는 3D 물체와 상호작용하여, 이때까지는 불가능했던 기능을 가능하게 하는 새로운 가능성을 가져온다. 하지만, 이하에서 명백해지는 바와 같이, 3D 물체에 웹 페이지를 오버레이하는 것은, 종래 기술에서 2D 물체 또는 2D 물체의 이미지에 웹 페이지를 오버레이하는 단순한 경우에서는 발생하지 않는 수많은 기술적 문제를 낳는다.

사용되는 용어의 배경으로서, 증강현실("AR")에서는, 현실 세계에 있는 실제 물체를 보기 위해 예컨대 안경 또는 고글 또는 다른 헤드-장착형 디스플레이 등과 같은 물리적인 시청 장치의 몇몇 형태가 사용되며, 동시에 컴퓨터-생성된 이미지가 사용자의 현실 세계의 뷰 위에 겹쳐진다. 가상 현실("VR")에서는, 통상적으로 헤드-장착형 디스플레이를 통해 사용자에 의해 보여지는 뷰의 전체가 컴퓨터-생성된다. 본 명세서에서 설명되는 예시들은 증강 현실 및 가상 현실 모두에 적용 가능하다.

본 명세서에서 설명되는 예시들에 의해 해결되는, 특히 VR 또는 AR 시스템의 사용자에게 있어서 주요 문제점 중 하나는, 예컨대 헤드-장착형 디스플레이(HMD)와 같은 물리적 시각 장치를 이용하여 웹 페이지를 시청하는 사용자에게는, 통상적으로 웹 페이지가 단지 공기 중에 "떠있거나" "걸려있는 것"으로 보인다는 것이다. 또한, 웹 페이지가 종종 투명하거나, 투명한 부분을 가지고 있어, 용이하게 판독할 수 없다. 하나의 해결책은, 예를 들어 US6898307B1호에서와 같이, (일반적으로는 HMD를 거쳐서) 사용자에게 보여지는 환경에 있는 불-투명한 물체의 이미지에 웹 페이지를 오버레이하는 것이다. 하지만, 이는 사실상, 환경에 있는 물체가 새로운 디스플레이가 된다는 또 다른 문제점을 야기한다. 현재의 웹 페이지 재 스케일링(rescaling)은 평평한 2D 직각 디스플레이를 위한 웹 페이지를 스케일링할 뿐, 환경에 있는 물체가 평평한 2D 직각 형태일 것이라는 보장(obligation)이 없다. 본 명세서에서 설명되는 예시들은 실제 또는 가상의 3D 물체에 웹 페이지를 오버레이할 수 있고, 평평한 2D 직각 디스플레이인 물체 또는 물체의 이미지에 국한되지 않는다. 따라서, 본 명세서에서 설명되는 예시들은 VR 및/또는 AR 어플리케이션에서 HMD를 사용하거나 실제 3D 물체와 상호 작용하는 사용자에게 웹 페이지를 디스플레이하기에 상당한 기술적 이점을 갖는다.

이제, 도 1을 참조하면, 웹 페이지(10)의 예시가 개략적으로 도시되어 있다. 웹 페이지(10)는 다양한 콘텐츠 영역을 구비하는데, 예시로서 3개의 콘텐츠 영역(12, 14, 16)이 도시되어 있다. 제1 콘텐츠 영역(12)은, 통상적으로 웹 페이지에서 페이지의 제목 등의 등가물로서 사용되는 배너일 수 있다. 제2 콘텐츠 영역(14)은 이미지이거나 이미지를 포함한다. 제3 콘텐츠 영역(16)은 텍스트를 포함한다. 통상의 웹 페이지가 이러한 종류의 콘텐츠 영역 중 하나만 가질 수도 있고, 또는 몇몇의 텍스트 영역(16)을 가지되, 이미지 영역은 없을 수 있고, 또는 몇몇 이미지 영역(14)을 가지되 텍스트 영역(16)이 없을 수 있고, 또는 몇몇 그림 영역(14)과 몇몇의 텍스트 영역(16)을 가질 수 있음을 이해할 것이다. 도면에는 스크롤 바(18)도 도시되어 있다.

이제, 도 2를 참조하면, 사용자 또는 시청자(20)가 도시되어 있는데, 이 예시에서 사용자는 헤드-장착형 디스플레이 또는 시청 장치(22)를 착용하고 있다. 시청 장치(22)는 시청자(20)가 물체의 이미지를 3차원으로 볼 수 있도록 한다. 이를 가능하게 하는 수많은 다양한 종류의 시청 장치(22)가 잘 알려져 있다. 이러한 공지된 시청 장치(22) 각각에서, 어떤 형태로든 시청자(20)의 좌측 눈과 우측 눈에 서로 다른 이미지가 제공되어, 시청자가 3D 이미지를 보거나 감지할 수 있도록 한다.

시청자(20)에 의해 보여질 수 있는 3D 물체의 예시가 도 2의 우측에 도시되어 있다. 하나의 예시는 정육면체(24)이고 또 다른 예시는 구(26)이다. 이들 두 예시는 특히 간단하며, 설명 및 예시의 목적으로 주어진 것이다. 보다 복잡한 형상의 3D 물체가 사용될 수도 있음을 이해할 것이다. 일반적으로, 3D 물체는 단순 정육면체 또는 구보다는 훨씬 더 복잡한 형상을 가질 것이다.

이와 관련하여, 시청 장치(22)를 통해 시청자(20)에 의해 시청될 수 있고, 이 예시에서 그 위에 웹 페이지가 오버레이되는 3D 물체는 실제이거나 동등하게 3D 물체의 이미지일 수 있다. 이를 설명하기 위해, 가상 현실 시스템에서는, 3D 물체의 이미지가 컴퓨터-생성되어 시청 장치(22)의 디스플레이 스크린(들)에 제시된다. 반편에, 증강 현실 시스템에서는, 물체는 실제의 것으로, 시청 장치(22)의 디스플레이 스크린(들)을 통해 보여진다. 그럼에도 불구하고, 본 명세서에서 사용되는 맥락에서, 이 예시에서는 증강 현실 시스템과 가상 현실 시스템 모두에서, 웹 페이지는 시청자(20)에 의해 시청 및 감지되는 것과 같이, 실제 또는 가상의 3D 물체의 이미지 위에 오버레이된다.

또 다른 예시에서, 웹 페이지는 시청자(20)에 의해 보여지는 실제 2D 물체 위에 오버레이된다. 즉, 이 추가적인 예시에서는, 웹 페이지의 이미지가 실제 3D 물체 위에 오버레이되어, 어떤 시청 장치(22) 없이도 시청자(20)에 의해 직접적으로 시청될 수 있다. 이러한 경우, 실제 3D 물체 위에 웹 페이지의 이미지를 투사하는 프로젝터(28) 등이 있을 수 있다. 프로젝터(28)는 별도의 장치이거나, 예컨대 헤드-장착형 디스플레이(22)와 같은 시청 장치(22) 내에 설치될 수 있다.

도 2에 돌아가면, 도 1에 도시된 예시적인 웹 페이지가 정육면체(24) 및 구(26) 위에 오버레이된 것이 도시되어 있다. (다시 말하지만, 예시 및 특정 어플리케이션에 따라, 웹 페이지(10)(의 이미지)가 오버레이되는 정육면체(24) 또는 구(26) 또는 다른 3D 물체는 실제 또는 가상의 3D 물체일 수 있는 3D 물체의 이미지이거나, 실제 3D 물체일 수 있다). 이와 관련하여, 웹 페잉지(10)는 "반응형 웹 페이지"의 형태로서 간주될 수 있다. 반응형 웹 디자인에서, 디스플레이된 대로의 웹 페이지 레이아웃은 웹 페이지를 시청하기 위해 사용되는 스크린 또는 웹 브라우저의 크기에 따라 조절된다. 이는, 예를 들어 웹 페이지가 큰 모니터 또는 디스플레이 스크린, 태블릿 컴퓨터 또는 스마트 폰 등에서 시청되는지 여부에 따라 웹 페이지의 디스플레이 레이아웃이 조절될 수 있도록 한다. 예를 들어, 웹 페이지(10)의 다양한 영역(12, 14, 16)이 시청되는 디스플레이 스크린의 크기 및/또는 종횡비에 따라 서로에 대해 (개별적으로) 다시 크기 설정(re-sized) 및/또는 다시 위치 설정(re-positioned)될 수 있다. 하지만, 현재 알려진 반응형 웹 디자인 기술은 2D 이미지 및 웹 페이지에 대해서만 적합하므로, 현재 알려진 반응형 웹 디자인 기술은 본 경우에는 적용될 수 없다. 예를 들어, 현재 알려진 반응형 웹 디자인 기술에서, 본질적으로 전체 웹 페이지는 디바이스의 전체 스크린을 채우도록, 또는 적어도 디바이스 상에 웹 페이지를 디스플레이 하기 위해 사용되는 브라우저 윈도우 전체를 채우도록 다시 크기 설정 및 조절된다. 이는, 3D 물체 상에 웹 페이지를 오버레이하는 경우에는 적용될 수 없다. 예를 들어, 웹 페이지가 3D 물체의 전체 표면을 덮도록 되어 있을 경우, 웹 페이지의 일부분은 3D 물체의 "뒷면"에 있기 때문에 시야에서 가려져, 시청자가 웹 페이지 전체를 볼 수 없다. 게다가, 2D의 반응형 웹 디자인의 다양한 콘텐츠 영역의 크기를 조절하도록 적용되는 스케일링은 3D 물체 위에 웹 페이지를 오버레이한 경우에 직접적으로 적용될 수 없다.

도 2의 예시에서 볼 수 있는 바와 같이, 웹 페이지(10)의 콘텐츠 영역(12, 14, 16)의 상대적 위치는 정육면체(24)와 구(26)의 경우에 상이하며, 이는 일반적으로 서로 다른 3D 형상을 가지는 다양한 물체에 대해 다를 것이다. 게다가, 적어도 하나의 콘텐츠 영역(12, 14, 16)의 크기가 두 예시에서 다르고, 일반적으로 서로 다른 3D 형상을 갖는 다양한 물체에 대해 다를 것이다.

여기서 고려되는 서로 다른 콘텐츠 영역(12, 14, 16)의 경우, 콘텐츠 영역(12, 14, 16)은 3D 물체, 이 경우에는 정육면체(24) 및 구(26)의 각각 다른 부분에 할당된다. 다양한 콘텐츠 영역(12, 14, 16)을 3D 물체(24, 26)의 다양한 부분에 어떻게 할당할 것인지 결정하기 위해, 콘텐츠 영역(12, 14, 16)에 계층(hierarchy) 주어진다. 계층은 특정 콘텐츠 영역 또는 특정 종류의 콘텐츠 영역이 시청자(20)에게 가장 중요한 것으로 여겨지도록 되어 있을 수 있다. 계층 및 중요도는 다양한 종류의 웹 페이지에 대해 다르거나, 또는 웹 페이지의 일반적인 콘텐츠나 본질에 따라 다를 수 있다. 예를 들어, 특정한 웹 페이지(10)에 대해, 텍스트 영역(16)이 시청자(22)에게 가장 중요할 수 있고, 이미지 영역(14)이 시청자(22)에게 가장 덜 중요할 수 있다. 반대로, 이미지 영역(14)이 시청자(22)에게 가장 중요하도록 결정되고, 텍스트 영역(16)이 시청자(22)에게 가장 덜 중요할 수 있는 웹 페이지(10)가 있을 수 있다.

이러한 계층 또는 중요도는 웹 사이트 제공자에 의해 작동되는 웹 서버 등에서 결정 및 설정될 수 있다. 이 경우, 다양한 콘텐츠 영역(12, 14, 16)의 계층 또는 중요도에 관한 데이터가 웹 페이지(10)를 통해 사용자의 브라우저로 전송될 수 있다. 대안적으로 또는 추가적으로, 계층 및 중요도는, 예를 들어 브라우저 소프트웨어의 일부로서 사용자 측에서 사용자에 의해 설정될 수 있다. 이는, 예를 들어 사용자가, 텍스트 영역(16) 또는 이미지 영역(14)이 가장 중요한 것으로 순위 매김되도록 수동적으로 옵션을 선택함으로써 수행될 수 있다.

웹 페이지(10)의 다양한 콘텐츠 영역(12, 14, 16)의 계층 또는 중요도 순위가 주어지면, 가장 높은 중요도를 갖는 웹 페이지(10)의 콘텐츠 영역(12, 14, 16)이 사용자(20)의 시야에서 사용자(20)에게 가장 가깝고 사용자(20)의 시야에서 중앙에 있는, 3D 물체(24, 26)의 적어도 하나의 부분에 할당된다.

따라서, 예를 들어, 도 2의 정육면체(24)를 참조하면, 정면(24A)이 시청자(20)에게 가장 가깝다. 이 예시에서, 배너(12)와 텍스트 영역(16)이 가장 중요한 것으로 결정되었다. 따라서, 배너(12)와 텍스트 영역(16)이 정육면체(24)의 정면(24A)에 오버레이된다. 이미지 영역(14)이 더 낮은 중요도를 갖는 것으로 순위 매김된다. 따라서, 이 예시에서는, 이미지 영역(14)이 정육면체(24)의 이웃하는 면(24B)에 오버레이된다. 이웃하는 면(24B)은 이 예시에서, 정육면체(24)의 이미지의 약간 "측면"에 있지만, 여전히 시청자(20)에게 가시적이다. 구(26)의 경우, 도시된 예시에서, 이미지 영역(14)이 가장 높은 중요도를 갖는 것으로 순위 매김되었으므로, 이미지 영역(14)이 시청자의 시야에서 중앙인 부분(이 부분은 구의 경우에, 시청자(20)에게 가장 가까운 부분이기도 하다)에서 구(26)의 표면에 오버레이된다. 텍스트 영역(16)은 이미지 영역(14)에 이웃하게 위치 설정된다. 또한, 이 예시에서, 배너(12)는 이미지 영역(14)과 텍스트 영역(16)의 위에 가로로 위치 설정된다.

다양한 콘텐츠 영역(12, 14, 16)이 3D 물체 상의 어디에 오버레이 되어야 하는지 결정되고 나면, 콘텐츠 영역(12, 14, 16)을 3D 물체의 다양한 부분에 맞춰(fit)야 한다. 즉, 하나 이상의 콘텐츠 영역(12, 14, 16)의 일부 재-크기 조정이 요구될 수 있다.

이를 달성하기 위해, 도 3a 및 도 3b를 참조하면, 오버레이될 웹 페이지(10)가 (공상적으로(notionally)) 그리드(30)로 분할될 수 있다. 도 3a에는 수직 그리드 선 또는 열(32)이 표시되어 있고, 도 3b에는 수평 그리드 선 또는 행(34)이 표시되어 있다. 다양한 콘텐츠 영역(12, 14, 16) 각각에 대해 별도의 그리드(30)가 있을 수 있다. 또한, 다양한 콘텐츠 영역(12, 14, 16)이 오버레이되는 별개의 표면을 다수 개 가지는 3D 물체의 경우, 다른 표면들 각각에 대해 상이한 그리드가 사용될 수 있다. 예를 들어, 도 4a에서, 정육면체(24)의 한 면(24A)은 제1의 (공상의) 그리드(30A)를 구비하고, 정육면체(24)의 제2 면(24B)은 제2의 (공상의) 그리드(30B)를 구비한다.

그 다음, 그리드(30)를 3D물체의 대응하는 부분에 맞추기 위해, 그리드 또는 그리드들(30)이 재-크기 설정된다. 요구되는 그리드의 전체 크기는 예를 들어, 대응하는 콘텐츠 영역(12, 14, 16)이 그 위에 오버레이될 3D 물체의 부분의 크기에 따라 좌우된다. 예를 들어, 콘텐츠 영역(12, 14, 16)이 3D 물체의 대응하는 부분을 완전히 채우도록 의도될 수 있다. 대안적으로, 콘텐츠 영역(12, 14, 16)은 3D 물체의 대응하는 부분의 특정 퍼센트만 채우도록 의도될 수 있다.

어떤 경우가 되었건, 간단히 도 5를 참조하면, 그리드(30)의 크기는 필요에 따라, 이웃하는 수진 선(32)들 사이의 간격(d_V) 및 이웃하는 수평 그리드 선(34)들 사이의 간격(d_H) 중 하나 또는 둘 모두를 증가시킴으로써 조절된다. 이때, 일단 그리드(30)의 요구되는 크기가 달성되면, 대응하는 콘텐츠 영역(12, 14, 16)이 대응하게 스케일링된다.

이와 관련하여, 스케일링은, (2D) 반응형 웹 페이지 디자인에서 사용되는 소위 "유동형(fluid) 그리드"에 유사한 기술을 사용할 수 있다. 유동형 그리도를 사용하면, 먼저 사용될 수 있는 최대의 레이아웃 크기로 웹 페이지가 스케일링된다. 이는, 예를 ㄷㄹ어 통상적인 큰 디스플레이 디바이스에서 사용될 수 이는 가능한 한 가능 높은 픽셀 수에 대응할 수 있다. 이는, 예를 들어 디스클레이 스크린의 수직 방향으로 1200 픽셀 수에 대응할 수 있다. 이때, 예를 들어 웹 페이지가 수직 방향으로 300 픽셀의 픽셀 수만 가지는 디바이스에 디스플레이된다는 것이 밝혀질 경우, 웹 페이지의 모든 콘텐츠는 25%로 스케일링된다. 즉, 요약하자면, 유동형 그리드는 웹 페이지에 대한 절대 픽셀 수를 사용하는 대신, 상대적인(proportional) 폭 및 높이를 사용한다. 콘텐츠 영역(12, 14, 16)이 어떤 특정 크기 아래로는 재-크기 조절될 수 없도록, 최소 스케일 가능한 비율이 설정될 수 있다.

공지된 2D 유동형 그리드와의 유사점이 있지만, 본 명세서에서 사용되는 유동형 그리드와 본 명세서에서 사용되는 기술은 다르다. 이는 공지된 기술은 직사각형 유동형 그리드만을 생성하는 하는 데에 비해, 본 명세서에서 설명되는 예시들은 3D 물체 위에 웹 페이지를 맞추려고 하기 때문이다. 후자가 더 복잡하다. 예를 들어, 2D 유동형 그리드로는, 직사각형 프레임에 조절하기만 하면 되고, 이는 본 명세서에서 설명되는 것과 같이, 3D 물체에 대해 조절해야 하는 것보다 훨씬 단순하다.

3D 물체(상기 물체가 실제의 것인지 컴퓨터-생성된 물체인지 상관없이, 그리고 웹 페이지가 실제의 3D 물체에 또는 3D 물체의 이미지에 오버레이 되는지에 상관 없이)를 웹 페이지에 오버레이할 수 있도록 하기 위해, 3D 물체의 형상을 알아야 한다. 또한, 예를 들어, 시청자(22)에게 가장 가까운 및/또는 시청자(22)의 시야에서 중앙에 있는 3D 물체의 위치가 결정될 수 있도록, 3D 물체의 부분들의 서로에 대한 그리고 시청자(22)에 대한 상대적 위치를 알아야 한다.

예를 들어, 가상 현실 시스템의 경우에서와 같이, 3D 물체의 이미지가 컴퓨터-생성되는 경우, 3D 물체를 생성했던 소프트웨어는 렌더링된 3D 물체의 형상을 이미 "알고 있다". 상기 소프트웨어는 시청 장치(22)의 작동을 제어하는 소프트웨어의 일부일 수도 있고, 시청 장치(22)의 작동을 제어하는 소프트웨어가 액세스를 갖는 별도의 컴퓨터에서 실행될 수 있다. 어느 쪽이든, 가상 현실 시스템의 경우에, 시청 장치(22)의 작동을 제어하는 소프트웨어가 렌더링되는 3D 물체의 형상에 대한 지식을 획득할 수 있다.

반면에, 예를 들어 증강 현실의 경우에서와 같이 3D 물체가 실제의 것이고 시청 장치(22)를 통해 보여지는 경우, 또는 3D 물체가 실제의 것이고 웹 페이지가 시청을 위한 실제의 3D 물체 위에 투사되는 경우, 3D 물체의 형상을 검출할 필요성이 있다. 이는 다양한 방식으로 달성될 수 있다. 예를 들어, 단일 카메라가 사용되고, 3D 물체의 형상을 추정하기 위해 컴퓨터 비전 추정 기술(computer vision estimation technique)이 사용된다. 실제 3D 물체의 입체적인 뷰를 획득하는 2개의 별도의 카메라를 사용하여, 보다 정확한 3D 물체의 형상 결정이 획득될 수 있다. 또 다른 대안으로서, ToF(Time-of-Flight) 센서가 사용될 수 있다. 이러한 경우, (예를 들어 적외선) 신호가 3D 물체에서 전송되어, 센서로부터 3D 물체의 부분의 거리에 대한 정보를 획득하기 위해 센서에 의해 검출되는 반사된 신호의 비행시간(time of flight)이 이용된다. 이것이 다수의 전송 신호에 대해 반복되어, 3D 물체의 표면의 3D 맵이 생성된다. 또 다른 예시에서, 소위 구조 광(structured light)이 사용될 수 있다. 이 경우, 예컨대 그리드와 같은 공지된 패턴이 3D 물체 위에 투사된다. 그리드가 물체의 3D 형상에 의해 왜곡된다. 그러면, 그리드가 카메라에 의해 관측되어, (다시 말하지만) 3D 물체의 3D 표면의 맵을 획득하기 위해 분석될 수 있다. 그러면, 예를 들어 AR 시스템에서와 같이 실제 3D 물체의 이미지 위에 웹 페이지가 오버레이되는 경우에는 시청 장치(22)의 작동을 제어하는 소프트웨어에 의해 상기 맵이 액세스 및 사용 가능해질 수 있고, 또는 웹 페이지의 이미지가 실제 3D 물체 위에 오버레이될 경우, 프로젝터(28)의 작동을 제어하는 소프트웨어에 의해 사용 가능해질 수 있다.

이러한 예시들 중 모두에서, 실제 3D 물체의 형상 및 상대적 위치 등을 결정하기 위한 카메라 또는 카메라들 또는 전송기 및 수신기 등은, 예를 들어 별도의 디바이스로서 제공될 수도 있고 및/또는 HMD 디바이스 내에 통합될 수도 있다.

도면을 참조하여 본 명세서에서 설명된 실시예들의 적어도 일부 양태는 프로세싱 시스템 또는 프로세서에서 수행되는 컴퓨터 프로세스를 포함하지만, 본 발명은 컴퓨터 프로그램, 특히 본 발명을 실현하기에 적합한 캐리어 위 또는 내에 있는 컴퓨터 프로그램으로도 확장된다. 프로그램은 비-일시적인 소스 코드, 목적 코드, 예컨대 부분적으로 부합된(complied) 형태의 소스와 목적 코드의 중간 코드의 형태, 또는 본 발명에 따른 프로세스의 구현에 사용하기에 적절한 임의의 다른 일시적인 형태일 수 있다. 캐리어는 프로그램을 수행할 수 있는 임의의 객체 또는 디바이스일 수 있다. 예를 들어, 캐리어는 예컨대 SSD(solid-state drive) 또는 다른 반도체-기반 RAM; ROM, 예를 들어 CD ROM 또는 반도체 ROM; 자기 기록 매체, 예를 들어 플로피 디스크 또는 하드 디스크; 일반적으로 광학 메모리 디바이스; 등과 같은 저장 매체를 포함할 수 있다.

본 명세서에서 설명되는 예시들은 본 발명의 실시예들의 설명에 도움이 되는 예시로서 이해되어야 한다. 추가적인 실시예들 및 예시들이 예상된다. 임의의 한 예시 또는 실시예와 관련하여 설명된 임의의 특징은 독자적으로 또는 다른 특징과 함께 사용될 수 있다. 또한, 임의의 한 예시 또는 실시예와 관련하여 설명된 임의의 특징은 임의의 다른 예시 또는 실시예의 하나 이상의 특징들, 또는 임의의 다른 예시 또는 시릿예들의 임의의 조합과 조합하여 사용될 수 있다. 또한, 본 명세서에서 설명되지 않은 등가물 및 변형도, 청구항에서 정의되는 본 발명의 범위 내에서 활용될 수 있다.

Claims

시청자에 의한 관측을 위해 실제의 또는 가상의 3D 물체에 웹 페이지를 오버레이하는 컴퓨터-구현 방법으로, 웹 페이지는 복수의 콘텐츠 영역을 구비하며,
3D 물체의 각각의 상이한 부분에 웹 페이지의 콘텐츠 영역을 할당하는 단계로, 웹 페이지의 콘텐츠 영역의 할당은 계층적(hierarchical)이어서, 가장 높은 중요도를 갖는 웹 페이지의 콘텐츠 영역이 3D 물체의 (i) 시청자의 시야에서 시청자에게 가까운 것 및 (ii) 시청자의 시야에서 가장 중앙인 것 중 적어도 하나를 만족하는 부분에 할당되는, 콘텐츠 영역 할당 단계;
적어도 하나의 콘텐츠 영역이 상기 콘텐츠 영역에 할당되는 3D 물체의 부분 내에 맞춰지도록(fit), 필요에 따라 상기 콘텐츠 영역의 크기를 조절(resizinig)하는 단계;
웹 페이지의 콘텐츠 영역을 3D 물체의 각각의 할당된 부분에 오버레이하는 단계;를 포함하는 것을 특징으로 하는, 실제 또는 가상의 3D 물체에 웹 페이지를 오버레이하는 컴퓨터-구현 방법.
제1항에 있어서,
웹 페이지의 적어도 하나의 콘텐츠 영역의 크기 설정은 복수의 행 및 복수의 열을 구비하는 그리드를 이용하여 수행되고, 그리드는 상기 콘텐츠 영역에 할당되는 3D 물체의 부분에 공상적으로(notionally) 적용되고, 그리드의 행들 및 열들의 간격은 그리드가 상기 콘텐츠 영역에 맞도록 필요에 따라 조절되는 것을 특징으로 하는, 실제 또는 가상의 3D 물체에 웹 페이지를 오버레이하는 컴퓨터-구현 방법.
제1항 또는 제2항에 있어서,
3D 물체의 할당된 부분에 콘텐츠 영역을 오버레이하기 전에, 3D 물체의 할당된 부분의 3차원적 형상에 따라서 필요에 따라 콘텐츠 영역의 형상을 조절(reshaping)하는 단계를 포함하는 것을 특징으로 하는, 실제 또는 가상의 3D 물체에 웹 페이지를 오버레이하는 컴퓨터-구현 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
3D 물체의 할당된 부분에 콘텐츠 영역을 오버레이하기 전에, 사용자에 의해 관찰되는 것과 같이 3D 물체의 할당된 부분의 관점에 따라서 필요에 따라 콘텐츠 영역의 형상을 조절하는 단계를 포함하는 것을 특징으로 하는, 실제 또는 가상의 3D 물체에 웹 페이지를 오버레이하는 컴퓨터-구현 방법.
제1항 내지 제4항 중 어느 한 항에 있어서,
3D 물체가 증강-현실 시각 장치를 통해 시청자에 의해 관찰되는 3D 물체의 이미지인 것을 특징으로 하는, 실제 또는 가상의 3D 물체에 웹 페이지를 오버레이하는 컴퓨터-구현 방법.
제1항 내지 제4항 중 어느 한 항에 있어서,
3D 물체가 가상 현실 시각 장치를 통해 시청자에 의해 관찰되는 컴퓨터-생성된 이미지인 것을 특징으로 하는, 실제 또는 가상의 3D 물체에 웹 페이지를 오버레이하는 컴퓨터-구현 방법.
제1항 내지 제4항 중 어느 한 항에 있어서,
3D 물체는 실제 3D 물체이고, 웹 페이지의 콘텐츠 영역을 3D 물체의 각각의 할당된 부분에 오버레이하는 단계는, 웹 페이지의 콘텐츠 영역의 이미지를 실제 3D 물체의 각각의 할당된 부분에 투사(project)하는 것을 포함하는 것을 특징으로 하는, 실제 또는 가상의 3D 물체에 웹 페이지를 오버레이하는 컴퓨터-구현 방법.
시청자에 의한 관측을 위해 실제의 또는 가상의 3D 물체에 웹 페이지를 오버레이하는 장치로, 웹 페이지는 복수의 콘텐츠 영역을 구비하고, 상기 장치는,
적어도 하나의 프로세서;
및 컴퓨터 프로그램 명령어를 포함하는 적어도 하나의 메모리를 포함하고;
상기 적어도 하나의 메모리와 컴퓨터 프로그램 명령어는 적어도 하나의 프로세서와 함께, 장치로 하여금,
3D 물체의 각각의 상이한 부분에 웹 페이지의 콘텐츠 영역을 할당하되, 웹 페이지의 콘텐츠 영역의 할당은 계층적이어서, 가장 높은 중요도를 갖는 웹 페이지의 콘텐츠 영역이 3D 물체의 (i) 시청자의 시야에서 시청자에게 가까운 것 및 (ii) 시청자의 시야에서 가장 중앙인 것 중 적어도 하나를 만족하는 부분에 할당되도록, 콘텐츠 영역을 할당하고;
적어도 하나의 콘텐츠 영역이 상기 콘텐츠 영역에 할당되는 3D 물체의 부분 내에 맞춰지도록, 필요에 따라 상기 콘텐츠 영역의 크기를 조절하고;
웹 페이지의 콘텐츠 영역을 3D 물체의 각각의 할당된 부분에 오버레이하도록; 구성되는 것을 특징으로 하는, 실제 또는 가상의 3D 물체에 웹 페이지를 오버레이하는 장치.
제8항에 있어서,
웹 페이지의 적어도 하나의 콘텐츠 영역의 크기 설정은 복수의 행 및 복수의 열을 구비하는 그리드를 이용하여 수행되고, 그리드는 상기 콘텐츠 영역에 할당되는 3D 물체의 부분에 공상적으로 적용되며, 그리드의 행들 및 열들의 간격이 그리드가 상기 콘텐츠 영역에 맞도록 필요에 따라 조절되는 것을 특징으로 하는, 실제 또는 가상의 3D 물체에 웹 페이지를 오버레이하는 장치.
제8항 또는 제9항에 있어서,
3D 물체의 할당된 부분에 콘텐츠 영역을 오버레이하기 전에, 3D 물체의 할당된 부분의 3차원적 형상에 따라서 필요에 따라 콘텐츠 영역의 형상이 조절되도록 하는 컴퓨터 프로그램 명령어를 포함하는 것을 특징으로 하는, 실제 또는 가상의 3D 물체에 웹 페이지를 오버레이하는 장치.
제8항 내지 제10항 중 어느 한 항에 있어서,
3D 물체의 할당된 부분에 콘텐츠 영역을 오버레이하기 전에, 사용자에 의해 관찰되는 것과 같이 3D 물체의 할당된 부분의 관점에 따라서 필요에 따라 콘텐츠 영역의 형상이 조절되도록 하는 컴퓨터 프로그램 명령어를 포함하는 것을 특징으로 하는, 실제 또는 가상의 3D 물체에 웹 페이지를 오버레이하는 장치.
명령어를 포함하는 컴퓨터 프로그램으로, 컴퓨팅 디바이스에서 컴퓨터 프로그램이 실행되었을 때, 컴퓨팅 디바이스가 시청자에 의한 관측을 위해 실제 또는 가상의 3D 물체에, 복수의 콘텐츠 영역을 구비하는 웹 페이지를 오버레이하되,
3D 물체의 각각의 상이한 부분에 웹 페이지의 콘텐츠 영역을 할당하되, 웹 페이지의 콘텐츠 영역의 할당은 계층적이어서, 가장 높은 중요도를 갖는 웹 페이지의 콘텐츠 영역이 3D 물체의 (i) 시청자의 시야에서 시청자에게 가까운 것 및 (ii) 시청자의 시야에서 가장 중앙인 것 중 적어도 하나를 만족하는 부분에 할당되도록, 콘텐츠 영역을 할당하고;
적어도 하나의 콘텐츠 영역이 상기 콘텐츠 영역에 할당되는 3D 물체의 부분 내에 맞춰지도록, 필요에 따라 상기 콘텐츠 영역의 크기를 조절하고;
웹 페이지의 콘텐츠 영역을 3D 물체의 각각의 할당된 부분에 오버레이함으로써, 실제 또는 가상의 물체에 웹 페이지를 오버레이하도록 명령어를 포함하는 것을 특징으로 하는, 컴퓨터 프로그램.
제12항에 있어서,
웹 페이지의 적어도 하나의 콘텐츠 영역의 크기 설정은 복수의 행 및 복수의 열을 구비하는 그리드를 이용하여 수행되고, 그리드는 상기 콘텐츠 영역에 할당되는 3D 물체의 부분에 공상적으로 적용되고, 그리드가 상기 콘텐츠 영역에 맞도록 필요에 따라 그리드의 행들 및 열들의 간격을 조절하도록 하는 명령어를 포함하는 것을 특징으로 하는, 컴퓨터 프로그램.
제12항 또는 제13항에 있어서,
3D 물체의 할당된 부분에 콘텐츠 영역을 오버레이하기 전에, 3D 물체의 할당된 부분의 3차원적 형상에 따라서 필요에 따라 콘텐츠 영역의 형상을 조절하도록 하는 명령어를 포함하는 것을 특징으로 하는, 컴퓨터 프로그램.
제12항 내지 제14항 중 어느 한 항에 있어서,
3D 물체의 할당된 부분에 콘텐츠 영역을 오버레이하기 전에, 사용자에 의해 관측되는 것과 같이 3D 물체의 할당된 부분의 관점에 따라서 필요에 따라 콘텐츠 영역의 형상이 조절되도록 하는 명령어를 포함하는 것을 특징으로 하는, 컴퓨터 프로그램.