KR20160060582A - 시각 데이터를 처리하는 장치 및 방법, 및 관련된 컴퓨터 프로그램 제품 - Google Patents
시각 데이터를 처리하는 장치 및 방법, 및 관련된 컴퓨터 프로그램 제품 Download PDFInfo
- Publication number
- KR20160060582A KR20160060582A KR1020150162720A KR20150162720A KR20160060582A KR 20160060582 A KR20160060582 A KR 20160060582A KR 1020150162720 A KR1020150162720 A KR 1020150162720A KR 20150162720 A KR20150162720 A KR 20150162720A KR 20160060582 A KR20160060582 A KR 20160060582A
- Authority
- KR
- South Korea
- Prior art keywords
- time data
- user
- terminal
- module
- displayed
- Prior art date
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 61
- 238000012545 processing Methods 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 title claims description 30
- 238000004590 computer program Methods 0.000 title claims description 11
- 238000003672 processing method Methods 0.000 claims abstract 2
- 230000009466 transformation Effects 0.000 claims description 49
- 238000013519 translation Methods 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 4
- 238000011084 recovery Methods 0.000 claims description 2
- 210000003128 head Anatomy 0.000 description 27
- 230000006870 function Effects 0.000 description 16
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 10
- 238000000844 transformation Methods 0.000 description 10
- 239000011521 glass Substances 0.000 description 9
- 230000003993 interaction Effects 0.000 description 8
- 230000003190 augmentative effect Effects 0.000 description 6
- 230000008447 perception Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000003556 assay Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000036544 posture Effects 0.000 description 3
- 210000001525 retina Anatomy 0.000 description 3
- 238000010998 test method Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- H04N13/0429—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- H04N13/044—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
- H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
- Digital Computer Display Output (AREA)
- Studio Devices (AREA)
- Geometry (AREA)
Abstract
본 개시는 시각 데이터 처리 장치 및 시각 데이터 처리 방법에 관한 것이다. 이 장치는 단말기용 시각 데이터를 표시하기 위해 사용된다. 이 장치는
- 단말기의 사용자 상의 기준 점에 대해 단말기의 3차원 위치를 얻도록 구성된 모듈(11);
- 단말기의 상기 3차원 위치에 관련하여, 기준 점의 시점으로부터 표시될 3차원 시각 데이터의 서브세트를, 가용한 시각 데이터의 세트의 함수로 결정하도록 구성된 모듈(12);
- 표시될 3차원 시각 데이터의 상기 서브세트를 수정하고, 수정된 시각 데이터를 전달하도록 구성된 모듈(13);
- 단말기의 표시 모듈 상에 수정된 시각 데이터를 표시하도록 구성된 모듈(14)을 포함한다.
- 단말기의 사용자 상의 기준 점에 대해 단말기의 3차원 위치를 얻도록 구성된 모듈(11);
- 단말기의 상기 3차원 위치에 관련하여, 기준 점의 시점으로부터 표시될 3차원 시각 데이터의 서브세트를, 가용한 시각 데이터의 세트의 함수로 결정하도록 구성된 모듈(12);
- 표시될 3차원 시각 데이터의 상기 서브세트를 수정하고, 수정된 시각 데이터를 전달하도록 구성된 모듈(13);
- 단말기의 표시 모듈 상에 수정된 시각 데이터를 표시하도록 구성된 모듈(14)을 포함한다.
Description
본 개시는 데이터 처리의 분야에 관한 것이다. 보다 구체적으로, 본 개시는 사용자를 중심으로 한 좌표계(자기 중심 좌표계)를 기준으로 하는 공간에서의 위치에 시각 데이터를 처리하는 것에 관한 것이다.
정보 기술의 급속한 발달에 따라, 전자적 시각 표시 장치가 세계적으로 널리 사용되고 있다. 관찰 모드에 따르면, 표시 장치는 2개의 카테고리: 직시(direct view) 표시 및 투사 표시로 나누어질 수 있다. 휴대형 장치, 스마트폰 및 태블릿은 직시 표시 장치라고 고려될 수 있는데, 왜냐하면, 시각 콘텐츠가 그들의 화면 상에 직접 보여질 수 있기 때문이다. 당연히, 투사기는 시각 콘텐츠가 외부 화면에 투사되기 때문에 투사 표시 장치에 속한다. 시각 콘텐츠를 사용자의 망막 상에 직접 투사하는 비디오 안경과 같은 일부 머리 착용 표시 장치(HMD)는 또한 투사 표시 장치로 간주될 수 있다.
오늘날, 시각 콘텐츠를 표시 장치에 제시하는 기본적인 방식은 장치의 시점으로부터 시각 콘텐츠를 참조하는 것이다. 바꾸어 말하면, 장치에 의해 표시되는 시각 콘텐츠는 사용자의 위치와 독립적이다.
휴대형 장치에서, 사용자가 표시된 콘텐츠를 왼쪽으로 또는 오른쪽으로 지울 수 있지만, 기준 시스템은 장치 자체로 남는다. 기준 시스템이 장치가 아닌 경우는 사진 또는 비디오 획득, 또는 데이터 위치가 영화 환경과 연결되는 어떤 증강 현실 태그들이다. 장치를 적당한 위치에 유지하면 데이터가 (사용자에 의해 보여진 것과 같은 환경에서 방향들에 연결된 표시된 데이터의 방향으로) 환경에 대응하여 나타나게 할 수 있다. 이것은 일반적으로 증강 현실이라고 한다.
HMD를 위해, 비디오는 그것이 사용자의 앞의 소정의 거리에 나타나도록 사용자의 망막 상에 투사될 수 있다. 장치의 광학적 파라미터들은 수용 및 잠재적 수렴이 보는 사람에게 편하게 느껴지도록 화상들을 투사할 것이다. 증강 현실 기술은 데이터를 사용자를 중심으로 한 공간에서의 방향들과 연결시킬 수 있다(예를 들어, 외눈 또는 입체 시야).
그러나, 휴대형 장치 또는 HMD를 위한 증강 현실 기술은 단지 "증강된" 요소들로 물리적, 실세계 환경의 실제 뷰를 표시할 수 있다. 주요 시각 콘텐츠는 카메라에 의해 직접 캡처된 실세계 환경으로 제한된다. 바꾸어 말하면, 휴대형 장치 또는 HMD는 그것의 카메라에 의해 캡처된 물리적 환경의 뷰를 수동적으로만 표시하고 이 물리적 환경에 걸쳐 콘텐츠를 추가할 수 있다.
표시된 데이터가 사용자의 인지 계를 나타내는 장치 및 방법이 있을 필요가 있다.
본 개시는 종래 기술의 제한들을 극복한다.
보다 구체적으로, 본 개시는 단말기용 시각 데이터를 표시하는 시각 데이터 처리 장치에 관한 것이다. 본 개시에 따르면, 이 장치는
- 상기 단말기의 사용자 상의 기준 점에 대해 단말기의 3차원 위치를 획득하도록 구성된 모듈;
- 단말기의 상기 3차원 위치에 관련하여, 기준 점의 시점으로부터 표시될 시각 데이터의 서브세트를, 가용한 시각 데이터의 세트의 함수로 결정하도록 구성된 모듈;
- 표시될 시각 데이터의 상기 서브세트를 수정하고, 수정된 시각 데이터를 전달하도록 구성된 모듈;
- 상기 단말기의 표시 모듈 상에 상기 수정된 시각 데이터를 표시하도록 구성된 모듈을 포함한다.
그러므로 본 개시는 사용자의 위치와 비교된 장치의 위치에 비추어서, 기존의 기준 시각 데이터를 사용하여, 사용자에 자기 중심 시각 데이터를 계산 또는 발생할 수 있는 시각 데이터 처리 장치를 개시한다.
그러므로, 시각 데이터의 표시는 사용자의 시야와 독립이다. 이러한 기술은 사용자의 시야를 추적할 필요가 없다.
본 개시에 따르면, 상기 기준 점은 상기 사용자의 몸통 위에 있다.
그러므로 일정한 기준 점으로 장치의 위치를 결정하는 것이 가능하다.
본 개시에 따르면, 상기 단말기의 3차원 위치는 상기 단말기와 상기 기준 점 사이의 거리, 및 상기 기준 점으로부터 상기 단말기로의 방향을 포함한다.
본 개시에 따르면, 가용한 시각 데이터의 상기 세트는 다음의 요소들:
- 운영 체제의 데스크탑;
- 애플리케이션의 아이콘;
- 애플리케이션의 사용자 인터페이스들;
- 비디오 콘텐츠
중 적어도 하나를 포함한다.
증강 현실과는 다르게, 장치는 장치의 위치에 비추어서 애플리케이션의 데이터 등을 표시한다. 보여진 데이터는 캡처 모듈에 관한 장치에 의해 인지된 것을 나타내지 않지만, 일종의 가상 환경의 부분을 나타낸다.
본 개시에 따르면, 3차원 공간에서 표시될 시각 데이터의 서브세트를 결정하는 상기 모듈은
- 적어도 하나의 기하학적 변환을 나타내는 데이터를 획득하도록 구성된 모듈;
- 상기 적어도 하나의 기하학적 변환을 표시될 시각 데이터의 상기 서브세트에 적용하도록 구성된 모듈을 포함한다.
본 개시에 따르면, 상기 적어도 하나의 기하학적 변환은 하나의 3D 공간 회전 및 하나의 3D 병진을 포한한다.
그러므로, 가상 데이터의 계산은 이들 2개의 간단한 변환들에 기초할 수 있고, 계산은 빠르다.
본 개시에 따르면, 3차원 위치를 획득하도록 구성된 모듈은 위치 센서를 포함한다.
본 개시에 따르면, 상기 위치 센서는 상기 3차원 위치를 사용자 상의 상기 기준 점 위에 장착된 적어도 하나의 아이템의 함수로 측정한다.
그러므로, 기준 점이 몸통일 때, 아이템은 예를 들어 목걸이일 수 있다. 목걸이는 그것의 위치를 장치에 보내는 디지털 기기 또는 간단한 금속 목걸이(장치는 다음에 목걸이를 검출함으로써 그것의 위치를 측정한다)일 수 있다.
본 개시에 따르면, 상기 단말기는 휴대형 장치 또는 머리 착용 장치(HMD)이다.
본 개시는 또한 단말기의 원상 복구 모듈 상에 복원될 시각 데이터를 처리하는 방법에 관한 것이다. 본 개시에 따르면, 상기 방법은
- 상기 단말기의 사용자 상의 기준 점에 대해 상기 단말기의 3차원 위치를 획득하는 단계;
- 상기 단말기의 상기 3차원 위치에 관련하여, 상기 기준 점의 시점으로부터 표시될 3차원 시각 데이터의 서브세트를, 가용한 시각 데이터의 세트의 함수로 결정하는 단계;
- 표시될 3차원 시각 데이터의 상기 서브세트를 수정하고, 수정된 시각 데이터를 전달하는 단계;
- 상기 단말기의 상기 표시 모듈 상에 상기 수정된 시각 데이터를 표시하는 단계를 포함한다.
본 개시에 따르면, 상기 기준 점은 상기 사용자의 몸통 위에 있다.
본 개시에 따르면, 가용한 시각 데이터의 상기 세트는 다음의 요소들:
- 운영 체제의 데스크탑;
- 애플리케이션의 아이콘;
- 애플리케이션의 사용자 인터페이스들;
- 비디오 콘텐츠
중 적어도 하나를 포함한다.
본 개시에 따르면, 상기 결정하는 단계는
- 적어도 하나의 기하학적 변환을 나타내는 데이터를 획득하는 단계;
- 상기 적어도 하나의 기하학적 변환을 표시될 시각 데이터의 상기 서브세트에 적용하는 단계를 포함한다.
본 개시에 따르면, 상기 적어도 하나의 기하학적 변환은 하나의 3D 공간 회전 및 하나의 3D 병진을 포함한다.
또한, 본 개시는 표시 장치의 제한된 시야를 사용자의 잠재적 시야로 확장하고, 제시된 콘텐츠가 장치에 연결되지 않지만 사용자에 연결되는 뷰/상호작용 패러다임을 제공한다. 보다 정확하게는 표시된 콘텐츠는 그 자신의 자기 중심 좌표계에서 사용자의 공간의 인지를 나타낸다.
따라서, 본 원리들은 또한 컴퓨터 또는 데이터 프로세서에 의해 실행될 수 있는 프로그램을 또한 제공하고, 이 프로그램은 위에 언급된 것과 같은 방법의 단계들의 실행을 제어하는 명령어들을 포함한다.
이 프로그램은 어떤 프로그래밍 언어를 사용하고, 소스 코드, 오브젝트 코드 또는 부분적으로 컴파일되는 형태와 같은 소스 코드와 오브젝트 코드 간의 중간 코드, 또는 기타 바람직한 형태로 될 수 있다.
본 원리들은 또한 데이터 프로세서에 의해 판독가능하고, 위에 언급된 것과 같은 프로그램의 명령어들을 포함하는 매체를 제공한다.
정보 캐리어는 프로그램을 저장할 수 있는 수 있는 실체 또는 장치일 수 있다. 예를 들어, 매체는 ROM, 예를 들어 CD ROM 또는 미세전자 회로와 같은 저장 매체, 또는 디스켓(플로피 디스켓) 또는 하드 드라이브와 같은 자기 기록 매체를 포함할 수 있다.
한편, 정보 캐리어는 전기적 또는 광학적 케이블을 통해, 무선에 의해 또는 다른 수단에 의해 이송될 수 있는 전기적 또는 광학적 신호와 같이 전송 가능한 캐리어일 수 있다. 본 원리들에 따른 프로그램은 특히 인터넷과 같은 네트워크를 통해 다운로드될 수 있다.
대안적으로, 정보 캐리어는 프로그램이 포함된 집적 회로일 수 있고, 이 회로는 해당 프로세스를 수행하는 데 적응되거나 실행하는 데 사용된다.
한 실시예에 따르면, 본 원리들은 소프트웨어 및/또는 하드웨어를 사용하여 구현된다. 이 맥락에서, 용어 "모듈"은 소프트웨어 컴포넌트는 물론 하드웨어 컴포넌트 또는 하드웨어 컴포넌트와 소프트웨어 컴포넌트의 세트에 본 문서에서 대응할 수 있다.
소프트웨어 컴포넌트는 하나 이상의 프로그램, 프로그램의 하나 이상의 서브 프로그램, 또는 보다 일반적으로 모듈을 위해 아래에 설명되는 것에 따라, 기능 또는 기능들의 세트를 구현할 수 있는 프로그램의 어떤 요소 또는 소프트웨어이다. 이러한 소프트웨어 컴포넌트는 물리적 실체(TV, 프로젝터, 단말기, 서버, 게이트웨이, 라우터 등)의 프로세서에 의해 실행되고 물리적 실체(메모리, 저장 매체, 버스 통신, e-카드 I/O, 사용자 인터페이스 등)의 하드웨어 리소스에 액세스할 가능성이 있다.
유사하게, 하드웨어 컴포넌트는 모듈을 위해 아래에 설명된 것에 따라, 기능 또는 기능들의 세트를 구현할 수 있는 하드웨어의 어떤 컴포넌트(또는 하드웨어)이다. 이것은 실행 프로세서를 위한 프로그래머블 하드웨어 또는 소프트웨어와 통합된 컴포넌트, 예를 들어, 집적 회로, 스마트 카드, 메모리 카드, 펌웨어의 실행을 위한 전자 카드 등일 수 있다.
위에 설명된 시스템의 각 컴포넌트는 그 자신의 소프트웨어 모듈을 제공한다. 위에 설명된 다양한 실시예들은 본 원리들에 따른 구현을 위해 함께 조합될 수 있다.
제안된 방법이 청구범위에 의해 정의된 것과 같은 보호 범위를 제한하지 않고 첨부 도면과 관련하여 예로서 다음에 설명된다.
도 1은 장치의 주요 기능 모듈들을 도시한다.
도 2는 좌표계들의 정의를 도시한다.
도 3은 위치 센서를 배치한 예를 도시한다.
도 4는 몸통 좌표계에서 점 C를 중심으로 한 자기 중심 콘텐츠 구를 도시한다.
도 5는 점 C를 중심으로 한 구 좌표를 도시한다.
도 6은 시각 데이터 처리 방법의 주요 단계들을 도시한다.
도 7은 본 개시에 따른 시각 데이터 처리 장치의 실시예들 도시한다.
도 1은 장치의 주요 기능 모듈들을 도시한다.
도 2는 좌표계들의 정의를 도시한다.
도 3은 위치 센서를 배치한 예를 도시한다.
도 4는 몸통 좌표계에서 점 C를 중심으로 한 자기 중심 콘텐츠 구를 도시한다.
도 5는 점 C를 중심으로 한 구 좌표를 도시한다.
도 6은 시각 데이터 처리 방법의 주요 단계들을 도시한다.
도 7은 본 개시에 따른 시각 데이터 처리 장치의 실시예들 도시한다.
1 원리들
실제 생활에서, 사용자들은 그들 주위에 물체들 또는 화면들이 있는 것에 익숙하고, 그들이 물체들 및 화면들이 있다는 것을 아는 주어진 순간에는 이들을 볼수 없지만 그들이 자신의 위치/자세를 수정한다면 그들은 이들 물체(예를 들어, TV 세트 또는 벽에 걸린 시계)를 볼 수 있다. 공간의 그들의 인지는 실제적인 것이고, 과거 및 현재의 시각적 및 움직임 정보로부터 비롯된다. 이것은 그들의 자기 중심 공간 인지에 뿐만 아니라 그들의 환경(타인 중심) 공간 인지에 대해 유효하다.
본 개시는 정보가 애플리케이션들을 구성하거나 사용하고 콘텐츠를 보기 위해 그들의 자기 중심 및 인접 공간에서 쉽게 가용하도록 휴대형 또는 안경류 장치들에 의해 표시되는 시각적 정보의 구조를 개선한다. 이것은 표시 표면에 연결된 애플리케이션 아이콘들 및 윈도우들의 고전적인 '데스트탑' 패러다임을 교체하는 어플이케이션들에 액세스하는데 있어서 상호작용의 자연스러움 및 효율의 개선을 가능하게 한다.
한 예의 실시예는 애플리케이션 아이콘들 또는 실행하는 어플이케이션들을 영구적으로 '저장'하기 위해 어깨 위의 방향들(예를 들어 사람의 오른쪽 방향)을 이용하는 것을 가능하게 한다. 머리를 (몸/자기 중심 좌표계에서) 오른쪽으로 돌리면(또는 휴대형 화면을 움직이면) '저장된' 애플리케이션은 사용자의 사야에서 어깨 위에 있게 될 것이다. 이것은 간단한 시계, 원격의 사람/위치를 보이는 스카이프(Skype) 윈도우, 이메일 아이콘, 관심의 주요 콘텐츠에 관련된 사이드 윈도우(예를 들어, 게임에서의 지도)일 수 있다. 어깨 위의 이 콘텐츠는 사용자들이 자연적인 실제 보는 것 또는 관심의 주요 어플이케이션들이 실행하는 자유 시야를 제공하는 그들 앞에서 볼 때 보이지 않는다. 그러나, 사용자들은 그들의 어깨 위의 애플리케이션 또는 아이콘이 가용하고 머리를 돌리면(또는 휴대형 화면을 움직이면) 그것을 보기에 충분하다는 것을 안다. 이 애플리케이션은 동료 애플리케이션으로서, 그들 옆에 존재하는 것으로 느껴진다. 그러므로 시각 데이터(즉, 사용자에게 보여지는 데이터, 예를 들어, 아이콘, 윈도우, 데스크탑 등)가 사용자의 위치에 적응된다.
상기 예의 문장은 안경류에 대한 사용자의 몸의 위치를 추적하는 것이 효과를 실현하기에 충분할 수 있는 비디오 안경에 대해 유효하다. 스마트폰 또는 태블릿에서, 장치를 어깨 위의 방향으로 이동시키고 그것을 본다면 센서들이 이용되는 경우에 동일한 효과가 얻어질 수 있다. 양자의 경우에, 사용자에 대한 콘텐츠를 갱신하는 것은 애플리케이션 아이콘들 또는 애플리케이션 콘텐츠가 사용자의 자기 중심 환경에서 안정하게 보이게 하는 방식이다.
그러므로 기존의 기본 시각 데이터를 사용하여, 사용자에게 자기 중심 시각 데이터를 계산 또는 발생하는 방법 및 장치가 제공된다. 기존의 기본 시각 데이터는 예를 들어 운영 체제의 데스크탑을 나타낼 수 있다. 기존의 기본 시각 데이터는 예를 들어 장치 상에서 실행되는 애플리케이션을 나타낼 수 있다. 기존의 시각 데이터는 증강 현실 시스템 내의 기존의 실제 물체에 대해 나오는 데이터와 동일하지 않다는 것을 주목하는 것이 중요하다. 기존의 시각 데이터는 사용자가 실제 생활에서 보는 것에 정보를 추가하지 않는다. 본 개시에 따르면, 상기 언급된 필요성은 단말기용 시각 데이터를 표시하는 시각 데이터 처리 장치에 의해 해결되고, 이 시각 데이터 처리 장치는:
- 단말기의 사용자 상의 기준 점에 대해 단말기의 3차원 위치를 획득하도록 구성된 모듈(11);
- 단말기의 3차원 위치에 관련하여, 기준 점의 시점으로부터 표시될 3차원 시각 데이터의 서브세트를, 가용한 시각 데이터의 세트의 함수로 결정하도록 구성된 모듈(12);
- 표시될 3차원 시각 데이터의 서브세트를 수정하고, 수정된 시각 데이터를 전달하도록 구성된 모듈(13);
- 단말기의 원상 복구 모듈 상에 수정된 시각 데이터를 표시하도록 구성된 모듈(14)을 포함한다.
3차원 위치를 획득하는 모듈(11)은 사용자의 자기 중심 좌표계에서의 사용자의 몸 상의 기준 점에 대해 단말기(표시 장치)의 3차원 위치를 캡처 또는 평가할 수 있다. 자기 중심 좌표계는 관찰자(사용자)를 중심으로 하는 좌표계이다. 3차원 위치는 2가지의 정보를 나타내는데; 하나는 기준 점 간의 거리이고; 다른 하나는 기준 부분으로부터 장치로의 방향이다.
3차원 위치를 획득하는 모듈(11)은 몸 움직임 및 활동 인식을 위한 전용 처리 용량을 갖는 웨어러블 센서와 같은 임의의 움직임 캡처 장치일 수 있다.
표시될 3차원 시각 데이터의 서브세트를 결정하는 모듈(12)은 기준 점에 대한 단말기의 3차원 위치에 따라, 가용한 시각 데이터의 세트로부터 표시될 시각 데이터의 서브세트를 선택할 수 있다. 이 가용한 시각 데이터는 저장 장치에 저장되거나 네트워크로부터 수신된 어떤 기존의 영상들일 수 있다. 그러므로, 표시될 영상은 단말기가 사용자 상의 기준 점에 대해 이동할 때 변화될 수 있다.
3차원 시각 데이터의 서브세트를 수정하는 모듈(13)은 시각 데이터 자기 중심 시각 데이터의 서브세트에 기초하여 2차원 시각 데이터(또는 3차원 시각 데이터)를 계산할 수 있다. 2차원 시각 데이터 또는 3차원 시각 데이터는 소위 수정된 시각 데이터이다. 이 수정은 예를 들어, 시각 데이터의 서브세트를 재배열, 재형성, 및/또는 리사이징하는 것을 포함한다.
한 실시예에 따르면, 기준 점은 사용자의 몸통 위에 있다. 몸통은 머리와 비교되는 기준 점을 위한 좋은 부분이다. 사용자가 본 개시의 처리 장치를 포함하는 휴대형 표시 장치(단말기)를 조작할 때, 그의 머리는 휴대형 장치의 움직임을 따라 이동할 수 있고, 머리에 대한 장치의 3차원 위치는 변화될 수 없다. HMD에서, 머리에 대한 그것의 상대적 위치는 고정된다. 표시된 시각 콘텐츠는 변화되지 않은 채로 남는다. 휴대형 표시 장치 및 HMD 둘 다에서, 사용자의 몸통에 대한 그들의 위치는 그들의 움직임에 따라 변화한다. 그러므로 데이터 처리 장치는 새로운 자기 중심 시각 데이터를 계산할 수 있다.
다른 실시예에 따르면, 가용한 시각 데이터는 다음의 요소들 중 적어도 하나를 포함한다:
- 운영 체체의 데스크탑;
- 애플리케이션의 아이콘; 및
- 애플리케이션의 사용자 인터페이스.
그러므로 데스크탑의 시야는 사용자의 잠재적 시야로 확장된다. 운영 체제의 데스크탑 또는 애플리케이션의 사용자 인터페이스는 확대된다. 그 외에, 데스크탑 상의 내비게이션 또는 사용자 인터페이스는 보다 쉽고 보다 효율적으로 된다.
다른 실시예에 따르면, 결정하는 모듈은
- 적어도 하나의 기하학적 변환을 나타내는 데이터를 획득하도록 구성된 모듈(131);
- 표시될 시각 데이터의 서브세트로의 적어도 하나의 기하학적 변환을 적용하도록 구성된 모듈(132)를 더 포함한다.
기하학적 변환은 시각 데이터의 서브세트에 대해 수행된다. 변환된 기본 시각 데이터는 사용자를 위한 자기 중심 시각 데이터이다.
다른 실시예에 따르면, 적어도 하나의 기하학적 변환 매트릭스는 3D 공간 회전 및 3D 병진 파라미터들을 포함한다. 그러므로, 기하학적 변환 매트릭스는 단지 3D 회전 및 3D 병진을 조합하는 단단한 물체들에 대한 동차(homogeneous) 변환에 의해 모델링된다. 다른 실시예에 따르면, 적어도 하나의 기하학적 변환을 나타내는 데이터를 획득하는 모듈은 위치 센서(31, 32, 33)를 포함한다. 다른 실시예에 따르면, 위치 센서(31)는 사용자 상의 기준 점 위에 장착된 적어도 하나의 아이템(32, 33)의 함수로서 3차원 위치를 측정한다. 위치 센서가 기준 아이템을 검출하는 것은 더 쉽다. 그러므로, 아이템은 상대적 위치의 측정을 가능하게 한다.
다른 실시예에 따르면, 상기 언급된 단말기는 휴대형 장치 또는 머리 착용 장치(HMD)이다. 그러므로, 휴대형 장치들 또는 HMD들은 사용자들에 자기 중심 콘텐츠를 표시할 수 있다.
다른 양태에서, 본 개시는 단말기의 원상 복구 모듈 상에 복원될 시각 데이터를 처리하는 방법을 제공한다. 복원된 시각 데이터에 의해 나타나는 시각 콘텐츠는 사용자의 자기 중심 콘텐츠에 대응한다. 이 방법은
- 단말기의 사용자 상의 기준 점에 대해 단말기의 3차원 위치를 획득하는 단계(61);
- 단말기의 3차원 위치에 관련하여, 기준 점의 시점으로부터 표시될 3차원 시각 데이터의 서브세트를, 가용한 시각 데이터의 세트의 함수로 결정하는 단계(62);
- 표시될 3차원 시각 데이터의 서브세트를 수정하고, 수정된 시각 데이터를 전달하는 단계(63);
- 단말기의 원상 복구 모듈 상에 수정된 시각 데이터를 표시하는 단계(64)
를 포함한다.
3차원 위치를 획득하는 단계(61)는 단말기에 포함된 위치 캡처링 장치에 의해 실현될 수 있다. 위치 캡처링 장치는 사용자 상의 기준 점에 대한 단말기의 3차원 위치를 캡처 또는 평가할 수 있다. 기준 점은 사용자의 머리 또는 몸통 위에 놓일 수 있다.
표시될 3차원 시각 데이터의 서브세트를 결정하는 단계(62)는 사용자의 자기 중심 좌표에서 표시될 시각 데이터를 선택할 수 있다. 수정하는 단계는 시각 데이터의 서브세트에 대한 어떤 유형의 조작일 수 있다. 수정하는 단계는 시각 데이터의 결정된 서브세트를 수정함으로써 자기 중심 시각 데이터를 계산할 수 있다. 표시하는 단계는 단말기 상에 2차원 자기 중심 데이터를 표시할 수 있다.
다른 실시예에 따르면, 가용한 시각 데이터는 다음의 요소들 중 적어도 하나를 포함한다:
- 운영 체체의 데스크탑;
- 애플리케이션의 아이콘; 및
- 애플리케이션의 사용자 인터페이스들.
다른 실시예에 따르면, 결정하는 단계는
- 적어도 하나의 기하학적 변환을 나타내는 데이터를 획득하는 단계(631);
- 표시될 시각 데이터의 서브세트로의 적어도 하나의 기하학적 변환을 적용하는 단계(632)를 포함한다.
다른 실시예에 따르면, 적어도 하나의 기하학적 변한은 하나의 3D 공간 회전 및 하나의 3D 병진을 포함한다.
다른 양태에서, 본 개시는 통신 네트워크로부터 다운로드가능하고/하거나 컴퓨터 판독 가능 캐리어에 저장되고/되거나 마이크로프로세서에 의해 실행가능한 컴퓨터 프로그램 제품으로서, 그것이 컴퓨터 상에서 실행될 때, 시각 데이터를 처리하는 이전의 방법의 어느 것에 따라 시각 데이터를 처리하는 방법의 실행을 위한 프로그램 코드 명령어들을 포함하는 특징으로 하는 컴퓨터 프로그램 제품을 제공한다.
2 실시예들의 설명
본 실시예에서, 시각 데이터를 처리하기 위한 다양한 해결책들이 설명된다. 이들 실시예에서, 시각 데이터는 표시할 영상이다. 이것은 현재의 개시의 범위에서 벗어나지 않고서 다른 종류의 시각 데이터일 수 있다는 것이 이해된다. 또한, 본 실시예에서, 표시 장치는 스마트폰 또는 태블릿과 같은 휴대용 표시 장치이다.
변형의 제1 세트는 가상 데이터(표시할 영상)가 사용자의 기준 점의 위치에 비추어서 얻어지는 방식을 간략히 설명한다. 다음에, 제1 변형이 상세히 설명된다.
보다 구체적으로, 시각 데이터를 처리하기 위해, 제1 단계는 사용자의 몽통에 대해 단말기의 3차원 위치를 획득하는 것이다. 다음에 시각 데이터는 이 위치에 기하학적 변환들의 세트를 적용함으로써 처리된다. 본 실시예에서, 이들 변환은 매트릭스 계산들이다(여러 개의 매트릭스가 채용될 수 있다). 다음의 단계는 변환된 위치에 비추어서 시각 데이터를 수정하는 것이다. 시각 데이터의 수정은 시각 데이터의 가용한 세트(예를 들어 대형 영상)에서, 표시할 시각 데이터의 서브세트(소형 영상)를 식별하는 것으로 이루어질 수 있다. 최종 단계는 단말기의 시각 데이터(소형 영상)를 단말기의 표시 모듈에 전송하는 것이다. 상항에 따라, 검정(calibration) 방법이 또한 표시된 시각 콘텐츠에 사용자의 인지를 적응시키기 위해 채용될 수 있다. 사용자들 간의 콘텐츠 공유 및 상호작용이 또한 개시된다.
2.1 시각 데이터의 처리의 변형들
실시예의 제1 변형은 다음을 행함으로써 자기 중심 좌표계에 표시된 영상 좌표계를 연결하는 것으로 이루어진다:
1) 사용자의 몸통에 대한 표시 장치의 공간에서의 위치(3D 위치)를 획득함(캡처 및/또는 평가함에 의해).
(캡처 또는 평가의 결과는 기하학적 변환 TD: gTD이고 여기서 D는 "표시"를 나타내고, T는 "몸통"을 나타낸다)
2) 좌표 및 2D 왜곡이 다음에 의존하는 표시 장치 상의 영상을 계산함:
i. 본 실시예에서 영상인 그의 자기 중심 좌표계("자기 중심 콘텐츠")에서의 사용자에 대한 방향들에 표시되기로 의도된 콘텐츠;
ii. 기하학적 변환 TD: gTD, 여기서 D는 "표시"를 나타내고, T는 "몸통"을 나타낸다;
제2 변형은 다음을 행함으로써 사용자의 자기 중심 좌표계에 표시된 영상 좌표계를 연결하는 것으로 이루어진다:
1) 사용자의 몸/몸통에 대한 사용자의 머리의 공간에서의 위치(3D 위치)를 얻음(캡처 및/또는 평가함에 의해);
(캡처 또는 평가의 결과는 기하학적 변환 TH: gTH이고, 여기서 T는 "몸통"을 나타내고 H는 "머리"를 나타낸다)
2) 사용자의 머리에 대한 표시 장치의 공간에서의 위치(3D 위치)를 얻음(캡처 및/또는 평가함에 의해);
(캡처 또는 평가의 결과는 기하학적 변환 HD: gHD이고, 여기서 D는 "표시"를 나타내고 H는 "머리"를 나타낸다)
3) 좌표 및 2D 왜곡이 다음에 의존하는 표시 장치 상의 영상을 계산함:
i. 본 실시예에서 영상인 그의 자기 중심 좌표계("자기 중심 콘텐츠")에서의 사용자에 대한 방향들에 표시되기로 의도된 콘텐츠;
ii. 기하학적 변환 TH gTH와 기하학적 변환 HD gHD의 조합;
제1 해결책과 비교하여, 제2 해결책은 목 구부리기(목을 앞으로 굽히는 것)와 같은 일부 구성들에서의 상대적 방향들을 수정하는, 머리 위치의 지식을 추가한다.
제3 해결책은 상대적 방향들에 영향을 주는 몸 자세들(예를 들어, 베게 위의 머리, 보다 키가 크거나 작은 사람과 말하기) 또는 몸 움직임(예를 들어, 걷기, 뛰기)을 고려할 필요가 있을 수 있다.
기준 좌표계는 예를 들어, 도 3에 도시한 것과 같은 몸통 좌표계(OT MxT MyT MzT)이다. 머리 및 표시 장치 좌표계가 역시 도시된다. 표시 좌표계는 (OD MxD MyD MzD)이다. 사용자는 몸통 또는 머리의 단단한 부분들에 부착된 다양한 형태의 위치 센서들을 착용할 수 있고 유사한 센서가 도 4에 도시한 바와 같이 휴대형 또는 착용 디스플레이에 내장될 수 있다.
2.2 제1 변형에 관한 상세한 설명
이 예의 변형은 gTD가 단지 3D 회전 및 3D 병진의 조합에 의해 모델링될 수 있다는 의미에서 인지된 자기 중심 공간의 왜곡이 없다는 것을 가정한다. 보다 일반적으로 단단한 물체들에 대한 동차 변환에 의해 3D 공간에서의 회전 병진, 스케일링, 전단 및 투사 투영을 포함하는 것이 사용될 수 있다. 기준 좌표계(여기서 몸통 좌표계 (OT MxT MyT MzT))에서, 표시 장치는 기하학적 변환 gTD(이 예에서 3D 회전 및 3D 병진)에 의해 묘사되는 방식으로 이동 및 회전하고, 표시 장치에 연결된 좌표계 (OD MxD MyD MzD)에서의 점의 위치 XD,YD,ZD는 다음의 식들에 의해 주어지고 여기서 XT,YT,ZT 는 기준 좌표계 (OT MxT MyT MzT)에서의 이 동일한 점의 좌표이고;
여기서 
는 3D 회전 매트릭스이고 
는 병진을 나타낸다.
파라미터들 
(3D 공간 회전 매트릭스) 및 
(병진 벡터)를 이용한 상기 gTD 변환은 자기 중심 좌표계(몸통 기준)로부터 표시 좌표계로의 자기 중심 콘텐츠의 전환을 가능하게 한다.
표시 장치에서, 본 실시예의 방법은 도 5에 도시한 것과 같은 구 S(중심 C, 반경 R)를 정의하는 것으로 이루어지는데, 자기 중심 콘텐츠 정보는 예를 들어 화소 격자(영상) 
로 표현가능하고 여기서 각 화소는 몸통 좌표계 (
)에서 좌표 
의 점 C 자체를 중심으로 하는 구 좌표계에서 편각 
및 방위각 
에 대해 정의된다. 구 S는 이 장치를 갖는 사용자의 도달가능한 작업 공간 내에서 정의된다.
HMD(예를 들어 씨-스루(see-thru) 안경)를 위한 전술한 설명된 구는 포인팅/상호작용이 다름에 따라 다른 특성들을 가질 것이지만, 설명된 원리 및 형식은 유사하게 남는다.
좌표 (i,j)의 표시 화소 P의 세기 또는 색을 계산하기 위해, 몸통 좌표계에서의 이 화소의 위치가 먼저 계산되고, 첫째는 표시 좌표에 이 화소를 배치하고, 둘째는 역변환 gDT=(gTD)-1을 적용하는 것이다.
다음에 점 P의 구 좌표(점 C를 중심으로 함)는
에 의해 계산되고, 휴대형 장치의 경우에, 
(예를 들어 
)이면, 표시 화소 P는 좌표 
에서의 자기 중심 콘텐츠 화소의 세기 및 색으로 주어진다.
화소 P와 구 S (예를 들어 |(
|≥5%) 사이의 너무 큰 거리는 구 S가 사용자의 작업 공간에 대해 잘 정의되는 경우에 일어나지 않을 것이다. 그러나, 이 경우에, 구 S 상으로의 화소 P의 투사는 각각 한쪽 눈 뷰 또는 입체의 경우에 외눈 또는 왼쪽 눈과 오른 쪽 눈의 방향으로 수행되어야 한다. 몸통 좌표계에서의 머리 위치를 아는 것이 다음에 필요하다는 것이 주목되어야 한다(gTH 기하학적 변환).
2.3 제1 변형에서의 인지된 공간의 잠재적 왜곡을 관리
공간에서의 방향들의 인지는 복잡한 시각적 및 정신운동적 작업이다. 인지된 방향들과 자기 중심 콘텐츠를 관련시키는 것은 어떤 경우들에서는 사용자에 대한 공간 내에 고정된 위치에 배치된 구를 표시 표면으로 사용하는 것보다 복잡할 수 있다. 예를 들어 눈이나 머리를 움직이면 나안에서 뿐만 아니라 교정 안경을 착용할 때 보다 일정하게 방향들의 인지가 수정될 수 있는데, 왜냐하면 이들은 광선들을 편이시키고 그래서 물체 공간과 망막 상의 그것의 투사 간의 관계를 왜곡시키기 때문이다.
인지된 공간의 잠재적 왜곡을 다루기 위해서, 상기 구 표면을 자기 중심 콘텐츠를 나타내지만 자기 중심 콘텐츠가 정의되는 (
) 공간에서의 특정한 모핑(영상 모핑)을 적용하게 유지하는 것이 해결책이다.
상기 식: 
다음에 
로 되고, 여기서
이다.
또한, 인지된 공간의 잠재적 왜곡을 관리하기 위해, 다음이 또한 고려될 수 있다:
- 어떤 종속 변환들이 예를 들어 몸통 센서로부터 몸통 기준 점으로의 확고한 병진을 고려하거나, 표시 좌표로부터 화소들에서의 영상 좌표계로 변환하기 위해 사용될 수 있다.
- 기하학적 변환들은 사용자의 움직임에 따라 시간에 의존한다.
- 교정 안경 배율에 의존하는 시야 조정/스케일링이 필요할 수 있다.
- 기하학적 변환 HD: gHD는 휴대형 장치가 하나 또는 몇 개의 프론트 카메라 및 3D 머리 자세 평가 기능을 갖는 경우에 영상 분석으로부터 평가될 수 있다.
2.4 검정
기하학적 변환들은 어떤 경우들에서 검정을 요구할 수 있고 이 검정은 각 사용자가 그것의 상대적(자기 중심) 방향들의 다른 인지를 갖기 때문에 사용자 의존적일 수 있다. 몇 가지의 검정 방법이 상황의 함수로서 사용될 수 있다. 이 검정의 목적은 사용자에 맞는 기하학적 변환의 세트를 획득하는 것이다. 여기에 제시된 특정한 실시예에서, 검정은 표시할 시각 데이터를 처리할 때 나중에 사용되는 변환 매트릭스들을 획득하는 것이 목적이다.
검정 방법 1:
이 제1 검정 방법에서, 자기 중심 콘텐츠는 평균 또는 표준 사용자에 대해 발생된 디폴트 기하학적 변환들로 또는 일반적인 표시 기하 구조(예를 들어, 구)를 가정하여 사용자에게 표시된다. 다음에, 검정 과정은 전용 위젯들(구 연장, 병진, 회전)에 대한 사용자 액션들에 따라 기하학적 변환들 TD 또는 TH & HD를 갱신한다. 위젯은 사용자의 인지된 콘텐츠를 예상된 콘텐츠와 비교하고 그에 따라 콘텐츠 변환들을 갱신한다.
검정 방법 2:
이 제2 검정 방법에서, 자기 중심 콘텐츠는 평균 또는 표준 사용자에 대해 발생된 디폴트 기하학적 변환들로 또는 일반적인 표시 기하 구조(예를 들어, 구)를 가정하여 사용자에게 표시된다. 다음에, 검정 과정은 예상된 자기 중심 콘텐츠 기하구조와 비교한 표시 장치들의 에러들을 식별하는, 시스템 분석의 정상 사용에서의 사용자 상호작용들에 따라 기하학적 변환들 TD 또는 TH & HD를 갱신한다.
검정 방법 3:
이 제3 검정 방법에서, 표시된 영상 좌표계와 사용자의 자기 중심 좌표계 간의 관계의 검정은 다음의 단계들에 의해 행해진다:
1) 관심 점(예를 들어, 크로스 또는 도트)을 표시된 영상 위에 자기 중심 콘텐츠로서 배치 및 이동시킴;
2) 사용자에게 관심 점을 시각적으로(그리고 휴대형 장치들에서는 수동으로) 따르라고 요청함(사용자는 관심 점에 따라 그의 자세를 수정하여야 할 것이다);
3) 다음을 함으로써 여러 예들에서 사용자 자세를 캡처함:
a. 사용자의 몸/몸통에 연결된 좌표계에 대한 표시된 영상에 연결된 좌표계의 위치를 캡처함(기하학적 변환 TD); 또는
사용자의 머리에 연결된 좌표계에 대한 표시된 영상에 연결된 좌표계의 위치를 캡처함(기하학적 변환 HD);
b. 사용자의 몸/몸통에 연결된 좌표계에 대한 머리 좌표계의 위치를 캡처함(기하학적 변환 TH).
4) 캡처된 -영상 대 몸/몸통- 위치에 따라 또는 캡처된-영상 대 머리 대 몸/몸통- 위치에 따라 사용자(그의 자기 중심 좌표계에서)에 대한 방향들을 검정:
a. 검정은 샘플된 자세 캡처들(모델 피팅)을 일반화하는 모델을 결정하고 반전 모델을 계산하는 것으로 이루어질 수 있다.
자기 중심 좌표계에서 후속하는 표시된 영상들의 안정화는 다음에 이 검정에 기초한다.
2.5 상호작용
자기 중심 콘텐츠를 조작하는 것은 예를 들어, 그와 마주보고 그것을 사용하기 위해 "어깨 위에서" 저장된 애플리케이션(예를 들어, 스카이프 애플리케이션)을 이동시키기 위해 사용자에게 상당히 바람직하다. 휴대형 장치들은 자체적으로 장치들은 포인팅함으로써 될 수 있고 터치 기능들은 예를 들어 자기 중심 콘텐츠 환경 내의 드래그-드롭 액션을 트리거할 수 있다. 또한, 손등에 단단하게 고정된 또는 링의 형태로 되어 있는 웨어러블 트래킹 장치들은 자기 중심 환경에서 콘텐츠의 부분들을 지정하거나 포인팅하는 것을 가능하게 할 수 있다. 손 트래킹 영상 분석이 사용자가 자기 중심 카메라(예를 들어 안경에 내장된 것)을 착용하는 경우에 역시 사용될 수 있다.
상기와 같은 유사한 변환들이 표시 장치 상에 실제로 표시되거나 되지 않는, 자기 중심 콘텐츠와의 포인팅 장치 및 손/손가락의 관계를 식별하기 위해 사용될 수 있다. 음성 분석 또는 터치 악세사리들이 액션의 시작과 끝을 식별하는 상호작용을 지원할 수 있다.
상호작용은 역시 자기 중심 환경에서 콘텐츠의 부분을 선택하는 것과 예를 들어 그것을 포인트함으로써 또는 명명함으로써, 타인 중심 환경(방 안)에서 장비, 예를 들어, 실제 장치(예를 들어, TV 화면 또는 모니터) 상에서 그것을 보내는 것으로 역시 이루어질 수 있다. 이를 위해, 타인 중심 환경의 특성들(기하구조, 장치명 및 어드레스)은 자기 중심 시스템에 알려진 것이다.
2.6 공유
자기 중심 콘텐츠는 사용자 U1에 본질적으로 적절하고 초기에 사용자 U1은 단지 그것을 보는 사람이다. 그러나, 사용자의 U1의 자기 중심 콘텐츠를 보는 것에 대한 어떤(아마도 일부) 권리가 다른 사용자 U2에 주어질 수 있다. 그러므로 사용자 U2는 사용자 U1이 무엇을 보고/하는지를 이해할 수 있다. 사용자 U2는 또한 이 U1 자기 중심 콘텐츠와 잠재적으로 공유/상호작용할 수 있다.
이 공유 기능을 실현하기 위한 해결책은 사용자 U2의 표시된 영상 좌표계를 다음을 행함으로써 사용자 U1의 자기 중심 좌표에 연결하는 것이다:
1) 사용자 U1의 몸/몸통에 대한 사용자 U2의 몸/몸통의 공간에서의 위치를 획득함(캡처/평가함), (기하학적 변환 T1T2: gT1T2);
2) 사용자 U2의 몸/몸통에 대한 사용자 U2의 상대적 표시 장치의 공간에서의 위치를 얻음(캡처/평가함), (기하학적 변환 T2D2: g_T2D2);
3) 사용자 U1 "자기 중심 콘텐츠"(의 허가된 부분들)의 데이터 및 기하구조를 사용자 U2 계로 전환함;
4) 그 영상의 좌표 및 2D 왜곡이 다음에 의존하는, 사용자 U2의 표시 장치 상의 영상을 계산함:
i. 그의 자기 중심 좌표계("자기 중심 콘텐츠")에서의 사용자 U1에 대한 방향들로 표시되고자 의도되는 콘텐츠,
ii. 기하학적 변환 T1T2: gT1T2 및 기하학적 변환 T1D2: gT1D2;
다른 사용자의 자기 중심 환경에서 한 사용자의 자기 중심 콘텐츠를 재목적화하는 이 해결책으로, 사용자 U2는 사용자 U1의 자기 중심 콘텐츠를 보고 잠재적으로 그것을 조작할 수 있다.
사용자 U1 및 사용자 U2가 콘텐츠를 공유할 때 그들은 양쪽의 자기 중심 환경들과 연결되어 공유된 콘텐츠를 가질 수 있고, 예를 들어, 그들이 옆에 앉아 있으면, 공통 비디오 위치가 양쪽의 자기 중심 환경들(몸통/머리 센서들)에 의존하는 위치의 공간에 "배치"될 수 있다. 이 해결책을 2명보다 많은 사용자로 스케일한다. 다수의 시나리오가 자기 중심 장치들을 사용하여 공통 콘텐츠를 보는 이 양상에서 연구될 수 있다.
5.3 관련 장치들
도 7은 본 개시에 따른 시각 데이터 처리 장치의 실시예를 도시한다.
이러한 장치는 버퍼 메모리로 구성된 메모리(71), 예를 들어 마이크로프로세서를 구비하고 본 개시에 따른 렌더딩 방법의 적어도 소정의 단계들을 구현하는 컴퓨터 프로그램(73)에 의해 구동되는, 처리 유닛(72)을 갖는다.
초기화 시에, 컴퓨터 프로그램의 코드 명령어들은 예들 들어 RAM 내로 로드되고 다음에 처리 유닛의 프로세서에 의해 실행된다. 처리 유닛은 획득하도록 구성된 모듈(11)에 의해 얻어진 시각 데이터 3차원 위치를 입력한다. 처리 유닛(72)의 마이크로프로세서는 컴퓨터 프로그램(73)의 명령어들에 따라 결정(62), 수정(63), 및 표시(64)하는 단계들을 구현하여, 표시될 가상 데이터의 서브세트를 결정 및 수정하고, 마지막으로 가상 데이터를 복원한다.
그러므로, 가상 데이터의 서브세트를 결정하도록 구성된 모듈(12), 가상 데이터의 세트를 수정하도록 구성된 모듈(13) 및 가상 데이터를 표시하도록 구성된 모듈(14)이 대응하는 컴퓨터 프로그램들(73)로 하나의 처리 유닛(72) 및 메모리(71)에 의해 모두 실현될 수 있다.
다른 구현에서, 장치는 전용 처리 유닛(72) 및/또는 메모리 리소스(71)를 포함하는 전용 장치이다. 이러한 경우에, 가상 데이터의 서브세트를 결정하도록 구성된 모듈(12), 가상 데이터의 세트를 수정하도록 구성된 모듈(13) 및 가상 데이터를 표시하도록 구성된 모듈(14)은 각각 전용된 마이크로프로세서(72) 및/또는 메모리(71)를 갖는다.
앞서 설명된 장치는 광범위하게 다양한 표시 장치들에 연결 또는 통합될 수 있다. 이들 표시 유형들 중에서, 다음이 인용될 수 있다:
- 휴대형: 디스플레이는 휴대형 디스플레이(스마트폰 또는 태블릿)일 수 있다. 사용자는 디스플레이들 팔 길이 내에 이동시켜서 그의 자기 중심 환경을 탐색한다. "자기 중심 콘텐츠"는 스마트폰 또는 태블릿 프레임을 통해 보이는 것처럼, 자기 중심 환경에서 정적으로 나타도록 디스플레이의 영상 표면 상으로 렌더링될 필요가 있다. 화소들에의 콘텐츠 왜곡 및 맵핑은 "자기 중심 콘텐츠" 표면으로부터 디스플레이의 영상화 표면까지의 이 투사에서 일어날 것이다.
- 안경: 디스플레이는 사용자의 앞의 가상 영상을 투사하는 비디오 안경으로 이루어질 수 있다. 사용자는 그의 자기 중심 환경을 탐색하도록 그의 머리를 움직인다. "자기 중심 콘텐츠"는 자기 중심 환경에서 정적으로 나타나도록 안경의 가상 영상 평면 상으로 투사될 필요가 있다. 화소들에의 콘텐츠 왜곡 및 맵핑은 "자기 중심 콘텐츠" 표면으로부터 가상 영상으로의 이 투사에서 일어날 것이다.
- 입체: 입체 표시의 경우에, 투사는 각 눈에 별도로 행해질 필요가 있다. 비입체 표시들을 위해, 외눈 좌표(눈 중간 점)가 양 눈의 공통 좌표로서 사용될 수 있다.
5.4 컴퓨터 프로그램
본 개시는 통신 네트워크로부터 다운로드가능하고/하거나 컴퓨터 판독 가능 캐리어에 저장되고/되거나 마이크로프로세서에 의해 실행가능한 컴퓨터 프로그램 제품을 제공한다. 이 프로그램 제품은 그것이 컴퓨터 상에서 실행될 때, 시각 데이터를 처리하는 이전의 방법의 어느 것에 따라 시각 데이터를 처리하는 방법의 실행을 위한 프로그램 코드 명령어들을 포함한다.
Claims (14)
- 단말기용 시각 데이터를 표시하는 시각 데이터 처리 장치로서,
- 상기 단말기의 사용자 상의 기준 점에 대해 상기 단말기의 3차원 위치를 획득하도록 구성된 모듈(11);
- 상기 단말기의 상기 3차원 위치에 관련하여, 상기 기준 점의 시점으로부터 표시될 시각 데이터의 서브세트를, 가용한 시각 데이터의 세트의 함수로 결정하도록 구성된 모듈(12);
- 표시될 시각 데이터의 상기 서브세트를 수정하고, 수정된 시각 데이터를 전달하도록 구성된 모듈(13);
- 상기 단말기의 표시 모듈 상에 상기 수정된 시각 데이터를 표시하도록 구성된 모듈(14)
을 포함하는 것을 특징으로 하는 시각 데이터 처리 장치. - 제1항에 있어서, 상기 기준 점은 상기 사용자의 몸통 위에 있는 것을 특징으로 하는 시각 데이터 처리 장치.
- 제1항에 있어서, 가용한 시각 데이터의 상기 세트는 다음의 요소들:
- 운영 체제의 데스크탑;
- 애플리케이션의 아이콘;
- 애플리케이션의 사용자 인터페이스들;
- 비디오 콘텐츠
중 적어도 하나를 포함하는 것을 특징으로 하는 시각 데이터 처리 장치. - 제1항에 있어서, 표시될 시각 데이터의 서브세트를 결정하는 상기 모듈은
적어도 하나의 기하학적 변환을 나타내는 적어도 하나의 데이터를 획득하도록 구성된 모듈(131);
상기 적어도 하나의 기하학적 변환을 표시될 시각 데이터의 상기 서브세트에 적용하도록 구성된 모듈(132)을 포함하는 것을 특징으로 하는 시각 데이터 처리 장치. - 제4항에 있어서, 상기 적어도 하나의 기하학적 변환은 하나의 3D 공간 회전 및 하나의 3D 병진을 포함하는 것을 특징으로 하는 시각 데이터 처리 장치.
- 제1항에 있어서, 3차원 위치를 획득하도록 구성된 상기 모듈은 위치 센서(31, 32, 33)를 포함하는 것을 특징으로 하는 시각 데이터 처리 장치.
- 제6항에 있어서, 상기 위치 센서는 상기 3차원 위치를 사용자 상의 상기 기준 점 위에 배치된 적어도 하나의 아이템(32, 33)의 함수로서 측정하는 것을 특징으로 하는 시각 데이터 처리 장치.
- 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 단말기는 휴대형 장치 또는 머리 착용 장치(HMD)인 것을 특징으로 하는 시각 데이터 처리 장치.
- 단말기의 원상 복구 모듈 상에 복원될 시각 데이터를 처리하는 방법으로서,
- 상기 단말기의 사용자 상의 기준 점에 대해 상기 단말기의 3차원 위치를 획득하는 단계(61);
- 상기 단말기의 상기 3차원 위치에 관련하여, 상기 기준 점의 시점으로부터 표시될 3차원 시각 데이터의 서브세트를, 가용한 시각 데이터의 세트의 함수로 결정하는 단계(62);
- 표시될 3차원 시각 데이터의 상기 서브세트를 수정하고, 수정된 시각 데이터를 전달하는 단계(63);
- 상기 단말기의 상기 표시 모듈 상에 상기 수정된 시각 데이터를 표시하는 단계(64)
를 포함하는 것을 특징으로 하는 시각 데이터 처리 방법. - 제9항에 있어서, 상기 기준 점은 상기 사용자의 몸통 위에 있는 것을 특징으로 하는 시각 데이터 처리 방법.
- 제9항에 있어서, 가용한 시각 데이터의 상기 세트는 다음의 요소들:
- 운영 체제의 데스크탑;
- 애플리케이션의 아이콘;
- 애플리케이션의 사용자 인터페이스들;
- 비디오 콘텐츠
중 적어도 하나를 포함하는 것을 특징으로 하는 시각 데이터 처리 방법. - 제9항에 있어서, 상기 결정하는 단계는
- 적어도 하나의 기하학적 변환을 나타내는 데이터를 획득하는 단계(631);
- 상기 적어도 하나의 기하학적 변환을 표시될 시각 데이터의 상기 서브세트에 적용하는 단계(632)를 포함하는 것을 특징으로 하는 시각 데이터 처리 방법. - 제12항에 있어서, 상기 적어도 하나의 기하학적 변환은 하나의 3D 공간 회전 및 하나의 3D 병진을 포함하는 것을 특징으로 하는 시각 데이터 처리 방법.
- 통신 네트워크로부터 다운로드가능하고/하거나 컴퓨터 판독 가능 캐리어에 저장되고/되거나 마이크로프로세서에 의해 실행가능한 컴퓨터 프로그램 제품으로서, 그것이 컴퓨터 상에서 실행될 때, 제9항 내지 제13항 중 적어도 한 항에 따른 시각 데이터를 처리하는 방법의 실행을 위한 프로그램 코드 명령어들을 포함하는 특징으로 하는 컴퓨터 프로그램 제품.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP14306846.8A EP3023863A1 (en) | 2014-11-20 | 2014-11-20 | Device and method for processing visual data, and related computer program product |
| EP14306846.8 | 2014-11-20 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20160060582A true KR20160060582A (ko) | 2016-05-30 |
Family
ID=52011120
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150162720A KR20160060582A (ko) | 2014-11-20 | 2015-11-19 | 시각 데이터를 처리하는 장치 및 방법, 및 관련된 컴퓨터 프로그램 제품 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20160148434A1 (ko) |
| EP (2) | EP3023863A1 (ko) |
| JP (1) | JP2016105279A (ko) |
| KR (1) | KR20160060582A (ko) |
| CN (1) | CN105630152A (ko) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10238571B2 (en) | 2016-06-22 | 2019-03-26 | Toyota Motor Engineering & Manufacturing North America, Inc. | Vision-assist devices and methods of calibrating image data of a vision-assist device |
| US20180012377A1 (en) * | 2016-07-08 | 2018-01-11 | Toyota Motor Engineering & Manufacturing North America, Inc. | Vision-assist devices and methods of calibrating vision-assist devices |
| US10438389B2 (en) * | 2016-11-07 | 2019-10-08 | Htc Corporation | Method, device, and non-transitory computer readable storage medium for displaying virtual reality or augmented reality environment according to a viewing angle |
| CN108170280B (zh) * | 2018-01-18 | 2021-03-26 | 歌尔光学科技有限公司 | 一种vr头戴设备及其画面显示方法、系统、存储介质 |
| EP3572910B1 (en) * | 2018-05-21 | 2021-11-24 | Vestel Elektronik Sanayi ve Ticaret A.S. | Method, system and computer program for remotely controlling a display device via head gestures |
| US11682136B2 (en) * | 2021-01-07 | 2023-06-20 | Htc Corporation | Display method, display system and non-transitory computer readable storage medium |
| WO2023225525A2 (en) * | 2022-05-16 | 2023-11-23 | DigitalOptometrics LLC | Remote subjective refraction techniques |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020044152A1 (en) * | 2000-10-16 | 2002-04-18 | Abbott Kenneth H. | Dynamic integration of computer generated and real world images |
| US7928926B2 (en) * | 2006-06-27 | 2011-04-19 | Panasonic Corporation | Display apparatus and method for hands free operation that selects a function when window is within field of view |
| US9451326B2 (en) * | 2007-07-26 | 2016-09-20 | The Directv Group, Inc. | Method and system for controlling the operation of a user device to receive content |
| JP2009294728A (ja) * | 2008-06-02 | 2009-12-17 | Sony Ericsson Mobilecommunications Japan Inc | 表示処理装置、表示処理方法、表示処理プログラム、及び携帯端末装置 |
| US9092053B2 (en) * | 2008-06-17 | 2015-07-28 | Apple Inc. | Systems and methods for adjusting a display based on the user's position |
| US8194101B1 (en) * | 2009-04-01 | 2012-06-05 | Microsoft Corporation | Dynamic perspective video window |
| US20120212405A1 (en) * | 2010-10-07 | 2012-08-23 | Benjamin Zeis Newhouse | System and method for presenting virtual and augmented reality scenes to a user |
| WO2012048252A1 (en) * | 2010-10-07 | 2012-04-12 | Aria Glassworks, Inc. | System and method for transitioning between interface modes in virtual and augmented reality applications |
| US9118970B2 (en) * | 2011-03-02 | 2015-08-25 | Aria Glassworks, Inc. | System and method for embedding and viewing media files within a virtual and augmented reality scene |
| US20120314899A1 (en) * | 2011-06-13 | 2012-12-13 | Microsoft Corporation | Natural user interfaces for mobile image viewing |
| US9727132B2 (en) * | 2011-07-01 | 2017-08-08 | Microsoft Technology Licensing, Llc | Multi-visor: managing applications in augmented reality environments |
| US20150145883A1 (en) * | 2012-04-26 | 2015-05-28 | Qualcomm Incorporated | Altering attributes of content that is provided in a portion of a display area based on detected inputs |
| US9389682B2 (en) * | 2012-07-02 | 2016-07-12 | Sony Interactive Entertainment Inc. | Methods and systems for interaction with an expanded information space |
| US20150193982A1 (en) * | 2014-01-03 | 2015-07-09 | Google Inc. | Augmented reality overlays using position and orientation to facilitate interactions between electronic devices |
| US9595130B2 (en) * | 2014-06-17 | 2017-03-14 | Chief Architect Inc. | Virtual model navigation methods and apparatus |
| US20170104982A1 (en) * | 2015-10-09 | 2017-04-13 | SoliDDD Corp. | Presentation of a virtual reality scene from a series of images |
-
2014
- 2014-11-20 EP EP14306846.8A patent/EP3023863A1/en not_active Withdrawn
-
2015
- 2015-11-16 EP EP15194647.2A patent/EP3035159A1/en not_active Withdrawn
- 2015-11-19 KR KR1020150162720A patent/KR20160060582A/ko unknown
- 2015-11-19 CN CN201510800100.7A patent/CN105630152A/zh active Pending
- 2015-11-19 US US14/946,736 patent/US20160148434A1/en not_active Abandoned
- 2015-11-20 JP JP2015227556A patent/JP2016105279A/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20160148434A1 (en) | 2016-05-26 |
| JP2016105279A (ja) | 2016-06-09 |
| EP3023863A1 (en) | 2016-05-25 |
| CN105630152A (zh) | 2016-06-01 |
| EP3035159A1 (en) | 2016-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11592668B2 (en) | Image generation apparatus and image generation method using frequency lower than display frame rate | |
| CN110908503B (zh) | 跟踪设备的位置的方法 | |
| CN110954083B (zh) | 移动设备的定位 | |
| KR20160060582A (ko) | 시각 데이터를 처리하는 장치 및 방법, 및 관련된 컴퓨터 프로그램 제품 | |
| US10999412B2 (en) | Sharing mediated reality content | |
| CN102959616A (zh) | 自然交互的交互真实性增强 | |
| AU2021290132B2 (en) | Presenting avatars in three-dimensional environments | |
| US10268216B2 (en) | Method and system for providing position or movement information for controlling at least one function of an environment | |
| WO2021246134A1 (ja) | デバイス、制御方法及びプログラム | |
| CN112987914A (zh) | 用于内容放置的方法和设备 | |
| US20220301264A1 (en) | Devices, methods, and graphical user interfaces for maps | |
| US20240069688A1 (en) | Head-Mounted Electronic Device with Magnification Tool | |
| WO2024054433A2 (en) | Devices, methods, and graphical user interfaces for controlling avatars within three-dimensional environments |