KR20200023434A - 컴퓨터 매개 현실을 위한 디스플레이 장치 - Google Patents
컴퓨터 매개 현실을 위한 디스플레이 장치 Download PDFInfo
- Publication number
- KR20200023434A KR20200023434A KR1020207002642A KR20207002642A KR20200023434A KR 20200023434 A KR20200023434 A KR 20200023434A KR 1020207002642 A KR1020207002642 A KR 1020207002642A KR 20207002642 A KR20207002642 A KR 20207002642A KR 20200023434 A KR20200023434 A KR 20200023434A
- Authority
- KR
- South Korea
- Prior art keywords
- display device
- sensor module
- laser sensor
- movable object
- movements
- Prior art date
Links
- 230000001404 mediated effect Effects 0.000 title description 2
- 238000005259 measurement Methods 0.000 claims abstract description 72
- 230000033001 locomotion Effects 0.000 claims abstract description 64
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000004590 computer program Methods 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims description 26
- 238000001454 recorded image Methods 0.000 claims description 17
- 239000013598 vector Substances 0.000 claims description 6
- 210000003128 head Anatomy 0.000 description 22
- 238000004891 communication Methods 0.000 description 14
- 238000001514 detection method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 7
- 230000003190 augmentative effect Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000001419 dependent effect Effects 0.000 description 4
- 230000005855 radiation Effects 0.000 description 4
- 238000005265 energy consumption Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
본 발명은 디스플레이 장치(100)에 관한 것이고, 디스플레이 장치(100)는 이동가능한 객체(20)에 결합되도록 구성되고, 디스플레이 장치(100)는: 적어도 제 1 레이저 센서 모듈(121)로서, 자가 혼합 간섭 측정들에 의해 기준 객체(10, 180)에 대한 이동가능한 객체의 움직임들을 결정하도록 구성되는, 상기 적어도 제 1 레이저 센서 모듈(121), 및 시야(152)를 디스플레이하기 위한 디스플레이 디바이스(110)를 포함하고, 디스플레이 디바이스(110)는 이동가능한 객체(20)의 결정된 움직임들에 따라 시야(152)에 적어도 하나의 가상 객체를 통합하도록 구성된다. 본 발명은 또한, 적어도 하나의 가상 객체를 포함하는 이미지들을 제공하는 방법에 관한 것이다. 본 발명은 최종적으로 대응하는 컴퓨터 프로그램 제품에 관한 것이다.
Description
본 발명은 적어도 하나의 가상 객체를 포함하는 이미지들을 디스플레이하기 위한 디스플레이 장치에 관한 것이다. 본 발명은 또한, 적어도 하나의 가상 객체를 포함하는 이미지들을 제공하는 방법에 관한 것이다. 본 발명은 최종적으로 대응하는 컴퓨터 프로그램 제품에 관한 것이다.
US 8,576,276 B2는 예로서, 증강 현실 안경들 형태의, 빛을 통과시키는(see-through) 머리 장착 디스플레이(HMD) 디바이스를 개시하고, 이는 사용자가 증강 현실 이미지를 뷰잉(viewing)하는 것을 허용한다. 관성 측정 유닛은 사용자의 머리의 방향 및 위치를 추적한다.
EP 1 980 999 A1은 현실 이미지 위에 가상 이미지를 중첩함으로써 증강 현실 이미지를 구성하기 위한 증강 현실 이미지 시스템을 개시한다. 가상 이미지는 현실 이미지 시야에 관한 사용자의 머리의 위치 및 방향에 의존하여 구성된다. 시스템은 사용자의 머리의 상대적 위치 및 방향을 결정하기 위한 적어도 2개의 별개의 로컬화 시스템들을 포함한다.
본 발명의 목적은 개선된 디스플레이 장치를 제공하는 것이다. 본 발명은 독립 청구항들에 의해 한정된다. 종속 청구항들은 유리한 실시예들을 한정한다.
제 1 양태에 따르면, 디스플레이 장치가 제공된다. 디스플레이 장치는 이동가능한 객체에 결합되도록 구성된다. 디스플레이 장치는:
적어도 제 1 레이저 센서 모듈로서, 자가 혼합 간섭 측정들에 의해 기준 객체에 대한 이동가능한 객체의 움직임들을 결정하도록 구성되는, 상기 적어도 제 1 레이저 센서 모듈, 및
시야(field-of-view)를 디스플레이하기 위한 디스플레이 디바이스를 포함하고, 디스플레이 디바이스는 이동가능한 객체의 결정된 움직임들에 따라 시야에 적어도 하나의 가상 객체를 통합하도록 구성된다.
컴퓨터 매개 또는 증강 현실은 이동가능한 객체에 결합되도록 구성되는 디스플레이 장치의 사용을 통해 현실의 정보에 부가하거나, 빼거나, 그렇지 않으면 현실의 인식을 조작하는 능력을 말한다. 이러한 디스플레이 장치들의 예들은 스마트폰 또는 증강 현실(AR) 고글들과 같은 핸드헬드 디바이스일 수 있다. AR 고글들은 예를 들면, 가상 객체들을 실세계에 중첩시킨다. 실세계 정보는 2D 또는 3D 카메라 디바이스들과 같은 카메라 디바이스들을 사용하여 얻어지고 가상 객체는 의도된 위치들에 풍경으로 투영된다. 그러나, 이러한 시스템들 및 얻어진 이미지들의 프로세싱은 머리의 전형적인 움직임들에 비해 다소 느리다. 이러한 움직임들은 가상 객체들로 하여금 실제 장면에서 "점프 어라운드(jump around)"하고 사용자 만족도를 상당히 감소시키게 한다. 머리 움직임들은 매우 정상적이고, 거의 회피가능하지 않으며 매우 느린 것으로부터 다소 빠른 넓은 범위를 커버한다. 논의된 부가적인 기술들은 삼각측량(triangulation) 또는 US 8,576,276 B2에서 설명된 바와 같은 가속 센서들을 포함할 수 있다. 알려진 방법들의 정확성이 문제이다. 6개의 축들에 따른 머리 위치는 이론적으로 추적되어야 하지만, 모든 축들이 망막 상의 투영과 동일하게 관련되는 것은 아니고 그것의 해상도가 정확성을 결정한다.
예를 들면, 대응하는 자가 혼합 간섭 센서들에 의해 측정 축들을 따르는 객체의 움직임들의 3축 측정은 6축 움직임에 대한 모호하지 않은 정보를 제공한다. 속도들의 측정의 정확성이 전형적으로, 거리 측정 단독보다 높기 때문에, 기준 객체에 관한 객체의 움직임은 바람직하게, 측정 축들을 따르는 상대적 속도들의 측정에 의해 결정될 수 있다. 대안적으로 또는 게다가, 기준 객체까지의 상대적 거리는 자가 혼합 간섭 센서들에 의해 결정될 수 있다. 움직임의 방향은 레이저들에 적절한 구동 전류 및/또는 자가 혼합 간섭 센서들에 의해 제공된 측정 신호의 대응하는 신호 분석(예로서, 고속 푸리에 변환에 기초함)을 제공함으로써 결정될 수 있다. 자가 혼합 간섭 센서들에 의한 이러한 속도 및/또는 거리 측정들의 원리들은 당업자들에게 잘 알려져 있다(하기 참고).
자가 혼합 간섭 측정들에 의해 기준 객체에 관한 이동가능한 객체의 움직임들을 결정하도록 구성되는 레이저 센서 모듈은 따라서, 결정된 움직임에 따라 시야 내의 가상 객체 또는 가상 객체들의 위치의 정확한 적응을 인에이블링(enabling)할 수 있다. 디스플레이 디바이스를 포함하는 디스플레이 장치는 임의의 이동가능한 객체에 결합될 수 있다. 이러한 이동가능한 객체들의 예들은 예를 들면, AR 고글들의 경우 사용자의 머리 또는 스마트폰과 같은 핸드헬드 디바이스의 경우 사용자의 손일 수 있다. 디스플레이 장치는 또한, 무선 통신 링크(예로서, 광 또는 RF 통신)에 의해 외부 프로세싱 디바이스와 통신하도록 적응될 수 있다. 디스플레이 장치는 대응하는 무선 통신 모듈을 포함할 수 있다. 외부 프로세싱 디바이스는 레이저 센서 모듈에 의해 결정된 측정 결과들을 분석하고 예를 들면, 측정 결과들의 분석에 기초하여 시야에서의 가상 객체 또는 객체들의 적응된 위치를 산출하도록 구성될 수 있다. 가상 객체 또는 객체들의 적응된 위치를 포함하는 디지털 정보는 디스플레이 장치로 송신되고 디스플레이 디바이스에 의해 디스플레이될 수 있다. 시야는 사용자 또는 카메라의 시야일 수 있다. 디스플레이 장치는 제 1 경우, 예를 들면, 사용자가 디스플레이 장치를 통해 볼 수 있도록 반투명일 수 있다. 디스플레이 장치는 송신된 정보에 따라 사용자의 시야에 가상 객체를 디스플레이하기 위해 메모리 및 프로세싱 디바이스들을 포함할 수 있다. 디스플레이 디바이스는 제 2 경우 예를 들면, 이동가능한 객체의 움직임에 따라 카메라 및 가상 객체의 시야를 디스플레이하도록 구성되는 LCD 또는 OLED 디스플레이들과 같은, 종래의 디스플레이일 수 있다.
디스플레이 장치는 대안적으로 또는 게다가, 신호 프로세싱의 적어도 일부 또는 심지어 전부를 수행하도록 구성될 수 있다. 디스플레이 장치는 이러한 실시예에 따라 측정 신호들의 평가 및 디스플레이 데이터의 후속 프로세싱에 대해 자율적일 수 있다.
디스플레이 장치는 예를 들면, 제어기를 포함할 수 있다. 제어기는 시야에 적어도 하나의 가상 객체를 통합하도록 구성될 수 있다. 제어기는 또한, 이동가능한 객체의 결정된 움직임들에 기초하여 시야에서 가상 객체의 위치를 적응시키도록 구성될 수 있다.
디스플레이 장치는 카메라 디바이스를 더 포함할 수 있다. 카메라 디바이스는 이미지들을 기록함으로써 이동가능한 객체의 시야를 한정하도록 구성된다. 디스플레이 디바이스는 이동가능한 객체의 결정된 움직임들에 따라 기록된 이미지들의 적어도 일부 및 적어도 하나의 가상 객체를 디스플레이하도록 구성된다. 카메라 디바이스는 장면의 이미지들을 기록하도록 구성된다. 각각의 이미지는 한정된 순간에서의 카메라의 시야에 대응한다. 카메라의 시야에서의 가상 객체의 위치, 및 따라서 각각의 이미지는 디스플레이 장치가 이동가능한 객체에 결합되면, 각각의 순간에서 기준 객체에 관한 이동가능한 객체의 검출된 움직임에 의존하여 적응된다.
제어기는 또한, 디스플레이된 이미지들에 적어도 하나의 가상 객체를 통합하도록 구성될 수 있다. 제어기는 또한, 이동가능한 객체의 결정된 움직임들에 기초하여 디스플레이된 이미지들에서 가상 객체의 위치를 적응시키도록 구성될 수 있다. 제어기는 상기 설명된 바와 같이, 카메라 디바이스에 의해 기록된 각각의 이미지에 의해 한정된 카메라의 시야에서 가상 객체의 위치를 적응시키기 위해 모든 측정들, 프로세싱 등을 수행하도록 구성되는 자율 디스플레이 장치(autonomous display apparatus)를 인에이블링할 수 있다.
제 1 레이저 센서 모듈은 3개의 상이한 공간 방향들로 적어도 3개의 측정 빔들을 방출하도록 구성될 수 있다. 제 1 레이저 센서 모듈은 공간 방향들과 동일직선상의 속도 벡터들을 결정하도록 구성된다. 제 1 레이저 센서 모듈은 자가 혼합 간섭 측정들에 기초하여 공간 방향들과 동일직선상의 적어도 3개의 독립 속도 벡터들을 표현하는 측정 데이터를 결정하도록 구성된다. 후속 데이터 프로세싱은 상기 논의된 바와 같이 내부 제어기 및/또는 외부 데이터 프로세싱 디바이스에 의해 수행될 수 있다. 제 1 레이저 센서 모듈은 상이한 공간 방향들로 4개, 5개, 6개 또는 그 이상의 측정 빔들을 방출하도록 구성될 수 있다. 또한, 제 1 레이저 센서 모듈은 동일한 방향으로 2개 이상의 측정 빔들을 방출하도록 구성될 수 있다. 제 1 레이저 센서 모듈은 대응하는 스캐닝 디바이스 또는 레이저들의 어레이에 의해 레이저 또는 측정 빔을 이동시킴으로써 적어도 3개의 측정 빔들을 방출하기 위해 하나의 레이저(예로서, 반도체 레이저 다이오드)를 포함할 수 있다. 자가 혼합 간섭 신호는 대응하는 검출기(예로서, 레이저의 계층 구조에 통합된 포토 다이오드)에 의해 검출될 수 있다. 레이저 센서 모듈 또는 모듈들(하기 참고)에 의해 포함될 수 있는 자가 혼합 레이저 센서들의 대안적인 실시예들은 당업자들에게 잘 알려져 있다. 제 1 레이저 센서 모듈은 또한, 각각의 공간 방향들을 따라 기준 객체까지의 적어도 3개의 거리들을 결정하도록 구성될 수 있다. 적어도 3개의 속도 벡터들 및/또는 거리들의 후속 측정들은 이동가능한 객체의 회전을 결정하기 위해 사용될 수 있다
제 1 레이저 센서 모듈은 시야와 비교하여 디스플레이 장치 주위의 가상 구의 상이한 입체 각도로 적어도 3개의 측정 빔들을 방출하도록 구성될 수 있다. 자가 혼합 간섭 측정들은 정확하고 신뢰가능하다. 자가 혼합 간섭 측정들에 기초하여 움직임을 결정하기 위한 데이터 프로세싱은 광범위한 데이터 프로세싱 능력들을 필요로 하지 않는다. 자가 혼합 간섭 측정들의 검출 범위는 수 미터로 제한될 수 있다. 따라서, 시야와 무관한 근처의 기준 객체 또는 객체들을 결정하기 위해 측정 빔들이 예를 들면, 후면으로, 좌측으로, 우측으로, 바닥으로 또는 천장으로 지향되는 것이 유리할 수 있다. 시야 외부의 이들 기준 객체들에 대한 상대적 움직임들은 시야 내의 가상 객체의 위치의 정확하고 신속한 결정을 가능하게 할 수 있다.
제 1 레이저 센서 모듈은 디스플레이 장치가 이동가능한 객체에 결합될 때 적어도 3개의 측정 빔들을 기준 객체로 방출하도록 구성될 수 있다. 기준 객체는 이 실시예에서, 이동가능한 객체에 기계적으로 결합된다. 기계적으로 결합되는(예로서, 힌지(hinge) 또는 베어링(bearing)에 의해) 기준 객체는 정적 또는 이동가능한 기준 객체일 수 있다. 시야 내에서 가상 객체의 위치를 충분한 정확성으로 결정하기 위해 기준 객체의 잠재적 움직임들이 이동가능한 객체의 움직임들보다 훨씬 느리도록 기준 객체가 선택된다. 이동가능한 객체에 결합되는 기준 객체를 사용하는 것은 신뢰가능한 움직임 검출을 가능하게 할 수 있는데, 왜냐하면 레이저 센서 모듈이 이동가능한 객체와 기계적으로 결합된 기준 객체 사이의 거리가 레이저 센서 모듈에 의해 포함된 자가 혼합 간섭 센서의 검출 임계치 미만이 되도록 구성될 수 있기 때문이다.
제 1 레이저 센서 모듈은 레이저 센서들의 어레이를 포함할 수 있다. 레이저 센서들의 어레이는 상이한 방향들로 다수의 측정 빔들을 방출하도록 구성된다. 제어기는 디스플레이 장치가 이동가능한 객체에 결합될 때 적어도 3개의 레이저 센서들에 의해 제공된 자가 혼합 간섭 측정들에 기초하여 이동가능한 객체의 움직임들을 결정하도록 구성된다.
제어기는 특히, 레이저 센서가 신뢰가능한 자가 혼합 간섭 신호를 제공하는지의 여부를 확인하도록 구성될 수 있다. 제어기는 또한, 신뢰가능하지 않는 측정 결과들(범위 내에 기준 객체가 없고, 각각의 측정 빔에 모발과 같이 상대적으로 빠르게 움직이는 장애물들, 등)을 폐기하도록 구성될 수 있다.
디스플레이 장치는 적어도 제 2 레이저 센서 모듈을 포함할 수 있다. 제 2 레이저 센서 모듈은 디스플레이 장치가 이동가능한 객체에 결합될 때 자가 혼합 간섭 측정들에 의해 이동가능한 객체의 움직임들을 결정하도록 구성된다. 제 2 레이저 센서 모듈은 제 1 레이저 센서 모듈과 비교하여 디스플레이 장치 주위의 가상 구의 상이한 입체 각도로 적어도 3개의 측정 빔들을 방출하도록 구성된다. 대안적으로 또는 레이저 센서들의 어레이에 더하여, 2개, 3개 또는 그 이상의 레이저 센서 모듈들은 기준 객체에 관한 이동가능한 객체의 움직임을 결정하기 위해 사용될 수 있다. 레이저 센서 모듈은 예를 들면, 각각의 레이저 센서 모듈들에 의해 커버되는 입체 각도들이 중첩하도록 구성될 수 있다. 중첩은 레이저 센서 모듈들 중 적어도 하나가 각각의 레이저 센서 모듈의 검출 범위 내에서 기준 객체에 의해 상대적 움직임을 결정할 수 있는 가능성이 있도록 각각의 이동가능한 객체 및 기준 객체에 적응될 수 있다. 대안적으로 또는 추가로, 검출 범위 내의 기준 객체에 의한 상대적 움직임들을 검출하기 위해 비중첩 입체 각도들(예로서, 하나는 바닥으로 지향되고 하나는 천장으로 지향됨)을 포함하는 레이저 센서 모듈 또는 모듈들이 제공될 수 있다.
디스플레이 장치가 이동가능한 객체에 결합될 때 이동가능한 객체가 기준 객체에 기계적으로 결합되면, 레이저 센서 모듈들 중 하나 이상은 바람직하게, 적어도 3개의 측정 빔들을 기준 객체로 방출하도록 구성될 수 있다. 하나 이상의 레이저 센서 모듈들의 측정 빔들을 기계적으로 결합된 기준 객체에 지향시키는 것은 상기 논의된 바와 같이 넓은 범위의 움직임들에 대한 상대적 움직임의 신뢰가능한 검출을 가능하게 할 수 있다.
제어기는 바람직하게, 각각의 레이저 센서 모듈에 의해 수신된 자가 혼합 간섭 신호에 의존하여(레이저 센서 모듈들의 수에 의존하여) 레이저 센서 모듈들 중 하나 이상을 스위치 온하거나 오프하도록 구성될 수 있다. 레이저 센서 모듈을 스위치 온하거나 오프하는 것은 신뢰가능한 자가 혼합 간섭 신호를 수신하는 레이저 센서 모듈만을 사용하는 것을 가능하게 할 수 있다. 신뢰가능한 자가 혼합 간섭 신호들이 측정될 수 있는지의 여부를 결정하기 위해 신뢰가능한 자가 혼합 간섭 신호를 수신하지 않는 레이저 센서 모듈은 정해진 시간 기간 동안 스위치 오프되고 다시 스위치 온될 수 있다. 레이저 센서 모듈들을 스위치 오프하는 것은 디스플레이 장치의 에너지 소비를 감소시킬 수 있다. 디스플레이 장치가 로컬 전원(예로서, 재충전가능한 배터리)에 의존하면, 에너지 소비의 감소는 디스플레이 장치의 동작 시간을 증가시킬 수 있다.
제 2 레이저 센서 모듈은 디스플레이 장치가 이동가능한 객체에 결합될 때 적어도 3개의 측정 빔들을 기준 객체로 방출하도록 구성될 수 있다. 기준 객체는 이 경우, 다시 이동가능한 객체에 기계적으로 결합된다. 제어기는 제 1 레이저 센서 모듈 또는 제 2 레이저 센서 모듈에 의해 결정된 자가 혼합 간섭 신호들에 의해 결정된 움직임들에 의존하여 제 1 레이저 센서 모듈 또는 제 2 레이저 센서 모듈을 스위치 온하거나 오프하도록 구성된다.
다수의 2개, 3개, 4개 또는 그 이상의 레이저 센서 모듈들은 예를 들면, 안정 위치(resting position)에서 기계적으로 결합된 기준 객체의 특정 부분들로 지향될 수 있다. 다른 센서 모듈이 기준 객체의 형상 또는 임의의 다른 알려진 잠재적인 장애물로 인해 신뢰가능한 자가 혼합 간섭 신호들을 제공하거나 제공하지 않을 가능성이 있으면, 기준 객체에 대한 추정된(또는 더 정확한 산출된) 상대적 위치에 의존하여 레이저 센서 모듈들 중 하나 이상이 활성화 또는 비활성화될 수 있다. 기준 객체들의 형상 또는 다른 장애물들 및 가능한 상대적 움직임들에 관한 지식은 신뢰가능한 스위칭 지점들을 결정하기 위해 필요할 수 있다. 대응하는 정보는 제어기의 메모리 디바이스 또는 외부 프로세싱 디바이스의 메모리 디바이스에 저장될 수 있다. 레이저 센서 모듈들의 적응형 스위칭은 디스플레이 장치의 에너지 소비를 감소시킬 수 있다.
이동가능한 객체는 사용자의 머리일 수 있다. 디스플레이 디바이스는 이 실시예에서, 사용자의 적어도 하나의 눈에 매우 근접하게 놓이도록 배치된다. 디스플레이 장치는 이 경우 예를 들면, AR 고글들 등(머리 장착가능한 디스플레이 장치)일 수 있다.
디스플레이 장치는 적어도 하나의 연장부를 갖는 프레임을 포함할 수 있다. 연장부는 적어도 제 1 레이저 센서 모듈에 대한 개선된 판독 범위를 제공하도록 배치된다. 연장부는 디스플레이 장치가 사용자의 머리에 장착될 때 특히, 사용자의 신체(기준 객체)에 대한 뷰잉 각도를 개선시키는 안테나와 유사한 구성일 수 있다.
제 2 양태에 따르면, 적어도 하나의 가상 객체를 포함하는 이미지들을 제공하는 방법이 제공된다. 방법은:
자가 혼합 간섭 측정들에 의해 기준 객체에 대한 이동가능한 객체의 움직임들을 결정하는 단계,
결정된 움직임들에 따라 시야에 적어도 하나의 가상 객체를 통합하는 단계를 포함한다.
방법은 상기 논의된 실시예들에 따른 또 다른 단계들을 포함할 수 있다.
또 다른 양태에 따르면, 컴퓨터 프로그램 제품이 제공된다. 컴퓨터 프로그램 제품은 디스플레이 장치에 의해 포함된 적어도 하나의 메모리 디바이스 또는 상기 설명된 임의의 실시예에 따른 디스플레이 장치와 결합된 외부 계산 디바이스에 의해 포함된 적어도 하나의 메모리 디바이스 상에 저장될 수 있는 코드 수단을 포함한다. 코드 수단은 상기 설명된 방법이 디스플레이 장치에 의해 포함된 적어도 하나의 프로세싱 디바이스 또는 디스플레이 장치와 결합된 외부 계산 디바이스에 의해 포함된 적어도 하나의 프로세싱 디바이스에 의해 실행될 수 있도록 구성된다.
메모리 디바이스 또는 디바이스들은 정보, 특히 디지털 정보를 저장하도록 구성되는 임의의 물리적 디바이스일 수 있다. 메모리 디바이스는 특히, 그룹 고체 상태 메모리 또는 광 메모리 중에서 선택될 수 있다.
프로세싱 디바이스 또는 디바이스들은 데이터 프로세싱, 특히 디지털 데이터의 프로세싱을 수행하도록 구성되는 임의의 물리적 디바이스일 수 있다. 프로세싱 디바이스는 특히, 그룹 프로세서, 마이크로프로세서 또는 주문형 반도체(application-specific integrated circuit; ASIC) 중에서 선택될 수 있다.
청구항 제 1 항 내지 제 13 항 중 어느 한 항에 따른 디스플레이 장치 및 청구항 제 14 항의 방법이 특히, 종속 청구항들에서 정의된 바와 같이 유사한 및/또는 동일한 실시예들을 가짐이 이해될 것이다.
본 발명의 바람직한 실시예가 또한, 각각의 독립 청구항과의 종속 청구항들의 임의의 조합일 수 있다는 것이 이해될 것이다.
또 다른 유리한 실시예들이 하기에 정의된다.
본 발명의 이들 및 다른 양태들은 이하에 설명된 실시예들로부터 명백해질 것이고 그들과 관련하여 더 자세하게 설명될 것이다.
도면들에서, 유사한 부호들은 전체적으로 유사한 객체들을 언급한다. 도면들에서의 객체들은 반드시 크기대로 도시되는 것은 아니다.
도 1은 제 1 디스플레이 장치의 개략도.
도 2는 제 2 디스플레이 장치의 개략도.
도 3은 제 3 디스플레이 장치의 개략도.
도 4는 제 3 디스플레이 장치의 상이한 사시도.
도 5는 제 4 디스플레이 장치의 개략도.
도 6은 제 6 디스플레이 장치의 개략도.
도 7은 제 7 디스플레이 장치의 개략도.
도 8은 제 8 디스플레이 장치의 개략도.
도 9는 적어도 하나의 가상 객체를 포함하는 이미지들을 제공하는 방법의 스케치를 도시한 도면.
도 2는 제 2 디스플레이 장치의 개략도.
도 3은 제 3 디스플레이 장치의 개략도.
도 4는 제 3 디스플레이 장치의 상이한 사시도.
도 5는 제 4 디스플레이 장치의 개략도.
도 6은 제 6 디스플레이 장치의 개략도.
도 7은 제 7 디스플레이 장치의 개략도.
도 8은 제 8 디스플레이 장치의 개략도.
도 9는 적어도 하나의 가상 객체를 포함하는 이미지들을 제공하는 방법의 스케치를 도시한 도면.
본 발명의 다양한 실시예들은 이제 도면에 의해 설명될 것이다.
자가 혼합 간섭은 객체의 움직임 및 객체까지의 거리를 검출하기 위해 사용된다. 자가 혼합 간섭에 관한 배경 정보는 "애플리케이션들을 감지하기 위한 레이저 다이오드 자가 혼합 기술", Giuliani, G.; Norgia, M.; Donati, S. & Bosch, T., 참조로서 통합되는 애플리케이션들을 감지하기 위한 레이저 다이오드 자가 혼합 기술, Journal of Optics A: Pure and Applied Optics, 2002, 4, S. 283 - S. 294에서 설명된다. 광 입력 디바이스에서 센서에 관한 손가락 끝의 움직임의 검출은 참조로서 통합되는 국제 특허 출원 제 WO 02/37410 호에서 상세히 설명된다. 자가 혼합 간섭의 원리는 국제 특허 출원 제 WO 02/37410 호에서 제공된 예들에 기초하여 논의된다. 레이저 공동을 가지는 다이오드 레이저는 레이저를 방출하거나, 빔을 측정하기 위해 제공된다. 디바이스의 상부 측면에서, 디바이스에는 객체 예를 들면, 인간의 손가락이 이동되는 투명한 윈도우가 제공된다. 렌즈는 다이오드 레이저와 윈도우 사이에 배치된다. 이 렌즈는 투명 윈도우의 상부 측에 또는 상부 측 가까이에 레이저 빔을 집속한다. 이 위치에 객체가 존재하면, 그것은 측정 빔을 산란시킨다. 측정 빔의 방사선의 일부는 조명 빔의 방향으로 산란되며 이 부분은 렌즈에 의해 레이저 다이오드의 방출 표면에 수렴되어 이 레이저의 공동으로 재진입한다. 다이오드 레이저의 공동으로 재진입하는 방사선은 레이저의 이득의 변동을 유도하고 따라서, 레이저에 의해 방출된 방사선의 세기의 변동을 유도하며, 이 현상은 다이오드 레이저에서 자가 혼합 효과라고 언급된다.
레이저에 의해 방출된 방사선의 또는 레이저 공동에서의 광파의 세기의 변화는 레이저 공동에 걸친 임피던스 변동을 결정하도록 배치된 포토 다이오드 또는 검출기에 의해 검출될 수 있다. 다이오드 또는 임피던스 검출기는 방사선 변동을 전기 신호로 전환하고, 이 전기 신호를 프로세싱하기 위해 전자 회로가 제공된다.
자가 혼합 간섭 신호는 예를 들면, 짧은 신호 버스트 또는 다수의 신호 버스트들에 의해 특징지워질 수 있다. 이들 신호들에서 관측되는 바와 같은 도플러 주파수는 광축을 따르는 상대적 속도에 대한 측정치이다. 따라서, 신호 검출 및 신호 분석을 단순화하기 위해 DC 구동 전류를 사용하는 것이 바람직할 수 있다. 변조된 구동 전류는 객체의 위치 또는 속도를 결정하기 위해 예를 들면, 레이저 광의 반사에 의해 생성될 수 있는 자가 혼합 간섭 신호들에 의해 사용될 수 있다. 거리(및 선택적으로 속도)는 하나의 측정 내에서 또는 후속 측정 단계에서 결정될 수 있다. 따라서, 속도와 관련된 측정 신호를 생성하기 위해 제 1 시간 기간에 DC 구동 전류 및 거리를 결정하기 위해 제 2 시간 기간에 변조된 구동 전류를 사용하는 것이 가능하거나 심지어 유리할 수 있다. 예를 들면, 도 7에서 설명된 바와 같은 톱니 구동 전류 및 국제 특허 출원 번호 WO 02/37410에서의 대응하는 설명과 같은 특수 신호 분석 및/또는 변조된 구동 전류들은 상대적 움직임의 방향을 결정하기 위해 사용될 수 있다.
도 1은 제 1 디스플레이 장치(100)의 개략도를 도시한다. 제 1 디스플레이 장치(100)는 프레임(140), 고글의 우측 암(arm)의 단부에 배치되는 제 1 레이저 센서 모듈(121) 및 AR 고글과 기계적으로 결합된 제어기(130)와 디스플레이 디바이스(110)를 포함하는 AR 고글이다. 디스플레이 디바이스(110)는 2개의 부분들을 포함하고, 각각의 부분은 프레임 내에 고정되며 각각이 일반적인 안경들에서와 같이 사용자의 하나의 눈의 전방에 있도록 배치된다. 디스플레이 디바이스(110)는 AR 고글을 착용한 사용자가 종래의 안경들과 같이 디스플레이 디바이스(110)를 통해 장면을 볼 수 있도록 반투명하다. 제어기(130)는 AR 고글의 사용자가 바라보는 장면에서 적어도 하나의 가상 객체를 통합하도록 구성된다. 가상 객체는 예를 들면, 사용자에 의해 관측된 장면에서 객체에 대한 포인터 또는 표시자(marker)(예로서, 정보를 포함함)일 수 있다. 포인터 또는 표시자는 예를 들면, AR 고글(도시되지 않음)의 통신 인터페이스를 통해 제공될 수 있다. AR 고글은 예를 들면, 무선 통신 링크(예로서, 블루투스 링크)에 의해 핸드헬드 디바이스(예로서, 스마트폰)에 결합될 수 있다. 핸드헬드 디바이스는 사용자에 근처의 객체들에 대한 정보를 제공할 수 있고 및/또는 사용자는 예를 들면, "나의 시야의 중심에 객체를 표시함"과 같은 지시를 제공할 수 있다. 제어기(130)는 디스플레이 디바이스(110)의 시야의 거의 반대 방향 및 상이한 공간 방향들을 가리키는 3개의 측정 빔들(121a, 121b, 121c)에 기초하여 자가 혼합 간섭 측정 데이터를 수신하기 위해 제 1 레이저 센서 모듈과 전기적으로 연결된다. 측정 빔들(121a, 121b, 121c)은 3개의 상이한 레이저들(예로서, VCSEL)에 의해 방출되며, 레이저들의 각각은 제 1 레이저 센서 모듈의 검출 범위 내의 기준 객체(도시되지 않음)에 의해 반사된 반사된 레이저 광을 수신하기 위해 통합된 포토 다이오드를 포함한다. 기준 객체는 예를 들면, 사용자 뒤의 벽과 같은 임의의 객체일 수 있다. 3개의 상이한 측정 빔들(121a, 121b, 121c)에 의해 가능하게 된 자가 혼합 간섭 측정들은 제어기(130)에 의해 기준 객체에 관한 사용자의 머리(도시되지 않은 이동가능한 객체)의 움직임의 결정을 가능하게 한다. 사용자에 의해 제공된 가상 객체의 위치(예로서, 표시 또는 라벨)는 사용자의 머리의 움직임에 따라 적응된다. 제 1 레이저 센서 모듈(121)은 이 실시예에서, 자가 혼합 간섭에 의해 3개의 독립적인 속도 벡터들을 결정하도록 구성된다. 제 1 레이저 센서 모듈(121)은 레이저 센서들에 구동 전류들을 제공하기 위해 전기 구동기(도시되지 않음)를 더 포함한다. 제 1 디스플레이 장치(100)는 부품들 특히, 제어기(130)에 전력을 제공하기 위해 재충전가능한 배터리(도시되지 않음)를 더 포함한다.
도 2는 제 2 디스플레이 장치(100)의 개략도를 도시한다. 제 2 디스플레이 장치(100)의 구성은 도 1에 대해 논의된 제 1 디스플레이 장치(100)의 구성과 매우 유사하다. 제 2 디스플레이 장치(100)는 프레임(140)의 우측 암의 단부에서의 제 1 레이저 센서 모듈(121)에 더하여, 프레임(140)의 좌측 암의 단부에서의 제 2 레이저 센서 모듈(122)을 포함한다. 제 2 레이저 센서 모듈(122)은 측정 빔들이 일반적으로, AR 고글을 착용한 사용자의 신체에 부딪치도록 3개의 상이한 공간 방향들의 아래를 항하여 3개의 측정 빔들(122a, 122b, 122c)을 방출하는 3개의 레이저 센서들을 포함한다. 일반적으로 천천히 움직이는 머리와 관련하여, 사용자의 신체는 사용자의 머리의 움직임들을 결정하기 위해 잠재적인 또 다른 기준 객체로서 사용된다. 제 1 및 제 2 레이저 센서 모듈(121, 122)은 이 경우, 교번하는 시간 기간들에서 각각의 기준 객체에 대한 속도들 및 각각의 기준 객체까지의 거리들을 결정하도록 구성된다. 제 2 디스플레이 장치(100)는 도 1에 대해 설명된 것과 유사한 무선 통신 링크를 인에이블링하는 무선 통신 모듈(도시되지 않음)을 더 포함한다. 무선 통신 링크는 제 1 및 제 2 레이저 센서 모듈(121, 122)에 의해 제공된 측정 데이터를 외부 계산 디바이스로 전송하기 위해 사용된다. AR 고글과 통신하는 외부 계산 디바이스는 레이저 센서 모듈(121, 122)의 검출 범위 내의 임의의 다른 기준 객체 또는 사용자의 신체에 관한 사용자의 머리의 움직임에 따라 가상 객체의 위치에 적응하기 위해 측정 데이터의 평가를 지원하고 평가에 기초한 정보를 AR 고글에 제공한다.
도 3은 제 3 디스플레이 장치(100)의 측면 뷰의 개략도를 도시한다. 제 3 디스플레이 장치(100)는 다시 AR 고글이다. AR 고글은 카메라 디바이스(도시되지 않음)를 포함한다. 카메라 디바이스는 AR 고글을 착용한 사용자의 뷰잉 방향에 있는 제 3 디스플레이 장치의 시야(152)를 결정한다. 디스플레이 디바이스(110)(예로서, LCD)는 카메라 디바이스의 시야에 기록된 이미지들을 보여주도록 구성된다. 제 1 레이저 센서 모듈은 카메라 디바이스의 시야와 반대인 절반 공간에서 3개의 측정 빔들(121a, 121b, 121c)을 방출한다. 3개의 측정 빔들은 사용자 뒤의 벽(180)(기준 객체)에 부딪히고 레이저 광의 일부는 제 1 레이저 센서 모듈에 의해 포함된 각각의 레이저 센서들로 다시 반사되고 사용자의 머리(이동가능한 객체(20))의 피치(62)를 결정하기 위해 대응하는 자가 혼합 간섭 신호들이 결정된다. 제 3 디스플레이 장치(100)는 검출된 피치(62)에 따라 카메라 디바이스에 의해 기록된 이미지들에 가상 객체를 배치시키고 가상 객체 및 기록된 이미지를 사용자에게 디스플레이하도록 구성된다. 가상 객체는 예를 들면, 기록된 이미지들에 적용된 이미지 인식에 의해 제 3 디스플레이 장치(100)에 의해 자동으로 부가될 수 있다. 이미지 인식은 예를 들면, 이 실시예에서 제 3 디스플레이 장치(100)에 의해 구성된 제어기(도시되지 않음)에 의해 수행될 수 있다. 대안적으로 또는 추가로, 무선 통신 링크는 카메라 디바이스에 의해 기록된 이미지들에 가상 객체들을 통합하기 위해 더 진보된 이미지 인식 프로세싱 및 데이터베이스들(위치 검출과 선택적으로 결합된 인터넷)에 대한 액세스를 가능하게 할 수 있다.
도 4는 제 3 디스플레이 장치(100)의 개략적인 상부도를 도시한다. 제 1 레이저 센서 모듈은 도 1과 관련하여 도시되고 논의된 것과 유사하게 AR 고글의 우측 암의 단부에 통합된다. 카메라 디바이스(도시되지 않음)는 AR 고글의 프레임의 좌측 정면 코너에 통합된다. 도 4는 3개의 측정 빔들(121a, 121b, 121c) 및 벽(180)으로부터 다시 반사된 레이저 광에 의한 사용자의 머리 요(yaw)의 검출을 보여준다.
도 5는 제 4 디스플레이 장치(100)의 개략도를 보여준다. 제 4 디스플레이 장치(100)는 제 4 디스플레이 장치(100)의 시야(152)를 한정하는 카메라 디바이스(도시되지 않음)를 포함하는 AR 고글의 또 다른 예이다. AR 고글은 AR 고글의 우측 정면 코너에 배치된 부가적인 제 2 레이저 센서 모듈을 포함한다. 제 2 레이저 센서 모듈의 3개의 측정 빔들(122a, 122b, 122c)은 이 경우, 사용자의 신체인 또 다른 기준 객체(10)의 방향으로 방출된다. 다시 이동가능한 객체(20)인 사용자의 머리는 목에 의해 사용자의 신체와 기계적으로 결합된다. 제 2 레이저 센서 모듈의 3개의 측정 빔들(122a, 122b, 122c)은 신체가 사용자의 머리의 넓은 범위의 움직임들에 대해 부딪히도록 배치된다. 신체는 따라서, 대부분의 시간에 제 2 레이저 센서 모듈의 검출 범위 내에 있다. 기록된 이미지 내의 가상 객체의 위치는 이 경우, 제 1 또는 제 2 레이저 센서 모듈에 의해 제공된 자가 혼합 간섭 신호들에 의해 적응될 수 있다. 디스플레이 장치(100)는 또 다른 실시예에서, 각각이 측정 빔들을 각각의 레이저 센서 모듈 아래의 어깨, 등 또는 가슴의 일부로 방출하는 레이저 센서 모듈을 포함하는 2개의 측면 연장부들을 포함할 수 있다. 선택적으로 3개, 4개, 5개 또는 그 이상의 측정 빔들을 방출하는, 선택적으로 또 다른 레이저 센서 모듈들을 갖는 이러한 구성은 본질적으로 머리(이동가능한 객체(20))의 모든 가능한 움직임들에 대해 사용자의 신체에 의한 레이저 광의 후방 반사에 기초한 움직임의 모니터링을 가능하게 하기 위해 사용될 수 있다.
도 6은 제 6 디스플레이 장치(100)의 개략도를 도시한다. 제 6 디스플레이 장치(100)는 이 경우, 사용자로 지향될 수 있는 디스플레이 디바이스(도시되지 않음)를 포함하는 핸드헬드 디바이스(예로서, 스마트폰)이다. 핸드헬드 디바이스는 디스플레이 디바이스(예로서, 스마트폰의 후면에 통합된 카메라 디바이스)와 비교하여 반대 방향으로 시야(152)를 한정하는 카메라 디바이스(도시되지 않음)를 더 포함한다. 제 6 디스플레이 장치(100)는 디스플레이 디바이스를 바라보는 사용자의 방향으로 3개의 측정 빔들(121a, 121b, 121c)을 방출하는 제 1 레이저 센서 모듈(도시되지 않음)을 더 포함한다. 3개의 측정 빔들(121a, 121b, 121c)이 방출되는 기준 객체(10)는 이 경우, 사용자의 머리이다. 사용자의 머리는 일반적으로, 디스플레이 디바이스에 대해 한정된 공간 관계에서 특정 한도들 내에 있다. 핸드헬드 디바이스는 이 경우, 이동가능한 객체(20)인 사용자의 손에 결합된다. 3개의 측정 빔들(121a, 121b, 121c)의 전부 또는 일부는 일 대안적인 실시예에서 예를 들면, 사용자의 가슴으로 지향될 수 있다. 선택적으로, 3개보다 많은 측정 빔들(121a, 121b, 121c)은 기준 객체(10)에 관한 이동가능한 객체(20)의 상대적 움직임을 결정하기 위해 사용된다. 핸드헬드 디바이스의 프로세싱 능력은 디스플레이 디바이스에 의해 디스플레이된 이미지 또는 기록된 장면에 가상 객체를 투영하거나 상기 가상 객체를 통합하기 위해 사용된다. 가상 객체는 예를 들면, 사용자가 이동(탐색)하고자 하는 방향을 가리키는 화살표일 수 있다. 사용자는 화살표에 의해 부가적인 정보를 얻기 위해 핸드헬드 디바이스를 들어올릴 수 있다(예로서, 사용자가 우측 또는 좌측으로 이동해야 할 때). 직선 화살표는 결정된 움직임들에 의존하여, 예를 들면 우회전하는 화살표로 변경될 수 있다. 가상 객체는 대안적으로, 기록되고 디스플레이된 이미지로 제공된 카메라 디바이스의 시야(152)에서의 빌딩에 대한 정보일 수 있다. 핸드헬드 디바이스는, 정보가 사용자의 신체 및/또는 머리에 대한 핸드헬드 디바이스의 상대적 움직임과 본질적으로 무관한 각각의 빌딩을 고수하는 자가 혼합 간섭 측정들에 의해 적응된다. 핸드헬드 디바이스는 대안적으로 또는 추가로 상이한 방향(예로서, 접지)을 가리키는 레이저 센서 모듈을 포함할 수 있다. 핸드헬드 디바이스는 대안적으로 또는 추가로 예를 들면, 핸드헬드 디바이스의 측면들에 배치된 더 많은 레이저 센서 모듈들을 포함할 수 있고 레이저 센서 모듈은 각각의 레이저 센서 모듈에 의해 수신된 자가 혼합 간섭 신호 및/또는 카메라 디바이스에 의해 기록된 이미지로부터 추출된 정보에 의존하여 또 다른 또는 대안적인 기준 객체(10)(예로서, 접지)에 대한 상대적 운동을 검출하기 위해 사용된다. 핸드헬드 디바이스는 예를 들면, 이 경우 신뢰가능한 자가 혼합 간섭 신호를 수신하지 않고 및/또는 기준 객체(10)에 부딪칠 가능성이 없는 방향(예로서, 하늘)으로 지향되는 레이저 센서 모듈들을 스위치 오프하도록 적응될 수 있다.
도 7은 제 7 디스플레이 장치(100)의 개략도를 도시한다. 제 7 디스플레이 장치(100)는 이미지들을 기록하기 위한 시야(152)를 한정하는 카메라 디바이스를 포함한다. 제 7 디스플레이 장치(100)는 이동가능한 객체(20)에 결합된다. 이동가능한 객체(20)는 베어링에 의해 기준 객체(10)에 결합된다. 이동가능한 객체(20)는 베어링에 의해 한정된 회전 축 주위로 이동하도록 구성된다. 제 1 레이저 센서 모듈(도시되지 않음)은 3개의 측정 빔들(121a, 121b, 121c)을 기준 객체(10)로 방출하도록 구성된다. 가상 객체는 기준 객체(10)에 대한 이동가능한 객체(20)의 검출된 상대적 움직임에 따라 기록된 이미지들에 통합된다.
도 8은 제 8 디스플레이 장치(100)의 개략도를 보여준다. 제 8 디스플레이 장치(100)는 4개의 측정 빔들(121a, 121b, 121c, 121d)을 방출하도록 구성된 제 1 레이저 센서 모듈(121) 및 측정 빔들(121a, 121b, 121c, 121d)을 지향시키고 및/또는 집속하기 위해 하나 이상의 광 디바이스들을 포함하는 센서 광학부(125)를 포함한다. 제 1 레이저 센서 모듈(121)은 이 경우, 각각의 레이저 센서의 자가 혼합 간섭 신호를 검출하기 위해 4개의 레이저 센서들 및 대응하는 검출기들을 포함한다. 제 1 레이저 센서 모듈(121)은 전기 구동 전류를 레이저 센서들에 제공하기 위한 전기 구동기를 더 포함한다. 제 8 디스플레이 장치(100)는 카메라 디바이스(150) 및 카메라 디바이스(150)의 시야(152)를 한정하는 카메라 광학부(155)를 더 포함한다. 카메라 디바이스의 시야(152)는 측정 빔들(121a, 121b, 121c, 121d)의 공간 방향들과 비교하여 상이한 방향에 있다. 제 1 레이저 센서 모듈(121) 및 카메라 디바이스(150)는 제어기 메모리 디바이스(132) 및 제어기 프로세싱 디바이스(134)를 포함하는 제어기(130)와 전기적으로 연결된다. 제어기(130)는 또한 무선 통신 인터페이스(160) 및 디스플레이 디바이스(110)(OLED 디스플레이)에 연결된다. 제어기(130)는 카메라의 시야(152)에서 기록된 이미지들을 표현하는 디지털 데이터를 카메라 디바이스(150)로부터 수신한다. 디지털 데이터는 이미지 프로세싱에 의해 제어기 프로세싱 디바이스(134)에 의해 분석된다. 기록된 이미지들에서의 객체들은 이미지 프로세싱에 의해 인식되고 기록된 이미지들에서의 객체들과 연결되는 가상 객체들은 제어기 메모리 디바이스(132)에 저장된 데이터에 의해 또는 무선 통신 인터페이스(160)를 통해 수신된 데이터에 의해 식별된다. 대안적으로, 사용자는 무선 통신 인터페이스(160)를 통해 수신될 수 있는 명령어들에 의해 또는 제 8 디스플레이 장치(100)(예로서, 음성 명령어들을 수신하기 위해 제어기(130)에 연결된 마이크로폰)의 직접 입력 인터페이스(도시되지 않음)에 의해 기록된 이미지들에서의 객체와 가상 객체를 연결할 수 있다. 제어기(130)는 또한 제 1 레이저 센서 모듈(121)에 의해 제공된 자가 혼합 간섭 측정들로부터 발생하는 측정 데이터를 수신한다. 제어기(130)는 제 8 디스플레이 장치(100)가 측정 데이터에 의해 기준 객체(도시되지 않음)에 대해 결합되는 이동가능한 객체(도시되지 않음)의 상대적 움직임을 결정한다. 제어기(130)는 프로세싱되고 기록된 이미지들을 표현하는 데이터를 디스플레이 디바이스(110)로 전송한다. 프로세싱되고 기록된 이미지들은 기록된 이미지들의 적어도 일부 및 기록된 이미지에서의 하나 이상의 객체들에 연결된 하나 이상의 가상 객체들을 포함하고, 기록된 이미지 내의 가상 객체들의 위치는 자가 혼합 간섭 측정들에 의해 결정된 상대적 움직임에 적응된다. 디스플레이 디바이스(110)는 프로세싱되고 기록된 이미지들을 표현하는 데이터에 기초하여 기록된 이미지들의 적어도 일부를 하나 이상의 가상 객체들과 함께 디스플레이한다. 상기 논의된 다른 실시예들의 각각 및 제 8 디스플레이 장치(100)는 디스플레이 장치(100)의 부품들에 전력을 제공하기 위한 로컬 전원(도시되지 않음)을 포함할 수 있다.
도 9는 적어도 하나의 가상 객체를 포함하는 이미지들을 제공하는 방법의 스케치를 도시한다. 기준 객체(10, 180)에 대한 이동가능한 객체(20)의 움직임들은 자가 혼합 간섭 측정들에 의해 단계(210)에서 검출된다. 단계(220)에서, 적어도 하나의 가상 객체는 결정된 움직임들에 따라 시야(152)에 통합된다.
본 발명이 도면들 및 상기 설명에서 상세히 도시되고 설명될지라도, 이러한 예시 및 설명은 제한적인 것이 아니라 도시적이거나 예시적인 것으로 고려되어야 한다.
본 발명을 판독하는 것으로부터, 다른 수정들이 당업자들에게 명백해질 것이다. 이러한 수정들은 당업계에 이미 알려져 있고 본 명세서에서 이미 설명된 특징들 대신에 또는 그것에 더하여 사용될 수 있는 다른 특징들을 수반할 수 있다.
개시된 실시예들에 대한 변형들은 도면들, 본 발명 및 첨부된 청구항들의 연구로부터 당업자들에 의해 이해되고 영향받을 수 있다. 청구항들에서, 단어 "포함하는(comprising)"은 다른 소자들 또는 단계들을 배제하지 않고, 단수 표현은 복수의 소자들 또는 단계들을 배제하지 않는다. 특정 측정치들이 서로 상이한 종속 청구항들에서 인용된다는 단순한 사실은 이들 측정치들의 조합이 이롭게 하기 위해 사용될 수 없다는 것을 나타내지 않는다.
청구항들에서의 임의의 참조 부호들은 그 범위를 제한하는 것으로서 해석되어서는 안된다.
10: 기준 객체
20: 이동가능한 객체
62: 피치
64: 요
66: 움직임
100: 디스플레이 장치
110: 디스플레이 디바이스
121: 제 1 레이저 센서 모듈
121a: 제 1 레이저 센서 모듈의 제 1 측정 빔
121b: 제 1 레이저 센서 모듈의 제 2 측정 빔
121c: 제 1 레이저 센서 모듈의 제 3 측정 빔
122: 제 2 레이저 센서 모듈
122a: 제 2 레이저 센서 모듈의 제 1 측정 빔
122b: 제 2 레이저 센서 모듈의 제 2 측정 빔
122c: 제 2 레이저 센서 모듈의 제 3 측정 빔
125: 센서 광학부
130: 제어기
132: 제어기 메모리 디바이스
134: 제어기 프로세싱 디바이스
140: 프레임
150: 카메라 디바이스
152: 시야
155: 카메라 광학부
160: 무선 통신 인터페이스
180: 벽
210: 이미지들을 기록하는 단계
220: 움직임들을 결정하는 단계
230: 기록된 이미지들을 디스플레이하는 단계
240: 가상 객체를 통합하는 단계
250: 가상 객체의 위치를 적응시키는 단계
20: 이동가능한 객체
62: 피치
64: 요
66: 움직임
100: 디스플레이 장치
110: 디스플레이 디바이스
121: 제 1 레이저 센서 모듈
121a: 제 1 레이저 센서 모듈의 제 1 측정 빔
121b: 제 1 레이저 센서 모듈의 제 2 측정 빔
121c: 제 1 레이저 센서 모듈의 제 3 측정 빔
122: 제 2 레이저 센서 모듈
122a: 제 2 레이저 센서 모듈의 제 1 측정 빔
122b: 제 2 레이저 센서 모듈의 제 2 측정 빔
122c: 제 2 레이저 센서 모듈의 제 3 측정 빔
125: 센서 광학부
130: 제어기
132: 제어기 메모리 디바이스
134: 제어기 프로세싱 디바이스
140: 프레임
150: 카메라 디바이스
152: 시야
155: 카메라 광학부
160: 무선 통신 인터페이스
180: 벽
210: 이미지들을 기록하는 단계
220: 움직임들을 결정하는 단계
230: 기록된 이미지들을 디스플레이하는 단계
240: 가상 객체를 통합하는 단계
250: 가상 객체의 위치를 적응시키는 단계
Claims (13)
- 이동가능한 객체(20)에 결합되도록 구성되는 디스플레이 장치(100)에 있어서,
적어도 제 1 레이저 센서 모듈(121)로서, 상기 제 1 레이저 센서 모듈(121)은 자가 혼합 간섭 측정들에 의해 상기 이동가능한 객체(20)에 기계적으로 결합된 기준 객체(10, 180)에 대한 상기 이동가능한 객체의 움직임들을 결정하도록 구성되고, 상기 제 1 레이저 센서 모듈(121)은 상기 디스플레이 장치(100)가 상기 이동가능한 객체(20)에 결합될 때 3개의 상이한 공간 방향들로 적어도 3개의 측정 빔들(121a, 121b, 121c)을 상기 기준 객체(10)로 방출하도록 구성되고, 상기 제 1 레이저 센서 모듈(121)은 상기 공간 방향들과 동일직선상의 속도 벡터들 또는 거리들을 결정하도록 구성되는, 상기 적어도 제 1 레이저 센서 모듈(121),
시야(field of view; 152)를 디스플레이하기 위한 디스플레이 디바이스(110)로서, 상기 디스플레이 디바이스(110)는 상기 이동가능한 객체(20)의 결정된 움직임들에 따라 상기 시야(152)에 적어도 하나의 가상 객체를 통합하도록 구성되는, 상기 디스플레이 디바이스(110)를 포함하는, 디스플레이 장치. - 제 1 항에 있어서,
상기 디스플레이 장치(100)는 제어기를 더 포함하고, 상기 제어기(130)는 상기 시야(152)에 상기 적어도 하나의 가상 객체를 통합하도록 구성되고, 상기 제어기는 또한 상기 이동가능한 객체의 결정된 움직임들에 기초하여 상기 시야(152)에 상기 가상 객체의 위치를 적응시키도록 구성되는, 디스플레이 장치. - 제 1 항 또는 제 2 항에 있어서,
상기 디스플레이 장치(100)는 카메라 디바이스(150)를 더 포함하고, 상기 카메라 디바이스(150)는 이미지들을 기록함으로써 상기 이동가능한 객체(20)의 시야(152)를 한정하도록 구성되고, 상기 디스플레이 디바이스(110)는 상기 이동가능한 객체(20)의 결정된 움직임들에 따라 상기 기록된 이미지들의 적어도 일부 및 상기 적어도 하나의 가상 객체를 디스플레이하도록 구성되는, 디스플레이 장치. - 제 2 항을 다시 인용할 때 제 3 항에 있어서,
상기 제어기(130)는 또한 상기 기록된 이미지들의 적어도 일부에 상기 적어도 하나의 가상 객체를 통합하도록 구성되고, 상기 제어기는 또한 상기 이동가능한 객체(20)의 결정된 움직임들에 기초하여 상기 디스플레이된 이미지들에 상기 가상 객체의 위치를 적응시키도록 구성되는, 디스플레이 장치. - 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 제 1 레이저 센서 모듈(121)은 상기 시야(152)와 비교하여 상기 디스플레이 장치(100) 주위의 가상 구의 상이한 입체 각도로 상기 적어도 3개의 측정 빔들(121a, 121b, 121c)을 방출하도록 구성되는, 디스플레이 장치. - 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
상기 제 1 레이저 센서 모듈(121)은 레이저 센서들의 어레이를 포함하고, 상기 레이저 센서들의 어레이는 상이한 방향들로 다수의 측정 빔들을 방출하도록 구성되고, 상기 제어기(130)는 상기 디스플레이 장치(100)가 상기 이동가능한 객체(20)에 결합될 때 상기 레이저 센서들의 어레이의 적어도 3개의 레이저 센서들에 의해 제공된 자가 혼합 간섭 측정들에 기초하여 상기 이동가능한 객체(20)의 움직임들을 결정하도록 구성되는, 디스플레이 장치. - 제 5 항에 있어서,
상기 디스플레이 장치는 적어도 제 2 레이저 센서 모듈(122)을 포함하고, 상기 제 2 레이저 센서 모듈(122)은 상기 디스플레이 장치(100)가 상기 이동가능한 객체(20)에 결합될 때 자가 혼합 간섭 측정들에 의해 상기 이동가능한 객체(20)의 움직임들을 결정하도록 구성되고, 상기 제 2 레이저 센서 모듈(122)은 상기 제 1 레이저 센서 모듈(121)과 비교하여 상기 디스플레이 장치(100) 주위의 상기 가상 구의 상이한 입체 각도로 적어도 3개의 측정 빔들(122a, 122b, 122c)을 방출하도록 구성되는, 디스플레이 장치. - 제 7 항에 있어서,
상기 제어기(130)는 상기 제 1 레이저 센서 모듈(121) 또는 상기 제 2 레이저 센서 모듈(122)에 의해 수신된 상기 자가 혼합 간섭 신호에 의존하여 상기 제 1 레이저 센서 모듈(121) 또는 상기 제 2 레이저 센서 모듈(122)을 스위치 온하거나 오프하도록 구성되는, 디스플레이 장치. - 제 8 항에 있어서,
상기 제 2 레이저 센서 모듈(122)은 상기 디스플레이 장치(100)가 상기 이동가능한 객체(20)에 결합될 때 적어도 3개의 측정 빔들(122a, 122b, 122c)을 상기 기준 객체(10)로 방출하도록 구성되고, 상기 기준 객체(10)는 상기 이동가능한 객체(20)에 기계적으로 결합되고, 상기 제어기(130)는 상기 제 1 레이저 센서 모듈(121) 또는 상기 제 2 레이저 센서 모듈(122)에 의해 결정된 상기 자가 혼합 간섭 신호들에 의해 결정된 상기 움직임들에 의존하여 상기 제 1 레이저 센서 모듈(121) 또는 상기 제 2 레이저 센서 모듈(122)을 스위치 온하거나 오프하도록 구성되는, 디스플레이 장치. - 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
상기 이동가능한 객체(20)는 사용자의 머리이고, 상기 디스플레이 디바이스(110)는 상기 사용자의 적어도 하나의 눈에 매우 근접하게 놓이도록 배치되는, 디스플레이 장치. - 제 3 항 또는 제 3 항을 다시 인용할 때 제 4 항 내지 제 10 항 중 어느 한 항에 있어서,
상기 디스플레이 장치(100)는 상기 디스플레이 디바이스(110)를 포함하는 핸드헬드 디바이스이고, 상기 핸드헬드 디바이스는 상기 카메라 디바이스(150)를 더 포함하고, 상기 카메라 디바이스(150)에 의해 한정된 상기 시야(152)는 상기 디스플레이 디바이스(110)와 비교하여 반대 방향이고, 상기 제 1 레이저 센서 모듈(121)은 상기 디스플레이 디바이스(110)를 바라보는 사용자의 방향으로 상기 적어도 3개의 측정 빔들(121a, 121b, 121c)을 방출하도록 구성되고, 상기 이동가능한 객체(20)는 상기 사용자의 손인, 디스플레이 장치. - 적어도 하나의 가상 객체를 포함하는 이미지들을 제공하는 방법에 있어서,
디스플레이 장치(100)가 이동가능한 객체(20)에 결합될 때 상기 디스플레이 장치(100)에 의해 3개의 상이한 공간 방향들로 적어도 3개의 측정 빔들(121a, 121b, 121c)을 기준 객체(10, 180)로 방출하는 단계로서, 상기 기준 객체(10, 180)는 상기 이동가능한 객체(20)에 기계적으로 결합되는, 상기 방출 단계,
상기 방출된 적어도 3개의 측정 빔들(121a, 121b, 121c)에 기초하여 자가 혼합 간섭 측정들에 의해 상기 공간 방향들과 동일직선상의 속도 벡터들 또는 거리들을 결정함으로써 상기 기준 객체(10, 180)에 대한 상기 이동가능한 객체(20)의 움직임들을 결정하는 단계, 및
상기 결정된 움직임들에 따라 시야(150)에 상기 적어도 하나의 가상 객체를 통합하는 단계를 포함하는, 적어도 하나의 가상 객체를 포함하는 이미지들을 제공하는 방법. - 제 1 항 내지 제 11 항 중 어느 한 항에 따른 디스플레이 장치(100)에 의해 포함된 적어도 하나의 메모리 디바이스 상에 저장될 수 있는 코드 수단을 포함하는 컴퓨터 프로그램 제품에 있어서,
상기 코드 수단은 제 12 항에 따른 방법이 상기 디스플레이 장치(100)에 의해 포함된 적어도 하나의 프로세싱 디바이스에 의해 실행될 수 있도록 구성되는, 컴퓨터 프로그램 제품.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP17178445.7 | 2017-06-28 | ||
| EP17178445.7A EP3422147A1 (en) | 2017-06-28 | 2017-06-28 | Display apparatus for computer-mediated reality |
| PCT/EP2018/067152 WO2019002316A1 (en) | 2017-06-28 | 2018-06-26 | DISPLAY APPARATUS FOR COMPUTER-AIDED REALITY |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20200023434A true KR20200023434A (ko) | 2020-03-04 |
Family
ID=59285012
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207002642A KR20200023434A (ko) | 2017-06-28 | 2018-06-26 | 컴퓨터 매개 현실을 위한 디스플레이 장치 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11093031B2 (ko) |
| EP (2) | EP3422147A1 (ko) |
| JP (1) | JP2020525956A (ko) |
| KR (1) | KR20200023434A (ko) |
| CN (1) | CN110799929B (ko) |
| WO (1) | WO2019002316A1 (ko) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102018214637A1 (de) * | 2018-08-29 | 2020-03-05 | Robert Bosch Gmbh | Verfahren zum Ermitteln einer Blickrichtung eines Auges |
| JP7244541B2 (ja) * | 2018-12-03 | 2023-03-22 | マクセル株式会社 | 拡張現実表示装置及び拡張現実表示方法 |
| CN111442758A (zh) * | 2020-03-27 | 2020-07-24 | 云南电网有限责任公司玉溪供电局 | 一种带增距望远功能的激光测速测距装置和方法 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6233045B1 (en) * | 1998-05-18 | 2001-05-15 | Light Works Llc | Self-mixing sensor apparatus and method |
| JP3642227B2 (ja) * | 1999-05-06 | 2005-04-27 | 日産自動車株式会社 | 車両用レーザレーダ装置 |
| JP4087247B2 (ja) | 2000-11-06 | 2008-05-21 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 入力デバイスの移動の測定方法 |
| EP1980999A1 (en) * | 2007-04-10 | 2008-10-15 | Nederlandse Organisatie voor Toegepast-Natuuurwetenschappelijk Onderzoek TNO | An augmented reality image system, a method and a computer program product |
| DE102008038615A1 (de) * | 2007-09-18 | 2009-03-19 | Continental Teves Ag & Co. Ohg | Sensoreinrichtung und Verfahren zum Erfassen der Bewegung eines Fahrzeugs |
| EP2425261B1 (en) * | 2009-04-29 | 2015-03-25 | Koninklijke Philips N.V. | A laser diode based multiple-beam laser spot imaging system for characterization of vehicle dynamics |
| JP6006726B2 (ja) * | 2010-11-03 | 2016-10-12 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 速度決定装置 |
| US8576276B2 (en) | 2010-11-18 | 2013-11-05 | Microsoft Corporation | Head-mounted display device which provides surround video |
| US8611015B2 (en) * | 2011-11-22 | 2013-12-17 | Google Inc. | User interface |
| US9297996B2 (en) * | 2012-02-15 | 2016-03-29 | Microsoft Technology Licensing, Llc | Laser illumination scanning |
| JP5998688B2 (ja) * | 2012-07-10 | 2016-09-28 | セイコーエプソン株式会社 | 振動片、振動子、電子デバイス、電子機器、移動体 |
| EP2698602A1 (de) * | 2012-08-16 | 2014-02-19 | Leica Geosystems AG | Handhaltbares Entfernungsmessgerät mit Winkelbestimmungseinheit |
| CN107656618B (zh) | 2013-03-15 | 2021-03-23 | 奇跃公司 | 显示系统和方法 |
| US9702977B2 (en) * | 2013-03-15 | 2017-07-11 | Leap Motion, Inc. | Determining positional information of an object in space |
| US20160033770A1 (en) * | 2013-03-26 | 2016-02-04 | Seiko Epson Corporation | Head-mounted display device, control method of head-mounted display device, and display system |
| RU2659749C2 (ru) * | 2013-08-02 | 2018-07-03 | Конинклейке Филипс Н.В. | Лазерный прибор с регулируемой поляризацией |
| US9746921B2 (en) * | 2014-12-31 | 2017-08-29 | Sony Interactive Entertainment Inc. | Signal generation and detector systems and methods for determining positions of fingers of a user |
| CN106680827A (zh) * | 2016-11-04 | 2017-05-17 | 乐视控股（北京）有限公司 | 一种密闭空间中的定位系统以及相关方法和装置 |
-
2017
- 2017-06-28 EP EP17178445.7A patent/EP3422147A1/en not_active Withdrawn
-
2018
- 2018-06-26 JP JP2019572674A patent/JP2020525956A/ja active Pending
- 2018-06-26 WO PCT/EP2018/067152 patent/WO2019002316A1/en unknown
- 2018-06-26 KR KR1020207002642A patent/KR20200023434A/ko active Search and Examination
- 2018-06-26 CN CN201880042916.XA patent/CN110799929B/zh active Active
- 2018-06-26 EP EP18739757.5A patent/EP3646147B1/en active Active
-
2019
- 2019-12-27 US US16/728,034 patent/US11093031B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020525956A (ja) | 2020-08-27 |
| EP3646147A1 (en) | 2020-05-06 |
| US20200160566A1 (en) | 2020-05-21 |
| WO2019002316A1 (en) | 2019-01-03 |
| CN110799929A (zh) | 2020-02-14 |
| EP3422147A1 (en) | 2019-01-02 |
| US11093031B2 (en) | 2021-08-17 |
| EP3646147B1 (en) | 2021-01-27 |
| CN110799929B (zh) | 2024-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3436867B1 (en) | Head-mounted display tracking | |
| EP3612143B1 (en) | Emulating spatial perception using virtual echolocation | |
| US11044402B1 (en) | Power management for optical position tracking devices | |
| US10643389B2 (en) | Mechanism to give holographic objects saliency in multiple spaces | |
| Welch et al. | Motion tracking: No silver bullet, but a respectable arsenal | |
| JP2022002144A (ja) | 拡張現実のためのシステムおよび方法 | |
| US11127380B2 (en) | Content stabilization for head-mounted displays | |
| US11093031B2 (en) | Display apparatus for computer-mediated reality | |
| EP3619596B1 (en) | Tracking of position and orientation of objects in virtual reality systems | |
| CN111108462B (zh) | 用于头戴式显示系统的测距和附件跟踪 | |
| US20220014689A1 (en) | Event-based ir camera | |
| JP7438188B2 (ja) | ユーザ相互作用システムにおけるトーテムの融合姿勢の非融合姿勢ベースのドリフト補正 | |
| JP7319303B2 (ja) | レーダ頭部姿勢位置特定 | |
| Wu et al. | Advantages of using a Kinect Camera in various applications | |
| US20190212813A1 (en) | Time-of-flight head movement measurement for wearable device | |
| CN112449166B (zh) | 全息投影设备、投影控制方法、装置、计算机设备和介质 | |
| US20200372767A1 (en) | Tactile Feedback Guidance Device | |
| US20230206622A1 (en) | Information processing device, information processing method, and program | |
| Morański et al. | Depth sensing with time-of-flight and stereovision-preliminary experiments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |