KR20180059366A - 가상 현실 기기 상에서의 이미지 줌인 및 줌아웃을 위한 방법 및 장치 - Google Patents

가상 현실 기기 상에서의 이미지 줌인 및 줌아웃을 위한 방법 및 장치 Download PDF

Info

Publication number
KR20180059366A
KR20180059366A KR1020170157514A KR20170157514A KR20180059366A KR 20180059366 A KR20180059366 A KR 20180059366A KR 1020170157514 A KR1020170157514 A KR 1020170157514A KR 20170157514 A KR20170157514 A KR 20170157514A KR 20180059366 A KR20180059366 A KR 20180059366A
Authority
KR
South Korea
Prior art keywords
user
head
image
zooming
virtual reality
Prior art date
Application number
KR1020170157514A
Other languages
English (en)
Inventor
펑 샤오
쩡완 첸
하오리앙 주
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP17873373.9A priority Critical patent/EP3545387A4/en
Priority to PCT/KR2017/013483 priority patent/WO2018097632A1/en
Priority to US15/822,340 priority patent/US11068048B2/en
Publication of KR20180059366A publication Critical patent/KR20180059366A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

가상 현실(VR) 장치 상의 이미지를 줌 인 및 줌 아웃 하기 위한 방법 및 장치가 개시된다. 그 방법은 가상 현실 장치의 사용자 머리의 포즈를 검출하는 단계; 사용자 머리의 포즈가 줌 인 포즈일 때, 가상 현실 장치 상의 이미지를 줌 인하는 단계; 및 사용자 머리의 포즈가 소정 줌 아웃 포즈일 때, 가상 현실 장치 상의 이미지를 줌 아웃하는 단계를 포함한다. 본 발명에서, 가상 현실 장치 상의 이미지를 줌 인 및 줌 아웃하는 동작이 구현될 수 있다.

Description

가상 현실 기기 상에서의 이미지 줌인 및 줌아웃을 위한 방법 및 장치{METHOD AND DEVICE FOR ZOOMING IN OR OUT ON AN IMAGE ON A VIRTUAL REALITY DEVICE}
본 개시는 가상 현실(VR) 기술에 관한 것으로서, 특히 가상 현실 장치 상의 이미지 줌인 및 줌아웃을 위한 방법 및 장치에 관한 것이다.
보통 2차원 디스플레이 장치 상에 디스플레이된 이미지를 줌인하거나 줌아웃하는 것은 그 장치의 버튼을 누르거나 스크린을 터치함으로써 제어될 수 있다. VR 기술의 발전에 따라 가상 현실 장치 상에 디스플레이되는 이미지에 대한 줌인이나 줌아웃을 구현하는 방식의 제공이 필요하다.
본 발명이 개시가 해결하고자 하는 과제는 가상 현실 장치 상에 이미지에 대한 줌 인 및 줌 아웃을 구현하는 방법 및 장치를 제공하는 것이다.
본 발명은 가상 현실 장치 상의 이미지를 줌 인하거나 줌 아웃하기 위한 방법 및 장치를 제공한다.
그 기술적 해법들이 다음과 같이 기술된다:
가상 현실 장치 상의 이미지를 줌인하거나 줌아웃하기 위한 방법은 상기 가상 현실 장치의 사용자 머리의 포즈를 검출하는 단계; 상기 사용자 머리의 포즈가 소정 줌인 포즈일 때, 상기 가상 현실 장치 상의 이미지를 줌인하는 단계; 및 상기 사용자 머리의 포즈가 소정 줌아웃 포즈일 때, 상기 가상 현실 장치 상의 이미지를 줌아웃하는 단계를 포함한다.
본 출원의 일 실시 예에서, 상기 소정 줌인 포즈는 머리를 좌측으로 기울이는 것이고, 소정 줌아웃 포즈는 머리를 우측으로 기울이는 것이거나; 상기 소정 줌인 포즈는 머리를 우측으로 기울이는 것이고, 소정 줌아웃 포즈는 머리를 좌측으로 기울이는 것이거나; 상기 소정 줌인 포즈는 머리를 앞으로 기울이는 것이고, 소정 줌아웃 포즈는 머리를 뒤로 기울이는 것이거나; 상기 소정 줌인 포즈는 머리를 뒤로 기울이는 것이고, 소정 줌아웃 포즈는 머리를 앞으로 기울이는 것이다.
본 출원의 일 실시 예에서, 상기 방법은 상기 가상 현실 장치 상의 이미지를 줌인하기 전에 상기 이미지 상에서의 상기 사용자의 두 눈의 초점을 검출하는 단계를 더 포함할 수 있고, 상기 가상 현실 장치 상의 이미지를 줌인하는 단계는 상기 이미지 상에서의 상기 사용자의 두 눈의 초점을 줌 센터로서 취하여 상기 가상 현실 장치 상의 이미지를 줌인하는 단계; 및 상기 가상 현실 장치 상의 이미지를 줌아웃하기 전에 상기 이미지 상에서의 상기 사용자의 두 눈의 초점을 검출하는 단계를 포함하고, 상기 가상 현실 장치 상의 이미지를 줌아웃하는 단계는 상기 이미지 상에서의 상기 사용자의 두 눈의 초점을 줌 센터로서 취하여 상기 가상 현실 장치 상의 이미지를 줌아웃하는 단계를 포함한다.
본 출원의 일 실시 예에서, 상기 방법은 상기 이미지 상에서의 상기 사용자의 두 눈의 초점을 검출하는 단계; 및 상기 가상 현실 장치 상의 이미지를 줌인하기 전에 상기 사용자의 두 눈의 초점에 따라 사용자가 관심을 가지는 이미지 부분을 판단하는 단계를 더 포함할 수 있고, 상기 가상 현실 장치 상의 이미지를 줌인하는 단계는 상기 사용자가 관심을 가지는 이미지 부분을 줌인하는 단계; 및 상기 이미지 상에서의 상기 사용자의 두 눈의 초점을 검출하는 단계; 및 상기 가상 현실 장치 상의 이미지를 줌아웃하기 전에 상기 사용자의 두 눈의 초점에 따라 사용자가 관심을 가지는 이미지 부분을 판단하는 단계를 포함할 수 있고, 상기 가상 현실 장치 상의 이미지를 줌아웃하는 단계는 상기 사용자가 관심을 가지는 이미지 부분을 줌아웃하는 단계를 포함할 수 있다.
본 출원의 일 실시 예에서, 상기 방법은 상기 가상 현실 장치 상의 이미지를 줌인하기 전에, 상기 이미지의 해상도가 제1소정 해상도 보다 낮은지 여부 및/또는 상기 사용자의 두 눈의 초점이 상기 이미지 상에 위치하는지 여부를 판단하고, 그에 대한 긍정의 경우, 상기 가상 현실 장치 상의 이미지를 줌인하는 단계; 또는 그렇지 않은 경우, 줌인 동작을 수행하지 않는 단계; 및 상기 가상 현실 장치 상의 이미지를 줌아웃하기 전에, 상기 이미지의 해상도가 제2소정 해상도 보다 높은지 여부 및/또는 상기 사용자의 두 눈의 초점이 상기 이미지 상에 위치하는지 여부를 판단하고, 그에 대한 긍정의 경우, 상기 가상 현실 장치 상의 이미지를 줌아웃하는 단계; 또는 그렇지 않은 경우, 줌아웃 동작을 수행하지 않는 단계를 더 포함할 수 있다.
본 출원의 일 실시 예에서, 상기 가상 현실 장치의 사용자 머리의 포즈를 검출하는 단계는, 소정 줌인 제스처가 나타내는 방향을 X 축의 양의 방향이라고 정의하는 단계; 상기 X 축에 수직이고 상기 사용자 머리의 윗면을 가리키는 방향을 Y 축의 양의 방향이라고 정의하는 단계; 및 상기 X 축 및 Y 축에 수직인 방향을 Z 축의 양의 방향이라고 정의함으로써 제1좌표계가 설정되는 단계; 상기 가상 현실 장치의 가속 센서로부터 X 축, Y축, 및 Z 축 방향 각각에서의 사용자 머리의 변위 벡터 성분들을 획득하는 단계; 상기 X 축의 양의 방향에서의 상기 사용자 머리의 변위 벡터의 성분이 제1임계치보다 크고 상기 Y 축 및 Z 축에서의 사용자 머리의 변위 벡터의 성분들이 제2임계치보다 모두 적을 때, 상기 사용자 머리의 포즈가 줌인 포즈임을 판단하는 단계; 및 상기 X 축의 음의 방향에서의 상기 사용자 머리의 변위 벡터의 성분이 상기 제1임계치보다 크고 상기 Y 축 및 Z 축에서의 사용자 머리의 변위 벡터의 성분들이 상기 제2임계치보다 모두 적을 때, 상기 사용자 머리의 포즈가 줌아웃 포즈임을 판단하는 단계를 포함할 수 있다.
본 출원의 일 실시 예에서, 상기 방법은 상기 가상 현실 장치의 자이로스코프로부터 각각 X 축, Y 축, 및 Z축을 중심으로 하는 롤(roll) 회전, 피치(pitch) 회전 및 요(yaw) 회전에 대한사용자 머리의 각속도(angular velocity)들을 획득하는 단계를 더 포함할 수 있고, 상기 사용자 머리의 포즈가 줌인 포즈임을 판단하는 단계는 상기 각각 X 축, Y 축, 및 Z축을 중심으로 하는 롤 회전, 피치 회전 및 요 회전에 대한 사용자 머리의 각속도들이 모두 소정 각속도 임계치보다 작을 때, 상기 사용자 머리의 포즈가 상기 줌인 포즈임을 판단하는 단계를 더 포함하고; 상기 사용자 머리의 포즈가 줌아웃 포즈임을 판단하는 단계는 상기 각각 X 축, Y 축, 및 Z축을 중심으로 하는 롤 회전, 피치 회전 및 요 회전에 대한사용자 머리의 각속도들이 모두 소정 각속도 임계치보다 작을 때, 상기 사용자 머리의 포즈가 상기 줌아웃 포즈임을 판단하는 단계를 더 포함한다.
상기 줌인 포즈가 머리를 앞으로 기울이는 것이고 상기 줌아웃 포즈가 머리를 뒤로 기울이는 것일 때, 상기 가상 현실 장치의 사용자의 머리 포즈를 검출하는 단계는 사용자의 초기 시야 방향을 획득하는 단계; 상기 사용자의 초기 시야 방향을 X 축의 양의 방향이라고 정의하는 단계; 상기 X 축에 수직이고 상기 사용자 머리의 윗면을 가리키는 방향을 Y 축의 양의 방향이라고 정의하는 단계; 상기 X 축 및 Y 축에 수직이고 사용자 머리의 좌측을 가리키는 방향을 Z 축의 양의 방향이라고 정의함으로써 제1좌표계가 설정되는 단계; 상기 가상 현실 장치의 가속 센서로부터 X 축, Y축, 및 Z 축 방향 각각에서의 사용자 머리의 변위 벡터 성분들을 획득하는 단계; 상기 X 축의 양의 방향에서의 상기 사용자 머리의 변위 벡터의 성분이 제1임계치보다 크고 상기 Y 축 및 Z 축에서의 사용자 머리의 변위 벡터의 성분들이 제2임계치보다 모두 적을 때, 상기 사용자 머리의 포즈가 머리를 앞으로 기울이는 것이라고 판단하는 단계; 및 상기 X 축의 음의 방향에서의 상기 사용자 머리의 변위 벡터의 성분이 제1임계치보다 크고 상기 Y 축 및 Z 축에서의 사용자 머리의 변위 벡터의 성분들이 제2임계치보다 모두 적을 때, 상기 사용자 머리의 포즈가 머리를 뒤로 기울이는 것이라고 판단하는 단계를 포함할 수 있다.
상기 사용자의 초기 시야의 방향은 상기 사용자 두 눈의 중심에서 VR 이미지 상의 사용자 두 눈의 초점까지의 방향이다.
본 출원의 일 실시 예에서, 상기 방법은 상기 가상 현실 장치의 자이로스코프로부터 상기 각각 X 축, Y 축, 및 Z축을 중심으로 하는 롤 회전, 피치 회전 및 요 회전에 대한사용자 머리의 각속도(angular velocity)들을 획득하는 단계를 더 포함할 수 있고, 상기 사용자 머리의 포즈가 머리를 앞으로 기울이는 것임을 판단하는 단계는 상기 각각 X 축, Y 축, 및 Z축을 중심으로 하는 롤 회전, 피치 회전 및 요 회전에 대한사용자 머리의 각속도들이 모두 소정 각속도 임계치보다 작을 때, 상기 사용자 머리의 포즈가 상기 줌인 포즈임을 판단하는 단계를 더 포함하고; 상기 사용자 머리의 포즈가 머리를 뒤로 기울이는 것임을 판단하는 단계는 상기 각각 X 축, Y 축, 및 Z축을 중심으로 하는 롤 회전, 피치 회전 및 요 회전에 대한사용자 머리의 각속도들이 모두 소정 각속도 임계치보다 작을 때, 상기 사용자 머리의 포즈가 상기 줌아웃 포즈임을 판단하는 단계를 더 포함한다.
본 출원의 일 실시 예에서, 상기 줌인 포즈가 머리를 앞으로 기울이는 것이고 줌아웃 포즈가 머리를 뒤로 기울이는 것이거나, 줌인 포즈가 머리를 뒤로 기울이는 것이고 줌아웃 포즈가 머리를 앞으로 기울이는 것일 때, 그리고 상기 가상 현실 장치가 차량 상에 있을 때, 상기 방법은 상기 소정 줌인 포즈가 검출될 때, 상기 가상 현실 장치 상의 이미지를 줌인하기 전에 상기 차량 상의 가속 센서에 의해 산출된 차량 진행 방향의 가속 벡터의 성분 및 상기 가상 현실 장치 상의 가속 센서에 의해 산출된 차량 진행 방향의 가속 벡터의 성분 사이의 차이를 산출하는 단계; 및 상기 차이의 절대값이 소정 값보다 큰 경우, 상기 가상 현실 장치 상의 이미지를 줌인하는 단계; 또는 그렇지 않은 경우 줌인 동작을 수행하지 않는 단계; 상기 소정 줌아웃 포즈가 검출될 때, 상기 가상 현실 장치 상의 이미지를 줌아웃하기 전에 상기 차량 상의 가속 센서에 의해 산출된 차량 진행 방향의 가속 벡터의 성분 및 상기 가상 현실 장치 상의 가속 센서에 의해 산출된 차량 진행 방향의 가속 벡터의 성분 사이의 차이를 산출하는 단계; 및 상기 차이의 절대값이 상기 소정 값보다 큰 경우, 상기 가상 현실 장치 상의 이미지를 줌아웃하는 단계; 또는 그렇지 않은 경우 줌아웃 동작을 수행하지 않는 단계를 더 포함할 수 있다.
본 출원의 일 실시 예에서, 상기 방법은 상기 가상 현실 장치 상의 이미지를 줌인할 때, 상기 X 축의 양의 방향에서의 사용자 머리의 속도 성분을 검출하는 단계; 상기 속도 성분이 0 이상이면, 상기 가상 현실 장치 상의 이미지를 계속 줌인하는 단계; 또는 상기 속도 성분이 0 미만이면, 상기 가상 현실 장치 상의 이미지 줌인을 중단하는 단계; 및 상기 가상 현실 장치 상의 이미지를 줌아웃할 때, 상기 X 축의 음의 방향에서의 사용자 머리의 속도 성분을 검출하는 단계; 상기 속도 성분이 0 이상이면, 상기 가상 현실 장치 상의 이미지를 계속 줌아웃하는 단계; 또는 상기 속도 성분이 0 미만이면, 상기 가상 현실 장치 상의 이미지 줌아웃을 중단하는 단계를 더 포함할 수 있다.
가상 현실 장치 상의 이미지를 줌인하거나 줌아웃하기 위한 장치는
가상 현실 장치의 사용자 머리의 포즈를 검출하기 위한 센서; 및
사용자 머리의 포즈가 줌인 제스처일 때 상기 가상 현실 장치 상의 이미지를 줌인하고, 사용자 머리의 포즈가 줌아웃 제스처일 때 상기 가상 현실 장치 상의 이미지를 줌아웃하기 위한 제어부를 포함할 수 있다.
상기 센서에 의해 검출되는 줌인 포즈는 머리를 좌측으로 기울이는 것이고, 상기 센서에 의해 검출되는 줌아웃 포즈는 머리를 우측으로 기울이는 것이거나; 상기 센서에 의해 검출되는 줌인 포즈는 머리를 우측으로 기울이는 것이고, 상기 센서에 의해 검출되는 줌아웃 포즈는 머리를 좌측으로 기울이는 것이거나; 상기 센서에 의해 검출되는 줌인 포즈는 머리를 앞으로 기울이는 것이고, 상기 센서에 의해 검출되는 줌아웃 포즈는 머리를 뒤로 기울이는 것이거나; 상기 센서에 의해 검출되는 줌인 포즈는 머리를 뒤로 기울이는 것이고, 상기 센서에 의해 검출되는 줌아웃 포즈는 머리를 앞으로 기울이는 것이다.
본 출원의 일 실시 예에서, 상기 장치는 상기 이미지 상에서의 상기 사용자의 두 눈의 초점을 검출하기 위한 시야 캡처 모듈을 더 포함할 수 있고,
상기 제어부는 상기 시야 캡처 모듈에 의해 검출된 이미지 상에서의 상기 사용자의 두 눈의 초점을 줌 센터로서 취하여 상기 가상 현실 장치 상의 이미지를 줌인하는 것이고; 상기 시야 캡처 모듈에 의해 검출된 상기 이미지 상에서의 상기 사용자의 두 눈의 초점을 줌 센터로서 취하여 상기 가상 현실 장치 상의 이미지를 줌아웃하는 것이다.
본 출원의 일 실시 예에서, 상기 제어부는 상기 이미지 상에서의 상기 사용자의 두 눈의 초점을 검출하고; 상기 사용자의 두 눈의 초점에 따라 사용자가 관심을 가지는 이미지 부분을 판단하고; 사용자가 관심을 가지는 상기 이미지 부분을 줌인하거나; 사용자가 관심을 가지는 상기 이미지 부분을 줌아웃하기 위한 것이다.
본 출원의 일 실시 예에서, 상기 제어부는 상기 가상 현실 장치 상의 이미지를 줌인하기 전에, 상기 이미지의 해상도가 제1소정 해상도 보다 낮은지 여부 및/또는 상기 사용자의 두 눈의 초점이 상기 이미지 상에 위치하는지 여부를 판단하고, 그에 대한 긍정의 경우, 상기 가상 현실 장치 상의 이미지를 줌인하고; 또는 그렇지 않은 경우, 줌인 동작을 수행하지 않고; 상기 가상 현실 장치 상의 이미지를 줌아웃하기 전에, 상기 이미지의 해상도가 제2소정 해상도 보다 높은지 여부 및/또는 상기 사용자의 두 눈의 초점이 상기 이미지 상에 위치하는지 여부를 판단하고, 그에 대한 긍정의 경우, 상기 가상 현실 장치 상의 이미지를 줌아웃하고; 또는 그렇지 않은 경우, 줌아웃 동작을 수행하지 않는다.
본 출원의 일 실시 예에서, 상기 센서는, 소정 줌인 제스처가 나타내는 방향을 X 축의 양의 방향이라고 정의하고; 상기 X 축에 수직이고 상기 사용자 머리의 윗면을 가리키는 방향을 Y 축의 양의 방향이라고 정의하고; 상기 X 축 및 Y 축에 수직인 방향을 Z 축의 양의 방향이라고 정의함으로써 제1좌표계가 설정되게 하고; 상기 가상 현실 장치의 가속 센서로부터 X 축, Y축, 및 Z 축 방향 각각에서의 사용자 머리의 변위 벡터 성분들을 획득하고; 상기 X 축의 양의 방향에서의 상기 사용자 머리의 변위 벡터의 성분이 제1임계치보다 크고 상기 Y 축 및 Z 축에서의 사용자 머리의 변위 벡터의 성분들이 제2임계치보다 모두 적을 때, 상기 사용자 머리의 포즈가 줌인 포즈임을 판단하고; 상기 X 축의 음의 방향에서의 상기 사용자 머리의 변위 벡터의 성분이 상기 제1임계치보다 크고 상기 Y 축 및 Z 축에서의 사용자 머리의 변위 벡터의 성분들이 상기 제2임계치보다 모두 적을 때, 상기 사용자 머리의 포즈가 줌아웃 포즈임을 판단한다.
본 출원의 일 실시 예에서, 상기 센서는 상기 가상 현실 장치의 자이로스코프로부터 상기 각각 X 축, Y 축, 및 Z축을 중심으로 하는 롤 회전, 피치 회전 및 요 회전에 대한사용자 머리의 각속도(angular velocity)들을 획득하고; 상기 각각 X 축, Y 축, 및 Z축을 중심으로 하는 롤 회전, 피치 회전 및 요 회전에 대한 사용자 머리의 각속도들이 모두 소정 각속도 임계치보다 작을 때, 상기 사용자 머리의 포즈가 상기 줌인 포즈임을 판단하고; 상기 각각 X 축, Y 축, 및 Z축을 중심으로 하는 롤 회전, 피치 회전 및 요 회전에 대한사용자 머리의 각속도들이 모두 소정 각속도 임계치보다 작을 때, 상기 사용자 머리의 포즈가 상기 줌아웃 포즈임을 판단한다.
본 출원의 일 실시 예에서, 상기 소정 줌인 포즈가 머리를 앞으로 기울이는 것이고, 소정 줌아웃 포즈는 머리를 뒤로 기울이는 것일 때, 상기 센서는 시야 캡처 모듈에 의해 검출된 상기 사용자의 초기 시야 방향을 X 축의 양의 방향이라고 정의하고; 상기 X 축에 수직이고 상기 사용자 머리의 윗면을 가리키는 방향을 Y 축의 양의 방향이라고 정의하고; 상기 X 축 및 Y 축에 수직이고 사용자 머리의 좌측을 가리키는 방향을 Z 축의 양의 방향이라고 정의함으로써 제1좌표계가 설정되게 하고; 상기 가상 현실 장치의 가속 센서로부터 X 축, Y축, 및 Z 축 방향 각각에서의 사용자 머리의 변위 벡터 성분들을 획득하고; 상기 X 축의 양의 방향에서의 상기 사용자 머리의 변위 벡터의 성분이 제1임계치보다 크고 상기 Y 축 및 Z 축에서의 사용자 머리의 변위 벡터의 성분들이 제2임계치보다 모두 적을 때, 상기 사용자 머리의 포즈가 머리를 앞으로 기울이는 것이라고 판단하고; 상기 X 축의 음의 방향에서의 상기 사용자 머리의 변위 벡터의 성분이 제1임계치보다 크고 상기 Y 축 및 Z 축에서의 사용자 머리의 변위 벡터의 성분들이 제2임계치보다 모두 적을 때, 상기 사용자 머리의 포즈가 머리를 뒤로 기울이는 것이라고 판단한다.
본 발명의 일 실시 예에서, 상기 센서는 상기 가상 현실 장치의 자이로스코프로부터 각각 X 축, Y 축, 및 Z축을 중심으로 하는 롤 회전, 피치 회전 및 요 회전에 대한사용자 머리의 각속도들을 획득하고; 상기 각각 X 축, Y 축, 및 Z축을 중심으로 하는 롤 회전, 피치 회전 및 요 회전에 대한사용자 머리의 각속도들이 모두 소정 각속도 임계치보다 작고, 상기 X 축의 양의 방향에서의 상기 사용자 머리의 변위 벡터의 성분이 제1임계치보다 크고 상기 Y 축 및 Z 축에서의 사용자 머리의 변위 벡터의 성분들이 제2임계치보다 모두 적을 때, 상기 사용자 머리의 포즈가 머리를 앞으로 기울이는 것이라고 판단하고; 상기 각각 X 축, Y 축, 및 Z축을 중심으로 하는 롤 회전, 피치 회전 및 요 회전에 대한 사용자 머리의 각속도들이 모두 소정 각속도 임계치보다 작고, 상기 X 축의 음의 방향에서의 상기 사용자 머리의 변위 벡터의 성분이 제1임계치보다 크고 상기 Y 축 및 Z 축에서의 사용자 머리의 변위 벡터의 성분들이 제2임계치보다 모두 적을 때, 상기 사용자 머리의 포즈가 머리를 뒤로 기울이는 것이라고 판단한다.
본 출원의 일 실시 예에서, 상기 줌인 포즈가 머리를 앞으로 기울이는 것이고 줌아웃 포즈가 머리를 뒤로 기울이는 것이거나, 줌인 포즈가 머리를 뒤로 기울이는 것이고 줌아웃 포즈가 머리를 앞으로 기울이는 것일 때, 그리고 상기 가상 현실 장치가 차량 상에 있을 때, 상기 제어부는, 상기 소정 줌인 포즈가 검출될 때, 상기 가상 현실 장치 상의 이미지를 줌인하기 전에 상기 차량 상의 가속 센서에 의해 산출된 차량 진행 방향의 가속 벡터의 성분 및 상기 가상 현실 장치 상의 가속 센서에 의해 산출된 차량 진행 방향의 가속 벡터의 성분 사이의 차이를 산출하고; 상기 차이의 절대값이 소정 값보다 큰 경우, 상기 가상 현실 장치 상의 이미지를 줌인하고; 또는 그렇지 않은 경우 줌인 동작을 수행하지 않고; 상기 소정 줌아웃 포즈가 검출될 때, 상기 가상 현실 장치 상의 이미지를 줌아웃하기 전에 상기 차량 상의 가속 센서에 의해 산출된 차량 진행 방향의 가속 벡터의 성분 및 상기 가상 현실 장치 상의 가속 센서에 의해 산출된 차량 진행 방향의 가속 벡터의 성분 사이의 차이를 산출하고; 상기 차이의 절대값이 상기 소정 값보다 큰 경우, 상기 가상 현실 장치 상의 이미지를 줌아웃하고; 또는 그렇지 않은 경우 줌아웃 동작을 수행하지 않는다.
본 출원의 일 실시 예에서, 상기 제어부는 상기 가상 현실 장치 상의 이미지를 줌인할 때, 상기 X 축의 양의 방향에서의 사용자 머리의 속도 성분을 검출하고; 상기 속도 성분이 0 이상이면, 상기 가상 현실 장치 상의 이미지를 계속 줌인하고; 또는 상기 속도 성분이 0 미만이면, 상기 가상 현실 장치 상의 이미지 줌인을 중단하고; 상기 가상 현실 장치 상의 이미지를 줌아웃할 때, 상기 X 축의 음의 방향에서의 사용자 머리의 속도 성분을 검출하고; 상기 속도 성분이 0 이상이면, 상기 가상 현실 장치 상의 이미지를 계속 줌아웃하고; 또는 상기 속도 성분이 0 미만이면, 상기 가상 현실 장치 상의 이미지 줌아웃을 중단한다.
본 출원의 일 실시 예에서, 상기 장치는 상기 가상 현실 장치 상에 위치한다.
본 출원에서, 상기 가상 현실 장치의 사용자 머리의 포즈를 검출하고; 상기 사용자 머리의 포즈가 소정 줌인 포즈일 때, 상기 가상 현실 장치 상의 이미지를 줌인하고; 상기 사용자 머리의 포즈가 소정 줌아웃 포즈일 때, 상기 가상 현실 장치 상의 이미지를 줌아웃하며, 상기 가상 현실 장치 상에서 이미지 줌인 및 줌아웃이 구현될 수 있다.
또한, 이미지 상에서의 사용자의 두 눈의 초점을 검출하고, 이미지 상에서의 사용자의 두 눈의 초점을 줌 센터로서 취하여 상기 가상 현실 장치 상의 이미지를 줌인 또는 줌아웃하며, 상기 이미지 줌인 또는 줌아웃은 사용자의 필요에 보다 적합하다.
또한 사용자가 관심을 가진 이미지 부분을 줌인하거나 줌아웃하는 것이 가상 현실 장치의 프로세서의 전력 소모를 줄일 수 있다.
가상 현실 장치가 차량일 때, 차량 위의 가속 센서에 의해 산출된 차량의 주행 방향에서의 가속 벡터의 성분 및 가상 현실 장치 상의 가속 센서에 의해 산출된 차량의 주행 방향에서의 가속 벡터의 성분 간 차이가 산출되어, 사용자가 그 가속에 의해 머리를 앞으로/뒤로 기울이는지 여부를 판단함으로써, 가상 현실 장치 상에서의 이미지에 대한 잘못된 줌인 또는 줌아웃 동작을 피할 수 있다.
또한, X 축의 양의 방향, X 축의 음의 방향에서의 사용자 머리의 속도 성분들을 검출하고, 그에 따라 사용자 머리가 앞으로나 뒤로 유지되는지 여부를 판단하고, 그에 따라 가상 현실 장치 상의 이미지를 계속 줌인하거나 줌아웃할지 여부를 판단하는 것이 보다 정확해진다.
본 개시에 따르면 가상 현실 장치 상에 디스플레이되는 이미지에 대한 줌 인및 줌 아웃을 구현하는 방법 및 장치를 제공할 수 있다.
도 1은 본 개시의 일 실시 예에 따른 가상 현실 장치의 동작 방법을 도시한 흐름도이다.
도 2A는 본 개시의 일 실시예에 따른 가상 현실 장치에서 가상 현실 장치에 디스플레이되는 이미지의 일 예시를 나타낸 도면이다.
도 2B는 도 2A의 이미지 상에서 사용자 두 눈의 초점을 나타낸 도면이다.
도 2C는 도 2B의 이미지 상에서 사용자가 관찰하는 부분을 식별하는 동작을 나타낸 도면이다.
도 2D는 도 2C의 이미지 상에서 식별된 부분을 줌 인하는 동작을 나타낸 도면이다.
도 3A 및 도 3B는 본 개시의 일 실시예에 따른 가상 현실 장치의 동작 방법의 흐름도이다.
도 4는 본 개시의 일 실시예에 따른 가상 현실 장치에서 3차원 직교 좌표계를 설정하는 방법을 나타낸 도면이다.
도 5는 본 개시의 일 실시 예에 따른 가상 현실 장치의 구성요소들을 도시한 개략도이다.
도 6은 본 개시의 일 실시 예에 따른 가상 현실 장치에서 사용자의 회전 운동을 정의한 좌표계를 나타낸 도면이다.
이하 첨부된 도면을 참조하여 본 개시의 바람직한 실시 예에 대한 동작 원리를 상세히 설명한다. 본 개시를 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 개시에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하, 도 1 및 도6을 참조하여, 본 개시의 일 실시예에 따른 가상 현실(virtual reallity; VR) 장치의 동작 방법에 대하여 설명한다.
도 1은 본 개시의 일 실시 예에 따른 가상 현실 장치의 동작 방법을 도시한 흐름도이다. 도 6은 본 개시의 일 실시 예에 따른 가상 현실 장치에서 사용자의 회전 운동을 정의한 좌표계를 나타낸 도면이다.
먼저, 가상 현실 장치의 사용자의 머리의 움직임을 감지한다(100).
그리고, 사용자의 머리의 포즈가 줌 인 포즈(zooming in posture) 또는 줌 아웃 포즈(zooming out posture)인지 식별한다(101). 여기서 사용자 머리의 포즈는 사용자 머리의 특정 동작을 의미할 수 있다. 사용자 머리의 포즈는 사용자 머리의 변위 벡터로 표현될 수 있다.
여기서, 가상 현실 장치 또는 가상 현실 장치에 디스플레이 되는 이미지와 관련하여, 줌 인 포즈 및 줌 아웃 포즈는 다음과 같을 수 있다.
예를 들어, 줌 인 포즈는 머리를 좌측으로 기울이는 동작일 수 있고, 줌 아웃 포즈는 머리를 우측으로 기울이는 동작일 수 있다.
또는, 줌 인 포즈가 머리를 우측으로 기울이는 동작일 수 있고, 줌 아웃 포즈는 머리를 좌측으로 기울이는 동작일 수 있다.
또 다른 예에 따르면, 줌 인 포즈가 머리를 앞으로 기울이는 동작일 수 있고, 줌 아웃 포즈는 머리를 뒤로 기울이는 동작일 수 있다.
또는, 줌 인 포즈는 머리를 뒤로 기울이는 동작일 수 있고, 줌 아웃 포즈는 머리를 앞으로 기울이는 동작일 수 있다.
이러한, 줌 인 포즈 및 줌 아웃 포즈는 미리 결정되어 가상 현실 장치의 메모리부에 저장되어 있을 수도 있고, 가상 현실 장치의 사용자가 가상 현실 장치의 메모리부에 저장되어 있는 설정 프로그램을 사용하여 설정할 수도 있다. 가상 현실 장치의 사용자 머리의 포즈가 줌 인 포즈(zooming in posture) 또는 줌 아웃 포즈(zooming out posture)인지는 다음과 같은 과정을 통해 식별할 수 있다.
먼저, 줌 인 포즈의 변위 벡터가 가리키는 방향을 X 축의 양의 방향으로 정의하고, X 축에 직교하고 사용자의 머리를 가리키는 방향을 Y 축의 양의 방향으로 정의하며, X 축 및 Y 축에 직교하는 방향을 Z 축의 양의 방향으로 정의함으로써, 제1좌표계를 설정한다.
가상 현실 장치에 포함된 가속 센서로부터 X 축, Y 축, 및 Z 축 방향들에서의 사용자 머리의 변위 벡터 성분을 얻을 수 있다.
X 축의 양의 방향에서의 사용자 머리의 변위 벡터 성분의 절대값이 제1임계치보다 크고, Y 축 및 Z 축 방향들에서의 사용자 머리의 변위 벡터 성분들의 절대값들이 제2임계치보다 모두 작다면, 사용자 머리의 포즈는 줌 인 포즈로 식별될 수 있다. 여기서 제1 임계치 및 제2 임계치는 미리 결정되어 가상 현실 장치의 메모리부에 저장되어 있을 수도 있고, 가상 현실 장치의 사용자가 가상 현실 장치의 메모리부에 저장되어 있는 설정 프로그램을 사용하여 설정할 수도 있다.
반면에, X 축의 음의 방향에서의 사용자 머리의 변위 벡터 성분의 절대값이 제1임계치보다 크고, Y 축 및 Z 축 방향들에서의 사용자 머리의 변위 벡터 성분들의 절대값들이 제2임계치보다 모두 작다면, 사용자 머리의 포즈는 줌 아웃 포즈로 식별될 수 있다.
또는, X 축의 양의 방향에서의 사용자 머리의 변위 벡터 성분의 절대값이 제1임계치보다 크고, Y 축 및 Z 축 방향들에서의 사용자 머리의 변위 벡터 성분들의 절대값들이 제2임계치보다 모두 작고, 각각 X 축, Y 축, 및 Z축을 중심으로 하는 롤(roll) 회전, 피치(pitch) 회전 및 요(yaw) 회전에 대한사용자 머리의 각속도(angular velocity)들이 모두 각속도 임계치보다 작다면, 사용자 머리의 포즈는 줌 인 포즈로 식별될 수 있다.
도 6을 참고하면, 여기서 요 회전은 z축을 중심으로 회전한 각도를 의미할 수 있다. 요 회전은 z축 위에서 좌표축의 중심을 바라볼 때, 반 시계 방향 회전으로 정의될 수 있다. 피치 회전은 y축을 중심으로 회전한 각도를 의미할 수 있다. 피치 회전은 y축 위에서 좌표축의 중심을 바라볼 때, 반 시계 방향 회전으로 정의될 수 있다. 롤 회전은 x축을 중심으로 회전한 각도를 의미할 수 있다. 롤 회전은 x축 위에서 좌표축의 중심을 바라볼 때, 반 시계 방향 회전으로 정의될 수 있다.
여기서 각속도 임계치는 미리 결정되어 가상 현실 장치의 메모리부에 저장되어 있을 수도 있고, 가상 현실 장치의 사용자가 가상 현실 장치의 메모리부에 저장되어 있는 설정 프로그램을 사용하여 설정할 수도 있다.
반면에, X 축의 음의 방향에서의 사용자 머리의 변위 벡터 성분의 절대값이 제1임계치보다 크고, Y 축 및 Z 축 방향들에서의 사용자 머리의 변위 벡터 성분들의 절대값들이 제2임계치보다 모두 작고, 각각 X 축, Y 축, 및 Z축을 중심으로 하는 롤 회전, 피치 회전 및 요 회전에 대한 사용자 머리의 각속도들이 모두 각속도 임계치보다 작다면, 사용자 머리의 포즈는 줌 아웃 포즈로 식별될 수 있다.예를 들어, 줌 인 포즈가 머리를 앞으로 기울이는 것이고 줌 아웃 포즈가 머리를 뒤로 기울이는 것일 때, 가상 현실 장치의 사용자 머리의 포즈를 식별하는 과정은 다음과 같은 과정들을 포함할 수 있다.
먼저, 가상 현실 장치의 사용자의 초기 시야 방향이 X 축의 양의 방향이라고 정의하며, X 축에 직교하고 사용자 머리의 윗면을 가리키는 방향은 Y 축의 양의 방향이라고 정의한다. X 축 및 Y 축에 수직이고 사용자 머리의 좌측을 가리키는 방향은 Z 축의 양의 방향이라고 정의한다. 그로써, 제1의 3차원 직교 좌표계를 설정한다. 여기서, 가상 현실 장치 사용자의 초기 시야는 사용자 두 눈의 중심에서 가상 현실 장치에 디스플레이되는 이미지 상의 사용자 두 눈의 초점으로 향하는 방향일 수 있다.
가상 현실 장치의 가속 센서로부터 제1의 3차원 직교 좌표계의 X 축, Y 축, 및 Z 축 방향들에서의 사용자 머리의 변위 벡터 성분들을 얻을 수 있다.
X 축의 양의 방향에서의 사용자 머리의 변위 벡터 성분의 절대값이 제1임계치보다 크고, Y 축 및 Z 축 방향들에서의 사용자 머리의 변위 벡터 성분들의 절대값들이 제2임계치보다 모두 작다면, 사용자가 머리를 앞으로 기울이는 포즈를 취했다고 식별될 수 있다.
반면에, X 축의 음의 방향에서의 사용자 머리의 변위 벡터 성분의 절대값이 제1임계치보다 크고, Y 축 및 Z 축 방향들에서의 사용자 머리의 변위 벡터 성분들의 절대값들이 제2임계치보다 모두 작다면, 사용자가 머리를 뒤로 기울이는 포즈를 취했다고 식별될 수 있다.
또는, X 축의 양의 방향에서의 사용자 머리의 변위 벡터 성분의 절대값이 제1임계치보다 크고, Y 축 및 Z 축 방향들에서의 사용자 머리의 변위 벡터 성분들의 절대값들이 제2임계치보다 모두 작고, 각각 X 축, Y 축, 및 Z축을 중심으로 하는 롤 회전, 피치 회전 및 요 회전에 대한사용자 머리의 각속도들이 모두 각속도 임계치보다 작다면, 사용자가 머리를 앞으로 기울이는 포즈를 취했다고 식별될 수 있다.
반면에, X 축의 음의 방향에서의 사용자 머리의 변위 벡터 성분의 절대값이 제1임계치보다 크고, Y 축 및 Z 축 방향들에서의 사용자 머리의 변위 벡터 성분들의 절대값들이 제2임계치보다 모두 작고, 각각 X 축, Y 축, 및 Z축을 중심으로 하는 롤 회전, 피치 회전 및 요 회전에 대한사용자 머리의 각속도들이 모두 각속도 임계치보다 작다면, 사용자가 머리를 뒤로 기울이는 포즈를 취했다고 식별될 수 있다.
다시 도 1을 참고하면, 가상 현실 장치의 사용자 머리의 포즈가 줌 인 포즈인 경우, 가상 현실 장치에 디스플레이되는 이미지를 줌 인하는 동작을 수행하고, 가상 현실 장치의 사용자 머리의 포즈가 줌 아웃 포즈인 경우, 가상 현실 장치에 디스플레이되는 이미지를 줌 아웃하는 동작을 수행한다(102).
일 실시 예에서, 가상 현실 장치에 디스플레이되는 이미지를 줌 인하기 전에, 이미지 상의 사용자의 두 눈의 초점을 검출할 수 있다. 줌 인하는 동작은 이미지 상에서의 이러한 사용자의 두 눈의 초점을 줌 센터로하여 이미지를 줌 인할 수 있다.
일 실시 예에서, 가상 현실 장치에 디스플레이되는 이미지를 줌 아웃하기 전에, 이미지 상의 사용자의 두 눈의 초점을 검출할 수 있다.
줌 아웃 하는 동작은 이미지 상에서의 이러한 사용자의 두 눈의 초점을 줌 센터로하여 이미지를 줌 아웃할 수 있다.
일 실시 예에서, 가상 현실 장치에 디스플레이되는 이미지가 줌 인되기 전에, 현재의 이미지의 해상도가 제1해상도 임계치 보다 낮은지 여부를 판단하는 과정, 및/또는 사용자 두 눈의 초점이 상기 이미지 상에 위치하는지 여부를 판단하는 과정, 및/또는 상기 초점이 상기 이미지 상에 위치하는 경우 이미지를 줌 인하는 동작을 수행하고, 상기 초점이 상기 이미지 상에 위치하지 않은 경우 이미지에 대한 줌 인 동작을 수행하지 않는 과정을 더 포함할 수 있다.
일 실시 예에서, 가상 현실 장치에 디스플레이되는 이미지가 줌 아웃되기 전에, 현재의 이미지의 해상도가 제2해상도 임계치 보다 높은지 여부를 판단하는 과정, 및/또는 사용자의 두 눈의 초점이 상기 이미지 상에 위치하는지 여부를 판단하는 과정, 및/또는 상기 초점이 상기 이미지 상에 위치하는 경우 이미지를 줌 아웃하는 동작을 수행하고, 상기 초점이 상기 이미지 상에 위치하지 않는 경우 이미지에 대한 줌 아웃 동작을 수행하지 않는 과정을 더 포함할 수 있다.
또한, 사용자가 자동차와 같이 주행 중인 차량 안에서 가상 현실 장치를 착용한 상황을 고려하면, 차량이 출발하거나, 정지하거나, 회전할 때 가속이 발생할 수 있고, 그러한 가속은 사용자의 머리를 앞으로나 뒤로 기울게 만들 수 있다. 이런 종류의 상황들에서 이미지를 줌 인하거나 줌 아웃하도록 하는 잘못된 결정이 내려지는 것을 피하기 위해, 상기 방법은 다음과 같은 과정들을 더 포함할 수 있다.
먼저, 제1 가속 센서가 차량 안에 설치될 수 있으며, 제2 가속 센서가 가상 현실 장치 안에 내장될 수 있다. 줌 인 포즈가 머리를 앞으로 기울이는 것이고, 줌 아웃 포즈는 머리를 뒤로 기울이는 것일 때, 혹은 줌 인 포즈가 머리를 뒤로 기울이는 것이고 줌 아웃 포즈가 머리를 앞으로 기울이는 것일 때, 차량의 주행 방향을 X 축의 양의 방향으로 정의하고, X 축, Y 축, 및 Z 축이 서로 직교한다고 정의함으로써 제2의 3차원 직교 좌표계를 설정할 수 있다.
도 1을 참고하면, 과정 102에서, 가상 현실 장치사용자 머리의 포즈가 줌 인 포즈인 경우가상 현실 장치 이미지를 줌 인하기 전에 이하의 과정을 더 포함할 수 있다.
제2의 3차원 직교 좌표계에서의 X 축의 양의 방향에 대하여 차량 내 제1 가속 센서에 의해 산출된 제1 가속 벡터의 성분 및 제2의 3차원 직교 좌표계에서의 X 축의 양의 방향에 대하여 가상 현실 장치 내의 제2 가속 센서에 의해 산출된 제2 가속 벡터의 성분 간의 차이를 산출하는 과정 및 이 차이의 절대값이 소정값보다 큰지 판단하는 과정을 더 포함할 수 있고, 이 차이의 절대값이 소정값보다 크면 이미지가 줌 인될 수 있고, 그렇지 않은 경우 이미지에 대해 어떤 줌 인 동작도 수행되지 않을 수 있다.
과정 102에서, 사용자 머리의 포즈가 줌 아웃 포즈인 경우이미지를 줌 아웃하기 전에 이하의 과정을 더 포함할 수 있다.
제2의 3차원 직교 좌표계에서의 X 축의 양의 방향에 대하여 차량 내 제1 가속 센서에 의해 산출된 제1 가속 벡터의 성분 및 제2의 3차원 직교 좌표계에서의 X 축의 양의 방향에 대하여 가상 현실 장치 내의 제2 가속 센서에 의해 산출된 제2 가속 벡터의 성분 간의 차이를 산출하는 과정 및 이 차이의 절대값이 소정값보다 큰지 판단하는 과정을 더 포함할 수 있고, 이 차이의 절대값이 소정값보다 크면 이미지가 줌 아웃될 수 있고, 그렇지 않은 경우 이미지에 대해 어떤 줌 아웃 동작도 수행되지 않을 수 있다.
도 1의 100-102과정의 실행 개체들은 모두가상 현실 장치일 수 있으며, 가상 현실 장치는 차량에 설치된 제1 가속 센서 또는 제1 가속 센서의 값을 통신하는 차량 내의 송수신부와 실시간 통신할 수 있고, 그러한 통신은 ITO(internetworking technology) 프로토콜 등의 동일한 프로토콜 사양을 따를 수 있다.
도 1 및 도 2를 참고하여, 본 개시의 일 실시예에 따른 가상 현실 장치의 동작 방법을 설명한다.
도 2A는 본 개시의 일 실시예에 따른 가상 현실 장치에서 가상 현실 장치에 디스플레이되는 이미지의 일 예시를 나타낸 도면이다. 도 2B는 도 2A의 이미지 상에서 사용자 두 눈의 초점을 나타낸 도면이다. 도 2C는 도 2B의 이미지 상에서 사용자가 관찰하는 부분을 식별하는 동작을 나타낸 도면이다. 도 2D는 도 2C의 이미지 상에서 식별된 부분을 줌 인하는 동작을 나타낸 도면이다.
가상 현실 장치의 프로세서의 전력 소모를 줄이기 위해, 도 1의 과정 102에서, 사용자 머리의 포즈가 줌 인 포즈인 경우 이미지를 줌 인하기 전에 이하의 과정을 더 포함할 수 있다.
도 2A와 같은 두 개의 동전을 포함하는 가상 현실 장치에 디스플레이되는 이미지 상에서 도 2B과 와 같이 사용자의 두 눈의 초점을 검출할 수 있다. 또한, 도 2C와 같이 사용자 두 눈의 초점에 따라 사용자가 관찰하고 있는 이미지의 부분을 식별할 수 있다. 이때, 사용자의 두 눈의 초점이 위치하는 이미지 상의 객체의 경계들을 경계 검출 기법들에 의해 검출할 수 있다. 즉 도 2C에 도시된 바와 같이 우측 동전의 경계가 검출할 수 있다. 또한, 도 2 D와 같이 이미지에서 식별된 부분만 줌 인하는 동작을 수행할 수 있다. 즉, 도 2D에 도시된 바와 같이 우측 동전만 줌 인될 수 있다. 도 1의 과정 102에서, 사용자 머리의 포즈가 줌 아웃 포즈인 경우 이미지를 줌 아웃하기 전에 이하의 과정을 더 포함할 수 있다.
도 2A와 같은 두 개의 동전을 포함하는 가상 현실 장치에 디스플레이되는 이미지 상에서 도 2B과 와 같이 사용자의 두 눈의 초점을 먼저 검출할 수 있다. 또한, 도 2C와 같이 사용자 두 눈의 초점에 따라 사용자가 관찰하고 있는 이미지 부분을 식별할 수 있다. 이때, 사용자의 두 눈의 초점이 위치하는 이미지 상의 객체의 경계들을 경계 검출 기법들에 의해 검출할 수 있다. 즉 도 2C에 도시된 바와 같이 우측 동전의 경계가 검출할 수 있다. 또한, 이미지에서 식별된 부분만 줌 아웃하는 동작을 수행할 수 있다. 즉, 도 2C에서 우측 동전만 줌 아웃될 수 있다.
이하, 도 3A, 도 3B, 도 4 및 도 6을 참고하여, 본 개시의 일 실시예에 따른 가상 현실 장치의 동작 방법을 설명한다.
도 3A 및 도 3B는 본 개시의 일 실시예에 따른 가상 현실 장치의 동작 방법의 흐름도이다. 도 4는 본 개시의 일 실시예에 따른 가상 현실 장치에서 3차원 직교 좌표계를 설정하는 방법을 나타낸 도면이다.
줌 인 포즈가 머리를 앞으로 기울이는 것이고, 줌 아웃 포즈가 머리를 뒤로 기울이는 것이라고 가정할 때, 일 실시예는 이하의 과정들을 포함할 수 있다.
먼저 도 3A를 참고하면, 가상 현실 장치 사용자의 초기 시야의 방향을 식별하고 좌표계를 설정할 수 있다(301). 도 4를 참고하면, 초기 시야의 방향을 X 축의 양의 방향으로서 설정하고, X 축에 직교하고 사용자 머리의 위쪽 방향을 Z 축의 양의 방향으로서 설정하며, X 축 및 Z 축에 직교하며 사용자 머리의 좌측을 가리키는 방향을 Y 축의 양의 방향으로서 설정하여 제1의 3차원 직교 좌표계를 설정할 수 있다.
예를 들어, 가상 현실 장치는 안구 추적 기술을 통해 가상 현실 장치의 사용자의 초기 시야 방향을 식별할 수 있다. 구체적으로, 가상 현실 장치는 안구 추적 기법을 이용하여 가상 현실 장치 상의 이미지 상에서의 사용자 두 눈의 초점을 획득하고, 그런 다음 사용자 두 눈의 중심에서 초점까지의 방향을 X 축의 양의 방향으로서 설정할 수 있다.
다시 도 3A를 참고하면, 가상 현실 장치에 포함되는 가속 센서로부터 X 축, Y축, 및 Z 축 방향에서의 사용자 머리의 변위 벡터 성분들을 추정할 수 있다(302).
일 실시예에 따르면, 가상 현실 장치는 사용자의 머리에 착용할 수 있는 헤드 마운티드 디스플레이(head mounted display; HMD)일 수 있다. 헤드 마운티느 디스플레이는 헬멧이나 안경 형태일 수 있다. 가상 현실 장치는 가속도를 측정하는 가속도 센서(Accelerometer), 각속도를 측정하는 자이로스코프(Gyroscope), 지자기 센서인 마그네토미터(Magnetometer) 등의 다양한 센서 중 적어도 한 개 이상을 포함할 수 있다.
다음으로 가상 현실 장치는 제1 조건이 만족될 수 있는지 여부를 판단할 수 있다(303). 여기서 제1 조건이란, X 축의 양의 방향에서의 사용자 머리의 변위 벡터 성분의 절대값이 제1임계치보다 크고, Y 축 및 Z 축 방향들에서의 사용자 머리의 변위 벡터 성분들의 절대값들이 제2임계치보다 모두 작은 조건을 의미할 수 있다. 상기 제1 조건이 만족되면, 과정 304를 실행하고, 그렇지 않으면 과정 307를 실행할 수 있다.
상기 제1 조건이 만족되면, 가상 현실 장치는 센서로부터 각각 X 축, Y 축, 및 Z축을 중심으로 하는 롤 회전, 피치 회전 및 요 회전에 대한사용자 머리의 각속도들을 추정할 수 있다(304).
도 6을 참고하면, 여기서 요 회전은 z축을 중심으로 회전한 각도를 의미할 수 있다. 요 회전은 z축 위에서 좌표축의 중심을 바라볼 때, 반 시계 방향 회전으로 정의될 수 있다. 피치 회전은 y축을 중심으로 회전한 각도를 의미할 수 있다. 피치 회전은 y축 위에서 좌표축의 중심을 바라볼 때, 반 시계 방향 회전으로 정의될 수 있다. 롤 회전은 x축을 중심으로 회전한 각도를 의미할 수 있다. 롤 회전은 x축 위에서 좌표축의 중심을 바라볼 때, 반 시계 방향 회전으로 정의될 수 있다.다음으로, 각각 X 축, Y 축, 및 Z축을 중심으로 하는 롤 회전, 피치 회전 및 요 회전에 대한사용자 머리의 각속도들이 모두 제1 각속도 임계치보다 작은지 여부를 판단할 수 있다(305). 사용자 머리의 각속도들이 모두 제1 각속도 임계치보다 작은 경우 과정 306을 실행하고, 그렇지 않은 경우 과정 307을 실행할 수 있다.
사용자 머리의 각속도들이 모두 제1 각속도 임계치보다 작은 경우, 가상 현실 장치는 사용자 머리의 포즈가 머리를 앞으로 기울이는 것이라고 식별할 수 있다. 즉, 가상 현실 장치는 사용자 머리의 포즈가 줌 인 포즈라고 식별할 수 있다(306). 가상 현실 장치에 디스플레이된 이미지를 줌 인하는 동작을 수행할 수 있다. 이미지를 줌 인하는 동작을 수행한 후, 과정 302로 돌아갈 수 있다.
여기서 이미지를 줌 인하기 전에, 가상 현실 장치는 줌 인 조건이 만족되는지 여부를 더 판단할 수 있다. 줌 인 조건이 만족되는 경우에는 이미지를 줌 인할 수 있고, 만족되지 못하는 경우 이미지를 줌 인하지 않고 과정 302로 바로 돌아갈 수 있다.
줌 인 조건으로는 이미지의 해상도가 제1해상도 임계치 미만인 조건, 사용자의 두 눈의 초점이 이미지 상에 있는 조건이 있을 수 있으며, 이러한 조건을 적어도 하나 포함할 수 있다.
또한, 이미지를 줌 인하기 전에, 가상 현실 장치는 이미지 상에서의 사용자의 두 눈의 초점을 식별할 수 있다. 이미지를 줌 인할 때, 가상 현실 장치는 이미지 상에서의 사용자의 두 눈의 초점을 줌 센터로하여 이미지를 줌 인할 수 있다.
또한, 과정 306에서, 가상 현실 장치가 디스플레이된 이미지를 줌 인하고 있을 때, 가상 현실 장치는 제1의 3차원 직교 좌표계의 X 축의 양의 방향에서의 사용자 머리의 이동 속도의 성분을 더 검출할 수 있다. X 축의 양의 방향에서의 사용자 머리의 이동 속도의 성분이 0 이상이면, 가상 현실 장치는 디스플레이된 이미지를, 이미지의 줌 인 종료 조건이 만족될 때까지(예를 들어, 이미지의 해상도가 최대 해상도보다 큼) 계속해서 줌 인할 수 있다. X 축의 양의 방향에서의 사용자 머리의 이동 속도의 성분이 0 미만이면, 가상 현실 장치는 디스플레이된 이미지에 대한 줌 인을 종료할 수 있다.
도 3B를 참고하면, 사용자 머리의 각속도들 중 적어도 하나가 제1 각속도 임계치보다 큰 경우, 또는 상기 제1 조건이 만족되지 않은 경우, 가상 현실 장치는 제2 조건이 만족되는지 여부를 판단할 수 있다(307). 제2 조건은 X 축의 음의 방향에서의 사용자 머리의 변위 벡터 성분의 절대값이 제1임계치보다 크고, Y 축 및 Z 축 방향들에서의 변위 벡터 성분들의 절대값들이 제2임계치보다 모두 작은 조건일 수 있다. 제2 조건이 만족되면, 과정 308을 수행할 수 있고, 그렇지 않으면 과정 302를 수행할 수 있다.
제2 조건이 만족되는 경우, 가상 현실 장치는 각각 X 축, Y 축, 및 Z축을 중심으로 하는 롤 회전, 피치 회전 및 요 회전에 대한사용자 머리의 각속도들이 제2 각속도 임계치보다 모두 작은지 여부를 판단할 수 있다(308). 여기서 제2 각속도 임계치는 제1 각속도 임계치하고 같을 수 도 있고, 다를 수도 있다. 사용자 머리의 각속도들이 제2 각속도 임계치보다 모두 작은 경우 과정 309를 수행할 수 있고, 그렇지 않은 경우 과정 302로 돌아갈 수 있다.
사용자 머리의 각속도들이 제2 각속도 임계치보다 모두 작은 경우, 가상 현실 장치는 사용자 머리의 포즈가 머리를 뒤로 기울이는 것이라고 식별할 수 있다. 즉, 가상 현실 장치는 사용자 머리의 포즈를 줌 아웃 포즈라고 식별할 수 있다(309). 가상 현실 장치는 디스플레이된 이미지를 줌 아웃할 수 있다. 이미지를 줌 아웃한 후, 과정 302로 돌아갈 수 있다.
가상 현실 장치는 이미지를 줌 아웃하기 전에, 줌 아웃 조건이 만족되는지 여부를 더 판단할 수 있다. 줌 아웃 조건이 만족되면, 이미지를 줌 아웃할 수 있고, 만족되지 않으면 이미지를 줌 아웃하지 않고 과정 302로 바로 돌아갈 수 있다.
줌 아웃 조건은 이미지의 해상도가 제2 해상도 임계치보다 높은 조건, 사용자의 두 눈의 초점이 상기 이미지 상에 있는 조건들 중 적어도 하나를 포함할 수 있다.
또한, 가상 현실 장치는 이미지를 줌 아웃하기 전에, 이미지 상에서의 사용자의 두 눈의 초점을 검출할 수 있다. 이미지를 줌 아웃할 때, 이미지 상에서의 사용자의 두 눈의 초점을 줌 센터로하여 이미지를 줌 아웃할 수 있다.
과정 309에서, 가상 현실 장치가 디스플레이된 이미지를 줌 아웃하고 있을 때, 가상 현실 장치는 제1의 3차원 직교 좌표계의 X 축의 음의 방향에서의 사용자 머리의 이동 속도의 성분을 더 검출할 수 있다. X 축의 음의 방향에서의 사용자 머리의 이동 속도의 성분이 0 이상이면, 가상 현실 장치는 디스플레이된 이미지를, 이미지의 줌 아웃 종료 조건이 만족될 때까지(예를 들어, 이미지의 해상도가 최소 해상도보다 적음) 계속해서 줌 아웃할 수 있다. X 축의 음의 방향에서의 사용자 머리의 이동 속도의 성분이 0 미만이면, 가상 현실 장치는 디스플레이된 이미지에 대한 줌 아웃을 종료할 수 있다.
상기 일 실시예를 예를 들어 설명하였으나, 실시 방법은 이에 한정되지 않는다. 예를 들어, 상기 도 3A 및 도 3B의 순서들은 변경될 수 있으며, 일 예로 상기 제1 조건 및 제2 조건의 판단 순서가 서로 바뀔 수 있다. 또한 도 3A 및 도 3B의 일부 단계는 생략될 수 있다.
본 개시의 임계치들은 미리 결정되어 가상 현실 장치의 메모리부에 저장되어 있을 수도 있고, 가상 현실 장치의 사용자가 가상 현실 장치의 메모리부에 저장되어 있는 설정 프로그램을 사용하여 설정할 수도 있다. 또한, 본 개시에서 제1 임계치와 제2 임계치는 서로 동일할 수도 있고 서로 상이할 수도 있다.
이하, 도 5를 참고하여 본 개시의 일 실시예에 따른 가상 현실 장치에 대하여 설명한다.
도 5는 본 개시의 일 실시 예에 따른 가상 현실 장치의 구성요소들을 도시한 개략도이다.
가상 현실 장치는 센서(51), 제어부(52), 송수신부(53), 메모리부(54), 및 표시부(55) 중 적어도 하나를 포함할 수 있다.
센서(51)는 가상 현실 장치의 사용자 머리의 포즈를 실시간으로 식별하고, 식별된 머리 포즈를 제어부(52)로 전송할 수 있다.
제어부(52)는 센서(51)가 검출한 사용자 머리의 포즈가 줌인 포즈일 때 가상 현실 장치 상의 이미지를 줌 인하고, 센서(51)가 검출한 사용자 머리의 포즈가 줌 아웃 포즈일 때 가상 현실 장치 상의 이미지를 줌 아웃하도록 구성될 수 있다.
일 실시 예에서, 센서(51)가 검출한 줌 인 포즈는 머리를 좌측으로 기울이는 것이고, 줌 아웃 포즈는 머리를 우측으로 기울이는 것일 수 있다.
다른 실시 예에서, 센서(51)가 검출한 줌 인 포즈는 머리를 우측으로 기울이는 것이고, 줌 아웃 포즈는 머리를 좌측으로 기울이는 것일 수 있다.
또 다른 실시 예에서, 센서(51)이 검출한 줌 인 포즈는 머리를 앞으로 기울이는 것이고, 줌 아웃 포즈는 머리를 뒤로 기울이는 것일 수 있다.
또 다른 실시 예에서, 센서(51)이 검출한 줌 인 포즈는 머리를 뒤로 기울이는 것이고, 줌 아웃 포즈는 머리를 앞으로 기울이는 것일 수 있다.
상기 가상 현실 장치는 이미지 상에서의 사용자의 두 눈의 초점을 실시간 검출하고 그것을 제어부(52)로 전송하도록 구성된 시야 검출부를 더 포함할 수 있다.
이 실시 예에서, 이미지를 줌 인할 때, 제어부(52)는 시야 검출부에 의해 검출된 이미지 상에서의 사용자의 두 눈의 초점을 줌 센터로하여 가상 현실 장치 상의 이미지를 줌 인할 수 있다.
이미지를 줌 아웃할 때, 제어부(52)는 시야 검출부에 의해 검출된 이미지 상에서의 사용자의 두 눈의 초점을 줌 센터로하여 가상 현실 장치 상의 이미지를 줌 아웃할 수 있다.
구체적으로, 가상 현실 장치 상에서 이미지를 줌 인할 때, 제어부(52)는 VR 이미지 상에서의 사용자의 두 눈의 초점을 먼저 검출하고, 사용자의 두 눈의 초점에 따라 사용자가 관찰하는 이미지의 일부분을 식별하고, 사용자가 관찰하는 일부분을 줌 인할 수 있다.
가상 현실 장치 상에서 이미지를 줌 아웃할 때, 제어부(52)는 이미지 상에서의 사용자의 두 눈의 초점을 먼저 검출하고, 두 눈의 초점에 따라 사용자가 관찰하는 이미지의 일부분을 식별하고, 사용자가 관찰하는 일 부분을 줌 아웃할 수 있다.
가상 현실 장치 상의 이미지를 줌 인하기 전에, 제어부(52)는 이미지의 해상도가 제1해상도 임계치미만인지 여부 및/또는 사용자의 두 눈의 초점이 이미지 상에 있는지 여부를 더 판단하도록 구성될 수 있고, 긍정의 경우, 제어부(52)는 이미지를 줌 인할 수 있고, 그렇지 않은 경우 제어부(52)는 이미지를 줌 인하지 않을 수 있다.
마찬가지로, 가상 현실 장치 상의 이미지를 줌 아웃하기 전에, 제어부(52)는 이미지의 해상도가 제2해상도 임계치보다 높은지 여부 및/또는 사용자의 두 눈의 초점이 이미지 상에 있는지 여부를 더 판단하도록 구성될 수 있고, 긍정의 경우, 제어부(52)는 이미지를 줌 아웃할 수 있고, 그렇지 않은 경우 제어부(52)는 이미지를 줌 아웃하지 않을 수 있다.
본 발명의 일 실시 예에서, 가상 현실 장치의 사용자 머리의 포즈를 검출할 때, 센서(51)는 먼저, 줌 인 포즈의 변위 벡터가 가리키는 방향을 X 축의 양의 방향이라고 설정하고, X 축에 직교하고 사용자 머리의 꼭대기를 가리키는 방향을 Z 축의 양의 방향이라고 설정하고, X 축 및 Z 축에 직교하는 방향을 Y 축의 양의 방향이라고 설정할 수 있다. 그에 따라 제1좌표계가 설정될 수 있다.
센서(51)는 가상 현실 장치의 가속 센서로부터 X 축, Y 축, 및 Z 축 방향들에서의 사용자 머리의 변위 벡터 성분들을 추정할 수 있다.
X 축의 양의 방향에서의 사용자 머리의 변위 벡터 성분의 절대값이 제1임계치보다 크고, Y 축 및 Z 축 방향들에서의 사용자 머리의 변위 벡터 성분들의 절대값들이 제2임계치보다 모두 작다면, 센서(51)는 사용자 머리의 포즈가 줌 인 포즈임을 식별할 수 있다.
X 축의 음의 방향에서의 사용자 머리의 변위 벡터 성분의 절대값이 제1임계치보다 크고, Y 축 및 Z 축 방향들에서의 사용자 머리의 변위 벡터 성분들의 절대값들이 제2임계치보다 모두 작다면, 센서(51)는 사용자 머리의 포즈가 줌 아웃 포즈임을 식별할 수 있다.
다른 실시 예에서, 센서(51)는 가상 현실 장치의 자이로스코프로부터 각각 X 축, Y 축, 및 Z축을 중심으로 하는 롤 회전, 피치 회전 및 요 회전에 대한사용자 머리의 각속도을 더 획득할 수 있다.
이 경우, 센서(51)은 X 축의 양의 방향에서의 사용자 머리의 변위 벡터 성분의 절대값이 제1임계치보다 크고, Y 축 및 Z 축 방향들에서의 사용자 머리의 변위 벡터 성분들의 절대값들이 제2임계치보다 모두 작고, 각각 X 축, Y 축, 및 Z축을 중심으로 하는 롤 회전, 피치 회전 및 요 회전에 대한 사용자 머리의 각속도들이 모두 각속도 임계치보다 작을 때, 머리의 포즈가 줌 인 포즈라고 판단할 수 있다.
센서(51)은 X 축의 음의 방향에서의 사용자 머리의 변위 벡터 성분의 절대값이 제1임계치보다 크고, Y 축 및 Z 축 방향들에서의 사용자 머리의 변위 벡터 성분들의 절대값들이 제2임계치보다 모두 작고, 각각 X 축, Y 축, 및 Z축을 중심으로 하는 롤 회전, 피치 회전 및 요 회전에 대한사용자 머리의 각속도들이 모두 각속도 임계치보다 작을 때, 머리의 포즈가 줌 아웃 포즈라고 판단할 수 있다.
본 발명의 또 다른 실시 예에서, 줌 인 포즈가 머리를 앞으로 기울이는 것이고, 줌 아웃 포즈는 머리를 뒤로 기울이는 것일 때, 센서(51)는 이하의 동작들을 더 구현할 수 있다.
센서(51)는 시야 검출부로부터 가상 현실 장치의 사용자의 초기 시야 방향을 추정하고, 초기 시야 방향을 X 축의 양의 방향이라고 정의하고, X 축에 직교하고 사용자 머리 꼭대기를 가리키는 방향을 Y 축의 양의 방향이라 정의하며, X 축 및 Y 축에 직교하고 사용자 머리의 좌측을 가리키는 방향을 Z 축의 양의 방향이라고 정의할 수 있다. 그에 따라, 제1좌표계가 설정될 수 있다.
센서(51)는 가상 현실 장치의 가속 센서로부터 X 축, Y 축, 및 Z 축 방향들에서의 사용자 머리의 변위 벡터 성분들을 더 추정할 수 있다.
X 축의 양의 방향에서의 사용자 머리의 변위 벡터 성분의 절대값이 제1임계치보다 크고, Y 축 및 Z 축 방향들에서의 사용자 머리의 변위 벡터 성분들의 절대값들이 제2임계치보다 모두 작다면, 센서(51)는 사용자 머리의 포즈가 머리를 앞으로 기울이는 것임을 확인할 수 있다.
X 축의 음의 방향에서의 사용자 머리의 변위 벡터 성분의 절대값이 제1임계치보다 크고, Y 축 및 Z 축 방향들에서의 사용자 머리의 변위 벡터 성분들의 절대값들이 제2임계치보다 모두 작다면, 센서(51)는 사용자 머리의 포즈가 머리를 뒤로 기울이는 것임을 확인할 수 있다.
본 발명의 일 실시 예에서, 센서(51)는 가상 현실 장치의 자이로스코프로부터 각각 X 축, Y 축, 및 Z축을 중심으로 하는 롤 회전, 피치 회전 및 요 회전에 대한사용자 머리의 각속도들을 더 획득할 수 있다.
이 경우, 센서(51)는 X 축의 양의 방향에서의 사용자 머리의 변위 벡터 성분의 절대값이 제1임계치보다 크고, Y 축 및 Z 축 방향들에서의 사용자 머리의 변위 벡터 성분들의 절대값들이 제2임계치보다 모두 적고, 각각 X 축, Y 축, 및 Z축을 중심으로 하는 롤 회전, 피치 회전 및 요 회전에 대한사용자 머리의 각속도들이 모두 각속도 임계치보다 작을 때, 머리의 포즈가 머리를 앞으로 기울이는 것이라고 판단할 수 있다.
센서(51)은 X 축의 음의 방향에서의 사용자 머리의 변위 벡터 성분의 절대값이 제1임계치보다 크고, Y 축 및 Z 축 방향들에서의 사용자 머리의 변위 벡터 성분들의 절대값들이 제2임계치보다 모두 작고, 각각 X 축, Y 축, 및 Z축을 중심으로 하는 롤 회전, 피치 회전 및 요 회전에 대한사용자 머리의 각속도들이 모두 각속도 임계치보다 작을 때, 머리의 포즈가 머리를 뒤로 기울이는 것이라고 판단할 수 있다.
본 발명의 또 다른 실시 예에서, 줌 인 포즈가 머리를 앞으로 기울이는 것이고 줌 아웃 포즈가 머리를 뒤로 기울이는 것이거나, 줌 인 포즈가 머리를 뒤로 기울이는 것이고 줌 아웃 포즈가 머리를 앞으로 기울이는 것일 때, 그리고 상기 가상 현실 장치가 차량 상에 있을 때, 제어부(52)는 이하의 동작들을 구현할 수 있다.
줌 인 포즈가 검출될 때, 제어부(52)는 차량 상의 가속 센서에 의해 산출된 차량 진행 방향의 제1 가속 벡터의 성분 및 가상 현실 장치 상의 가속 센서에 의해 산출된 차량 진행 방향의 제2 가속 벡터의 성분 사이의 차이를 산출할 수 있다. 그 차이의 절대값이 소정 값보다 크면, 제어부(52)는 가상 현실 장치 상의 이미지를 줌 인할 수 있고, 그렇지 않으면 제어부(52)은 이미지를 줌 인하지 않을 수 있다.
줌 아웃 포즈가 검출될 때, 제어부(52)은 차량 상의 가속 센서에 의해 산출된 차량 진행 방향의 제1 가속 벡터의 성분 및 가상 현실 장치 상의 가속 센서에 의해 산출된 차량 진행 방향의 제2가속 벡터의 성분 사이의 차이를 산출할 수 있다. 그 차이의 절대값이 소정 값보다 크면, 제어부(52)은 가상 현실 장치 상의 이미지를 줌 아웃할 수 있고, 그렇지 않으면 제어부(52)는 이미지를 줌 아웃하지 않을 수 있다.
가상 현실 장치 상의 이미지를 줌 인할 때, 제어부(52)는 X 축의 양의 방향에서의 사용자 머리의 속도 성분을 검출할 수 있다. 속도 성분이 0 이상이면, 제어부(52)는 가상 현실 장치 상의 이미지를 계속 줌 인할 수 있다; 속도 성분이 0 미만이면, 제어부(52)는 가상 현실 장치 상의 이미지에 대한 줌 인을 중단할 수 있다.
가상 현실 장치 상의 이미지를 줌 아웃할 때, 제어부(52)는 X 축의 음의 방향에서의 사용자 머리의 속도 성분을 검출할 수 있다. 그 속도 성분이 0 이상이면, 제어부(52)는 가상 현실 장치 상의 이미지를 계속 줌 아웃할 수 있고, 속도 성분이 0 미만이면, 제어부(52)는 가상 현실 장치 상의 이미지에 대한 줌 아웃을 중단할 수 있다.
상술한 내용은 다만 본 발명의 바람직한 실시 예들일 뿐이며, 본 발명을 한정하고자 의도한 것이 아니다. 본 개시의 개념 및 원리 안에서 이루어지는 모든 변경, 균등한 치환 및 개선 사항은 본 개시의 보호 범위 안에 들어올 수 있다.
50: 가상 현실 장치
51: 센서
52: 제어부
53: 송수신부
54: 메모리부
55: 표시부

Claims (18)

  1. 가상 현실 장치에 의해 이미지를 제공하기 위한 방법에 있어서,
    상기 가상 현실 장치의 사용자의 머리의 변위 벡터에 기초하여 상기 사용자의 포즈를 줌 인 포즈(zooming in posture) 또는 줌 아웃 포즈(zooming out posture)로 식별하는 과정;
    상기 사용자의 포즈가 상기 줌 인 포즈인 것을 포함하는 줌 인 조건이 만족되는 경우, 상기 이미지를 줌 인하는 과정; 및
    상기 사용자의 포즈가 상기 줌 아웃 포즈인 것을 포함하는 줌 아웃 조건이 만족되는 경우, 상기 이미지를 줌 아웃하는 과정;
    을 포함하는 가상 현실 장치에 의해 이미지를 제공하기 위한 방법.
  2. 제1항에 있어서,
    상기 식별하는 과정은,
    3차원 직교 좌표계의 제1 축의 양(+)방향에서의 상기 사용자의 머리의 변위 벡터의 제1 성분이 제1 임계치보다 크고 상기 3차원 직교 좌표계의 제2 축에서의 상기 사용자의 머리의 변위 벡터의 제2 성분 및 상기 3차원 직교 좌표계의 제3 축에서의 상기 사용자의 머리의 변위 벡터의 제3 성분이 제2 임계치보다 모두 적은 경우, 상기 사용자의 포즈를 상기 줌 인 포즈로 식별하는 과정; 및
    상기 제1 축의 음(-)방향에서의 상기 사용자 머리의 변위 벡터의 상기 제1 성분이 상기 제1 임계치보다 크고 상기 제2 축에서의 상기 사용자의 머리의 변위 벡터의 상기 제2 성분 및 상기 제3 축에서의 상기 사용자의 머리의 변위 벡터의 상기 제3 성분이 상기 제2임계치보다 모두 작으면, 상기 사용자의 포즈를 줌 아웃 포즈로 식별하는 과정, 또는 상기 제2 축의 양(+)방향에서의 상기 사용자 머리의 변위 벡터의 상기 제1 성분이 상기 제1 임계치보다 크고 상기 제1 축에서의 상기 사용자의 머리의 변위 벡터의 상기 제2 성부 및 상기 제3 축에서의 상기 사용자 머리의 변위 벡터의 상기 제3 성분이 상기 제2임계치보다 모두 작으면, 상기 사용자의 포즈를 줌 아웃 포즈로 식별하는 과정;
    을 포함하는 가상 현실 장치에 의해 이미지를 제공하기 위한 방법.
  3. 제2항에 있어서,
    상기 제1 축, 상기 제2 축, 및 상기 제3 축 각각을 중심으로 하는 회전인 요(yaw) 회전, 피치(pitch) 회전 및 롤(roll) 회전에 대한 상기 사용자의 머리의 각속도들이 모두 각속도 임계치보다 작은지 여부를 판단하는 과정을 더 포함하고,
    상기 줌 인하는 과정 및 상기 줌 아웃하는 과정 중 적어도 하나는 상기 각속도들이 모두 각속도 임계치보다 작은 경우에 수행되는 가상 현실 장치에 의해 이미지를 제공하기 위한 방법.
  4. 제1항에 있어서,
    상기 이미지 상에서의 상기 사용자의 두 눈의 초점을 식별하는 과정을 더 포함하고,
    상기 줌 인하는 과정 및 상기 줌 아웃하는 과정은 상기 초점을 줌 센터로하여 수행되는 가상 현실 장치에 의해 이미지를 제공하기 위한 방법.
  5. 제1항에 있어서,
    상기 이미지 상에서의 상기 사용자의 두 눈의 초점을 식별하는 과정; 및
    상기 초점에 따라 상기 이미지에서 상기 사용자가 관찰하는 부분을 식별하는 과정을 더 포함하며,
    상기 줌 인하는 과정은 상기 식별된 부분을 줌 인하는 것을 포함하고,
    상기 줌 아웃하는 과정은 상기 식별된 부분을 줌 아웃하는 것을 포함하는 가상 현실 장치에 의해 이미지를 제공하기 위한 방법.
  6. 제1항에 있어서,
    상기 줌 인 조건은, 상기 이미지의 해상도가 제1 해상도 임계치 보다 낮은 조건 및 상기 사용자의 두 눈의 초점이 상기 이미지 상에 위치하는 조건 중 적어도 하나를 더 포함하고,
    상기 줌 아웃 조건은, 상기 이미지의 해상도가 제2 해상도 임계치 보다 높은 조건 및 상기 사용자의 두 눈의 초점이 상기 이미지 상에 위치하는 조건 중 적어도 하나를 더 포함하는,
    가상 현실 장치에 의해 이미지를 제공하기 위한 방법.
  7. 제1항에 있어서,
    상기 줌 인 조건 및 상기 줌 아웃 조건은 각각,
    상기 사용자가 탑승하고 있는 운송 수단에 의해 추정된 상기 운송 수단의 진행 방향의 제1 가속 벡터와 상기 가상 현실 장치에 의해 추정된 상기 상기 운송 수단의 상기 진행 방향의 제2 가속 벡터의 차이의 절대값이 임계치보다 큰 조건을 더 포함하는 가상 현실 장치에 의해 이미지를 제공하기 위한 방법.
  8. 제1항에 있어서,
    상기 줌 인하는 과정은, 3차원 직교 좌표계의 제1 축의 양(+)방향에서의 상기 사용자의 머리의 제1 속도를 추정하는 과정, 및 상기 제1 속도가 0 이상이면 상기 이미지를 줌 인하는 것을 계속하는 과정, 및 상기 제1 속도가 0 미만이면 상기 이미지를 줌 인하는 것을 중단하는 과정을 포함하고,
    상기 줌 아웃하는 과정은,
    상기 제1 축의 음(-)방향에서의 상기 사용자의 머리의 제2 속도를 추정하는 과정, 및 상기 제2 속도가 0 이상이면 상기 이미지를 줌 아웃하는 것을 계속하는 과정, 및 상기 제2 속도가 0 미만이면 상기 이미지를 줌 아웃하는 것을 중단하는 과정을 포함하거나, 또는
    상기 3차원 좌표계의 제2 축의 양(+)방향에서의 상기 사용자의 머리의 상기 제2 속도를 추정하는 과정, 및 상기 제2 속도가 0 이상이면 상기 이미지를 줌 아웃하는 것을 계속하는 과정, 및 상기 제2 속도가 0 미만이면 상기 이미지를 줌 아웃하는 것을 중단하는 과정을 포함하는,
    가상 현실 장치에 의해 이미지를 제공하기 위한 방법.
  9. 제1항에 있어서,
    상기 줌 인 포즈는 상기 사용자의 머리를 상기 사용자의 우측으로 기울이는 동작, 상기 사용자의 머리를 상기 사용자의 좌측으로 기울이는 동작, 상기 사용자의 머리를 상기 사용자의 앞으로 기울이는 동작 및 상기 사용자의 머리를 상기 사용자의 뒤로 기울이는 동작 중 적어도 하나이고,
    상기 줌 아웃 포즈는 상기 사용자의 머리를 상기 사용자의 좌측으로 기울이는 동작, 상기 사용자의 머리를 상기 사용자의 우측으로 기울이는 동작, 상기 사용자의 머리를 상기 사용자의 뒤로 기울이는 동작 및 상기 사용자의 머리를 상기 사용자의 앞으로 기울이는 동작 중 적어도 하나인,
    가상 현실 장치에 의해 이미지를 제공하기 위한 방법.
  10. 이미지를 제공하기 위한 가상 현실 장치에 있어서,
    센서 및 제어부를 포함하며,
    상기 센서는 상기 가상 현실 장치의 사용자의 머리의 움직임을 추정하고,
    상기 제어부는,
    상기 가상 현실 장치의 상기 움직임의 변위 벡터에 기초하여 상기 사용자의 포즈를 줌 인 포즈(zooming in posture) 또는 줌 아웃 포즈(zooming out posture)로 식별하고,
    상기 사용자의 포즈가 상기 줌 인 포즈인 것을 포함하는 줌 인 조건이 만족되는 경우, 상기 이미지를 줌 인하는 과정을 수행하며,
    상기 사용자의 포즈가 상기 줌 아웃 포즈인 것을 포함하는 줌 아웃 조건이 만족되는 경우, 상기 이미지를 줌 아웃하는 과정을 수행하도록 상기 가상 현실 장치를 제어하는,
    가상 현실 장치.
  11. 제10항에 있어서,
    상기 제어부는,
    3차원 직교 좌표계의 제1 축의 양(+)방향에서의 상기 사용자의 머리의 변위 벡터의 제1 성분이 제1 임계치보다 크고, 상기 3차원 직교 좌표계의 제2 축에서의 상기 사용자의 머리의 변위 벡터의 제2 성분 및 상기 3차원 직교 좌표계의 제3 축에서의 상기 사용자의 머리의 변위 벡터의 제3 성부이 제2 임계치보다 모두 적은 경우, 상기 사용자의 포즈를 상기 줌 인 포즈로 식별하고,
    상기 제1 축의 음(-)방향에서의 상기 사용자 머리의 변위 벡터의 상기 제1 성부이 상기 제1 임계치보다 크고 상기 제2 축에서의 상기 사용자의 머리의 변위 벡터의 상기 제2 성분 및 상기 제3 축에서의 상기 사용자의 머리의 변위 벡터의 상기 제3 성부이 상기 제2임계치보다 모두 작으면, 상기 사용자의 포즈를 줌 아웃 포즈로 식별하거나, 또는 상기 제2 축의 양(+)방향에서의 상기 사용자 머리의 변위 벡터의 상기 제1 성분이 상기 제1 임계치보다 크고 상기 제1 축에서의 상기 사용자의 머리의 변위 벡터의 상기 제2 성분 및 상기 제3 축에서의 상기 사용자 머리의 변위 벡터의 상기 제3 성분이 상기 제2임계치보다 모두 작으면, 상기 사용자의 포즈를 줌 아웃 포즈로 식별하도록 상기 가상 현실 장치를 제어하는,
    가상 현실 장치.
  12. 제11항에 있어서,
    상기 제어부는,
    상기 제1 축, 상기 제2 축, 및 상기 제3 축 각각을 중심으로 하는 회전인 요 회전, 피치 회전 및 롤 회전에 대한 상기 사용자의 머리의 각속도들이 모두 각속도 임계치보다 작은지 여부를 더 판단하도록 상기 가상 현실 장치를 제어하고,
    상기 줌 인하는 과정 및 상기 줌 아웃하는 과정 중 적어도 하나는 상기 각속도들이 모두 각속도 임계치보다 작은 경우에 수행되도록 상기 가상 현실 장치를 제어하는,
    가상 현실 장치.
  13. 제10항에 있어서,
    상기 제어부는,
    상기 이미지 상에서의 상기 사용자의 두 눈의 초점을 식별하도록 상기 가상 현실 장치를 제어하고,
    상기 줌 인하는 과정 및 상기 줌 아웃하는 과정이 상기 초점을 줌 센터로하여 수행되도록 상기 가상 현실 장치를 제어하는,
    가상 현실 장치.
  14. 제10항에 있어서,
    상기 제어부는,
    상기 이미지 상에서의 상기 사용자의 두 눈의 초점을 식별하고,
    상기 초점에 따라 상기 이미지에서 상기 사용자가 관찰하는 부분을 식별하며,
    상기 줌 인하는 과정은 상기 식별된 부분을 줌 인하는 것을 포함하고,
    상기 줌 아웃하는 과정은 상기 식별된 부분을 줌 아웃하는 것을 포함하도록 상기 가상 현실 장치를 제어하는,
    가상 현실 장치.
  15. 제10항에 있어서,
    상기 줌 인 조건은, 상기 이미지의 해상도가 제1 해상도 임계치 보다 낮은 조건 및 상기 사용자의 두 눈의 초점이 상기 이미지 상에 위치하는 조건 중 적어도 하나를 더 포함하고,
    상기 줌 아웃 조건은, 상기 이미지의 해상도가 제2 해상도 임계치 보다 높은 조건 및 상기 사용자의 두 눈의 초점이 상기 이미지 상에 위치하는 조건 중 적어도 하나를 더 포함하는,
    가상 현실 장치.
  16. 제10항에 있어서,
    상기 줌 인 조건 및 상기 줌 아웃 조건은 각각,
    상기 사용자가 탑승하고 있는 운송 수단에 의해 추정된 상기 운송 수단의 진행 방향의 제1 가속 벡터와 상기 가상 현실 장치에 의해 추정된 상기 상기 운송 수단의 상기 진행 방향의 제2 가속 벡터의 차이의 절대값이 임계치보다 큰 조건을 더 포함하는 가상 현실 장치.
  17. 제10항에 있어서,
    상기 줌 인하는 과정은, 3차원 직교 좌표계의 제1 축의 양(+)방향에서의 상기 사용자의 머리의 제1 속도를 추정하는 과정, 및 상기 제1 속도가 0 이상이면 상기 이미지를 줌 인하는 과정, 및 상기 제1 속도가 0 미만이면 상기 이미지를 줌 인하는 것을 중단하는 과정을 포함하고,
    상기 줌 아웃하는 과정은,
    상기 제1 축의 음(-)방향에서의 상기 사용자의 머리의 제2 속도를 추정하는 과정, 및 상기 제2 속도가 0 이상이면 상기 이미지를 줌 아웃하는 과정, 및 상기 제2 속도가 0 미만이면 상기 이미지를 줌 아웃하는 것을 중단하는 과정을 포함하거나, 또는
    상기 3차원 좌표계의 제2 축의 양(+)방향에서의 상기 사용자의 머리의 상기 제2 속도를 추정하는 과정, 및 상기 제2 속도가 0 이상이면 상기 이미지를 줌 아웃하는 과정, 및 상기 제2 속도가 0 미만이면 상기 이미지를 줌 아웃하는 것을 중단하는 과정을 포함하는,
    가상 현실 장치.
  18. 제10항에 있어서,
    상기 줌 인 포즈는 상기 사용자의 머리를 상기 사용자의 우측으로 기울이는 동작, 상기 사용자의 머리를 상기 사용자의 좌측으로 기울이는 동작, 상기 사용자의 머리를 상기 사용자의 앞으로 기울이는 동작 및 상기 사용자의 머리를 상기 사용자의 뒤로 기울이는 동작 중 적어도 하나 이고,
    상기 줌 아웃 포즈는 상기 사용자의 머리를 상기 사용자의 좌측으로 기울이는 동작, 상기 사용자의 머리를 상기 사용자의 우측으로 기울이는 동작, 상기 사용자의 머리를 상기 사용자의 뒤로 기울이는 동작 및 상기 사용자의 머리를 상기 사용자의 앞으로 기울이는 동작 중 적어도 하나인,
    가상 현실 장치.
KR1020170157514A 2016-11-25 2017-11-23 가상 현실 기기 상에서의 이미지 줌인 및 줌아웃을 위한 방법 및 장치 KR20180059366A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP17873373.9A EP3545387A4 (en) 2016-11-25 2017-11-24 METHOD AND DEVICE FOR PROVIDING AN IMAGE
PCT/KR2017/013483 WO2018097632A1 (en) 2016-11-25 2017-11-24 Method and device for providing an image
US15/822,340 US11068048B2 (en) 2016-11-25 2017-11-27 Method and device for providing an image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201611049218.1 2016-11-25
CN201611049218.1A CN106557170A (zh) 2016-11-25 2016-11-25 对虚拟现实设备上的图像进行缩放的方法及装置

Publications (1)

Publication Number Publication Date
KR20180059366A true KR20180059366A (ko) 2018-06-04

Family

ID=58443798

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170157514A KR20180059366A (ko) 2016-11-25 2017-11-23 가상 현실 기기 상에서의 이미지 줌인 및 줌아웃을 위한 방법 및 장치

Country Status (3)

Country Link
EP (1) EP3545387A4 (ko)
KR (1) KR20180059366A (ko)
CN (1) CN106557170A (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107464291B (zh) * 2017-08-22 2020-12-29 广州魔发科技有限公司 一种脸部图像的处理方法及装置
CN111629195A (zh) * 2019-02-28 2020-09-04 邓云天 一种3dvr照片的显示方法
CN111338476A (zh) * 2020-02-25 2020-06-26 上海唯二网络科技有限公司 通过头戴式vr显示设备实现人机交互的方法及装置
CN115442581B (zh) * 2021-12-29 2024-01-16 北京罗克维尔斯科技有限公司 车载vr眼镜控制方法、装置及计算机设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103118202A (zh) * 2013-03-12 2013-05-22 上海斐讯数据通信技术有限公司 一种通过摇动控制手机的方法
US9213403B1 (en) * 2013-03-27 2015-12-15 Google Inc. Methods to pan, zoom, crop, and proportionally move on a head mountable display
KR102129464B1 (ko) * 2013-07-01 2020-07-03 엘지전자 주식회사 디스플레이 장치 및 그것의 제어 방법
CN103558915B (zh) * 2013-11-01 2017-11-07 王洪亮 人体耦合智能信息输入系统及方法
CN104796594B (zh) * 2014-01-16 2020-01-14 中兴通讯股份有限公司 一种预览界面特殊效果即时呈现方法及终端设备
US20150346813A1 (en) * 2014-06-03 2015-12-03 Aaron Michael Vargas Hands free image viewing on head mounted display
US10073516B2 (en) * 2014-12-29 2018-09-11 Sony Interactive Entertainment Inc. Methods and systems for user interaction within virtual reality scene using head mounted display
CN105898346A (zh) * 2016-04-21 2016-08-24 联想(北京)有限公司 控制方法、电子设备及控制系统
CN106131483A (zh) * 2016-06-24 2016-11-16 宇龙计算机通信科技(深圳)有限公司 一种基于虚拟现实的巡检方法及相关设备、系统

Also Published As

Publication number Publication date
EP3545387A4 (en) 2019-12-11
EP3545387A1 (en) 2019-10-02
CN106557170A (zh) 2017-04-05

Similar Documents

Publication Publication Date Title
US11068048B2 (en) Method and device for providing an image
US8310537B2 (en) Detecting ego-motion on a mobile device displaying three-dimensional content
US10852847B2 (en) Controller tracking for multiple degrees of freedom
JP5323910B2 (ja) 移動ロボットの遠隔操縦のための衝突防止装置及び方法
KR20180059366A (ko) 가상 현실 기기 상에서의 이미지 줌인 및 줌아웃을 위한 방법 및 장치
JP6057396B2 (ja) ３次元ユーザインタフェース装置及び３次元操作処理方法
JP6611501B2 (ja) 情報処理装置、仮想オブジェクトの操作方法、コンピュータプログラム、及び記憶媒体
US9342925B2 (en) Information processing apparatus, information processing method, and program
JP2011075559A (ja) 動き検出装置および方法
WO2016031105A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP7274510B2 (ja) 仮想オブジェクト表示装置及び仮想オブジェクト表示方法
CN110895676B (zh) 动态对象跟踪
WO2015093130A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP2005196567A (ja) 顔向き検出装置
CN111902859A (zh) 信息处理装置、信息处理方法和程序
JP7471497B2 (ja) 画像表示システム、画像表示プログラム、表示制御装置、および画像表示方法
Park et al. A novel line of sight control system for a robot vision tracking system, using vision feedback and motion-disturbance feedforward compensation
CN111565898B (zh) 操作引导系统
Park et al. A simple vision-based head tracking method for eye-controlled human/computer interface
JP2016181302A (ja) 没入型仮想空間でオブジェクト操作を制御するためのコンピュータ・プログラムおよびコンピュータ・システム
CN115390253A (zh) 一种场景展示方法、装置、电子设备及存储介质
WO2021220407A1 (ja) ヘッドマウントディスプレイ装置および表示制御方法
JP7383549B2 (ja) 画像記録システム及び画像記録方法
US10885319B2 (en) Posture control system
US11899834B2 (en) Information processing device and method

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X601 Decision of rejection after re-examination