KR20200135352A - 정보 처리 장치, 정보 처리 방법 및 프로그램 - Google Patents

정보 처리 장치, 정보 처리 방법 및 프로그램 Download PDF

Info

Publication number
KR20200135352A
KR20200135352A KR1020207026956A KR20207026956A KR20200135352A KR 20200135352 A KR20200135352 A KR 20200135352A KR 1020207026956 A KR1020207026956 A KR 1020207026956A KR 20207026956 A KR20207026956 A KR 20207026956A KR 20200135352 A KR20200135352 A KR 20200135352A
Authority
KR
South Korea
Prior art keywords
virtual image
frequency
drawing frequency
information processing
control unit
Prior art date
Application number
KR1020207026956A
Other languages
English (en)
Inventor
아츠시 이시하라
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20200135352A publication Critical patent/KR20200135352A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435—Change or adaptation of the frame rate of the video stream
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Abstract

실공간에 관련되는 센싱 결과에 기초하는 가상 화상의 묘화 혹은 표시의 품질을 향상시키는 것을 가능하게 한다. 실공간에 관련되는 센싱 결과에 기초하여, 가상 화상의 묘화 빈도를, 제1 묘화 빈도와 상기 제1 묘화 빈도보다도 큰 제2 묘화 빈도의 사이에서 전환하는 묘화 제어부와, 상기 센싱 결과와, 상기 제1 묘화 빈도 또는 상기 제2 묘화 빈도의 한쪽에 기초하여 상기 가상 화상을 표시하도록 표시 장치를 제어하는 표시 제어부를 구비하는, 정보 처리 장치가 제공된다.

Description

정보 처리 장치, 정보 처리 방법 및 프로그램
본 개시는, 정보 처리 장치, 정보 처리 방법 및 프로그램에 관한 것이다.
근년, 정보 처리 기술에 수반하여 가상 현실(VR: Virtual Reality) 및 확장 현실(AR: Augmented Reality) 등, 가상 화상을 표시하는 기술이 다양한 장치, 시스템 또는 서비스 등에 사용되고 있다.
예를 들어, 이하의 특허문헌 1에는, 가상 공간에 있어서의 유저와 가상 화상 사이의 거리 또는 유저의 이동 속도 등에 따라서 가상 화상이 부여된 배경화면의 갱신 빈도를 변경함으로써, 묘화 범위의 원방 한계를 최대한 멀리 설정하는 것을 가능하게 하는 기술이 개시되어 있다.
일본 특허 공개 제2013-214162호 공보
특허문헌 1을 포함하는 선행 기술에서는, 실공간에 관련되는 센싱 결과에 기초하는 가상 화상의 묘화에 대하여는 충분히 고려가 이루어져 있지 않아, 가상 화상의 묘화 혹은 표시의 품질 향상에 대하여 개선의 여지가 있다.
본 개시는 상기를 감안하여 이루어진 것이며, 실공간에 관련되는 센싱 결과에 기초하는 가상 화상의 묘화 혹은 표시의 품질을 향상시키는 것이 가능한, 신규이면서 개량된 정보 처리 장치, 정보 처리 방법 및 프로그램을 제공한다.
본 개시에 의하면, 묘화 제어부와 표시 제어부를 구비하는 정보 처리 장치가 제공된다. 상기 묘화 제어부는, 실공간에 관련되는 센싱 결과에 기초하여, 가상 화상의 묘화 빈도를, 제1 묘화 빈도와 상기 제1 묘화 빈도보다도 큰 제2 묘화 빈도의 사이에서 전환한다. 상기 표시 제어부는, 상기 센싱 결과와, 상기 제1 묘화 빈도 또는 상기 제2 묘화 빈도의 한쪽에 기초하여 상기 가상 화상을 표시하도록 표시 장치를 제어한다.
또한, 본 개시에 의하면, 실공간에 관련되는 센싱 결과에 기초하여, 가상 화상의 묘화 빈도를, 제1 묘화 빈도와 상기 제1 묘화 빈도보다도 큰 제2 묘화 빈도의 사이에서 전환하는 것과, 상기 센싱 결과와, 상기 제1 묘화 빈도 또는 상기 제2 묘화 빈도의 한쪽에 기초하여 상기 가상 화상을 표시하도록 표시 장치를 제어하는 것을 갖는, 적어도 하나의 프로세서에 의해 실행되는 정보 처리 방법이 제공된다.
또한, 본 개시에 의하면, 실공간에 관련되는 센싱 결과에 기초하여, 가상 화상의 묘화 빈도를, 제1 묘화 빈도와 상기 제1 묘화 빈도보다도 큰 제2 묘화 빈도의 사이에서 전환하는 것과, 상기 센싱 결과와, 상기 제1 묘화 빈도 또는 상기 제2 묘화 빈도의 한쪽에 기초하여 상기 가상 화상을 표시하도록 표시 장치를 제어하는 것을, 컴퓨터에 실현시키기 위한 프로그램이 제공된다.
이상 설명한 바와 같이 본 개시에 의하면, 실공간에 관련되는 센싱 결과에 기초하는 가상 화상의 묘화 혹은 표시의 품질을 향상시키는 것이 가능해진다.
또한, 상기 효과는 반드시 한정적인 것은 아니고, 상기 효과와 함께 또는 상기 효과 대신에, 본 명세서에 나타난 어느 효과 또는 본 명세서로부터 파악될 수 있는 다른 효과가 발휘되어도 된다.
도 1은, HMD가 가상 화상을 표시하는 동작의 개요에 대하여 설명하는 도면이다.
도 2는, 2D 보정에 대하여 설명하는 도면이다.
도 3은, 2D 보정과 3D 묘화의 차이에 대하여 설명하는 도면이다.
도 4는, 유저와 가상 화상 사이의 거리가 가까운 경우에 있어서의 시차에 대하여 설명하는 도면이다.
도 5는, 유저와 가상 화상 사이의 거리가 가까운 경우에 있어서의 시차에 대하여 설명하는 도면이다.
도 6은, 유저와 가상 화상 사이의 거리가 먼 경우에 있어서의 시차에 대하여 설명하는 도면이다.
도 7은, 유저와 가상 화상 사이의 거리가 먼 경우에 있어서의 시차에 대하여 설명하는 도면이다.
도 8은, 유저와 가상 화상 사이의 거리에 따른 2D 보정 역치를 나타내는 도면이다.
도 9는, 제1 실시예에 관한 HMD의 기능 구성에 대하여 나타내는 블록도이다.
도 10은, 제1 실시예에 관한 HMD의 동작을 나타내는 흐름도이다.
도 11은, 제1 실시예의 적용예를 나타내는 도면이다.
도 12는, 제1 실시예의 적용예를 나타내는 도면이다.
도 13은, 제2 실시예에 관한 HMD의 기능 구성에 대하여 나타내는 블록도이다.
도 14는, 제2 실시예에 관한 HMD의 동작을 나타내는 흐름도이다.
도 15는, 제2 실시예의 적용예를 나타내는 도면이다.
도 16은, HMD의 하드웨어 구성을 나타내는 블록도이다.
이하에 첨부 도면을 참조하면서, 본 개시의 적합한 실시 형태에 대하여 상세하게 설명한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대하여는, 동일한 번호를 부여함으로써 중복 설명을 생략한다.
또한, 설명은 이하의 순서로 행하는 것으로 한다.
1. 배경
2. 개요
3. 제1 실시예
3-1. 기능 구성
3-2. 동작
3-3. 적용예
4. 제2 실시예
4-1. 기능 구성
4-2. 동작
4-3. 적용예
5. 하드웨어 구성
6. 결론
<1. 배경>
먼저, 본 개시의 배경에 대하여 설명한다.
상기한 바와 같이, 근년, 정보 처리 기술에 수반하여 가상 화상을 표시시킴으로써, 다양한 유저 체험을 실현할 수 있는 AR 및 VR 등의 기술이 왕성하게 개발되고 있다. 일반적으로, VR은, 실공간에 있어서의 유저의 로케이션과는 다른 로케이션을 나타내는 공간(가상 공간)의 상을 표시 장치의 위치·자세의 변화에 따라서 변화시켜 표시하는 기술로 간주할 수 있다. 이 경우, 가상 공간의 상에는, 원격지의 실공간의 화상이 포함될 수 있다. 한편, AR은, 실공간에 있어서의 유저의 로케이션과 실질적으로 동일한 로케이션을 나타내는 실공간의 상에, 가상 화상 등의 부가적 정보를 부여하는 기술로 간주할 수 있다. 이 경우, 실공간의 상에는, 유저가 광학적으로 직접 시인하는 실공간의 상뿐만 아니라, 촬상 장치에 의해 실시간으로 취득되는 실공간의 상이 포함될 수 있다.
예를 들어, 헤드 마운트 디스플레이(HMD: Head-Mounted Display. 이 후 「HMD」라 호칭함)를 장착한 유저의 위치 자세 또는 움직임 등에 연동하여 HMD에 표시시키는 가상 화상을 변경하는 기술 등이 개발되어 있다. 보다 구체적으로는, HMD는, 자장치에 구비되어 있는 센서(외향 스테레오 카메라, 가속도 센서 또는 자이로 센서 등)를 사용하여 자장치의 위치 자세 등을 추정하거나, 어떤 시간 경과 후의 자장치의 위치 자세 등을 예측하거나 하는 처리를 행한다. 그리고, HMD는 이 처리 결과에 따라서 가상 화상을 묘화하고, 당해 가상 화상을 디스플레이에 표시시킨다. 예를 들어, HMD는 유저의 움직임에 연동하여, 어떤 프레임 레이트(예를 들어, 60[Hz] 등)로 가상 화상을 묘화함으로써, 유저의 시계 변화에 추종하도록 가상 화상을 표시할 수 있다.
이 때, HMD에 표시된 가상 화상이 깜박거리는 경우가 있다. 깜박거림을 발생시키는 요인은 다양하다. 예를 들어, 후술하는 바와 같이 실공간에 관련되는 센싱 결과에 기초하여 가상 화상을 묘화하는 것이 깜박거림을 발생시키는 요인이 되는 경우가 있다.
예를 들어, HMD의 위치 자세의 미소한 변화에 의해 가상 화상의 깜박거림이 발생하는 경우가 있다. 보다 구체적으로 설명하면, HMD의 위치 자세가 미소하게 변화되면, HMD가 당해 변화를 반영하고, 미소하게 변화된 가상 화상을 고속(프레임 레이트의 주파수)으로 묘화함으로써, 가상 화상의 깜박거림이 발생하는 경우가 있다. 또한, HMD가 라이팅(3차원 공간에 가상적인 광원을 배치하고, 당해 광원으로부터 광이 조사된 것처럼 보이는 가공을 가리킴)을 실시한 가상 화상을 묘화하는 경우, 자장치의 위치 자세의 변화가 미소해도 당해 변화에 의한 가상 화상의 변화가 보다 커지기 때문에, 가상 화상의 깜박거림이 보다 커진다. 또한, 가상 화상이 3차원 화상인 경우, 가상 화상이 2차원 화상인 경우에 비해, 자장치의 위치 자세의 미소한 변화에 의한 가상 화상의 변화가 보다 커지기 때문에, 라이팅이 실시되지 않아도 가상 화상의 깜박거림이 보다 커진다.
또한, HMD의 위치 자세가 미소하게 변화되는 요인은 다양하다. 예를 들어, HMD가 자장치에 구비된 외향 스테레오 카메라의 촬상 결과를 사용하여 위치 자세의 추정 또는 예측을 하는 경우, 촬상 환경이 어두울 때, 또는 촬상 화상에 있어서 평탄하고 변화가 적은 영역이 많을 때, HMD에 의한 위치 자세의 추정 결과 또는 예측 결과의 정밀도가 낮아진다. 이에 의해, HMD의 위치 자세가 실제로는 거의 변화되지 않은 경우라 해도, 위치 자세의 추정 결과 등이 미소하게 변화되는 경우가 있다.
또한, HMD가 자장치에 구비된 각종 센서(예를 들어, 자이로 센서, 가속도 센서 등)의 출력을 사용하여, 자장치의 위치 자세를 보정하는 경우, 센서의 계산 오차가 시간의 경과와 함께 축적됨으로써, 위치 자세의 추정 결과 등의 오차가 커지는 경우가 있다. 또한, 각종 센서는, 센서 자체의 온도, 주변 온도가 높아짐에 따라서 출력 오차가 커지는 경우가 있기 때문에, 이에 의해, 위치 자세의 추정 결과 등의 오차가 커지는 경우가 있다. 그리고, 각종 센서는 각각 독립적으로 동작하기 때문에 상기 오차가 서로 작용함으로써, 위치 자세의 추정 결과 등의 오차가 보다 커지는 경우가 있다.
또한, 가상 화상이 정지하고 있는 경우(또는, 가상 화상이 저속도로 움직이고 있는 경우), 가상 화상이 복잡한 형상, 모양 혹은 색채를 갖고 있는 경우, 유저와 가상 화상 사이의 거리가 가까운 경우 등에 있어서는, 가상 화상의 깜박거림이 보다 커진다. 예를 들어, 유저가, 복잡한 가공을 실시한 예술품의 가상 화상을 아주 가깝게 관찰하는 경우 등에 있어서는, 가상 화상의 깜박거림을 보다 민감하게 느끼기 쉽다.
또한, HMD의 위치 자세의 미소한 변화 이외에도, 예를 들어 디스플레이의 해상도가 낮은 경우에, 가상 화상의 깜박거림이 보다 커진다(또는, 유저가 깜박거림을 인식하기 쉬워진다). 특히, HMD 등의 웨어러블형 디바이스는, 소비 전력을 저감시키거나 발열을 억제하거나 하기 위해서, 디스플레이의 해상도를 저감시키는 경우가 있다. 이 때, 유저가 가상 화상의 깜박거림을 인식하는 경우가 있다.
본 건의 개시자는 상기 사정을 감안하여, 본 개시에 관한 기술을 창작하기에 이르렀다. 이하에는, 본 건의 일 실시 형태에 대하여 상세하게 설명해간다.
<2. 개요>
상기에서는, 본 개시의 배경에 대하여 설명하였다. 계속해서, 본 개시의 개요에 대하여 설명한다.
본 개시는 각종 장치 또는 시스템 등에 적용될 수 있다. 또한, 본 개시는, 어떠한 화상을 표시 가능한 것이면, 어떠한 장치 또는 시스템에 적용되어도 된다. 예를 들어, 본 개시는 AR 또는 VR을 실현 가능한 장치 또는 시스템에 적용되어도 된다. 이하에는, 일례로서 본 개시가, AR 화상을 표시하는 정보 처리 장치인 광학 투과형HMD(이 후, 「HMD(100)」라 호칭함)에 적용된 경우에 대하여 설명한다.
여기서, 사용되는 HMD(100)의 종류 및 형상은 임의이다. 예를 들어 HMD(100)는, 헤드 밴드형(헤드부의 전체 둘레를 감싸는 밴드로 장착되는 타입. 또한, 측두부뿐만 아니라 헤드 정상부를 통과하는 밴드가 마련되는 경우도 있음)이나, 헬멧 타입(헬멧의 바이저 부분이 디스플레이에 상당함)이어도 된다.
HMD(100)에는, 장착 시에 유저의 시선 방향, 즉, 바깥 방향을 촬영하는 외향 스테레오 카메라, 장착 시에 유저의 눈을 촬영하는 내향 스테레오 카메라, 가속도 센서, 자이로 센서 등의 각종 센서가 마련되어 있다. 또한, HMD(100)에 구비되어 있는 센서는 이들에 한정되지 않는다.
여기서, 도 1을 참조하여, HMD(100)가 가상 화상을 표시하는 일련의 동작 개요에 대하여 설명한다. 먼저, 도 1의 「센싱 데이터 취득」에 있어서는, HMD(100)는, 외향 스테레오 카메라 등의 각종 센서에 의해 출력된 센싱 데이터를 취득한다. 「위치 자세 추정」에 있어서는, HMD(100)는 센싱 데이터에 기초하여 자장치의 위치 자세를 추정한다. 「위치 자세 예측(묘화용)」에 있어서는, HMD(100)가 추정한 자장치의 위치 자세에 기초하여, 표시부(150)(디스플레이 등)에 가상 화상을 표시할 때의 자장치의 위치 자세를 예측한다. 또한, HMD(100)는 자장치의 위치 자세뿐만 아니라, 유저가 시인하는 실공간의 물체의 위치 자세 등을 외향 스테레오 카메라의 촬상 화상 등을 해석함으로써 예측해도 된다.
「묘화」에 있어서는, HMD(100)가 위치 자세의 예측에 기초하여 가상 화상을 프레임 버퍼(134)에 묘화한다. 「위치 자세 예측(표시 위치 보정용)」에 있어서는, 표시부(150)에의 표시가 행해지는 시점에 가능한 한 가까운 시점에 있어서, HMD(100)가 표시부(150)에 가상 화상을 표시하는 시점의 자장치의 위치 자세를 예측한다. 「표시 위치의 변화량 산출」에 있어서는, HMD(100)가 위치 자세의 예측 결과에 기초하여, 가상 화상의 표시 위치의 변화량을 산출한다. 「표시 위치 보정」에 있어서는, HMD(100)가 표시 위치의 변화량에 기초하여, 가상 화상의 표시 위치를 보정한다. 「표시부 발광」에서는, HMD(100)가 표시 위치를 보정한 가상 화상을 표시부(150)에 표시한다. 또한, 도 1에 도시한 처리 내용은 어디까지나 일례이며, 적절히 변경될 수 있다. 예를 들어, 가상 화상의 표시 위치가 보정될 뿐만 아니라, 가상 화상을 변형하는 보정이 행해져도 된다.
여기서, 도 2를 참조하여, 「표시 위치 보정」에 대하여 보다 구체적으로 설명한다. 프레임 버퍼(134)에서 가상 화상(10a)이 묘화되어 있으며, HMD(100)가 자장치의 위치 자세의 예측 결과에 기초하여 가상 화상(10a)의 표시 위치를 표시부(150)의 좌상측 방향으로 보정하고자 하는 경우, 도 2에 도시한 바와 같이, HMD(100)는 판독 개시 위치를 프레임 버퍼(134)의 우측 하단 방향으로 변화시킨다. 이에 의해, HMD(100)는, 표시부(150)에 표시되는 가상 화상(10b)의 표시 위치를, 표시부(150)의 좌상측 방향으로 보정할 수 있다. 이 후, 이러한 가상 화상의 이차원적인 보정을 「2D 보정」이라 호칭한다.
이와 같이, 표시부(150)에의 표시가 행해지는 시점에 가능한 한 가까운 시점에 있어서, HMD(100)가 표시 시점의 자장치의 위치 자세를 예측하고, 그 예측 결과에 기초하여 2D 보정을 행함으로써, 유저가 느끼는 가상 화상의 표시 지연을 경감시킬 수 있다.
또한, 2D 보정은 삼차원의 가상 화상의 재묘화(이 후, 「3D 묘화」라 호칭함)에 비해 가상 화상의 깜박거림을 저감시킬 수 있다. 여기서, 도 3을 참조하여, 2D 보정과 3D 묘화의 차이에 대하여 설명한다. 3a에는, 도 2를 참조하여 설명한 가상 화상의 2D 보정을 나타내고 있다. 그리고, 3b에는, 가상 화상의 3D 묘화에 의해 가상 화상의 표시 위치가 표시부(150)의 좌측 상단 방향으로 변경되는 경우의 예가 나타나 있다.
도 3에 도시한 바와 같이, 2D 보정이 실시된 가상 화상(10b)과, 3D 묘화가 실시된 가상 화상(10d)을 비교하면, 3D 묘화가 실시된 가상 화상(10d)쪽이 보다 변화량이 큰 것을 알 수 있다. 그 때문에, 3D 묘화가 실시되는 경우에는, 2D 보정이 실시되는 경우에 비해, HMD(100)의 위치 자세의 미소한 변화에 기초하는 가상 화상의 변화량이 보다 커지기 때문에, 가상 화상이 보다 깜박거리기 쉽다.
그래서, 본 개시에 관한 HMD(100)는, 가상 화상의 묘화 처리에 대하여, 복수의 묘화 빈도의 전환을 제어함으로써 가상 화상의 깜박거림을 저감시킬 수 있다. 또한, 복수의 화상 빈도는, 적어도 제1 묘화 빈도와 제1 묘화 빈도보다도 큰 제2 묘화 빈도를 포함할 수 있다. 여기서, 제1 묘화 빈도는 가상 화상의 재묘화를 억제하는 빈도이면 되고, 0보다 큰 값이어도 된다. 예를 들어, HMD(100)는, 표시부(150)에 있어서 가상 화상의 표시 위치가 변화되는 경우에, 3D 묘화를 행하지 않고 2D 보정만으로 대응하는 변화량의 역치(이 후, 「2D 보정 역치」라 호칭함)를 설정하고, 당해 역치를 제어함으로써 가상 화상의 깜박거림을 저감시킬 수 있다. 보다 구체적으로는, HMD(100)는, 가상 화상의 표시 위치의 변화량이 2D 보정 역치보다도 작은 경우(가상 화상이 제1 변화량을 갖는 경우)에는, 3D 묘화를 행하지 않고 2D 보정만을 가상 화상에 실시함으로써 가상 화상의 표시 위치를 보정한다. 즉, HMD(100)는, 가상 화상의 표시 위치의 변화량이 2D 보정 역치보다도 작은 경우, 묘화 빈도를 0으로 제어하여, 재묘화를 금지하는 것으로 간주되어도 된다. 한편, 가상 화상의 표시 위치의 변화량이 2D 보정 역치 이상인 경우(가상 화상이 제2 변화량을 갖는 경우)에는, 2D 보정뿐만 아니라 3D 묘화도 실시함으로써 가상 화상의 표시 위치 및 각도 등을 변화시킨다. 또한, 이와 같이, HMD(100)는 2D 보정 역치를 설정함으로써, 항상 3D 묘화에 의해 가상 화상의 표시를 제어하는 경우에 비해, 가상 화상의 깜박거림을 저감시킬 수 있다.
여기서, 2D 보정 역치의 제어 방법은 특별히 한정되지 않는다. 예를 들어, HMD(100)는, 유저와 가상 화상 사이의 거리에 기초하여 2D 보정 역치를 제어함으로써, 가상 화상의 깜박거림을 저감시켜도 된다. 여기서, 도 4 내지 도 8을 참조하여, 유저와 가상 화상 사이의 거리에 기초하는 2D 보정 역치의 제어 방법의 원리에 대하여 설명한다.
먼저, 도 4 및 도 5를 참조하여, 유저와 가상 화상 사이의 거리가 가까운 경우에 대하여 설명한다. 도 4에 도시한 바와 같이, 유저(20)와 가상 화상(10)의 거리가 상대적으로 가까운 경우에 있어서, 유저(20)가 가상 화상(10)의 정면(도 4에 있어서의 유저(20a)의 위치)에 위치하는 경우에는, 도 5의 5a에 나타내는 바와 같이, 표시부(150)의 중앙에 가상 화상(10)이 표시된다(도 5에 있어서 가상 화상(10a)이라 표기).
그리고, 유저가 가상 화상(10)의 정면으로부터 우측 방향의 위치(도 4에 있어서의 유저(20b)의 위치)로 이동한 경우, 5b에 나타내는 바와 같이, 가상 화상(10)의 표시 위치가 표시부(150)에 있어서 좌측 방향으로 변화된다(도 5에 있어서 가상 화상(10b)이라 표기). 유저와 가상 화상 사이의 거리가 가까운 경우, 거리가 먼 경우에 비해 시차가 보다 크기 때문에, 5b와 같이, 표시 위치뿐만 아니라, 가상 화상(10)의 표시 각도도 변경되지 않으면, 유저가 위화감을 받을 가능성은 높다.
한편, 유저가 가상 화상(10)의 정면으로부터 좌측 방향의 위치(도 4에 있어서의 유저(20c)의 위치)로 이동한 경우, 5c에 나타내는 바와 같이, 가상 화상(10)의 표시 위치가 표시부(150)에 있어서 우측 방향으로 변화된다(도 5에 있어서 가상 화상(10c)이라 표기). 이 경우도, 5c와 같이, 표시 위치뿐만 아니라, 가상 화상(10)의 표시 각도도 변경되지 않으면, 유저가 위화감을 받을 가능성은 높다.
계속해서, 도 6 및 도 7을 참조하여, 유저와 가상 화상 사이의 거리가 먼 경우에 대하여 설명한다. 도 6에 나타내는 바와 같이, 유저(20)와 가상 화상(10)의 거리가 상대적으로 먼 경우에 있어서, 유저(20)가 가상 화상(10)의 정면(도 6에 있어서의 유저(20a)의 위치)에 위치하는 경우에는, 도 7의 7a에 나타내는 바와 같이, 표시부(150)의 중앙에 가상 화상(10)이 표시된다(도 7에 있어서 가상 화상(10a)이라 표기).
그리고, 유저가 가상 화상(10)의 정면으로부터 우측 방향의 위치(도 6에 있어서의 유저(20b)의 위치)로 이동한 경우, 7b에 나타내는 바와 같이, 가상 화상(10)의 표시 위치가 표시부(150)에 있어서 좌측 방향으로 변화된다(도 7에 있어서 가상 화상(10b)이라 표기). 유저와 가상 화상 사이의 거리가 먼 경우, 거리가 가까운 경우에 비해 시차가 보다 작기 때문에, 7b와 같이, 가상 화상(10)의 표시 각도가 변경되지 않고 표시 위치만이 변경되었다고 해도, 유저가 위화감을 받을 가능성은 낮다.
한편, 유저가 가상 화상(10)의 정면으로부터 좌측 방향의 위치(도 6에 있어서의 유저(20c)의 위치)로 이동한 경우, 7c에 나타내는 바와 같이, 가상 화상(10)의 표시 위치가 표시부(150)에 있어서 우측 방향으로 변화된다(도 7에 있어서 가상 화상(10c)이라 표기). 이 경우도, 7c와 같이, 가상 화상(10)의 표시 각도가 변경되지 않고 표시 위치만이 변경되었다고 해도, 유저가 위화감을 받을 가능성은 낮다.
이상에 기초하여, HMD(100)는, 유저와 가상 화상 사이의 거리가 가까운 경우에는, 거리가 먼 경우에 비해, 2D 보정 역치를 보다 작은 값으로 설정하고, 반대로, 거리가 먼 경우에는, 거리가 가까운 경우에 비해, 2D 보정 역치를 보다 큰 값으로 설정한다. 즉, HMD(100)는, 유저와 가상 화상 사이의 거리가 제1 거리인 경우, 가상 화상의 묘화 빈도를 제1 묘화 빈도로 제어하고, 유저와 가상 화상 사이의 거리가 제1 거리보다도 작은 제2 거리인 경우, 가상 화상의 묘화 빈도를 제2 묘화 빈도로 제어하는 것으로 간주되어도 된다. 또한, 유저와 가상 화상 사이의 거리가 극히 먼 경우(예를 들어, 가상 화상이 유저로부터 무한히 멀리 위치하는 경우 등), 시차가 극히 작아지기 때문에, HMD(100)는 2D 보정 역치를 극히 큰 값으로 설정함으로써 3D 묘화를 생략해도 된다. 또한, HMD(100)는, 유저와 가상 화상 사이의 거리가 멀수록, 가상 화상의 묘화 빈도를 연속적 혹은 단계적으로 저감시켜도 된다.
계속해서, 도 8을 참조하여, 2D 보정 역치의 제어 방법을 보다 구체적으로 설명한다. 도 8의 8a에는, 유저와 가상 화상 사이의 거리가 상대적으로 먼 경우에 2D 보정 역치를 나타내고, 8b에는, 유저와 가상 화상 사이의 거리가 상대적으로 가까운 경우에 2D 보정 역치를 나타내고 있다.
8a에 있어서, 표시부(150)의 중앙에 표시되어 있는 가상 화상(10d)이 우측 방향으로 이동하는 경우, HMD(100)는 경계(30a)를 초과할 때까지는 2D 보정만을 행함으로써 대응하고, 경계(30a)를 초과하는 경우에는 2D 보정뿐만 아니라 3D 묘화도 행함으로써 대응한다. 이 때, 2D 보정 역치는, 2D 보정만으로 대응하는 변화량(40a)으로 표시된다. 마찬가지로, 가상 화상(10d)이 좌측 방향으로 이동하는 경우, HMD(100)는 경계(30b)를 초과할 때까지는 2D 보정만을 행함으로써 대응하고, 경계(30b)를 초과한 경우에는 2D 보정뿐만 아니라 3D 묘화도 행함으로써 대응한다.
계속해서, 8b에 있어서, 표시부(150)의 중앙에 표시되어 있는 가상 화상(10k)이 우측 방향으로 이동하는 경우, HMD(100)는 경계(30c)를 초과할 때까지는 2D 보정만을 행함으로써 대응하고, 경계(30c)를 초과한 경우에는 2D 보정뿐만 아니라 3D 묘화도 행함으로써 대응한다. 이 때, 2D 보정 역치는 2D 보정만으로 대응하는 변화량(40b)으로 표시된다. 마찬가지로, 가상 화상(10k)이 좌측 방향으로 이동하는 경우, HMD(100)는 경계(30d)를 초과할 때까지는 2D 보정만을 행함으로써 대응하고, 경계(30d)를 초과한 경우에는 2D 보정뿐만 아니라 3D 묘화도 행함으로써 대응한다.
도 8에 나타내는 바와 같이, HMD(100)는, 유저와 가상 화상 사이의 거리가 먼 경우에는, 거리가 가까운 경우에 비해, 2D 보정 역치를 보다 큰 값으로 설정한다. 이에 의해, HMD(100)는 3D 묘화의 빈도를 저감시켜, 그 만큼을 2D 보정으로 보충함으로써, 유저에 대하여 위화감을 부여하지 않고 가상 화상의 깜박거림을 저감시킬 수 있다.
또한, 도 8에 나타낸 2D 보정 역치의 제어 방법은 어디까지나 일례이며, 적절히 변경될 수 있다. 예를 들어, 가상 화상의 표시 위치가 변화되는 방향에 기초하여, 2D 보정 역치에 서로 다른 값이 설정되어도 된다. 보다 구체적으로는, 가상 화상의 표시 위치가 수평 방향으로 변화되는 경우와, 수직 방향으로 변화되는 경우에, 2D 보정 역치에 서로 다른 값이 설정되어도 된다. 또한, 변화 전의 표시 위치에 기초하여, 2D 보정 역치에 서로 다른 값이 설정되어도 된다. 보다 구체적으로는, 가상 화상이 표시부(150)의 중앙에 표시되고 있는 경우와, 표시부(150)의 가장자리에 표시되고 있는 경우에, 2D 보정 역치에 서로 다른 값이 설정되어도 된다.
또한, 2D 보정 역치는 유저와 가상 화상 사이의 거리 이외의 요소에 기초하여 제어되어도 된다.
예를 들어, HMD(100)는, 실공간에 관련되는 센싱 결과의 정밀도에 기초하여 가상 화상의 묘화 빈도를 전환해도 된다. 실공간에 관련되는 센싱 결과에는, 자장치(표시 장치)의 위치 자세의 인식 정밀도가 포함되고, 당해 자장치의 위치 자세의 인식 정밀도에 기초하여 2D 보정 역치를 제어해도 된다. 예를 들어, HMD(100)는, 인식 정밀도가 제1 인식 정밀도인 경우, 가상 화상의 묘화 빈도를 제1 묘화 빈도로 제어하고, 인식 정밀도가 제1 인식 정밀도보다도 큰 제2 인식 정밀도인 경우, 가상 화상의 묘화 빈도를 제2 묘화 빈도로 제어해도 된다. 보다 구체적으로는, HMD(100)는, 자장치의 위치 자세의 예측과 실제의 결과의 차분인 잔차에 기초하여 2D 보정 역치를 제어해도 된다. 상기한 바와 같이, HMD(100)는, 자장치에 구비된 각종 센서(외향 스테레오 카메라, 가속도 센서, 자이로 센서 등)를 사용하여 자장치의 위치 자세를 예측한다. 자장치의 위치 자세의 예측에 관한 잔차가 큰 경우에는, 각종 센서의 동작이 불안정하다고 생각되기 때문에, 자장치의 위치 자세의 예측에 기초하여 가상 화상의 묘화가 행해지면 가상 화상의 깜박거림이 보다 커지는 경우가 있다. 따라서, HMD(100)는, 자장치의 위치 자세의 예측에 관한 잔차가 클수록, 2D 보정 역치를 보다 큰 값으로 설정해도 된다.
또한, 상기한 바와 같이, 각종 센서는, 센서 자체의 온도, 주변 온도가 높아짐에 따라서 출력 오차가 커지는 경우가 있기 때문에, 가상 화상의 깜박거림이 보다 커지기 쉽다. 따라서, HMD(100)는, 센서 자체의 온도 또는 주변 온도가 높을수록, 2D 보정 역치를 보다 큰 값으로 설정해도 된다.
또한, HMD(100)는 표시부(150)(디스플레이 등)의 해상도에 기초하여 2D 보정 역치를 제어해도 된다. 보다 구체적으로 설명하면 상기한 바와 같이, 표시부(150)의 해상도가 낮은 경우에, 가상 화상의 깜박거림이 커지기 쉽다. 따라서, HMD(100)는, 표시부(150)의 해상도가 낮을수록, 2D 보정 역치를 보다 큰 값으로 설정해도 된다.
또한, 상기한 바와 같이, 가상 화상 자체가 정지되어 있을 경우에는, 가상 화상의 깜박거림이 보다 커지기 쉽다. 따라서, HMD(100)는, 가상 화상 자체가 정지되어 있을 경우에는, 그렇지 않은 경우에 비해 2D 보정 역치를 보다 큰 값으로 설정해도 된다.
또한, 가상 화상이 보다 복잡한 형상, 모양 혹은 색채를 갖고 있을수록, 가상 화상의 깜박거림이 보다 커진다. 따라서, HMD(100)는, 가상 화상이 복잡한 형상, 모양 혹은 색채를 갖고 있을수록, 2D 보정 역치를 보다 큰 값으로 설정해도 된다.
또한, 가상 화상이 표시부(150)에 있어서 크게 표시될수록, 유저는 가상 화상의 깜박거림을 보다 인식하기 쉬워진다. 따라서, HMD(100)는, 가상 화상이 표시부(150)에 있어서 크게 표시될수록, 2D 보정 역치를 보다 큰 값으로 설정해도 된다.
또한, 유저가 가상 화상을 주시하고 있지 않은 경우에는, 3D 묘화의 빈도가 저감되고, 그 저감분이 2D 보정에 의해 보충되었다고 해도 유저가 위화감을 받기 어려워진다. 따라서, HMD(100)는, 유저가 가상 화상을 주시하고 있지 않은 경우에는, 2D 보정 역치를 극히 큰 값으로 설정해도 된다. 또한, HMD(100)는, 유저의 주시점이 가상 화상으로부터 멀수록, 2D 보정 역치를 보다 큰 값으로 설정해도 된다.
상기는 어디까지나 예이며, 2D 보정 역치의 제어 방법은 상기에 한정되지 않는다.
또한, HMD(100)는 2D 보정 역치를 제어할 뿐만 아니라, 프레임 레이트 자체를 제어함으로써, 가상 화상의 묘화 빈도를 제어해도 된다. 또한, 본 개시에 있어서, 프레임 레이트는 표시 장치에 의해 표시되는 빈도로서 간주되어도 된다. 바꾸어 말하면, 유저가 시인하는 빈도가 프레임 레이트에 대응하고, 프레임 버퍼로 가상 화상을 묘화 빈도에 대응하는 것으로 간주되어도 된다. 통상, 프레임 레이트와 묘화 빈도는 실질적으로 동일하게 될 수 있다.
보다 구체적으로는, 상기한 바와 같이, 유저와 가상 화상 사이의 거리가 멀수록 시차가 작아지기 때문에, 3D 묘화의 빈도가 저감되고, 그 저감분이 2D 보정에 의해 보충되었다고 해도 유저가 위화감을 받기 어려워진다. 따라서, HMD(100)는, 유저와 가상 화상 사이의 거리가 멀수록, 프레임 레이트를 보다 저감시킬 수 있다.
예를 들어, HMD(100)는, 이하의 식 1을 사용하여 프레임 레이트를 산출해도 되고, 미리 준비된 복수종의 프레임 레이트로부터 산출 결과에 가장 가까운 것을 선출해도 된다.
y=c·x-r···(식 1)
y: 프레임 레이트
c: 유저마다 설정되는 계수(유저의 시력 등을 반영시킨 값)
x: 유저와 가상 화상 사이의 거리
r: 소정의 지수
또한, 상기 식 1은 어디까지나 일례이며, 프레임 레이트의 산출 방법은 이것에 한정되지 않는다.
또한, 프레임 레이트(묘화 빈도)는 유저와 가상 화상 사이의 거리 이외의 요소에 기초하여 제어되어도 된다. 예를 들어, 2D 보정 역치와 마찬가지로, 프레임 레이트는, 자장치의 위치 자세의 예측에 관한 잔차, 센서의 온도, 표시부(150)의 해상도, 가상 화상의 특징(가상 화상의 형상, 모양, 색채, 크기 등) 혹은 상태(가상 화상이 정지되어 있는지 여부 등) 등에 기초하여 제어되어도 된다. 즉, HMD(100)는, 가상 화상의 깜박거림이 발생하기 쉬운 경우에, 프레임 레이트를 보다 저감시켜도 된다. 또한, 가상 화상의 특징 혹은 상태 등은, 상기 실공간에 관련되는 센싱 결과에 기초하여 결정되는 것으로 간주되어도 된다. 또한, 프레임 레이트는, 유저가 가상 화상을 주시하고 있는지 여부 등에 기초하여 제어되어도 된다. 즉, HMD(100)는, 3D 묘화의 빈도가 저감되고, 그 저감분이 2D 보정에 의해 보충되었다고 해도 유저가 위화감을 받기 어려운 경우에, 프레임 레이트를 보다 저감시켜도 된다.
또한, HMD(100)는, 표시되는 가상 화상의 프레임 레이트보다도 묘화 빈도를 작게 제어해도 된다. 보다 구체적으로는, 묘화 빈도 30[Hz], 프레임 레이트(60)[Hz]가 되게 제어해도 된다. 이 경우, 프레임 버퍼에 묘화된 동일한 가상 화상이 두번 표시된다. 이와 같은 구성을 채용함으로써, 묘화되는 가상 화상의 깜박거림을 억제하면서, 묘화 빈도에 의한 처리 부하의 증가 억제, 소비 전력의 저감, 혹은 고온화의 억제를 기대할 수 있다.
<3. 제1 실시예>
상기에서는, 본 개시의 개요에 대하여 설명하였다. 계속해서, 본 개시의 제1 실시예에 대하여 설명한다.
(3-1. 기능 구성)
먼저, 도 9를 참조하여, 제1 실시예에 관한 HMD(100)의 기능 구성에 대하여 설명한다.
도 9에 나타내는 바와 같이, 제1 실시예에 관한 HMD(100)는, 센서부(110)와, 해석부(120)와, 화상 제어부(130)와, 표시 제어부(140)와, 표시부(150)를 구비한다.
(센서부(110))
센서부(110)는 유저 또는 주변 환경에 관한 각종 정보를 취득하고, 당해 정보를 해석부(120)에 제공하는 기능을 갖는다. 예를 들어 센서부(110)는 외향 스테레오 카메라(111)와, 내향 스테레오 카메라(112)와, 자이로 센서(113)와, 가속도 센서(114)를 구비한다. 또한, 이들은 어디까지나 일례이며, 센서부(110)가 구비하는 센서는 이들에 한정되지 않는다. 예를 들어, 센서부(110)는 별도로 온도 센서 등을 구비하고 있어도 된다. 또한, 각 센서는 복수 구비되어도 된다.
외향 스테레오 카메라(111) 및 내향 스테레오 카메라(112)는, 스테레오 카메라로서의 기능을 갖고 있으며, 촬상 렌즈, 조리개, 줌 렌즈 및 포커스 렌즈 등에 의해 구성되는 렌즈계, 렌즈계에 대하여 포커스 동작이나 줌 동작을 행하게 하는 구동계, 렌즈계에서 얻어지는 촬상 광을 광전 변환하여 촬상 신호를 생성하는 고체 촬상 소자 어레이 등을 각각 갖는다. 고체 촬상 소자 어레이는, 예를 들어 CCD(Charge Coupled Device) 센서 어레이나, CMOS(Complementary Metal Oxide Semiconductor) 센서 어레이에 의해 실현되어도 된다.
자이로 센서(113)는, 예를 들어 3축 자이로 센서에 의해 실현되고, 각속도(회전 속도)를 검출한다.
가속도 센서(114)는, 예를 들어 3축 가속도 센서(G 센서라고도 칭함)에 의해 실현되고, 이동 시의 가속도를 검출한다.
(해석부(120))
해석부(120)는 센서부(110)로부터 제공된 각종 정보를 해석하고, 해석 결과를 화상 제어부(130)에 제공하는 기능을 갖는다. 예를 들어, 해석부(120)는 위치 자세 추정부(121)와, 위치 자세 예측부(122)와, 잔차 산출부(123)와, 시선 검출부(124)를 구비한다. 또한, 이들은 어디까지나 일례이며, 해석부(120)가 구비하는 기능 구성은 이들에 한정되지 않는다.
위치 자세 추정부(121)는 자장치의 위치 자세를 추정한다. 보다 구체적으로는, 위치 자세 추정부(121)는 센서부(110)에 의해 제공된 외향 스테레오 카메라(111) 등의 센싱 데이터에 기초하여 뎁스 맵을 생성하고, Visual SLAM(Simultaneous Localization And Mapping)을 실현하고, Visual SLAM에 의해 자장치의 위치 자세, 속도 및 관성 가속도 등을 산출한다. 그리고, 위치 자세 추정부(121)는, 산출된 위치 자세 및 속도 등을 원래의 값으로 하여, 자이로 센서(113) 및 가속도 센서(114)(또는 이들을 구비한 IMU(Inertial Measurement Unit))로부터 얻어진 가속도 및 각속도를 사용하는 관성항법에 관한 각종 처리를 행함으로써 자장치의 최신 위치 자세, 속도 및 각속도를 고정밀도로 추정한다. 또한, 상기 추정 방법은 어디까지나 일례이며, 적절히 변경될 수 있다. 위치 자세 추정부(121)는 자장치의 위치 자세 등의 추정 결과를 위치 자세 예측부(122)에 제공한다.
위치 자세 예측부(122)는 미래의 어느 시점에 있어서의 자장치의 위치 자세를 예측한다. 예를 들어, 위치 자세 예측부(122)는, 위치 자세 추정부(121)에 의해 제공된, 과거에 있어서의 자장치의 위치 자세 등의 추정 결과에 기초하여 선형 보간 등의 방법을 사용하여 미래의 어느 시점에 있어서의 자장치의 위치 자세 등을 예측한다. 또한, 이 예측 방법은 어디까지나 일례이며, 적절히 변경될 수 있다.
잔차 산출부(123)는, 자장치의 위치 자세의 예측과 실제의 결과의 차분인 잔차를 산출하는 기능을 갖는다. 보다 구체적으로는, 잔차 산출부(123)는, 위치 자세 예측부(122)에 의해 예측된 어떤 시점의 위치 자세와, 위치 자세 추정부(121)에 의해 추정된 당해 시점의 실제의 위치 자세를 비교함으로써 잔차를 산출한다.
시선 검출부(124)는 HMD(100)를 장착하고 있는 유저의 시선을 검출하는 기능을 갖는다. 보다 구체적으로는, 시선 검출부(124)는 내향 스테레오 카메라(112)에 의해 생성된 유저의 눈 촬상 화상을 해석하고, 유저의 시선 방향을 인식한다. 또한 시선 검출의 알고리즘은 특별히 한정되지 않지만, 예를 들어 눈머리와 홍채의 위치 관계, 또는 각막 반사와 동공의 위치 관계에 기초하여, 유저의 시선 방향이 인식될 수 있다.
(화상 제어부(130))
화상 제어부(130)는 해석부(120)로부터 제공된 해석 결과 등을 사용하여, 가상 화상의 묘화를 제어하는 묘화 제어부로서의 기능을 갖는다. 화상 제어부(130)는 애플리케이션(131)과, 묘화 방침 결정부(132)와, 묘화부(133)와, 프레임 버퍼(134)와, 2D 보정부(135)를 구비한다. 또한, 이들은 어디까지나 일례이며, 화상 제어부(130)가 구비하는 기능 구성은 이들에 한정되지 않는다. 예를 들어, 2D 보정부는 이차원적인 보정뿐만 아니고, 삼차원적인 변형이나 위치의 보정을 행하는 보정부로 치환되어도 된다.
애플리케이션(131)은, 유저가 HMD(100)를 사용하여 사용하는 서비스에 관한 애플리케이션 프로그램이다. 애플리케이션(131)은, 위치 자세 예측부(122)로부터 제공된, 미래의 어느 시점에 있어서의 자장치의 위치 자세의 예측 결과 등에 기초하여, 가상 화상의 내용, 위치, 크기, 각도 등을 결정한다. 애플리케이션(131)은 결정 내용을 묘화 방침 결정부(132) 및 묘화부(133)에 제공한다.
묘화 방침 결정부(132)는 가상 화상의 묘화 빈도 등의 묘화 방침을 결정하는 기능을 갖는다. 예를 들어, 묘화 방침 결정부(132)는, 위치 자세 예측부(122)로부터 제공된, 미래의 어느 시점에 있어서의 자장치의 위치 자세의 예측 결과와, 애플리케이션(131)으로부터 제공된, 당해 시점에 있어서의 가상 화상의 위치에 기초하여, 유저와 가상 화상 사이의 거리를 산출하고, 당해 거리에 기초하여 2D 보정 역치 및 프레임 레이트 등의 묘화 방침을 결정해도 된다. 또한, 상기한 바와 같이, 유저와 가상 화상 사이의 거리뿐만 아니라, 자장치의 위치 자세의 예측에 관한 잔차, 센서의 온도, 표시부(150)의 해상도, 가상 화상의 특징(가상 화상의 형상, 모양, 색채, 크기 등) 혹은 상태(가상 화상이 정지되어 있는지 여부 등), 유저가 가상 화상을 주시하고 있는지 여부 등에도 기초하여 묘화 방침을 결정해도 된다. 묘화 방침 결정부(132)는 결정된 묘화 방침을 묘화부(133)에 제공한다.
묘화부(133)는 해석부(120)로부터 제공된 해석 결과, 묘화 방침 결정부(132)로부터 제공된 묘화 방침, 애플리케이션(131)으로부터 제공된 가상 화상의 내용 등을 사용하여, 가상 화상의 3D 묘화를 행한다. 보다 구체적으로는, 묘화부(133)는, 가상 화상의 표시 위치의 변화량이 2D 보정 역치보다도 작은 경우에는 가상 화상의 3D 묘화를 행하지 않고, 가상 화상의 표시 위치의 변화량이 2D 보정 역치 이상인 경우에는 결정된 프레임 레이트로 가상 화상의 3D 묘화를 행한다. 묘화된 가상 화상은 프레임 버퍼(134)에 제공된다.
프레임 버퍼(134)는 묘화부(133)에 의해 생성된 가상 화상을 일시적으로 기억하는 기억 영역이다. 프레임 버퍼(134)는 1 화면분의 가상 화상을 기억해도 되고, 복수 화면분의 가상 화상을 기억해도 된다.
2D 보정부(135)는 2D 보정을 행하는 기능을 갖는다. 보다 구체적으로는, 2D 보정부(135)는 위치 자세 예측부(122)로부터 제공된, 가상 화상의 표시 시점에 있어서의 자장치의 위치 자세의 예측 결과에 기초하여 가상 화상의 표시 위치를 산출하고, 묘화부(133)에 의해 묘화된 가상 화상에 대하여 2D 보정을 실시함으로써 가상 화상의 표시 위치를 보정한다.
(표시 제어부(140))
표시 제어부(140)는 표시부(150)를 제어함으로써, 2D 보정부(135)에 의해 보정된 후의 가상 화상의 표시를 실현하는 기능을 갖는다.
(표시부(150))
표시부(150)는 가상 화상을 표시하는 기능 구성이며, 예를 들어 디스플레이일 수 있지만, 이것에 한정되지 않는다. 표시부(150)는, 예를 들어 홀로그램 광학 기술을 사용하여 표시를 행하는 렌즈부, 액정 디스플레이(LCD) 장치, OLED(Organic Light Emitting Diode) 장치 등에 의해 실현된다.
(3-2. 동작)
상기에서는, 제1 실시예에 관한 HMD(100)의 기능 구성에 대하여 설명하였다. 계속해서, 도 10을 참조하여, 제1 실시예에 관한 HMD(100)의 동작에 대하여 설명한다.
먼저, 묘화 방침 결정부(132)가 스텝 S1000에서 파라미터를 읽어들이고, 스텝 S1004에서 당해 파라미터에 기초하여 2D 보정 역치 및 프레임 레이트를 잠정적으로 결정한다. 여기서, 묘화 방침 결정부(132)가 읽어들이는 파라미터는, HMD(100)를 장착하는 유저마다 커스터마이즈되어 있어도 된다. 예를 들어, 당해 파라미터는 유저의 시력 등에 기초하여 유저마다 커스터마이즈되어 있어도 된다.
스텝 S1008에서는, HMD(100)의 위치 자세가 갱신된다. 보다 구체적으로는, 위치 자세 추정부(121)가 자장치의 위치 자세를 추정하고, 위치 자세 예측부(122)가 자장치의 위치 자세를 예측한다. 스텝 S1012에서는, 자장치의 위치 자세의 예측과 실제의 결과의 차분인 잔차가 소정의 역치를 초과한 경우(스텝 S1012/"예"), 스텝 S1016에서, 묘화 방침 결정부(132)가 가상 화상의 깜박거림이 발생하기 쉬운 상황이라고 판단하고, 2D 보정 역치를 보다 큰 값으로 변경한다. 또한, 잔차가 소정의 역치를 초과하지 않을 경우에는(스텝 S1012/"아니오"), 2D 보정 역치는 변경되지 않는다.
스텝 S1020에서, 묘화 방침 결정부(132)가 유저와 가상 화상 사이의 거리를 산출하고, 당해 거리가 소정의 역치를 초과한 경우(스텝 S1020/"예"), 스텝 S1024에서, 묘화 방침 결정부(132)는, 3D 묘화의 빈도를 저감시켜, 그 저감분을 2D 보정에 의해 보충하는 것이 가능하다고 판단하고, 프레임 레이트를 저감시킨다. 또한, 거리가 소정의 역치를 초과하지 않을 경우에는(스텝 S1020/"아니오"), 프레임 레이트는 변경되지 않는다.
스텝 S1028에서, 프레임 레이트에 기초하여 가상 화상이 묘화될 턴일 경우(스텝 S1028/"예"), 또한 유저가 가상 화상을 보고 있을 경우(스텝 S1032/"예"), 스텝 S1036에서, 묘화부(133)가 가상 화상을 묘화한다. 그리고, 스텝 S1040에서는, 2D 보정부(135)가 최신의 위치 자세의 예측 결과에 기초하여 가상 화상에 대하여 2D 보정을 실시한다.
스텝 S1028에서, 프레임 레이트에 기초하여 가상 화상이 묘화될 턴이 아닐 경우(스텝 S1028/"아니오"), 가상 화상의 묘화가 행해지지 않고, 스텝 S1040에서, 2D 보정부(135)가 가상 화상에 대하여 2D 보정을 실시한다. 또한, 스텝 S1032에서, 유저가 가상 화상을 보지 않고 있을 경우(스텝 S1032/"아니오"), 가상 화상의 묘화가 행해지지 않아도 유저가 위화감을 받기 어렵기 때문에, 가상 화상의 묘화가 행해지지 않고, 스텝 S1040에서, 2D 보정부(135)가 가상 화상에 대하여 2D 보정을 실시한다.
또한, 도 10의 흐름도는 어디까지나 일례이며, 적절히 변경될 수 있다. 예를 들어, 스텝 S1000 및 스텝 S1004는, 가상 화상의 표시 개시 시에 실행된 후에는 생략되어도 된다. 즉, 도 10의 흐름도에 나타난 각 처리가 한번 실시된 후에는, 스텝 S1000 및 스텝 S1004의 처리가 생략되고, 스텝 S1008 이 후의 처리가 반복 실시되어도 된다. 또한, 스텝 S1032에서, 유저가 가상 화상을 보고 있지 않고(스텝 S1032/"아니오"), 가상 화상의 주변에 비교 대상이 되는 실물체 또는 가상 화상 등이 존재하지 않는 경우에는, 유저가 위화감을 받기 어렵기 때문에, 3D 묘화뿐만 아니라 2D 보정도 생략되어도 된다.
또한, 2D 보정 역치는 잔차에 의해 결정될 뿐만 아니라, 상기한 바와 같이 유저와 가상 화상 사이의 거리, 센서의 온도, 표시부(150)의 해상도, 가상 화상의 특징(가상 화상의 형상, 모양, 색채, 크기 등) 혹은 상태(가상 화상이 정지되어 있는지 여부 등), 유저가 가상 화상을 주시하고 있는지 여부 등에 의해 결정되어도 된다. 또한, 프레임 레이트는 유저와 가상 화상 사이의 거리에 의해 결정될 뿐만 아니라, 상기한 바와 같이 자장치의 위치 자세의 예측에 관한 잔차, 센서의 온도, 표시부(150)의 해상도, 가상 화상의 특징(가상 화상의 형상, 모양, 색채, 크기 등) 혹은 상태(가상 화상이 정지되어 있는지 여부 등), 유저가 가상 화상을 주시하고 있는지 여부 등에 의해 결정되어도 된다.
(3-3. 적용예)
상기에서는, 본 개시의 제1 실시예에 관한 HMD(100)의 동작에 대하여 설명하였다. 계속해서, 도 11 및 도 12를 참조하여, 본 개시의 제1 실시예의 적용예에 대하여 설명한다.
도 11은, 실공간의 거리 풍경 중에, 건설이 예정되어 있는 건축물이 가상 화상(11)으로서 표시되는 경우의 예이다.
건축물과 같이 거대한 물체라도, 도 11에 도시한 바와 같이, 유저와 건축물의 가상 화상(11)의 거리가 상대적으로 먼 경우, 시차가 보다 작아진다. 그 때문에, HMD(100)는 2D 보정 역치를 보다 큰 값으로 변경하고, 프레임 레이트를 저감시킴으로써, 3D 묘화의 빈도를 저감시키고, 그 저감분을 2D 보정으로 보충함으로써, 유저에 대하여 위화감을 부여하지 않고 가상 화상(11)의 깜박거림을 저감시킬 수 있다. 이에 의해, 가령 건축물이 복잡한 형상을 갖고 있어도, HMD(100)는 가상 화상(11)을 깜박거리기 어렵게 할 수 있다.
도 12는, 가상 화상(12)으로서 표시된 로봇이 HMD(100)를 장착한 유저를 목적지까지 안내하는 경우의 예이다.
로봇이 유저와의 거리를 소정값 이상 유지하면서 유저를 안내하는 경우(예를 들어, 유저의 전진에 수반하여, 가상 화상(12)이 가상 화상(12a)의 위치로부터 가상 화상(12b)의 위치로 이동하는 경우), 시차가 작게 유지될 수 있다. 그 때문에, 도 11의 적용예와 마찬가지로, HMD(100)는 2D 보정 역치를 보다 큰 값으로 변경하고, 프레임 레이트를 저감시킴으로써, 3D 묘화의 빈도를 저감시켜, 그 저감분을 2D 보정으로 보충함으로써, 유저에 대하여 위화감을 부여하지 않고 가상 화상(12)의 깜박거림을 저감시킬 수 있다.
또한, 도 11 및 도 12는 어디까지나 예이기 때문에, 본 개시의 제1 실시예는, 기타 서비스 또는 시스템 등에 적용되어도 된다.
<4. 제2 실시예>
상기에서는, 본 개시의 제1 실시예에 대하여 설명하였다. 계속해서, 본 개시의 제2 실시예에 대하여 설명한다.
제2 실시예는, 검출된 평면에 가상 화상이 중첩되는 경우의 예이다. 보다 구체적으로는, 검출된 평면에, 포스터 또는 회화 등의 평면적인 가상 화상이 중첩되는 경우, 입체적인 가상 화상이 표시되는 경우에 비해, 3D 묘화의 빈도가 저감되고, 그 저감분이 2D 보정에 의해 보충되었다고 해도 유저가 위화감을 받기 어려워진다. 따라서, 검출된 평면에 가상 화상이 중첩되는 경우, HMD(100)는 2D 보정 역치를 보다 큰 값으로 설정하거나, 프레임 레이트를 저감시키거나 함으로써, 유저에 대하여 위화감을 부여하지 않고 가상 화상의 깜박거림을 저감시킬 수 있다.
(4-1. 기능 구성)
먼저, 도 13을 참조하여, 제2 실시예에 관한 HMD(100)의 기능 구성에 대하여 설명한다. 또한, 이하에서는, 제1 실시예에 관한 HMD(100)의 기능 구성(도 9를 참조)과의 차분에 대하여만 언급한다.
도 13에 나타내는 바와 같이, 제2 실시예에 관한 HMD(100)의 해석부(120)는, 측거부(125)와 평면 검출부(126)를 구비한다.
평면 검출부(126)는 외향 스테레오 카메라(111)에 의해 생성된 촬상 화상을 사용하여, 사영 변환 처리 등을 행함으로써, 촬상 화상에 있어서의 평면을 검출하는 기능을 갖는다. 측거부(125)는 사영 변환 처리에 사용되는 촬상 화상에 있어서의 평면 상의 점까지의 거리를 산출한다. 또한, 평면 검출의 방법은 특별히 한정되는 것은 아니며, 임의의 방법으로 실현될 수 있다.
또한, 제2 실시예에 관한 HMD(100)의 기능 구성은 어디까지나 일례이며, 적절히 변경될 수 있다. 또한, 제1 실시예에 관한 HMD(100)의 기능 구성과, 제2 실시예에 관한 HMD(100)의 기능 구성이 조합되어도 된다.
(4-2. 동작)
상기에서는, 제2 실시예에 관한 HMD(100)의 기능 구성에 대하여 설명하였다. 계속해서, 도 14를 참조하여, 제2 실시예에 관한 HMD(100)의 동작에 대하여 설명한다.
스텝 S1100 내지 스텝 S1108까지는, 도 10의 스텝 S1000 내지 스텝 S1008과 동일하기 때문에 설명을 생략한다. 스텝 S1112에서는, 평면 검출부(126)가 촬상 화상 중의 평면을 검출한다. 또한, 이미 검출되어 있는 평면이 존재하는 경우에는, 당해 평면이 유용됨으로써 평면 검출 처리가 생략되어도 된다. 스텝 S1116에서는, 가상 화상의 주변에 비교 대상이 되는 실물체 또는 가상 화상 등이 존재하는지 여부에 기초하여, 묘화 방침 결정부(132)가 스텝 S1120에서 사용되는 잔차의 역치 및 스텝 S1128에서 사용되는 거리의 역치를 변경한다. 예를 들어, 가상 화상의 주변에 비교 대상이 되는 실물체 또는 가상 화상 등이 존재하지 않는 경우에는, 유저는 가상 화상의 지연을 인식하기 어렵기 때문에, 묘화 방침 결정부(132)는 잔차의 역치 및 거리의 역치를 변경함으로써, 2D 보정 역치를 보다 큰 값으로 설정하거나, 프레임 레이트를 저감시키거나 할 수 있다. 스텝 S1120 내지 스텝 S1148은, 도 10의 스텝 S1012 내지 스텝 S1040과 동일하기 때문에 설명을 생략한다.
또한, 도 14의 흐름도는 어디까지나 일례이며, 적절히 변경될 수 있다. 예를 들어, 도 10과 마찬가지로, 스텝 S1100 및 스텝 S1104는 가상 화상의 표시 개시 시에 실행된 후에는 생략되어도 된다. 즉, 도 14의 흐름도에 나타난 각 처리가 한번 실시된 후에는, 스텝 S1100 및 스텝 S1104의 처리가 생략되고, 스텝 S1108 이 후의 처리가 반복해서 실시되어도 된다.
또한, 2D 보정 역치는 잔차에 의해 결정될 뿐만 아니라, 상기한 바와 같이 유저와 가상 화상 사이의 거리, 센서의 온도, 표시부(150)의 해상도, 가상 화상의 특징(가상 화상의 형상, 모양, 색채, 크기 등) 혹은 상태(가상 화상이 정지되어 있는지 여부 등), 유저가 가상 화상을 주시하고 있는지 여부 등에 의해 결정되어도 된다. 또한, 프레임 레이트는 유저와 가상 화상 사이의 거리에 의해 결정될 뿐만 아니라, 상기한 바와 같이 자장치의 위치 자세의 예측에 관한 잔차, 센서의 온도, 표시부(150)의 해상도, 가상 화상의 특징(가상 화상의 형상, 모양, 색채, 크기 등) 혹은 상태(가상 화상이 정지되어 있는지 여부 등), 유저가 가상 화상을 주시하고 있는지 여부 등에 의해 결정되어도 된다.
(4-3. 적용예)
상기에서는, 본 개시의 제2 실시예에 관한 HMD(100)의 동작에 대하여 설명하였다. 계속해서, 도 15를 참조하여, 본 개시의 제2 실시예의 적용예에 대하여 설명한다.
도 15는, 촬상 화상으로부터 검출된 평면인 벽면에 포스터의 가상 화상(13)이 중첩되는 경우의 예이다.
문자나 컬러풀한 그림이나 화상 등이 표시된 포스터 등의 가상 화상(13)은 깜박거리기 쉽다. 또한, 상기한 바와 같이, 평면에 포스터 등의 평면적인 가상 화상(13)이 중첩되는 경우, 입체적인 가상 화상이 표시되는 경우에 비해, 3D 묘화의 빈도가 저감되고, 그 저감분이 2D 보정에 의해 보충되었다고 해도 유저가 위화감을 받기 어려워진다. 따라서, HMD(100)는, 2D 보정 역치를 보다 큰 값으로 설정하거나, 프레임 레이트를 저감시키거나 함으로써, 유저에 대하여 위화감을 부여하지 않고 가상 화상(13)의 깜박거림을 저감시킬 수 있다.
<5. 하드웨어 구성>
이상, 본 개시의 실시예에 대하여 설명하였다. 상기 2D 보정 역치 또는 프레임 레이트의 제어에 의한 묘화 빈도의 제어 처리는, 소프트웨어와, 이하에 설명하는 하드웨어의 협동에 의해 실현된다.
도 16은, 본 개시에 관한 HMD(100)를 구현하는 정보 처리 장치(900)의 하드웨어 구성을 나타내는 도면이다. 정보 처리 장치(900)는 CPU(Central Processing Unit)(901)와, ROM(Read Only Memory)(902)과, RAM(Random Access Memory)(903)과, 호스트 버스(904)와, 브리지(905)와, 외부 버스(906)와, 인터페이스(907)와, 입력 장치(908)와, 출력 장치(909)와, 스토리지 장치(HDD)(910)와, 드라이브(911)와, 통신 장치(912)를 구비한다.
CPU(901)는 연산 처리 장치 및 제어 장치로서 기능하고, 각종 프로그램에 따라서 정보 처리 장치(900) 내의 동작 전반을 제어한다. 또한, CPU(901)는 마이크로프로세서여도 된다. ROM(902)는 CPU(901)가 사용하는 프로그램이나 연산 파라미터 등을 기억한다. RAM(903)은 CPU(901)의 실행에 있어서 사용하는 프로그램이나, 그 실행에 있어서 적절히 변화되는 파라미터 등을 일시 기억한다. 이들은 CPU 버스 등으로 구성되는 호스트 버스(904)에 의해 서로 접속되어 있다. 당해 CPU(901), ROM(902) 및 RAM(903)의 협동에 의해, 센서부(110), 해석부(120), 화상 제어부(130) 또는 표시 제어부(140)의 각 기능이 실현된다.
호스트 버스(904)는 브리지(905)를 통해, PCI(Peripheral Component Interconnect/Interface) 버스 등의 외부 버스(906)에 접속되어 있다. 또한, 반드시 호스트 버스(904), 브리지(905) 및 외부 버스(906)를 분리 구성할 필요는 없고, 하나의 버스에 이들 기능을 실장해도 된다.
입력 장치(908)는 마우스, 키보드, 터치 패널, 버튼, 마이크로폰, 스위치 및 레버 등 유저가 정보를 입력하기 위한 입력 수단과, 유저에 의한 입력에 기초하여 입력 신호를 생성하고, CPU(901)에 출력하는 입력 제어 회로 등으로 구성되어 있다. 정보 처리 장치(900)를 사용하는 유저는, 해당 입력 장치(908)를 조작함으로써, 각 장치에 대하여 각종 데이터를 입력하거나 처리 동작을 지시하거나 할 수 있다.
출력 장치(909)는, 예를 들어 CRT(Cathode Ray Tube) 디스플레이 장치, 액정 디스플레이(LCD) 장치, OLED(Organic Light Emitting Diode) 장치 및 램프 등의 표시 장치를 포함한다. 또한, 출력 장치(909)는 스피커 및 헤드폰 등의 음성 출력 장치를 포함한다. 출력 장치(909)는, 예를 들어 재생된 콘텐츠를 출력한다. 구체적으로는, 표시 장치는 재생된 영상 데이터 등의 각종 정보를 텍스트 또는 이미지로 표시한다. 한편, 음성 출력 장치는 재생된 음성 데이터 등을 음성으로 변환하여 출력한다. 당해 출력 장치(909)에 의해, 표시부(150)의 기능이 실현된다.
스토리지 장치(910)는, 정보 처리 장치(900)의 기억부(도시없음)의 일례로서 구성된 데이터 저장용 장치이다. 스토리지 장치(910)는 기억 매체, 기억 매체에 데이터를 기록하는 기록 장치, 기억 매체로부터 데이터를 판독하는 판독 장치 및 기억 매체에 기록된 데이터를 삭제하는 삭제 장치 등을 포함해도 된다. 스토리지 장치(910)는, 예를 들어 HDD(Hard Disk Drive)로 구성된다. 이 스토리지 장치(910)는 하드 디스크를 구동하고, CPU(901)가 실행하는 프로그램이나 각종 데이터를 저장한다.
드라이브(911)는 기억 매체용 리더 라이터이며, 정보 처리 장치(900)에 내장 혹은 외장된다. 드라이브(911)는, 장착되어 있는 자기 디스크, 광 디스크, 광자기 디스크 또는 반도체 메모리 등의 리무버블 기억 매체(913)에 기록되어 있는 정보를 판독하여, RAM(903)으로 출력한다. 또한, 드라이브(911)는 리무버블 기억 매체(913)에 정보를 기입할 수도 있다.
통신 장치(912)는, 예를 들어 통신망(914)에 접속하기 위한 통신 디바이스 등으로 구성된 통신 인터페이스이다.
<6. 결론>
이상에서 설명해온 바와 같이, 본 개시에 관한 HMD(100)는, 가상 화상의 묘화 빈도를 제어함으로써, 2D 보정과 3D 묘화를 적절하게 제어하여, 가상 화상의 깜박거림을 저감시킨다. 예를 들어, HMD(100)는, 표시부(150)에 있어서 가상 화상의 표시 위치가 변화되는 경우에, 유저와 가상 화상 사이의 거리, 자장치의 위치 자세의 예측에 관한 잔차, 센서의 온도, 표시부(150)의 해상도, 가상 화상의 특징(가상 화상의 형상, 모양, 색채, 크기 등) 혹은 상태(가상 화상이 정지되어 있는지 여부 등), 또는 유저가 가상 화상을 주시하고 있는지 여부 등에 기초하여 2D 보정 역치 또는 프레임 레이트를 제어한다. 이에 의해, HMD(100)는 3D 묘화의 빈도를 저감시켜, 그 저감분을 2D 보정으로 보충함으로써, 유저에 대하여 위화감을 부여하지 않고 가상 화상의 깜박거림을 저감시킬 수 있다.
이상, 첨부 도면을 참조하면서 본 개시의 적합한 실시 형태에 대하여 상세하게 설명하였지만, 본 개시의 기술적 범위는 이러한 예에 한정되지 않는다. 본 개시의 기술 분야에 있어서의 통상의 지식을 갖는 사람이면, 청구범위에 기재된 기술적 사상의 범주 내에서, 각종 변경예 또는 수정예에 상도할 수 있는 것은 명백하고, 이들에 대해서도, 당연히 본 개시의 기술적 범위에 속하는 것으로 이해된다.
예를 들어, 유저와 가상 화상 사이의 거리가 먼 경우나, 자장치의 위치 자세의 인식 정밀도가 낮은 경우 등에 있어서, HMD(100)는 3D 묘화뿐만 아니라 2D 보정도 생략해도 된다. 또한, HMD(100)는, 가상 화상의 주변에 비교 대상이 되는 실물체 또는 가상 화상 등이 존재하지 않는 경우에는, 유저가 위화감을 받기 어렵기 때문에, 3D 묘화뿐만 아니라 2D 보정도 생략해도 된다. 이에 의해, HMD(100)는 가상 화상의 깜박거림을 보다 저감시킬 수 있다.
또한, 상기 각 흐름도에 나타낸 각 스텝은, 반드시 흐름도로서 기재된 순서에 따라서 시계열로 처리할 필요는 없다. 즉, 각 스텝은 흐름도로서 기재한 순서와 다른 순서로 처리되어도, 병렬적으로 처리되어도 된다.
또한, HMD(100)의 기능 구성은 적절히 변경되어도 된다. 예를 들어, HMD(100)의 기능 구성의 일부는, 적절히 외부 장치에 구비되어도 된다. 또한, 시선 검출부(124), 측거부(125), 평면 검출부(126) 등의 기능 구성은, 적절히 생략되어도 된다.
또한, 본 명세서에 기재된 효과는 어디까지나 설명적 또는 예시적인 것으로서 한정적이지는 않다. 즉, 본 개시에 관한 기술은 상기 효과와 함께 또는 상기 효과 대신에, 본 명세서의 기재로부터 당업자에게는 명확한 다른 효과를 발휘할 수 있다.
또한, 이하와 같은 구성도 본 개시의 기술적 범위에 속한다.
(1)
실공간에 관련되는 센싱 결과에 기초하여, 가상 화상의 묘화 빈도를, 제1 묘화 빈도와 상기 제1 묘화 빈도보다도 큰 제2 묘화 빈도의 사이에서 전환하는 묘화 제어부와,
상기 센싱 결과와, 상기 제1 묘화 빈도 또는 상기 제2 묘화 빈도의 한쪽에 기초하여 상기 가상 화상을 표시하도록 표시 장치를 제어하는 표시 제어부를 구비하는,
정보 처리 장치.
(2)
상기 묘화 제어부는, 상기 센싱 결과에 기초하는 상기 가상 화상이 제1 변화량을 갖는 경우에, 상기 가상 화상의 묘화 빈도를 상기 제1 묘화 빈도로 제어하고,
상기 묘화 제어부는, 상기 가상 화상이 상기 제1 변화량보다도 큰 제2 변화량을 갖는 경우에, 상기 가상 화상의 묘화 빈도를 상기 제2 묘화 빈도로 제어하는,
상기 (1)에 기재된 정보 처리 장치.
(3)
상기 제1 묘화 빈도에 있어서, 상기 가상 화상의 재묘화가 금지되는,
상기 (2)에 기재된 정보 처리 장치.
(4)
상기 가상 화상의 표시 위치를 보정하는 보정부를 더 구비하고,
상기 가상 화상이 상기 제1 변화량을 갖는 경우에, 상기 묘화 제어부가 상기 가상 화상의 재묘화를 억제하는 동안, 상기 보정부는 상기 가상 화상의 표시 위치를 보정하는,
상기 (2) 또는 (3)에 기재된 정보 처리 장치.
(5)
상기 보정부는, 상기 묘화 제어부에 의해 묘화된 상기 가상 화상의 표시 위치를, 상기 표시 장치에 관한 위치 자세에 기초하여 이차원적으로 보정하는,
상기 (4)에 기재된 정보 처리 장치.
(6)
상기 (2)의 묘화 빈도에 있어서, 상기 가상 화상이 재묘화되는,
상기 (2) 내지 (5) 중 어느 한 항에 기재된 정보 처리 장치.
(7)
상기 제1 변화량은 소정의 역치보다도 작은 변화량이며,
상기 제2 변화량은 상기 소정의 역치보다도 큰 변화량이며,
상기 묘화 제어부는 상기 소정의 역치를 변화시킴으로써 상기 가상 화상의 묘화 빈도를 상기 제1 묘화 빈도와 상기 제2 묘화 빈도의 사이에서 전환하는,
상기 (2) 내지 (6) 중 어느 한 항에 기재된 정보 처리 장치.
(8)
상기 묘화 제어부는, 프레임 레이트를 제어함으로써, 상기 가상 화상의 묘화 빈도를 상기 제1 묘화 빈도와 상기 제2 묘화 빈도의 사이에서 전환하는,
상기 (1) 내지 (7) 중 어느 한 항에 기재된 정보 처리 장치.
(9)
상기 묘화 제어부는, 상기 가상 화상을 시인하는 상기 표시 장치의 유저와 상기 가상 화상 사이의 위치 관계에 기초하여 상기 가상 화상의 묘화 빈도를 상기 제1 묘화 빈도와 상기 제2 묘화 빈도의 사이에서 전환하는,
상기 (1) 내지 (8) 중 어느 한 항에 기재된 정보 처리 장치.
(10)
상기 묘화 제어부는, 상기 유저와 상기 가상 화상 사이의 거리에 기초하여 상기 가상 화상의 묘화 빈도를 상기 제1 묘화 빈도와 상기 제2 묘화 빈도의 사이에서 전환하는,
상기 (9)에 기재된 정보 처리 장치.
(11)
상기 묘화 제어부는, 상기 유저와 상기 가상 화상 사이의 거리가 제1 거리인 경우, 상기 가상 화상의 묘화 빈도를 상기 제1 묘화 빈도로 제어하고, 상기 유저와 상기 가상 화상의 거리가 상기 제1 거리보다도 작은 제2 거리인 경우, 상기 가상 화상의 묘화 빈도를 상기 제2 묘화 빈도로 제어하는,
상기 (10)에 기재된 정보 처리 장치.
(12)
상기 묘화 제어부는, 상기 유저와 상기 가상 화상의 상기 거리가 멀수록 상기 가상 화상의 묘화 빈도를 저감시키는,
상기 (11)에 기재된 정보 처리 장치.
(13)
상기 묘화 제어부는, 상기 실공간에 관련되는 센싱 결과의 정밀도에 기초하여 상기 가상 화상의 묘화 빈도를 상기 제1 묘화 빈도와 상기 제2 묘화 빈도의 사이에서 전환하는,
상기 (1) 내지 (12) 중 어느 한 항에 기재된 정보 처리 장치.
(14)
상기 실공간에 관련되는 센싱 결과의 정밀도는, 상기 표시 장치에 관한 위치 자세의 인식 정밀도를 포함하고,
상기 묘화 제어부는, 상기 인식 정밀도에 기초하여 상기 가상 화상의 묘화 빈도를 상기 제1 묘화 빈도와 상기 제2 묘화 빈도의 사이에서 전환하는,
상기 (13)에 기재된 정보 처리 장치.
(15)
상기 묘화 제어부는, 상기 인식 정밀도가 제1 인식 정밀도인 경우, 상기 가상 화상의 묘화 빈도를 상기 제1 묘화 빈도로 제어하고, 상기 인식 정밀도가 상기 제1 인식 정밀도보다도 큰 제2 인식 정밀도인 경우, 상기 가상 화상의 묘화 빈도를 상기 제2 묘화 빈도로 제어하는,
상기 (14)에 기재된 정보 처리 장치.
(16)
상기 가상 화상의 특징 또는 상태는, 상기 실공간에 관련되는 센싱 결과에 기초하여 결정되고,
상기 묘화 제어부는, 상기 가상 화상의 특징 또는 상태에 기초하여 상기 가상 화상의 묘화 빈도를 상기 제1 묘화 빈도와 상기 제2 묘화 빈도의 사이에서 전환하는,
상기 (1) 내지 (15) 중 어느 한 항에 기재된 정보 처리 장치.
(17)
상기 묘화 제어부는, 상기 가상 화상의 형상, 모양 혹은 색채의 복잡성, 크기, 또는 동작의 상태 중 적어도 하나에 기초하여 상기 가상 화상의 묘화 빈도를 상기 제1 묘화 빈도와 상기 제2 묘화 빈도의 사이에서 전환하는,
상기 (16)에 기재된 정보 처리 장치.
(18)
상기 묘화 제어부는, 상기 표시 장치의 해상도에 기초하여 상기 가상 화상의 묘화 빈도를 상기 제1 묘화 빈도와 상기 제2 묘화 빈도의 사이에서 전환하는,
상기 (1) 내지 (17) 중 어느 한 항에 기재된 정보 처리 장치.
(19)
상기 묘화 제어부는, 상기 표시 장치의 유저의 시선과 상기 가상 화상 사이의 위치 관계에 기초하여 상기 가상 화상의 묘화 빈도를 상기 제1 묘화 빈도와 상기 제2 묘화 빈도의 사이에서 전환하는,
상기 (1) 내지 (18) 중 어느 한 항에 기재된 정보 처리 장치.
(20)
상기 묘화 제어부는, 상기 표시 장치에 의해 표시되는 상기 가상 화상의 프레임 레이트보다도 상기 제1 묘화 빈도를 작게 하는,
상기 (1) 내지 (19) 중 어느 한 항에 기재된 정보 처리 장치.
(21)
실공간에 관련되는 센싱 결과에 기초하여, 가상 화상의 묘화 빈도를, 제1 묘화 빈도와 상기 제1 묘화 빈도보다도 큰 제2 묘화 빈도의 사이에서 전환하는 것과,
상기 센싱 결과와, 상기 제1 묘화 빈도 또는 상기 제2 묘화 빈도의 한쪽에 기초하여 상기 가상 화상을 표시하도록 표시 장치를 제어하는 것을 갖는,
적어도 하나의 프로세서에 의해 실행되는 정보 처리 방법.
(22)
실공간에 관련되는 센싱 결과에 기초하여, 가상 화상의 묘화 빈도를, 제1 묘화 빈도와 상기 제1 묘화 빈도보다도 큰 제2 묘화 빈도의 사이에서 전환하는 것과,
상기 센싱 결과와, 상기 제1 묘화 빈도 또는 상기 제2 묘화 빈도의 한쪽에 기초하여 상기 가상 화상을 표시하도록 표시 장치를 제어하는 것
을, 컴퓨터에 실현시키기 위한 프로그램.
100: HMD
110: 센서부
111: 외향 스테레오 카메라
112: 내향 스테레오 카메라
113: 자이로 센서
114: 가속도 센서
120: 해석부
121: 위치 자세 추정부
122: 위치 자세 예측부
123: 잔차 산출부
124: 시선 검출부
125: 측거부
126: 평면 검출부
130: 화상 제어부
131: 애플리케이션
132: 묘화 방침 결정부
133: 묘화부
134: 프레임 버퍼
135: 2D 보정부
140: 표시 제어부
150: 표시부

Claims (22)

  1. 실공간에 관련되는 센싱 결과에 기초하여, 가상 화상의 묘화 빈도를, 제1 묘화 빈도와 상기 제1 묘화 빈도보다도 큰 제2 묘화 빈도의 사이에서 전환하는 묘화 제어부와,
    상기 센싱 결과와, 상기 제1 묘화 빈도 또는 상기 제2 묘화 빈도의 한쪽에 기초하여 상기 가상 화상을 표시하도록 표시 장치를 제어하는 표시 제어부를 구비하는,
    정보 처리 장치.
  2. 제1항에 있어서, 상기 묘화 제어부는, 상기 센싱 결과에 기초하는 상기 가상 화상이 제1 변화량을 갖는 경우에, 상기 가상 화상의 묘화 빈도를 상기 제1 묘화 빈도로 제어하고,
    상기 묘화 제어부는, 상기 가상 화상이 상기 제1 변화량보다도 큰 제2 변화량을 갖는 경우에, 상기 가상 화상의 묘화 빈도를 상기 제2 묘화 빈도로 제어하는,
    정보 처리 장치.
  3. 제2항에 있어서, 상기 제1 묘화 빈도에 있어서, 상기 가상 화상의 재묘화가 금지되는,
    정보 처리 장치.
  4. 제2항에 있어서, 상기 가상 화상의 표시 위치를 보정하는 보정부를 더 구비하고,
    상기 가상 화상이 상기 제1 변화량을 갖는 경우에, 상기 묘화 제어부가 상기 가상 화상의 재묘화를 억제하는 동안, 상기 보정부는 상기 가상 화상의 표시 위치를 보정하는,
    정보 처리 장치.
  5. 제4항에 있어서, 상기 보정부는, 상기 묘화 제어부에 의해 묘화된 상기 가상 화상의 표시 위치를, 상기 표시 장치에 관한 위치 자세에 기초하여 이차원적으로 보정하는,
    정보 처리 장치.
  6. 제2항에 있어서, 상기 2의 묘화 빈도에 있어서, 상기 가상 화상이 재묘화되는,
    정보 처리 장치.
  7. 제2항에 있어서, 상기 제1 변화량은 소정의 역치보다도 작은 변화량이며,
    상기 제2 변화량은 상기 소정의 역치보다도 큰 변화량이며,
    상기 묘화 제어부는 상기 소정의 역치를 변화시킴으로써 상기 가상 화상의 묘화 빈도를 상기 제1 묘화 빈도와 상기 제2 묘화 빈도의 사이에서 전환하는,
    정보 처리 장치.
  8. 제1항에 있어서, 상기 묘화 제어부는, 프레임 레이트를 제어함으로써, 상기 가상 화상의 묘화 빈도를 상기 제1 묘화 빈도와 상기 제2 묘화 빈도의 사이에서 전환하는,
    정보 처리 장치.
  9. 제1항에 있어서, 상기 묘화 제어부는, 상기 가상 화상을 시인하는 상기 표시 장치의 유저와 상기 가상 화상 사이의 위치 관계에 기초하여 상기 가상 화상의 묘화 빈도를 상기 제1 묘화 빈도와 상기 제2 묘화 빈도의 사이에서 전환하는,
    정보 처리 장치.
  10. 제9항에 있어서, 상기 묘화 제어부는, 상기 유저와 상기 가상 화상 사이의 거리에 기초하여 상기 가상 화상의 묘화 빈도를 상기 제1 묘화 빈도와 상기 제2 묘화 빈도의 사이에서 전환하는,
    정보 처리 장치.
  11. 제10항에 있어서, 상기 묘화 제어부는, 상기 유저와 상기 가상 화상 사이의 거리가 제1 거리인 경우, 상기 가상 화상의 묘화 빈도를 상기 제1 묘화 빈도로 제어하고, 상기 유저와 상기 가상 화상 사이의 거리가 상기 제1 거리보다도 작은 제2 거리인 경우, 상기 가상 화상의 묘화 빈도를 상기 제2 묘화 빈도로 제어하는,
    정보 처리 장치.
  12. 제11항에 있어서, 상기 묘화 제어부는, 상기 유저와 상기 가상 화상의 상기 거리가 멀수록 상기 가상 화상의 묘화 빈도를 저감시키는,
    정보 처리 장치.
  13. 제1항에 있어서, 상기 묘화 제어부는, 상기 실공간에 관련되는 센싱 결과의 정밀도에 기초하여 상기 가상 화상의 묘화 빈도를 상기 제1 묘화 빈도와 상기 제2 묘화 빈도의 사이에서 전환하는,
    정보 처리 장치.
  14. 제13항에 있어서, 상기 실공간에 관련되는 센싱 결과의 정밀도는, 상기 표시 장치에 관한 위치 자세의 인식 정밀도를 포함하고,
    상기 묘화 제어부는, 상기 인식 정밀도에 기초하여 상기 가상 화상의 묘화 빈도를 상기 제1 묘화 빈도와 상기 제2 묘화 빈도의 사이에서 전환하는,
    정보 처리 장치.
  15. 제14항에 있어서, 상기 묘화 제어부는, 상기 인식 정밀도가 제1 인식 정밀도인 경우, 상기 가상 화상의 묘화 빈도를 상기 제1 묘화 빈도로 제어하고, 상기 인식 정밀도가 상기 제1 인식 정밀도보다도 큰 제2 인식 정밀도인 경우, 상기 가상 화상의 묘화 빈도를 상기 제2 묘화 빈도로 제어하는,
    정보 처리 장치.
  16. 제1항에 있어서, 상기 가상 화상의 특징 또는 상태는, 상기 실공간에 관련되는 센싱 결과에 기초하여 결정되고,
    상기 묘화 제어부는, 상기 가상 화상의 특징 또는 상태에 기초하여 상기 가상 화상의 묘화 빈도를 상기 제1 묘화 빈도와 상기 제2 묘화 빈도의 사이에서 전환하는,
    정보 처리 장치.
  17. 제16항에 있어서, 상기 묘화 제어부는, 상기 가상 화상의 형상, 모양 혹은 색채의 복잡성, 크기, 또는 동작의 상태 중 적어도 하나에 기초하여 상기 가상 화상의 묘화 빈도를 상기 제1 묘화 빈도와 상기 제2 묘화 빈도의 사이에서 전환하는,
    정보 처리 장치.
  18. 제1항에 있어서, 상기 묘화 제어부는, 상기 표시 장치의 해상도에 기초하여 상기 가상 화상의 묘화 빈도를 상기 제1 묘화 빈도와 상기 제2 묘화 빈도의 사이에서 전환하는,
    정보 처리 장치.
  19. 제1항에 있어서, 상기 묘화 제어부는, 상기 표시 장치의 유저의 시선과 상기 가상 화상 사이의 위치 관계에 기초하여 상기 가상 화상의 묘화 빈도를 상기 제1 묘화 빈도와 상기 제2 묘화 빈도의 사이에서 전환하는,
    정보 처리 장치.
  20. 제1항에 있어서, 상기 묘화 제어부는, 상기 표시 장치에 의해 표시되는 상기 가상 화상의 프레임 레이트보다도 상기 제1 묘화 빈도를 작게 하는,
    정보 처리 장치.
  21. 실공간에 관련되는 센싱 결과에 기초하여, 가상 화상의 묘화 빈도를, 제1 묘화 빈도와 상기 제1 묘화 빈도보다도 큰 제2 묘화 빈도의 사이에서 전환하는 것과,
    상기 센싱 결과와, 상기 제1 묘화 빈도 또는 상기 제2 묘화 빈도의 한쪽에 기초하여 상기 가상 화상을 표시하도록 표시 장치를 제어하는 것을 갖는,
    적어도 하나의 프로세서에 의해 실행되는 정보 처리 방법.
  22. 실공간에 관련되는 센싱 결과에 기초하여, 가상 화상의 묘화 빈도를, 제1 묘화 빈도와 상기 제1 묘화 빈도보다도 큰 제2 묘화 빈도의 사이에서 전환하는 것과,
    상기 센싱 결과와, 상기 제1 묘화 빈도 또는 상기 제2 묘화 빈도의 한쪽에 기초하여 상기 가상 화상을 표시하도록 표시 장치를 제어하는 것
    을, 컴퓨터에 실현시키기 위한 프로그램.
KR1020207026956A 2018-03-29 2019-01-29 정보 처리 장치, 정보 처리 방법 및 프로그램 KR20200135352A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018063634 2018-03-29
JPJP-P-2018-063634 2018-03-29
PCT/JP2019/002841 WO2019187592A1 (ja) 2018-03-29 2019-01-29 情報処理装置、情報処理方法およびプログラム

Publications (1)

Publication Number Publication Date
KR20200135352A true KR20200135352A (ko) 2020-12-02

Family

ID=68061375

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207026956A KR20200135352A (ko) 2018-03-29 2019-01-29 정보 처리 장치, 정보 처리 방법 및 프로그램

Country Status (6)

Country Link
US (1) US11443719B2 (ko)
EP (1) EP3779959B1 (ko)
JP (1) JPWO2019187592A1 (ko)
KR (1) KR20200135352A (ko)
CN (1) CN111902859B (ko)
WO (1) WO2019187592A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11726327B2 (en) 2020-09-15 2023-08-15 Snap Inc. Eyewear having unsynchronized rolling shutter cameras
CN112395036B (zh) * 2020-11-30 2023-03-24 北京博瑞彤芸科技股份有限公司 页面渲染方法及系统
KR20230135639A (ko) * 2021-02-05 2023-09-25 가부시키가이샤 한도오따이 에네루기 켄큐쇼 전자 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013214162A (ja) 2012-03-30 2013-10-17 Fujitsu Ltd 画像処理方法、画像処理装置及び画像処理プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002189464A (ja) * 2000-12-21 2002-07-05 Canon Inc 画像表示装置および画像表示システム
JP2010050645A (ja) * 2008-08-20 2010-03-04 Olympus Corp 画像処理装置、画像処理方法及び画像処理プログラム
US8386808B2 (en) * 2008-12-22 2013-02-26 Intel Corporation Adaptive power budget allocation between multiple components in a computing system
US9424767B2 (en) * 2012-06-18 2016-08-23 Microsoft Technology Licensing, Llc Local rendering of text in image
US9467750B2 (en) * 2013-05-31 2016-10-11 Adobe Systems Incorporated Placing unobtrusive overlays in video content
CN109445095B (zh) * 2013-11-27 2021-11-23 奇跃公司 虚拟和增强现实系统与方法
US20150379772A1 (en) * 2014-06-30 2015-12-31 Samsung Display Co., Ltd. Tracking accelerator for virtual and augmented reality displays
US10229540B2 (en) 2015-12-22 2019-03-12 Google Llc Adjusting video rendering rate of virtual reality content and processing of a stereoscopic image
US9978180B2 (en) * 2016-01-25 2018-05-22 Microsoft Technology Licensing, Llc Frame projection for augmented reality environments
CN106412563A (zh) * 2016-09-30 2017-02-15 珠海市魅族科技有限公司 一种图像显示方法以及装置
CN107454336B (zh) * 2017-09-11 2021-04-30 Oppo广东移动通信有限公司 图像处理方法及装置、电子装置和计算机可读存储介质
EP3765943A4 (en) * 2018-03-16 2021-12-22 Magic Leap, Inc. DEPTH-BASED FOVEA REPRESENTATION FOR DISPLAY SYSTEMS

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013214162A (ja) 2012-03-30 2013-10-17 Fujitsu Ltd 画像処理方法、画像処理装置及び画像処理プログラム

Also Published As

Publication number Publication date
EP3779959A1 (en) 2021-02-17
CN111902859A (zh) 2020-11-06
CN111902859B (zh) 2024-01-12
US11443719B2 (en) 2022-09-13
US20210005167A1 (en) 2021-01-07
EP3779959B1 (en) 2023-10-25
WO2019187592A1 (ja) 2019-10-03
JPWO2019187592A1 (ja) 2021-05-20
EP3779959A4 (en) 2021-05-26

Similar Documents

Publication Publication Date Title
CN110908503B (zh) 跟踪设备的位置的方法
JP6747504B2 (ja) 情報処理装置、情報処理方法、及びプログラム
EP2813922B1 (en) Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
US9213185B1 (en) Display scaling based on movement of a head-mounted display
CN110651236A (zh) 经由眼睛跟踪扩大有效眼动范围的近眼显示器
JP6002286B1 (ja) ヘッドマウントディスプレイ制御方法、および、ヘッドマウントディスプレイ制御プログラム
US11487354B2 (en) Information processing apparatus, information processing method, and program
JP2023507867A (ja) 人工現実コンテンツの可変焦点ディスプレイを有する人工現実システム
CN111902859B (zh) 信息处理装置、信息处理方法和程序
JPWO2016013272A1 (ja) 情報処理装置及び情報処理方法、並びに画像表示システム
JP2021105749A (ja) 情報処理装置、情報処理方法およびプログラム
US20220291744A1 (en) Display processing device, display processing method, and recording medium
WO2019142560A1 (ja) 視線を誘導する情報処理装置
CN110895433B (zh) 用于增强现实中用户交互的方法和装置
JP2017021824A (ja) ヘッドマウントディスプレイ制御方法、および、ヘッドマウントディスプレイ制御プログラム
US11743447B2 (en) Gaze tracking apparatus and systems
JP7081599B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN112840379A (zh) 信息处理装置、信息处理方法及程序
US11543655B1 (en) Rendering for multi-focus display systems
EP4254348A2 (en) Method and device for multi-camera hole filling
WO2022004130A1 (ja) 情報処理装置、情報処理方法、および記憶媒体
JP2017091190A (ja) 画像処理装置、画像処理方法およびプログラム
WO2018083757A1 (ja) 画像提供装置、画像提供方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
US20230376109A1 (en) Image processing apparatus, image processing method, and storage device
EP4328715A1 (en) Headset adjustment

Legal Events

Date Code Title Description
A201 Request for examination