KR102208329B1 - 화상 처리 장치 및 화상 처리 방법, 컴퓨터 프로그램, 및 화상 표시 시스템 - Google Patents

화상 처리 장치 및 화상 처리 방법, 컴퓨터 프로그램, 및 화상 표시 시스템 Download PDF

Info

Publication number
KR102208329B1
KR102208329B1 KR1020167008121A KR20167008121A KR102208329B1 KR 102208329 B1 KR102208329 B1 KR 102208329B1 KR 1020167008121 A KR1020167008121 A KR 1020167008121A KR 20167008121 A KR20167008121 A KR 20167008121A KR 102208329 B1 KR102208329 B1 KR 102208329B1
Authority
KR
South Korea
Prior art keywords
time
image
delay
prediction
series data
Prior art date
Application number
KR1020167008121A
Other languages
English (en)
Other versions
KR20160101894A (ko
Inventor
유키 야마모토
겐타 가와모토
요이치 히로타
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20160101894A publication Critical patent/KR20160101894A/ko
Application granted granted Critical
Publication of KR102208329B1 publication Critical patent/KR102208329B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/80—Creating or modifying a manually drawn or painted image using a manual input device, e.g. mouse, light pen, direction keys on keyboard
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/12—Use of DVI or HDMI protocol in interfaces along the display data pipeline
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

화상을 관찰하는 유저의 헤드부의 움직임에 추종한 화상을 생성한다. 묘화 장치(300)측에서, 이미 수신한 자세각 데이터의 시계열로부터 일정 시간 후에 수신하는 자세각 데이터를 예측하고, 예측한 자세각 데이터에 기초하여 화상의 렌더링 처리를 실행한다. 자세각 데이터의 예측 알고리즘은, 대략은, (1) 자세각 데이터를 수신하는 예측 시간의 견적과, (2) 예측 시간에 있어서의 자세각 데이터의 예측의 2스텝을 포함한다. 예측한 자세각 데이터로부터 예측 시간에 있어서의 화상을 렌더링함으로써 유저의 헤드부의 움직임에 추종한 화상을 제시할 때의 체감 지연을 저감한다.

Description

화상 처리 장치 및 화상 처리 방법, 컴퓨터 프로그램, 및 화상 표시 시스템{IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, COMPUTER PROGRAM, AND IMAGE DISPLAY SYSTEM}
본 명세서에서 개시하는 기술은, 유저의 헤드부의 움직임에 추종한 화상을 처리하는 화상 처리 장치 및 화상 처리 방법, 컴퓨터 프로그램, 및 화상 표시 시스템에 관한 것이다.
화상을 관찰하는 유저의 헤드부 또는 얼굴부에 고정되는 화상 표시 장치, 즉, 헤드 마운트 디스플레이가 알려져 있다. 헤드 마운트 디스플레이는, 예를 들어 좌우의 눈마다의 화상 표시부를 갖고, 또한, 헤드폰과 병용하여, 시각 및 청각을 제어할 수 있도록 구성되어 있다. 헤드부에 장착했을 때에 외계를 완전히 가로막도록 구성하면, 시청 시의 가상 현실감이 증가한다. 또한, 헤드 마운트 디스플레이는, 좌우의 눈에 서로 다른 영상을 비추는 것도 가능하고, 좌우의 눈에 대하여 시차가 있는 화상을 표시하면 3D 화상을 제시할 수 있다.
이러한 종류의 헤드 마운트 디스플레이는, 허상을 눈의 망막 상에 결상시켜서, 유저에게 관찰시킨다. 여기서, 허상은, 물체가, 초점 거리보다 렌즈에 가까운 위치에 있는 경우에, 그 물체측에 생기는 것이다. 예를 들어, 동공의 전방에 25밀리미터만큼 이격하여 광시야각 광학계를 배치하고, 이 광시야각 광학계의 더 전방에 약 0.7인치의 유효 화소 범위의 크기를 갖는 표시 패널을 배치한 헤드 마운트 디스플레이에 대하여 제안이 이루어져 있다(예를 들어, 특허문헌 1을 참조).
또한, 이러한 종류의 헤드 마운트 디스플레이를 사용하여, 광각 화상을 시청할 수 있다. 예를 들어, 헤드부에 자이로 센서 등을 포함하는 헤드부 동작 추적 장치를 설치하고, 유저의 헤드부의 움직임에 추종시킨 전체 공간의 360도의 영상을 실감할 수 있도록 한 헤드 마운트 디스플레이에 대하여 제안이 이루어져 있다(예를 들어, 특허문헌 2, 특허문헌 3을 참조). 자이로 센서가 검출한 헤드부의 움직임을 상쇄하도록 표시 영역을 이동시킴으로써, 유저는, 자신의 헤드부의 움직임에 추종한 화상을 관찰하게 되어, 전체 공간을 전망할 수 있다.
헤드 마운트 디스플레이는, 유저의 헤드부 동작 움직임에, 더 짧은 지연 시간에 추종한 화상을 제시하는 것이 바람직하다. 지연 시간이 길면, 화상이 헤드부의 동작에 추종하고 있다고 하는 체감을 열화시킨다. 또한, 유저에게 어지러움을 일으킬 것도 염려된다.
일본 특허 공개 제2012-141461호 공보 일본 특허 공개 평9-106322호 공보 일본 특허 공개 제2010-256534호 공보
본 명세서에서 개시하는 기술의 목적은, 유저의 헤드부, 또는 손끝, 발끝, 허리 등 신체의 일부 또는 전부의 움직임에 추종한 화상을 바람직하게 처리할 수 있는, 우수한 화상 처리 장치 및 화상 처리 방법, 컴퓨터 프로그램, 및 화상 표시 시스템을 제공하는 데 있다.
본원은, 상기 과제를 참작하여 이루어진 것으로서, 청구항 1에 기재된 기술은,
외부 장치로부터 시계열 데이터를 수신하는 수신부와,
과거에 수신한 데이터 중에서 최신의 것이 상기 외부 장치에서 생성된 시각부터 다음 화상의 표시 시각까지의 예측 시간을 산출하는 예측 시간 계산부와,
상기 예측 시간에 있어서의 시계열 데이터를 예측하는 시계열 데이터 예측부와,
상기 예측부가 예측한 시계열 데이터에 기초하여 화상을 렌더링하는 묘화 처리부
를 구비하는 화상 처리 장치이다.
본원의 청구항 2에 기재된 기술에 의하면, 청구항 1에 기재된 화상 처리 장치의 상기 시계열 데이터 예측부는, 2개의 시계열 데이터 간을 보간하는 구성을 구비하고, 2개의 시계열 데이터의 앞을 외삽하여, 상기 예측 시간만큼 앞의 시계열 데이터를 예측하도록 구성되어 있다.
본원의 청구항 3에 기재된 기술에 의하면, 청구항 1에 기재된 화상 처리 장치는, 렌더링한 상기 화상을 표시 장치에 송신하는 송신부를 더 구비하고 있다.
본원의 청구항 4에 기재된 기술에 의하면, 청구항 1에 기재된 화상 처리 장치는, 렌더링한 상기 화상을 표시하는 표시부를 더 구비하고 있다.
본원의 청구항 5에 기재된 기술에 의하면, 상기 외부 장치는, 화상을 관찰하는 유저의 신체의 일부 또는 전부의 위치 또는 자세를 추적한다. 그리고, 청구항 1에 기재된 화상 처리 장치의 상기 수신부는, 상기 외부 장치로부터 시계열 데이터로서 자세 정보를 수신하고, 상기 묘화 처리부는, 상기 자세 정보에 기초하여 유저의 신체의 일부 또는 전부의 움직임에 추종하는 화상을 렌더링하도록 구성되어 있다.
본원의 청구항 6에 기재된 기술에 의하면, 청구항 5에 기재된 화상 처리 장치의 상기 예측 시간 계산부는, 상기 외부 장치에서 자세 정보를 송신하고 나서 그 자세 정보에 기초하는 화상을 표시할 때까지의 전체 지연량에 기초하여 예측 시간을 산출하도록 구성되어 있다.
본원의 청구항 7에 기재된 기술에 의하면, 청구항 6에 기재된 화상 처리 장치에 있어서, 상기 전체 지연량은, 상기 외부 장치로부터 자세 정보를 전송할 때의 전송 지연과, 자세 정보에 기초하여 화상을 렌더링할 때의 렌더링 지연과, 렌더링한 화상을 표시할 때의 디스플레이 지연을 포함한다.
본원의 청구항 8에 기재된 기술에 의하면, 청구항 6에 기재된 화상 처리 장치의 상기 예측 시간 계산부는, 전체 지연량을 측정 가능한 정상 지연과 측정 불능인 변동 지연으로 분해하여 계산하도록 구성되어 있다.
본원의 청구항 9에 기재된 기술에 의하면, 청구항 8에 기재된 화상 처리 장치에 있어서, 상기 변동 지연은 전송 지연의 변동을 포함한다.
본원의 청구항 10에 기재된 기술에 의하면, 청구항 5에 기재된 화상 처리 장치의 상기 수신부는, 상기 외부 장치로부터 시계열 데이터로서 유저의 신체의 일부 또는 전부의 위치 또는 자세를 표현하는 쿼터니언을 수신하도록 구성되어 있다.
본원의 청구항 11에 기재된 기술에 의하면, 청구항 10에 기재된 화상 처리 장치의 상기 시계열 데이터 예측부는, 2개의 쿼터니언을 선형 보간하는 구성을 구비하고, 2개의 쿼터니언의 앞을 외삽하여, 상기 예측 시간만큼 앞의 쿼터니언을 예측하도록 구성되어 있다.
본원의 청구항 12에 기재된 기술에 의하면, 청구항 10에 기재된 화상 처리 장치의 상기 시계열 데이터 예측부는, 2개의 쿼터니언을 구면 선형 보간하는 구성을 구비하고, 2개의 쿼터니언의 앞을 외삽하여, 상기 예측 시간만큼 앞의 쿼터니언을 예측하도록 구성되어 있다.
또한, 본원의 청구항 13에 기재된 기술은,
외부 장치로부터 시계열 데이터를 수신하는 수신부와,
과거에 수신한 데이터 중에서 최신의 것에 대하여 상기 외부 장치에 있어서 부가된 시각부터 다음 화상의 표시 시각까지의 예측 시간을 산출하는 예측 시간 계산부와,
상기 예측 시간에 있어서의 시계열 데이터를 예측하는 시계열 데이터 예측부와,
상기 예측부가 예측한 시계열 데이터에 기초하여 화상을 렌더링하는 묘화 처리부
를 구비하는 화상 처리 장치이다.
또한, 본원의 청구항 14에 기재된 기술은,
외부 장치로부터 시계열 데이터를 수신하는 수신부와,
과거에 수신한 데이터 중에서 상기 외부 장치로부터의 최신의 송신 시각부터 다음 화상의 표시 시각까지의 예측 시간을 산출하는 예측 시간 계산부와,
상기 예측 시간에 있어서의 시계열 데이터를 예측하는 시계열 데이터 예측부와,
상기 예측부가 예측한 시계열 데이터에 기초하여 화상을 렌더링하는 묘화 처리부
를 구비하는 화상 처리 장치이다.
또한, 본원의 청구항 15에 기재된 기술은,
외부 장치로부터 시계열 데이터를 수신하는 수신 스텝과,
과거에 수신한 데이터 중에서 최신의 것이 상기 외부 장치에서 생성된 시각부터 다음 화상의 표시 시각까지의 예측 시간을 산출하는 예측 시간 계산 스텝과,
상기 예측 시간에 있어서의 시계열 데이터를 예측하는 시계열 데이터 예측 스텝과,
상기 예측 스텝에서 예측한 시계열 데이터에 기초하여 화상을 렌더링하는 묘화 처리 스텝
을 갖는 화상 처리 방법이다.
또한, 본원의 청구항 16에 기재된 기술은,
외부 장치로부터 시계열 데이터를 수신하는 수신부,
과거에 수신한 데이터 중에서 최신의 것이 상기 외부 장치에서 생성된 시각부터 다음 화상의 표시 시각까지의 예측 시간을 산출하는 예측 시간 계산부,
상기 예측 시간에 있어서의 시계열 데이터를 예측하는 시계열 데이터 예측부,
상기 예측부가 예측한 시계열 데이터에 기초하여 화상을 렌더링하는 묘화 처리부,
로서 컴퓨터를 기능시키도록 컴퓨터 가독 형식으로 기술된 컴퓨터 프로그램이다.
본원의 청구항 16에 관한 컴퓨터 프로그램은, 컴퓨터 상에서 소정의 처리를 실현하도록 컴퓨터 가독 형식으로 기술된 컴퓨터 프로그램을 정의한 것이다. 바꾸어 말하면, 본원의 청구항 16에 관한 컴퓨터 프로그램을 컴퓨터에 인스톨함으로써, 컴퓨터 상에서는 협동적 작용이 발휘되어, 본원의 청구항 1에 관한 화상 처리 장치와 동일한 작용 효과를 얻을 수 있다.
또한, 본원의 청구항 17에 기재된 기술은,
시계열 데이터를 송신하는 외부 장치와,
시계열 데이터를 수신하여 화상을 렌더링하는 묘화 장치와,
상기 묘화 장치에서 렌더링한 화상을 표시하는 표시 장치
를 구비하고,
상기 묘화 장치는, 과거에 수신한 데이터 중에서 최신의 것이 상기 외부 장치에서 생성된 시각부터 다음 화상의 표시 시각까지의 예측 시간을 예측하고, 상기 예측 시간에 있어서의 시계열 데이터를 예측하고, 예측한 시계열 데이터에 기초하여 화상을 렌더링하는,
화상 표시 시스템이다.
단, 여기에서 말하는 「시스템」이란, 복수의 장치(또는 특정한 기능을 실현하는 기능 모듈)가 논리적으로 집합한 물을 말하고, 각 장치나 기능 모듈이 단일의 하우징 내에 있는지 여부는 특별히 상관없다.
본원의 청구항 18에 기재된 기술에 의하면, 청구항 17에 기재된 화상 표시 시스템에 있어서, 상기 외부 장치는, 상기 표시부의 표시 화상을 관찰하는 유저의 신체의 일부 또는 전부의 위치 또는 자세를 추적하는 추적 장치로서, 자세 정보를 송신하고, 상기 묘화 장치는, 수신한 자세 정보에 기초하여 유저의 신체의 일부 또는 전부의 움직임에 추종하는 화상을 렌더링하도록 구성되어 있다.
본원의 청구항 19에 기재된 기술에 의하면, 청구항 17에 기재된 화상 표시 시스템에 있어서, 상기 추적 장치는, 유저의 신체의 일부 또는 전부의 위치 또는 자세를 표현하는 쿼터니언을 송신하고, 상기 묘화 장치는, 2개의 쿼터니언의 앞을 외삽하여 구면 선형 보간함으로써 상기 예측 시간만큼 앞의 쿼터니언을 예측하고, 예측한 쿼터니언에 기초하여 화상을 렌더링하도록 구성되어 있다.
본 명세서에서 개시하는 기술에 의하면, 유저의 헤드부, 또는 손끝, 발끝, 허리 등 신체의 일부 또는 전부의 움직임에 추종한 화상을 바람직하게 처리할 수 있는, 우수한 화상 처리 장치 및 화상 처리 방법, 컴퓨터 프로그램, 및 화상 표시 시스템을 제공할 수 있다.
유저의 헤드부 등의 움직임을 나타내는 자세 정보를 전송할 때에 지연량의 변동이 있다. 본 명세서에서 개시하는 기술에 의하면, 전송 지연의 변동이 있는 자세 정보의 시계열로부터 일정 시간 후의 자세 정보를 예측하고, 예측한 자세 정보에 기초하여 화상의 렌더링 처리를 실행하므로, 유저가 헤드부의 움직임에 추종한 화상을 관찰할 때의 체감 지연을 저감할 수 있다.
또한, 본 명세서에 기재된 효과는 어디까지나 예시이며, 본 발명의 효과는 이것에 한정되는 것은 아니다. 또한, 본 발명이, 상기 효과 이외에, 추가로 부가적인 효과를 발휘하는 경우도 있다.
본 명세서에서 개시하는 기술의 또 다른 목적, 특징이나 이점은, 후술하는 실시 형태나 첨부하는 도면에 기초하여 보다 상세한 설명에 의해 밝혀질 것이다.
도 1은, 본 명세서에서 개시하는 기술을 적용한 화상 표시 시스템(100)의 구성예를 모식적으로 도시한 도면이다.
도 2는, 화상 표시 시스템(100)에 있어서 유저의 헤드부 동작에 추종한 화상 데이터를 표시할 때에 발생하는 지연을 도시한 도면이다.
도 3은, 화상 표시 시스템(100)에 있어서의 지연 모델을 모식적으로 도시한 도면이다.
도 4는, 쿼터니언 q를 도시한 도면이다.
도 5는, 2개의 쿼터니언 사이를 선형 보간하는 방법을 설명하기 위한 도면이다.
도 6은, 2개의 쿼터니언 사이를 구면 선형 보간하는 방법을 설명하기 위한 도면이다.
도 7은, 자세 정보의 예측 알고리즘을 적용한 묘화 장치(300)의 구성예를 도시한 도면이다
도 8은, 쿼터니언의 예측 결과의 시계열 그래프를 도시한 도면이다.
도 9는, 화상 표시 시스템(100)의 변형예를 도시한 도면이다.
도 10은, 화상 표시 시스템(100)에 있어서의 처리의 흐름을 나타낸 타이밍 차트이다.
이하, 도면을 참조하면서 본 명세서에서 개시하는 기술의 실시 형태에 대하여 상세하게 설명한다.
도 1에는, 본 명세서에서 개시하는 기술을 적용한 화상 표시 시스템(100)의 구성예를 모식적으로 도시하고 있다. 도시된 화상 표시 시스템(100)은 헤드부 동작 추적 장치(200)와, 묘화 장치(300)와, 표시 장치(400)로 구성된다.
헤드부 동작 추적 장치(200)는 표시 장치(400)가 표시하는 화상을 관찰하는 유저의 헤드부에 장착하여 사용되고, 소정의 송신 주기로 유저의 헤드부의 자세각을 묘화 장치(200)에 출력한다. 도시된 예에서는, 헤드부 동작 추적 장치(200)는 센서부(201)와, 자세각 연산부(202)와, 얻어진 자세 정보를 묘화 장치(300)에 송신하는 송신부(203)를 구비하고 있다.
센서부(201)는 예를 들어, 자이로 센서와 가속도 센서와 지자기 센서 등 복수의 센서 소자를 조합하여 구성되어 있다. 여기에서는, 3축 자이로 센서, 3축 가속도 센서, 3축 지자기 센서의 총 9축을 검출 가능한 센서로 한다.
자세각 연산부(202)는 센서부(201)에 의한 9축의 검출 결과에 기초하여, 유저의 헤드부의 자세각을 연산한다. 송신부(203)는 구해진 자세 정보를 묘화 장치(300)에 송신한다. 본 실시 형태에서는, 자세각은 쿼터니언으로서 표현되는 것으로 한다. 쿼터니언은, 회전축(벡터)과 회전각(스칼라)를 포함하는 4원수이다. 단, 헤드부 동작 추적 장치(200)가 쿼터니언으로 표현되는 자세각을 연산하는 것은 필수적은 아니다. 헤드부 동작 추적 장치(200)는 자세각을 쿼터니언 이외의 형식으로 표현한 정보를 묘화 장치(300)에 송신하도록 해도 된다. 또는, 도 9에 도시한 바와 같이, 헤드부 동작 추적 장치(200)는 센서부(201)의 검출 결과를 그대로 송신부(203)로부터 출력하고, 묘화 장치(300)가 자세각 연산부(202)를 장비하고, 헤드부 동작 추적 장치(200)로부터 수신한 센서 정보로부터 자세각을 산출하도록 해도 된다.
도시된 화상 표시 시스템(100)에서는, 헤드부 동작 추적 장치(200)와 묘화 장치(300) 사이는 Bluetooth(등록 상표) 통신 등의 무선 통신에 의해 상호 접속되어 있는 것으로 한다. 본 실시 형태에서는, 헤드부 동작 추적 장치(200)와 묘화 장치(300) 사이에서는 비동기로 통신이 행하여지고, 서로의 클럭도 동기가 취해져 있지 않은 것을 상정한다. 물론, 무선 통신이 아니라, USB(Universal Serial Bus)와 같은 고속의 유선 인터페이스 경유로 헤드부 동작 추적 장치(200)와 묘화 장치(300) 간을 접속하도록 해도 된다. 어떻든, 헤드부 동작 추적 장치(200)로부터 묘화 장치(300)에 자세 정보를 전송할 때에는 전송 지연이 발생한다.
여기서, Bluetooth(등록 상표) 통신은, 다양한 기기에서의 통신에 사용된다고 하는 성질 때문에, 기기의 종류마다 프로토콜이 책정되고, 프로파일로서 표준화되어 있다. 예를 들어, SPP(Serial Port Profile)는 Bluetooth(등록 상표) 대응 기기 간에 가상적으로 시리얼 통신하기 위한 프로파일이며, 스마트폰 등의 Android(등록 상표) 탑재 단말기와 Bluetooth(등록 상표) 대응 기기의 접속에도 이용되고 있다. SPP는, 샘플링 레이트에 폭이 있어, 일정하지 않은 지연을 발생시키기 쉽다.
묘화 장치(300)는 표시 장치(400)에서 표시할 화상의 렌더링 처리를 행한다. 묘화 장치(300)는 예를 들어 스마트폰 등의 Android(등록 상표) 탑재 단말기, 또는 퍼스널 컴퓨터, 게임기로서 구성되지만, 이것에 한정되는 것은 아니다.
도시된 예에서는, 묘화 장치(300)는 헤드부 동작 추적 장치(200)로부터 자세 정보를 수신하는 수신부(301)와, 자세 정보에 기초하여 화상의 렌더링 처리를 행하는 묘화 처리부(302)와, 렌더링한 화상을 표시 장치(400)에 송신하는 송신부(302)와, 화상 데이터의 공급원이 되는 화상 소스(304)를 구비하고 있다.
수신부(301)는 Bluetooth(등록 상표) 통신 등을 통하여, 헤드부 동작 추적 장치(200)로부터 자세 정보를 수신한다. 상술한 바와 같이, 자세 정보는 쿼터니언으로 표현되고 있다.
화상 소스(304)는 예를 들어, 블루 레이(등록 상표) 등의 기록 미디어를 재생하는 미디어 재생 장치, 디지털 방송 신호를 선국 수신하는 방송 튜너, 인터넷의 서버 등으로부터 화상 콘텐츠를 수신하는 통신 인터페이스 등을 포함한다.
묘화 처리부(302)는 화상 소스(304)의 화상 데이터로부터, 표시 장치(400)측에서 표시할 화상을 렌더링한다. 묘화 처리부(302)는 예를 들어 화상 소스(304)로부터 공급되는 전천구형의 원화상이나 4K 등의 고해상도의 원화상으로부터, 수신부(301)로 수신한 자세 정보에 대응한 일부의 영역을 잘라낸 화상을 렌더링한다.
묘화 장치(300)와 표시 장치(400) 사이는, 예를 들어 HDMI(등록 상표)(High Definition Multimedia Interface)나 MHL(Mobile High-definition Link) 등의 유선 케이블에 의해 접속되어 있다. 또는, wirelessHD나 Miracast와 같은 무선 통신으로 접속해도 된다. 송신부(303)는 어느 하나의 통신로를 사용하여, 묘화 처리부(302)로 렌더링된 화상 데이터를 비압축인채로 표시 장치(400)에 송신한다.
표시 장치(400)는 묘화 장치(300)로부터 화상을 수신하는 수신부(401)와, 수신한 화상을 표시하는 표시부(402)를 구비하고 있다. 표시 장치(400)는 예를 들어, 화상을 관찰하는 유저의 헤드부 또는 얼굴부에 고정되는 헤드 마운트 디스플레이로서 구성된다.
수신부(401)는 예를 들어 HDMI(등록 상표)나 MHL 등의 통신로를 통하여, 묘화 장치(300)로부터 비압축의 화상 데이터를 수신한다. 표시부(402)는 수신한 화상 데이터를 화면에 표시한다.
표시 장치(400)가 헤드 마운트 디스플레이로서 구성되는 경우, 예를 들어, 표시부(402)는 유저의 좌우 눈에 각각 고정된 좌우의 화면을 구비하고, 좌안용 화상 및 우안용 화상을 표시한다. 표시부(402)의 화면은, 예를 들어 유기 EL(Electro-Luminescence) 소자나 액정 디스플레이 등의 마이크로디스플레이 등의 표시 패널, 또는, 망막 직묘 디스플레이 등의 레이저 주사 방식 디스플레이로 구성된다. 또한, 표시부(402)의 표시 화상을 확대 투영하여, 유저가 소정의 화각으로 이루어지는 확대 허상으로서 관찰시키는 허상 광학부를 구비하고 있다.
묘화 장치(300)측에서는, 예를 들어 전천구형의 원화상이나 4K 등의 고해상도의 원화상으로부터, 유저의 헤드부 자세 정보에 대응한 일부의 영역을 잘라낸 화상을 렌더링한다. 표시 장치(400)측에서는, 유저의 헤드부의 자세각을 상쇄하도록 원화상 중의 표시 영역이 이동하게 된다. 따라서, 유저는, 자신의 헤드부의 움직임에 추종한 화상을 관찰하게 되어, 대형 화면을 바라볼 수 있다.
또한, 도 1에 도시하는 예에서는, 화상 표시 시스템(100)은 헤드부 동작 추적 장치(200), 묘화 장치(300), 표시 장치(400)라고 하는 3대의 독립된 장치로 구성되지만, 묘화 장치(300)와 표시 장치(400)가 하나의 장치 내에 내장되는 구성이나, 헤드부 동작 추적 장치(200), 묘화 장치(300), 및 표시 장치(400)가 모두 하나의 장치 내에 내장되는 구성도 생각된다. 도 1에 도시한 바와 같이, 헤드부 동작 추적 장치(200)를 표시 장치(400)에 외장되는 옵션 제품으로서 구성하면, 표시 장치(400)의 소형·경량화, 저렴화가 이루어진다.
도 1에 도시한 화상 표시 시스템(100)에 있어서는, 헤드부 동작 추적 장치(200)가 유저의 헤드부 자세를 검출하고 나서, 그 자세에 추종한 화상을 표시 장치(400)로 표시할 때까지의 동안에 지연 시간이 발생한다. 도 2에 도시한 바와 같이, 헤드부 동작 추적 장치(200)로부터 묘화 장치(300)에 자세 정보를 전송할 때에 발생하는 전송 지연(21)이나, 묘화 장치(300)로 자세 정보에 추종한 화상을 묘화 처리할 때에 발생하는 렌더링 지연(22), 묘화 데이터를 표시 장치(400)로 표시할 때에 발생하는 디스플레이 지연(23) 등이, 지연 시간의 주된 요소라고 생각된다.
도 3에는, 화상 표시 시스템(100)에 있어서, 헤드부 동작 추적 장치(200)로부터 묘화 장치(300)에 전송할 때의 지연 모델을 모식적으로 도시하고 있다.
헤드부 동작 추적 장치(200)는 센서부(201)에 의한 검출 결과로부터 유저의 헤드부 자세 정보(쿼터니언)를 계산하고, 참조 번호 31로 나타내는 데이터 계열과 같이, 소정의 송신 주기 Δtperiod마다 출력한다.
헤드부 동작 추적 장치(200)로부터 묘화 장치(300)에 자세 정보를 전송할 때의 전송 지연이 정상적인 경우에는, 참조 번호 32로 나타내는 데이터 계열과 같이, 각 송신 주기로 송신 시에 발생하는 자세 정보는, 항상 일정한 전송 지연 Δttransmit 후에 묘화 장치(300)에 도달한다. 즉, 각 자세 정보를 등간격으로 수신한다. 그런데, 전송 지연은, 정상적인 성분과 변동 성분을 포함하기 때문에, 참조 번호 33로 나타내는 데이터 계열처럼, 전송 지연은 매회 상이하다. i회째의 송신 시에 발생하는 전송 지연을 Δti transmit라 한다. 예를 들어, 헤드부 동작 추적 장치(200)로부터 묘화 장치(400)의 전송에 Bluetooth(등록 상표) 통신의 SPP 등의 프로토콜을 사용하는 경우에는, 전송 지연이 변동될 것이 상정된다.
표시 장치(400)는 유저의 헤드부 동작 움직임에, 더 짧은 지연 시간에 추종한 화상을 제시하는 것이 바람직하다. 지연 시간이 길면, 화상이 헤드부의 동작에 추종하고 있다고 하는 체감을 열화시킨다. 또한, 유저에게 어지러움을 일으킬 것도 염려된다.
상술한 바와 같이, 화상 표시 시스템(100)에서는, 헤드부 동작 추적 장치(200)로부터 묘화 장치(300)에 도착하는 자세 정보에는 전송 지연의 변동이 있다. 본 실시 형태에서는, 묘화 장치(300)측에서, 이미 수신한 자세 정보의 계열로부터 일정 시간 후의 자세 정보를 예측하고, 예측한 자세 정보에 기초하여 화상의 렌더링 처리를 실행함으로써, 유저의 헤드부의 움직임에 추종한 화상을 제시할 때의 체감 지연을 저감하도록 하고 있다.
먼저, 자세 예측 처리의 데이터 플로우에 대해서, 도 2를 참조하면서 설명한다. 센서부(201)로부터 출력되는 센서값은, 미리 측정된 오프셋값을 사용하여 오프셋이 제거되어 있다. 자세각 연산부(202)는 오프셋 제거 후의 센서값을 사용하여 자세 추정하고, 센서력 좌표 회전을 나타내는 쿼터니언을 얻는다. 여기에서의 좌표 회전은, 지면에 고정된 관성 좌표계(글로벌 좌표계)로부터, 표시 장치(400)에 고정된 국소 좌표계로의 변환을 나타낸다.
헤드부 동작 추적 장치(200)로부터 묘화 장치(300)에, 자세 추정 후의 쿼터니언을 송신하면, 묘화 장치(300)측에서는, 수신부(301)로 수신한 쿼터니언의 값이 배열에 보존된다. 배열의 길이는, 자세 예측 알고리즘에 필요한 크기 n개에 고정하고, 항상 최신의 n개의 쿼터니언을 저장해 두는 것으로 한다. 쿼터니언 배열 내에 저장된 값을 사용하여 자세 예측 처리를 하고, 그 결과로서 하나의 쿼터니언을 얻을 수 있다. 묘화 처리부(302)는 여기에서 얻은 예측 결과의 쿼터니언을 사용하여, 표시 장치(400)로 표시하는 3D 모델에 대하여 좌표 회전을 행하고, 렌더링 처리하고, 묘화를 갱신한다.
자세 정보의 예측 알고리즘은, 대략은, (1) 다음의 자세 정보에 기초하는 화상을 표시하는 예측 시간의 견적과, (2) 예측 시간에 있어서의 자세 정보의 예측의 2스텝을 포함한다. 묘화 처리부(302)에서는, 예측한 자세 정보로부터 예측 시간에 있어서의 화상을 렌더링함으로써 표시 장치(400)에서는 유저의 헤드부의 움직임에 추종한 화상을 관찰할 때의 체감 지연을 저감한다.
계속해서, 예측 시간을 어림잡는 방법에 대하여 설명한다. 여기에서 말하는 예측 시간은, 묘화 장치(300)가 헤드부 동작 추적 장치(200)부터 과거에 수신한 데이터 중에서 최신의 것이, 헤드부 동작 추적 장치(200)에 있어서 생성(측정 또는 계산)된 시각, 또는 헤드부 동작 추적 장치(200)가 송신한 시각으로부터, 다음 화상의 표시 시각까지의 시간이다. 헤드부 동작 추적 장치(200)가 데이터를 송신한 시각으로서는, 송신한 순간의 시각뿐만 아니라, 헤드부 동작 추적 장치(200)에 있어서 시각 정보를 생성하고 데이터에 부가한 시각을 사용하는 것도 가능하다.
헤드부 동작 추적 장치(200)로부터 묘화 장치(300)에의 데이터 전송이 특히 무선에 의한 경우, 전송 지연은 일정하지 않고, 어떤 범위의 변동을 가질 것이 상정된다. 또한, 센서부(201)(헤드부 동작 추적 장치(200))의 클럭과 묘화 장치(300)의 클럭이 비동기이기 때문에, 묘화 장치(300)는 수신 데이터에 부가되는 시각 정보를 그대로 사용할 수는 없지만, 수신한 시간을 이용하여 송신 시간을 추정할 수 있다.
도 10에는, 화상 표시 시스템(100)에 있어서의 처리의 흐름을 타이밍 차트 상에서 나타내고 있다. 도 10을 참조하면서, 묘화 장치(300)에 있어서, 헤드부 동작 추적 장치(200)로부터의 데이터의 송신 시간을 추정하는 방법에 대하여 고찰한다.
도 10 중, 헤드부 동작 추적 장치(200)로부터의 데이터 송신 주기를 Δtperiod, 헤드부 동작 추적 장치(200)로부터의 n번째의 데이터의 송신 시각을 tn send, 묘화 장치(300)에서의 n번째의 데이터 수신 시각을 tn receive, n번째의 데이터의 송신부터 묘화 장치(300)에서의 수신까지 걸리는 시간(전송 지연)을 Δtn transmit라 한다. 또한, 묘화 처리부(302)에 있어서 r회째의 렌더링의 계산에 시간(렌더링 지연) Δtr render가 걸리고, 렌더링 결과를 표시부(402)에 표시하는 데도 시간(디스플레이 지연) Δtdisplay가 걸리는 것으로 한다.
헤드부 동작 추적 장치(200)는 센서부(201)의 센서 결과로부터 연산한 쿼터니언을, Δtperiod의 시간마다 묘화 장치(300)에 송신한다. 수신부(301)는 수신한 쿼터니언을 수신 시각과 함께 관리한다. 묘화 처리부(302)는 렌더링에 필요한 타이밍에, 수신부(301)에서 축적된 쿼터니언에 액세스하고, 대응하는 표시 화상을 렌더링한다. 렌더링이 끝나면, 표시 장치(400)의 표시부(402)에서 결과 화상을 표시한다.
묘화 장치(300)에서는, 데이터 송신 주기 Δtperiod, 데이터 수신 시각 {ti receive}i∈N, 렌더링 지연 Δtr render, 및 디스플레이 지연 Δtdisplay의 각 시간은, 계측 가능한 기지의 값이다. 이에 비해, 헤드부 동작 추적 장치(200)로부터의 데이터 송신 시각 {ti send}i∈N은 묘화 장치(300)에 있어서 불분명하기 때문에, 전송 지연 {Δti transmit}i∈N은 미지의 값이다.
헤드부 동작 추적 장치(200)가 어떤 시각에 송신한 자세 정보가 묘화 장치(300)에 수신되고, 또한 묘화 장치(300)에서 렌더링되고, 표시 장치(400)에 표시 될 때까지의 전체 지연량은, r회째의 렌더링에 대한 예측 시간 Δtr predict로 하여, 하기 수학식 1과 같이 수학식으로 표현할 수 있다.
Figure 112016029372295-pct00001
상술한 바와 같이, 묘화 장치(300)에 있어서, 상기 수학식 1의 제1항의 디스플레이 지연 Δtdisplay와 제2항의 렌더링 지연 Δtr render는 기지의 값이지만, 제3항의 전송 지연 Δtn transmit는 미지의 값이다. 따라서, 전체 지연량을, 디스플레이 지연 Δtdisplay와 렌더링 지연 Δtr render를 포함하는 정상 지연과, 미지의 변동 지연 Δtn transmit로 분해할 수 있다. 전체 지연량 Δtr predict를 계산하기 위해서는, 기지의 정상 지연을 사용하여, 미지의 값 {Δti transmit}i∈ N을 추정해야 한다.
여기서, 묘화 장치(300) 상에서의 데이터의 수신 시간 간격 Δti receive=ti receive-ti-1 receive(i∈N)이 일정한 것과, 전송 지연 {Δti transmit}i∈N이 일정한 것은 동치이다. 어떤 시간 계속해서 전송 지연 시간을 미리 측정해 둠으로써, 정상적인 지연 시간의 평균값 Δtconst=Ei(Δti transmit)을 계측할 수 있다. 따라서, 상기 수학식 1의 제3항을, 하기 수학식 2와 같이 정상 전송 지연 Δtconst와 변동 전송 지연 Δtn variant로 분해할 수 있다. 또한, 하기 수학식 2을 상기 수학식 1에 대입하면, 하기 수학식 3과 같이 된다.
Figure 112016029372295-pct00002
Figure 112016029372295-pct00003
상기 수학식 3의 우변 제1항 내지 제3항은, 사전 측정이나 시스템 클럭 측정에 의해 측정이 가능하고, 정상 지연으로 분류된다. 본 실시 형태에서는, 우변 제1항의 디스플레이 지연 Δtdisplay와 우변 제3항의 정상 전송 지연 Δtconst는, 미리 측정한 것을 사용하여, 예측 시간의 견적을 행하는 것으로 한다.
한편, 상기 수학식 3의 우변 제4항의 Δtn variant는 전송 지연의 변동이다. 전송 지연의 변동 Δtn variant는, 측정 불가능해서, 변동 지연으로 분류된다. 본 실시 형태에서는, 변동 전송 지연 Δtn variant를, 하기 수학식 4 또는 5와 같이 수학식으로 표현한다. 단, 하기 수학식 4에 나타내는 변동 전송 지연 Δtn variant를 도출하는 방법의 상세에 대해서는, 후술하기로 한다.
Figure 112016029372295-pct00004
Figure 112016029372295-pct00005
상기 수학식 4 또는 5의 우변의, 수신 시간 간격 Δtn receive는, 헤드부 동작 추적 장치(200)로부터 (n-1)번째로 송신된 자세 정보의 쿼터니언을 묘화 장치(300)로 수신한 시각 tn - 1 receive와, 헤드부 동작 추적 장치(200)로부터 n번째로 송신된 자세 정보의 쿼터니언을 묘화 장치(300)로 수신한 시각 tn receive와의 차분이다. 전송 지연의 변동이 없으면, 수신 시간 간격 Δtn receive(=tn receive-tn - 1 receive)은 헤드부 동작 추적 장치(200)로부터 자세 정보의 송신 주기 Δtperiod와 동등하지만, 변동이 있으면 Δtn receive- Δtperiod는 제로가 아니게 된다. 상기 수학식 4에서는, 과거 n개분의 자세 정보의 수신 간격의 변동의 합을 취하여 변동 전송 지연 Δtn variant를 어림잡고 있다. 또한, 상기 수학식 5는 n을 무한대로 했을 때의 근사식이라고 풀 수도 있다.
상기 수학식 1로 표시되는, 정상 지연(디스플레이 지연, 렌더링 지연, 전송 지연의 평균)과 변동 지연의 합을 포함하는 전체 지연량 Δtr predict가, 어떤 시각에 있어서 헤드부 동작 추적 장치(200)로부터 송신된 자세 정보를 수신하는 예측 시간이 된다.
계속해서, 예측 시간에 있어서의 자세 정보를 예측하는 방법에 대하여 설명한다.
이미 설명한 바와 같이, 본 실시 형태에서는, 자세 정보를 쿼터니언 q로 표현한다. 쿼터니언 q는, 하기 수학식 6 및 도 4에 도시한 바와 같이, 회전축(벡터)과 회전각(스칼라)를 포함하는 4원수이다.
Figure 112016029372295-pct00006
쿼터니언은, 특이점이 없기 때문에 계산에 적합하다. 컴퓨터 그래픽스의 분야에서는, 물체의 자세를 쿼터니언으로 표현하는 것이 일반적이다. 본 실시 형태에서는, 헤드부 동작 추적 장치(200)로부터 묘화 장치(300)에 전해진 쿼터니언의 시계열 qi로부터(단, qi는 i번째로 수신한 쿼터니언이라 한다), 예측 시간 Δtr predict에 있어서의 쿼터니언을 예측한다.
자세를 나타내는 쿼터니언은, 3차원 구면 상의 1점으로서 기술된다. 2개의 쿼터니언 qi -1과 qi의 사이를 선형 보간하는 방법으로서, 하기 수학식 7 및 도 5에 도시한 바와 같이, 쿼터니언 qi -1과 qi의 종점을 연결하는 선분 상에서 선형 보간하는 방법 Lerp와, 하기 수학식 8 및 도 6에 도시한 바와 같이, 쿼터니언 qi -1과 qi의 사이를 3차원 구면 상에서 선형 보간하는 구면 선형 보간 Slerp를 들 수 있다.
Figure 112016029372295-pct00007
Figure 112016029372295-pct00008
통상의 선형 보간 Lerp보다도, 구면 선형 보간 Slerp쪽이 보다 정확한 보간을 행할 수 있을 것으로 사료된다.
상기 수학식 8에 있어서, 0≤t≤1이라면 2개의 쿼터니언 qi -1과 qi의 사이를 선형 보간하게 되는데, t≥1이라면, 2개의 쿼터니언 qi -1과 qi의 앞 부분을 외삽하여, 시각 t만큼 앞의 쿼터니언을 예측하게 된다. 따라서, 본 실시 형태에서는, 어림잡은 예측 시간을 상기 수학식 8의 t에 대입함으로써, 예측 시간 후에 있어서의 쿼터니언을 예측한다.
헤드부 동작 추적 장치(200)로부터 쿼터니언 qi -1과 qi가 송신되는 간격은 Δtperiod이다. 한편, 다음으로 헤드부 동작 추적 장치(200)로부터 송신되는 쿼터니언 qi+1이 묘화 장치(300)로 수신되는 예측 시간은, 송신 간격 Δtperiod에 전체 지연량 Δtr predict를 첨가한 시간 Δtperiod+Δtr predict이다. 이 시간을 송신 간격 Δtperiod로 정규화한 값(tr=1+Δtr predict/Δtperiod)을 t로 하여 상기 수학식 8에 대입함으로써, 예측 시간 Δtr predict 후의 쿼터니언 qpredict(tr)을 하기 수학식 9 또는 10에 따라서 예측할 수 있다. 단, 하기 수학식 10의 경우, qpredict(tn-1)을 하기 수학식 11로 둔다. 하기 수학식 9에 나타내는 예측 시간 tr에 있어서의 쿼터니언 qpredict(tr)을 도출하는 방법의 상세에 대해서는, 후술하기로 한다.
Figure 112016029372295-pct00009
Figure 112016029372295-pct00010
Figure 112016029372295-pct00011
도 7에는, 자세 정보의 예측 알고리즘을 적용한 묘화 장치(300)의 구성예를 도시하고 있다.
변동 지연 견적부(71)는 수신부(301)로 헤드부 동작 추적 장치(200)로부터 쿼터니언을 수신하는 시각을 모니터하여, 상기 수학식 4 또는 5에 따라서 변동 지연 Δtn variant를 어림잡는다.
전체 지연량 계산부(72)는 변동 지연 견적부(71)로부터 변동 지연 Δtn variant를 입력함과 함께, 사전 측정한 디스플레이 지연이나 전송 지연의 평균, 묘화 처리부(302)에 있어서의 렌더링 지연을 입력하고, 상기 수학식 1에 따라서 전체 지연량 Δt를 산출한다.
예측부(73)는 2개의 쿼터니언 사이를 3차원 구면 상에서 선형 보간하는 구면 선형 보간기(Slerp)로서 구성되는데, 파라미터 t에 전체 지연량 Δt로부터 구해지는 예측 시간을 대입함으로써, 상기 수학식 6에 도시한 바와 같이, 다음 쿼터니언 qi+1을 외삽하여, 현재의 바른 자세 정보로서 예측한다. 그리고, 예측부(73)는 예측한 쿼터니언 q를 묘화 처리부(302)에 출력한다. 묘화 처리부(302)는 예측된 쿼터니언 q를 사용하여, 유저의 헤드부 자세 정보에 대응한 화각의 화상 렌더링을 실행한다.
도 8에는, 예측부(73)에 의한 쿼터니언의 예측 결과의 시계열 그래프를 나타내고 있다. 단, 횡축은 시간축, 종축은 쿼터니언의 s 성분으로 한다.
도 8 중, 참조 번호 81로 나타내는 곡선은, 쿼터니언의 s 성분의 정해값, 즉 헤드부 동작 추적 장치(200)로부터 출력되는 값이다.
또한, 묘화 장치(300)로 수신한 쿼터니언(예측 전의 쿼터니언)의 s 성분을, ◆로 나타내고 있다. 상술한 바와 같이, 헤드부 동작 추적 장치(200)로부터 묘화 장치(300)에 쿼터니언을 전송할 때에 전송 지연이 발생하고, 쿼터니언마다 전송 지연은 변동된다.
참조 번호 82, 83으로 나타내는 바와 같이, 예측부(73)는 수신한 2개의 쿼터니언으로부터 예측 시간에 있어서의 현재의 올바른 쿼터니언을 예측하고, 묘화 처리부(302)에 출력한다. 도 8 중에서는, 예측 전의 2개의 쿼터니언으로부터 예측된 쿼터니언의 s 성분을 ●로 나타내고 있다. 예측된 쿼터니언은 정해값에 근접하고 있는 것을 알 수 있다.
여기서, 상기 수학식 4에 나타낸 변동 전송 지연 Δtn variant의 도출 방법에 대하여 설명해 둔다. 데이터의 수신 시간 간격 Δti receive와 전송 지연 Δti variant의 사이에는, 하기 수학식 12에 나타내는 관계식이 성립한다. 하기 수학식 12에 하기 수학식 13을 사용하면, 하기 수학식 14에 나타내는 바와 같이 된다.
Figure 112016029372295-pct00012
Figure 112016029372295-pct00013
Figure 112016029372295-pct00014
변동 전송 지연 Δti variant의 평균값은 0이 될 것이다. 따라서, 하기 수학식 15가 성립한다.
Figure 112016029372295-pct00015
여기서, 상기 수학식 14를 변형하여, 하기 수학식 16으로 한다.
Figure 112016029372295-pct00016
어떤 N을 고정했을 때, 임의의 j에 대하여 j≤i≤N-1에 관한 상기 수학식 16의 양변의 총합을 취하면, 하기 수학식 17, 나아가서는 하기 수학식 18과 같이 된다.
Figure 112016029372295-pct00017
단, N≥2∈N, j≤N∈N＼{0}에 대하여 j≤i≤N-1
Figure 112016029372295-pct00018
또한, i에 관한 상기 수학식 18의 양변의 총합을 취하면, 하기 수학식 19, 20이 성립한다.
Figure 112016029372295-pct00019
Figure 112016029372295-pct00020
여기서, 상기 수학식 5로부터, N이 충분히 클 때, 하기 수학식 21과 같이 된다. 따라서, 상기 수학식 20은 하기 수학식 22와 같이 된다. 그리고, 하기 수학식 22의 N을 N+1로 치환하면, 하기 수학식 23에 나타내는 바와 같이 된다.
Figure 112016029372295-pct00021
Figure 112016029372295-pct00022
Figure 112016029372295-pct00023
상기 수학식 23로부터 상기 수학식 22을 각 변에서 감산하면, 하기 수학식 24를 얻는다.
Figure 112016029372295-pct00024
여기서, 상기 수학식 23의 우변 제1항을 하기 수학식 25에 나타내는 바와 같이 변형하고, 하기 수학식 26이 성립하는 것에 주의하면, 상기 수학식 24에 대해서, 하기 수학식 27, 28이 성립한다.
Figure 112016029372295-pct00025
Figure 112016029372295-pct00026
Figure 112016029372295-pct00027
Figure 112016029372295-pct00028
따라서, 상기 수학식 28을 ΔtN + 1 variant에 관한 추정식이라 간주하면, 충분히 큰 N에 대하여 하기 수학식 29가 되어, 상기 수학식 4를 유도할 수 있다.
Figure 112016029372295-pct00029
계속해서, 상기 수학식 9에 나타낸, 예측 시간 tr에 있어서의 쿼터니언 qpredict(tr)을 도출하는 방법에 대하여 설명한다. 현재까지 취득된 최신의 3개의 쿼터니언 q(tn -2), q(tn -1), q(tn)을 사용하고, 구면 선형 보간의 식을 사용하여, 예측 쿼터니언 qpredict(tr)을 이하와 같이 계산한다.
Figure 112016029372295-pct00030
Figure 112016029372295-pct00031
상기 수학식 30은 쿼터니언의 미분을 예측하고 있음을 의미하고 있다. 또한, 상기 수학식 31은 상기 예측 쿼터니언 qpredict(tn)을 사용하여, 예측 시간 Δtr predict만큼 앞의 자세의 쿼터니언을 예측한 것이다.
여기서, 하기 수학식 32와 같이 높으면, 상기 수학식 31은 하기 수학식 33과 같이 된다.
Figure 112016029372295-pct00032
Figure 112016029372295-pct00033
즉, 이 도출 방법에서는, 쿼터니언 q(tn - 1)을 추정한 값 qpredict(tn-1)을 사용하여, 구면 선형 보간에 의해 예측 시간 tr에 있어서의 쿼터니언 qpredict(tr)을 예측하고 있다고 풀 수 있다.
이상, 특정한 실시 형태를 참조하면서, 본 명세서에서 개시하는 기술에 대하여 상세하게 설명하였다. 그러나, 본 명세서에서 개시하는 기술의 요지를 일탈하지 않는 범위에서 당업자가 그 실시 형태의 수정이나 대용을 할 수 있음은 자명하다.
본 명세서에서는, 시계열 데이터로서 유저의 헤드부, 또는 손끝, 발끝, 허리 등 신체의 일부 또는 전부의 자세 정보에 기초하여 화상의 렌더링을 행하는 실시 형태를 중심으로 설명해 왔지만, 다른 시계열 데이터에 기초하여 화상의 렌더링을 행하는 경우에 있어서도, 마찬가지로 본 명세서에서 개시하는 기술을 적용할 수 있다. 또한, 본 명세서에서는, 자세 정보를 쿼터니언으로 표현하는 실시 형태를 중심으로 설명하였지만, 기타의 형식으로 자세 정보를 표현하는 경우에 있어서도, 마찬가지로 본 명세서에서 개시하는 기술을 적용할 수 있다.
요컨대, 예시라고 하는 형태에 의해 본 명세서에서 개시하는 기술에 대하여 설명한 것이며, 본 명세서의 기재 내용을 한정적으로 해석해서는 안된다. 본 명세서에서 개시하는 기술의 요지를 판단하기 위해서는, 특허 청구 범위를 참작해야 한다.
또한, 본 명세서의 개시 기술은, 이하와 같은 구성을 취하는 것도 가능하다.
(1) 외부 장치로부터 시계열 데이터를 수신하는 수신부와,
과거에 수신한 데이터 중에서 최신의 것이 상기 외부 장치에서 생성된 시각부터 다음 화상의 표시 시각까지의 예측 시간을 산출하는 예측 시간 계산부와,
상기 예측 시간에 있어서의 시계열 데이터를 예측하는 시계열 데이터 예측부와,
상기 예측부가 예측한 시계열 데이터에 기초하여 화상을 렌더링하는 묘화 처리부
를 구비하는 화상 처리 장치.
(2) 상기 시계열 데이터 예측부는, 2개의 시계열 데이터 간을 보간하는 구성을 구비하고, 2개의 시계열 데이터의 앞을 외삽하여, 상기 예측 시간만큼 앞의 시계열 데이터를 예측하는,
상기 (1)에 기재된 화상 처리 장치.
(3) 렌더링한 상기 화상을 표시 장치에 송신하는 송신부를 더 구비하는,
상기 (1) 또는 (2) 중 어느 하나에 기재된 화상 처리 장치.
(4) 렌더링한 상기 화상을 표시하는 표시부를 더 구비하는,
상기 (1) 내지 (3) 중 어느 하나에 기재된 화상 처리 장치.
(5) 상기 외부 장치는, 화상을 관찰하는 유저의 신체의 일부 또는 전부의 위치 또는 자세를 추적하고,
상기 수신부는, 상기 외부 장치로부터 시계열 데이터로서 자세 정보를 수신하고,
상기 묘화 처리부는, 상기 자세 정보에 기초하여 유저의 신체의 일부 또는 전부의 움직임에 추종하는 화상을 렌더링하는,
상기 (1) 내지 (5) 중 어느 하나에 기재된 화상 처리 장치.
(6) 상기 예측 시간 계산부는, 상기 외부 장치에서 자세 정보를 송신하고 나서 그 자세 정보에 기초하는 화상을 표시할 때까지의 전체 지연량에 기초하여 예측 시간을 산출하는,
상기 (5)에 기재된 화상 처리 장치.
(7) 상기 전체 지연량은, 상기 외부 장치로부터 자세 정보를 전송할 때의 전송 지연과, 자세 정보에 기초하여 화상을 렌더링할 때의 렌더링 지연과, 렌더링한 화상을 표시할 때의 디스플레이 지연을 포함하는,
상기 (6)에 기재된 화상 처리 장치.
(8) 상기 예측 시간 계산부는, 전체 지연량을 측정 가능한 정상 지연과 측정 불능인 변동 지연으로 분해하여 계산하는,
상기 (6) 또는 (7) 중 어느 하나에 기재된 화상 처리 장치.
(9) 상기 변동 지연은, 전송 지연의 변동을 포함하는,
상기 (8)에 기재된 화상 처리 장치.
(10) 상기 수신부는, 상기 외부 장치로부터 시계열 데이터로서 유저의 신체의 일부 또는 전부의 위치 또는 자세를 표현하는 쿼터니언을 수신하는,
상기 (5)에 기재된 화상 처리 장치.
(11) 상기 시계열 데이터 예측부는, 2개의 쿼터니언을 선형 보간하는 구성을 구비하고, 2개의 쿼터니언의 앞을 외삽하여, 상기 예측 시간만큼 앞의 쿼터니언을 예측하는,
상기 (10)에 기재된 화상 처리 장치.
(12) 상기 시계열 데이터 예측부는, 2개의 쿼터니언을 구면 선형 보간하는 구성을 구비하고, 2개의 쿼터니언의 앞을 외삽하여, 상기 예측 시간만큼 앞의 쿼터니언을 예측하는,
상기 (10) 또는 (11) 중 어느 하나에 기재된 화상 처리 장치.
(13) 외부 장치로부터 시계열 데이터를 수신하는 수신부와,
과거에 수신한 데이터 중에서 최신의 것에 대하여 상기 외부 장치에 있어서 부가된 시각부터 다음 화상의 표시 시각까지의 예측 시간을 산출하는 예측 시간 계산부와,
상기 예측 시간에 있어서의 시계열 데이터를 예측하는 시계열 데이터 예측부와,
상기 예측부가 예측한 시계열 데이터에 기초하여 화상을 렌더링하는 묘화 처리부
를 구비하는 화상 처리 장치.
(14) 외부 장치로부터 시계열 데이터를 수신하는 수신부와,
과거에 수신한 데이터 중에서 상기 외부 장치로부터의 최신의 송신 시각부터 다음 화상의 표시 시각까지의 예측 시간을 산출하는 예측 시간 계산부와,
상기 예측 시간에 있어서의 시계열 데이터를 예측하는 시계열 데이터 예측부와,
상기 예측부가 예측한 시계열 데이터에 기초하여 화상을 렌더링하는 묘화 처리부
를 구비하는 화상 처리 장치.
(15) 외부 장치로부터 시계열 데이터를 수신하는 수신 스텝과,
과거에 수신한 데이터 중에서 최신의 것이 상기 외부 장치에서 생성된 시각부터 다음 화상의 표시 시각까지의 예측 시간을 산출하는 예측 시간 계산 스텝과,
상기 예측 시간에 있어서의 시계열 데이터를 예측하는 시계열 데이터 예측 스텝과,
상기 예측 스텝에서 예측한 시계열 데이터에 기초하여 화상을 렌더링하는 묘화 처리 스텝
을 갖는 화상 처리 방법.
(16) 외부 장치로부터 시계열 데이터를 수신하는 수신부,
과거에 수신한 데이터 중에서 최신의 것이 상기 외부 장치에서 생성된 시각부터 다음 화상의 표시 시각까지의 예측 시간을 산출하는 예측 시간 계산부,
상기 예측 시간에 있어서의 시계열 데이터를 예측하는 시계열 데이터 예측부,
상기 예측부가 예측한 시계열 데이터에 기초하여 화상을 렌더링하는 묘화 처리부,
로서 컴퓨터를 기능시키도록 컴퓨터 가독 형식으로 기술된 컴퓨터 프로그램.
(17) 시계열 데이터를 송신하는 외부 장치와,
시계열 데이터를 수신하여 화상을 렌더링하는 묘화 장치와,
묘화 장치에서 렌더링한 화상을 표시하는 표시 장치
를 구비하고,
상기 묘화 장치는, 과거에 수신한 데이터 중에서 최신의 것이 상기 외부 장치에서 생성된 시각부터 다음 화상의 표시 시각까지의 예측 시간을 예측하고, 상기 예측 시간에 있어서의 시계열 데이터를 예측하고, 예측한 시계열 데이터에 기초하여 화상을 렌더링하는,
화상 표시 시스템.
(18) 상기 외부 장치는, 상기 표시부의 표시 화상을 관찰하는 유저의 신체의 일부 또는 전부의 위치 또는 자세를 추적하는 추적 장치로서, 자세 정보를 송신하고,
상기 묘화 장치는, 수신한 자세 정보에 기초하여 유저의 신체의 일부 또는 전부의 움직임에 추종하는 화상을 렌더링하는,
상기 (17)에 기재된 화상 표시 시스템.
(19) 상기 추적 장치는, 유저의 신체의 일부 또는 전부의 위치 또는 자세를 표현하는 쿼터니언을 송신하고,
상기 묘화 장치는, 2개의 쿼터니언의 앞을 외삽하여 구면 선형 보간함으로써 상기 예측 시간만큼 앞의 쿼터니언을 예측하고, 예측한 쿼터니언에 기초하여 화상을 렌더링하는,
상기 (17)에 기재된 화상 표시 시스템.
100: 화상 표시 시스템
200: 헤드부 동작 추적 장치
201: 센서부
202: 자세각 연산부
203: 송신부
300: 묘화 장치
301: 수신부
302: 묘화 처리부
303: 송신부
304: 화상 소스
400: 표시 장치
401: 수신부
402: 표시부
71: 변동 지연 견적부
72: 전체 지연량 계산부
73: 예측부

Claims (19)

  1. 외부 장치로부터 시계열 데이터를 수신하는 수신부;
    제1 시각으로부터 제2 시각까지의 예측 시간을 산출하는 예측 시간 계산부 - 상기 제1 시각은 과거에 수신한 데이터 중에서 최신의 것이 상기 외부 장치에서 생성된 시각, 상기 외부 장치에서 상기 과거에 수신한 데이터 중에서 최신의 것에 시각 정보가 부가된 시각, 및 상기 외부 장치로부터 과거에 수신된 데이터를 송신한 최신의 시각 중에서 하나로부터 선택되고, 상기 제2 시각은 다음 화상이 표시되는 시각임 - ;
    상기 예측 시간에 있어서의 시계열 데이터를 예측하는 시계열 데이터 예측부; 및
    상기 예측부가 예측한 시계열 데이터에 기초하여 화상을 렌더링하는 묘화 처리부를 구비하고,
    상기 외부 장치는, 화상을 관찰하는 유저의 신체의 일부 또는 전부의 위치 또는 자세를 추적하고, 상기 수신부는, 상기 외부 장치로부터 상기 시계열 데이터로서 자세 정보를 수신하고, 상기 묘화 처리부는, 상기 자세 정보에 기초하여 상기 유저의 신체의 일부 또는 전부의 움직임에 추종하는 화상을 렌더링하고,
    상기 예측 시간 계산부는, 상기 외부 장치에서 자세 정보를 송신하고 나서 그 자세 정보에 기초하는 화상을 표시할 때까지의 전체 지연량에 기초하여 상기 예측 시간을 산출하고,
    상기 예측 시간 계산부는, 전체 지연량을 측정 가능한 정상 지연과 측정 불능인 변동 지연으로 분해하여 계산하고,
    상기 전체 지연량은, 정상 전송 지연과 변동 전송 지연으로 분해되는 전송 지연을 포함하고,
    상기 변동 지연은, 상기 변동 전송 지연을 포함하고, 상기 정상 지연은, 상기 정상 전송 지연을 포함하고,
    상기 정상 전송 지연은, 미리 측정된 평균값이고,
    상기 변동 전송 지연은, 과거의 자세 정보 수신에 있어서 변동들을 합하여 추정하는, 화상 처리 장치.
  2. 삭제
  3. 제1항에 있어서, 렌더링한 상기 화상을 표시 장치에 송신하는 송신부를 더 구비하는,
    화상 처리 장치.
  4. 제1항에 있어서, 렌더링한 상기 화상을 표시하는 표시부를 더 구비하는,
    화상 처리 장치.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 제1항에 있어서, 상기 수신부는, 상기 외부 장치로부터 상기 시계열 데이터로서 상기 유저의 신체의 일부 또는 전부의 위치 또는 자세를 표현하는 쿼터니언을 수신하는,
    화상 처리 장치.
  11. 제10항에 있어서, 상기 시계열 데이터 예측부는, 2개의 쿼터니언을 선형 보간하는 구성을 구비하고, 상기 2개의 쿼터니언의 앞을 외삽하여, 상기 예측 시간만큼 앞의 쿼터니언을 예측하는,
    화상 처리 장치.
  12. 제10항에 있어서, 상기 시계열 데이터 예측부는, 2개의 쿼터니언을 구면 선형 보간하는 구성을 구비하고, 상기 2개의 쿼터니언의 앞을 외삽하여, 상기 예측 시간만큼 앞의 쿼터니언을 예측하는,
    화상 처리 장치.
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 시계열 데이터를 송신하는 외부 장치;
    상기 시계열 데이터를 수신하여 화상을 렌더링하는 묘화 장치 - 상기 묘화 장치는 청구항 1, 3, 4 및 10 내지 12 중 어느 한항에 따른 화상 처리 장치로서 구성됨 -; 및
    상기 묘화 장치에서 렌더링한 화상을 표시하는 표시 장치
    를 구비하는 화상 표시 시스템.
  18. 삭제
  19. 삭제
KR1020167008121A 2013-12-25 2014-11-04 화상 처리 장치 및 화상 처리 방법, 컴퓨터 프로그램, 및 화상 표시 시스템 KR102208329B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013268014 2013-12-25
JPJP-P-2013-268014 2013-12-25
PCT/JP2014/079205 WO2015098292A1 (ja) 2013-12-25 2014-11-04 画像処理装置及び画像処理方法、コンピューター・プログラム、並びに画像表示システム

Publications (2)

Publication Number Publication Date
KR20160101894A KR20160101894A (ko) 2016-08-26
KR102208329B1 true KR102208329B1 (ko) 2021-01-26

Family

ID=53478170

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167008121A KR102208329B1 (ko) 2013-12-25 2014-11-04 화상 처리 장치 및 화상 처리 방법, 컴퓨터 프로그램, 및 화상 표시 시스템

Country Status (6)

Country Link
US (1) US10324523B2 (ko)
EP (1) EP3089154B1 (ko)
JP (1) JP6439702B2 (ko)
KR (1) KR102208329B1 (ko)
CN (1) CN105593924B (ko)
WO (1) WO2015098292A1 (ko)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102420313B1 (ko) 2014-06-30 2022-07-13 소니그룹주식회사 정보 처리 장치 및 정보 처리 방법, 컴퓨터 프로그램, 그리고 화상 처리 시스템
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
WO2017120767A1 (zh) * 2016-01-12 2017-07-20 深圳多哚新技术有限责任公司 一种头部姿态预测方法和装置
CN106959745A (zh) * 2016-01-12 2017-07-18 深圳多哚新技术有限责任公司 一种头部姿态预测方法和装置
JP6690277B2 (ja) 2016-02-09 2020-04-28 富士通株式会社 画像処理制御方法、画像処理制御プログラムおよび情報処理装置
CN105892658B (zh) * 2016-03-30 2019-07-23 华为技术有限公司 基于头戴显示设备预测头部姿态的方法和头戴显示设备
US10708569B2 (en) 2016-09-29 2020-07-07 Eric Wilson Turbine-Powered Pool Scrubber
CN106598253B (zh) * 2016-12-23 2019-12-10 北京搜狐新媒体信息技术有限公司 一种数据预测方法及装置
US9807384B1 (en) * 2017-01-13 2017-10-31 Optofidelity Oy Method, apparatus and computer program product for testing a display
JP6673288B2 (ja) * 2017-04-27 2020-03-25 株式会社デンソー 車両用表示装置
US11158101B2 (en) 2017-06-07 2021-10-26 Sony Interactive Entertainment Inc. Information processing system, information processing device, server device, image providing method and image generation method
US20200202609A1 (en) * 2017-06-22 2020-06-25 Sony Interactive Entertainment Inc. Information processor, control method, and program
JP6946087B2 (ja) * 2017-07-14 2021-10-06 キヤノン株式会社 情報処理装置及びその制御方法、並びに、プログラム
CN109791297B (zh) * 2017-07-18 2021-07-20 深圳市柔宇科技股份有限公司 检测头戴式显示器数据传输延迟的方法及头戴式显示器
US10762691B2 (en) * 2017-09-08 2020-09-01 Microsoft Technology Licensing, Llc Techniques for compensating variable display device latency in image display
CN107566685B (zh) 2017-09-26 2020-10-27 联想(北京)有限公司 一种图像数据处理方法及电子设备
JP6978289B2 (ja) 2017-11-20 2021-12-08 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、ヘッドマウントディスプレイ、画像生成システム、画像生成方法、およびプログラム
US10726765B2 (en) * 2018-02-15 2020-07-28 Valve Corporation Using tracking of display device to control image display
GB2573271B (en) 2018-03-27 2022-04-06 Displaylink Uk Ltd Data transmission to mobile devices
GB2579760B (en) * 2018-03-29 2023-03-22 Displaylink Uk Ltd Position error measurement in an extended reality mobile display device
CN108717701B (zh) 2018-05-24 2021-03-02 北京乐蜜科技有限责任公司 一种制作影片残影特效的方法、装置、电子设备及介质
CN109743626B (zh) * 2019-01-02 2022-08-12 京东方科技集团股份有限公司 一种图像显示方法、图像处理方法和相关设备
US11010921B2 (en) * 2019-05-16 2021-05-18 Qualcomm Incorporated Distributed pose estimation
CN110430270B (zh) * 2019-08-08 2022-03-25 网易（杭州）网络有限公司 载具数据的同步方法及装置
CN111131805A (zh) * 2019-12-31 2020-05-08 歌尔股份有限公司 图像处理方法、装置和可读存储介质
CN111352506A (zh) * 2020-02-07 2020-06-30 联想(北京)有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN112486318A (zh) * 2020-11-26 2021-03-12 北京字跳网络技术有限公司 图像显示方法、装置、可读介质及电子设备
CN117294832B (zh) * 2023-11-22 2024-03-26 湖北星纪魅族集团有限公司 数据处理方法、装置、电子设备和计算机可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2758023B2 (ja) * 1989-05-17 1998-05-25 日本放送協会 画像表示装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5615132A (en) * 1994-01-21 1997-03-25 Crossbow Technology, Inc. Method and apparatus for determining position and orientation of a moveable object using accelerometers
JPH08336128A (ja) * 1995-04-05 1996-12-17 Matsushita Electric Ind Co Ltd 映像視聴装置
JPH09106322A (ja) 1995-10-09 1997-04-22 Data Tec:Kk ヘッドマウントディスプレイにおける姿勢角検出装置
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
CA2238693C (en) * 1995-11-27 2009-02-24 Cae Electronics Ltd. Method and apparatus for displaying a virtual environment on a video display
US6839041B2 (en) * 2001-08-01 2005-01-04 Thermwood Corporation Virtual reality viewing system and method
US7002551B2 (en) * 2002-09-25 2006-02-21 Hrl Laboratories, Llc Optical see-through augmented reality modified-scale display
JP2004198377A (ja) * 2002-12-20 2004-07-15 Zenrin Co Ltd 移動体監視システム
JP4080375B2 (ja) * 2003-05-15 2008-04-23 シャープ株式会社 移動通信端末位置推定装置、この移動通信端末位置推定装置と通信可能な通信端末装置、通信システム、通信システムにおける移動通信端末位置推定方法、移動通信端末位置推定プログラム、及び移動通信端末位置推定プログラムを記録したコンピュータ読み取り可能な記録媒体
WO2009136969A2 (en) * 2008-01-22 2009-11-12 Carnegie Mellon University Apparatuses, systems, and methods for apparatus operation and remote sensing
JP5047090B2 (ja) * 2008-07-31 2012-10-10 キヤノン株式会社 システム
JP2010256534A (ja) 2009-04-23 2010-11-11 Fujifilm Corp 全方位画像表示用ヘッドマウントディスプレイ装置
JP5330946B2 (ja) * 2009-09-25 2013-10-30 株式会社ユビキタスエンターテインメント 三次元画像表示プログラム、三次元画像表示機能を備えた携帯電話機等の携帯デバイス、及び三次元画像の表示方法
JP2012141461A (ja) 2010-12-29 2012-07-26 Sony Corp ヘッド・マウント・ディスプレイ
JP2013225245A (ja) * 2012-04-23 2013-10-31 Sony Corp 画像処理装置、画像処理方法及びプログラム
US9443355B2 (en) * 2013-06-28 2016-09-13 Microsoft Technology Licensing, Llc Reprojection OLED display for augmented reality experiences

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2758023B2 (ja) * 1989-05-17 1998-05-25 日本放送協会 画像表示装置

Also Published As

Publication number Publication date
JP6439702B2 (ja) 2018-12-19
CN105593924B (zh) 2019-06-07
US10324523B2 (en) 2019-06-18
EP3089154B1 (en) 2020-04-08
EP3089154A1 (en) 2016-11-02
KR20160101894A (ko) 2016-08-26
CN105593924A (zh) 2016-05-18
WO2015098292A1 (ja) 2015-07-02
JPWO2015098292A1 (ja) 2017-03-23
US20160252955A1 (en) 2016-09-01
EP3089154A4 (en) 2017-08-30

Similar Documents

Publication Publication Date Title
KR102208329B1 (ko) 화상 처리 장치 및 화상 처리 방법, 컴퓨터 프로그램, 및 화상 표시 시스템
EP3368965B1 (en) Remote rendering for virtual images
EP3163422B1 (en) Information processing device, information processing method, computer program, and image processing system
CN109743626B (zh) 一种图像显示方法、图像处理方法和相关设备
US10692300B2 (en) Information processing apparatus, information processing method, and image display system
JP6736944B2 (ja) 情報処理装置、情報処理方法およびプログラム
US11002959B2 (en) Head mount display device and driving method thereof
EP3286601B1 (en) A method and apparatus for displaying a virtual object in three-dimensional (3d) space
US20210185292A1 (en) Portable device and operation method for tracking user's viewpoint and adjusting viewport
CN111352506A (zh) 图像处理方法、装置、设备及计算机可读存储介质
US11694409B1 (en) Augmented reality using a split architecture
KR20180061956A (ko) 눈 위치 예측 방법 및 장치
EP3217256B1 (en) Interactive display system and method
US11838486B1 (en) Method and device for perspective correction using one or more keyframes
JP2020136856A (ja) 同期制御装置、同期制御方法、及びプログラム
WO2023068087A1 (ja) ヘッドマウントディスプレイ、情報処理装置および情報処理方法
US20240005536A1 (en) Perspective Correction of User Input Objects
US11954269B2 (en) Information processing apparatus, information processing method, and program for generating location data
WO2023243305A1 (ja) 情報処理装置、情報処理方法およびプログラム
CN115641392A (zh) 虚拟现实系统的数据处理方法、装置、服务器和介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant