KR102420313B1 - 정보 처리 장치 및 정보 처리 방법, 컴퓨터 프로그램, 그리고 화상 처리 시스템 - Google Patents

정보 처리 장치 및 정보 처리 방법, 컴퓨터 프로그램, 그리고 화상 처리 시스템 Download PDF

Info

Publication number
KR102420313B1
KR102420313B1 KR1020167035439A KR20167035439A KR102420313B1 KR 102420313 B1 KR102420313 B1 KR 102420313B1 KR 1020167035439 A KR1020167035439 A KR 1020167035439A KR 20167035439 A KR20167035439 A KR 20167035439A KR 102420313 B1 KR102420313 B1 KR 102420313B1
Authority
KR
South Korea
Prior art keywords
posture
information
head
observer
user
Prior art date
Application number
KR1020167035439A
Other languages
English (en)
Other versions
KR20170028313A (ko
Inventor
히로카즈 다츠타
겐타 가와모토
유이치로 고야마
다카야스 곤
유이치 하세가와
마사루 시무라
유키 야마모토
에이이치 다나카
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20170028313A publication Critical patent/KR20170028313A/ko
Application granted granted Critical
Publication of KR102420313B1 publication Critical patent/KR102420313B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/068—Adjustment of display parameters for control of viewing angle adjustment
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0693—Calibration of display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

관찰자의 머리부 및 몸체의 움직임에 추종한 자유 시점 화상을 표시하는 화상 표시 장치를 제공한다.　 머리부 동작 추적 장치(200)와 몸통부 동작 추적 장치(300)에서 각각 취득되는 유저의 머리부 및 몸통의 자세 정보에 기초하여, 표시 장치(500)에서 표시하는 시점 자유 공간에, 유저의 시선 방향과 신체의 방향을 개별로 정위한다.　 시선을 몸체 전방과 일치시키지 않은 상태에서 몸체 전방으로 공간 상에서 이동한다는, 실공간에서는 자연스러운 행동을 표현하는 것이 가능하게 된다.　 또한, 몸체의 방향에 관계없이, 시선 방향으로 직진한다고 하는 부자연스러운 UI에 빠지는 일은 없게 된다.

Description

정보 처리 장치 및 정보 처리 방법, 컴퓨터 프로그램, 그리고 화상 처리 시스템{INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, COMPUTER PROGRAM, AND IMAGE PROCESSING SYSTEM}
본 명세서에서 개시하는 기술은, 관찰자의 움직임에 추종한 화상을 처리하는 정보 처리 장치 및 정보 처리 방법, 컴퓨터 프로그램, 그리고 화상 처리 시스템에 관한 것이다.
유저의 머리부 또는 얼굴부에 착용되는 화상 표시 장치, 즉, 헤드 마운트 디스플레이가 알려져 있다.　 헤드 마운트 디스플레이는, 예를 들어 좌우의 눈마다의 화상 표시부를 가짐과 함께, 헤드폰과 병용하여, 시각 및 청각을 제어할 수 있도록 구성되어 있다.　 머리부에 장착했을 때에 외계를 완전히 가리게 구성하면, 시청 시의 가상 현실감이 증가한다.　 또한, 헤드 마운트 디스플레이는, 좌우의 눈에 다른 영상을 비추는 것도 가능하고, 좌우의 눈에 대하여 시차가 있는 화상을 표시하면 3D 화상을 제시할 수 있다.
이러한 종류의 헤드 마운트 디스플레이는, 허상을 눈의 망막 상에 결상시키고, 유저에게 관찰시킨다.　 여기서, 허상은, 물체가 초점 거리보다 렌즈에 가까운 위치에 있는 경우에, 그 물체측에 형성된다.　 예를 들어, 동공의 전방에 25밀리미터만큼 이격하여 광시야각의 허상 광학계를 배치하고, 이 광시야각 광학계의 더 전방에 약 0.7인치의 유효 화소 범위의 크기를 갖는 표시 패널을 배치하여, 표시 화상의 확대 허상을 유저의 퓨필에 결상하는 헤드 마운트 디스플레이에 대하여 제안이 이루어져 있다(예를 들어, 특허문헌 1을 참조).
또한, 유저는, 이러한 종류의 헤드 마운트 디스플레이를 사용하여, 광각 화상의 일부를 잘라낸 화상을 관찰할 수 있다.　 예를 들어, 머리부에 자이로 센서 등을 포함하는 머리부 동작 추적 장치를 설치하고, 유저의 머리부의 움직임에 추종시킨 전체 둘레 360도의 영상을 실감할 수 있도록 한 헤드 마운트 디스플레이에 대하여 제안이 이루어져 있다(예를 들어, 특허문헌 2, 특허문헌 3을 참조).　 자이로 센서가 검출한 머리부의 움직임을 상쇄하도록, 광각 화상 중에서 표시 영역을 이동시킴으로써, 자유 시점 시청 및 시점 이동 환경을 실현할 수 있다.
일본 특허 공개 제2012-141461호 공보 일본 특허 공개 평9-106322호 공보 일본 특허 공개 제2010-256534호 공보
본 명세서에서 개시하는 기술의 목적은, 관찰자의 움직임에 추종한 화상을 바람직하게 처리할 수 있는, 우수한 정보 처리 장치 및 정보 처리 방법, 컴퓨터 프로그램, 그리고 화상 처리 시스템을 제공하는 데 있다.
본원은, 상기 과제를 참작하여 이루어진 것이며, 청구항 1에 기재된 기술은,
관찰자의 머리부의 자세에 관한 제1 정보 및 상기 관찰자의 머리부 이외의 신체의 자세에 관한 제2 정보를 수신하는 수신부와,
상기 제1 정보 및 상기 제2 정보에 기초하여, 상기 관찰자의 자세에 대응한 표시 화상을 생성하는 묘화 처리부
를 구비하는 정보 처리 장치이다.
본원의 청구항 2에 기재된 기술에 의하면, 청구항 1에 기재된 정보 처리 장치의 상기 수신부는, 상기 제2 정보로서, 적어도 상기 관찰자의 몸통의 자세를 수신하고, 상기 묘화 처리부는, 상기 제1 정보에 기초하여 자유 시점 공간에 있어서의 상기 관찰자의 시선 방향을 정위함과 함께, 상기 제2 정보로부터 얻어지는 상기 관찰자의 몸통의 자세에 기초하여 상기 자유 시점 공간에 있어서의 상기 관찰자의 신체의 방향(시점 위치)을 정위하여, 상기 관찰자의 머리부의 자세에 추종하는 자유 시점 화상을 생성하도록 구성되어 있다.
본원의 청구항 3에 기재된 기술에 의하면, 청구항 2에 기재된 정보 처리 장치의 상기 묘화 처리부는, 상기 자유 시점 공간에 있어서의 상기 관찰자의 이동을 지시하는 제어 신호가 입력되었을 때에, 상기 제2 정보로부터 얻어지는 상기 관찰자의 몸통의 자세에 기초하여 정위한 신체의 방향을 정면 방향이라고 인식하여 이동 후의 지점(시점 위치)을 구하도록 구성되어 있다.
본원의 청구항 4에 기재된 기술에 의하면, 청구항 1에 기재된 정보 처리 장치의 상기 묘화 처리부는, 상기 제1 정보에 기초하여 자유 시점 공간에 있어서의 상기 관찰자의 시선 방향을 정위함과 함께, 상기 제2 정보로부터 얻어지는 자세에 기초하여 정위한 고정 위치에 배치하여, 상기 관찰자의 머리부의 자세에 추종하는 자유 시점 화상을 생성하도록 구성되어 있다.
본원의 청구항 5에 기재된 기술에 의하면, 청구항 1에 기재된 정보 처리 장치의 상기 수신부는, 상기 제2 정보로서, 적어도 상기 관찰자의 몸통의 자세를 수신하고, 상기 묘화 처리부는, 상기 제1 정보에 기초하여 자유 시점 공간에 있어서의 상기 관찰자의 시선 방향을 정위함과 함께, 상기 제2 정보로부터 얻어지는 상기 관찰자의 몸통의 자세에 기초하여 상기 자유 시점 공간에 있어서의 상기 관찰자의 신체의 방향(시점 위치)을 정위하고, 또한, 상기 관찰자의 몸통의 자세에 기초하여 정위한 고정 위치에 소정의 화상 부품을 배치하여, 상기 관찰자의 머리부의 자세에 추종하는 자유 시점 화상을 생성하도록 구성되어 있다.
본원의 청구항 6에 기재된 기술에 의하면, 청구항 1 내지 청구항 5 중 어느 하나에 기재된 정보 처리 장치는, 캘리브레이션 파라미터를 취득하는 캘리브레이션 처리부를 더 구비하고 있다.　 그리고, 상기 묘화 처리부는, 캘리브레이션 파라미터로 보정한 자세 정보를 사용하여 화상 생성을 실시하도록 구성되어 있다.
본원의 청구항 7에 기재된 기술에 의하면, 청구항 8에 기재된 정보 처리 장치의 상기 캘리브레이션 처리부는, 상기 제1 정보로부터 얻어지는 머리부의 자세 정보와, 상기 제2 정보로부터 얻어지는 제2 자세 정보에 기초하여, 제2 자세 정보를 보정하기 위한 캘리브레이션 파라미터를 계산하고, 상기 캘리브레이션 파라미터를 사용하여 상기 제2 자세 정보를 보정하도록 구성되어 있다.
본원의 청구항 8에 기재된 기술에 의하면, 청구항 7에 기재된 정보 처리 장치의 상기 캘리브레이션 처리부는, 상기 머리부의 자세 정보와 상기 제2 자세 정보를 사용하여 상기 제2 자세 정보를 상기 머리부의 자세 정보에 일치시키기 위한 자세 변환 파라미터를 상기 캘리브레이션 파라미터로서 계산하도록 구성되어 있다.
본원의 청구항 9에 기재된 기술에 의하면, 자세 정보는 쿼터니언으로 표기된다.　 그리고, 청구항 7에 기재된 정보 처리 장치의 상기 캘리브레이션 처리부는, 상기 머리부의 자세 정보에 상기 제2 자세 정보의 쿼터니언의 인버스를 우측에 곱하여, 제2 자세 정보를 보정하기 위한 캘리브레이션 쿼터니언을 계산하고, 상기 제2 자세 정보의 쿼터니언에 상기 캘리브레이션 쿼터니언을 좌측에 곱하여 보정하도록 구성되어 있다.
본원의 청구항 10에 기재된 기술에 의하면, 청구항 6에 기재된 정보 처리 장치의 상기 캘리브레이션 처리부는, 상기 제1 정보로부터 얻어지는 머리부 자세의 좌표계와 상기 제2 정보로부터 얻어지는 자세의 좌표계의 일정 기간의 회전 변위와, 인체의 성질에 기초하여, 상기 제2 자세 정보를 보정하기 위한 캘리브레이션 파라미터를 추정하도록 구성되어 있다.
본원의 청구항 11에 기재된 기술에 의하면, 청구항 6에 기재된 정보 처리 장치의 상기 캘리브레이션 처리부는, 일정 기간, 상기 제1 정보로부터 얻어지는 머리부의 자세 정보와 상기 제2 정보로부터 얻어지는 제2 자세 정보에 기초하여 계산한 캘리브레이션 파라미터의 시계열 평균을 최종적인 캘리브레이션 파라미터로 하도록 구성되어 있다.
본원의 청구항 12에 기재된 기술에 의하면, 자세 정보는 쿼터니언으로 표기된다.　 그리고, 청구항 11에 기재된 정보 처리 장치의 상기 캘리브레이션 처리부는, 새롭게 수신한 제1 정보 및 제2 정보로부터 각각 얻어지는 자세 정보의 쿼터니언에 기초하여 신규로 산출한 캘리브레이션 쿼터니언과, 시계열의 평균으로 구한 직전의 캘리브레이션 쿼터니언을 구면 선형 보간하여, 캘리브레이션 쿼터니언을 갱신하도록 구성되어 있다.
본원의 청구항 13에 기재된 기술에 의하면, 상기 제2 정보에 기초하여 상기 관찰자의 몸통의 자세가 산출된다.　 그리고, 청구항 11에 기재된 정보 처리 장치의 상기 캘리브레이션 처리부는, 새롭게 수신한 제1 정보 및 제2 정보로부터 각각 얻어지는 머리부 및 몸통부의 자세 정보의, 중력 방향을 회전축으로 했을 때의 회전 방향의 각도 차분의 평균값을 구하고, 중력 방향과 상기 평균값에 기초하여 캘리브레이션 파라미터를 산출하도록 구성되어 있다.
본원의 청구항 14에 기재된 기술에 의하면, 청구항 1에 기재된 정보 처리 장치의 상기 묘화 처리부는, 상기 제1 정보로부터 얻어지는 머리부의 자세와 상기 제2 정보로부터 얻어지는 몸통의 자세의 차분에 기초하여, 상기 표시부의 표시 화상을 처리하도록 구성되어 있다.
본원의 청구항 15에 기재된 기술에 의하면, 청구항 2 또는 청구항 3에 기재된 정보 처리 장치는, 생체 안전 대응 모드 하에 있어서, 상기 묘화 처리부는, 상기 자유 시점 공간 내의 머리부 자세와 몸통 자세의 차분이 작아지도록 세계 좌표계를 보정하고, 자유 시점 화상을 생성하도록 구성되어 있다.
본원의 청구항 16에 기재된 기술에 의하면, 청구항 2 또는 청구항 3에 기재된 정보 처리 장치의 상기 묘화 처리부는, 생체 안전 대응 모드에 들어간 시점에서 자유 시점 공간 내의 머리부의 자세를 고정함과 함께, 상기 생체 안전 대응 모드 하에서는 상기 머리부 자세 검출부가 검출하는 머리부 자세에 따라서 자유 시점 공간 내의 몸통의 자세를 변화시켜서, 자유 시점 화상을 생성하도록 구성되어 있다.
본원의 청구항 17에 기재된 기술에 의하면, 청구항 15 또는 청구항 16에 기재된 정보 처리 장치는, 상기 제1 정보로부터 얻어지는 머리부의 자세와 상기 제2 정보로부터 얻어지는 몸통의 자세의 차분이 제1 역치를 초과하는 상태가 일정 시간 계속되었을 때에 상기 생체 안전 대응 모드에 들어가고, 상기 차분이 상기 제1 역치보다도 작은 제2 역치 이하로 되었을 때에 상기 생체 안전 대응 모드로부터 나오도록 구성되어 있다.
또한, 본원의 청구항 18에 기재된 기술은,
관찰자의 머리부의 자세에 관한 제1 정보 및 상기 관찰자의 머리부 이외의 신체의 자세에 관한 제2 정보를 수신하는 수신 스텝과,
상기 제1 정보 및 상기 제2 정보에 기초하여, 상기 관찰자의 자세에 대응한 표시 화상을 생성하는 묘화 처리 스텝
을 갖는 정보 처리 방법이다.
또한, 본원의 청구항 19에 기재된 기술은,
관찰자의 머리부의 자세를 검출하는 머리부 자세 검출부의 검출 결과에 기초하여 상기 관찰자의 머리부의 자세 정보를 산출하는 머리부 자세 연산부,
상기 관찰자의 머리부 이외의 신체의 1 이상의 제2 부위의 자세를 검출하는 제2 자세 검출부의 검출 결과에 기초하여 상기 제2 부위의 자세 정보를 산출하는 제2 자세 연산부,
상기 관찰자의 머리부의 자세 및 상기 제2 부위의 자세에 기초하여, 상기 관찰자의 머리부 또는 얼굴부에 고정되는 표시부에 표시할 화상을 처리하는 묘화 처리부,
로서 컴퓨터를 기능시키도록 컴퓨터 가독 형식으로 기술된 컴퓨터 프로그램이다.
본원의 청구항 19에 관한 컴퓨터 프로그램은, 컴퓨터 상에서 소정의 처리를 실현하도록 컴퓨터 가독 형식으로 기술된 컴퓨터 프로그램을 정의한 것이다.　 바꾸어 말하면, 본원의 청구항 19에 관한 컴퓨터 프로그램을 컴퓨터에 인스톨함으로써, 컴퓨터 상에서는 협동적 작용이 발휘되어, 본원의 청구항 1에 관한 정보 처리 장치와 동일한 작용 효과를 얻을 수 있다.
또한, 본원의 청구항 20에 기재된 기술은,
관찰자의 머리부 또는 얼굴부에 고정되는 표시부와,
상기 관찰자의 머리부의 자세를 검출하는 머리부 자세 검출부와,
상기 관찰자의 머리부 이외의 신체의 1 이상의 제2 부위의 자세를 검출하는 제2 자세 검출부와,
상기 관찰자의 머리부의 자세 및 상기 제2 부위의 자세에 기초하여 상기 표시부의 표시 화상을 처리하는 묘화 처리부
를 구비하는 화상 처리 시스템이다.
본 명세서에서 개시하는 기술에 의하면, 관찰자의 움직임에 추종한 화상을 바람직하게 처리할 수 있는, 우수한 정보 처리 장치 및 정보 처리 방법, 컴퓨터 프로그램, 및 화상 처리 시스템을 제공할 수 있다.
또한, 본 명세서에 기재된 효과는 어디까지나 예시이며, 본 발명의 효과는 이것에 한정되는 것은 아니다.　 또한, 본 발명이, 상기 효과 이외에, 추가로 부가적인 효과를 발휘하는 경우도 있다.
본 명세서에서 개시하는 기술의 또 다른 목적, 특징이나 이점은, 후술하는 실시 형태나 첨부하는 도면에 기초하는 보다 상세한 설명에 의해 밝혀질 것이다.
도 1은, 본 명세서에서 개시하는 기술을 적용한 화상 표시 시스템(100)의 구성예를 모식적으로 도시한 도면이다.
도 2는, 화상 표시 시스템(100)의 변형예를 도시한 도면이다.
도 3은, 화상 표시 시스템(100)의 변형예를 도시한 도면이다.
도 4는, 화상 표시 시스템(100)의 또 다른 변형예를 도시한 도면이다.
도 5는, 표시 장치(500)를 착용한 유저의 상면도이다.
도 6은, 표시 장치(500)를 착용한 유저의 정면도이다.
도 7은, 유저의 머리부의 움직임에만 추종한 자유 시점 화상을 묘화하는 처리 수순을 도시한 흐름도이다.
도 8은, 머리부 동작 추적 장치(200) 및 몸통 동작 추적 장치(300)의 각각으로부터 공급되는 자세 정보에 기초하여 자유 시점 공간에 유저의 시선 방향과 신체의 방향을 개별로 정위하는 모습을 도시한 도면이다
도 9는, 유저의 머리부의 자세와 신체의 자세를 함께 고려하여 자유 시점 화상을 묘화하는 처리 수순을 도시한 흐름도이다.
도 10은, 유저의 머리부의 움직임에만 추종한 자유 시점 화상을 설명하기 위한 도면이다.
도 11은, 유저의 머리부의 자세와 신체의 자세를 고려하여 생성하는 자유 시점 화상을 설명하기 위한 도면이다.
도 12는, 캘리브레이션 파라미터에 의해 보정한 자세 정보를 사용하여 자유 시점 화상을 묘화하는 처리 수순을 도시한 흐름도이다.
도 13은, 캘리브레이션 파라미터에 의해 보정한 자세 정보를 사용하여 자유 시점 화상을 묘화하는 다른 처리 수순을 도시한 흐름도이다.
도 14는, 캘리브레이션 파라미터에 의해 보정한 자세 정보를 사용하여 자유 시점 화상을 묘화하는 또 다른 처리 수순을 도시한 흐름도이다.
도 15는, 오토 캘리브레이션의 처리 수순을 도시한 흐름도이다.
도 16은, 오토 캘리브레이션의 다른 처리 수순을 도시한 흐름도이다.
도 17은, 화상의 주시점(1701)을 이동하여, 유저의 시선 방향(1702)이 몸통의 정면 방향을 향하는 원래의 위치로 복귀되도록, 자유 시점 화상을 이동시키고 있는 모습을 도시한 도면이다.
도 18은, 제1 방법에 의해 유저의 부자연스러운 시청 자세를 경감 또는 회피하는 처리를 포함한, 자유 시점 화상의 묘화 처리 수순을 도시한 흐름도이다.
도 19는, 제2 방법에 의해 유저의 부자연스러운 시청 자세를 경감 또는 회피하는 처리를 포함한, 자유 시점 화상의 묘화 처리 수순을 도시한 흐름도이다.
도 20은, 제2 방법에 의해 유저의 부자연스러운 시청 자세를 경감 또는 회피하는 처리를 포함한, 자유 시점 화상의 묘화 처리 수순을 도시한 흐름도이다.
도 21은, 쿼터니언 q를 도시한 도면이다.
도 22는, 구면 선형 보간 Slerp에 의해 쿼터니언을 보간하는 방법을 도시한 도면이다.
도 23은, 유저의 몸통의 자세에 기초하여 정위한 고정 위치에 UI 부품을 배치하여, 자유 시점 화상을 묘화하는 처리 수순을 도시한 흐름도이다.
도 24는, 유저의 몸통의 자세에 기초하여 정위한 고정 위치에 UI 부품을 배치하여, 자유 시점 화상을 묘화하는 처리 수순을 도시한 흐름도이다.
도 25는, 유저의 머리부의 자세에 기초하여 정위한 고정 위치에 UI 부품을 배치한 경우의 자유 시점 화상의 표시예를 도시한 도면이다.
도 26은, 유저의 머리부의 자세에 기초하여 정위한 고정 위치에 UI 부품을 배치한 경우의 자유 시점 화상의 표시예를 도시한 도면이다.
도 27은, 유저의 머리부의 자세에 기초하여 정위한 고정 위치에 UI 부품을 배치한 경우의 자유 시점 화상의 표시예를 도시한 도면이다.
도 28은, 유저의 머리부의 자세에 기초하여 정위한 고정 위치에 UI 부품을 배치한 경우의 자유 시점 화상의 표시예를 도시한 도면이다.
도 29는, 유저의 몸통의 자세에 기초하여 정위한 고정 위치에 UI 부품을 배치한 경우의 자유 시점 화상의 표시예를 도시한 도면이다.
도 30은, 유저의 몸통의 자세에 기초하여 정위한 고정 위치에 UI 부품을 배치한 경우의 자유 시점 화상의 표시예를 도시한 도면이다.
도 31은, 유저의 몸통의 자세에 기초하여 정위한 고정 위치에 UI 부품을 배치한 경우의 자유 시점 화상의 표시예를 도시한 도면이다.
도 32는, 유저의 몸통의 자세에 기초하여 정위한 고정 위치에 UI 부품을 배치한 경우의 자유 시점 화상의 표시예를 도시한 도면이다.
이하, 도면을 참조하면서 본 명세서에서 개시하는 기술의 실시 형태에 대하여 상세하게 설명한다.
A. 시스템 구성
도 1에는, 본 명세서에서 개시하는 기술을 적용한 화상 표시 시스템(100)의 구성예를 모식적으로 도시하고 있다.　 도시된 화상 표시 시스템(100)은 머리부 동작 추적 장치(200)와, 몸통 동작 추적 장치(300)와, 묘화 장치(400)와, 표시 장치(500)로 구성된다.
머리부 동작 추적 장치(200)는 표시 장치(500)가 표시하는 화상을 관찰하는 유저의 머리부에 장착하여 사용되고, 소정의 송신 주기로 유저의 머리부의 자세 정보를 묘화 장치(400)로 출력한다.　 또한, 몸통 동작 추적 장치(300)는 동 유저의 몸통부에 장착하여 사용되고, 소정의 송신 주기로 유저의 몸통부의 자세 정보를 묘화 장치(400)로 출력한다.
도시된 예에서는, 머리부 동작 추적 장치(200)는 센서부(201)와, 자세각 연산부(202)와, 얻어진 자세 정보를 묘화 장치(400)로 송신하는 송신부(203)를 구비하고 있다.　 또한, 몸통 동작 추적 장치(300)는 센서부(301)와, 자세각 연산부(302)와, 얻어진 자세 정보를 묘화 장치(400)로 송신하는 송신부(303)를 구비하고 있다.　 머리부 동작 추적 장치(200)와 몸통 동작 추적 장치(300)는 유저의 신체에 설치하는 부위나 설치 방법이 상이할 뿐, 동일한 내부 구성 및 동작 특성이어도 된다.　 이하에서는, 머리부 동작 추적 장치(200) 내부 구성에 대해서만 설명하지만, 몸통 동작 추적 장치(300) 내부 구성도 마찬가지라고 이해하기 바란다.
센서부(201)는 예를 들어, 자이로 센서와 가속도 센서와 지자기 센서 등 복수의 센서 소자를 조합하여 구성되어 있다.　 여기에서는, 3축 자이로 센서, 3축 가속도 센서, 3축 지자기 센서의 합계 9축을 검출 가능한 센서로 한다.　 자세각 연산부(202)는 센서부(201)에 의한 9축의 검출 결과에 기초하여, 유저의 머리부 등 설치된 부위의 자세 정보를 연산한다.　 송신부(203)는 구해진 자세 정보를 묘화 장치(400)로 송신한다.　 단, 몸통 동작 추적 장치(300)는 유저의 몸통부의 방향을 검출하는 것만으로 충분하면, 센서부(301)는 9축 검출 센서일 필요는 없고, 자이로 센서만을 장비하는 간이한 구성이어도 된다.
본 실시 형태에서는, 머리부나 몸통부의 자세 정보를 쿼터니언의 형식으로 표현하여 취급하기로 한다.　 쿼터니언은, 특이점이 없기 때문에 컴퓨터를 사용한 계산에 적합하다.　 컴퓨터 그래픽스의 분야에서는, 물체의 자세를 쿼터니언으로 표현하는 것이 일반적이다.　 쿼터니언 q는, 하기 수학식 1 및 도 21에 나타낸 바와 같이, 회전축(벡터)과 회전각(스칼라)을 포함하는 4원수이다.
Figure 112016124094034-pct00001
단, 머리부 동작 추적 장치(200)나 몸통 동작 추적 장치(300) 내부에서, 센서부(201, 301)가 검출한 자세각의 정보로부터 쿼터니언으로 표현되는 자세 정보를 연산하는 것은 필수는 아니다.　 머리부 동작 추적 장치(200)나 몸통 동작 추적 장치(300)는 자세각을 쿼터니언 이외의 형식으로 표현한 정보를 묘화 장치(400)로 송신하고, 묘화 장치(400)측에서 쿼터니언을 계산하도록 해도 된다.　 또한, 도 2에 도시한 바와 같이, 머리부 동작 추적 장치(200)나 몸통 동작 추적 장치(300)는 센서부(201) 및 센서부(301)의 센서 정보를 그대로 출력하고, 묘화 장치(400)측에 배치된 자세각 연산부(202)에서 센서 정보로부터 자세각을 쿼터니언 또는 기타의 형식으로 산출하도록 해도 된다.
도시된 화상 표시 시스템(100)에서는, 머리부 동작 추적 장치(200)와 묘화 장치(400) 간, 그리고 몸통 동작 추적 장치(300)와 묘화 장치(400) 간에는, Bluetooth(등록 상표) 통신 등의 무선 통신에 의해 상호 접속되어 있는 것으로 한다.　 물론, 무선 통신이 아니라, USB(Universal Serial Bus)와 같은 고속의 유선 인페이스 경유로 머리부 동작 추적 장치(200)와 묘화 장치(400) 간, 그리고 몸통 동작 추적 장치(300)와 묘화 장치(400) 간을 접속하도록 해도 된다.
묘화 장치(400)는 표시 장치(500)에서 표시할 화상의 렌더링 처리를 행한다.　 묘화 장치(400)는 예를 들어 스마트폰이나 태블릿 등의 Android(등록 상표) 탑재 단말기, 또는 퍼스널 컴퓨터, 게임기로서 구성되지만, 이 장치에 한정되는 것은 아니다.
도시된 예에서는, 묘화 장치(400)는 머리부 동작 추적 장치(200) 및 몸통 동작 추적 장치(300)로부터 자세 정보를 수신하는 수신부(401)와, 자세 정보에 기초하여 화상의 렌더링 처리를 행하는 묘화 처리부(402)와, 렌더링한 화상을 표시 장치(500)로 송신하는 송신부(403)와, 화상 데이터의 공급원이 되는 화상 소스(404)를 구비하고 있다.　 또한, 도시를 생략하지만, 묘화 장치(400)는 음성 출력부를 구비하고 있어도 된다.
수신부(401)는 Bluetooth(등록 상표) 통신 등을 통하여, 머리부 동작 추적 장치(200) 및 몸통 동작 추적 장치(300)로부터 자세 정보를 수신한다.　 상술한 바와 같이, 머리부 동작 추적 장치(200)로부터의 자세 정보는 쿼터니언의 형식으로 표현되어 있다.
화상 소스(404)는 예를 들어, 화상 콘텐츠를 기록하는 HDD(Hard Disc Drive)나 SSD(Solid State Drive) 등의 기억 장치, 블루레이(등록 상표) 등의 기록 미디어를 재생하는 미디어 재생 장치, 게임기에서 생성되는 게임 화상, 디지털 방송 신호를 선국 수신하는 방송 튜너, 인터넷의 서버로부터 스트리밍되는 화상 콘텐츠를 수신하는 통신 인터페이스, 라디콘이나 자동차 등의 이동체 장치에 탑재된 외부 카메라에 의한 촬영 화상을 무선에 의해 수신하는 무선 인터페이스 등을 포함한다.
묘화 처리부(402)는 화상 소스(404)의 화상 데이터로부터, 표시 장치(500)측에서 표시할 화상을 렌더링한다.　 묘화 처리부(402)는 예를 들어 화상 소스(404)로부터 공급되는 전천구형의 원화상이나 4K 등의 광화각의 원화상으로부터, 수신부(401)에서 수신한 유저의 머리부 및 몸통부의 자세 정보에 대응한 표시 화각을 잘라내고, 자유 시점 화상을 렌더링한다.　 또한, 인터넷 상의 서버에서 자유 시점 화상을 렌더링한다는 시스템 구성예도 상정된다.　 이 경우, 예를 들어 머리부 동작 추적 장치(200) 및 몸통 동작 추적 장치(300)가 각각 자세 정보를 묘화 장치(400)로서의 역할을 하는 서버로 송신하고, 서버측에서 잘라내진 화상을 표시 장치(500)에서 수신하여 표시하도록 하면 된다.
묘화 장치(400)와 표시 장치(500) 간에는, 예를 들어 HDMI(등록 상표)(High Definition Multimedia Interface)나 MHL(Mobile High-definition Link) 등의 유선 케이블에 의해 접속되어 있다.　 또는, wirelessHD나 Miracast와 같은 무선 통신으로 접속해도 된다.　 송신부(403)는 어느 하나의 통신로를 사용하여, 묘화 처리부(402)에서 렌더링된 비압축 화상 데이터(또는, 압축 화상 데이터여도 된다)를 표시 장치(500)로 송신한다.
표시 장치(500)는 묘화 장치(400)로부터 화상 데이터를 수신하는 수신부(501)와, 수신한 화상을 표시하는 표시부(502)를 구비하고 있다.　 표시 장치(500)(또는 표시부(502))는 예를 들어, 화상을 관찰하는 유저의 머리부 또는 얼굴부에 고정되는 헤드 마운트 디스플레이(예를 들어, 특허문헌 1을 참조)로서 구성된다.
수신부(501)는 예를 들어 HDMI(등록 상표)나 MHL 등의 통신로를 통하여, 묘화 장치(400)로부터 화상 데이터를 수신한다.　 화상 데이터가 압축되어 있는 경우, 수신부(501)에서 복호·신장 처리를 행하는 것으로 한다.　 표시부(502)는 수신한 화상 데이터를 화면에 표시한다.
표시 장치(500)가 헤드 마운트 디스플레이로서 구성되는 경우, 예를 들어, 표시부(502)는 유저의 좌우 눈에 각각 고정된 좌우의 화면을 구비하고, 좌안용 화상 및 우안용 화상을 표시한다.　 표시부(502)의 화면은, 예를 들어 유기 EL(Electro-Luminescence) 소자(OLED)나 액정 디스플레이(LCD) 등의 마이크로 디스플레이 등의 표시 패널, 또는, 망막 직묘 디스플레이 등의 레이저 주사 방식 디스플레이로 구성된다.　 또한, 표시부(502)는 표시 화면을 확대 투영하고, 유저의 퓨필에 소정의 화각으로 이루어지는 확대 허상을 결상하는 허상 광학계를 구비하고 있다.
묘화 장치(400)측에서는, 예를 들어 전천구형의 원화상이나 4K 등의 광화각의 원화상으로부터, 유저의 머리부 및 몸통부의 자세 정보에 대응한 표시 화각을 잘라낸 화상을 렌더링한다.　 표시 장치(500)측에서는, 유저의 머리부의 자세의 변화를 상쇄하도록 원화상 중의 표시 영역이 이동하게 된다.　 따라서, 머리부의 움직임에 추종한 자유 시점 화상을 재현할 수 있어, 유저는 대화면을 전망하는 체험을 할 수 있다.　 또한, 표시 장치(500)는 화상의 움직임에 맞추어 음상을 정위시키도록 해도 된다.
도 3에는, 화상 표시 시스템(100)의 변형예를 모식적으로 도시하고 있다.　 도 1 및 도 2에 도시한 예에서는, 화상 표시 시스템(100)은 머리부 동작 추적 장치(200), 몸통 동작 추적 장치(300), 묘화 장치(400), 표시 장치(500)와 같은 4대의 독립한 장치로 구성되지만, 도 3에 도시하는 예에서는, 묘화 장치(400)의 기능이 표시 장치(500) 내에 탑재되어 있다.　 도 3 중, 도 1과 동일한 구성 요소에 대해서는, 동일한 참조 번호를 부여하고 있다.　 도 1에 도시한 바와 같이, 머리부 동작 추적 장치(200) 또는 몸통 동작 추적 장치(300) 중 적어도 한쪽을 표시 장치(500)와는 별도 판매되는 옵션 제품(악세서리 등의 부속품)으로서 구성하면, 표시 장치(500)가 소형·경량화, 저렴화된다.
또한, 도 4에는, 화상 표시 시스템(100)의 또 다른 변형예를 모식적으로 도시하고 있다.　 도 1 및 도 2에 도시한 예에서는, 화상 표시 시스템(100)은 머리부 동작 추적 장치(200), 몸통 동작 추적 장치(300), 묘화 장치(400), 표시 장치(500)와 같은 4대의 독립한 장치로 구성되지만, 도 4에 도시하는 예에서는, 머리부 동작 추적 장치(200) 및 묘화 장치(400)의 기능이 표시 장치(500) 내에 탑재되어 있다.　 도 4 중, 도 1과 동일한 구성 요소에 대해서는, 동일한 참조 번호를 부여하고 있다.　 도 1에 도시한 바와 같이, 몸통 동작 추적 장치(300)만이 표시 장치(500)에 외부 접속되는 기기로서 구성되어 있다.
도 5 및 도 6에는, 화상 표시 시스템(100)을 유저(1)가 이용하는 모습을 도시하고 있다.　 단, 도 5는 표시 장치(500)를 착용한 유저(1)를 상방으로부터 바라본 도면이며, 도 6은 표시 장치(500)를 착용한 유저(1)를 정면으로부터 바라본 도면이다.
표시 장치(500)는 헤드 마운트 디스플레이이며, 안경형이나 모자형 등, 사람의 머리부에 장착하기 쉬운 외관 구성으로 되어 있다.　 유저(1)는 표시 장치(500)를 머리부에 착용하고 있다.　 또한, 머리부 동작 추적 장치(200)는 표시 장치(500)의 악세서리 부품으로서, 동일하게 유저(1)의 머리부에 설치되고, 유저(1)의 머리부의 자세 정보를 검출하게 되어 있다.
또한, 도 6에 도시한 바와 같이, 유저(1)의 몸통부에는, 몸통 동작 추적 장치(300)가 설치되고, 유저(1)의 몸통부의 자세 정보를 검출하게 되어 있다.　 도시된 예에서는, 몸통 동작 추적 장치(300)는 유저(1)의 요부 부근에 설치되어 있지만, 검출하는 자세 정보를 유저(1)의 몸 방향과 대응지을 수 있다면, 팔이나 어깨 등 요부 이외의 부위에 설치하는 구성이어도 된다.　 또한, 도시된 예에서는, 몸통 동작 추적 장치(300)는 유저(1)가 몸에 부착하는 박스(600)에 저장되어 있다.
박스(600)는 전용 디바이스여도 되고, 게임·콘솔의 컨트롤러 등의 자이로 센서 내장의 기기여도 된다.　 후자의 경우, 헤드 마운트 디스플레이 등의 표시 장치(500)와 몸통 동작 추적 장치(300)의 사이에 박스(600)가 위치한다.　 몸통 동작 추적 장치(300)를 스마트폰이나 태블릿 단말기 등을 포함하는 묘화 장치(400)의 기능이 통합된 기기로서 구성할 수도 있다.　 또한, 유저(1)가 몸통 동작 추적 장치(300)를 몸통부에 설치하는 형태는 임의이고, 반드시 박스(600)가 개재할 필요가 있는 것은 아니다.　 유저의 사용 용이성을 고려하면, 몸통 동작 추적 장치(300)의 설치 위치를 엄밀하게 규정하지 않고, 유저가 임의로 설치 위치를 선택할 수 있는 것이 바람직하다.　 예를 들어, 유저가 포켓에 넣은 상태나, 벨트에 건 상태 등이 상정된다.　 부언하면, 유저(1)의 몸에 설치하는 몸통 동작 추적 장치(300)의 대수는 1대에 한정되지 않고, 2대 이상을 배치할 수도 있고, 대수에 따라서 신체의 방향을 고정밀도로 검지할 수 있다.
상술한 바와 같이, 머리부 동작 추적 장치(200)와 묘화 장치(400) 사이, 및 몸통 동작 추적 장치(300)와 묘화 장치(400) 사이는, Bluetooth(등록 상표) 통신 등의 무선 통신, 또는, USB(Universal Serial Bus)와 같은 고속의 유선 인페이스 경유로 접속되어 있다.
유저(1)는 표시 장치(500)가 표시하는 화상을 시청하고 있는 동안, 자신의 머리부나 몸통부의 방향을 바꾼다.　 묘화 장치(400)는 머리부 동작 추적 장치(200) 및 몸통 동작 추적 장치(300)가 검출하는 방위에 기초하여 자유 시점 화상을 생성하고, 표시 장치(500)로 출력한다.
또한, 표시 장치(500)로서 적용되는 헤드 마운트 디스플레이는, 소위 몰입형, 시쓰루형, 비디오 시쓰루형 중 어느 구성이어도 된다.
몰입형 헤드 마운트 디스플레이는, 예를 들어 유저의 눈을 덮도록 유저의 머리부 또는 얼굴부에 장착되고, 유저의 눈에 대향하도록 LCD나 OLED 등의 표시부를 배치한다.　 이 때문에, 몰입형 헤드 마운트 디스플레이를 장착한 유저는, 외부의 풍경(즉, 현실 세계의 풍경)을 직접 시야에 넣는 것이 곤란하다.　 바꿔 말하면, 표시부에 표시된 영상만이 시야에 들어오므로, 화상을 시청하고 있는 유저에 대하여 몰입감을 부여할 수 있다.
시쓰루형 헤드 마운트 디스플레이는, 하프 미러나 도광판 등을 포함하는 투명한 허상 광학계를 유저의 눈에 대향하도록 배치하고, 이 허상 광학계 내측에 화상을 표시한다.　 따라서, 시쓰루형 헤드 마운트 디스플레이를 장착한 유저는, 허상 광학계 내측에 표시된 화상을 시청하고 있는 동안에도, 화상 너머로 외부의 풍경을 시야에 넣는 것이 가능하다.
비디오 시쓰루형 헤드 마운트 디스플레이는, 몰입형과 동일하게, 유저의 눈을 덮도록 유저의 머리부 또는 얼굴부에 장착되고, 유저의 눈에 대향하도록 표시부를 배치한다.　 단, 비디오 시쓰루형 헤드 마운트 디스플레이는, 카메라 등의 주위의 풍경을 촬상하는 촬상부를 더 구비하여, 촬상부에 의한 유저의 시선 방향의 촬상 화상을 표시부에 표시할 수 있다.　 비디오 시쓰루형 헤드 마운트 디스플레이를 장착한 유저는, 외부의 풍경을 직접 시야에 넣을 수는 없지만, 표시부에 표시된 촬영 화상으로 외부의 풍경을 관찰할 수 있다.
B. 자유 시점 화상의 묘화 처리
이어서, 화상 표시 시스템(100)으로 표시하는 자유 시점 화상의 묘화 처리에 대하여 설명한다.
유저의 머리부에만 자이로 센서를 장비한 헤드 마운트 디스플레이의 경우(예를 들어, 특허문헌 2, 특허문헌 3을 참조), 머리부의 변위로부터 유저의 시선 방향을 검출하는 것이 가능하고, 유저의 머리부의 움직임에 추종한 자유 시점 화상을 제시할 수 있다.
도 7에는, 화상 표시 시스템(100)에 있어서, 유저의 머리부의 움직임에만 추종한 자유 시점 화상을 묘화하는 처리 수순을 흐름도의 형식으로 도시하고 있다.　 유저의 머리부의 움직임에만 추종한다란, 즉, 유저의 머리부의 자세만을 고려하고, 신체의 자세를 고려하지 않는 것을 의미하고, 구체적으로는, 묘화 장치(400)가 머리부 동작 추적 장치(200)로부터의 자세 정보 qH만을 입력하고, 몸통 동작 추적 장치(300)로부터의 자세 정보 qB를 입력하지 않는 것에 상당한다.
머리부 동작 추적 장치(200) 내에서는, 센서부(201)가 유저의 머리부의 자세를 검출하고(스텝 S701), 자세각 연산부(202)는 그 검출 결과에 기초하여, 유저의 머리부의 자세를 나타내는 쿼터니언 qH를 연산해서(스텝 S702), 송신부(203)로부터 묘화 장치(400)로 송신한다.
묘화 장치(400)는 머리부 동작 추적 장치(200)로부터 머리부의 자세를 나타내는 쿼터니언 qH를 수신함과 함께, 속도 또는 변위량 등 자유 시점 공간 내에서 이동하기 위한 제어 신호 v가 입력된다(스텝 S703).　 예를 들어, 묘화 장치(400)로 게임 등의 3차원 화상을 생성하는 경우에는, 게임 컨트롤러의 조이스틱 등의 조작량에 따른 제어 신호 v를 입력하게 된다.　 또한, 스마트폰에 조작 화면을 표시시키고, 그 조작 화면을 유저가 조작함으로써, 제어 신호 v를 입력하도록 해도 된다.　 또는, 외부에 설치된 카메라 등을 사용하여 유저의 머리부의 물리적인 위치의 이동을 검출하고, 제어 신호 v로서 입력하도록 해도 된다.
묘화 처리부(402)에서는, 입력된 제어 신호 v에 따라, 자유 시점 공간에 있어서의 이동량 ΔH를 계산한다(스텝 S704).　 본 처리 루틴에서는, 몸통 동작 추적 장치(300)로부터 취득 가능한 유저의 몸통의 자세 정보를 이용하지 않으므로, 제어 신호 v는 유저의 머리부의 자세 정보 qH에만 결부 가능하고, 이동량 ΔH는 하기 수학식 2에 나타내는 바와 같이 구해지는 것으로 한다.　 단, 하기 수학식 2에 있어서, g는, 속도 또는 변위량 등을 나타내는 제어 신호 v로부터 자세 정보를 나타내는 쿼터니언 qH에 기초하여, 자유 시점 공간 내에 있어서의 이동량 ΔH를 산출하기 위한 함수로 한다.
Figure 112016124094034-pct00002
묘화 처리부(402)는 자유 시점 공간 내에서, 현재의 지점으로부터 유저의 머리부 자세 qH의 방향(시선 방향)으로 이동량 ΔH만큼 이동한 후의 지점 pH를 계산한다(스텝 S705).　 그리고, 유저의 머리부의 자세 정보 qH에 결부된 지점 pH를 새로운 시점 위치로 하고, 그 시점 위치 pH로부터 쿼터니언 qH로 표시되는 시선 방향으로 보이는 화상 IH를 렌더링해서(스텝 S706), 표시 장치(500)로 표시 출력한다.　 여기서 생성되는 자유 시점 화상 IH는, 하기 수학식 3에 나타낸 바와 같이, 시점 위치 pH 및 시선 방향 qH로부터 보이는 화상을 생성하는 함수 f에 기초하여 생성된다.
Figure 112016124094034-pct00003
또한, 유저의 머리부의 자세를 검출하고 나서 그 자세에 추종한 화상을 표시할 때까지의 동안에는, 머리부 동작 추적 장치(200)로부터 묘화 장치(400)로의 자세 정보를 전송할 때에 발생하는 전송 지연, 묘화 장치(400)로 화상을 묘화 처리할 때에 발생하는 렌더링 지연, 묘화 데이터를 표시 장치(500)에서 표시할 때에 발생하는 디스플레이 지연 등, 다양한 원인에 의한 지연 시간이 발생한다.　 따라서 지연 시간이 길면, 과거의 머리부의 자세에 대응한 화상을 묘화하게 되어, 화상이 머리부의 동작에 추종하고 있다고 하는 체감을 열화시키고, 나아가 유저에게 어지러움을 일으킬 것이 염려된다.　 따라서, 묘화 장치(400)에서는, 지연 시간을 고려한 화상 보정을 행하도록 해도 된다.　 예를 들어 본 출원인에게 이미 양도되어 있는 PCT/2014/079205호 명세서에서 개시되어 있는 화상 처리 기술을 적용해도 된다(묘화 장치(400)는 지연 시간을 예측함과 함께, 수신한 자세각 데이터로부터 그 지연 시간 후의 자세각 데이터를 예측하고, 예측된 지연 시간에 있어서의 화상을 렌더링한다).
도 7에 도시된 처리 수순에 의하면, 묘화 장치(400)에서는, 유저의 머리부의 자세에 추종한 자유 시점 화상 IH를 생성하게 된다.　 그러나, 유저의 머리부의 자세만을 검출하고, 유저의 몸 자세를 무시하면, 몸체의 방향에 관계없이 시선 방향으로 직진한다고 하는 UI(User Interface)나, 게임 등의 컨트롤러에 의해 자유 시점 공간 내의 이동 방향을 정한다는 현실 공간과 괴리된 부자연스러운 UI에 빠진다.　 즉 머리부만의 자세 변위 검출에서는, 시선을 몸체 전방(몸체의 정면의 방향)과 일치시키지 않은 상태에서 몸체 전방으로 공간을 이동한다고 하는(예를 들어, 머리를 옆으로 향하게 하면서 전진하는), 실공간에서는 자연스러운 행동을 영상으로 표시할 수 없다.　 그 결과, 유저는 영상에 몰입하고 있다고 하는 감각을 현저하게 손상시킨다.
이에 비해, 본 실시 형태에 따른 화상 표시 시스템(100)에서는, 머리부 동작 추적 장치(200)에서 취득되는 유저의 머리부의 자세 정보 qH와 함께 몸통 동작 추적 장치(300)에서 취득되는 유저의 몸통의 자세 정보 qB에 기초하여, 표시 장치(500)에서 표시하는 자유 시점 공간에, 유저의 시선 방향과 신체의 방향을 개별로 정위할 수 있다.
도 8에는, 자유 시점 공간에 유저의 시선 방향과 신체의 방향을 개별로 정위하는 모습을 도시하고 있다.　 도시한 바와 같이, 머리부 동작 추적 장치(200)로부터 공급되는 자세 정보 qH에 기초하여, 참조 번호(801)로 나타내는 시선 방향을 정위한다.　 또한, 몸통 동작 추적 장치(300)로부터 공급되는 자세 정보 qB에 기초하여, 참조 번호(802)로 나타내는 신체의 방향을 정위한다.　 그리고, 묘화 장치(400)가 자유 시점 화상을 묘화할 때에는, 신체의 방향(802)을 자유 시점 공간 상에서의 신체의 방향으로 하고, 유저가 정면이라고 인식하는 방위를 얻을 수 있다.
따라서, 본 실시 형태에 따른 화상 표시 시스템(100)에 의하면, 시선을 몸체 전방(몸체의 정면의 방향)과 일치시키지 않은 상태에서 몸체 전방으로 공간을 이동한다고 하는(예를 들어, 머리를 옆으로 향하게 하면서 전진하는), 실공간에서는 자연스러운 행동을 자유 시점 화상으로 표현하는 것이 가능하게 된다.　 그 결과, 몸체의 방향에 관계없이 시선 방향으로 이동(예를 들어, 머리를 옆으로 향하게 하면서 전진)한다고 하는 UI나, 게임 등의 컨트롤러에 의해 자유 시점 공간 내의 이동 방향을 정한다는 현실 공간과 괴리된 부자연스러운 UI에 빠지는 경우가 없게 된다.
도 9에는, 화상 표시 시스템(100)에 있어서, 유저의 머리부의 자세와 신체의 자세를 함께 고려하여 자유 시점 화상을 묘화하는 처리 수순을 흐름도의 형식으로 도시하고 있다.
머리부 동작 추적 장치(200) 내에서는, 센서부(201)가 유저의 머리부의 자세를 검출하고(스텝 S901), 자세각 연산부(202)는 그 검출 결과에 기초하여, 유저의 머리부의 자세를 나타내는 쿼터니언 qH를 연산해서(스텝 S902), 송신부(203)로부터 묘화 장치(400)로 송신한다.
또한, 몸통 동작 추적 장치(300) 내에서는, 센서부(301)가 유저의 몸통의 자세를 검출하고(스텝 S911), 자세각 연산부(202)는 그 검출 결과에 기초하여, 유저의 몸통의 자세를 나타내는 쿼터니언 qB를 연산해서(스텝 S912), 송신부(303)로부터 묘화 장치(400)로 송신한다.
그리고, 묘화 장치(400)는 머리부 동작 추적 장치(200)로부터 머리부의 자세를 나타내는 쿼터니언 qH를 수신하고, 몸통 동작 추적 장치(300)로부터 몸통의 자세를 나타내는 쿼터니언 qB를 수신함과 함께, 속도 또는 변위량 등 자유 시점 공간 내에서 이동하기 위한 제어 신호 v가 입력된다(스텝 S903).　 예를 들어, 묘화 장치(400)로 게임 등의 3차원 화상을 생성하는 경우에는, 게임 컨트롤러의 조이스틱 등의 조작량에 따른 제어 신호 v를 입력하게 된다.　 또한, 스마트폰에 조작 화면을 표시시키고, 그 조작 화면을 유저가 조작함으로써, 제어 신호 v를 입력하도록 해도 된다.　 또는, 외부에 설치된 카메라 등을 사용하여 유저의 머리부의 물리적인 위치의 이동을 검출하고, 제어 신호 v로서 입력하도록 해도 된다.
묘화 처리부(402)에서는, 입력된 제어 신호 v에 따라, 자유 시점 공간에 있어서의 이동량 ΔB를 계산한다(스텝 S904).　 본 처리 루틴에서는, 몸통 동작 추적 장치(300)로부터 취득 가능한 유저의 몸통의 자세 정보를 이용하므로, 제어 신호 v는 유저의 몸통의 자세 정보 qB에 결부시키는 것이 가능하고, 이동량 ΔB는 하기 수학식 4에 나타내는 바와 같이 구해진다.　 단, 하기 수학식 4에 있어서, g는, 속도 또는 변위량 등을 나타내는 제어 신호 v로부터 자세 정보를 나타내는 쿼터니언 qB에 기초하여, 자유 시점 공간 내에 있어서의 이동량 ΔB를 산출하기 위한 함수이다(동상).
Figure 112016124094034-pct00004
묘화 처리부(402)는 자유 시점 공간 내에서, 현재의 지점으로부터 유저의 몸통의 자세 qB의 방향(즉, 몸체의 정면의 방향)으로 이동량 ΔB만큼 이동한 후의 지점 pB를 계산한다(스텝 S905).　 그리고, 유저의 몸통의 자세 정보 qB에 결부된 지점 pB를 자유 시점 공간에 있어서의 시점 위치로 하고, 그 시점 위치 pB로부터 쿼터니언 qH로 표시되는 시선 방향으로 보이는 화상 IB를 렌더링해서(스텝 S906), 표시 장치(500)로 표시 출력한다.　 여기서 생성되는 자유 시점 화상 IB는, 하기 수학식 5에 나타낸 바와 같이, 시점 위치 pB 및 시선 방향 qH로부터 보이는 화상을 생성하는 함수 f에 기초하여 생성된다(동상).
Figure 112016124094034-pct00005
상기 수학식 4는 유저의 몸통의 자세 정보 qB에 기초하여 이동량 ΔB를 산출한다.　 따라서, 스텝 S905에서는, 유저의 머리부의 자세 정보에 기초하여 이동량 qH를 산출하는 상기 수학식 2를 사용한 경우보다도, 보다 자연스러운 이동 후의 지점 pB를 산출할 수 있다.　 이 결과, 스텝 S906에서 생성되는 자유 시점 화상 IB는, 도 7에 도시된 처리 수순에 따라서 생성되는 자유 시점 화상 IH와 비교하여 보다 자연스러운 UI가 된다.　 즉, 시선을 몸체 전방(몸체의 정면의 방향)과 일치시키지 않은 상태에서 몸체 전방으로 공간을 이동한다고 하는(예를 들어, 머리를 옆으로 향하게 하면서 전진하는), 실공간에서는 자연스러운 행동을 표현하는 것이 가능하다.
또한, 도 9에 도시된 처리 수순에 있어서도, 유저의 머리부 및 몸통의 자세를 검출하고 나서 화상을 표시할 때까지 발생하는 지연 시간을 고려하여, 화상의 렌더링을 행하도록 해도 된다(동상).
본 실시 형태에서는, 도 8을 참조하면서 설명한 바와 같이, 머리부 동작 추적 장치(200)로부터 공급되는 자세 정보 qH에 기초하여, 자유 시점 공간에 있어서의 유저의 시선 방향(801)을 정위함과 함께, 몸통 동작 추적 장치(300)로부터 공급되는 자세 정보 qB에 기초하여, 자유 시점 공간에 있어서의 유저의 신체 방향(802)을 정위한다.　 그리고, 신체의 방향(802)을 유저가 정면이라고 인식하는 방위로 한다.
도 7 및 상기 수학식 2에 나타낸 바와 같이, 머리부의 자세 정보만을 고려하는 경우, 머리부의 자세 qH 즉 시선의 방향으로만 결부하여 자유 시점 공간 내에서의 이동량을 계산하게 된다.　 이 경우, 도 8 상에서 도시하면, 유저의 정면 방향(802)이 아니고 시선 방향(801)을 향하여 자유 시점 공간을 이동하는 화상이 되어버리므로, 부자연스러운 화상의 움직임이 된다.　 예를 들어, 게임 컨트롤러의 조이스틱 등으로, 정면 방향으로의 이동을 지시하는 제어 신호 v가 입력되었다고 하자.　 도 10에는, 유저의 머리부의 움직임에만 추종한 자유 시점 화상을 도시하고 있다.　 도시한 바와 같이, 유저가 머리부(시선 방향(1001))를 좌측으로 돌린 자세에서는, 정면 방향(1002)으로 진행시키는 지시가 컨트롤러로부터 입력되었음에도 불구하고, 현재의 지점으로부터 유저의 머리부 자세 qH의 방향(시선 방향)(1001)으로 이동량 ΔH만큼 진행하고, 그 지점 pH로부터 시선 방향 qH로 보이는 화상 IH가 생성된다.　 즉, 정면 방향으로의 이동이 지시되었음에도 불구하고, 시선 방향(1001)으로 진행한다는 부자연스러운 화상 IH가 생성되게 된다.
이에 비해, 도 9 및 상기 수학식 4에 나타낸 바와 같이, 머리부 및 몸통의 자세 정보를 고려하여 자유 시점 공간 내에서의 이동량을 계산하는 경우, 도 8 상에서 도시하면, 머리부의 자세 정보에 기초하여 시선 방향(801)을 정위함과 함께, 몸통의 자세 정보에 기초하여 자유 시점 공간에 있어서의 유저의 신체 방향(802)을 정위하므로, 신체의 방향(802)을 유저가 정면의 방위라고 인식하여 자유 시점 공간 내에서의 이동량을 계산할 수 있다.　 이 결과, 유저의 머리부와 신체의 움직임에 추종한 자연스러운 자유 시점 화상을 묘화하는 것이 가능해진다.　 예를 들어, 게임 컨트롤러의 조이스틱 등으로, 정면 방향으로의 이동을 지시하는 제어 신호 v가 입력되었다고 하자.
도 11에는, 유저의 머리부의 자세와 신체의 자세를 고려하여 생성하는 자유 시점 화상을 도시하고 있다.　 도시한 바와 같이, 유저가 머리부(시선 방향(1101))을 좌측으로 돌린 자세에서는, 정면 방향(1102)으로 진행시키는 지시가 컨트롤러로부터 입력되면, 현재의 지점으로부터 유저의 몸통 자세 qB의 방향(즉, 몸체의 정면의 방향)(1102)으로 이동량 ΔB만큼 진행하고, 그 지점 pB로부터 시선 방향 qH로 보이는 화상 IB가 생성된다.　 즉, 시선 방향(1101)의 풍경이 정면 방향(1102)으로 진행한다는 자연스러운 화상 IB가 생성되게 된다.
C. 캘리브레이션
상술한 바와 같이 자유 시점 공간에 유저의 시선 방향과 신체의 방향을 개별로 정위하는 경우, 머리부 동작 추적 장치(200)가 유저의 머리부의 자세를 검출하는 좌표계와 몸통 동작 추적 장치(300)가 유저의 몸통의 자세를 검출하는 좌표계를 대응지을 필요가 있다.
머리부 동작 추적 장치(200)는 예를 들어 표시 장치(500)로서의 헤드 마운트 디스플레이 내에 내장되는 경우, 유저의 머리부에의 설치 위치는 메카니컬하게 거의 엄밀하게 규정할 수 있다.　 왜냐하면, 유저는 좌우의 눈마다의 화상 표시부를 들여다본다는 관점에서, 착용할 때마다 거의 일정한 위치에 설치되기 때문이다.
한편, 몸통 동작 추적 장치(300)에 대해서도, 유저의 몸통에 설치하는 초기 방향을 메카니컬하게 엄밀하게 규정하는 방법도 생각된다.　 그러나, 유저가 몸에 부착하는 박스(600) 내에 몸통 동작 추적 장치(300)를 저장하는 사용 형태(예를 들어, 도 6을 참조)에서는, 헤드 마운트 디스플레이의 경우와 같이 설치 위치를 엄밀하게 규정하기는 어렵다.
또한, 유저의 사용 용이성을 고려하면, 몸통 동작 추적 장치(300)의 설치 위치를 엄밀하게 규정하지 않고, 유저가 임의로 설치 위치를 선택할 수 있는 것이 바람직하다.　 예를 들어, 유저가 포켓에 넣은 상태나, 벨트에 건 상태 등이 상정된다.
이 때문에, 머리부 동작 추적 장치(200)가 유저의 머리부의 자세를 검출하는 좌표계와 몸통 동작 추적 장치(300)가 유저의 몸통의 자세를 검출하는 좌표계를 상호 변환하기 위한 파라미터를, 캘리브레이션에 의해 구할 필요가 있다.　 머리부 동작 추적 장치(200)의 설치 위치가 엄밀하게 규정되는 경우, 몸통 동작 추적 장치(300)의 초기 위치를 캘리브레이션하면 된다.　 바꿔 말하면, 유저가 몸통 동작 추적 장치(300)를 설치한 후에 한번만 캘리브레이션을 실시하도록 하면, 몸통 동작 추적 장치(300)의 설치 부위를, 유저가 임의로 정할 수 있다.
캘리브레이션은, 유저의 머리부와 신체가 정렬되어서 똑바로 정면을 향하고 있는(즉, 똑바로 서있는) 상태에 있어서의, 머리부 동작 추적 장치(200)의 검출 좌표계와 몸통 동작 추적 장치(300)의 검출 좌표계의 대응 관계의 판정에 의해 행한다.　 또한, 캘리브레이션을 실시하는 트리거로서, 예를 들어 이하의 (a) 내지 (c)를 들 수 있다.
(a) 머리부 동작 추적 장치(200) 또는 몸통 동작 추적 장치(300)에 장비된 트리거 버튼을 유저가 조작한다.
(b) 표시 장치(500)에 표시된 GUI(Graphical User Interface)를 통하여, 유저가 캘리브레이션의 실행을 선택한다.
(c) 머리부 동작 추적 장치(200) 또는 몸통 동작 추적 장치(300)에 대하여 유저가 특이한 입력을 행한다(예를 들어, 목을 세로로 2회 흔드는, 머리부 동작 추적 장치(200)와 몸통 동작 추적 장치(300)의 회전 각속도가 동기한 순간을 트리거로 한다).
또는, 상기 (a) 내지 (c)와 같이 유저에게 캘리브레이션의 트리거 조작을 행하게 하는 것이 아니라, 화상 표시 시스템(100)에 있어서 자동적으로 캘리브레이션을 실시하도록 해도 된다.
예를 들어, 일정 기간 유저가 똑바로 선 자세를 취하도록 유도하는 화상을 표시하고(또는, 음성으로 지시하고), 그 동안에 캘리브레이션을 행하도록 한다.
또는, 유저가 자유 시점 시청을 개시한 상태로부터 일정 기간의 좌표계의 회전 변위를 기록하고, 좌표계의 회전 변위의 로그 데이터와 인체의 성질로부터, 유저가 똑바로 선 상태에서의 몸통 동작 추적 장치(300) 내의 센서부(301)의 좌표계를 판정하도록 해도 된다.
도 12에는, 화상 표시 시스템(100)에 있어서, 캘리브레이션 파라미터에 의해 보정한 자세 정보를 사용하여 자유 시점 화상을 묘화하는 처리 수순을 흐름도의 형식으로 도시하고 있다.　 도시된 처리 수순은, 예를 들어 캘리브레이션을 실시한 후의 통상 동작 시에 있어서 실행된다.
머리부 동작 추적 장치(200) 내에서는, 센서부(201)가 유저의 머리부의 자세를 검출하고(스텝 S1201), 자세각 연산부(202)는 그 검출 결과에 기초하여, 유저의 머리부의 자세를 나타내는 쿼터니언 qH를 연산해서(스텝 S1202), 송신부(203)로부터 묘화 장치(400)로 송신한다.
또한, 몸통 동작 추적 장치(300) 내에서는, 센서부(301)가 유저의 몸통의 자세를 검출하고(스텝 S1211), 자세각 연산부(202)는 그 검출 결과에 기초하여, 유저의 몸통의 자세를 나타내는 쿼터니언 qB를 연산해서(스텝 S1212), 송신부(303)로부터 묘화 장치(400)로 송신한다.
묘화 장치(400)는 머리부 동작 추적 장치(200)로부터 머리부의 자세를 나타내는 쿼터니언 qH를 수신함과 함께, 몸통 동작 추적 장치(300)로부터 몸통의 자세를 나타내는 쿼터니언 qB를 수신한다.　 그리고, 캘리브레이션 파라미터로서의 캘리브레이션 쿼터니언 q를 취득하고(스텝 S1221), 몸통의 자세를 나타내는 쿼터니언 qB를 캘리브레이션 쿼터니언 q로 보정하여, 보정 후의 쿼터니언 q'B를 얻는다(스텝 S1213).
캘리브레이션 쿼터니언 q는, 머리부 동작 추적 장치(200)가 유저의 머리부의 자세를 검출하는 좌표계와 몸통 동작 추적 장치(300)가 유저의 몸통의 자세를 검출하는 좌표계를 상호 변환하기 위한 파라미터이며, 캘리브레이션에 의해 구한다.　 자세 정보가 쿼터니언으로 표기되는 경우, 이것을 보정하는 캘리브레이션 파라미터도 쿼터니언의 형식으로 표기되는 캘리브레이션 쿼터니언이다.　 스텝 S1213에서는, 하기 수학식 6에 따라, 캘리브레이션 쿼터니언 q를 좌측에 곱하는 것에 의해, 몸통의 자세를 나타내는 쿼터니언 qB를 보정한다.
Figure 112016124094034-pct00006
그리고, 묘화 장치(400)는 속도 또는 변위량 등 자유 시점 공간 내에서 이동하기 위한 제어 신호 v가 입력된다(스텝 S1203).　 예를 들어, 묘화 장치(400)로 게임 등의 3차원 화상을 생성하는 경우에는, 게임 컨트롤러의 조이스틱 등의 조작량에 따른 제어 신호 v를 입력하게 된다.　 또한, 스마트폰에 조작 화면을 표시시키고, 그 조작 화면을 유저가 조작함으로써, 제어 신호 v를 입력하도록 해도 된다.　 또는, 외부에 설치된 카메라 등을 사용하여 유저의 머리부의 물리적인 위치의 이동을 검출하고, 제어 신호 v로서 입력하도록 해도 된다.
묘화 처리부(402)에서는, 입력된 제어 신호 v에 따라, 자유 시점 공간에 있어서의 이동량 ΔB를 계산한다(스텝 S1204).　 본 처리 루틴에서는, 몸통 동작 추적 장치(300)로부터 취득 가능한 유저의 몸통의 자세 정보를 이용하므로, 제어 신호 v는 유저의 몸통의 보정 후의 자세 정보 q'B에 결부시키는 것이 가능하고, 이동량 ΔB는 하기 수학식 7에 나타내는 바와 같이 구해진다.　 단, 하기 수학식 7에 있어서, g는, 속도 또는 변위량 등을 나타내는 제어 신호 v로부터 자세 정보를 나타내는 보정 후의 쿼터니언 q'B에 기초하여, 자유 시점 공간 내에 있어서의 이동량 ΔB를 산출하기 위한 함수이다(동상).
Figure 112016124094034-pct00007
묘화 처리부(402)는 자유 시점 공간 내에서, 현재의 지점으로부터 유저의 몸통의 자세 qB의 방향(즉, 몸체의 정면의 방향)으로 이동량 ΔB만큼 이동한 후의 지점 pB를 계산한다(스텝 S1205).　 그리고, 유저의 몸통의 자세 정보 qB에 결부된 지점 pB를 자유 시점 공간에 있어서의 시점 위치로 하고, 그 시점 위치 pB로부터 쿼터니언 qH로 표시되는 시선 방향으로 보이는 화상 IB를 렌더링해서(스텝 S1206), 표시 장치(500)로 표시 출력한다.　 여기서 생성되는 자유 시점 화상 IB는, 상기 수학식 5에 나타낸 바와 같이, 시점 위치 pB 및 시선 방향 qH로부터 보이는 화상을 생성하는 함수 f에 기초하여 생성된다(동상).
또한, 도 12에 도시된 처리 수순에 있어서도, 유저의 머리부 및 몸통의 자세를 검출하고 나서 화상을 표시할 때까지 발생하는 지연 시간을 고려하여, 화상의 렌더링을 행하도록 해도 된다(동상).
도 13에는, 화상 표시 시스템(100)에 있어서, 캘리브레이션 파라미터에 의해 보정한 자세 정보를 사용하여 자유 시점 화상을 묘화하는, 다른 처리 수순을 흐름도의 형식으로 도시하고 있다.　 도시된 처리 수순에서는, 캘리브레이션은, 상기 (a) 내지 (c)와 같은 명시적인 조작에 따라서 실시된다.
머리부 동작 추적 장치(200) 내에서는, 센서부(201)가 유저의 머리부의 자세를 검출하고(스텝 S1301), 자세각 연산부(202)는 그 검출 결과에 기초하여, 유저의 머리부의 자세를 나타내는 쿼터니언 qH를 연산해서(스텝 S1302), 송신부(203)로부터 묘화 장치(400)로 송신한다.
또한, 몸통 동작 추적 장치(300) 내에서는, 센서부(301)가 유저의 몸통의 자세를 검출하고(스텝 S1311), 자세각 연산부(202)는 그 검출 결과에 기초하여, 유저의 몸통의 자세를 나타내는 쿼터니언 qB를 연산해서(스텝 S1312), 송신부(203)로부터 묘화 장치(400)로 송신한다.
묘화 장치(400)에서는, 먼저, 머리부 동작 추적 장치(200)로부터 보내져 온 유저의 머리부의 자세를 나타내는 쿼터니언 qH와, 몸통 동작 추적 장치(300)로부터 보내져 온 유저의 몸통의 자세를 나타내는 쿼터니언 qB로부터, 하기 수학식 8을 사용하여 캘리브레이션 쿼터니언 q를 계산해서(스텝 S1321), 일시적으로 저장한다.　 단, 하기 수학식 8에 있어서, 「qB - 1」의 윗첨자의 「-1」은, 쿼터니언 「qB」의 인버스를 의미하는 것으로 한다(이하, 마찬가지).
Figure 112016124094034-pct00008
계속해서, 묘화 장치(400)는 상기 수학식 6에 따라, 캘리브레이션 쿼터니언 q를 좌측에 곱하는 것에 의해, 몸통의 자세를 나타내는 쿼터니언 qB를 보정한다(스텝 S1313).
계속해서, 묘화 장치(400)는 속도 또는 변위량 등 자유 시점 공간 내에서 이동하기 위한 제어 신호 v가 입력된다(스텝 S1303).　 예를 들어, 묘화 장치(400)로 게임 등의 3차원 화상을 생성하는 경우에는, 게임 컨트롤러의 조이스틱 등의 조작량에 따른 제어 신호 v를 입력하게 된다.　 또한, 스마트폰에 조작 화면을 표시시키고, 그 조작 화면을 유저가 조작함으로써, 제어 신호 v를 입력하도록 해도 된다.　 또는, 외부에 설치된 카메라 등을 사용하여 유저의 머리부의 물리적인 위치의 이동을 검출하고, 제어 신호 v로서 입력하도록 해도 된다.
묘화 처리부(402)에서는, 제어 신호 v로부터 자유 시점 공간에 있어서의 이동량 ΔB를 계산한다(스텝 S1304).　 본 처리 루틴에서는, 몸통 동작 추적 장치(300)로부터 취득 가능한 유저의 몸통의 자세 정보를 이용하므로, 제어 신호 v는 유저의 몸통의 보정 후의 자세 정보 q'B에 결부시키는 것이 가능하고, 이동량 ΔB는 상기 수학식 7에 따라서 구해진다.
묘화 처리부(402)는 자유 시점 공간 내에서, 현재의 지점으로부터 유저의 몸통 자세 qB의 방향(즉, 몸체의 정면의 방향)으로 이동량 ΔB만큼 이동한 후의 지점 pB를 계산한다(스텝 S1305).　 그리고, 유저의 몸통의 자세 정보 qB에 결부된 지점 pB를 자유 시점 공간에 있어서의 시점 위치로 하고, 그 시점 위치 pB로부터 쿼터니언 qH로 표시되는 시선 방향으로 보이는 화상 IB를 렌더링해서(스텝 S1306), 표시 장치(500)로 표시 출력한다.　 여기서 생성되는 자유 시점 화상 IB는, 상기 수학식 5에 나타낸 바와 같이, 시점 위치 pB 및 시선 방향 qH로부터 보이는 화상을 생성하는 함수 f에 기초하여 생성된다(동상).
또한, 도 13에 도시된 처리 수순에 있어서도, 유저의 머리부 및 몸통의 자세를 검출하고 나서 화상을 표시할 때까지 발생하는 지연 시간을 고려하여, 화상의 렌더링을 행하도록 해도 된다(동상).
도 14에는, 화상 표시 시스템(100)에 있어서, 캘리브레이션 파라미터에 의해 보정한 자세 정보를 사용하여 자유 시점 화상을 묘화하는, 또 다른 처리 수순을 흐름도의 형식으로 도시하고 있다.　 도시된 처리 수순에서는, 캘리브레이션은, 일정 기간의 좌표계의 회전 변위와 인체의 성질에 기초하여, 자동으로 실시되는 것으로 한다.
머리부 동작 추적 장치(200) 내에서는, 센서부(201)가 유저의 머리부의 자세를 검출하고(스텝 S1401), 자세각 연산부(202)는 그 검출 결과에 기초하여, 유저의 머리부의 자세를 나타내는 쿼터니언 qH를 연산해서(스텝 S1402), 송신부(203)로부터 묘화 장치(400)로 송신한다.
또한, 몸통 동작 추적 장치(300) 내에서는, 센서부(301)가 유저의 몸통의 자세를 검출하고(스텝 S1411), 자세각 연산부(202)는 그 검출 결과에 기초하여, 유저의 몸통의 자세를 나타내는 쿼터니언 qB를 연산해서(스텝 S1412), 송신부(203)로부터 묘화 장치(400)로 송신한다.
묘화 장치(400)에서는, 일정 기간의 좌표계의 회전 변위와 인체의 성질에 기초하여, 캘리브레이션 쿼터니언 q를 추정한다(스텝 S1421).　 본 처리 수순에서는, 어떤 특정한 시점에서만 캘리브레이션 쿼터니언 q를 추정하는 것이 아니고, 상시 처리를 행하는 것으로 한다.　 스텝 S1421에 있어서 캘리브레이션 쿼터니언 q를 추정하는 방법의 상세에 대해서는, 후술로 미룬다.
계속해서, 묘화 장치(400)는 상기 수학식 6에 따라, 캘리브레이션 쿼터니언 q를 좌측에 곱하여, 몸통의 자세를 나타내는 쿼터니언 qB를 보정한다(스텝 S1413).
계속해서, 묘화 장치(400)는 속도 또는 변위량 등 자유 시점 공간 내에서 이동하기 위한 제어 신호 v가 입력된다(스텝 S1403).　 예를 들어, 묘화 장치(400)로 게임 등의 3차원 화상을 생성하는 경우에는, 게임 컨트롤러의 조이스틱 등의 조작량에 따른 제어 신호 v를 입력하게 된다.　 또한, 스마트폰에 조작 화면을 표시시키고, 그 조작 화면을 유저가 조작함으로써, 제어 신호 v를 입력하도록 해도 된다.　 또는, 외부에 설치된 카메라 등을 사용하여 유저의 머리부의 물리적인 위치의 이동을 검출하고, 제어 신호 v로서 입력하도록 해도 된다.
묘화 처리부(402)에서는, 제어 신호 v로부터 자유 시점 공간에 있어서의 이동량 ΔB를 계산한다(스텝 S1404).　 본 처리 루틴에서는, 몸통 동작 추적 장치(300)로부터 취득 가능한 유저의 몸통의 자세 정보를 이용하므로, 제어 신호 v는 유저의 몸통의 보정 후의 자세 정보 q'B에 결부시키는 것이 가능하고, 이동량 ΔB는 상기 수학식 7에 나타내는 바와 같이 구해진다(동상).
묘화 처리부(402)는 자유 시점 공간 내에서, 현재의 지점으로부터 유저의 몸통 자세 qB의 방향(즉, 몸체의 정면의 방향)으로 이동량 ΔB만큼 이동한 후의 지점 pB를 계산한다(스텝 S1405).　 그리고, 유저의 몸통의 자세 정보 qB에 결부된 지점 pB를 자유 시점 공간에 있어서의 시점 위치로 하고, 그 시점 위치 pB로부터 쿼터니언 qH로 표시되는 시선 방향으로 보이는 화상 IB를 렌더링해서(스텝 S1406), 표시 장치(500)로 표시 출력한다.　 여기서 생성되는 자유 시점 화상 IB는, 상기 수학식 5에 나타낸 바와 같이, 시점 위치 pB 및 시선 방향 qH로부터 보이는 화상을 생성하는 함수 f에 기초하여 생성된다(동상).
또한, 도 14에 도시한 처리 수순에 있어서도, 유저의 머리부 및 몸통의 자세를 검출하고 나서 화상을 표시할 때까지 발생하는 지연 시간을 고려하여, 화상의 렌더링을 행하도록 해도 된다(동상).
도 15에는, 도 14에 도시한 흐름도 중의 스텝 S1421에서 실시되는 오토 캘리브레이션의 처리 수순을 흐름도의 형식으로 도시하고 있다.　 도시된 처리 수순에서는, 일정 기간의 좌표계의 회전 변위와 인체의 성질에 기초하여, 캘리브레이션 파라미터 q를 추정한다.　 본 처리 수순은, 화상 표시 시스템(100) 내의 임의의 장치(200 내지 500)에서 실시할 수 있지만, 이하에서는 편의상, 묘화 장치(400)에서 실시하는 것으로 하여 설명한다.
묘화 장치(400)는 머리부 동작 추적 장치(200)로부터 송신되는 유저의 머리부의 자세를 나타내는 쿼터니언 qH와, 몸통 동작 추적 장치(300)로부터 송신되는 유저의 몸통의 자세를 나타내는 쿼터니언 qB를, 시계열 데이터로 하여 상시 입력한다(스텝 S1501).
그리고, 하기 수학식 9에 따라, 머리부 동작 추적 장치(200) 및 몸통 동작 추적 장치(300)가 각각 새롭게 검출하는 자세 정보의 쿼터니언에 기초하여, 신규 캘리브레이션 쿼터니언 q'을 계산하고, 축차 기록한다(스텝 S1502).
Figure 112016124094034-pct00009
유저의 머리부와 몸통가 정렬되어서 똑바로 정면을 향하고 있는 순간에 검출된 쿼터니언 qH, qB에 의해 산출된 캘리브레이션 쿼터니언 q'은, 올바른 캘리브레이션 쿼터니언이 된다.　 따라서, 본 처리 수순에서는, 유저의 머리부 및 몸통의 자세를 장기간 측정하면, 평균적으로는 머리부와 신체가 정렬되어서 똑바로 정면을 향하고 있는 일이 많다는 가정에 기초하여, 스텝 S1502에서 기록한 캘리브레이션 쿼터니언 q'의 시계열의 평균을 취하고, 최종적인 캘리브레이션 쿼터니언 q를 계산해서(스텝 S1503), 출력한다(스텝 S1504).
도 13에 도시한 바와 같이 명시적인 조작에 따라서 캘리브레이션이 실시되는 경우와 달리, 도 15에 도시하는 처리 수순에서는, 캘리브레이션 쿼터니언 q는 고정값이 아니라 시시각각 변동하여, 유저가 서거나 앉거나 하는 센서부(201, 301)에 대한 외란 요인을 배제할 수 있다.
스텝 S1502에 있어서, 캘리브레이션 쿼터니언 q'의 시계열의 평균화에 의해, 최종적인 캘리브레이션 쿼터니언을 갱신할 때, 갱신 전의 캘리브레이션 쿼터니언 qprev와, 신규로 계산한 캘리브레이션 쿼터니언 q'을 보간하여, 갱신 후의 캘리브레이션 쿼터니언 qupdated를 구한다.
자세를 나타내는 쿼터니언은, 3차원 구면 상의 1점으로서 기술된다.　 따라서, 하기 수학식 10 및 도 22에 도시한 바와 같이, 쿼터니언 qprev와 q'의 사이를 3차원 구면 상에서 선형 보간하는 구면 선형 보간 Slerp에 의해, 갱신 후의 캘리브레이션 파라미터 qupdated를 계산할 수 있다.
Figure 112016124094034-pct00010
상기 수학식 10에서는, 갱신 전의 캘리브레이션 파라미터 qprev를 가중치 (1-δ)로, 신규 계산값 q'을 δ로, 각각 가중치 부여하고, 가중치 평균하여 갱신 후의 캘리브레이션 파라미터 qupdated를 구하고 있다(외삽이 아니고 내삽).　 예를 들어, 가중 계수 δ=0.01이다.　 첫회에만 가중치 1로 qupdated가 갱신된다.　 이 때문에, 기동 시에 유저가 바른 자세를 취하고 있으면(머리부와 신체가 정렬되어서 똑바로 정면을 향하고 있다), 수렴이 빠르다.
Slerp의 연산은, 상기 수학식 10에 나타낸 바와 같이, 2항 관계로만 정의된다.　 이 때문에, 다수의 쿼터니언을 동시에 취급하여 평균을 계산하는 것에는 적합하지 않다(상술한 바와 같이, 쿼터니언 qupdated를 순차 갱신할 수는 있다).　 이 문제를 해결하기(즉, 다수의 쿼터니언을 동시에 취급하여 평균을 계산하기) 위해, 대수 공간에서의 가산 평균을 생각한다.　 단위 벡터 u를 사용하여, u 둘레에 각도 θ의 회전을 나타내는 쿼터니언 q는, 하기 수학식 11과 같이 나타낼 수 있다.　 그 대수를 취하면, 하기 수학식 12에 나타내는 바와 같이 된다.
Figure 112016124094034-pct00011
Figure 112016124094034-pct00012
따라서, 캘리브레이션 쿼터니언의 시계열 {q'}을 대수 변환에 의해 3차원 공간에 표시하고, 거기에서 가산 평균 등의 대표치를 산출한 후, 하기 수학식 13에 나타낸 바와 같이, 지수 변환에 의해 쿼터니언으로 되돌리면 된다.　 또한, 가산 평균을 계산할 때, 이상치의 제거 등 필요한 처리를 적절히 행하는 것으로 한다.
Figure 112016124094034-pct00013
도 16에는, 도 14에 도시한 흐름도 중의 스텝 S1421에서 실시되는 오토 캘리브레이션의 다른 처리 수순을 흐름도의 형식으로 도시하고 있다.　 도시된 처리 수순에서는, 일정 기간의 좌표계의 회전 변위와 인체의 성질에 기초하여, 캘리브레이션 파라미터 q를 추정한다.　 단, 유저의 머리부의 자세와 몸통의 자세가 중력 방향을 공통축으로서 가지고 있는 케이스를 상정하고, 각 센서부(201, 301)가 중력 방향을 검출하여 자동 캘리브레이션을 행하는 기능을 갖는 것을 전제로 한다.　 본 처리 수순은, 화상 표시 시스템(100) 내의 임의의 장치(200 내지 500)로 실시할 수 있지만, 이하에서는 편의적으로 묘화 장치(400)로 실시하는 것으로 하여 설명한다.
묘화 장치(400)는 머리부 동작 추적 장치(200)로부터 송신되는 유저의 머리부의 자세를 나타내는 쿼터니언 qH와, 몸통 동작 추적 장치(300)로부터 송신되는 유저의 몸통의 자세를 나타내는 쿼터니언 qB를, 시계열 데이터로 하여 상시 입력한다(스텝 S1601).
유저의 머리부의 자세와 몸통의 자세가 중력 방향을 공통축으로서 갖고 있고, 좌표계의 어긋남은 θ라고 하는 하나의 파라미터만으로 집약된다.　 따라서, 유저의 머리부의 자세를 나타내는 쿼터니언 qH와 유저의 몸통의 자세를 나타내는 쿼터니언 qB의, 중력 방향을 회전축으로 했을 때의 회전 방향의 각도 차분 θ(t)를 계산하고, 축차 기록한다(스텝 S1602).
그리고, 각도 차분 θ(t)의 평균값을 산출하고, 그 계산 결과를, 머리부 동작 추적 장치(200)의 센서부(201)와 몸통 동작 추적 장치(300)의 센서부(301)의 설치 위치의 어긋남량이라고 추정한다(스텝 S1603).
따라서, 중력 방향과, 각도 차분 θ(t)의 평균값에 기초하여, 캘리브레이션 쿼터니언 q를 계산해서(스텝 S1604), 출력한다(스텝 S1605).
스텝 S1604에서는, 유저의 몸통의 자세의 쿼터니언 qB를 머리부의 자세의 쿼터니언 qH와 동일한 좌표계에서의 표현으로 변환하기 위한 캘리브레이션 쿼터니언을 계산하는 것으로 한다.
도 16에 도시하는 처리 수순에서는, 캘리브레이션 쿼터니언 q는 고정값이 아니라 시시각각 변동하여, 유저가 서거나 앉거나 하는 센서부(201, 301)에 대한 외란 요인을 배제할 수 있다(동상).
또한, 스텝 S1603에서는, 각도 차분 θ(t)의 단순 평균을 계산하는 이외에도, 이하의 (d) 내지 (g) 중 어느 하나의 계산 방법을 사용하도록 해도 된다.
(d) 도수 분포의 중앙값
(e) 이상치를 제거한 후의 평균값
(f) 속도, 가속도 데이터를 판정 재료에 병용
(g) 머리부 회전의 한계치를 판정 재료에 병용
(f)로서 예를 든 「속도, 가속도 데이터를 판정 재료에 병용」은, 자유 시점 공간 내를 일정 범위의 속도·가속도로 운동하고 있을 때의 데이터만을 사용한다.　 또한, 장시간 정지하고 있는 경우에는, 샘플에 포함하지 않는다.
또한, (g)로서 예를 든 「머리부 회전의 한계치를 판정 재료에 병용」은, 예를 들어, 한계치 θ_th를 가령 120도로 하고, 측정 데이터 중의 각도 차분의 최댓값을 θ_max, 최솟값을 θ_min이라 하면, [θ_max-θ_th, θ_min+θ_th]의 범위의 데이터만을 사용하고, 각도 차분 θ(t)의 평균을 계산한다.
D. 생체 안전 대응
헤드 마운트 디스플레이 등의 표시 장치(500)에서 제시하는 자유 시점 공간 내에서, 유저가 주시점을 초기 위치로부터 90도 이상 움직여서 후방을 보려고 하는 경우, 유저는 이하의 (A), (B)의 2가지의 동작을 취할 수 있다.
(A) 머리부만을 90도 회전시킨다.
(B) 몸체와 함께 90도 회전시킨다.
유저의 머리부의 자세만을 검출하여 자유 시점 화상을 묘화하는 경우, 유저가 상기 (A) 또는 (B) 중 어느 동작을 행했는지를 판정할 수 없다.　 동작 (A)는 무리한 자세이며, 인체에 대한 영향이 염려되어, 제품 안전상의 문제가 있다.
이에 비해, 본 실시 형태에 따른 화상 표시 시스템(100)에서는, 상술한 바와 같이, 머리부 동작 추적 장치(200)에서 취득되는 유저의 머리부의 자세 정보 qH와 함께 몸통 동작 추적 장치(300)에서 취득되는 유저의 몸통의 자세 정보 qB를 이용하므로, 유저가 상기 (A) 또는 (B) 중 어느 동작을 행했는지를 판정할 수 있다.　 따라서, 동작의 판정 결과에 기초하여, 자유 시점 시청에 기인하는 머리부의 부자연스러운 시청 자세를 경감 또는 회피하는 구조를 도입할 수 있다.
예를 들어, 유저의 부자연스러운 시청 자세를 경감 또는 회피하는 제1 방법으로서, 유저의 머리부가 정상적인 위치로 복귀되는 화상 표시를 행하도록 해도 된다.　 유저의 머리부 및 몸통의 자세 정보 qH, qB로부터, 목이나 몸통를 극단적으로 비튼 것 같은, 유저에게 있어서 무리한 자세를 수반하는 동작 (A)의 상태가 일정 시간 계속되었다고 판정되면, 유저는 모르는 느린 속도로, 유저의 머리부가 몸통의 정면 방향을 향하는 원래의 위치로 복귀되는 화상 표시를 행한다.　 도 17에는, 화상의 주시점(1701)을 이동하여, 유저의 시선 방향(1702)이 몸통의 정면 방향을 향하는 원래의 위치로 복귀되도록, 자유 시점 화상을 이동시키고 있는 모습을 도시하고 있다.
도 9, 도 12, 도 13, 도 14에 도시한 처리 수순은, 머리부 동작 추적 장치(200) 및 몸통 동작 추적 장치(300)로 실제로 검출된 머리부 자세 qH, 몸통 자세 qB를 그대로 자유 시점 공간의 세계 좌표계에 매핑하여 자유 시점 화상을 렌더링하는 것이다.　 이에 비해, 유저의 부자연스러운 시청 자세를 경감 또는 회피하는 제1 방법에서는, 유저가 자유 시점 화상을 시청하고 있을 때에, 머리부가 몸통에 대하여 크게 비틀어진다고 하는 무리한 자세가 된 경우에, 자유 시점 공간 내의 머리부 자세 qH *과 몸통 자세 qB *의 차분이 작아지도록 자유 시점 공간의 세계 좌표계를 보정해 감으로써, 현실 공간에 있어서도 유저의 머리부 자세 qH와 몸통 자세 qB의 차분이 작아지게 해 간다.
또는, 유저의 부자연스러운 시청 자세를 경감 또는 회피하는 제2 방법으로서, 머리부의 움직임에의 추종(헤드 트래킹)을 자동으로 해제하도록 해도 된다.　 유저에게 있어서 무리한 자세를 수반하는 동작 (A)의 상태가 일정 시간 계속되었다고 판정되면, 머리부의 움직임에의 추종(헤드 트래킹)을 자동으로 해제하고, 주시점을 정면으로 표시한 채 유저의 머리부가 몸통의 정면 방향을 향하는 원래의 자세로 되돌리고, 새로운 좌표 맞춤을 행하도록 한다.　 또한, 헤드 트래킹을 자동으로 해제하는 것이 아니고, 버튼을 누르는 등 유저의 능동적인 조작에 따라서 해제하도록 해도 된다.
유저의 부자연스러운 시청 자세를 경감 또는 회피하는 제2 방법에서는, 자유 시점 공간 내의 머리부 자세를 헤드 트래킹의 해제가 지시된 시점에서 고정함으로써, 주시점을 정면으로 표시한 채로 한다.　 그리고, 헤드 트래킹이 해제되어 있는 기간 중, 머리부 동작 추적 장치(200)가 검출한 머리부 자세 qH에 따라서(즉, 유저가 목을 움직인 것과 동일한 양만큼), 자유 시점 공간 내의 몸통의 자세를 변화시킨다.　 이에 의해, 유저의 머리부가 몸통의 정면 방향을 향하는 원래의 자세로 복귀되게 해 간다.
도 18에는, 제1 방법에 의해 유저의 부자연스러운 시청 자세를 경감 또는 회피하는 처리를 포함한, 자유 시점 화상의 묘화 처리 수순을 흐름도의 형식으로 도시하고 있다.　 이 처리는, 자유 시점 공간의 세계 좌표계를 보정함으로써 실현된다.　 도 18에서는 도시를 생략하지만, 세계 좌표계에 대한 보정을 나타내는 쿼터니언 qW의 초기값을 단위 쿼터니언으로 설정해 둔다.
머리부 동작 추적 장치(200) 내에서는, 센서부(201)가 유저의 머리부의 자세를 검출하고(스텝 S1801), 자세각 연산부(202)는 그 검출 결과에 기초하여, 유저의 머리부의 자세를 나타내는 쿼터니언 qH를 연산해서(스텝 S1802), 송신부(203)로부터 묘화 장치(400)로 송신한다.
또한, 몸통 동작 추적 장치(300) 내에서는, 센서부(301)가 유저의 몸통의 자세를 검출하고(스텝 S1811), 자세각 연산부(202)는 그 검출 결과에 기초하여, 유저의 몸통의 자세를 나타내는 쿼터니언 qB를 연산해서(스텝 S1812), 송신부(303)로부터 묘화 장치(400)로 송신한다.
묘화 장치(400)는 머리부 동작 추적 장치(200)로부터 머리부의 자세를 나타내는 쿼터니언 qH를 수신함과 함께, 몸통 동작 추적 장치(300)로부터 몸통의 자세를 나타내는 쿼터니언 qB를 수신한다.　 그리고, 캘리브레이션 파라미터로서의 캘리브레이션 쿼터니언 q를 취득하고(스텝 S1821), 몸통의 자세를 나타내는 쿼터니언 qB를 캘리브레이션 쿼터니언 q로 보정하여, 보정 후의 몸통 자세의 쿼터니언 q'B를 얻는다(스텝 S1813).
캘리브레이션 쿼터니언 q는, 머리부 동작 추적 장치(200)가 유저의 머리부의 자세를 검출하는 좌표계와 몸통 동작 추적 장치(300)가 유저의 몸통의 자세를 검출하는 좌표계를 상호 변환하기 위한 파라미터이다(전술).　 캘리브레이션 쿼터니언 q의 취득 방법은 임의이다.　 스텝 S1813에서는, 상기 수학식 6에 따라, 캘리브레이션 쿼터니언 q를 좌측에 곱하는 것에 의해, 몸통의 자세를 나타내는 쿼터니언 qB를 보정한다.
계속해서, 머리부 동작 추적 장치(200)로부터 수신한 머리부 자세의 쿼터니언 qH와 보정 후의 몸통 자세의 쿼터니언 q'B에 기초하여, 당해 화상 표시 시스템(100)이 생체 안전 대응 모드인지 아닌지를 모드 판정한다(스텝 S1831).　 모드 판정의 방법은 임의이다.　 예를 들어, 이하의 조건 (C1) 내지 (C3)에 따라, 모드 판정을 행하는 것으로 한다.
(C1) 초기 상태에서는 생체 안전 대응 모드를 오프로 한다.
(C2) 생체 안전 대응 모드가 오프이고, 유저의 머리부와 몸통의 자세의 차분 ψ가 제1 역치 ψth1을 초과한 상태가 일정 시간 계속되면, 생체 안전 대응 모드를 온으로 한다.
(C3) 생체 안전 대응 모드가 온일 때에, 유저의 머리부와 몸통의 자세의 차분 ψ가 제2 역치 ψth2를 하회하면, 생체 안전 대응 모드를 오프로 한다.
여기서, 상기 (C2)에 있어서, 유저의 머리부와 몸통의 자세의 차분 ψ는, 머리부 자세의 쿼터니언 qH와 보정 후의 몸통 자세의 쿼터니언 q'B를 사용하여, 하기 수학식 14에 의해 계산할 수 있다.
Figure 112016124094034-pct00014
상기 수학식 14에 의해 산출한 머리부와 몸통의 자세의 차분 ψ을, 각 역치 ψth1, ψth2와 대소 비교함으로써, 생체 안전 대응 모드에 들어가야할지 여부를 판정할 수 있다.　 단, 상기 조건 (C1) 내지 (C3)에 따라, 자동으로 생체 안전 대응 모드의 온/오프를 전환하는 것이 아니라, 유저가 자신의 자세가 괴로워졌을 때에 능동적으로(또는 매뉴얼 조작으로) 생체 안전 대응 모드의 온/오프를 전환하도록 해도 된다.
그리고, 생체 안전 대응 모드 하에서는(스텝 S1831의 "예"), 자유 시점 공간 내의 머리부 자세와 몸통 자세의 차분이 작아지도록, 자유 시점 공간의 세계 좌표계에 대하여 보정을 행한다(스텝 S1832).　 또한, 생체 안전 대응 모드가 아니면(스텝 S1831의 "아니오"), 세계 좌표계의 보정 처리를 스킵한다.
스텝 S1832에서 행하는 세계 좌표계의 보정이란, 세계 좌표계를 조금씩 회전시켜서, 머리부의 자세를 몸통의 자세에 근접시키는 조작에 상당한다.　 세계 좌표계에 대한 보정을 나타내는 쿼터니언을 qW라 하면, 하기 수학식 15에 나타낸 바와 같이, 몸통의 자세에 근접시키는 쿼터니언 δ를 좌측에 곱하는 것에 의해, 세계 좌표계에 대한 보정 쿼터니언 qW를 업데이트한다.　 또한, 세계 좌표계에 대한 보정 쿼터니언 qW의 초기값은 단위 쿼터니언으로 한다(전술).
Figure 112016124094034-pct00015
또한, 몸통의 자세에 조금씩 근접하는 쿼터니언 δ는, 예를 들어 하기 수학식 16에 나타낸 바와 같이, 머리부 자세와 몸통 자세의 차분을 나타내는 쿼터니언을 n 분할한 쿼터니언이다.　 여기에서 말하는 n은, 유저가 관찰하기에 번거롭지 않을(또는, 알아차리지 못할) 정도로 하기 위한 분할수이다.　 또는, 몸통의 자세에 조금씩 근접하는 쿼터니언 δ는, 예를 들어 하기 수학식 17에 나타낸 바와 같이, 머리부 자세와 몸통 자세의 차분을 정규화한 쿼터니언에 미소한 스칼라 ε을 승산한 쿼터니언이어도 된다.
Figure 112016124094034-pct00016
Figure 112016124094034-pct00017
상기 수학식 16을 사용하여 세계 좌표계를 보정하면, 매회 보정량이 변화하기 때문에, 변화가 크면 부자연스러운 움직임으로서 관찰될 우려가 있다.　 이에 비해, 상기 수학식 17을 사용하여 세계 좌표계를 보정하면, 매회의 보정량을 일정하게 할 수 있다.
그리고, 스텝 S1802에서 산출한 머리부의 자세의 쿼터니언 qH와, 스텝 S1813에서 보정한 후의 몸통의 자세의 쿼터니언 q'B의 각각의 좌측으로부터 쿼터니언 qW를 곱하고, 자유 시점 공간 내에서의 머리부 자세 qH * 및 몸통 자세 q'B*을 각각 보정함으로써(스텝 S1833, S1834), 세계 좌표계를 조금씩 회전시켜서, 머리부의 자세를 몸통의 자세에 근접시키는 조작을 실시한다.
또한, 묘화 장치(400)는 속도 또는 변위량 등 자유 시점 공간 내에서 이동하기 위한 제어 신호 v가 입력된다(스텝 S1803).　 예를 들어, 묘화 장치(400)로 게임 등의 3차원 화상을 생성하는 경우에는, 게임 컨트롤러의 조이스틱 등의 조작량에 따른 제어 신호 v를 입력하게 된다.　 또한, 스마트폰에 조작 화면을 표시시키고, 그 조작 화면을 유저가 조작함으로써, 제어 신호 v를 입력하도록 해도 된다.　 또는, 외부에 설치된 카메라 등을 사용하여 유저의 머리부의 물리적인 위치의 이동을 검출하고, 제어 신호 v로서 입력하도록 해도 된다.
계속해서, 묘화 처리부(402)에서는, 세계 좌표계를 쿼터니언 qW로 보정한 자유 시점 공간에 있어서의 몸통 자세 q'B *에 기초하여, 입력된 제어 신호 v에 따른 이동량 ΔB *을 하기 수학식 18에 의해 계산한다(스텝 S1804).　 단, 하기 수학식 18에 있어서, g는, 속도 또는 변위량 등을 나타내는 제어 신호 v로부터 자세 정보를 나타내는 보정 후의 쿼터니언 q'B*에 기초하여, 자유 시점 공간 내에 있어서의 이동량 ΔB*을 산출하기 위한 함수이다(동상).
Figure 112016124094034-pct00018
계속해서, 묘화 처리부(402)는 자유 시점 공간 내에서, 현재의 지점으로부터 유저의 몸통 자세 qB의 방향(즉, 몸체의 정면의 방향)으로 이동량 ΔB *만큼 이동한 후의 지점 pB *을 계산한다(스텝 S1805).　 그리고, 보정 후의 유저의 몸통의 자세 정보 qB *에 결부된 지점 pB *을 자유 시점 공간에 있어서의 시점 위치로 하고, 그 시점 위치 pB *로부터 보정 후의 머리부 자세의 쿼터니언 qH *로 표시되는 시선 방향으로 보이는 화상 IB *을 렌더링해서(스텝 S1806), 표시 장치(500)로 표시 출력한다.　 여기서 생성되는 자유 시점 화상 IB *은, 시점 위치 pB * 및 시선 방향 qH *로부터 보이는 화상을 생성하는 함수 f에 기초하여 생성된다(동상).
또한, 도 18에 도시된 처리 수순에 있어서도, 유저의 머리부 및 몸통의 자세를 검출하고 나서 화상을 표시할 때까지 발생하는 지연 시간을 고려하여, 화상의 렌더링을 행하도록 해도 된다(동상).
도 19 및 도 20에는, 제1 방법에 의해 유저의 부자연스러운 시청 자세를 경감 또는 회피하는 처리를 포함한, 자유 시점 화상의 묘화 처리 수순을 흐름도의 형식으로 도시하고 있다.　 이 처리는, 자유 시점 공간의 세계 좌표계를 보정함으로써 실현된다.　 도 19 및 도 20에서는 도시를 생략하지만, 세계 좌표계에 대한 보정을 나타내는 쿼터니언 qW의 초기값을 단위 쿼터니언으로 설정해 둔다.
머리부 동작 추적 장치(200) 내에서는, 센서부(201)가 유저의 머리부의 자세를 검출하고(스텝 S1901), 자세각 연산부(202)는 그 검출 결과에 기초하여, 유저의 머리부의 자세를 나타내는 쿼터니언 qH를 연산해서(스텝 S1902), 송신부(203)로부터 묘화 장치(400)로 송신한다.
또한, 몸통 동작 추적 장치(300) 내에서는, 센서부(301)가 유저의 몸통의 자세를 검출하고(스텝 S1911), 자세각 연산부(202)는 그 검출 결과에 기초하여, 유저의 몸통의 자세를 나타내는 쿼터니언 qB를 연산해서(스텝 S1912), 송신부(303)로부터 묘화 장치(400)로 송신한다.
묘화 장치(400)는 머리부 동작 추적 장치(200)로부터 머리부의 자세를 나타내는 쿼터니언 qH를 수신함과 함께, 몸통 동작 추적 장치(300)로부터 몸통의 자세를 나타내는 쿼터니언 qB를 수신한다.　 그리고, 캘리브레이션 파라미터로서의 캘리브레이션 쿼터니언 q를 취득하고(스텝 S1921), 몸통의 자세를 나타내는 쿼터니언 qB를 캘리브레이션 쿼터니언 q로 보정하여, 보정 후의 몸통 자세의 쿼터니언 q'B를 얻는다(스텝 S1913).
캘리브레이션 쿼터니언 q는, 머리부 동작 추적 장치(200)가 유저의 머리부의 자세를 검출하는 좌표계와 몸통 동작 추적 장치(300)가 유저의 몸통의 자세를 검출하는 좌표계를 상호 변환하기 위한 파라미터이다(전술).　 캘리브레이션 쿼터니언 q의 취득 방법은 임의이다.　 스텝 S1913에서는, 상기 수학식 6에 따라, 캘리브레이션 쿼터니언 q를 좌측에 곱하는 것에 의해, 몸통의 자세를 나타내는 쿼터니언 qB를 보정한다.
계속해서, 당해 화상 표시 시스템(100)이 생체 안전 대응 모드에 들어갔는지 여부를 판정한다(스텝 S1941).　 생체 안전 대응 모드에 들어갔는지 여부는, 예를 들어, 상기 수학식 14에 따라서 산출되는 머리부와 몸통의 자세의 차분 ψ가 소정의 역치를 초과하였는지 여부에 따라 자동 판별하도록 해도 된다.　 또는, 유저가 능동적으로(또는 버튼을 누르는 등의 매뉴얼 조작에 의해) 헤드 트래킹의 해제를 지시하였는지 여부에 따라 판별하도록 해도 된다.
여기서, 생체 안전 대응 모드에 들어갔을 때에는(스텝 S1941의 "예"), 현재 그 모드에 들어간 순간인지 여부를 다시 체크하고(스텝 S1942), 들어간 순간의 유저의 머리부의 자세 qH를 qH0으로서 보존한다(스텝 S1943).
그리고, 생체 안전 대응 모드의 기간 중에는, 새롭게 검출·연산된 머리부 자세의 쿼터니언 qH를 qH0으로 치환함으로써 자유 시점 공간 내의 머리부의 자세를 고정함으로써, 렌더링 시에 헤드 트래킹되지 않도록 한다.　 또한, 스텝 S1913에서 보정된 후의 몸통 자세의 쿼터니언 q'B를 하기 수학식 19에 따라서 치환함으로써 머리부 동작 추적 장치(200)가 검출하는 머리부 자세 qH의 변화량만큼 자유 시점 공간 내의 몸통의 자세 q'B를 변화시키도록 한다(스텝 S1944).　 구체적으로는, 몸통의 자세 q'B의 좌측으로부터 현재의 머리부 자세의 쿼터니언 qH의 인버스, 헤드 트래킹을 해제한 순간의 머리부 자세의 쿼터니언 qH0을 순서대로 곱하고, 머리부 자세의 변화를 몸통의 자세로 보상한다.
Figure 112016124094034-pct00019
한편, 생체 안전 대응 모드에 들어 있지 않을 때에는(스텝 S1941의 "아니오"), 생체 안전 대응 모드로부터 나온 순간인지 여부를 판별한다(스텝 S1945).　 그리고, 생체 안전 대응 모드로부터 나온 순간이라면(스텝 S1945의 "예"), 생체 안전 대응 모드의 기간 중에 있어서의 현실의 머리부의 자세의 변화를 보상하기 위해, 하기 수학식 20을 사용하여, 세계 좌표계에 대하여 보정을 행하는 쿼터니언 qW를 갱신한다(스텝 S1946).　 구체적으로는, 쿼터니언 qW의 좌측으로부터 현재의 머리부 자세의 쿼터니언 qH의 인버스, 헤드 트래킹을 해제한 순간의 머리부 자세의 쿼터니언 qH0을 순서대로 곱하고, 머리부 자세의 변화를 몸통의 자세로 보상한다.
Figure 112016124094034-pct00020
계속해서, 머리부의 자세의 쿼터니언 qH와, 몸통의 자세의 쿼터니언 q'B의 각각의 좌측으로부터 쿼터니언 qW를 곱하고, 자유 시점 공간 내에서의 머리부 자세 qH * 및 몸통 자세 q'B*을 각각 보정함으로써(스텝 S1947, S1948), 세계 좌표계를 조금씩 회전시켜서, 머리부의 자세를 몸통의 자세에 근접시키는 조작을 실시한다.
또한, 묘화 장치(400)는 속도 또는 변위량 등 자유 시점 공간 내에서 이동하기 위한 제어 신호 v가 입력된다(스텝 S1903).　 예를 들어, 묘화 장치(400)로 게임 등의 3차원 화상을 생성하는 경우에는, 게임 컨트롤러의 조이스틱 등의 조작량에 따른 제어 신호 v를 입력하게 된다.　 또한, 스마트폰에 조작 화면을 표시시키고, 그 조작 화면을 유저가 조작함으로써, 제어 신호 v를 입력하도록 해도 된다.　 또는, 외부에 설치된 카메라 등을 사용하여 유저의 머리부의 물리적인 위치의 이동을 검출하고, 제어 신호 v로서 입력하도록 해도 된다.
계속해서, 묘화 처리부(402)에서는, 세계 좌표계를 쿼터니언 qW로 보정한 자유 시점 공간에 있어서의 몸통 자세 q'B *에 기초하여, 입력된 제어 신호 v에 따른 이동량 ΔB*을 상기 수학식 18에 의해 계산한다(스텝 S1904).
계속해서, 묘화 처리부(402)는 자유 시점 공간 내에서, 현재의 지점으로부터 유저의 몸통 자세 qB의 방향(즉, 몸체의 정면의 방향)으로 이동량 ΔB *만큼 이동한 후의 지점 pB *을 계산한다(스텝 S1905).　 그리고, 보정 후의 유저의 몸통의 자세 정보 qB *에 결부된 지점 pB *을 자유 시점 공간에 있어서의 시점 위치로 하고, 그 시점 위치 pB *로부터 보정 후의 머리부 자세의 쿼터니언 qH *로 표시되는 시선 방향으로 보이는 화상 IB *을 렌더링해서(스텝 S1906), 표시 장치(500)로 표시 출력한다.　 여기서 생성되는 자유 시점 화상 IB *은, 시점 위치 pB * 및 시선 방향 qH *로부터 보이는 화상을 생성하는 함수 f에 기초하여 생성된다(동상).
또한, 도 19 및 도 20에 도시된 처리 수순에 있어서도, 유저의 머리부 및 몸통의 자세를 검출하고 나서 화상을 표시할 때까지 발생하는 지연 시간을 고려하여, 화상의 렌더링을 행하도록 해도 된다(동상).
이와 같이, 본 실시 형태에 따른 화상 표시 시스템(100)에서는, 머리부 동작 추적 장치(200)에서 취득되는 유저의 머리부의 자세 정보 qH와 함께 몸통 동작 추적 장치(300)에서 취득되는 유저의 몸통의 자세 정보 qB를 이용함으로써, 자유 시점 시청에 기인하는 머리부의 부자연스러운 시청 자세를 경감 또는 회피할 수 있다.
E. 자유 시점 화상의 메타 정보의 표시
자유 시점 화상 콘텐츠로서, 기존의 TV 방송 외에, 자동차나 라디콘 등의 이동체 장치에 탑재된 광각 카메라로 촬영한 화상, 일인칭 시점의 게임 화상 등을 들 수 있다.
유저는, 시청 중인 자유 시점 화상 콘텐츠에 관계되는 메타 정보를 참조하고자 하는 경우가 있다.　 여기에서 말하는 메타 정보로서, 콘텐츠의 재생 위치나 나머지 재생 시간의 정보, 가상 공간 내에 있어서의 현재의 자신의 위치를 나타내는 좌표나 지도의 정보, 게임에 있어서 자신이 조작하고 있는 캐릭터의 상태(예를 들어, 대전형 게임에 있어서의 자기의 피로도나 부상의 상태, 무기나 탄약의 잔존수, 지금까지 획득한 전리품, 스코어 등)를 들 수 있다.
또한, 자유 시점 화상을 시청 중인 유저는, 시계가 외계로부터 닫히고, 또는, 가상 세계에 몰입하고 있기 때문에, 상술한 바와 같은 메타 정보가 아니라, 현실 세계의 정보를 참조하고자 하는 경우가 있다.　 현실 세계의 정보로서, 현재 시각이나 기타의 환경 정보, 메일이나 전화의 착신 통지 등을 들 수 있다.
이러한 콘텐츠의 메타 정보나 현실 세계의 정보를 기재한 UI(User Interface) 부품을 자유 시점 화상 내에 표시함으로써, 유저는 자유 시점 화상의 시청을 중단하지 않고, 원하는 메타 정보나 현실 세계의 정보를 확인할 수 있다.
이러한 UI 부품을, 유저의 머리부의 자세만을 고려하여 배치하면, 즉, 머리부 자세에 기초하여 정위한 고정 위치에 UI 부품을 배치하면, 자유 시점 화상이 유저의 머리부의 자세 즉 시선 방향에 추종할 뿐만 아니라, UI 부품이 동일한 장소에 계속 표시되게 된다.
UI 부품이 상시 동일한 장소에 표시되면, 유저는 시청중에 언제나 메타 정보나 현실 세계의 정보를 확인할 수 있다.　 그러나, 머리부 자세의 움직임에 따라 자유 시점 화상이 변화해 가는 것에 비해, UI 부품이 상시 동일한 장소에 있는 것은 부자연스러우며, 임장감이나 몰입감을 크게 손상시키게 된다.　 또한, UI 부품이 배치되어 있는 장소는, 본래의 자유 시점 화상의 정보가 걸쳐지게 되므로, 유저가 보기 어렵거나, 게임을 플레이하기 어려움을 느끼게 해버린다.　 또한, 유저는, 메타 정보나 현실 세계의 정보를 보고 싶지 않은 시간대도 있고, UI 부품이 표시되어 있음으로써 음울함을 느끼게 해버리는 경우도 있다.
도 25 및 도 26에는, 머리부 동작 추적 장치(200)로부터 얻어지는 유저의 머리부의 자세에 기초하여 정위한 고정 위치에 UI 부품을 배치한 경우의 자유 시점 화상의 표시예를 나타내고 있다.
도 25에 도시하는 예에서는, 유저의 머리부는 정면을 향하고 있고, 참조 번호(2501)로 나타내는 바와 같이, UI 부품은 유저의 머리부의 정면 방향으로 배치되는 것으로 한다.　 따라서, 이 경우의 자유 시점 화상(2500) 내에는, 참조 번호(2502)로 나타내는 바와 같이 UI 부품이 비친다.
또한, 도 26에 도시하는 예에서는, 유저는 고개를 숙인 모습이며, 머리부는 하방을 향하고 있다.　 이 경우에도, 참조 번호(2601)로 나타내는 바와 같이, UI 부품은 유저의 머리부의 정면 방향으로 배치된다.　 따라서, 이 경우의 자유 시점 화상(2600) 내에도 참조 번호(2602)로 나타내는 바와 같이 UI 부품이 비친다.　 즉, 유저의 머리부 자세에 무관하게, UI 부품은 상시 자유 시점 화상 내에 존재하게 된다.
또한, 도 27 및 도 28에는, 머리부 동작 추적 장치(200)로부터 얻어지는 유저의 머리부 자세에 기초하여 정위한 고정 위치에 UI 부품을 배치한 경우의 자유 시점 화상의 다른 표시예를 나타내고 있다.
도 27에 도시하는 예에서는, 유저의 머리부는 정면을 향하고 있고, 참조 번호(2701)로 나타내는 바와 같이, UI 부품은 유저의 머리부의 정면 방향으로 배치되는 것으로 한다.　 따라서, 이 경우의 자유 시점 화상(2700) 내에는, 참조 번호(2702)로 나타내는 바와 같이 UI 부품이 비친다.
또한, 도 28에 도시하는 예에서는, 유저는 좌측으로 돌아본 모습이며, 머리부는 좌측을 향하고 있다.　 이 경우에도, 참조 번호(2801)로 나타내는 바와 같이, UI 부품은 유저의 머리부의 정면 방향으로 배치된다.　 따라서, 이 경우의 자유 시점 화상(2800) 내에도 참조 번호(2802)로 나타내는 바와 같이 UI 부품이 비친다.　 즉, 유저의 머리부 자세에 무관하게, UI 부품은 상시 자유 시점 화상 내에 존재하게 된다.
한편, 도 29 및 도 30에는, 몸통 동작 추적 장치(300)로부터 얻어지는 유저의 몸통의 자세에 기초하여 정위한 고정 위치에 UI 부품을 배치한 경우의 자유 시점 화상의 표시예를 나타내고 있다.
도 29에 도시하는 예에서는, 유저의 머리부는 정면을 향하고 있지만, 참조 번호(2901)로 나타내는 바와 같이, UI 부품은 유저의 몸통의 정면 방향으로 배치되는 것으로 한다.　 따라서, 이 경우의 자유 시점 화상(2600) 내에는 UI 부품이 존재하지 않는다.
또한, 도 30에 도시하는 예에서는, 유저는 고개를 숙인 모습이고, 머리부는 하방을 향하고 있다.　 이 경우에도, 참조 번호(3001)로 나타내는 바와 같이, UI 부품은 유저의 몸통의 정면 방향으로 배치된다.　 따라서, 유저가 머리부를 하방으로 향하게 함으로써, 자유 시점 화상(3000) 내에는, 참조 번호(3002)로 나타내는 바와 같이 UI 부품이 출현한다.
즉, 유저가 머리부를 정면으로 향하게 한 통상의 자세에서는 UI 부품은 숨겨져 있지만, 머리부를 하방으로 기울이는 것에 의해, 자유 시점 화상 내에서 UI 부품을 표시시킬 수 있다.　 또한, 입체적인 UI 부품의 경우에는, 유저의 몸통 자세에 기초하여 고정 위치에 정위한 UI 부품의 자세를, 유저의 머리부 자세에 맞추어 정면으로 향하도록 자세를 보정하고, 자유 시점 화상 내에 배치하도록 해도 된다.
또한, 도 31 및 도 32에는, 몸통 동작 추적 장치(300)로부터 얻어지는 유저의 몸통 자세에 기초하여 정위한 고정 위치에 UI 부품을 배치한 경우의 자유 시점 화상의 다른 표시예를 나타내고 있다.
도 31에 도시하는 예에서는, 유저의 머리부는 정면을 향하고 있지만, 참조 번호(3101)로 나타내는 바와 같이, UI 부품은 유저의 몸통의 좌측 방향으로 배치되는 것으로 한다.　 따라서, 이 경우의 자유 시점 화상(3100) 내에는 UI 부품이 존재하지 않는다.
또한, 도 32에 도시하는 예에서는, 유저는 좌측으로 돌아본 모습이고, 머리부는 좌측을 향하고 있다.　 이 경우, 참조 번호(3201)로 나타내는 바와 같이, UI 부품은 유저의 몸통의 좌측 방향으로 배치된다.　 따라서, 유저가 머리부를 좌측으로 향하게 함으로써, 자유 시점 화상(3200) 내에는, 참조 번호(3202)로 나타내는 바와 같이 UI 부품이 출현한다.
즉, 유저가 머리부를 정면으로 향하게 한 통상의 자세에서는 UI 부품은 숨겨져 있지만, 좌측으로 돌아보는 것에 의해, 자유 시점 화상 내에서 UI 부품을 표시시킬 수 있다.　 또한, 입체적인 UI 부품의 경우에는, 유저의 몸통의 자세에 기초하여 고정 위치에 정위한 UI 부품의 자세를, 유저의 머리부 자세에 맞추어 정면으로 향하도록 자세를 보정하고, 자유 시점 화상 내에 배치하도록 해도 된다.
도 23에는, 유저의 몸통 자세에 기초하여 정위한 고정 위치에 UI 부품을 배치하여, 자유 시점 화상을 묘화하는 처리 수순을 흐름도의 형식으로 도시하고 있다.
머리부 동작 추적 장치(200) 내에서는, 센서부(201)가 유저의 머리부의 자세를 검출하고(스텝 S2301), 자세각 연산부(202)는 그 검출 결과에 기초하여, 유저의 머리부의 자세를 나타내는 쿼터니언 qH를 연산해서(스텝 S2302), 송신부(203)로부터 묘화 장치(400)로 송신한다.
또한, 몸통 동작 추적 장치(300) 내에서는, 센서부(301)가 유저의 몸통의 자세를 검출하고(스텝 S2311), 자세각 연산부(202)는 그 검출 결과에 기초하여, 유저의 몸통의 자세를 나타내는 쿼터니언 qB를 연산해서(스텝 S2312), 송신부(303)로부터 묘화 장치(400)로 송신한다.
계속해서, 묘화 장치(400)는 상술한 콘텐츠의 메타 정보나 현실 세계의 정보를 입력하면(스텝 S2321), 유저의 몸통의 자세를 나타내는 쿼터니언 qB에 기초하는 유저의 몸통 좌표계 상에서 정위되는 고정 위치에, 입력한 정보를 표시하는 UI 부품을 배치한다(스텝 S2313).　 계속해서, 묘화 처리부(402)는 유저의 몸통 좌표계 상에서 배치한 UI 부품을, 유저의 머리부의 자세를 나타내는 쿼터니언 qH에 기초하는 머리부 좌표계 상의 위치 및 자세로 변환한다(스텝 S2314).
여기서, i번째의 UI 부품의 유저 몸통 좌표계에 있어서의 위치를 pi, 자세를 qi라 하면, 각각 하기 수학식 21 및 22에 따라, 유저의 머리부 좌표계에 있어서의 위치 p'i 및 자세 q'i로 변환할 수 있다.
Figure 112016124094034-pct00021
Figure 112016124094034-pct00022
단, 상기 수학식 21에 있어서, pBH는, 유저의 머리부 좌표계의 원점으로부터 본 유저의 몸통 좌표계의 원점의 위치이다.　 머리부나 몸통부의 위치 정보를(자세 정보에 추가로) 취득할 수 있는 경우에는, pBH에 실제의 계측값을 사용해도 된다.　 예를 들어, 일본인 성인 남성의 평균값 등을 이용하여, pBH=(0m, 0m, -0.75m) 등으로 고정 파라미터화해도 된다.
또한, 상기 수학식 22의 우변의 qBqH -1은, 유저의 몸통부의 자세를 나타내는 쿼터니언 qB의 우측으로부터 머리부의 자세를 나타내는 쿼터니언 qH의 인버스를 곱한 것으로, 몸통부 좌표계에 있어서의 물체(UI 부품)의 자세를 머리부 좌표계에 있어서의 자세로 변환하는 쿼터니언이다.
그리고, 묘화 처리부(402)는 UI 부품이 배치된 자유 시점 공간을 쿼터니언 qH로 표시되는 시선 방향으로 보이는 화상을 렌더링해서(스텝 S2315), 표시 장치(500)로 표시 출력한다.
또한, 도 23에 도시된 처리 수순에 있어서도, 유저의 머리부 및 몸통의 자세를 검출하고 나서 화상을 표시할 때까지 발생하는 지연 시간을 고려하여, 화상의 렌더링을 행하도록 해도 된다(동상).
또한, 도 23에 도시한 흐름도에서는 생략했지만, C항에서 설명한 캘리브레이션 처리를 적용하여, 머리부 동작 추적 장치(200)가 검출하는 유저의 머리부 자세의 좌표계와 몸통 동작 추적 장치(300)가 검출하는 유저의 몸통 자세의 좌표계의 대응짓기를 행하도록 해도 된다.
도 24에는, 유저의 몸통의 자세에 기초하여 정위한 고정 위치에 UI 부품을 배치하여, 자유 시점 화상을 묘화하는 처리 수순의 다른 예를 흐름도의 형식으로 도시하고 있다.　 도 24에 도시하는 처리 수순은, 자유 시점 공간에 있어서의 유저의 시점 위치를 유저의 몸통의 자세에 기초하여 제어하는 점에서, 도 23에 도시된 처리 수순과는 상이하다.
머리부 동작 추적 장치(200) 내에서는, 센서부(201)가 유저의 머리부의 자세를 검출하고(스텝 S2401), 자세각 연산부(202)는 그 검출 결과에 기초하여, 유저의 머리부의 자세를 나타내는 쿼터니언 qH를 연산해서(스텝 S2402), 송신부(203)로부터 묘화 장치(400)로 송신한다.
또한, 몸통 동작 추적 장치(300) 내에서는, 센서부(301)가 유저의 몸통의 자세를 검출하고(스텝 S2411), 자세각 연산부(202)는 그 검출 결과에 기초하여, 유저의 몸통의 자세를 나타내는 쿼터니언 qB를 연산해서(스텝 S2412), 송신부(303)로부터 묘화 장치(400)로 송신한다.
계속해서, 묘화 장치(400)는 상술한 콘텐츠의 메타 정보나 현실 세계의 정보를 입력하면(스텝 S2421), 유저의 몸통의 자세를 나타내는 쿼터니언 qB에 기초하는 유저의 몸통 좌표계 상에서 정위되는 고정 위치에, 입력한 정보를 표시하는 UI 부품을 배치한다(스텝 S2413).　 계속해서, 묘화 처리부(402)는 유저의 몸통 좌표계 상에서 배치한 UI 부품을, 상기 수학식 21 및 22에 따라, 유저의 머리부의 자세를 나타내는 쿼터니언 qH에 기초하는 머리부 좌표계 상의 위치 및 자세로 변환한다(스텝 S2414).
또한, 묘화 장치(400)에는, 속도 또는 변위량 등 자유 시점 공간 내에서 이동하기 위한 제어 신호 v가 입력된다(스텝 S2431).　 예를 들어, 묘화 장치(400)로 게임 등의 3차원 화상을 생성하는 경우에는, 게임 컨트롤러의 조이스틱 등의 조작량에 따른 제어 신호 v를 입력하게 된다.　 또한, 스마트폰에 조작 화면을 표시시키고, 그 조작 화면을 유저가 조작함으로써, 제어 신호 v를 입력하도록 해도 된다.　 또는, 외부에 설치된 카메라 등을 사용하여 유저의 머리부의 물리적인 위치의 이동을 검출하고, 제어 신호 v로서 입력하도록 해도 된다.
묘화 처리부(402)에서는, 입력된 제어 신호 v에 따라, 자유 시점 공간에 있어서의 이동량 ΔB를 계산한다(스텝 S2432).　 본 처리 루틴에서는, 몸통 동작 추적 장치(300)로부터 취득 가능한 유저의 몸통의 자세 정보를 이용하므로, 제어 신호 v는 유저의 몸통의 자세 정보 qB에 결부시키는 것이 가능하고, 이동량 ΔB는 상기 수학식 4에 나타낸 바와 같이 구해진다.
계속해서, 묘화 처리부(402)는 자유 시점 공간 내에서, 현재의 지점으로부터 유저의 몸통 자세 qB의 방향(즉, 몸체의 정면의 방향)으로 이동량 ΔB만큼 이동한 후의 지점 pB를 계산한다(스텝 S2433).
그리고, 유저의 몸통의 자세 정보 qB에 결부된 지점 pB를 자유 시점 공간에 있어서의 시점 위치로 하고, 그 시점 위치 pB로부터 쿼터니언 qH로 표시되는 시선 방향으로 보이는 화상을 렌더링해서(스텝 S2415), 표시 장치(500)로 표시 출력한다.
도 24에 도시된 처리 수순에 있어서도, 유저의 머리부 및 몸통의 자세를 검출하고 나서 화상을 표시할 때까지 발생하는 지연 시간을 고려하여, 화상의 렌더링을 행하도록 해도 된다(동상).
또한, 도 24에 도시한 흐름도에서는 생략했지만, C항에서 설명한 캘리브레이션 처리를 적용하여, 머리부 동작 추적 장치(200)가 검출하는 유저의 머리부 자세의 좌표계와 몸통 동작 추적 장치(300)가 검출하는 유저의 몸통 자세의 좌표계의 대응짓기를 행하도록 해도 된다.
이상, 특정한 실시 형태를 참조하면서, 본 명세서에서 개시하는 기술에 대하여 상세하게 설명해 왔다.　 그러나, 본 명세서에서 개시하는 기술의 요지를 일탈하지 않는 범위에서 당업자가 당해 실시 형태의 수정이나 대용을 할 수 있는 것은 자명하다.
본 명세서에서는, 헤드 마운트 디스플레이에서 자유 시점 시청 및 시점 이동 환경을 실현하는 실시 형태를 중심으로 설명하였지만, 본 명세서에서 개시하는 기술은 기타 사용예에도 응용할 수 있다.　 예를 들어, 텔레비전이나 프로젝터 등의 대화면 디스플레이 앞에 앉아서 게임을 하고 있는 유저가 머리부 동작 추적 장치(200) 및 몸통 동작 추적 장치(300)를 착용하고, 텔레비전 내의 게임 화면에 있어서 자유 시점 시청 및 시점 이동 환경을 실현할 수 있다.
본 명세서에서 개시하는 기술은, 몰입형, 시쓰루형, 비디오 시쓰루형 중의 어느 헤드 마운트 디스플레이에도 적용할 수 있다.　 또한, 본 명세서에서 개시하는 기술은, 양안식 및 단안식 중의 어느 헤드 마운트 디스플레이에도 적용할 수 있다.
요컨대, 예시라고 하는 형태에 의해 본 명세서에서 개시하는 기술에 대하여 설명한 것이며, 본 명세서의 기재 내용을 한정적으로 해석해서는 안된다.　 본 명세서에서 개시하는 기술의 요지를 판단하기 위해서는, 특허 청구 범위를 참작해야 한다.
또한, 본 명세서의 개시 기술은, 이하와 같은 구성을 취하는 것도 가능하다.
(1) 관찰자의 머리부의 자세에 관한 제1 정보 및 상기 관찰자의 머리부 이외의 신체의 자세에 관한 제2 정보를 수신하는 수신부와,
상기 제1 정보 및 상기 제2 정보에 기초하여, 상기 관찰자의 자세에 대응한 표시 화상을 생성하는 묘화 처리부
를 구비하는 정보 처리 장치.
(2) 상기 수신부는, 상기 제2 정보로서, 적어도 상기 관찰자의 몸통의 자세를 수신하고,
상기 묘화 처리부는, 상기 제1 정보에 기초하여 자유 시점 공간에 있어서의 상기 관찰자의 시선 방향을 정위함과 함께, 상기 제2 정보로부터 얻어지는 상기 관찰자의 몸통의 자세에 기초하여 상기 자유 시점 공간에 있어서의 상기 관찰자의 신체의 방향(시점 위치)을 정위하여, 상기 관찰자의 머리부의 자세에 추종하는 자유 시점 화상을 생성하는,
상기 (1)에 기재된 정보 처리 장치.
(3) 상기 묘화 처리부는, 상기 자유 시점 공간에 있어서의 상기 관찰자의 이동을 지시하는 제어 신호가 입력되었을 때에, 상기 제2 정보로부터 얻어지는 상기 관찰자의 몸통의 자세에 기초하여 정위한 신체의 방향을 정면 방향이라고 인식하여 이동 후의 지점(시점 위치)을 구하는,
상기 2에 기재된 정보 처리 장치.
(4) 상기 묘화 처리부는, 상기 제1 정보에 기초하여 자유 시점 공간에 있어서의 상기 관찰자의 시선 방향을 정위함과 함께, 상기 제2 정보로부터 얻어지는 자세에 기초하여 정위한 고정 위치에 배치하여, 상기 관찰자의 머리부의 자세에 추종하는 자유 시점 화상을 생성하는,
상기 (1)에 기재된 정보 처리 장치.
(5) 상기 수신부는, 상기 제2 정보로서, 적어도 상기 관찰자의 몸통의 자세를 수신하고,
상기 묘화 처리부는, 상기 제1 정보에 기초하여 자유 시점 공간에 있어서의 상기 관찰자의 시선 방향을 정위함과 함께, 상기 제2 정보로부터 얻어지는 상기 관찰자의 몸통의 자세에 기초하여 상기 자유 시점 공간에 있어서의 상기 관찰자의 신체의 방향(시점 위치)을 정위하고, 또한, 상기 관찰자의 몸통의 자세에 기초하여 정위한 고정 위치에 소정의 화상 부품을 배치하여, 상기 관찰자의 머리부의 자세에 추종하는 자유 시점 화상을 생성하는,
상기 (1)에 기재된 정보 처리 장치.
(5-1) 상기 묘화 처리부는, 상기 자유 시점 화상에 관계되는 메타 정보를 포함하는 상기 화상 부품을 배치하는,
상기 (4) 또는 (5) 중 어느 하나에 기재된 정보 처리 장치.
(6) 캘리브레이션 파라미터를 취득하는 캘리브레이션 처리부를 더 구비하고,
상기 묘화 처리부는, 캘리브레이션 파라미터로 보정한 자세 정보를 사용하여 화상 생성을 실시하는,
상기 (1) 내지 (5) 중 어느 하나에 기재된 정보 처리 장치.
(7) 상기 캘리브레이션 처리부는, 상기 제1 정보로부터 얻어지는 머리부의 자세 정보와, 상기 제2 정보로부터 얻어지는 제2 자세 정보에 기초하여, 제2 자세 정보를 보정하기 위한 캘리브레이션 파라미터를 계산하고, 상기 캘리브레이션 파라미터를 사용하여 상기 제2 자세 정보를 보정하는,
상기 (6)에 기재된 정보 처리 장치.
(8) 상기 캘리브레이션 처리부는, 상기 머리부의 자세 정보와 상기 제2 자세 정보를 사용하여 상기 제2 자세 정보를 상기 머리부의 자세 정보에 일치시키기 위한 자세 변환 파라미터를 상기 캘리브레이션 파라미터로서 계산하는,
상기 (7)에 기재된 정보 처리 장치.
(9) 자세 정보는 쿼터니언으로 표기되고,
상기 캘리브레이션 처리부는, 상기 머리부의 자세 정보에 상기 제2 자세 정보의 쿼터니언의 인버스를 우측에 곱하여, 제2 자세 정보를 보정하기 위한 캘리브레이션 쿼터니언을 계산하고,
상기 제2 자세 정보의 쿼터니언에 상기 캘리브레이션 쿼터니언을 좌측에 곱하여 보정하는,
상기 (7)에 기재된 정보 처리 장치.
(10) 상기 캘리브레이션 처리부는, 상기 제1 정보로부터 얻어지는 머리부 자세의 좌표계와 상기 제2 정보로부터 얻어지는 자세의 좌표계의 일정 기간의 회전 변위와, 인체의 성질에 기초하여, 상기 제2 자세 정보를 보정하기 위한 캘리브레이션 파라미터를 추정하는,
상기 (6)에 기재된 정보 처리 장치.
(11) 상기 캘리브레이션 처리부는, 일정 기간, 상기 제1 정보로부터 얻어지는 머리부의 자세 정보와 상기 제2 정보로부터 얻어지는 제2 자세 정보에 기초하여 계산한 캘리브레이션 파라미터의 시계열 평균을 최종적인 캘리브레이션 파라미터로 하는,
상기 (6)에 기재된 정보 처리 장치.
(12) 자세 정보는 쿼터니언으로 표기되고,
상기 캘리브레이션 처리부는, 새롭게 수신한 제1 정보 및 제2 정보로부터 각각 얻어지는 자세 정보의 쿼터니언에 기초하여 신규로 산출한 캘리브레이션 쿼터니언과, 시계열의 평균으로 구한 직전의 캘리브레이션 쿼터니언을 구면 선형 보간하여, 캘리브레이션 쿼터니언을 갱신하는,
상기 (11)에 기재된 정보 처리 장치.
(12-1) 자세 정보는 쿼터니언으로 표기되고,
상기 캘리브레이션 처리부는, 캘리브레이션 쿼터니언의 시계열을 대수 변환에 의해 3차원 공간에 표시하고, 거기에서 가산 평균 등의 대표치를 산출한 후, 지수 변환에 의해 쿼터니언으로 되돌리는,
상기 (11)에 기재된 화상 표시 장치.
(13) 상기 제2 정보에 기초하여 상기 관찰자의 몸통의 자세가 산출되고,
상기 캘리브레이션 처리부는, 새롭게 수신한 제1 정보 및 제2 정보로부터 각각 얻어지는 머리부 및 몸통부의 자세 정보의, 중력 방향을 회전축으로 했을 때의 회전 방향의 각도 차분의 평균값을 구하고, 중력 방향과 상기 평균값에 기초하여 캘리브레이션 파라미터를 산출하는,
상기 (11)에 기재된 정보 처리 장치.
(14) 상기 묘화 처리부는, 상기 제1 정보로부터 얻어지는 머리부의 자세와 상기 제2 정보로부터 얻어지는 몸통의 자세의 차분에 기초하여, 상기 표시부의 표시 화상을 처리하는,
상기 (1)에 기재된 정보 처리 장치.
(15) 생체 안전 대응 모드 하에 있어서, 상기 묘화 처리부는, 상기 자유 시점 공간 내의 머리부 자세와 몸통 자세의 차분이 작아지도록 세계 좌표계를 보정하고, 자유 시점 화상을 생성하는,
상기 (2) 또는 (3) 중 어느 하나에 기재된 정보 처리 장치.
(16) 상기 묘화 처리부는, 생체 안전 대응 모드에 들어간 시점에서 자유 시점 공간 내의 머리부의 자세를 고정함과 함께, 상기 생체 안전 대응 모드 하에서는 상기 머리부 자세 검출부가 검출하는 머리부 자세에 따라서 자유 시점 공간 내의 몸통의 자세를 변화시켜서, 자유 시점 화상을 생성하는,
상기 (2) 또는 (3) 중 어느 하나에 기재된 정보 처리 장치.
(17) 상기 제1 정보로부터 얻어지는 머리부의 자세와 상기 제2 정보로부터 얻어지는 몸통의 자세의 차분이 제1 역치를 초과하는 상태가 일정 시간 계속되었을 때에 상기 생체 안전 대응 모드에 들어가고, 상기 차분이 상기 제1 역치보다도 작은 제2 역치 이하로 되었을 때에 상기 생체 안전 대응 모드로부터 나오는,
상기 (15) 또는 (16) 중 어느 하나에 기재된 정보 처리 장치.
(18) 관찰자의 머리부의 자세에 관한 제1 정보 및 상기 관찰자의 머리부 이외의 신체의 자세에 관한 제2 정보를 수신하는 수신 스텝과,
상기 제1 정보 및 상기 제2 정보에 기초하여, 상기 관찰자의 자세에 대응한 표시 화상을 생성하는 묘화 처리 스텝
을 갖는 정보 처리 방법.
(19) 관찰자의 머리부의 자세를 검출하는 머리부 자세 검출부의 검출 결과에 기초하여 상기 관찰자의 머리부의 자세 정보를 산출하는 머리부 자세 연산부,
상기 관찰자의 머리부 이외의 신체의 1 이상의 제2 부위의 자세를 검출하는 제2 자세 검출부의 검출 결과에 기초하여 상기 제2 부위의 자세 정보를 산출하는 제2 자세 연산부,
상기 관찰자의 머리부의 자세 및 상기 제2 부위의 자세에 기초하여, 상기 관찰자의 머리부 또는 얼굴부에 고정되는 표시부에 표시할 화상을 처리하는 묘화 처리부,
로서 컴퓨터를 기능시키도록 컴퓨터 가독 형식으로 기술된 컴퓨터 프로그램.
(20) 관찰자의 머리부 또는 얼굴부에 고정되는 표시부와,
상기 관찰자의 머리부의 자세를 검출하는 머리부 자세 검출부와,
상기 관찰자의 머리부 이외의 신체의 1 이상의 제2 부위의 자세를 검출하는 제2 자세 검출부와,
상기 관찰자의 머리부의 자세 및 상기 제2 부위의 자세에 기초하여 상기 표시부의 표시 화상을 처리하는 묘화 처리부
를 구비하는 화상 처리 시스템.
100: 화상 표시 시스템
200: 머리부 동작 추적 장치
201: 센서부
202: 자세각 연산부
203: 송신부
300: 몸통 동작 추적 장치
301: 센서부
302: 자세각 연산부
303: 송신부
400: 묘화 장치
401: 수신부
402: 묘화 처리부
403: 송신부
404: 화상 소스
500: 표시 장치
501: 수신부
502: 표시부

Claims (20)

  1. 관찰자의 머리부의 자세에 관한 제1 정보 및 적어도 상기 관찰자의 몸통의 자세를 포함한 상기 관찰자의 머리부 이외의 신체의 자세에 관한 제2 정보를 수신하는 수신부와,
    상기 제1 정보에 기초하여 자유 시점 공간에 있어서의 상기 관찰자의 시선 방향을 정위함과 함께, 상기 제2 정보로부터 얻어지는 상기 관찰자의 몸통의 자세에 기초하여 상기 자유 시점 공간에 있어서의 상기 관찰자의 신체의 방향(시점 위치)을 정위하여, 상기 관찰자의 머리부의 자세에 추종하는 자유 시점 화상을 생성하고, 상기 자유 시점 공간에 있어서의 상기 관찰자의 이동을 지시하는 제어 신호가 입력되었을 때에, 상기 제2 정보로부터 얻어지는 상기 관찰자의 몸통의 자세에 기초하여 정위한 신체의 방향을 정면 방향이라고 인식하여 이동 후의 지점(시점 위치)을 구하는 묘화 처리부
    를 구비하는 정보 처리 장치.
  2. 관찰자의 머리부의 자세에 관한 제1 정보 및 상기 관찰자의 머리부 이외의 신체의 자세에 관한 제2 정보를 수신하는 수신부와,
    캘리브레이션 파라미터를 취득하는 캘리브레이션 처리부와
    상기 캘리브레이션 파라미터로 보정한 상기 관찰자의 머리부의 자세 및 상기 관찰자의 머리부 이외의 신체의 자세에 기초하여, 상기 관찰자의 자세에 대응한 표시 화상을 생성하는 묘화 처리부
    를 구비하는 정보 처리 장치.
  3. 제2항에 있어서, 상기 캘리브레이션 처리부는, 상기 제1 정보로부터 얻어지는 머리부의 자세 정보와, 상기 제2 정보로부터 얻어지는 제2 자세 정보에 기초하여, 제2 자세 정보를 보정하기 위한 캘리브레이션 파라미터를 계산하고, 상기 캘리브레이션 파라미터를 사용하여 상기 제2 자세 정보를 보정하는,
    정보 처리 장치.
  4. 제3항에 있어서, 상기 캘리브레이션 처리부는, 상기 머리부의 자세 정보와 상기 제2 자세 정보를 사용하여 상기 제2 자세 정보를 상기 머리부의 자세 정보에 일치시키기 위한 자세 변환 파라미터를 상기 캘리브레이션 파라미터로서 계산하는,
    정보 처리 장치.
  5. 제3항에 있어서, 자세 정보는 쿼터니언으로 표기되고,
    상기 캘리브레이션 처리부는, 상기 머리부의 자세 정보에 상기 제2 자세 정보의 쿼터니언의 인버스를 우측에 곱하여, 제2 자세 정보를 보정하기 위한 캘리브레이션 쿼터니언을 계산하고,
    상기 제2 자세 정보의 쿼터니언에 상기 캘리브레이션 쿼터니언을 좌측에 곱하여 보정하는,
    정보 처리 장치.
  6. 제3항에 있어서, 상기 캘리브레이션 처리부는, 상기 제1 정보로부터 얻어지는 머리부 자세의 좌표계와 상기 제2 정보로부터 얻어지는 자세의 좌표계의 일정 기간의 회전 변위와, 인체의 성질에 기초하여, 상기 제2 자세 정보를 보정하기 위한 캘리브레이션 파라미터를 추정하는,
    정보 처리 장치.
  7. 제2항에 있어서, 상기 캘리브레이션 처리부는, 일정 기간, 상기 제1 정보로부터 얻어지는 머리부의 자세 정보와 상기 제2 정보로부터 얻어지는 제2 자세 정보에 기초하여 계산한 캘리브레이션 파라미터의 시계열 평균을 최종적인 캘리브레이션 파라미터로 하는,
    정보 처리 장치.
  8. 제7항에 있어서, 자세 정보는 쿼터니언으로 표기되고,
    상기 캘리브레이션 처리부는, 새롭게 수신한 제1 정보 및 제2 정보로부터 각각 얻어지는 자세 정보의 쿼터니언에 기초하여 신규로 산출한 캘리브레이션 쿼터니언과, 시계열의 평균으로 구한 직전의 캘리브레이션 쿼터니언을 구면 선형 보간하여, 캘리브레이션 쿼터니언을 갱신하는,
    정보 처리 장치.
  9. 제7항에 있어서, 상기 제2 정보에 기초하여 상기 관찰자의 몸통의 자세가 산출되고,
    상기 캘리브레이션 처리부는, 새롭게 수신한 제1 정보 및 제2 정보로부터 각각 얻어지는 머리부 및 몸통부의 자세 정보의, 중력 방향을 회전축으로 했을 때의 회전 방향의 각도 차분의 평균값을 구하고, 중력 방향과 상기 평균값에 기초하여 캘리브레이션 파라미터를 산출하는,
    정보 처리 장치.
  10. 관찰자의 머리부의 자세에 관한 제1 정보 및 상기 관찰자의 머리부 이외의 신체의 자세에 관한 제2 정보를 수신하는 수신부와,
    상기 제1 정보로부터 얻어지는 머리부의 자세와 상기 제2 정보로부터 얻어지는 몸통의 자세의 차분에 기초하여, 상기 관찰자의 자세에 대응한 표시 화상을 처리하는 묘화 처리부
    를 구비하는 정보 처리 장치.
  11. 관찰자의 머리부의 자세에 관한 제1 정보 및 적어도 상기 관찰자의 몸통의 자세를 포함한 상기 관찰자의 머리부 이외의 신체의 자세에 관한 제2 정보를 수신하는 수신부와,
    상기 제1 정보에 기초하여 자유 시점 공간에 있어서의 상기 관찰자의 시선 방향을 정위함과 함께, 상기 제2 정보로부터 얻어지는 상기 관찰자의 몸통의 자세에 기초하여 상기 자유 시점 공간에 있어서의 상기 관찰자의 신체의 방향(시점 위치)을 정위하여, 상기 관찰자의 머리부의 자세에 추종하는 자유 시점 화상을 생성하는 묘화 처리부를 구비하고,
    생체 안전 대응 모드 하에 있어서, 상기 묘화 처리부는, 상기 자유 시점 공간 내의 머리부 자세와 몸통 자세의 차분이 작아지도록 세계 좌표계를 보정하고, 자유 시점 화상을 생성하는,
    정보 처리 장치.
  12. 관찰자의 머리부의 자세에 관한 제1 정보 및 적어도 상기 관찰자의 몸통의 자세를 포함한 상기 관찰자의 머리부 이외의 신체의 자세에 관한 제2 정보를 수신하는 수신부와,
    상기 제1 정보에 기초하여 자유 시점 공간에 있어서의 상기 관찰자의 시선 방향을 정위함과 함께, 상기 제2 정보로부터 얻어지는 상기 관찰자의 몸통의 자세에 기초하여 상기 자유 시점 공간에 있어서의 상기 관찰자의 신체의 방향(시점 위치)을 정위하여, 상기 관찰자의 머리부의 자세에 추종하는 자유 시점 화상을 생성하는 묘화 처리부를 구비하고,
    상기 묘화 처리부는, 생체 안전 대응 모드에 들어간 시점에서 자유 시점 공간 내의 머리부의 자세를 고정함과 함께, 상기 생체 안전 대응 모드 하에서는 상기 관찰자의 머리부 자세에 따라서 자유 시점 공간 내의 몸통의 자세를 변화시켜, 자유 시점 화상을 생성하는,
    정보 처리 장치.
  13. 제11항 또는 제12항에 있어서, 상기 제1 정보로부터 얻어지는 머리부의 자세와 상기 제2 정보로부터 얻어지는 몸통의 자세의 차분이 제1 역치를 초과하는 상태가 일정 시간 계속되었을 때에 상기 생체 안전 대응 모드에 들어가고, 상기 차분이 상기 제1 역치보다도 작은 제2 역치 이하로 되었을 때에 상기 생체 안전 대응 모드로부터 나오는,
    정보 처리 장치.
  14. 수신부에 의해 관찰자의 머리부의 자세에 관한 제1 정보 및 적어도 상기 관찰자의 몸통의 자세를 포함한 상기 관찰자의 머리부 이외의 신체의 자세에 관한 제2 정보를 수신하는 수신 스텝과,
    묘화 처리부에 의해 상기 제1 정보에 기초하여 자유 시점 공간에 있어서의 상기 관찰자의 시선 방향을 정위함과 함께, 상기 제2 정보로부터 얻어지는 상기 관찰자의 몸통의 자세에 기초하여 상기 자유 시점 공간에 있어서의 상기 관찰자의 신체의 방향(시점 위치)을 정위하여, 상기 관찰자의 머리부의 자세에 추종하는 자유 시점 화상을 생성하고, 상기 자유 시점 공간에 있어서의 상기 관찰자의 이동을 지시하는 제어 신호가 입력되었을 때에, 상기 제2 정보로부터 얻어지는 상기 관찰자의 몸통의 자세에 기초하여 정위한 신체의 방향을 정면 방향이라고 인식하여 이동 후의 지점(시점 위치)을 구하는 묘화 처리 스텝
    을 갖는 정보 처리 방법.
  15. 관찰자의 머리부의 자세를 검출하는 머리부 자세 검출부의 검출 결과에 기초하여 상기 관찰자의 머리부의 자세 정보를 산출하는 머리부 자세 연산부,
    적어도 상기 관찰자의 몸통의 자세를 포함한 상기 관찰자의 머리부 이외의 신체의 1 이상의 제2 부위의 자세를 검출하는 제2 자세 검출부의 검출 결과에 기초하여 상기 제2 부위의 자세 정보를 산출하는 제2 자세 연산부,
    상기 관찰자의 머리부의 자세에 기초하여 자유 시점 공간에 있어서의 상기 관찰자의 시선 방향을 정위함과 함께, 상기 제2 부위의 자세에 기초하여 상기 자유 시점 공간에 있어서의 상기 관찰자의 신체의 방향(시점 위치)을 정위하여, 상기 관찰자의 머리부의 자세에 추종하는 자유 시점 화상을 생성하고, 상기 자유 시점 공간에 있어서의 상기 관찰자의 이동을 지시하는 제어 신호가 입력되었을 때에, 상기 제2 부위의 자세 정보로부터 얻어지는 상기 관찰자의 몸통의 자세에 기초하여 정위한 신체의 방향을 정면 방향이라고 인식하여 이동 후의 지점(시점 위치)을 구하는 묘화 처리부,
    로서 컴퓨터를 기능시키도록 컴퓨터 가독 형식으로 기술된 컴퓨터 판독가능 매체에 기록된 컴퓨터 프로그램.
  16. 관찰자의 머리부 또는 얼굴부에 고정되는 표시부와,
    상기 관찰자의 머리부의 자세를 검출하는 머리부 자세 검출부와,
    적어도 상기 관찰자의 몸통의 자세를 포함한 상기 관찰자의 머리부 이외의 신체의 1 이상의 제2 부위의 자세를 검출하는 제2 자세 검출부와
    상기 관찰자의 머리부의 자세에 기초하여 자유 시점 공간에 있어서의 상기 관찰자의 시선 방향을 정위함과 함께, 상기 제2 부위의 자세에 기초하여 상기 자유 시점 공간에 있어서의 상기 관찰자의 신체의 방향(시점 위치)을 정위하여, 상기 관찰자의 머리부의 자세에 추종하는 자유 시점 화상을 생성하고, 상기 자유 시점 공간에 있어서의 상기 관찰자의 이동을 지시하는 제어 신호가 입력되었을 때에, 상기 제2 부위의 자세 정보로부터 얻어지는 상기 관찰자의 몸통의 자세에 기초하여 정위한 신체의 방향을 정면 방향이라고 인식하여 이동 후의 지점(시점 위치)을 구하는 묘화 처리부
    를 구비하는 화상 처리 시스템.
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020167035439A 2014-06-30 2015-04-21 정보 처리 장치 및 정보 처리 방법, 컴퓨터 프로그램, 그리고 화상 처리 시스템 KR102420313B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2014135216 2014-06-30
JPJP-P-2014-135216 2014-06-30
JP2014172231 2014-08-27
JPJP-P-2014-172231 2014-08-27
PCT/JP2015/062055 WO2016002318A1 (ja) 2014-06-30 2015-04-21 情報処理装置及び情報処理方法、コンピューター・プログラム、並びに画像処理システム

Publications (2)

Publication Number Publication Date
KR20170028313A KR20170028313A (ko) 2017-03-13
KR102420313B1 true KR102420313B1 (ko) 2022-07-13

Family

ID=55018876

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167035439A KR102420313B1 (ko) 2014-06-30 2015-04-21 정보 처리 장치 및 정보 처리 방법, 컴퓨터 프로그램, 그리고 화상 처리 시스템

Country Status (6)

Country Link
US (1) US10310595B2 (ko)
EP (1) EP3163422B1 (ko)
JP (1) JP6572893B2 (ko)
KR (1) KR102420313B1 (ko)
CN (1) CN106415447B (ko)
WO (1) WO2016002318A1 (ko)

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6474278B2 (ja) * 2015-02-27 2019-02-27 株式会社ソニー・インタラクティブエンタテインメント 画像生成システム、画像生成方法、プログラム及び情報記憶媒体
WO2016195733A1 (en) * 2015-06-01 2016-12-08 Thomson Licensing Reactive animation for virtual reality
US10222619B2 (en) * 2015-07-12 2019-03-05 Steven Sounyoung Yu Head-worn image display apparatus for stereoscopic microsurgery
JPWO2017064926A1 (ja) * 2015-10-15 2018-08-02 ソニー株式会社 情報処理装置及び情報処理方法
RU2617557C1 (ru) * 2015-11-18 2017-04-25 Виталий Витальевич Аверьянов Способ воздействия на виртуальные объекты дополненной реальности
KR102499349B1 (ko) * 2016-03-21 2023-02-14 삼성전자주식회사 전방위 영상을 제공하는 전자 장치 및 방법
US10509469B2 (en) 2016-04-21 2019-12-17 Finch Technologies Ltd. Devices for controlling computers based on motions and positions of hands
US11182930B2 (en) 2016-05-02 2021-11-23 Waves Audio Ltd. Head tracking with adaptive reference
CN109643205B (zh) * 2016-05-02 2022-03-25 波音频有限公司 利用自适应参考的头部跟踪
US10238571B2 (en) 2016-06-22 2019-03-26 Toyota Motor Engineering & Manufacturing North America, Inc. Vision-assist devices and methods of calibrating image data of a vision-assist device
US20180012377A1 (en) * 2016-07-08 2018-01-11 Toyota Motor Engineering & Manufacturing North America, Inc. Vision-assist devices and methods of calibrating vision-assist devices
US11172005B2 (en) * 2016-09-09 2021-11-09 Nokia Technologies Oy Method and apparatus for controlled observation point and orientation selection audiovisual content
US10708569B2 (en) * 2016-09-29 2020-07-07 Eric Wilson Turbine-Powered Pool Scrubber
US10438389B2 (en) * 2016-11-07 2019-10-08 Htc Corporation Method, device, and non-transitory computer readable storage medium for displaying virtual reality or augmented reality environment according to a viewing angle
JP2018082308A (ja) 2016-11-16 2018-05-24 ソニー株式会社 情報処理装置、方法及びプログラム
US10969861B2 (en) * 2017-02-23 2021-04-06 Sony Corporation Image processing device, image processing method, and image system
WO2018183405A1 (en) 2017-03-27 2018-10-04 Avegant Corp. Steerable foveal display
CN107145706B (zh) * 2017-03-30 2020-09-18 重庆爱奇艺智能科技有限公司 虚拟现实vr设备融合算法性能参数的评估方法及装置
US10705113B2 (en) 2017-04-28 2020-07-07 Finch Technologies Ltd. Calibration of inertial measurement units attached to arms of a user to generate inputs for computer systems
US11112857B2 (en) 2017-04-28 2021-09-07 Sony Interactive Entertainment Inc. Information processing apparatus, information processing method, and program
US10540006B2 (en) * 2017-05-16 2020-01-21 Finch Technologies Ltd. Tracking torso orientation to generate inputs for computer systems
US10379613B2 (en) 2017-05-16 2019-08-13 Finch Technologies Ltd. Tracking arm movements to generate inputs for computer systems
CN107368192B (zh) * 2017-07-18 2021-03-02 歌尔光学科技有限公司 Vr眼镜的实景观测方法及vr眼镜
WO2019026598A1 (ja) * 2017-07-31 2019-02-07 ソニー株式会社 画像処理装置、画像処理方法、プログラム、および遠隔コミュニケーションシステム
JP2019040555A (ja) * 2017-08-29 2019-03-14 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10628958B2 (en) * 2017-09-05 2020-04-21 Htc Corporation Frame rendering apparatus, method and non-transitory computer readable storage medium
GB2567164A (en) * 2017-10-04 2019-04-10 Continental Automotive Gmbh Display system in a vehicle
US11303814B2 (en) * 2017-11-09 2022-04-12 Qualcomm Incorporated Systems and methods for controlling a field of view
JP7073702B2 (ja) * 2017-12-11 2022-05-24 富士フイルムビジネスイノベーション株式会社 情報処理装置及び情報処理プログラム
US10521011B2 (en) 2017-12-19 2019-12-31 Finch Technologies Ltd. Calibration of inertial measurement units attached to arms of a user and to a head mounted device
US10509464B2 (en) * 2018-01-08 2019-12-17 Finch Technologies Ltd. Tracking torso leaning to generate inputs for computer systems
US11016116B2 (en) 2018-01-11 2021-05-25 Finch Technologies Ltd. Correction of accumulated errors in inertial measurement units attached to a user
CN111937045A (zh) 2018-03-30 2020-11-13 索尼公司 信息处理装置、信息处理方法和记录介质
US10416755B1 (en) 2018-06-01 2019-09-17 Finch Technologies Ltd. Motion predictions of overlapping kinematic chains of a skeleton model used to control a computer system
US11474593B2 (en) 2018-05-07 2022-10-18 Finch Technologies Ltd. Tracking user movements to control a skeleton model in a computer system
JP6506454B1 (ja) * 2018-06-14 2019-04-24 株式会社バーチャルキャスト データ差し替え装置、端末、およびデータ差し替えプログラム
US11009941B2 (en) 2018-07-25 2021-05-18 Finch Technologies Ltd. Calibration of measurement units in alignment with a skeleton model to control a computer system
WO2020026380A1 (ja) * 2018-08-01 2020-02-06 楽天株式会社 表示装置、表示方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
WO2020026825A1 (ja) * 2018-08-01 2020-02-06 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び、移動体
JP7168207B2 (ja) * 2018-10-29 2022-11-09 Ｎｅｃソリューションイノベータ株式会社 情報処理装置、情報処理方法、及びプログラム
JP6975347B2 (ja) * 2018-10-31 2021-12-01 株式会社ソニー・インタラクティブエンタテインメント トラッカーのキャリブレーション装置、トラッカーのキャリブレーション方法及びプログラム
EP3891546A4 (en) 2018-12-07 2022-08-24 Avegant Corp. STEERING POSITIONING ELEMENT
CN113412442A (zh) 2019-01-07 2021-09-17 阿维甘特公司 控制系统和渲染管道
JP7048520B2 (ja) * 2019-01-31 2022-04-05 株式会社日立製作所 頭部装着型表示装置および仮想空間表示制御方法
CN113348428A (zh) 2019-02-01 2021-09-03 麦克赛尔株式会社 虚拟对象显示装置以及虚拟对象显示方法
JP2022059098A (ja) * 2019-02-20 2022-04-13 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
JP7111645B2 (ja) * 2019-03-28 2022-08-02 株式会社バーチャルキャスト 制御プログラム
US11126001B2 (en) * 2019-03-29 2021-09-21 Sony Interactive Entertainment Inc. Image generating apparatus, head-mounted display, content processing system and image displaying method
KR102649783B1 (ko) 2019-03-29 2024-03-20 아브간트 코포레이션 도파관을 사용한 조향 가능한 하이브리드 디스플레이
WO2020213088A1 (ja) * 2019-04-17 2020-10-22 楽天株式会社 表示制御装置、表示制御方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
CN109976535B (zh) * 2019-05-05 2022-12-02 北京七鑫易维信息技术有限公司 一种校准方法、装置、设备及存储介质
WO2020255384A1 (ja) * 2019-06-21 2020-12-24 マクセル株式会社 ヘッドマウントディスプレイ装置
US10809797B1 (en) 2019-08-07 2020-10-20 Finch Technologies Ltd. Calibration of multiple sensor modules related to an orientation of a user of the sensor modules
JPWO2021040010A1 (ko) * 2019-08-30 2021-03-04
US20230007232A1 (en) 2019-12-18 2023-01-05 Sony Group Corporation Information processing device and information processing method
CN114930226A (zh) 2020-01-06 2022-08-19 阿维甘特公司 具有颜色特定调制的头戴式系统
KR20210103880A (ko) 2020-02-14 2021-08-24 엘지전자 주식회사 컨텐트 제공 방법 및 디바이스
CN111694429B (zh) * 2020-06-08 2023-06-02 北京百度网讯科技有限公司 虚拟对象驱动方法、装置、电子设备及可读存储
KR102437276B1 (ko) * 2020-10-15 2022-08-30 (주)이머시브캐스트 바디 움직임 기반의 클라우드 vr 장치 및 방법
GB2607151A (en) * 2021-03-12 2022-11-30 Canon Kk Wearable image pickup apparatus, portable device and calibrator that communicate with image pickup apparatus, control methods therefor, and storage media
GB2611154A (en) 2021-07-29 2023-03-29 Canon Kk Image pickup apparatus used as action camera, control method therefor, and storage medium storing control program therefor
KR20230019016A (ko) * 2021-07-30 2023-02-07 캐논 가부시끼가이샤 액션 카메라로서 사용되는 촬상장치
GB2611157A (en) 2021-07-30 2023-03-29 Canon Kk Image pickup apparatus used as action camera, calibration system, control method for image pickup apparatus, and storage medium storing control program for...
US20230418371A1 (en) * 2022-06-24 2023-12-28 Apple Inc. Controlling a Device Setting Using Head Pose

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001208529A (ja) * 2000-01-26 2001-08-03 Mixed Reality Systems Laboratory Inc 計測装置及びその制御方法並びに記憶媒体

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2109336C1 (ru) * 1995-07-14 1998-04-20 Нурахмед Нурисламович Латыпов Способ погружения пользователя в виртуальную реальность и устройство для его реализации
JPH09106322A (ja) 1995-10-09 1997-04-22 Data Tec:Kk ヘッドマウントディスプレイにおける姿勢角検出装置
US6118888A (en) * 1997-02-28 2000-09-12 Kabushiki Kaisha Toshiba Multi-modal interface apparatus and method
JP3848092B2 (ja) * 2001-03-13 2006-11-22 キヤノン株式会社 画像処理装置及び方法、並びにプログラム
US20080091373A1 (en) * 2006-07-31 2008-04-17 University Of New Brunswick Method for calibrating sensor positions in a human movement measurement and analysis system
KR101483713B1 (ko) * 2008-06-30 2015-01-16 삼성전자 주식회사 모션 캡쳐 장치 및 모션 캡쳐 방법
JP2010256534A (ja) 2009-04-23 2010-11-11 Fujifilm Corp 全方位画像表示用ヘッドマウントディスプレイ装置
JP5499762B2 (ja) * 2010-02-24 2014-05-21 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び画像処理システム
US9366862B2 (en) * 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
JP2012141461A (ja) 2010-12-29 2012-07-26 Sony Corp ヘッド・マウント・ディスプレイ
KR101214227B1 (ko) * 2011-05-25 2012-12-20 한국과학기술연구원 동작 추적 방법.
JP2013083731A (ja) * 2011-10-06 2013-05-09 Murata Mach Ltd 画像表示システム
JP6143469B2 (ja) * 2013-01-17 2017-06-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
CN105593924B (zh) 2013-12-25 2019-06-07 索尼公司 图像处理装置、图像处理方法、计算机程序以及图像显示系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001208529A (ja) * 2000-01-26 2001-08-03 Mixed Reality Systems Laboratory Inc 計測装置及びその制御方法並びに記憶媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
G.Bruder et. al., "Implementing Walking in Virtual Environments," Article, pp. 221-240, 2013.

Also Published As

Publication number Publication date
JP6572893B2 (ja) 2019-09-11
US20170083084A1 (en) 2017-03-23
EP3163422B1 (en) 2020-02-12
CN106415447B (zh) 2019-08-06
WO2016002318A1 (ja) 2016-01-07
EP3163422A4 (en) 2018-03-07
US10310595B2 (en) 2019-06-04
CN106415447A (zh) 2017-02-15
KR20170028313A (ko) 2017-03-13
EP3163422A1 (en) 2017-05-03
JPWO2016002318A1 (ja) 2017-04-27

Similar Documents

Publication Publication Date Title
KR102420313B1 (ko) 정보 처리 장치 및 정보 처리 방법, 컴퓨터 프로그램, 그리고 화상 처리 시스템
CA2928248C (en) Image display device and image display method, image output device and image output method, and image display system
US10304247B2 (en) Third party holographic portal
JP6462059B1 (ja) 情報処理方法、情報処理プログラム、情報処理システム、および情報処理装置
WO2017094607A1 (ja) 表示制御装置及び表示制御方法
US11373379B2 (en) Image generation apparatus and image generation method for generating augmented reality images based on user interaction
US11210520B2 (en) Method and device for presenting synthesized reality content in association with recognized objects
JP2015125502A (ja) 画像処理装置及び画像処理方法、表示装置及び表示方法、コンピューター・プログラム、並びに画像表示システム
JP2020024417A (ja) 情報処理装置
WO2019150880A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US10564801B2 (en) Method for communicating via virtual space and information processing apparatus for executing the method
JP6223614B1 (ja) 情報処理方法、情報処理プログラム、情報処理システム及び情報処理装置
US11187895B2 (en) Content generation apparatus and method
US20210058611A1 (en) Multiviewing virtual reality user interface
US11125997B2 (en) Information processing apparatus, information processing method, and program
US20210056749A1 (en) Method and device for tailoring a synthesized reality experience to a physical setting
JP6289703B1 (ja) 情報処理方法、情報処理プログラム、情報処理システム及び情報処理装置
JP6999538B2 (ja) 情報処理方法、情報処理プログラム、情報処理システム、および情報処理装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right