KR20230080512A - 정보 처리 장치 및 방법, 및 프로그램 - Google Patents

정보 처리 장치 및 방법, 및 프로그램 Download PDF

Info

Publication number
KR20230080512A
KR20230080512A KR1020237018363A KR20237018363A KR20230080512A KR 20230080512 A KR20230080512 A KR 20230080512A KR 1020237018363 A KR1020237018363 A KR 1020237018363A KR 20237018363 A KR20237018363 A KR 20237018363A KR 20230080512 A KR20230080512 A KR 20230080512A
Authority
KR
South Korea
Prior art keywords
information
screen
remapping
offset
angle
Prior art date
Application number
KR1020237018363A
Other languages
English (en)
Inventor
미노루 츠지
도루 치넨
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20230080512A publication Critical patent/KR20230080512A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/008—Visual indication of individual signal levels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/02—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40—Visual indication of stereophonic sound image
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Television Signal Processing For Recording (AREA)
  • Stereophonic System (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 기술은, 적절한 리맵핑을 행할 수 있도록 하는 정보 처리 장치 및 방법, 및 프로그램에 관한 것이다. 오프셋 각 산출부는, 유저의 정면 방향의 기준 위치로부터의 레퍼런스 스크린의 위치 오프셋 양을 산출하고, 위치 정보 보정부는, 오프셋 양에 기초하여, 기준 위치를 기준으로 한 오디오 오브젝트의 위치를, 레퍼런스 스크린의 위치에 맞춰서 보정한다. 또한, 오브젝트 리맵핑부는, 보정된 오디오 오브젝트의 위치에 기초하여, 재생 스크린의 위치에 맞춰서 오디오 오브젝트의 위치를 리맵핑한다. 본 기술은 정보 처리 장치에 적용할 수 있다.

Description

정보 처리 장치 및 방법, 및 프로그램{INFORMATION PROCESSING APPARATUS AND METHOD, AND PROGRAM}
본 기술은 정보 처리 장치 및 방법, 그리고 프로그램에 관한 것으로, 특히 적절한 리맵핑을 행할 수 있도록 한 정보 처리 장치 및 방법, 그리고 프로그램에 관한 것이다.
종래, ISO/IEC 23008-3 "3D Audio" 규격에 있어서, Screen-Related Object Element Remapping 기술이 채용되고 있다(예를 들어, 비특허문헌 1 참조).
이 기술에서는, 오브젝트 오디오의 렌더링 재생에 있어서, 기준이 되는 레퍼런스 스크린의 위치 및 크기를 나타내는 레퍼런스 스크린 정보와, 실제로 재생하는 재생 스크린의 위치 및 크기를 나타내는 재생 스크린 정보에 따라, 오디오 오브젝트의 위치가 리맵핑(재배치)된다. 이에 의해, 예를 들어 레퍼런스 스크린 상의 오브젝트가 동일 위치 관계에서 재생 스크린 상에 표시되는 영상 재생을 행하는 경우에, 재생 스크린 상의 오브젝트와 동일 위치에, 그것들 오브젝트의 음상을 정위시킬 수 있다.
그런데, 상술한 기술에서는 레퍼런스 스크린의 중심 위치가 재생 공간의 유저 정면에 위치하고 있을 것이 전제가 되고 있다. 그러나, 예를 들어 360°의 전 방위의 화상을 표시하는 전 천구 화상을 재생할 때나, 화상 전체의 일부분을 줌 재생할 때 등, 경우에 따라서는 레퍼런스 스크린의 중심 위치가 반드시 유저의 정면의 위치로 되지는 않는 경우도 있다.
그러한 경우, 상술한 기술에 의해 오디오 오브젝트의 위치를 리맵핑하면, 리맵핑 후의 위치에 왜곡이 발생해 버린다. 즉, 재생 스크린 밖에 있는 오디오 오브젝트의 위치 관계에 왜곡이 발생해 버려, 적절한 리맵핑을 실현할 수 없게 되어 버린다.
본 기술은, 이러한 상황을 감안하여 이루어진 것이고, 적절한 리맵핑을 행할 수 있도록 하는 것이다.
본 기술의 일측면의 정보 처리 장치는, 유저의 정면 방향의 기준 위치로부터의 레퍼런스 스크린의 위치 오프셋 양을 산출하는 오프셋 산출부와, 상기 오프셋 양에 기초하여, 상기 기준 위치를 기준으로 한 오디오 오브젝트의 위치를, 상기 레퍼런스 스크린의 위치에 맞춰서 보정하는 위치 보정부와, 보정된 상기 오디오 오브젝트의 위치에 기초하여, 재생 스크린의 위치에 맞춰서 상기 오디오 오브젝트의 위치를 리맵핑하는 리맵핑부를 구비한다.
상기 오프셋 산출부에는, 상기 레퍼런스 스크린이 상기 유저의 배면 방향에 위치하는 경우, 소정의 보정값으로 상기 오프셋 양을 보정시킬 수 있다.
상기 위치 보정부에는, 상기 오디오 오브젝트의 위치를 나타내는 정보의 값 영역이 소정 범위의 값 영역이 되도록 정해져 있는 경우, 상기 오디오 오브젝트의 위치 보정 시의 보정값을 조정시킬 수 있다.
상기 위치 보정부에는, 상기 오프셋 양에 기초하여, 상기 레퍼런스 스크린의 위치를 보정시키고, 상기 리맵핑부에는, 보정된 상기 레퍼런스 스크린의 위치 및 보정된 상기 오디오 오브젝트의 위치에 기초하여, 상기 오디오 오브젝트의 위치를 리맵핑시킬 수 있다.
본 기술의 일측면의 정보 처리 방법 또는 프로그램은, 유저의 정면 방향의 기준 위치로부터의 레퍼런스 스크린의 위치 오프셋 양을 산출하고, 상기 오프셋 양에 기초하여, 상기 기준 위치를 기준으로 한 오디오 오브젝트의 위치를, 상기 레퍼런스 스크린의 위치에 맞춰서 보정하고, 보정된 상기 오디오 오브젝트의 위치에 기초하여, 재생 스크린의 위치에 맞춰서 상기 오디오 오브젝트의 위치를 리맵핑하는 스텝을 포함한다.
본 기술의 일측면에 있어서는, 유저의 정면 방향의 기준 위치로부터의 레퍼런스 스크린의 위치 오프셋 양이 산출되고, 상기 오프셋 양에 기초하여, 상기 기준 위치를 기준으로 한 오디오 오브젝트의 위치가, 상기 레퍼런스 스크린의 위치에 맞춰서 보정되고, 보정된 상기 오디오 오브젝트의 위치에 기초하여, 재생 스크린의 위치에 맞춰서 상기 오디오 오브젝트의 위치가 리맵핑된다.
본 기술의 일측면에 의하면, 적절한 리맵핑을 행할 수 있다.
또한, 여기에 기재된 효과는 반드시 한정되는 것은 아니고, 본 개시 중에 기재된 어느 효과여도 된다.
도 1은, 리맵핑 전후의 오브젝트의 위치 관계를 도시하는 도면이다.
도 2는, 레퍼런스 스크린 정보, 오브젝트 위치 정보 및 재생 스크린 정보의 예를 도시하는 도면이다.
도 3은, 리맵핑에 의한 수평 방향 위치의 변화에 대하여 설명하는 도면이다.
도 4는, 리맵핑 후의 오브젝트 위치 정보의 예를 나타내는 도면이다.
도 5는, 레퍼런스 스크린 정보, 오브젝트 위치 정보 및 재생 스크린 정보의 예를 나타내는 도면이다.
도 6은, 리맵핑 후의 오브젝트 위치 정보의 예를 나타내는 도면이다.
도 7은, 리맵핑 전후의 오브젝트의 위치 관계를 도시하는 도면이다.
도 8은, 정보 처리 장치의 구성예를 도시하는 도면이다.
도 9는, 리맵핑 후의 오브젝트 위치 정보의 예를 나타내는 도면이다.
도 10은, 리맵핑 전후의 오브젝트의 위치 관계를 도시하는 도면이다.
도 11은, 리맵핑 처리를 설명하는 흐름도이다.
도 12는, 레퍼런스 스크린 정보, 오브젝트 위치 정보 및 재생 스크린 정보의 예를 나타내는 도면이다.
도 13은, 리맵핑 후의 오브젝트 위치 정보의 예를 나타내는 도면이다.
도 14는, 리맵핑 전후의 오브젝트의 위치 관계를 도시하는 도면이다.
도 15는, 레퍼런스 스크린 정보, 오브젝트 위치 정보 및 재생 스크린 정보의 예를 나타내는 도면이다.
도 16은, 리맵핑 후의 오브젝트 위치 정보의 예를 나타내는 도면이다.
도 17은, 리맵핑 전후의 오브젝트의 위치 관계를 도시하는 도면이다.
도 18은, 정보 처리 장치의 구성예를 도시하는 도면이다.
도 19는, 리맵핑 처리를 설명하는 흐름도이다.
도 20은, 컴퓨터의 구성예를 도시하는 도면이다.
이하, 도면을 참조하여, 본 기술을 적용한 실시 형태에 대하여 설명한다.
<제1 실시 형태>
<리맵핑에 대해서>
본 기술은, 오디오 오브젝트의 오디오 신호와, 그 오디오 오브젝트의 위치를 나타내는 오브젝트 위치 정보 등의 메타데이터를 취득하여 오디오 재생을 행하는 경우에, 적절한 리맵핑을 행할 수 있도록 하는 것이다. 또한, 이하에서는, 오디오 오브젝트를 간단히 오브젝트라고도 칭하기로 한다.
예를 들어 콘텐츠를 재생하는 경우, 콘텐츠 재생측에는 동화상과, 그 동화상에 부수되는 음성을 포함하는 콘텐츠를 재생하기 위한 비트 스트림이 입력된다. 이 비트 스트림은, 예를 들어 동화상을 재생하기 위한 비디오 신호와, 각 오브젝트의 음성을 재생하기 위한 오디오 신호와, 각 오브젝트의 메타데이터나, 기준이 되는 레퍼런스 스크린의 위치 및 크기를 나타내는 레퍼런스 스크린 정보 등의 각종 정보를 다중화하여 얻어진 것으로 되어 있다. 또한, 메타데이터에는, 적어도 재생 공간에 있어서의 오브젝트의 위치를 나타내는 오브젝트 위치 정보가 포함되어 있다.
또한, 콘텐츠 재생측에 대해서는, 실제로 콘텐츠의 재생에 사용하는 스크린인 재생 스크린(표시 화면)의 재생 공간에 있어서의 위치 및 크기를 나타내는 재생 스크린 정보가 부여된다. 그리고, 콘텐츠 재생 시에는, 레퍼런스 스크린 정보와 재생 스크린 정보에 기초하여, 오브젝트 위치 정보로 나타낸 오브젝트의 위치 리맵핑이 행해진다.
구체적으로는, 예를 들어 도 1에 도시한 바와 같이 오브젝트 위치의 리맵핑이 행해진다.
화살표 A11에 도시한 바와 같이, 재생 공간의 원점 O의 위치에 있는 가상적인 유저 U11을 둘러싸도록 6개의 오브젝트 OBJ1 내지 오브젝트 OBJ6이 배치되어 있다고 하자. 여기서, 오브젝트 OBJ1 내지 오브젝트 OBJ6은, 메타데이터에 포함되는 오브젝트 위치 정보로 나타낸 재생 공간 상의 위치에 배치되어 있다.
또한, 기준이 되는 스크린으로서 레퍼런스 스크린 RSC11이 레퍼런스 스크린 정보에 의해 정의되고 있고, 이 예에서는 레퍼런스 스크린 RSC11은, 유저 U11의 정면 방향에 위치하고 있다. 또한, 유저 U11은 레퍼런스 스크린 RSC11이 있는 방향, 즉 정면 방향을 향하고 있다고 하자.
이들 오브젝트 OBJ1 내지 오브젝트 OBJ6이나, 레퍼런스 스크린 RSC11의 배치 위치는, 화살표 A11에 도시하는 도면에 있어서의 도면 중, 위에서 아래 방향으로 보면, 화살표 A12로 나타낸 배치로 되어 있다.
이 예에서는, 특히 오브젝트 OBJ1과 오브젝트 OBJ2가 레퍼런스 스크린 RSC11 내에 위치하고 있다. 또한, 유저 U11에서 보아서 오브젝트 OBJ1, 오브젝트 OBJ3 및 오브젝트 OBJ5와, 오브젝트 OBJ2, 오브젝트 OBJ4 및 오브젝트 OBJ6이 수평 방향에 있어서 좌우 대칭으로 배치되어 있다.
따라서, 가령 레퍼런스 스크린 RSC11에서 콘텐츠를 구성하는 동화상을 재생하는 경우에는, 레퍼런스 스크린 RSC11 상에는 6개의 오브젝트 중, 오브젝트 OBJ1과 오브젝트 OBJ2만이 표시되게 된다.
이제, 화살표 A12에 도시하는 도면에 있어서, 유저 U11에서 보아서 정면 방향, 즉 도면 중, 상측 방향을 x축의 정의 방향으로 하고, 유저 U11에서 보아서 우측 방향을 y축의 정의 방향으로 하고, 유저 U11에서 보아서 바로 위 방향, 즉 도면 중, 전방측의 방향을 z축의 정의 방향으로 한다.
또한, 원점 O를 원점으로 하고, 이들의 x축, y축 및 z축을 포함하는 3차원 좌표계를 xyz 좌표계라 한다. 또한, 원점 O를 중심으로 하고, 원점 O로부터의 소정의 거리 r(이하, 반경 r이라고도 칭함)을 반경으로 하는 단위 구면 상에 각 오브젝트나 레퍼런스 스크린 RSC11이 배치되어 있다고 하자. 여기서, 예를 들어 반경 r은 1 등으로 하기로 한다.
이러한 경우에, 오브젝트 위치 정보나 레퍼런스 스크린 정보로 나타낸 위치는, xy 평면에 있어서의 x축과의 이루는 각도인 수평 방향 각도 Azimuth 및 xz 평면에 있어서의 x축과의 이루는 각도인 수직 방향 각도 Elevation에 의해 표시된다고 하자. 또한, 보다 상세하게는, 수직 방향 각도 Elevation은, 오브젝트 등의 대상이 되는 위치 및 원점 O를 연결하는 직선과 xy 평면과의 이루는 각도이다. 또한, 재생 스크린 정보로 나타낸 위치도, 수평 방향 각도 Azimuth 및 수직 방향 각도 Elevation에 의해 표시된다고 하자.
여기서, 수평 방향 각도 Azimuth는, x축의 정의 방향이 수평 방향 각도 Azimuth=0°가 되고, 화살표 A12에 도시하는 도면에 있어서 시계 방향의 방향이 수평 방향 각도 Azimuth의 부의 방향으로 되고, 반시계 방향의 방향이 수평 방향 각도 Azimuth의 정의 방향으로 되어 있다. 또한, -180°≤Azimuth≤180°이다.
따라서, 예를 들어 y축의 정의 방향이 수평 방향 각도 Azimuth=-90°가 되고, x축의 부의 방향이 수평 방향 각도 Azimuth=-180°=180°가 된다.
수직 방향 각도 Elevation은 x축의 방향, 즉 xy 평면의 위치가 수직 방향 각도 Elevation=0°가 되고, xy 평면으로부터 z축의 정의 방향으로 향하는 회전 방향이 수직 방향 각도 Elevation의 정의 방향으로 되고, z축의 부의 방향으로 향하는 회전 방향이 수직 방향 각도 Elevation의 부의 방향으로 된다. 또한, -90°≤Elevation≤90°이다.
따라서, 예를 들어 z축의 정의 방향이 수직 방향 각도 Elevation=90°가 되고, z축의 부의 방향이 수직 방향 각도 Elevation=-90°가 된다.
또한, 이하에서는 x축의 정의 방향측에 있어서의 단위 구와 x축과의 교점 위치를, 재생 공간에 있어서의 기준 위치라고 칭하기로 한다. 즉, 기준 위치는 수평 방향 각도 Azimuth=0°, 수직 방향 각도 Elevation=0°, 및 반경 r=1이 되는 위치이고, 재생 공간에 위치하는 유저 U11의 바로 정면 방향의 위치이다.
이렇게 오브젝트 위치 정보, 레퍼런스 스크린 정보 및 재생 스크린 정보가, 수평 방향 각도 Azimuth 및 수직 방향 각도 Elevation에 의해 기술된다고 하자. 이 경우, 이들 오브젝트 위치 정보, 레퍼런스 스크린 정보 및 재생 스크린 정보에 기초하여 리맵핑이 행해지면, 예를 들어 화살표 A13 및 화살표 A14에 도시하는 바와 같이 재생 공간에 있어서의 각 오브젝트의 배치 위치가 변경된다.
이 예에서는, 오브젝트 OBJ1 내지 오브젝트 OBJ6이, 실제로 재생에 사용되는 재생 스크린 PSC11에 맞춰서 재배치되어 있다.
즉, 재생 스크린 PSC11 상에는, 레퍼런스 스크린 RSC11 상에 위치하고 있던 오브젝트 OBJ1과 오브젝트 OBJ2가, 레퍼런스 스크린 RSC11 상에 있어서의 경우와 동일 위치 관계로 배치되어 있다.
또한, 이 예에서는, 레퍼런스 스크린 RSC11 및 재생 스크린 PSC11의 중심 위치는 모두 기준 위치에 위치하고 있다.
또한, 각 오브젝트는, 리맵핑 전과 상대적으로 대략 동일 위치 관계에서 배치되어 있고, 유저 U11에서 보아서 오브젝트 OBJ1, 오브젝트 OBJ3 및 오브젝트 OBJ5와, 오브젝트 OBJ2, 오브젝트 OBJ4 및 오브젝트 OBJ6이 수평 방향에 있어서 좌우 대칭으로 배치되어 있다.
이러한 리맵핑에 의하면, 레퍼런스 스크린 RSC11에 맞춰서 배치되어 있던 각 오브젝트를, 실제로 재생에 사용하는 재생 스크린 PSC11에 맞춘 위치에 재배치할 수 있다. 그 결과, 예를 들어 콘텐츠 재생 시에 있어서, 재생 스크린 PSC11 상에 표시된 오브젝트의 방향으로부터, 그 오브젝트의 음성이 들려오도록 할 수 있다. 또한, 재생 스크린 PSC11 상에 표시되어 있지 않은 오브젝트에 대해서도, 적절한 방향으로부터 그 오브젝트의 음성이 들려오도록 할 수 있다. 이에 의해, 적절한 오디오 재생을 실현할 수 있다.
여기서, 일반적인 Screen-Related Object Element Remapping 기술에 의해 행해지는 리맵핑에 대해서, 도 1에 도시한 6개의 오브젝트를 예로서 더욱 상세하게 설명한다.
예를 들어 레퍼런스 스크린 RSC11의 레퍼런스 스크린 정보, 오브젝트 OBJ1 내지 오브젝트 OBJ6의 오브젝트 위치 정보 및 재생 스크린 PSC11의 재생 스크린 정보로서 도 2에 도시하는 정보가 부여되었다고 하자.
도 2에서는, 화살표 Q11로 나타낸 부분에는, 레퍼런스 스크린 정보 및 오브젝트 위치 정보가 나타나 있고, 화살표 Q12로 나타낸 부분에는 재생 스크린 정보가 나타나 있다. 또한, 각 정보의 도면 중, 우측의 란에는, 수평 방향 각도 Azimuth 또는 수직 방향 각도 Elevation의 수치가 기재되어 있다.
이 예에서는, 레퍼런스 스크린 정보는, 레퍼런스 스크린 RSC11의 위치 및 크기, 즉 레퍼런스 스크린 RSC11의 상하 좌우의 단 위치를 나타내는 정보로 되어 있다.
구체적으로는, 레퍼런스 스크린 정보의 란에 있어서의 문자 「Azimuth 좌단」 및 「Azimuth 우단」은, 각각 레퍼런스 스크린 RSC11의 도 1 중, 좌측의 단 및 우측의 단 위치를 나타내고 있고, 그것들의 위치를 나타내는 수평 방향 각도 Azimuth는 「29.0」 및 「-29.0」로 되어 있다. 이하에서는, 레퍼런스 스크린 RSC11의 도 1 중, 좌측의 끝 및 우측의 끝을, 레퍼런스 스크린 RSC11의 좌단 및 우단이라고도 칭하기로 한다.
또한, 레퍼런스 스크린 정보의 란에 있어서의 문자 「Elevation 상단」 및 「Elevation 하단」는, 각각 레퍼런스 스크린 RSC11의 도 1 중, 상측의 단부 및 하측의 단부 위치를 나타내고 있고, 그것들의 위치를 나타내는 수직 방향 각도 Elevation은 「17.5」 및 「-17.5」로 되어 있다. 이하에서는, 레퍼런스 스크린 RSC11의 도 1 중, 상측의 끝 및 하측의 끝을, 레퍼런스 스크린 RSC11의 상단 및 하단이라고도 칭하기로 한다.
또한, 화살표 Q11에 의해 나타내는 부분에는 오브젝트 OBJ1 내지 오브젝트 OBJ6의 각 오브젝트의 오브젝트 위치 정보가 나타나 있다. 구체적으로는, 「OBJ1」 내지 「OBJ6」의 각각의 란에는, 오브젝트 OBJ1 내지 오브젝트 OBJ6의 각각의 위치가 적혀 있다.
예를 들어 문자 「OBJ1」이 기재된 오브젝트 OBJ1의 란에서는, 문자 「Azimuth」 및 「Elevation」은, 각각 오브젝트 OBJ1의 수평 방향 및 수직 방향의 위치를 나타내고 있고, 그것들의 위치를 나타내는 수평 방향 각도 Azimuth 및 수직 방향 각도 Elevation은, 각각 「20.0」 및 「10.0」으로 되어 있다.
또한, 화살표 Q12에 의해 나타내는 부분에는 재생 스크린 정보가 나타나 있다.
이 예에서는, 재생 스크린 정보는, 재생 스크린 PSC11의 위치 및 크기, 즉 재생 스크린 PSC11의 상하 좌우의 단부 위치를 나타내는 정보로 되어 있다.
구체적으로는, 재생 스크린 정보의 란에 있어서의 문자 「Azimuth 좌단」 및 「Azimuth 우단」는, 각각 재생 스크린 PSC11의 도 1 중, 좌측의 단부 및 우측의 단부 위치를 나타내고 있고, 그것들의 위치를 나타내는 수평 방향 각도 Azimuth는 「14.5」 및 「-14.5」로 되어 있다. 이하에서는, 재생 스크린 PSC11의 도 1 중, 좌측의 끝 및 우측의 끝을, 재생 스크린 PSC11의 좌단 및 우단이라고도 칭하기로 한다.
또한, 재생 스크린 정보의 란에 있어서의 문자 「Elevation 상단」 및 「Elevation 하단」는, 각각 재생 스크린 PSC11의 도 1 중, 상측의 끝 및 하측의 끝의 위치를 나타내고 있고, 그것들의 위치를 나타내는 수직 방향 각도 Elevation은 「8.5」 및 「-8.5」로 되어 있다. 이하에서는, 재생 스크린 PSC11의 도 1 중, 상측의 끝 및 하측의 끝을, 재생 스크린 PSC11의 상단 및 하단이라고도 칭하기로 한다.
화살표 Q12에 나타내는 재생 스크린 정보로부터, 재생 스크린 PSC11은, 레퍼런스 스크린 RSC11의 대략 절반 크기의 스크린(표시 화면)인 것을 알 수 있다.
이러한 레퍼런스 스크린 정보, 오브젝트 위치 정보 및 재생 스크린 정보가 부여되면, 일반적인 Screen-Related Object Element Remapping 기술에서는, 다음 식 (1) 및 식 (2)의 계산이 행하여져, 리맵핑 후의 각 오브젝트의 위치가 산출된다.
Figure pat00001
Figure pat00002
또한, 식 (1)에 있어서, φ는 오브젝트의 리맵핑 전의 수평 방향 위치, 즉 오브젝트 위치 정보에 포함되는 수평 방향 각도 Azimuth를 나타내고 있고, φ'은 오브젝트의 리맵핑 후의 수평 방향 위치를 나타내는 수평 방향 각도 Azimuth를 나타내고 있다.
또한, 식 (1)에 있어서 φleft nominal 및 φright nominal은, 레퍼런스 스크린 RSC11의 좌단 및 우단의 수평 방향 위치를 나타내는 수평 방향 각도 Azimuth를 나타내고 있고, φleft repro 및 φright repro는, 재생 스크린 PSC11의 좌단 및 우단의 수평 방향 위치를 나타내는 수평 방향 각도 Azimuth를 나타내고 있다.
식 (2)에 있어서, θ는 오브젝트의 리맵핑 전의 수직 방향 위치, 즉 오브젝트 위치 정보에 포함되는 수직 방향 각도 Elevation을 나타내고 있고, θ'은 오브젝트의 리맵핑 후의 수직 방향 위치를 나타내는 수직 방향 각도 Elevation을 나타내고 있다.
또한, 식 (2)에 있어서 θtop nominal 및 θbottom nominal은, 레퍼런스 스크린 RSC11의 상단 및 하단의 수직 방향 위치를 나타내는 수직 방향 각도 Elevation을 나타내고 있고, θtop repro 및 θbottom repro는, 재생 스크린 PSC11의 상단 및 하단의 수직 방향 위치를 나타내는 수직 방향 각도 Elevation을 나타내고 있다.
상기의 식 (1)에 의해, 오브젝트의 리맵핑 후의 수평 방향 위치를 나타내는 수평 방향 각도 Azimuth가 산출되고, 식 (2)에 의해, 오브젝트의 리맵핑 후의 수직 방향 위치를 나타내는 수직 방향 각도 Elevation이 산출된다.
식 (1) 및 식 (2)의 계산에 의한 리맵핑에서는, 레퍼런스 스크린 RSC11 내의 오브젝트는, 그것들 오브젝트의 위치 관계가 유지된 채, 정확히 그것들 오브젝트가 재생 스크린 PSC11 내에 수렴되도록 리맵핑된다. 또한, 레퍼런스 스크린 RSC11 밖의 오브젝트는, 레퍼런스 스크린 RSC11과 재생 스크린 PSC11의 단부의 위치 관계에 따라서 리맵핑된다.
예를 들어 식 (1)의 계산에서는, 도 3에 도시한 바와 같이 수평 방향 위치가 리맵핑된다. 또한, 도 3에 있어서, 횡축은 오브젝트의 리맵핑 전의 수평 방향 각도 φ를 나타내고 있고, 종축은 오브젝트의 리맵핑 후의 수평 방향 각도 φ'을 나타내고 있다.
이 예에서는, 수평 방향 각도 φright nominal의 위치가 수평 방향 각도 φright repro의 위치에 리맵핑된다. 또한, 수평 방향 각도 φleft nominal의 위치가 수평 방향 각도 φleft repro의 위치에 리맵핑되어, 그것들의 수평 방향 각도 φright nominal의 위치와, 수평 방향 각도 φleft nominal의 위치 사이에 있는 위치는 선형으로 리맵핑된다.
수평 방향 각도 φ=-180°의 위치는, 리맵핑 후도 수평 방향 각도 φ'=-180°의 위치인 채로 되고, 수평 방향 각도 φ=-180°의 위치와, 수평 방향 각도 φright nominal의 위치 사이의 위치는 선형으로 리맵핑된다.
마찬가지로, 수평 방향 각도 φ=180°의 위치는, 리맵핑 후도 수평 방향 각도 φ'=180°의 위치인 채로 되고, 수평 방향 각도 φleft nominal의 위치와 수평 방향 각도 φ=180°의 위치 사이의 위치는 선형으로 리맵핑된다.
따라서, 도 2에 도시한 레퍼런스 스크린 정보, 오브젝트 위치 정보 및 재생 스크린 정보에 기초하여 식 (1) 및 식 (2)의 계산을 행하면, 리맵핑 후의 각 오브젝트의 위치로서, 도 4에 도시하는 위치가 얻어진다. 바꾸어 말하면, 리맵핑에 의해, 도 4에 도시하는 오브젝트 위치 정보가 얻어진다.
도 4에서는, 오브젝트 OBJ1 내지 오브젝트 OBJ6의 리맵핑 후의 오브젝트 위치 정보가 나타나 있다. 구체적으로는, 「OBJ1」 내지 「OBJ6」의 각각의 란에는, 오브젝트 OBJ1 내지 오브젝트 OBJ6의 각각의 위치가 적혀 있다.
예를 들어 문자 「OBJ1」이 기재된 오브젝트 OBJ1의 란에서는, 문자 「Azimuth」 및 「Elevation」은, 각각 리맵핑 후의 오브젝트 OBJ1의 수평 방향 및 수직 방향의 위치를 나타내고 있고, 그것들의 위치를 나타내는 수평 방향 각도 Azimuth 및 수직 방향 각도 Elevation은, 각각 「10.0」 및 「4.9」로 되어 있다.
이 오브젝트 OBJ1의 수평 방향 각도 Azimuth 「10.0」 및 수직 방향 각도 Elevation 「4.9」가, 각각 리맵핑 후의 오브젝트 OBJ1의 수평 방향 각도 φ' 및 수직 방향 각도 θ'을 나타내고 있다.
도 4에 도시되는 각 오브젝트의 위치에서 알 수 있는 바와 같이, 리맵핑 후에 있어서도 유저 U11에서 보아서 오브젝트 OBJ1, 오브젝트 OBJ3 및 오브젝트 OBJ5와, 오브젝트 OBJ2, 오브젝트 OBJ4 및 오브젝트 OBJ6은 수평 방향에 있어서 좌우 대칭으로 배치되어 있음을 알 수 있다. 즉, 적절하게 리맵핑이 행해졌음을 알 수 있다.
그런데, 일반적인 Screen-Related Object Element Remapping 기술에서는, 레퍼런스 스크린 RSC11은 유저 U11의 정면에 위치하고 있을 것, 즉 레퍼런스 스크린 RSC11의 중심 위치는 기준 위치에 있을 것이 전제로 되어 있다. 바꾸어 말하면, 레퍼런스 스크린 RSC11의 중심 위치가 기준 위치 이외의 위치에 있는 것은 상정되어 있지 않다.
그로 인해, 레퍼런스 스크린 RSC11의 중심 위치가 기준 위치 이외의 위치에 있는 경우에는, 통상대로 리맵핑을 행하면, 레퍼런스 스크린 RSC11 밖의 오브젝트 위치 관계에 왜곡이 발생해 버린다.
구체적으로는, 예를 들어 도 5에 도시하는 레퍼런스 스크린 정보, 오브젝트 위치 정보 및 재생 스크린 정보가 부여된 경우에, 식 (1) 및 식 (2)의 계산에 의해 리맵핑을 행하면, 리맵핑 후의 각 오브젝트의 오브젝트 위치 정보는 도 6에 나타내게 된다. 또한, 도 5 및 도 6은, 도 2 및 도 4에 대응하고 있고, 도 5 및 도 6에 있어서 도 2나 도 4와 동일한 부분에 대해서는 적절히 설명을 생략한다.
도 5에서는, 화살표 Q21에 의해 나타내는 부분에는, 레퍼런스 스크린 RSC11의 레퍼런스 스크린 정보 및 오브젝트 OBJ1 내지 오브젝트 OBJ6의 오브젝트 위치 정보가 나타나 있다.
이 예에서는, 레퍼런스 스크린 정보로 나타낸 레퍼런스 스크린 RSC11의 위치는, 도 2의 예에서 나타낸 위치를, 수평 방향 각도 Azimuth의 정의 방향으로 30°만큼 회전시킨 위치로 되어 있다. 즉, 도 2의 예에서는, 레퍼런스 스크린 RSC11의 중심 위치가 기준 위치였던 데 반해, 도 5에 도시하는 예에서는, 레퍼런스 스크린 RSC11의 중심 위치가 수평 방향 각도 Azimuth=30° 및 수직 방향 각도 Elevation=0°의 위치로 되어 있다.
마찬가지로, 도 5에 도시하는 예에서는, 오브젝트 위치 정보로 나타낸 각 오브젝트의 위치도, 도 2의 예에서 나타낸 동일한 오브젝트의 위치를, 수평 방향 각도 Azimuth의 정의 방향으로 30°만큼 회전시킨 위치로 되어 있다.
따라서, 도 2에 도시한 예와 도 5에 도시하는 예에서는, 모두 레퍼런스 스크린 RSC11 및 각 오브젝트의 상대적인 위치 관계는 동일하게 되어 있다.
또한, 화살표 Q22에 의해 나타내는 부분에는 재생 스크린 정보가 나타나 있고, 이 재생 스크린 정보는, 도 2에 도시한 재생 스크린 정보와 동일하게 되어 있다.
이러한 레퍼런스 스크린 정보, 오브젝트 위치 정보 및 재생 스크린 정보에 기초하는 리맵핑에 의해, 도 6에 나타내는 오브젝트 위치 정보가 얻어지지만, 이 오브젝트 위치 정보로부터 오브젝트의 위치 관계가 비대칭으로 되어 있음을 알 수 있다.
또한, 도 6에서는 「OBJ1」 내지 「OBJ6」의 각각의 란에는, 오브젝트 OBJ1 내지 오브젝트 OBJ6의 각각의 위치가 적혀 있다.
리맵핑 전에 있어서는, 원점 O와 레퍼런스 스크린 RSC11의 중심 위치를 연결하는 선분에 대하여 오브젝트 OBJ1, 오브젝트 OBJ3 및 오브젝트 OBJ5와, 오브젝트 OBJ2, 오브젝트 OBJ4 및 오브젝트 OBJ6은 수평 방향에 있어서 좌우 대칭으로 배치되어 있다.
한편으로 도 6에 나타내는 예에서는, 레퍼런스 스크린 RSC11 내에 배치되어 있던 오브젝트 OBJ1과 오브젝트 OBJ2에 대해서는, 수평 방향 각도 Azimuth로부터, 리맵핑 후에 있어서도 그것들 오브젝트가 원점 O와 재생 스크린 PSC11의 중심 위치를 연결하는 선분에 대하여 수평 방향에 있어서 좌우 대칭임을 알 수 있다.
그러나, 레퍼런스 스크린 RSC11 밖에 배치되어 있는 오브젝트 OBJ3과 오브젝트 OBJ4 및 오브젝트 OBJ5와 오브젝트 OBJ6에 대해서는, 그것들 오브젝트가 원점 O와 재생 스크린 PSC11의 중심 위치를 연결하는 선분에 대하여 수평 방향에 있어서 좌우 대칭이 아니게 되어 있음을 알 수 있다. 즉, 리맵핑 후의 오브젝트의 위치가 적절한 위치로 되어 있지 않고, 오브젝트의 위치 관계가 왜곡되어 버렸음을 알 수 있다.
이 예에 있어서의 리맵핑 전과 리맵핑 후의 각 오브젝트의 위치 관계를 모식도에서 나타내면, 도 7에 도시한 것처럼 된다. 또한, 도 7에 있어서 도 1에 있어서의 경우와 대응하는 부분에는 동일한 부호를 부여하고 있고, 그 설명은 적절히 생략한다.
도 7에서는, 화살표 A21 및 화살표 A22로 나타낸 부분에, 레퍼런스 스크린 RSC11과 리맵핑 전의 오브젝트 OBJ1 내지 오브젝트 OBJ6이 나타나 있다. 이에 비해, 화살표 A23 및 화살표 A24에 의해 나타내는 부분에, 재생 스크린 PSC11과 리맵핑 후의 오브젝트 OBJ1 내지 오브젝트 OBJ6이 나타나 있다.
리맵핑에 있어서는, 재생 스크린 PSC11로부터 본 각 오브젝트의 위치 관계가, 레퍼런스 스크린 RSC11로부터 본 리맵핑 전의 각 오브젝트의 위치 관계와 대략 동일 위치 관계가 되도록 각 오브젝트가 리맵핑될 것이 기대된다.
이 예에서는, 리맵핑 전의 오브젝트 OBJ1 내지 오브젝트 OBJ6의 상대적인 위치 관계는, 도 1에 도시한 예와 동일하고, 재생 스크린 PSC11의 위치도 도 1에 도시한 예와 동일 위치에 있다. 따라서, 리맵핑 후의 오브젝트 OBJ1 내지 오브젝트 OBJ6의 위치는, 도 1에 도시한 그것들 오브젝트와 동일 위치에 재배치될 것이 기대된다.
그러나, 도 7로부터 알 수 있는 바와 같이 리맵핑 전에 레퍼런스 스크린 RSC11 밖에 위치하고 있던 오브젝트 OBJ3 내지 오브젝트 OBJ6에 대해서는, 리맵핑 전과 리맵핑 후로 상대적인 위치 관계가 크게 변화하고 있다. 특히, 오브젝트 OBJ5와 오브젝트 OBJ6에 대해서는, 오브젝트 위치가 크게 어긋나 있다.
그로 인해, 리맵핑에 의해 얻어진 오브젝트 위치 정보에 기초하여, 각 오브젝트의 오디오 신호의 렌더링을 행하면, 재생 스크린 PSC11 밖의 오브젝트에 대해서는, 음성 재생 시에 원래 오브젝트가 있어야 할 위치와는 다른 위치에 음상이 정위되어 버리게 된다.
그래서, 본 기술에서는, 오브젝트 위치 정보와 레퍼런스 스크린 정보를 적절하게 보정함으로써, 레퍼런스 스크린 RSC11의 중심 위치가 기준 위치와는 상이한 경우라도 적절한 리맵핑을 행할 수 있도록 하였다.
<정보 처리 장치의 구성예>
도 8은, 본 기술을 적용한 정보 처리 장치의 일 실시 형태 구성예를 도시하는 도면이다.
도 8에 나타내는 정보 처리 장치(11)는, 오프셋 각 산출부(21), 위치 정보 보정부(22) 및 오브젝트 리맵핑부(23)를 갖고 있다.
이 정보 처리 장치(11)에는, 외부로부터 레퍼런스 스크린 정보, 각 오브젝트의 오브젝트 위치 정보 및 재생 스크린 정보가 공급된다.
여기에서는, 예를 들어 레퍼런스 스크린 정보는, 레퍼런스 스크린 RSC11의 좌단 및 우단의 각 위치를 나타내는 수평 방향 각도 각각과, 레퍼런스 스크린 RSC11의 상단 및 하단의 각 위치를 나타내는 수직 방향 각도 각각을 포함하는 것으로 한다. 레퍼런스 스크린 정보는, 유저 U11의 정면 방향에 있는 기준 위치를 기준으로 한 레퍼런스 스크린 RSC11의 위치 및 크기를 나타내는 정보로 되어 있다.
마찬가지로, 재생 스크린 정보는, 재생 스크린 PSC11의 좌단 및 우단의 각 위치를 나타내는 수평 방향 각도 각각과, 재생 스크린 PSC11의 상단 및 하단의 각 위치를 나타내는 수직 방향 각도 각각을 포함하는 것으로 한다. 이 재생 스크린 정보도 기준 위치를 기준으로 한 재생 스크린 PSC11의 위치 및 크기를 나타내는 정보로 되어 있다.
또한, 각 오브젝트의 오브젝트 위치 정보는, 오브젝트의 위치를 나타내는 수평 방향 각도와 수직 방향 각도를 포함하는 것으로 한다. 오브젝트 위치 정보는, 유저 U11의 정면 방향에 있는 기준 위치를 기준으로 한 오브젝트의 위치를 나타내는 정보이다.
오프셋 각 산출부(21)는 공급된 레퍼런스 스크린 정보에 기초하여, 재생 공간에 있는 유저 U11의 정면 방향, 즉 원점 O로부터 기준 위치로 향하는 방향과, 원점 O로부터 레퍼런스 스크린 RSC11의 중심 위치로 향하는 방향이 이루는 수평 방향의 각도를 오프셋 각으로서 산출하고, 위치 정보 보정부(22)에 공급한다.
레퍼런스 스크린 RSC11의 오프셋 각은, 수평 방향 각도 Azimuth 방향에 있어서의, 기준 위치로부터의 레퍼런스 스크린 RSC11의 중심 위치의 어긋남량을 나타내는 수평 방향 각도 Azimuth이다. 즉, 오프셋 각은, 유저 U11의 정면 방향에 있는 기준 위치로부터의 레퍼런스 스크린 RSC11의 오프셋 양을 나타내는 정보이다. 또한, 여기에서는 오프셋 양을 나타내는 정보의 예로서, 수평 방향 각도인 오프셋 각에 대하여 설명했지만, 오프셋 양을 나타내는 정보는, 그 밖의 어떠한 정보로 되어도 된다.
위치 정보 보정부(22)는, 오프셋 각 산출부(21)로부터 공급된 오프셋 각에 기초하여, 외부로부터 공급된 레퍼런스 스크린 정보 및 오브젝트 위치 정보를 보정하고, 그 결과 얻어진 보정 레퍼런스 스크린 정보 및 보정 오브젝트 위치 정보를, 오브젝트 리맵핑부(23)에 공급한다.
오브젝트 리맵핑부(23)는 외부로부터 공급된 재생 스크린 정보와, 위치 정보 보정부(22)로부터 공급된 보정 레퍼런스 스크린 정보 및 보정 오브젝트 위치 정보에 기초하여, 오브젝트 위치 정보, 즉 오브젝트 위치의 리맵핑을 행하고, 그 결과 얻어진 오브젝트 위치 정보를 출력한다.
<각 부의 처리에 대해서>
여기서, 정보 처리 장치(11)를 구성하는 각 부의 처리에 대해서, 보다 구체적으로 설명한다.
먼저, 오프셋 각 산출부(21)는, 공급된 레퍼런스 스크린 정보에 기초하여, 예를 들어 다음 식 (3)을 계산함으로써, 오프셋 각 φoffset_value를 산출한다.
Figure pat00003
또한, 식 (3)에 있어서, φleft nominal 및 φright nominal은, 레퍼런스 스크린 RSC11의 좌단 위치 및 우단의 위치의 수평 방향 각도 Azimuth를 나타내고 있다. 이들 φleft nominal 및 φright nominal은 레퍼런스 스크린 정보에 포함되는 정보이다.
또한, 위치 정보 보정부(22)에서는, 오프셋 각 φoffset_value에 기초하여, 레퍼런스 스크린 RSC11의 중심 위치가 기준 위치가 되도록, 레퍼런스 스크린 정보가 보정된다. 즉, 다음 식 (4) 및 식 (5)의 계산에 의해, 보정 레퍼런스 스크린 정보가 산출된다.
Figure pat00004
Figure pat00005
또한, 식 (4)에 있어서, φleft nominal은 레퍼런스 스크린 RSC11의 좌단 위치의 수평 방향 각도 Azimuth를 나타내고 있고, φoffset_left nominal은 수평 방향 각도 φleft nominal의 오프셋 각 φoffset_value에 의한 보정 후의 수평 방향 각도 Azimuth를 나타내고 있다. 즉, φoffset_left nominal은, 보정 후의 레퍼런스 스크린 RSC11의 좌단 위치의 수평 방향 각도 Azimuth를 나타내고 있다.
또한, 식 (5)에 있어서, φright nominal은 레퍼런스 스크린 RSC11의 우단 위치의 수평 방향 각도 Azimuth를 나타내고 있고, φoffset_right nominal은, 수평 방향 각도 φright nominal의 오프셋 각 φoffset_value에 의한 보정 후의 수평 방향 각도 Azimuth를 나타내고 있다. 즉, φoffset_right nominal은, 보정 후의 레퍼런스 스크린 RSC11의 우단 위치의 수평 방향 각도 Azimuth를 나타내고 있다.
따라서, 식 (4)의 계산에 의해, 레퍼런스 스크린 정보에 포함되는 수평 방향 각도φleft nominal이 보정되고, 식 (5)의 계산에 의해, 레퍼런스 스크린 정보에 포함되는 수평 방향 각도 φright nominal이 보정되게 된다.
레퍼런스 스크린 정보의 보정 시에는, 이들 수평 방향 각도 φleft nominal 및 수평 방향 각도 φright nominal만이 보정되고, 레퍼런스 스크린 RSC11의 상단 및 하단의 각 위치를 나타내는 수직 방향 각도의 보정은 행해지지 않는다.
이러한 보정 레퍼런스 스크린 정보를 산출하는 처리는, 오프셋 각 φoffset_value 만큼, 즉 기준 위치에 대한 레퍼런스 스크린 RSC11의 중심 위치의 어긋남 만큼 레퍼런스 스크린 RSC11을 회전시키는 처리이다. 이에 의해, 레퍼런스 스크린 RSC11의 중심 위치가 기준 위치가 되도록 레퍼런스 스크린 정보가 보정된다.
또한 위치 정보 보정부(22)에서는, 오프셋 각 φoffset_value에 기초하여, 레퍼런스 스크린 RSC11의 위치 보정(이동), 즉 레퍼런스 스크린 정보의 보정에 맞추어, 각 오브젝트의 위치도 보정(이동)되도록, 오브젝트 위치 정보가 보정된다. 즉, 다음 식 (6)의 계산에 의해, 보정 오브젝트 위치 정보가 산출된다.
Figure pat00006
또한, 식 (6)에 있어서, φ는 오브젝트 위치 정보에 포함되는 오브젝트의 수평 방향 각도 Azimuth를 나타내고 있고, φoffset는 수평 방향 각도 φ의 오프셋 각 φoffset_value에 의한 보정 후의 수평 방향 각도 Azimuth를 나타내고 있다. 즉, φoffset는, 보정 후의 오브젝트 위치의 수평 방향 각도 Azimuth를 나타내고 있다.
따라서, 식 (6)의 계산에 의해, 오브젝트 위치 정보에 포함되는 수평 방향 각도 φ가 보정되게 된다. 오브젝트 위치 정보의 보정 시에는, 수평 방향 각도 φ만이 보정되고, 오브젝트의 수직 방향 위치를 나타내는 수직 방향 각도의 보정은 행해지지 않는다.
이러한 보정 오브젝트 위치 정보를 산출하는 처리는, 오프셋 각 φoffset_value 만큼 오브젝트의 위치를 회전시키는 처리이다.
이에 의해, 레퍼런스 스크린 RSC11의 위치에 맞춰서 각 오브젝트의 위치가 보정된다. 보다 상세하게는, 레퍼런스 스크린 RSC11의 중심 위치의 보정에 맞춰서 각 오브젝트의 위치도 보정된다. 그로 인해, 레퍼런스 스크린 정보 및 오브젝트 위치 정보의 보정 전후에 있어서, 레퍼런스 스크린 RSC11에 대한 각 오브젝트의 상대적인 위치는 변화하지 않는다.
이상과 같이 하여 보정 레퍼런스 스크린 정보 및 보정 오브젝트 위치 정보가 얻어지면, 오브젝트 리맵핑부(23)에 있어서 리맵핑이 행해진다. 즉, 재생 스크린 PSC11의 위치에 맞춰서 각 오브젝트의 위치가 리맵핑된다.
이 시점에서 레퍼런스 스크린 RSC11과 각 오브젝트의 위치 관계를 나타내는 보정 레퍼런스 스크린 정보와 보정 오브젝트 위치 정보는, 기준 위치를 레퍼런스 스크린 RSC11의 중심 위치로 했을 때의 위치 관계를 나타내는 정보로 되어 있다.
따라서, 보정 레퍼런스 스크린 정보 및 보정 오브젝트 위치 정보를 사용하면, 상술한 일반적인 Screen-Related Object Element Remapping 기술에 있어서의 경우와 동일한 계산에 의해 오브젝트 위치의 리맵핑을 행해도 오브젝트 위치의 왜곡은 발생하지 않는다. 즉, 적절한 리맵핑을 실현할 수 있다.
구체적으로는, 오브젝트 리맵핑부(23)는 보정 레퍼런스 스크린 정보, 재생 스크린 정보 및 보정 오브젝트 위치 정보에 기초하여 다음 식 (7)을 계산함으로써, 리맵핑 후의 오브젝트 위치 정보를 산출한다.
Figure pat00007
또한, 식 (7)에 있어서, φ'은 오브젝트의 리맵핑 후의 수평 방향 위치를 나타내는 수평 방향 각도 Azimuth를 나타내고 있고, φoffset는 오브젝트의 리맵핑 전의 수평 방향 위치, 즉 보정 오브젝트 위치 정보에 포함되는 수평 방향 각도 Azimuth를 나타내고 있다.
또한, 식 (7)에 있어서 φoffset_left nominal 및 φoffset_right nominal은, 보정된 레퍼런스 스크린 RSC11의 좌단 및 우단의 수평 방향 위치를 나타내는 수평 방향 각도 Azimuth를 나타내고 있다. 즉, φoffset_left nominal 및 φoffset_right nominal은, 보정 레퍼런스 스크린 정보에 포함되는, 레퍼런스 스크린 RSC11의 좌단 및 우단의 수평 방향 각도 Azimuth를 나타내고 있다.
또한, 식 (7)에 있어서 φleft repro 및 φright repro는, 재생 스크린 PSC11의 좌단 및 우단의 수평 방향 위치를 나타내는 수평 방향 각도 Azimuth를 나타내고 있다.
또한, 보다 상세하게는, 리맵핑된 오브젝트의 오브젝트 위치 정보를 구하는 것에 있어서는, 오브젝트 리맵핑부(23)는 보정 레퍼런스 스크린 정보, 재생 스크린 정보 및 보정 오브젝트 위치 정보에 기초하여 상술한 식 (2)의 계산도 행한다. 이에 의해, 리맵핑 후의 오브젝트 위치 정보에 포함되는, 리맵핑된 오브젝트의 수직 방향 위치를 나타내는 수직 방향 각도 θ'이 얻어진다.
이상과 같은 처리를 행함으로써, 정보 처리 장치(11)에서는 적절한 리맵핑을 행할 수 있다.
구체적으로는, 예를 들어 도 5에 도시한 레퍼런스 스크린 정보, 오브젝트 위치 정보 및 재생 스크린 정보가 부여된 경우에, 정보 처리 장치(11)에서 리맵핑이 행해지면, 리맵핑 후의 오브젝트 위치 정보로서 도 9에 나타내는 오브젝트 위치 정보가 얻어진다.
또한, 도 9에서는, 「OBJ1」 내지 「OBJ6」의 각각의 란에는, 오브젝트 OBJ1 내지 오브젝트 OBJ6의 각각의 리맵핑된 오브젝트 위치 정보, 즉 각 오브젝트의 리맵핑 후의 위치의 수평 방향 각도 Azimuth 및 수직 방향 각도 Elevation이 나타나 있다.
예를 들어 문자 「OBJ1」이 기재된 오브젝트 OBJ1의 란에서는, 문자 「Azimuth」 및 「Elevation」은, 각각 리맵핑 후의 오브젝트 OBJ1의 수평 방향 및 수직 방향의 위치를 나타내고 있고, 그것들의 위치를 나타내는 수평 방향 각도 Azimuth 및 수직 방향 각도 Elevation은, 각각 「10.0」 및 「4.9」로 되어 있다. 이들 수평 방향 각도 Azimuth 「10.0」 및 수직 방향 각도 Elevation 「4.9」는, 식 (7)에 의해 산출된 수평 방향 각도 φ' 및 식 (2)에 의해 산출된 수직 방향 각도 θ'이다.
도 9에 나타내는 예에서는, 모든 오브젝트 OBJ1 내지 오브젝트 OBJ6의 상대적인 위치 관계는, 리맵핑 전과 리맵핑 후가 대략 동일하게 되어 있다.
즉, 레퍼런스 스크린 RSC11 내에 배치되어 있던 오브젝트 OBJ1과 오브젝트 OBJ2에 대해서는, 리맵핑 후에 있어서도 그것들 오브젝트가 원점 O와 재생 스크린 PSC11의 중심 위치를 연결하는 선분에 대하여 수평 방향에 있어서 좌우 대칭임을 알 수 있다.
또한, 레퍼런스 스크린 RSC11 밖에 배치되어 있는 오브젝트 OBJ3과 오브젝트 OBJ4 및 오브젝트 OBJ5와 오브젝트 OBJ6에 대해서도, 그것들 오브젝트가 원점 O와 재생 스크린 PSC11의 중심 위치를 연결하는 선분에 대하여 수평 방향에 있어서 좌우 대칭으로 되어 있음을 알 수 있다. 즉, 리맵핑 후의 모든 오브젝트의 위치가 적절한 위치로 되어 있음을 알 수 있다.
이 예에 있어서의 리맵핑 전과 리맵핑 후의 각 오브젝트의 위치 관계를 모식도로 나타내면, 도 10에 도시하게 된다. 또한, 도 10에 있어서 도 1에 있어서의 경우와 대응하는 부분에는 동일한 부호를 부여하고 있고, 그 설명은 적절히 생략한다.
도 10에서는, 화살표 A31 및 화살표 A32로 나타낸 부분에, 레퍼런스 스크린 RSC11과 리맵핑 전의 오브젝트 OBJ1 내지 오브젝트 OBJ6이 나타나 있다. 보다 상세하게는, 레퍼런스 스크린 RSC11은 보정 전의 레퍼런스 스크린 정보로 나타낸 위치에 배치된 것이고, 오브젝트 OBJ1 내지 오브젝트 OBJ6은, 보정 전의 오브젝트 위치 정보로 나타낸 위치에 배치된 것이다.
이에 비해, 화살표 A33 및 화살표 A34로 나타낸 부분에, 재생 스크린 PSC11과 리맵핑 후의 오브젝트 OBJ1 내지 오브젝트 OBJ6이 나타나 있다.
이 예에서는, 화살표 A31 및 화살표 A32로 나타낸 레퍼런스 스크린 RSC11과 리맵핑 전의 오브젝트 OBJ1 내지 오브젝트 OBJ6의 위치는, 도 7에 나타낸 예와 동일 배치로 되어 있다.
또한, 화살표 A33 및 화살표 A34로 나타내는 부분에서는, 리맵핑 후의 오브젝트 OBJ1, 오브젝트 OBJ3 및 오브젝트 OBJ5와, 오브젝트 OBJ2, 오브젝트 OBJ4 및 오브젝트 OBJ6이, 원점 O와 재생 스크린 PSC11의 중심 위치를 연결하는 선분에 대하여 수평 방향에 있어서 좌우 대칭임을 알 수 있다. 즉, 리맵핑 전후에 있어서, 스크린의 중심 위치에서 본 각 오브젝트의 위치 관계가 대략 동일하고, 적절하게 리맵핑이 행해졌음을 알 수 있다.
<리맵핑 처리의 설명>
이어서, 도 11의 흐름도를 참조하여, 정보 처리 장치(11)에 의해 행해지는 리맵핑 처리에 대하여 설명한다.
스텝 S11에 있어서 오프셋 각 산출부(21)는, 공급된 레퍼런스 스크린 정보에 기초하여 오프셋 각 φoffset_value를 산출하고, 위치 정보 보정부(22)에 공급한다.
구체적으로는, 오프셋 각 산출부(21)는 식 (3)을 계산함으로써, 오프셋 각 φoffset_value를 산출한다.
스텝 S12에 있어서 위치 정보 보정부(22)는, 오프셋 각 산출부(21)로부터 공급된 오프셋 각 φoffset_value에 기초하여, 외부로부터 공급된 레퍼런스 스크린 정보 및 오브젝트 위치 정보를 보정한다.
예를 들어 위치 정보 보정부(22)는, 오프셋 각 φoffset_value와 레퍼런스 스크린 정보로부터 식 (4) 및 식 (5)의 계산을 행함으로써 레퍼런스 스크린 정보를 보정하고, 그 결과 얻어진 보정 레퍼런스 스크린 정보를 오브젝트 리맵핑부(23)에 공급한다.
또한, 위치 정보 보정부(22)는, 오프셋 각 φoffset_value와 오브젝트 위치 정보로부터 식 (6)의 계산을 행함으로써 오브젝트 위치 정보를 보정하고, 그 결과 얻어진 보정 오브젝트 위치 정보를 오브젝트 리맵핑부(23)에 공급한다.
스텝 S13에 있어서 오브젝트 리맵핑부(23)는, 외부로부터 공급된 재생 스크린 정보와, 위치 정보 보정부(22)로부터 공급된 보정 레퍼런스 스크린 정보 및 보정 오브젝트 위치 정보에 기초하여, 오브젝트 위치의 리맵핑을 행한다.
예를 들어 오브젝트 리맵핑부(23)는, 보정 레퍼런스 스크린 정보, 재생 스크린 정보 및 보정 오브젝트 위치 정보에 기초하여 식 (2) 및 식 (7)을 계산함으로써, 리맵핑된 오브젝트의 위치를 나타내는 오브젝트 위치 정보를 산출한다. 그리고, 오브젝트 리맵핑부(23)는 이와 같이 하여 얻어진 오브젝트 위치 정보를 후단에 출력하고, 리맵핑 처리는 종료한다.
이상과 같이 하여, 정보 처리 장치(11)는 레퍼런스 스크린 정보 및 오브젝트 위치 정보를 보정하고 나서 리맵핑을 행한다. 이렇게 함으로써, 레퍼런스 스크린 RSC11의 배치 위치에 구애되지 않고, 적절한 리맵핑을 행할 수 있다.
<제1 실시 형태의 변형예 1>
<리맵핑에 대해서>
그런데, ISO/IEC 23008-3 "3D Audio" 규격과 같이, 레퍼런스 스크린 RSC11의 좌단 수평 방향 각도 φleft nominal이나 우단의 수평 방향 각도 φright nominal, 오브젝트의 수평 방향 각도 φ의 각 각도의 값 영역이 -180° 이상, 180° 이하로 규정되어 있는 경우도 있다.
그러한 경우, 보정 레퍼런스 스크린 정보 및 보정 오브젝트 위치 정보의 산출 시에, 수평 방향 각도가 미리 정해진 값 영역 내의 값, 즉 -180° 이상, 180° 이하의 값이 되도록, 적절히 보정을 행할 필요가 있다.
또한, 수평 방향 각도 φleft nominal이나 수평 방향 각도 φright nominal, 수평 방향 각도 φ의 각 각도의 값 영역이 -180° 이상, 180° 이하로 규정되어 있는 경우, 레퍼런스 스크린 RSC11이 상술한 유저U11의 배면 방향, 즉 유저 U11에서 보아서 x축의 부의 방향으로 배치되어 있을 때에는, 수평 방향 각도 φleft nominal<수평 방향 각도 φright nominal이 되는 경우가 있다. 그러한 경우, 오프셋 각 φoffset_value의 산출 시에, 적절히, 적절한 보정값으로 보정을 행할 필요가 있다.
또한, 이하에서는, 특별히 언급이 없는 경우, 레퍼런스 스크린 RSC11이 유저 U11의 배면 방향에 위치하고 있다고 할 때에는, 수평 방향 각도 φleft nominal<수평 방향 각도 φright nominal로 되어 있는 상태인 것으로 한다.
수평 방향 각도 φleft nominal이나 수평 방향 각도 φright nominal, 수평 방향 각도 φ의 각 각도의 값 영역이 -180° 이상, 180° 이하의 범위의 값 영역이 되도록 미리 정해져 있는 경우에는, 이하와 같이 리맵핑을 행하게 하면 된다.
또한, 이하에서는, 구체적으로 도 12에 나타내는 레퍼런스 스크린 정보, 오브젝트 위치 정보 및 재생 스크린 정보가 부여된 경우를 예로 하여 설명을 계속한다. 또한, 도 12는 도 2에 대응하고 있고, 도 12에 있어서 도 2와 동일한 부분에 대해서는 적절히 설명을 생략한다.
도 12에서는, 화살표 Q31에 의해 나타내는 부분에는, 레퍼런스 스크린 RSC11의 레퍼런스 스크린 정보 및 오브젝트 OBJ1 내지 오브젝트 OBJ6의 오브젝트 위치 정보가 나타나 있다.
이 예에서는, 레퍼런스 스크린 정보로 나타낸 레퍼런스 스크린 RSC11의 위치는, 도 2의 예에서 나타낸 위치를, 수평 방향 각도 Azimuth의 방향으로 180°만큼 회전시킨 위치로 되어 있다. 즉, 도 2의 예에서는, 레퍼런스 스크린 RSC11의 중심 위치가 기준 위치였던 데 반해, 도 12에 나타내는 예에서는, 레퍼런스 스크린 RSC11의 중심 위치가 수평 방향 각도 Azimuth=180° 및 수직 방향 각도 Elevation=0°의 위치로 되어 있다.
마찬가지로, 도 12에 나타내는 예에서는, 오브젝트 위치 정보로 나타낸 각 오브젝트의 위치도, 도 2의 예에서 나타낸 동일한 오브젝트의 위치를, 수평 방향 각도 Azimuth의 방향으로 180°만큼 회전시킨 위치로 되어 있다.
따라서, 도 2에 도시한 예와 도 12에 나타내는 예에서는 모두 레퍼런스 스크린 RSC11 및 각 오브젝트의 상대적인 위치 관계는 동일하게 되어 있다.
또한, 화살표 Q32에 의해 나타내는 부분에는 재생 스크린 정보가 나타나 있고, 이 재생 스크린 정보는, 도 2에 도시한 재생 스크린 정보와 동일하게 되어 있다.
이러한 레퍼런스 스크린 정보, 오브젝트 위치 정보 및 재생 스크린 정보가 부여될 수 있는 경우, 오프셋 각 산출부(21)에서는 상술한 식 (3) 대신에 다음 식 (8)에 의해 오프셋 각 φoffset_value를 산출하면 된다.
Figure pat00008
또한, 식 (8)에 있어서, φleft nominal 및 φright nominal은, 레퍼런스 스크린 RSC11의 좌단 위치 및 우단의 위치의 수평 방향 각도 Azimuth를 나타내고 있다.
식 (8)에서는, 수평 방향 각도 φleft nominal<수평 방향 각도 φright nominal인 경우, 즉 레퍼런스 스크린 RSC11이 배면 방향에 있는 경우에는, 식 (3)에 의해 구해지는 각도에 보정값으로서 180°가 가산되어, 최종적인 오프셋 각 φoffset_value가 된다.
이것은, 레퍼런스 스크린 RSC11이 배면 방향에 있는 경우, 식 (3)에 의해 오프셋 각 φoffset_value를 산출하면, 레퍼런스 스크린 RSC11이 정면 방향에 있을 때와 동일한 각도가 오프셋 각 φoffset_value로서 얻어져 버리므로, 보정값으로서 180°를 가산하여 오프셋 각을 정확하게 보정할 필요가 있기 때문이다.
또한, 식 (8)에서는, 수평 방향 각도 φleft nominal<수평 방향 각도 φright nominal이 아닌 경우, 즉 레퍼런스 스크린 RSC11이 배면 방향에 없을 때에는, 상술한 식 (3)과 동일하게 하여 오프셋 각 φoffset_value가 산출된다.
식 (8)에 의해 오프셋 각 φoffset_value가 산출되면, 위치 정보 보정부(22)에서는, 식 (4) 및 식 (5) 대신에, 다음 식 (9) 및 식 (10)에 의해 보정 레퍼런스 스크린 정보가 산출되게 하면 된다. 마찬가지로, 위치 정보 보정부(22)에 있어서, 식 (6) 대신에 식 (11)에 의해 보정 오브젝트 위치 정보가 산출되게 하면 된다.
Figure pat00009
Figure pat00010
Figure pat00011
또한, 식 (9) 내지 식 (11)에 있어서, φoffset_value는 오프셋 각 φoffset_value를 나타내고 있다. 또한, 식 (9)에 있어서, φleft nominal은 레퍼런스 스크린 RSC11의 좌단 위치의 수평 방향 각도 Azimuth를 나타내고 있고, φoffset_left nominal은 수평 방향 각도 φleft nominal의 오프셋 각 φoffset_value에 의한 보정 후의 수평 방향 각도 Azimuth를 나타내고 있다.
식 (10)에 있어서, φright nominal은 레퍼런스 스크린 RSC11의 우단 위치의 수평 방향 각도 Azimuth를 나타내고 있고, φoffset_right nominal은 수평 방향 각도 φright nominal의 오프셋 각 φoffset_value에 의한 보정 후의 수평 방향 각도 Azimuth를 나타내고 있다.
또한 식(11)에 있어서, φ는 오브젝트 위치 정보에 포함되는 오브젝트의 수평 방향 위치의 수평 방향 각도 Azimuth를 나타내고 있고, φoffset는 수평 방향 각도 φ의 오프셋 각 φoffset_value에 의한 보정 후의 수평 방향 각도 Azimuth를 나타내고 있다.
예를 들어 식 (9)에서는, φleft nominal<φoffset_value-180°인 경우, 즉 φleft nominal-φoffset_value<-180°인 경우, 상술한 식 (4)에 의해 구해지는 수평 방향 각도에 360°가 가산되어, 최종적인 수평 방향 각도 φoffset_left nominal로 되어 있다.
이러한 상황에서는, 식 (4)에 의해 수평 방향 각도 φoffset_left nominal을 구하면, 본래 -180° 이상 108° 이하로 되어야 할 수평 방향 각도 φoffset_left nominal의 값이 -180° 미만이 되어 버린다. 그래서, 식 (9)의 계산에서는, φleft nominal<φoffset_value-180°인 경우에는, 식 (4)에 의해 구해지는 수평 방향 각도에 360°가 보정값으로서 가산되어 수평 방향 각도 φoffset_left nominal이 정확하게 보정된다.
또한, 식 (9)에서는, φoffset_value-180≤φleft nominal≤φoffset_value+180°인 경우, 즉 -180°≤φleft nominal-φoffset_value≤180°인 경우에는, 식 (4)와 동일한 계산이 행해진다. 또한 식 (9)에서는, φoffset_value+180°<φleft nominal인 경우, 즉 φleft nominal-φoffset_value>180°인 경우에는, 수평 방향 각도 φoffset_left nominal의 값이 180°보다 커져 버리므로, φleft nominal<φoffset_value-180°인 경우와 마찬가지로, -360°가 보정값으로서 가산되어서 수평 방향 각도 φoffset_left nominal이 정확하게 보정된다.
또한, 식 (9) 뿐만 아니라 식 (10)이나 식 (11)에 있어서도, 식 (9)에 있어서의 경우와 동일하게, 필요에 따라 보정이 행해진다.
이와 같이, 레퍼런스 스크린 정보나 오브젝트 위치 정보의 보정 시에, φleft nominal-φoffset_value 등, 각 정보의 오프셋 각 φoffset_value에 의한 보정 후의 수평 방향 각도에 따라, 즉 필요에 따라 360°나 -360°를 보정값으로서 가산하는 것은, 레퍼런스 스크린 RSC11이나 오브젝트의 위치 보정 시에 있어서의 보정값을 조정하는 처리라고 할 수 있다.
이상과 같이 하여 보정 레퍼런스 스크린 정보 및 보정 오브젝트 위치 정보가 산출되면, 오브젝트 리맵핑부(23)에서는, 식 (2) 및 식 (7)에 의해, 리맵핑 후의 오브젝트 위치 정보가 산출된다.
예를 들어 도 12에 나타낸 레퍼런스 스크린 정보, 오브젝트 위치 정보 및 재생 스크린 정보가 부여된 경우에, 이상에 있어서 설명한 리맵핑이 행해지면, 리맵핑 후의 오브젝트 위치 정보로서 도 13에 나타내는 오브젝트 위치 정보가 얻어진다.
또한, 도 13에서는, 「OBJ1」 내지 「OBJ6」의 각각의 란에는, 오브젝트 OBJ1 내지 오브젝트 OBJ6의 각각의 리맵핑된 오브젝트 위치 정보, 즉 각 오브젝트의 리맵핑 후의 위치의 수평 방향 각도 Azimuth 및 수직 방향 각도 Elevation이 나타나 있다.
예를 들어 문자 「OBJ1」이 기재된 오브젝트 OBJ1의 란에서는, 문자 「Azimuth」 및 「Elevation」은, 각각 리맵핑 후의 오브젝트 OBJ1의 수평 방향 및 수직 방향의 위치를 나타내고 있고, 그것들의 위치를 나타내는 수평 방향 각도 Azimuth 및 수직 방향 각도 Elevation은, 각각 「10.0」 및 「4.9」로 되어 있다. 이들 수평 방향 각도 Azimuth 「10.0」 및 수직 방향 각도 Elevation 「4.9」는, 식 (7)에 의해 산출된 수평 방향 각도 φ' 및 식 (2)에 의해 산출된 수직 방향 각도 θ'이다.
도 13에 나타내는 예에서는, 모든 오브젝트 OBJ1 내지 오브젝트 OBJ6의 상대적인 위치 관계는, 리맵핑 전과 리맵핑 후가 대략 동일하게 되어 있다.
즉, 오브젝트 OBJ1과 오브젝트 OBJ2, 오브젝트 OBJ3과 오브젝트 OBJ4 및 오브젝트 OBJ5와 오브젝트 OBJ6은, 리맵핑 후에 있어서도 그것들 오브젝트가 원점 O와 재생 스크린 PSC11의 중심 위치를 연결하는 선분에 대하여, 수평 방향에 있어서 좌우 대칭으로 되어 있음을 알 수 있다.
이 예에 있어서의 리맵핑 전과 리맵핑 후의 각 오브젝트의 위치 관계를 모식도로 나타내면, 도 14에 도시하게 된다. 또한, 도 14에 있어서 도 1에 있어서의 경우와 대응하는 부분에는 동일한 부호를 부여하였고, 그 설명은 적절히 생략한다.
도 14에서는, 화살표 A41 및 화살표 A42로 나타낸 부분에, 레퍼런스 스크린 RSC11과 리맵핑 전의 오브젝트 OBJ1 내지 오브젝트 OBJ6이 나타나 있다. 보다 상세하게는, 레퍼런스 스크린 RSC11은 보정 전의 레퍼런스 스크린 정보로 나타낸 위치에 배치된 것이고, 오브젝트 OBJ1 내지 오브젝트 OBJ6은, 보정 전의 오브젝트 위치 정보로 나타낸 위치에 배치된 것이다.
이에 비해, 화살표 A43 및 화살표 A44로 나타낸 부분에, 재생 스크린 PSC11과 리맵핑 후의 오브젝트 OBJ1 내지 오브젝트 OBJ6이 나타나 있다.
이 예에서는, 화살표 A41 및 화살표 A42로 나타낸 레퍼런스 스크린 RSC11의 위치는, 유저 U11의 배면 방향에 위치하고 있다.
또한, 화살표 A43 및 화살표 A44로 나타낸 부분에서는, 리맵핑 후의 오브젝트 OBJ1, 오브젝트 OBJ3 및 오브젝트 OBJ5와, 오브젝트 OBJ2, 오브젝트 OBJ4 및 오브젝트 OBJ6이, 원점 O와 재생 스크린 PSC11의 중심 위치를 연결하는 선분에 대하여 수평 방향에 있어서 좌우 대칭임을 알 수 있다. 즉, 리맵핑 전후에 있어서, 스크린의 중심 위치에서 본 각 오브젝트의 위치 관계가 대략 동일하고, 적절하게 리맵핑이 행해졌음을 알 수 있다.
이상과 같이 수평 방향 각도 φleft nominal이나 수평 방향 각도 φright nominal, 수평 방향 각도 φ의 각 각도의 값 영역이 -180° 이상 180° 이하로 규정되어 있는 경우에는, 도 11을 참조하여 설명한 리맵핑 처리의 스텝 S11에서는, 오프셋 각 산출부(21)는 식 (8)을 계산함으로써 오프셋 각 φoffset_value를 산출한다.
또한, 스텝 S12에서는, 위치 정보 보정부(22)는, 식 (9) 및 식 (10)의 계산을 행함으로써 레퍼런스 스크린 정보를 보정하고, 식 (11)의 계산을 행함으로써 오브젝트 위치 정보를 보정한다. 그리고 스텝 S13에서는, 오브젝트 리맵핑부(23)는 식 (2) 및 식 (7)을 계산함으로써, 리맵핑된 오브젝트의 위치를 나타내는 오브젝트 위치 정보를 산출한다.
이렇게 정보 처리 장치(11)에 의하면, 수평 방향 각도 φleft nominal이나 수평 방향 각도 φright nominal, 수평 방향 각도 φ의 각 각도의 값 영역이 -180° 이상, 180° 이하로 규정되어 있는 경우에 있어서도, 적절한 리맵핑을 행할 수 있다.
<제1 실시 형태의 변형예 2>
<리맵핑에 대해서>
또한, 이상에 있어서는 구체적인 예로서, 재생 스크린 PSC11의 중심 위치가 기준 위치인 예에 대하여 설명했지만, 재생 스크린 PSC11의 중심 위치가 기준 위치에 없을 경우에도, 이하와 같이 재생 스크린의 오프셋 각을 사용한 보정을 가함으로써, 적절한 리맵핑을 행할 수 있다.
또한, 이하에서는, 구체적으로 도 15에 도시하는 레퍼런스 스크린 정보, 오브젝트 위치 정보 및 재생 스크린 정보가 부여된 경우를 예로 하여 설명을 계속한다. 또한, 도 15는 도 5에 대응하고 있어, 도 15에 있어서 도 5에 있어서의 경우와 동일한 부분에 대해서는, 적절히 설명을 생략한다.
도 15에서는, 화살표 Q41에 의해 나타내는 부분에는, 레퍼런스 스크린 RSC11의 레퍼런스 스크린 정보 및 오브젝트 OBJ1 내지 오브젝트 OBJ6의 오브젝트 위치 정보가 나타나 있고, 이 레퍼런스 스크린 정보 및 오브젝트 OBJ1 내지 오브젝트 OBJ6의 오브젝트 위치 정보는, 도 5에 도시한 레퍼런스 스크린 정보 및 오브젝트 OBJ1 내지 오브젝트 OBJ6의 오브젝트 위치 정보와 동일하게 되어 있다.
또한, 화살표 Q42에 의해 나타내는 부분에는 재생 스크린 정보가 나타나 있다.
이 예에서는, 재생 스크린 정보로 나타낸 재생 스크린 PSC11의 위치는, 도 2의 예에서 나타낸 위치를, 수평 방향 각도 Azimuth의 방향으로 180°만큼 회전시킨 위치로 되어 있다. 즉, 도 2의 예에서는, 재생 스크린 PSC11의 중심 위치가 기준 위치였던 데 반해, 도 15에 도시하는 예에서는, 재생 스크린 PSC11의 중심 위치가 수평 방향 각도 Azimuth=180° 및 수직 방향 각도 Elevation=0°의 위치로 되어 있다.
이러한 레퍼런스 스크린 정보, 오브젝트 위치 정보 및 재생 스크린 정보가 부여될 수 있는 경우, 오프셋 각 산출부(21)에 있어서 오프셋 각 φoffset_value와 함께, 예를 들어 다음 식 (12)를 계산함으로써, 재생 스크린 오프셋 각 φrepro_offset_value가 산출된다.
Figure pat00012
또한, 식 (12)에 있어서 φleft repro 및 φright repro는, 재생 스크린 PSC11의 좌단 위치 및 우단의 위치의 수평 방향 각도 Azimuth를 나타내고 있다. 이들 φleft repro와 φright repro는 재생 스크린 정보에 포함되는 정보이다.
또한, 위치 정보 보정부(22)에 있어서, 상술한 레퍼런스 스크린 정보의 보정과 오브젝트 위치 정보의 보정에 가하여, 재생 스크린 오프셋 각 φrepro_offset_value에 기초하여, 재생 스크린 PSC11의 중심 위치가 기준 위치가 되도록, 재생 스크린 정보가 보정된다. 즉, 다음 식 (13) 및 식 (14)의 계산에 의해, 보정 재생 스크린 정보가 산출된다.
Figure pat00013
Figure pat00014
또한, 식 (13)에 있어서, φleft repro는 재생 스크린 PSC11의 좌단 위치의 수평 방향 각도 Azimuth를 나타내고 있고, φoffset_left repro는 수평 방향 각도 φleft repro의 재생 스크린 오프셋 각 φrepro_offset_value에 의한 보정 후의 수평 방향 각도 Azimuth를 나타내고 있다. 즉, φoffset_left repro는, 보정 후의 재생 스크린 PSC11의 좌단 위치의 수평 방향 각도 Azimuth를 나타내고 있다.
또한, 식 (14)에 있어서, φright repro는 재생 스크린 PSC11의 우단 위치의 수평 방향 각도 Azimuth를 나타내고 있고, φoffset_right repro는 수평 방향 각도 φright repro의 재생 스크린 오프셋 각 φrepro_offset_value에 의한 보정 후의 수평 방향 각도 Azimuth를 나타내고 있다. 즉, φoffset_right repro는, 보정 후의 재생 스크린 PSC11의 우단 위치의 수평 방향 각도 Azimuth를 나타내고 있다.
따라서, 식 (13)의 계산에 의해, 재생 스크린 정보에 포함되는 수평 방향 각도 φleft repro가 보정되고, 식 (14)의 계산에 의해, 재생 스크린 정보에 포함되는 수평 방향 각도 φright repro가 보정되게 된다.
이러한 보정 재생 스크린 정보를 산출하는 처리는, 재생 스크린 오프셋 각 φrepro_offset_value 만큼, 즉 기준 위치에 대한 재생 스크린 PSC11의 중심 위치의 어긋남 만큼 재생 스크린 PSC11을 회전시키는 처리이다. 이에 의해, 재생 스크린 PSC11의 중심 위치가 기준 위치가 되도록 재생 스크린 정보가 보정된다.
또한, 이하에서는, 중심 위치가 기준 위치가 되도록 위치가 보정된 재생 스크린 PSC11을, 특히 보정 재생 스크린 PSC11'이라고도 칭하기로 한다.
이상과 같이, 보정 레퍼런스 스크린 정보 및 보정 오브젝트 위치 정보 외에, 보정 재생 스크린 정보가 얻어지면, 오브젝트 리맵핑부(23)에 있어서 리맵핑이 행해진다. 즉, 보정 재생 스크린 PSC11'의 위치에 맞추어 각 오브젝트의 위치가 리맵핑된다.
구체적으로는, 오브젝트 리맵핑부(23)는 보정 레퍼런스 스크린 정보, 보정 재생 스크린 정보 및 보정 오브젝트 위치 정보에 기초하여 다음 식 (15)를 계산함으로써, 리맵핑 후의 오브젝트 위치 정보를 산출한다.
Figure pat00015
또한, 식 (15)에 있어서, φ'은 오브젝트의 리맵핑 후의 수평 방향 위치를 나타내는 수평 방향 각도 Azimuth를 나타내고 있고, φoffset는 오브젝트의 리맵핑 전의 수평 방향 위치, 즉 보정 오브젝트 위치 정보에 포함되는 수평 방향 각도 Azimuth를 나타내고 있다.
또한, 식 (15)에 있어서, φoffset_left nominal 및 φoffset_right nominal은, 보정된 레퍼런스 스크린 RSC11의 좌단 및 우단의 수평 방향 위치를 나타내는 수평 방향 각도 Azimuth를 나타내고 있다. 즉, φoffset_left nominal 및 φoffset_right nominal은, 보정 레퍼런스 스크린 정보에 포함되는, 레퍼런스 스크린 RSC11의 좌단 및 우단의 수평 방향 각도 Azimuth를 나타내고 있다.
그리고, 식 (15)에 있어서, φoffset_left repro 및 φoffset_right repro는, 보정 재생 스크린 PSC11'의 좌단 및 우단의 수평 방향 위치를 나타내는 수평 방향 각도 Azimuth를 나타내고 있다.
여기에서 얻어진 리맵핑 후의 오브젝트 위치 정보는, 보정 재생 스크린 PSC11'에 대한 것으로 되어 있다. 즉, 재생 스크린 PSC11의 중심 위치를 기준 위치로 했을 경우의 오브젝트 위치 정보가 된다. 그러나, 실제로는 재생 스크린 PSC11은 재생 스크린 정보에 포함되는 φleft repro 및 φright repro로 나타나는 위치에 있고, 재생 스크린 오프셋 각 φrepro_offset_value 만큼 회전하고 있다. 그래서, 다음 식 (16)의 계산이 행해져서, 리맵핑 후의 오브젝트 위치 정보가, 실제의 재생 스크린 PSC11에 대한 것으로 보정된다.
Figure pat00016
또한, 식 (16)에 있어서, φ'은 보정 재생 스크린 PSC11'에 대하여 산출된 오브젝트의 리맵핑 후의 오브젝트 위치 정보에 포함되는 수평 방향 각도 Azimuth를 나타내고 있고, φ''은 수평 방향 각도 φ'의 재생 스크린 오프셋 각 φrepro_offset_value에 의한 보정 후의 수평 방향 각도 Azimuth를 나타내고 있다. 즉, φ''은, 보정 후의 리맵핑 후의 오브젝트 위치 정보에 포함되는 수평 방향 각도 Azimuth를 나타내고 있다.
이에 의해, 리맵핑 후의 오브젝트 위치가 재생 스크린 PSC11의 위치에 합하여 보정된다.
예를 들어 도 15에 도시한 레퍼런스 스크린 정보, 오브젝트 위치 정보 및 재생 스크린 정보가 부여된 경우에, 이상에 있어서 설명한 리맵핑이 행해지면, 리맵핑 후의 오브젝트 위치 정보로서 도 16에 나타내는 오브젝트 위치 정보가 얻어진다.
또한, 도 16에서는 「OBJ1」 내지 「OBJ6」의 각각의 란에는, 오브젝트 OBJ1 내지 오브젝트 OBJ6의 각각의 리맵핑된 오브젝트 위치 정보, 즉 각 오브젝트의 리맵핑 후의 위치의 수평 방향 각도 Azimuth 및 수직 방향 각도 Elevation이 나타나 있다.
예를 들어 문자 「OBJ1」이 기재된 오브젝트 OBJ1의 란에서는, 문자 「Azimuth」 및 「Elevation」은, 각각 리맵핑 후의 오브젝트 OBJ1의 수평 방향 및 수직 방향의 위치를 나타내고 있고, 그것들의 위치를 나타내는 수평 방향 각도 Azimuth 및 수직 방향 각도 Elevation은, 각각 「-170.0」 및 「4.9」로 되어 있다. 이들 수평 방향 각도 Azimuth 「-170.0」 및 수직 방향 각도 Elevation 「4.9」는, 식 (16)에 의해 산출된 수평 방향 각도 φ'' 및 식 (2)에 의해 산출된 수직 방향 각도 θ'이다.
도 16에 나타내는 예에서는, 모든 오브젝트 OBJ1 내지 오브젝트 OBJ6의 상대적인 위치 관계는, 리맵핑 전과 리맵핑 후가 대략 동일하게 되어 있다.
즉, 오브젝트 OBJ1과 오브젝트 OBJ2, 오브젝트 OBJ3과 오브젝트 OBJ4 및 오브젝트 OBJ5와 오브젝트 OBJ6은, 리맵핑 후에 있어서도 그것들 오브젝트가 원점 O와 재생 스크린 PSC11의 중심 위치를 연결하는 선분에 대하여, 수평 방향에 있어서 좌우 대칭으로 되어 있음을 알 수 있다.
이 예에 있어서의 리맵핑 전과 리맵핑 후의 각 오브젝트의 위치 관계를 모식도로 나타내면, 도 17에 나타내는 것처럼 된다. 또한, 도 17에 있어서 도 1에 있어서의 경우와 대응하는 부분에는 동일한 부호를 부여하고 있고, 그 설명은 적절히 생략한다.
도 17에서는, 화살표 A51 및 화살표 A52로 나타낸 부분에, 레퍼런스 스크린 RSC11과 리맵핑 전의 오브젝트 OBJ1 내지 오브젝트 OBJ6이 나타나 있다. 보다 상세하게는, 레퍼런스 스크린 RSC11은 보정 전의 레퍼런스 스크린 정보로 나타낸 위치에 배치된 것이고, 오브젝트 OBJ1 내지 오브젝트 OBJ6은, 보정 전의 오브젝트 위치 정보로 나타낸 위치에 배치된 것이다.
이에 비해, 화살표 A53 및 화살표 A54로 나타낸 부분에, 재생 스크린 PSC11과 리맵핑 후의 오브젝트 OBJ1 내지 오브젝트 OBJ6이 나타나 있다.
이 예에서는, 화살표 A51 및 화살표 A52로 나타낸 레퍼런스 스크린 RSC11과 리맵핑 전의 오브젝트 OBJ1 내지 오브젝트 OBJ6의 위치는, 도 7에 나타낸 예와 동일 배치로 되어 있다.
또한, 화살표 A53 및 화살표 A54로 나타낸 부분에서는, 리맵핑 후의 오브젝트 OBJ1, 오브젝트 OBJ3 및 오브젝트 OBJ5와, 오브젝트 OBJ2, 오브젝트 OBJ4 및 오브젝트 OBJ6이, 원점 O와 재생 스크린 PSC11의 중심 위치를 연결하는 선분에 대하여 수평 방향에 있어서 좌우 대칭임을 알 수 있다. 즉, 리맵핑 전후에 있어서, 스크린의 중심 위치에서 본 각 오브젝트의 위치 관계가 대략 동일하고, 적절하게 리맵핑이 행해졌음을 알 수 있다.
<정보 처리 장치의 구성예>
이상과 같은 처리가 행해지는 경우, 정보 처리 장치(11)는, 예를 들어 도 18에 도시한 바와 같은 구성이 된다. 또한, 도 18에 있어서 도 8에 있어서의 경우와 대응하는 부분에는 동일한 부호를 부여하고 있고, 그 설명은 적절히 생략한다.
도 18에 나타내는 정보 처리 장치(11)는, 오프셋 각 산출부(21), 위치 정보 보정부(22) 및 오브젝트 리맵핑부(23)를 갖고 있다.
이 예에서는, 재생 스크린 정보가 오프셋 각 산출부(21) 및 위치 정보 보정부(22)에 공급된다.
오프셋 각 산출부(21)는, 오프셋 각 φoffset_value를 산출하는 것 외에, 공급된 재생 스크린 정보에 기초하여, 재생 공간에 있는 유저 U11의 정면 방향, 즉 원점 O로부터 기준 위치로 향하는 방향과, 원점 O로부터 재생 스크린 PSC11의 중심 위치로 향하는 방향이 이루는 수평 방향의 각도를 재생 스크린 오프셋 각 φrepro_offset_value로서 산출한다. 오프셋 각 산출부(21)로부터 위치 정보 보정부(22)에는, 이들 오프셋 각 φoffset_value 및 재생 스크린 오프셋 각 φrepro_offset_value가 공급된다.
재생 스크린 오프셋 각 φrepro_offset_value는, 수평 방향 각도 Azimuth 방향에 있어서의, 기준 위치로부터의 재생 스크린 PSC11의 중심 위치의 어긋남량을 나타내는 수평 방향 각도 Azimuth이다. 즉, 재생 스크린 오프셋 각 φrepro_offset_value는, 유저 U11의 정면 방향에 있는 기준 위치로부터의 재생 스크린 PSC11의 오프셋 양을 나타내는 정보이다. 또한, 재생 스크린 PSC11의 오프셋 양을 나타내는 정보는, 재생 스크린 오프셋 각 φrepro_offset_value에 한정되지 않고, 어떤 정보여도 된다.
위치 정보 보정부(22)는, 보정에 의해 보정 레퍼런스 스크린 정보 및 보정 오브젝트 위치 정보를 구하는 것 외에, 보정 재생 스크린 정보도 구하여, 보정 레퍼런스 스크린 정보, 보정 오브젝트 위치 정보, 보정 재생 스크린 정보 및 재생 스크린 오프셋 각 φrepro_offset_value를 오브젝트 리맵핑부(23)에 공급한다.
즉, 위치 정보 보정부(22)는, 오프셋 각 산출부(21)로부터 공급된 재생 스크린 오프셋 각 φrepro_offset_value에 기초하여, 외부로부터 공급된 재생 스크린 정보를 보정하고, 보정 재생 스크린 정보를 얻는다.
오브젝트 리맵핑부(23)는 위치 정보 보정부(22)로부터 공급된 보정 레퍼런스 스크린 정보, 보정 오브젝트 위치 정보, 보정 재생 스크린 정보 및 재생 스크린 오프셋 각 φrepro_offset_value에 기초하여, 오브젝트 위치 정보, 즉 오브젝트 위치의 리맵핑을 행하고, 그 결과 얻어진 오브젝트 위치 정보를 출력한다.
<리맵핑 처리의 설명>
이어서, 도 19의 흐름도를 참조하여, 도 18에 나타낸 정보 처리 장치(11)에 의해 행해지는 리맵핑 처리에 대하여 설명한다.
스텝 S41에 있어서 오프셋 각 산출부(21)는, 공급된 레퍼런스 스크린 정보 및 재생 스크린 정보에 기초하여 오프셋 각 φoffset_value 및 재생 스크린 오프셋 각 φrepro_offset_value를 산출하고, 위치 정보 보정부(22)에 공급한다.
구체적으로는, 오프셋 각 산출부(21)는 식 (3)을 계산함으로써, 오프셋 각 φoffset_value를 산출한다. 또한, 오프셋 각 산출부(21)는 식 (12)를 계산함으로써, 재생 스크린 오프셋 각 φrepro_offset_value를 산출한다.
스텝 S42에 있어서 위치 정보 보정부(22)는, 오프셋 각 산출부(21)로부터 공급된 오프셋 각 φoffset_value 및 재생 스크린 오프셋 각 φrepro_offset_value에 기초하여, 외부로부터 공급된 레퍼런스 스크린 정보, 오브젝트 위치 정보 및 재생 스크린 정보를 보정한다.
예를 들어 위치 정보 보정부(22)는, 도 11의 스텝 S12의 처리와 동일한 처리를 행하여 레퍼런스 스크린 정보 및 오브젝트 위치 정보를 보정하고, 보정 레퍼런스 스크린 정보 및 보정 오브젝트 위치 정보를 얻는다.
또한, 예를 들어 위치 정보 보정부(22)는, 재생 스크린 오프셋 각 φrepro_offset_value에 기초하여 식 (13) 및 식 (14)의 계산을 행함으로써 재생 스크린 정보를 보정하고, 보정 재생 스크린 정보를 얻는다.
위치 정보 보정부(22)는, 이와 같이 하여 얻어진 보정 레퍼런스 스크린 정보, 보정 오브젝트 위치 정보 및 보정 재생 스크린 정보와, 재생 스크린 오프셋 각 φrepro_offset_value를 오브젝트 리맵핑부(23)에 공급한다.
스텝 S43에 있어서 오브젝트 리맵핑부(23)는, 위치 정보 보정부(22)로부터 공급된 보정 레퍼런스 스크린 정보, 보정 오브젝트 위치 정보, 보정 재생 스크린 정보 및 재생 스크린 오프셋 각 φrepro_offset_value에 기초하여, 오브젝트 위치의 리맵핑을 행한다.
예를 들어 오브젝트 리맵핑부(23)는 식 (2), 식 (15) 및 식 (16)을 계산함으로써, 리맵핑된 오브젝트의 위치를 나타내는 오브젝트 위치 정보를 산출한다. 그리고, 오브젝트 리맵핑부(23)는 이와 같이 하여 얻어진 오브젝트 위치 정보를 후단에 출력하고, 리맵핑 처리는 종료한다.
이상과 같이 하여, 정보 처리 장치(11)는 레퍼런스 스크린 정보, 오브젝트 위치 정보 및 재생 스크린 정보를 보정하고 나서 리맵핑을 행한 후, 재생 스크린 정보의 보정분만 오브젝트 위치 정보를 보정한다. 이렇게 함으로써, 레퍼런스 스크린 RSC11이나 재생 스크린 PSC11의 배치 위치에 구애되지 않고, 적절한 리맵핑을 행할 수 있다.
또한, 제1 실시 형태와 제1 실시 형태의 변형예 1에서는, 수평 방향 각도에 대하여 오프셋 각을 산출하고, 그 오프셋 각에 기초하여 레퍼런스 스크린 정보 및 오브젝트 위치 정보의 각 정보의 수평 방향 각도를 보정하는 예에 대하여 설명하였다. 그러나, 수평 방향 각도뿐만 아니라, 수직 방향 각도에 대해서도 동일한 처리를 행하고, 레퍼런스 스크린 정보 및 오브젝트 위치 정보의 각 정보의 수직 방향 각도를 보정하게 해도 된다.
그러한 경우에는, 수평 방향 각도와 동일하게 하여 수직 방향 각도에 대해서도 오프셋 각이 산출되어, 산출된 오프셋 각에 기초하여, 레퍼런스 스크린 정보 및 오브젝트 위치 정보의 수직 방향 각도가 보정된 후, 리맵핑이 행해진다.
또한, 제1 실시 형태의 변형예 2에 있어서도 동일하게 하여, 레퍼런스 스크린 정보나 오브젝트 위치 정보, 재생 스크린 정보의 각 정보의 수직 방향 각도를 보정하게 해도 된다. 또한 제1 실시 형태의 변형예 2와 제1 실시 형태의 변형예 1을 조합하게 해도 된다.
또한, 이상에 있어서는 레퍼런스 스크린 RSC11에 맞춰서 레퍼런스 스크린 정보 및 오브젝트 위치 정보를 보정한 후, 그 보정에 의해 얻어진 보정 레퍼런스 스크린 정보 및 보정 오브젝트 위치 정보를 사용하여 리맵핑 후의 오브젝트의 위치를 나타내는 오브젝트 위치 정보를 산출한다고 설명하였다. 그러나, 레퍼런스 스크린 RSC11에 맞춰서 오브젝트 위치 정보, 즉 오브젝트의 위치만을 보정하게 해도 된다.
그러한 경우, 오프셋 각이 산출된 후, 그 오프셋 각에 기초하여 오브젝트 위치 정보가 보정되고, 보정 오브젝트 위치 정보가 된다. 그리고, 그 후, 보정 오브젝트 위치 정보와, 레퍼런스 스크린 정보와, 재생 스크린 정보에 기초하여, 오브젝트 위치의 리맵핑이 행해진다. 즉, 리맵핑 후의 오브젝트의 위치를 나타내는 오브젝트 위치 정보가 산출된다.
그런데, 상술한 일련의 처리는, 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 컴퓨터에 인스톨된다. 여기서, 컴퓨터에는, 전용의 하드웨어에 내장되어 있는 컴퓨터나, 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들어 범용의 퍼스널 컴퓨터 등이 포함된다.
도 20은, 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어 구성예를 도시하는 블록도이다.
컴퓨터에 있어서, CPU(Central Processing Unit)(501), ROM(Read Only Memory)(502), RAM(Random Access Memory)(503)은, 버스(504)에 의해 서로 접속되어 있다.
버스(504)에는, 추가로 입출력 인터페이스(505)가 접속되어 있다. 입출력 인터페이스(505)에는 입력부(506), 출력부(507), 기록부(508), 통신부(509) 및 드라이브(510)가 접속되어 있다.
입력부(506)는 키보드, 마우스, 마이크로폰, 촬상 소자 등을 포함한다. 출력부(507)는 디스플레이, 스피커 등을 포함한다. 기록부(508)는 하드 디스크나 불휘발성이 메모리 등을 포함한다. 통신부(509)는 네트워크 인터페이스 등을 포함한다. 드라이브(510)는 자기 디스크, 광 디스크, 광자기 디스크, 또는 반도체 메모리 등의 리무버블 기록 매체(511)를 구동한다.
이상과 같이 구성되는 컴퓨터에서는, CPU(501)가 예를 들어 기록부(508)에 기록되어 있는 프로그램을, 입출력 인터페이스(505) 및 버스(504)를 통하여, RAM(503)에 로드하여 실행함으로써, 상술한 일련의 처리가 행해진다.
컴퓨터(CPU(501))가 실행하는 프로그램은, 예를 들어 패키지 미디어 등으로서의 리무버블 기록 매체(511)에 기록하여 제공할 수 있다. 또한, 프로그램은, 로컬에어리어 네트워크, 인터넷, 디지털 위성 방송이라고 하는, 유선 또는 무선의 전송 매체를 통하여 제공할 수 있다.
컴퓨터에서는, 프로그램은 리무버블 기록 매체(511)를 드라이브(510)에 장착함으로써, 입출력 인터페이스(505)를 통하여, 기록부(508)에 인스톨할 수 있다. 또한, 프로그램은, 유선 또는 무선의 전송 매체를 통하여, 통신부(509)에서 수신하고, 기록부(508)에 인스톨할 수 있다. 기타, 프로그램은 ROM(502)이나 기록부(508)에, 미리 인스톨해 둘 수 있다.
또한, 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서를 따라서 시계열로 처리가 행해지는 프로그램이어도 되고, 병렬로, 또는 호출이 행해졌을 때 등의 필요한 타이밍에 처리가 행해지는 프로그램이어도 된다.
또한, 본 기술의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니고, 본 기술의 요지를 일탈하지 않는 범위에서 다양한 변경이 가능하다.
예를 들어, 본 기술은 하나의 기능을 네트워크를 통하여 복수의 장치에서 분담, 공동하여 처리하는 클라우드 컴퓨팅의 구성을 취할 수 있다.
또한, 상술한 흐름도에서 설명한 각 스텝은, 하나의 장치에서 실행하는 것 외에, 복수의 장치에서 분담하여 실행할 수 있다.
또한, 하나의 스텝에 복수의 처리가 포함되는 경우에는, 그 하나의 스텝에 포함되는 복수의 처리는, 하나의 장치에서 실행하는 것 외에, 복수의 장치에서 분담하여 실행할 수 있다.
또한, 본 기술은, 이하의 구성으로 하는 것도 가능하다.
(1)
유저의 정면 방향의 기준 위치로부터의 레퍼런스 스크린의 위치 오프셋 양을 산출하는 오프셋 산출부와,
상기 오프셋 양에 기초하여, 상기 기준 위치를 기준으로 한 오디오 오브젝트의 위치를, 상기 레퍼런스 스크린의 위치에 맞춰서 보정하는 위치 보정부와,
보정된 상기 오디오 오브젝트의 위치에 기초하여, 재생 스크린의 위치에 맞춰서 상기 오디오 오브젝트의 위치를 리맵핑하는 리맵핑부
를 구비하는 정보 처리 장치.
(2)
상기 오프셋 산출부는, 상기 레퍼런스 스크린이 상기 유저의 배면 방향에 위치하는 경우, 소정의 보정값으로 상기 오프셋 양을 보정하는
(1)에 기재된 정보 처리 장치.
(3)
상기 위치 보정부는, 상기 오디오 오브젝트의 위치를 나타내는 정보의 값 영역이 소정 범위의 값 영역이 되도록 정해져 있는 경우, 상기 오디오 오브젝트의 위치 보정 시의 보정값을 조정하는
(1) 또는 (2)에 기재된 정보 처리 장치.
(4)
상기 위치 보정부는, 상기 오프셋 양에 기초하여, 상기 레퍼런스 스크린의 위치를 보정하고,
상기 리맵핑부는, 보정된 상기 레퍼런스 스크린의 위치 및 보정된 상기 오디오 오브젝트의 위치에 기초하여, 상기 오디오 오브젝트의 위치를 리맵핑하는
(1) 내지 (3) 중 어느 한 항에 기재된 정보 처리 장치.
(5)
유저의 정면 방향의 기준 위치로부터의 레퍼런스 스크린의 위치 오프셋 양을 산출하고,
상기 오프셋 양에 기초하여, 상기 기준 위치를 기준으로 한 오디오 오브젝트의 위치를, 상기 레퍼런스 스크린의 위치에 맞춰서 보정하고,
보정된 상기 오디오 오브젝트의 위치에 기초하여, 재생 스크린의 위치에 맞춰서 상기 오디오 오브젝트의 위치를 리맵핑하는
스텝을 포함하는 정보 처리 방법.
(6)
유저의 정면 방향의 기준 위치로부터의 레퍼런스 스크린의 위치 오프셋 양을 산출하고,
상기 오프셋 양에 기초하여, 상기 기준 위치를 기준으로 한 오디오 오브젝트의 위치를, 상기 레퍼런스 스크린의 위치에 맞춰서 보정하고,
보정된 상기 오디오 오브젝트의 위치에 기초하여, 재생 스크린의 위치에 맞춰서 상기 오디오 오브젝트의 위치를 리맵핑하는
스텝을 포함하는 처리를 컴퓨터에 실행시키는 프로그램.
11: 정보 처리 장치
21: 오프셋 각 산출부
22: 위치 정보 보정부
23: 오브젝트 리맵핑부

Claims (3)

  1. 유저의 정면 방향의 기준 위치로부터의 레퍼런스 스크린의 위치의 오프셋 양을 산출하는 오프셋 산출부와,
    상기 오프셋 양에 기초하여, 상기 레퍼런스 스크린의 위치를 보정하고, 상기 오프셋 양에 기초하여, 상기 기준 위치를 기준으로 한 오디오 오브젝트의 위치를, 상기 레퍼런스 스크린의 위치에 맞춰서 보정하는 위치 보정부와,
    보정된 상기 레퍼런스 스크린의 위치 및 보정된 상기 오디오 오브젝트의 위치에 기초하여, 재생 스크린의 위치에 맞춰서 상기 오디오 오브젝트의 위치를 리맵핑하는 리맵핑부
    를 구비하는, 정보 처리 장치.
  2. 유저의 정면 방향의 기준 위치로부터의 레퍼런스 스크린의 위치의 오프셋 양을 산출하고,
    상기 오프셋 양에 기초하여, 상기 레퍼런스 스크린의 위치를 보정하고, 상기 오프셋 양에 기초하여, 상기 기준 위치를 기준으로 한 오디오 오브젝트의 위치를, 상기 레퍼런스 스크린의 위치에 맞춰서 보정하고,
    보정된 상기 레퍼런스 스크린의 위치 및 보정된 상기 오디오 오브젝트의 위치에 기초하여, 재생 스크린의 위치에 맞춰서 상기 오디오 오브젝트의 위치를 리맵핑하는
    스텝을 포함하는, 정보 처리 방법.
  3. 컴퓨터 판독가능한 기록 매체에 저장된 프로그램으로서,
    유저의 정면 방향의 기준 위치로부터의 레퍼런스 스크린의 위치의 오프셋 양을 산출하고,
    상기 오프셋 양에 기초하여, 상기 레퍼런스 스크린의 위치를 보정하고, 상기 오프셋 양에 기초하여, 상기 기준 위치를 기준으로 한 오디오 오브젝트의 위치를, 상기 레퍼런스 스크린의 위치에 맞춰서 보정하고,
    보정된 상기 레퍼런스 스크린의 위치 및 보정된 상기 오디오 오브젝트의 위치에 기초하여, 재생 스크린의 위치에 맞춰서 상기 오디오 오브젝트의 위치를 리맵핑하는
    스텝을 포함하는 처리를 컴퓨터에 실행시키는, 컴퓨터 판독가능한 기록 매체에 저장된 프로그램.
KR1020237018363A 2015-07-16 2016-07-01 정보 처리 장치 및 방법, 및 프로그램 KR20230080512A (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JPJP-P-2015-142253 2015-07-16
JP2015142253 2015-07-16
JPJP-P-2015-198582 2015-10-06
JP2015198582 2015-10-06
KR1020187027083A KR102539973B1 (ko) 2015-07-16 2016-07-01 정보 처리 장치 및 방법, 및 프로그램
PCT/JP2016/069594 WO2017010313A1 (ja) 2015-07-16 2016-07-01 情報処理装置および方法、並びにプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020187027083A Division KR102539973B1 (ko) 2015-07-16 2016-07-01 정보 처리 장치 및 방법, 및 프로그램

Publications (1)

Publication Number Publication Date
KR20230080512A true KR20230080512A (ko) 2023-06-07

Family

ID=57757900

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020187027083A KR102539973B1 (ko) 2015-07-16 2016-07-01 정보 처리 장치 및 방법, 및 프로그램
KR1020237018363A KR20230080512A (ko) 2015-07-16 2016-07-01 정보 처리 장치 및 방법, 및 프로그램
KR1020187000727A KR101902158B1 (ko) 2015-07-16 2016-07-01 정보 처리 장치 및 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020187027083A KR102539973B1 (ko) 2015-07-16 2016-07-01 정보 처리 장치 및 방법, 및 프로그램

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020187000727A KR101902158B1 (ko) 2015-07-16 2016-07-01 정보 처리 장치 및 방법

Country Status (12)

Country Link
US (3) US10356547B2 (ko)
EP (3) EP4207756A1 (ko)
JP (3) JP6729585B2 (ko)
KR (3) KR102539973B1 (ko)
CN (4) CN113055801B (ko)
AU (2) AU2016292271A1 (ko)
BR (1) BR112018000489B1 (ko)
MY (1) MY198158A (ko)
RU (1) RU2721750C2 (ko)
SG (1) SG11201710889UA (ko)
TW (1) TWI618395B (ko)
WO (1) WO2017010313A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113055801B (zh) 2015-07-16 2023-04-07 索尼公司 信息处理装置、信息处理方法及计算机可读介质
EP3922658B1 (en) * 2019-02-08 2022-11-30 Mitsubishi Gas Chemical Company, Inc. Polycarbonate resin composition and optical lens using this
CN114930877A (zh) * 2020-01-09 2022-08-19 索尼集团公司 信息处理设备和信息处理方法以及程序
GB2592610A (en) * 2020-03-03 2021-09-08 Nokia Technologies Oy Apparatus, methods and computer programs for enabling reproduction of spatial audio signals

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002171460A (ja) * 2000-11-30 2002-06-14 Sony Corp 再生装置
US9002716B2 (en) * 2002-12-02 2015-04-07 Thomson Licensing Method for describing the composition of audio signals
JP2006292900A (ja) * 2005-04-08 2006-10-26 Hitachi Ltd 投写光学ユニット及びそれを用いた投写型映像表示装置
US8174617B2 (en) * 2005-08-05 2012-05-08 Samsung Electronics Co., Ltd. Apparatus for providing multiple screens and method of dynamically configuring multiple screens
US8487956B2 (en) * 2005-11-29 2013-07-16 Kyocera Corporation Communication terminal, system and display method to adaptively update a displayed image
KR100833241B1 (ko) * 2006-04-28 2008-05-28 삼성전자주식회사 슬라이딩-틸트장치 및 이를 채용한 모바일 기기
CA2874454C (en) * 2006-10-16 2017-05-02 Dolby International Ab Enhanced coding and parameter representation of multichannel downmixed object coding
JP5455420B2 (ja) * 2009-04-22 2014-03-26 キヤノン株式会社 映像音声再生装置及び映像音声再生方法
US9197736B2 (en) * 2009-12-31 2015-11-24 Digimarc Corporation Intuitive computing methods and systems
US20110123055A1 (en) * 2009-11-24 2011-05-26 Sharp Laboratories Of America, Inc. Multi-channel on-display spatial audio system
US20110123030A1 (en) * 2009-11-24 2011-05-26 Sharp Laboratories Of America, Inc. Dynamic spatial audio zones configuration
GB2477793A (en) * 2010-02-15 2011-08-17 Sony Corp A method of creating a stereoscopic image in a client device
JP5387478B2 (ja) * 2010-03-29 2014-01-15 ソニー株式会社 音声再生装置及び音声再生方法
CN102421054A (zh) * 2010-09-27 2012-04-18 夏普株式会社 多声道显示器上空间音频配置的方法和设备
JP5893129B2 (ja) * 2011-04-18 2016-03-23 ドルビー ラボラトリーズ ライセンシング コーポレイション オーディオをアップミックスして３ｄオーディオを生成する方法とシステム
AU2012279349B2 (en) * 2011-07-01 2016-02-18 Dolby Laboratories Licensing Corporation System and tools for enhanced 3D audio authoring and rendering
EP2637427A1 (en) 2012-03-06 2013-09-11 Thomson Licensing Method and apparatus for playback of a higher-order ambisonics audio signal
CN107493542B (zh) 2012-08-31 2019-06-28 杜比实验室特许公司 用于在听音环境中播放音频内容的扬声器系统
EP2733964A1 (en) * 2012-11-15 2014-05-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Segment-wise adjustment of spatial audio signal to different playback loudspeaker setup
JP6226301B2 (ja) * 2012-12-21 2017-11-08 パナソニックＩｐマネジメント株式会社 指向性マイクロホン装置、音響信号処理方法およびプログラム
US9838823B2 (en) 2013-04-27 2017-12-05 Intellectual Discovery Co., Ltd. Audio signal processing method
WO2015025186A1 (en) * 2013-08-21 2015-02-26 Thomson Licensing Video display having audio controlled by viewing direction
JP6299124B2 (ja) * 2013-09-13 2018-03-28 株式会社リコー 投影システム、画像処理装置、投影方法およびプログラム
EP2928216A1 (en) * 2014-03-26 2015-10-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for screen related audio object remapping
CN113055801B (zh) * 2015-07-16 2023-04-07 索尼公司 信息处理装置、信息处理方法及计算机可读介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ISO/IEC DIS 23008-3 "Information technology-High efficiency coding and media delivery in heterogeneous environments-Part3: 3D audio"

Also Published As

Publication number Publication date
WO2017010313A1 (ja) 2017-01-19
JP2020171047A (ja) 2020-10-15
JPWO2017010313A1 (ja) 2018-04-26
KR20180008871A (ko) 2018-01-24
RU2721750C2 (ru) 2020-05-21
AU2019204504A1 (en) 2019-07-18
CN113055801A (zh) 2021-06-29
EP3324653A4 (en) 2019-03-13
CN113055803B (zh) 2022-10-28
CN113055802A (zh) 2021-06-29
CN113055802B (zh) 2022-11-08
AU2019204504B2 (en) 2019-07-25
CN113055803A (zh) 2021-06-29
US10623884B2 (en) 2020-04-14
BR112018000489A2 (pt) 2018-09-11
US10645523B2 (en) 2020-05-05
US20190306653A1 (en) 2019-10-03
RU2018100009A3 (ko) 2019-11-27
EP3324653B1 (en) 2020-02-12
CN107852561B (zh) 2021-04-13
RU2018100009A (ru) 2019-07-10
TW201717614A (zh) 2017-05-16
KR101902158B1 (ko) 2018-09-27
SG11201710889UA (en) 2018-02-27
JP6729585B2 (ja) 2020-07-22
JP7136283B2 (ja) 2022-09-13
BR112018000489B1 (pt) 2022-12-27
MY198158A (en) 2023-08-08
TWI618395B (zh) 2018-03-11
KR102539973B1 (ko) 2023-06-05
AU2016292271A1 (en) 2018-02-08
US20190166449A1 (en) 2019-05-30
EP3324653A1 (en) 2018-05-23
EP4207756A1 (en) 2023-07-05
US20180234786A1 (en) 2018-08-16
CN107852561A (zh) 2018-03-27
JP2021158688A (ja) 2021-10-07
JP6904466B2 (ja) 2021-07-14
EP3668122A1 (en) 2020-06-17
US10356547B2 (en) 2019-07-16
CN113055801B (zh) 2023-04-07
KR20180107308A (ko) 2018-10-01
EP3668122B1 (en) 2023-08-30

Similar Documents

Publication Publication Date Title
JP7136283B2 (ja) 情報処理装置および方法
US20220247984A1 (en) System and method for interactive projection
JP6914268B2 (ja) 曲面ディスプレイ画面用のパース補正
US8786788B2 (en) System and method for image aspect preservation in multiple projector alignment
US10890966B2 (en) Graphics processing systems
US11790583B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
US10325345B2 (en) Device for performing image transformation processing and method thereof
JP7020225B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal