KR100445513B1 - 영상음성재생장치 - Google Patents

영상음성재생장치 Download PDF

Info

Publication number
KR100445513B1
KR100445513B1 KR1019960041359A KR19960041359A KR100445513B1 KR 100445513 B1 KR100445513 B1 KR 100445513B1 KR 1019960041359 A KR1019960041359 A KR 1019960041359A KR 19960041359 A KR19960041359 A KR 19960041359A KR 100445513 B1 KR100445513 B1 KR 100445513B1
Authority
KR
South Korea
Prior art keywords
head
video
rotation angle
image
voice
Prior art date
Application number
KR1019960041359A
Other languages
English (en)
Other versions
KR970019732A (ko
Inventor
유지 야마다
기요후미 이나나가
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR970019732A publication Critical patent/KR970019732A/ko
Application granted granted Critical
Publication of KR100445513B1 publication Critical patent/KR100445513B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

종래의 영상음성 재생장치는 소형화가 곤란하며, 또한 특수한 소스를 필요로 하고 있었으므로 고가였다.
음성재생부(2)는, 회전각 속도센서(16)에서의 검출결과에 따라서 상기 입력음성을 머리부(頭部)장착부(15)의 장착자의 머리외에 정위시키고, 또한 음상방향의 머리부 회전운동에의 추종을 막아서 상기 음상방향을 시청환경의 일정방향으로 고정시키는 연산을 행하는 음성신호 처리부(5)를 갖춘다. 영상재생부(10)는 회전각 속도센서(16)에서의 검출결과에 따라서 상기 입력영상을 머리부장착부(15)의 장착자의 시청환경의 일정방향으로 고정시키는 영상신호처리부(12)를 갖춘다.

Description

영상음성 재생장치
본 발명은, 머리부(頭部)에 장착함으로써 영상 및 음성을 시청할 수 있는 영상음성 재생장치에 관한 것이다.
종래 영상음성 재생시스템에 있어서의 현실감의 재현은 대화면영상, 멀티스피커 재생에 의한 계통의 대형화가 주 였으나, 근래 도 22에 나타내는 바와같이 소형화된 머리부장착형의 영상표시부(101)와 그것에 부가하는 음성재생부(102)에 의한 퍼스널화, 소형화가 도모된 영상음성 재생장치(100)가 이용되도록 되었다.
영상표시부(101)는 도 23에 나타내는 바와같이, 영상입력단자(103)에서 영상입력신호가 공급된 구동회로(104)에 의해 구동되어서 영상을 표시한다.
음성재생부(102)는 동일하게 도면에 나타내는 바와같이, 음성입력단자(105)에서 입력된 음성입력신호를 증폭기(106L 및 106R)로 증폭하여, 왼쪽 귀용 발음체(107L) 및 오른쪽 귀용 발음체(107R)에 공급하여 장착자에게 음성을 부여한다.
여기서 음성재생부(102)는, 음상을 장착자의 머리안에 정위시키고 있으므로, 상기 영상표시부(101)가 영출하는 영상과 일치하지 않고 현실감의 재현이란 의미에서는 대단히 부자연하였다.
그래서, 몸체의 움직임에 따라서 상기 영상 및 음성을 리얼타임으로 갱신하고, 다시 음성에 있어서는 현실에 가까운 음장감을 예를들면 디지털신호 처리유닛에 의해 접어넣고 현실에 가까운 시청환경을 재현하는 시도가 행하여지고 있다.
그런데, 상술한 바와같은 시도로는, 특히 음성처리에 있어서 막대한 수의 신호처리를 필요로 하고, 그 자체로 머리부에 장착할 수 있는 크기로는 될 수 없고, 또한 움직임 검출수단도 고가인 것을 사용하지 않으면 아니되므로 실용적이 아니었다.
또 가령, 음상의 두외정위를 실현하여 음성에 있어서 현실에 가까운 음장감을 얻을 수 있었다고 하더라도, 영상계가 종래와 같이 머리부의 움직임에 추종하여 시청환경내에서 이동한 경우, 음상위치와 영상위치의 사이에는 큰 엇갈림이 발생하여 부자연한 영상음성 재생으로 되게 된다.
또, 특수한 소스를 이용하여 영상내용을 머리부의 움직임에 따라서 갱신하는 경우에도 영상계, 음성계에 막대한 장치를 필요로 하고 또 고가인 시스템으로 되게 된다. 본 발명에 관계되는 영상음성 재생장치는 상기 실정에 감안하여서 이루어진 것이며, 특수한 소스를 불필요로 하면서도 안가로 음상위치와 영상위치를 일치시킬 수 있는 영상음성 재생장치의 제공을 목적으로 한다.
도 1은 본 발명에 관계되는 영상음성 재생장치의 제 1실시형태의 개략 구성을 나타내는 블록도이다.
도 2는 상기 제 1실시형태에 이용되는 음성신호 처리부의 상세한 구성을 나타내는 블록도이다.
도 3은 상기 제 1실시형태에 이용되는 음성신호 처리부가 가정하고 있는 청취환경을 나타내는 모식도이다.
도 4는 상기 제 1실시형태에 이용되는 음성신호 처리부의 시간차 부가회로에서 부가되는 지연시간의 특성도이다.
도 5는 상기 제 1실시형태에 이용되는 음성신호 처리부의 레벨차 부가회로에서 부가되는 레벨차의 특성도이다.
도 6은 상기 제 1실시형태에 이용되는 영상신호 처리부의 상세한 구성을 나타내는 블록도이다.
도 7은 상기 제 1실시형태에 이용되는 영상재생부의 표시영역의 모식도이다.
도 8은 상기 음성신호 처리부가 시간차 부가회로와 주파수특성 제어회로를 이용한 경우의 블록도이다.
도 9는 상기 주파수특성 제어회로에서 행하여지는 주파수제어의 특성도이다.
도 10은 상기 음성신호 처리부가 위상차 부가회로와 레벨차 부가회로를 이용한 경우의 블록도이다.
도 11은 상기 위상차 부가회로에서 부가되는 위상차의 변화 특성도이다.
도 12는 상기 음성신호 처리부가 위상차 부가회로와 주파수특성 제어회로를 이용한 경우의 블록도이다.
도 13은 상기 제 1실시형태에서 사용되는 회전각 속도센서에 적용할 수 있는 압전진동 자이로장치의 개략 구성도이다.
도 14는 상기 제 1실시형태에서 사용되는 회전각 속도센서에 적용할 수 있는 아날로그 각도검출기의 개략 구성도이다.
도 15는 상기 제 1실시형태에서 사용되는 회전각 속도센서에 적용할 수 있는 디지털 각도검출기의 개략 구성도이다.
도 16은 본 발명에 관계되는 영상음성 재생장치의 제 2실시형태의 개략 구성을 나타내는 블록도이다.
도 17은 상기 제 2실시형태에 입력되는 양안시차가 생긴 영상신호를 설명하기 위한 모식도이다.
도 18은 상기 제 3실시형태의 영상재생부의 동작을 설명하기 위한 모식도이다.
도 19는 본 발명에 관계되는 영상음성 재생장치의 제 4실시형태를 설명하기 위한 모식도이다.
도 20은 본 발명에 관계되는 영상음성 재생장치의 제 5실시형태의 영상재생부의 동작을 설명하기 위한 모식도이다.
도 21은 상기 제 5실시형태의 동작을 설명하기 위한 모식도이다.
도 22는 종래의 머리부장착형 영상음성 재생장치의 모식도이다.
도 23은 종래의 영상음성 재생장치의 블록도이다.
* 도면의 주요부분에 대한 부호의 설명
1. 머리부장착형영상음성재생장치 2. 음성재생부
5. 음성신호처리부 10. 영상재생부
12. 영상신호처리부 14. 영상표시부
15. 머리부장착부 16. 회전각속도센서
17. 마이크로프로세서
본 발명에 관계되는 영상음성 재생장치는, 상기 과제를 해결하기 위해 음성재생수단의 음성신호 처리부에 재생음상을 두외에 정위시키고, 또한 음상방향을 머리부의 회전운동에 불구하고 시청환경의 일정방향으로 고정시키는 신호처리를 행하지 않고, 영상재생수단의 영상신호 처리부에 영상지각위치를 상기 머리부의 회전운동에 따라서 시청환경의 일정 방향으로 고정시키는 신호처리를 행하게 한다.
또 본 발명에 관계되는 영상음성 재생장치는, 상기 과제를 해결하기 위해 음성재생수단의 음성신호 처리부에, 복수의 음성입력신호에 2계통의 임펄스응답을 접어넣는 2개의 디지털필터의 각 출력에, 상기 머리부 회전운동에 따른 머리부 회전각도에 의거해서 재생음상이 일정 방향으로 고정되도록 시간차 또는 위상차, 혹은 레벨차 또는 주파수특성을 부가시켜서, 영상재생수단의 영상신호 처리부에 입력영상신호에 대하여 상기 입력영상신호의 영상지각위치를 상기 머리부 회전각도에 따라서 시청환경의 일정 방향으로 고정하는 신호처리를 시행하게 한다.
또 본 발명에 관계되는 영상음성 재생장치는, 상기 과제를 해결하기 위해 머리부 장착부위를 제외한 장소에 설치된 영상음성신호 생성수단에 상기 회전각 검출수단에서 검출된 머리부의 회전운동에 따른 위치정보를 기본으로, 시청환경을 고정한 음성신호 및 영상신호를 머리부 장착부위의 2개의 발음체와 영상표시부에 출력시킨다.
이하, 본 발명에 관계되는 영상음성 재생장치의 몇개의 실시형태에 대하여 도면을 참조하면서 설명한다.
먼저 제 1실시형태는, 음상의 두외정위를 실현하여 입력음성을 재생하는 음성재생부(2)와, 영상의 일정 방향으로의 고정을 실현하여 입력영상을 재생하는 영상재생부(10)와, 머리부의 회전운동을 검출하는 회전각 속도센서(16)와를 예를들면 헤드밴드 또는 헬멧형의 머리부장착부(15)에 일체적으로 갖추어서 이루는 머리부장착형 영상음성 재생장치(1)이다.
음성재생부(2)는, 회전각 속도센서(16)에서의 검출결과에 따라서 상기 입력음성을 머리부장착부(15)의 장착자의 두외에 정위시키고, 또한 음상방향의 머리부 회전운동에의 추종을 막아서 상기 음상방향을 시청환경의 일정 방향으로 고정시키는 연산을 행하는 음성신호 처리부(5)를 갖춘다. 음성신호 입력단자(3)에서 입력된 음성신호는, A/D변환기(4)에서 디지털신호로 변환되어서 이 음성신호 처리부(5)에 공급된다. 음성신호 처리부(5)로 부터의 출력결과는 좌우 각각의 귀용에 대응한 D/A변환기(6L및 6R)에 출력된다. 이 D/A변환기(6L및 6R)에서 아날로그신호로 변환된 음성신호는, 헤드폰구동용의 좌우 각각의 귀용에 대응한 증폭기(7L및 7R)를 거쳐서 좌우의 귀의 위치에 설치되는 왼쪽 귀용 발음체(8L)와 오른쪽귀용 발음체(8R)에 공급된다.
영상재생부(10)는, 회전각 속도센서(16)에서의 검출결과에 따라서 상기 입력영상을 머리부장착부(15)의 장착자의 시청환경의 일정 방향으로 고정시키는 영상신호 처리부(12)를 갖춘다. 영상신호 입력단자(11)에서 입력된 영상신호는, 이 영상신호 처리부(12)에 공급된다. 이 영상신호 처리부(12)에서 처리된 영상신호는, 영상표시 구동부(13L) 및 영상표시 구동부(13R)를 거쳐서 좌우 양눈의 전편근방에 배치되는 좌안용 영상표시부(14L)와 우안용 영상표시부(14R)에 공급된다.
회전각 속도센서(16)는, 머리부장착부(15)의 장착자의 머리부의 회전각도를 검출하고, 이 검출결과를 마이크로 프로세서(17)에 공급한다. 마이크로 프로세서(17)는 머리부장착부(15)의 장착자의 정면방향으로 부터의 회전운동각도를 계산하고, 이 계산결과를 음성신호 처리부(5) 및 영상신호 처리부(12)에 공급한다.
여기서, 음성신호 처리부(5)는 도 2에 나타내는 바와같이, 입력단자(201, 202)를 거쳐서 받은 2채널의 입력음성신호에, 실제의 2개의 음원에서 머리부장착부(15)의 장착자의 양귀에 이르는 머리부 전달함수를 사용한 임펄스응답을 접어넣는 연산을 하는 4개의 디지털필터(21L, 21R,22L및 22R)와, 이 2채널중 L, R극성의 같은 출력끼리를 가산하는 한쌍의 가산기(23L및 23R)와, 이 한쌍의 가산기(23L및 23R)에 접속되는 한쌍의 시간차 부가회로(24L및 24R)와, 이 한쌍의시간차 부가회로(24L및 24R)에 접속되는 한쌍의 레벨차 부가회로(25L및 25R)와를 갖추고, 상기 회전각 속도센서(16) 및 마이크로 프로세서(17)를 거쳐서 얻어진 회전운동 각도에 따라서 상기 한쌍의 시간차 부가회로(24L및 24R)와 상기 한쌍의 레벨차 부가회로(25L및 25R)에서 부가하는 시간차 및 레벨차의 증감방향을 역으로 한다.
구체적으로 이 음성신호 처리부(5)에서는, 도 3에 나타내는 바와같은 상태를 가정하여 발음체(8L, 8R)에 음성신호를 공급하고 있다. 즉 입력음성신호는 정면범위 180°로 정위시켜야 하는 것으로써 음원(301), 음원(302)으로 부터의 2채널을 고려하였다.
먼저 입력단자(201, 202)에서 입력된 디지털음성신호에는, 각각 초기상태에 있어서 전편의 어느 방향으로 정위하는데 상당하는 음원(301, 302)에서 양귀에의 머리부 전달함수에 상당하는 임펄스리스폰스가 디지털필터(21L, 21R,22L및 22R)에 의해 접어넣어지고, L측출력이 가산기(23L)에서 가산되어서 시간차 부가회로(24L) 및 레벨차 부가회로(25L)를 거쳐서 출력단자(26L)에서 출력되고, R측출력이 가산기(23R)에서 가산되어서 시간차 부가회로(24R) 및 레벨차 부가회로(25R)를 거쳐서 출력단자(26R)에서 출력된다.
여기서, 음원(301), 음원(302)에서 청취자(M)의 양귀(1, r)에의 머리부 전달함수는, 도 3에 나타내는 바와같은 HL1, HLr, HR1,HRr이 고려된다. 그리고 L채널, R채널의 각각의 스피커에서 출력되는 신호를 SL, SR로 하면, 왼쪽 귀(l)에는 SLHL1+SRHR1이, 오른쪽 귀(r)에는 SRHRr+SLHLr이 공급되도록 임펄스리스폰스가 디지털필터(21L, 21R, 22L및 22R)에 의해 접어넣어진 음성이 발음체(8L, 8R)에 의해 머리부장착부(15)의 장착자의 양귀에 부여된다.
또한 청취자(M)가 머리부를 예를들면 좌측으로 움직이면, 왼쪽 귀(l)는 음원(301및 302)에서 멀어지게 되고, 오른쪽 귀(r)는 음원(301, 302)에서 가까와지게 된다. 이때문에 왼쪽 귀(l)와 오른쪽 귀(r)에 달하는 음성 입력신호에는 시간차 및 레벨차가 생기게 된다. 이 시간차 및 레벨차가 생기게 하는 것이 상기 한쌍의 시간차 부가회로(24L및 24R)와 상기 한쌍의 레벨차 부가회로(25L및 25R)이다.
L측용의 시간차 부가회로(24L)에서 부가되는 지연시산은, 도 4의 지연시간 특성의 일점쇄선의 특성커브(Tb)로 표시되고, R측용의 시간차 부가회로(24R)에서 부가되는 지연시간은 도 4의 지연시간특성의 파선의 특성커브(Ta)로 표시된다. 특성커브(Ta및 Tb)는 청취자(M)의 머리부의 회전방향에 대하여 전적으로 역의 증감방향을 갖는 곡선으로 되어있다. 이것에 의해 청취자(M)가 전편 180°의 범위내에놓여진 음원으로 부터의 음을 머리를 좌우로 회전시키면서 들은 경우와 동일한 음원에서 양귀까지의 시간변화가 입력단자(201및 202)에서 입력된 신호에 부가되게 된다.
또 L측용의 레벨차 부가회로(25L)에서 부가되는 레벨차는, 도 5의 상대레벨특성의 파선의 특성커브(La)로 표시되고, R측용의 레벨차 부가회로(25R)에서 부가되는 레벨차는, 도 5의 상대레벨특성의 일점쇄선의 특성커브(Lb)로 표시된다. 이 도 5는 머리의 회전위치가 0°의 상태로 부터의 상대레벨을 나타내고 있다. 특성커브(La및 Lb)는 청취자(M)의 머리부의 회전방향에 대하여 전적으로 역의 증감방향을 갖는 곡선으로 되어있다. 즉 레벨차 부가회로(25L)에서는 특성커브(La)의 레벨변화, 레벨차 부가회로(25R)에서는 특성커브(Lb)의 레벨변화가 부가되므로 전편의 음원을 실제로 듣는 것과 동일한 음량변화가 입력단자(201및 202)로 부터의 입력신호에 부가된다.
이상에서, 음성재생부(2)에 의해 재생되는 음성신호는 실제의 음을 머리를 움직이면서 듣는 경우와 동일한 변화를 하고, 이때문에 수청환경에 대하여 두외의 일정방향으로 전편을 포함해서 정위하게 된다. 또 상기 2채널 이상의 복수의 음성신호를 이용하면, 임의의 위치에 음상이 정위하는 입체적인 음장재생이 가능하게 된다.
다음에 영상신호 처리부(12)는, 도 6에 나타내는 바와같이 입력단자(31)를거쳐서 받은 영상입력신호를 A/D변환기(32)에서 디지털신호로 부호화하여 화상메모리(33)위에 격납하고, 영상의 표시위치를 머리부의 회전각도에 따라서 변화하도록 처리한다.
화상메모리(33)에 부호화 영상신호인 영상데이터를 격납하는 격납어드레스는 , 마이크로프로세서(17)에서 계산된 회전운동각도에 따라서 메모리제어기(37)에 의해 결정된다. 이때문에 화상메모리(33)는 상기 영상데이터를 표시영역의 일부로써 거둬들인다. 영상데이터가 거둬들여지지 않는 화상메모리(33)에는 흑색 혹은 다른 일정색을 표시하는 데이터가 보존된다. D/A변환기(34)는 화상메모리(33)전체가 표시되는 영상신호로써 상기 영상데이터를 아날로그신호로 변환한다. 이 영상신호는 영상출력 증폭기(35)를 거쳐서 출력단자(36)에서 도 1에 나타내는 영상표시 구동부(13L및 13R)에 공급된다. 그리고 영상표시부(14L및14R)에 표시된다. 이때문에 화상메모리(33)위에서의 영상데이터 배치위치가 머리부의 회전각도에 따라서 변화하고, 양눈의 전편근방에 배치된 영상표시부(14L및14R)위에는 시청환경의 일정방향으로 고정되는 바와같은 영상이 표시된다.
여기서 영상표시부(14L및14R)위의 표시영역은, 도 7에 나타내는 바와같은 구성으로 되어있다. 즉 표시영역은 640×480도트이며, 각 도트에 화상메모리(33)의 독립한 기억영역이 대응하고 있다. 여기서 각 도트에 대하여 확보하는 기억용량은 디지털신호로써 다루는 경우의 비트길이, 컬러표시유무 등으로 결정된다.
상기 표시영역중에서 영상데이터를 다시 320×200도트의 해상도로 한정표시하는 경우를 고려한다. 먼저 상기 표시영역의 좌상모퉁이의 좌표를(0, 0)으로 하고, 상기 한정표시영역의 초기상태에서의 좌상모퉁이의 좌표를(x1, y1)로 한다. 머리부가 좌로 회전한 경우 영상이 시청환경의 일정위치에 멈추기 위해서는 영상위치는 상기 한정표시 영역위에서 우방향으로 가득차고(x2, y1)「단, x2>x1」로 이동하지 않으면 아니된다. 여기서 이동량(x2-x1)은 머리부의 회전각도θ(rad)와 머리부회전 중심에서 표시장치까지의 거리(r)로 결정하고, θ가 작을 때에는 거의 x2-x1=rθ로 계산된다. 이것을 실현하기 위해 메모리제어기(37)는 영상데이터를 표시영역위의 좌표가(x2, y1), (x2, y1+200), (x2+320, y1+320), (x2+320, y1)에서 둘러싸이는 영역에 대응하는 화상메모리(33)위에 격납위치를 이동시킨다.
이상 본 발명의 제 1실시형태인 머리부장착형 영상음성재생장치(1)는, 마이크로프로세서(17)에서 계산된 머리부의 회전운동각도에 따라서 음성신호 처리부(5)와 영상신호 처리부(12)에서 음상정위위치 및 영상위치를 두외 및 시청환경의 일정방향으로 멈추도록 신호처리하므로, 종래와 같이 음상정위위치와 영상위치가 겹처서 양자의 불일치에 의한 위화감을 해소할 수 있고, 표시장치위에 영출되는 영상위의 발음원과 실제의 음상의 위치를 상시 일치시킬 수 있다. 또한 영상과 음상의 상승효과에 의해 음성만의 경우에 비하여 보다 명확한 음상정위가 얻어져 리얼한 영상음성재생이 가능하게 된다.
또한 이 머리부장착형 영상음성재생장치(1)에서는, 음성재생부(2)의 음성신호 처리부(5)를 도 8, 도 10 및 도 12와 같이 구성하여도 좋다.
도 8에 나타내는 음성신호 처리부(5)는, 도 2에 나타낸 한쌍의 레벨차 부가회로(25L및 25R)대신에 한쌍의 주파수특성 제어회로(27L및 27R)를 한쌍의 시간차 부가회로(24L및 24R)의 출력측에 접속하여서 이룬다.
여기서 한쌍의 주파수특성 제어회로(27L및 27R)는, 도 9에 나타내는 바와같은 주파수특성을 머리부장착부의 장착자의 머리부 회전각도에 따라서 상기 입력신호에 부여하여, 주파수특성을 제어하는 것이다. 머리부를 정면전편으로 고정한 채(0°라고 도시한다)라면 실선으로 나타내는 바와같이 주파수(f)가 높아저도 리스폰스는 일정하나, 예를들면 우측으로 90°회전한 경우와 좌측으로 90°회전한 경우에서는, 주파수(f)가 높아짐에 따라 리스폰스차가 생긴다. 머리부를 우측으로 90°회전한 경우(+90°라고 도시한다), 일점쇄선으로 나타내는 바와같이 주파수(f)가 높아질수록 리스폰스는 상승한다. 이에 대하여 머리부를 좌측으로 90°회전한 경우(-90°라고 도시한다), 파선으로 나타내는 바와같이 주파수(f)가 높아질수록 리스폰스는 감소한다. 양자는 머리부를 정면방향으로 고정할 때의 실선으로 표시하는 리스폰스특성을 축으로 하여 상하대칭으로 되어있다.
따라서 도 8에 나타낸 음성신호 처리부(5)는, 전편 2채널의 2개의 음원으로 부터의 입력신호에 한쌍의 시간차 부가회로(24L및 24R)에서 머리부 회전각도에 따라서 부가하는 시간차의 증감방향을 역으로 하여 부여하고, 한쌍의 주파수특성 제어회로(27L및 27R)에서 머리부 회전각도에 따라서 제어하는 주파수특성의 변화방향을 역으로 하므로, 전편음성신호에 대하여 실제의 음원의 음을 머리를 움직이면서 듣는 것과 동등한 양귀사이의 시간차 및 주파수특성을 실현할 수 있으므로, 여러 방향으로 양호한 두외 음상정위를 실현할 수 있다.
다음에 도 10에 나타내는 음성신호 처리부(5)는, 도 2에 나타낸 한쌍의 시간차 부가회로(24L및 24R)대신에 한쌍의 위상차 부가회로(28L및 28R)를 한쌍의 레벨차 부가회로(25L및 25R)의 입력측에 접속하여 이룬다.
여기서 한쌍의 위상차 부가회로(28L및 28R)는, 도 11에 나타내는 바와같은 위상변화특성에 따른 위상차를 장착자의 머리부 회전각도에 따라서 상기 입력신호에 부여한다. 머리부를 정면전편으로 고정한 채(0°라고 도시한다)라면 실선으로 나타내는 바와같은 위상차(θ)가 되는바, 예를들면 머리부가 우측으로 90°회전한 경우와 좌측으로 90°회전한 경우에서는, 위상차가 좌우로 시프트한다. 머리부를 우측으로 90°회전한 경우(+90°라고 도시한다), 일점쇄선으로 나타내는 바와같이 위상은 진행한다. 이에 대하여 머리부를 좌측으로 90°회전한 경우(-90°라고 도시한다), 파선으로 나타내는 바와같이 위상은 늦어진다.
따라서, 도 10에 나타낸 음성신호 처리부(5)를 이용한 머리부장착형 영상음성재생장치(1)에 의하면, 전편 2채널의 음원으로 부터의 입력신호에 한쌍의 위상차 부가회로(28L및 28R)에서 머리부 회전각도에 따라서 부가하는 위상차의 증감방향을역으로 하여 부여하고, 한쌍의 레벨차 부가회로(25L및 25R)에서 머리부 회전각도에 따라서 부가하는 레벨차의 증감방향을 역으로 하여 부여하므로, 전편 음성신호에 대하여 실제의 음원의 음을 머리를 움직이면서 듣는 것과 동등한 양귀사이의 위상차특성 및 레벨차특성을 재현할 수 있으므로 여러 방향으로 양호한 두외음상정위를 실현할 수 있다.
또 다음에 도 12에 나타내는 음성신호 처리부(5)는, 도 8에 나타낸 한쌍의 시간차 부가회로(24L및 24R)대신에 한쌍의 위상차 부가회로(28L및 28R)를 한쌍의 주파수특성 제어회로(27L및 27R)에 접속하여 이룬다.
여기서 한쌍의 위상차 부가회로(28L및 28R)는, 도 11에 나타내는 바와 같은 위상변화특성에 따른 위상차를 머리부장착형 영상음성재생장치(1)의 장착자의 회전각도에 따라서 상기 입력신호에 부여한다.
또 한쌍의 주파수특성 제어회로(27L및 27R)는, 도 9에 나타내는 바와같은 주파수특성을 상기 장치(1)의 장착자의 머리부 회전각도에 따라서 상기 입력신호에 부여하여, 주파수특성을 제어하는 것이다.
따라서, 도 12에 나타낸 음성신호 처리부(5)를 이용한 머리부장착형 영상음성재생장치(1)에 의하면, 전편 2채널의 2개의 음원으로 부터의 입력신호에 한쌍의 위상차 부가회로(28L및 28R), 제 2 한쌍의 위상차 부가회로(31L및 31R)에서 머리부의 회전각도에 따라서 부가하는 위상차의 증감방향을 역으로 하여 부여하고, 제 1한쌍의 주파수특성 제어회로(27L및 27R), 제 2 한쌍의 주파수특성 제어회로(29L및 29R)에서 머리부 회전각도에 따라서 제어하는 주파수특성의 변화방향을 역으로 하므로 전편 음성신호에 대하여도, 후편 음성신호에 대하여도 실제의 음원의 음을 머리를 움직이면서 듣는 것과 동등한 양귀사이의 위상차 및 주파수특성을 실현할 수 있으므로 여러 방향으로 양호한 두외 음상정위를 실현할 수 있다.
여기서 도 1에 나타낸 회전각 속도센서(16)에 대하여 설명하여 둔다. 회전각 속도센서(16)는 머리부장착부(15)룰 장착하고 있는 장착자의 머리부의 회전각 속도를 검출한다. 특히 제 1실시형태가 되는 머리부장착형 영상음성재생장치에서는, 회전각 속도센서(16)로써 도 13에 나타내는 바와같은 압전진동 자이로장치(80)를 이용하고 있다. 이 압전진동 자이로장치(80)는 운동체의 요동운동을 압전소자에 의해 검출하는 장치이다. 도 13에 있어서 정사각형 단면의 진동용 사각기둥으로 되는 진동용 압전소자(81)는 여러가지의 진동체로 구성된다. 이 진동용 압전소자(81)가 대향하는 2면에는, 검출용 압전소자(82 및 83), 구동용 압전소자(84 및 84)가 부착되어 있다.
구동용 압전소자(84 및 85)에는 구동용 신호원(86)이 접속되고, 교체번호를 공급하도록 구성되어 있다. 검출용 압전소자(82 및 83)의 출력은 차동증폭기(87)에 공급된다. 이 차동증폭기(87)의 차동출력과 구동용 신호원(86)의 출력이 승산기 또는 위상검파기(88)에 공급되어 승산 또는 위상이 검파된다. 승산기 또는 위상검파기(88)의 출력은 도 1에 나타내는 마이크로 프로세서(17)에 공급된다.
이와같이 구성된 압전자이로장치(80)는 아래와 같이 동작한다. 먼저 구동용 압전소자(84 및 85)에 진동용 압전소자(81)의 고유진동 주파수의 교체신호를 인가하면, 진동용 압전소자(81)는 도시의 진동파형에 의거해서 강제 진동된다. 이 진동은 일정한 모드로 공진을 발생시키는 것이다.
이 경우, 외력이 가하여지지 않은 상태에서는, 검출용 압전소자(82 및 83)의 출력은 없으나 진동용 압전소자(81)에 대하여 축방향으로 각속도(ω)의 회전력이 가하여지면, 코리오리의 힘에 의해 반송파로써의 강제진동용의 교체신호가 진폭변조되어 신호로 되어서 검출된다. 이 경우의 진폭의 크기는 축에 미치는 회전의 각속도(ω)에 비례하고, 회전방향은 구동용신호에 대한 검출신호의 위상 엇갈림방향으로 대응한다.
따라서 진폭변조된 검출신호와 구동용신호와의 곱을 취하고, 그 신호를 저역필터로써의 대역제한필터로 반송파성분을 제거하고, 검출신호로 하는 것이 행하여지고 있다.
또 회전각 속도센서(16)는, 도 14에 나타내는 바와같은 아날로그 각도검출기(90)라도 좋다. 이 아날로그 각도검출기(90)는 머리부장착부(15)에 설치되어 머리부의 움직임을 검출한다. 아날로그 각도검출기(90)에서는 머리부장착부(15)의 중앙부에 CDS나 포토다이오드 등의 빛의 강도에 의해 저항치가 변화하는 수광소자로 되는 수광기(91)를 부착하고 있다. 이 수광기(91)와 대향하여 전구나 발광다이오드 등의 발광기(93)가 설치되고 있어서, 이 발광기(93)에 의해일정한 강도의 빛을 수광기(91)로 향해서 조사하도록 되어있다.
그때, 이 발광기(93)의 투사광의 통로사이에 회전각도에서 투사광의 투과도가 변화하는 가동셔터(92)가 설치되어 있고, 이 가동셔터(92)는 자침과 함께 회전하도록 되어있다. 따라서 수광기(91)에 일정한 전류를 흘릴때 수광기(91)의 수광소자 양단의 전압은 자침(94)이 나타내는 남북방향을 기준으로 하여, 머리부장착부(15)의 장착자의 방향을 포함하는 머리의 움직임을 나타내는 아날로그출력이 꺼내진다.
또 회전각 속도센서(16)는, 도 15에 나타내는 바와같은 디지털 각도검출기(95)라도 좋다. 이 디지털 각도검출기(95)는 머리부장착부(15)에 설치되어 머리부의 움직임을 검출한다. 이 디지털 각도검출기(95)에서는 머리부장착부(15)의 중앙부에 로터리엔코더(96)가, 그 입력축이 수직이 되도록 설치되어 있는 동시에, 그 입력축에 자침(97)이 설치되어 있다. 따라서 로터리엔코더(96)로 부터는 자침(97)이 나타내는 남북방향을 기준으로 하여, 머리부장착부(15)의 장착자의 방향을 포함하는 머리의 움직임을 나타내는 출력이 꺼내진다.
또 회전각 속도센서(16)는, 전편 혹은 주위에 놓여진 발광기와 머리부장착부(15)에 설치된 적어도 2개의 광강도센서의 출력비에 의해 회전각을 산출하도록 하여도 좋다.
또 이 회전각 속도센서(16)는, 머리부장착부(15)상의 떨어진 2개소에 부착된 마이크로폰으로 전편 혹은 주위에 놓여진 초음파 발진기에서 단속적으로 발생되는 버스트신호를 독해하여 각각의 수신신호의 시간차에서 회전각도를 산출하도록 하여도 좋다.
다음에 제 2실시형태에 대하여 설명한다. 이 제 2실시형태는 도 16에 나타내는 바와같이, 음상의 두외정위를 실현하여 입력음성을 재생하는 음성재생부(42)와, 영상의 일정방향에의 고정을 실현하여 입력영상을 재생하는 영상재생부(48)와, 머리부의 회전운동을 검출하는 회전각 속도센서(45)와를 머리부장착부(47)에 일체적으로 갖추어서 이루며, 영상재생부(48)에 표시하는 영상을 양안시차를 이용한 입체영상으로 한 머리부장착형 영상음성 재생장치(40)이다.
음성재생부(42)의 구성은, 제 1실시형태의 음성재생부(10)와 동일하다. 즉 음성신호 처리부(5)를 도 2, 도 8, 도 10 또는 도 12와 같이 구성하고, 입력단자(43)를 거쳐서 입력된 입력음성신호에 상술한 음성신호 처리를 실시하고, D/A변환 및 증폭기를 거쳐서 발음체(44L및 44R)에 공급한다.
영상재생부(48)에는, 도 17에 나타내는 바와같이 동일 피사체(55)를 양안카메라(왼쪽 용)(56L) 및 양안카메라(오른쪽 용)(56R)에 의해 촬영하여 얻어진 양안시차가 생긴 왼쪽 눈용의 영상신호 및 오른쪽 눈용의 영상신호가 입력단자(49L및 49R)를 거쳐서 입력된다. 왼쪽 눈용의 영상신호는 왼쪽 눈용의 영상신호 처리부(50L)에 공급되고, 여기서 회전각 속도센서(45)에서의 검출결과에 따라서 시청환경의 일정방향으로 고정되도록 처리된다. 또 오른쪽 눈용의 영상신호는 오른쪽 눈용의 영상신호 처리부(50R)에 공급되고, 여기서 상기 검출결과에 따라서 시청환경의 일정방향으로 고정되도록 처리된다. 즉 영상신호 처리부(50L) 및 영상신호 처리부(50R)는 머리부의 회전각도에 따라서 상기 왼쪽 눈용의 영상신호 및 상기 오른쪽 눈용의 영상신호의 표시위치가 영상표시부(50L) 및 영상표시부(50R)에서 변화하도록 처리한다. 머리부가 우측으로 회전하고 있을 때에는 상기 왼쪽 눈용의 영상신호 및 상기 오른쪽 눈용의 영상신호의 프레임합성위치는 영상표시부(52L) 및 영상표시부(52R)내에서 좌측으로 이동하고, 역으로 머리부가 좌측으로 회전하고 있을 때에는 상기 프레임합성위치는, 영상표시부(52L) 및 영상표시부(52R)내에서 우측으로 이동한다. 이때문에 영상은 시청환경내에서 일정방향으로 멈추고 있는 것같이 보인다. 또 영상신호는 상술한 바와같이 양안시차를 묘사함으로 원근감이 있는 입체적인 영상으로써 지각된다.
또한 영상신호 처리부(50L및 50R)는, 상기 도 6에 나타낸 것과 동일한 구성이다. 또 영상표시부(52L및 52R)의 표시영역은, 상기 도 7에 나타낸 것과 동일한 구성이다. 여기서는 설명을 생략한다.
이상, 본 발명의 제 2실시형태인 머리부장착형 영상음성재생장치(40)는, 마이크로프로세서(46)에서 계산된 머리부의 회전운동각도에 따라서 음성신호 처리부와 영상신호 처리부(50L및 50R)에서 음상정위위치 및 양안시차가 생기고 있는 영상위치를 두외 및 시청환경의 일정방향으로 멈추도록 신호처리하므로, 종래와 같이음상정위위치와 영상위치가 겹쳐서 양자의 불일치에 의한 위화감을 해소할 수 있고, 디스플레이상에 입체적으로 영출되는 영상상의 발음과 실제의 음상의 위치를 상시 일치시킬 수 있다. 또한 입체영상과 음상의 상승효과에 의해 음성만의 경우에 비하여 보다 명확한 음상정위가 얻어지는 리얼한 입체영상 음성재생이 가능하게 된다.
다음에 제 3실시형태에 대하여 설명한다. 이 제 3실시형태는 상기 도 1에 나타낸 머리부장착형 영상음성재생장치(1)와 동일한 구성이 되는바, 영상신호 처리부(12)가 영상신호의 일부를 선택적으로 출력하는것 같은 영상신호처리를 행한다.
즉, 회전각 속도센서(16)가 검출한 회전각 속도에서 마이크로프로세서(17)가 계산한 머리부 회전각도에 따라서, 영상표시부(14L및 14R)에 표시되는 내용이 마치 시청환경의 일정방향으로 고정하고 있는 것같이 변화한다.
이와같은 영상영역의 선택의 모양을 도 18을 참조하면서 설명한다. 초기상태에서 영상신호 처리부(12)가 영상표시부(14L및 14R)에 영상신호내용 전영역(57)중, 표시영역(58)을 출력하고 있은 후, 시청자의 머리부가 우로 회전하면 영상신호 처리부(12)는 연속적으로 그 회전각도에 알맞는 영상인 표시영역(59)을 영상표시부(14L및 14R)에 출력한다. 역으로 머리부가 이 상태에서 좌측으로 회전한 경우는 표시영역(58)의 방향으로 향한다.
영상신호 처리부(12)는 상기 도 6에 나타낸 것과 동일한 구성이 되는바, 상기 제 1실시형태가 영상데이터를 화상메모리(33)상에 전개하는 방법을 그메모리(33)의 일부로 한데 대하여, 영상데이터를 화상메모리(33)의 전영역에 격납하고, 실제의 표시영역을 그중의 일부를 잘라내서 표시하고 있다.
음성재생부(2)의 구성 및 동작은, 도 1에 나타낸 음성재생부(2)와 동일하므로 여기서 설명을 생략한다.
이와같이 영상신호 처리부(12)는, 표시내용을 시청환경내에서 일정방향으로 멈춰놓으므로, 이 제 3실시형태는 영상과 음상방향을 일치한 영상음성 재생을 가능하게 한다.
다음에 제 4실시형태에 대하여 설명한다. 이 제 4실시형태는 도 19에 나타내는 바와같이, 머리부장착부(65)와는 별도로 설치한 영상음성신호 생성부(61)에 머리부장착부(65)의 장착자의 위치정보를 입력하고, 이 위치정보에 따라서 영상신호 및 음성신호를 영상음성환경이 고정하도록 출력하는 머리부장착형 영상음성재생장치(60)이다.
머리부장착부(65)에 설치된 회전각 속도센서(66)에 의해 검출된 머리부회전각도는 마이크로프로세서(67)에 입력되어 여기서 위치정보 제어신호로 변환된다. 이 위치정보 제어신호는 위치정보 출력단자(68)를 거쳐서 영상음성신호 생성부(61)에 공급된다.
영상음성신호 생성부(61)는 상기 위치정보 제어신호에 따라서 머리부장착부(65)의 장착자의 위치정보를 알고, 영상신호 및 음성신호의 내용을 갱신한다. 여기서 영상음성신호 생성부(61)는 영상신호를 컴퓨터그래픽 등의 수법에 의해 합성하여 출력하는 동시에, 음성신호를 미리 대규모 메모리 등에 기억하고상기 대규모메모리에서 선택적으로 추출하여 출력한다. 이때문에 영상음성신호 생성부(61)는 상기 머리부장착부(65)의 장착자의 머리부위치에 따라서 갱신한 상기 컴퓨터그래픽 등의 수법에 의해 합성한 상기 영상신호를 영상입력단자(62)를 거쳐서 영상표시 구동부(63L및 63R)에 공급한다. 또 영상음성신호 생성부(61)는 상기 머리부장착부(65)의 장착자의 머리부위치에 따라서 갱신한 상기 대규모 메모리에서 선택적으로 추출한 상기 음성신호를 음성입력단자(69)를 거쳐서 음성재생부(70)에 공급한다.
음성재생부(70)는, 상기 음성신호에 대하여 도 1의 음성재생부(1)가 행한 것과 동일한 음성신호처리를 실시하고, 머리부장착부(65)에 헤드폰을 구성하도록 설치되어 있는 발음체(71L및 71R)에 공급한다. 따라서 음성신호는 시청자의 머리부의 움직임에 따라서 음상이 두외의 일정위치에 고정되도록 처리된다. 또 복수의 음성신호를 이용함으로써 임의의 위치에 복수의 음상이 정위하는 입체적인 음장재생이 가능하게 된다.
한편, 영상입력단자(62)를 거쳐서 상기 영상신호가 입력된 영상표시 구동부(63L및 63R)는, 상기 영상신호를 상기 머리부장착부(65)에 있어서 양눈의 근방의 위치가 되도록 설치된 영상표시부(64L및 64R)에 공급한다. 영상표시부(64L및 64R)는 상기 영상신호를 그 내용자체가 시청환경내에서 고정되도록 표시한다. 즉 머리부가 우측으로 회전하고 있을 때는 영상은 우측으로팬(PAN)하는 것같은 영상내용이 되고, 역으로 머리부가 좌측으로 회전하고 있을 때는 영상은 좌측으로 팬하여 이동하는 내용이 된다. 이때문에 표시내용은 시청환경내에서 일정방향으로 멈춰있는 것같이 보인다.
이와같이, 제 4실시형태가 되는 머리부장착형 영상음성재생장치(60)는, 영상 및 음장이 친근감도 포함해서 영상상의 발음원에 실제의 음상이 정위하도록 구성할 수 있으므로 극히 리얼리티가 높은 영상음성재생이 가능하게 된다.
다음에 제 5실시형태에 대하여 설명한다. 이 제 5실시형태는 상기 제 3실시형태와 동일하게 상기 도 1에 나타낸 머리부장착형 영상음성재생장치(1)와 같은 구성이 되고, 영상신호 처리부(12)가 영상신호의 일부를 선택적으로 출력하는 것같은 영상신호처리를 행하는 동시에, 표시영역이 영상신호내용의 한계에 달한 경우는 영상 및 음상정위위치를 머리의 움직임과 동기시켜 시청환경에 대하여 회전시킨다.
즉, 초기상태에서 영상신호 처리부(12)가 영상표시부(14L및 14R)에 영상신호내용 전영역(57)중, 표시영역(58)을 출력하고 있은 후, 시청자의 머리부가 우로 회전하면 영상신호 처리부(12)는 연속적으로 그 회전각도에 알맞는 영상인 표시영역(59)을 영상표시부(14L및 14R)에 출력한다. 역으로 머리부가 이 상태에서 좌측으로 회전한 경우는 표시영역(58)의 방향으로 향한다.
여기서 도 20에 나타내는 바와같이, 표시영역(85)이 영상신호내용의 전영역(57)의 한계에 달한 경우는, 그 시점에서 영상 및 음상정위위치는 머리부의 움직임과 동기하여 시청환경에 대하여 회전, 즉 머리부에 대하여 고정하여 움직임표시영역(87)이 되고, 이 상태에서 머리부가 역방향으로 회전한 경우는 또 영상신호내용의 전영역(57)이 허용하는 한 영상, 음상과 함께 시청환경에 대하여 고정된다.
이와같이, 시청자가 통상 기존의 영화 등의 소프트를 이 제 5실시형태를 장착하여 감상하는 경우, 모든 범위내에서 영상 및 음성이 고정될 필요는 없고, 예를들면 도 21에 나타내는 바와같은 시청자(M)의 전편(F)의 일정범위내(W)에서 상기 영상위치의 고정을 실현하면 실용상 충분한 범위에서 영상위치와 음상위치가 고정되게 되고, 이 범위내(W)에서 표시내용은 시청환경내에서 일정방향으로 멈춰있는 것같이 보이고, 영상과 음상방향이 일치한 영상음성재생이 가능하게 된다. 또 음성신호에 대한 머리부의 움직임에 의한 양귀사이의 시간차 및 레벨차도 실음원을 듣는 것과 동일하게 부가되므로 음상은 두외의 더구나 전방향도 포함한 상태에서 정위가 가능하게 된다.
또한 상기 음성입력신호는, 와이어리스로 머리부장착부상의 상기 음성재생수단에 공급되어도 좋다. 또 상기 영상입력신호는, 와이어리스로 머리부장착부상의 상기 영상재생수단에 공급되어도 좋다.
본 발명에 관계되는 영상음성 재생장치는, 음성재생수단의 음성신호 처리부에 재생음상을 두외에 정위시키고, 또한 음상방향을 머리부의 회전운동에 불구하고 시청환경의 일정방향으로 고정시키는 것같은 신호처리를 행하게 하고, 영상재생수단의 영상신호 처리부에 영상지각위치를 상기 머리부의 회전운동에 따라서 시청환경의 일정방향으로 고정시키는 것같은 신호처리를 행하게 하므로, 음상을 두외 특히 종래정위가 어렵다고 한 전편방향에 대하여 정위가능하게 한다. 또 영상위치가 일정위치에 멈추므로 음상정위위치와 영상위치가 겹쳐서 양자의 불일치에 의한 위화감을 해소할 수 있다. 또한 영상과 음상의 상승효과에 의해 음성만의 경우에 비하여 보다 명확한 음상정위가 얻어져 리얼한 영상음성재생이 가능하게 된다. 그리고 또 음상두외정위 처리를 간단한 구성의 신호처리로 실현할 수 있으므로, 가반성이 뛰어난 염가한 장치를 소형으로 구성할 수 있다.
또 입력시키는 영상신호에 양안시차를 가지게하고 있으면, 원근간(間)이 있는 입체적인 영상을 재생할 수 있고, 종래와 같이 음상정위위치와 영상위치가 겹쳐서 양자의 불일치에 의한 위화감을 해소할 수 있고, 디스플레이상에 입체적으로 영출되는 영상상의 발음원과 실제의 음상의 위치를 상시 일치시킬 수 있다. 또한 입체영상과 음상의 상승효과에 의해 음성만의 경우에 비하여 보다 명확한 음상정위가 얻어져 리얼한 입체영상 음성재생이 가능하게 된다.
또 영상재생수단은, 영상신호의 일부를 선택적으로 표시할 수 있으므로, 머리부의 일정범위의 움직임에 대하여 시청자가 보고 있는 영상량을 감소시키지 않고 음상정위위치와 영상위치의 시청환경에 대한 고정화를 실현할 수 있다.
또 본 발명에 의하면, 예를들면 컴퓨터그래픽과 같이 리얼타임으로 영상을 합성할 수 있는 시스템에 응용하고 영상내용 자체의 내용을 머리부의 회전운동에 따라서 갱신하여 표시할 수 있도록 하였으므로, 머리부의 일정범위의 움직임에 대하여 시청자가 보고있는 영상량을 감소시키지 않고 음상정위위치와 영상질의 시청환경에 대한 고정화를 실현할 수 있다.
또 음성재생수단, 영상재생수단은 머리부의 움직임에 따라서 정면방향을 중심으로 하여 어느 범위내에서만 음상방향을 시청환경의 일정방향으로 고정시키고, 그 범위를 초과한 경우는 머리부의 움직임에 따라서 음성방향을 이동시킬 수 있으므로, 머리의 움직임에 따라서 표시내용이 변화하지 않는 영상을 보는 경우에도 음상방향을 시청환경의 일정방향으로 고정하는 범위의 한정을 행하고 있으므로, 영상방향과 음상방향이 크게 엇갈리지 않고, 또 동적인 음성신호처리에 의한 음상의 전편정위를 가능하게 하고, 예를들면 영화감상과 같은 넓은 영상표시범위를 필요로 하지 않고 통상 움직임이 적은 상태에서 감상하는 영상음성소스라도 충분한 리얼리티와 임장감(臨場感)을 가진 영상음성 재생을 용이하게 한다.
또 본 발명에서는 머리부장착부에 회전검출수단 및 음성재생수단을 갖추고, 머리부의 움직임을 검출하고 정면방향을 중심으로 하여 어느 범위내에서만 영상방향과 음상방향이 시청환경의 일정방향으로 고정하고 있는 것같이 변화시키고, 그 범위를 초과한 경우는 머리부의 움직임에 따라서 영상방향, 음상방향 함께 이동하므로, 머리부의 움직임에 따라서 표시내용이 변화하는 영상이 갖는 정보용량이 한정되어 있는 경우에도 머리부의 회전운동범위를 한정하고 있는 경우에는, 영상방향과 음상방향을 시청환경의 일정방향으로 고정할 수 있다. 또 동적인 음성신호처리에 의한 음상의 전편정위를 가능하게 하고, 예를들면 영화감상과 같은 넓은 영상표시범위를 필요로 하지 않고 통상의 움직임이 적은 상태에서 감상하는 시스템에는 충분한 리얼리티와 임장감있는 영상음성 재생을 용이하게 구성할 수 있다.
또 음성재생수단을 머리부장착부에 내장함으로써, 바이너럴녹음 등의 특수한 녹음에 의하지 않고 종래의 보통의 음성신호소스를 갖는 영상음성신호를 그대로 입력하여 두외정위를 가진 임장감 있는 음성재생이 가능하게 되고, 가반성이 뛰어난 가상현실 시스템을 소형으로 구성할 수 있다.
또 회전각 검출수단 대신에, 또는 동시에 위치검출수단을 머리부장착부에 설치함으로써 장착자가 회전한 경우의 제어뿐만 아니라, 그 시청환경에 있어서 위치를 이동한 경우의 영상, 음상제어도 가능하게 되고 리얼리티가 있는 가상현실 시스템을 소형으로 구성할 수 있다

Claims (27)

  1. 사용자의 머리에 장착하기 위한 머리부장착부;
    상기 머리부장착부에 설치되고, 음성신호를 재생하고, 상기 재생한 음성신호에 의거해서 스피커로부터 음성을 사용자에게 출력하는 음성재생수단;
    상기 머리부장착부에 설치되고, 영상신호를 재생하고, 상기 재생한 영상신호에 의거해서 화상을 표시하는 영상재생수단;및
    상기 머리부장착부를 장착한 상기 사용자가 머리를 돌릴 때의 회전각도를 검출하는 회전각 검출수단을 포함하는 영상음성 재생장치에 있어서,
    상기 음성재생수단은 상기 음성을 상기 머리의 외부에 위치시키고, 상기 음성이 머리의 회전 운동을 따르는 것을 방지하고, 상기 음성의 방향을 시청환경에서 소정의 방향으로 고정시키는 음성신호 처리부를 구비하고,
    상기 영상재생수단은 상기 머리의 회전운동에 따라서 상기 시청환경에서 소정의 방향으로 영상지각위치를 고정하는 영상신호 처리부를 구비하고,
    상기 음성재생수단은
    상기 회전각 검출수단에 의해 검출된 회전각이 소정의 각도범위이내일 경우 상기 소정의 방향으로 상기 음성의 방향을 고정하고,
    상기 회전각 검출수단에 의해 검출된 회전각도가 소정의 각도범위 밖인 경우 상기 머리의 회전운동과 동기하여 상기 음성의 방향이 이동하도록 상기 음성신호를 처리하고,
    상기 영상재생수단은
    상기 회전각 검출수단에 의해 검출된 회전각도가 소정의 각도범위 밖인 경우 상기 머리의 회전운동과 동기하여 상기 영상지각위치의 방향이 이동하도록 상기 영상신호를 처리하는 것을 특징으로 하는 영상음성 재생장치.
  2. 제 1항에 있어서,
    상기 영상재생수단은, 좌우 다른 영상을 양눈의 전편근방에 표시하는 것을 특징으로 하는 영상음성 재생장치.
  3. 제 1항에 있어서,
    상기 영상재생수단은, 상기 회전각 검출수단에 의해 검출된 상기 머리의 회전운동에 따라서 상기 영상신호의 일부를 선택적으로 표시하는 것을 특징으로 하는 영상음성 재생장치.
  4. 사용자의 머리에 장착하기 위한 머리부장착부;
    상기 머리부장착부에 설치되고, 음성신호를 재생하고, 상기 재생한 음성신호에 의거해서 스피커로부터 음성을 사용자에게 출력하는 음성재생수단;
    상기 머리부장착부에 설치되고, 영상신호를 재생하고, 상기 재생한 영상신호에 의거해서 화상을 표시하는 영상재생수단;및
    상기 머리부장착부를 장착한 상기 사용자가 머리를 돌릴 때의 회전각도를 검출하는 회전각 검출수단을 포함하는 영상음성 재생장치에 있어서,
    상기 음성재생수단은 상기 음성을 상기 머리의 외부에 위치시키고, 상기 음성의 방향이 머리의 회전 운동을 따르는 것을 방지하고, 상기 음성의 방향을 시청환경에서 소정의 방향으로 고정시키는 음성신호 처리부를 구비하고,
    상기 영상재생수단은 상기 머리의 회전운동에 따라서 상기 시청환경에서 소정의 방향으로 영상지각위치를 고정하는 영상신호 처리부를 구비하고,
    상기 음성재생수단 및 상기 영상재생수단은 상기 회전각 검출수단에서 검출된 회전각도가 소정의 각도 범위내에 있을 때 상기 음성 방향 및 상기 영상방향을 소정의 방향으로 각각 고정시키고, 상기 음성신호 처리부는 상기 음성의 방향이 상기 머리회전의 움직임과 동기하여 이동하도록 처리하고, 상기 회전각 검출수단에서 검출된 회전각도가 소정의 각도 범위밖에 있을 때 상기 영상지각위치의 방향이 상기 머리회전의 움직임과 동기하여 이동하도록 상기 영상신호를 처리하는 것을 특징으로 하는 영상음성 재생장치.
  5. 제 1항에 있어서,
    상기 회전각 검출수단과 함께 상기 머리부 장착부에 설치되고, 상기 음성의 위치를 사용자의 머리의 위치에 의해 결정된 소정의 위치로 정정하는 위치검출수단을 더 구비하는 것을 특징으로 하는 영상음성 재생장치.
  6. 제 1항에 있어서,
    상기 회전각 검출수단에는 각속도센서인 압전진동자이로를 이용하는 것을 특징으로 하는 영상음성 재생장치.
  7. 제 1항에 있어서,
    상기 회전각 검출수단에는 지자기 방위센서를 이용하는 것을 특징으로 하는 영상음성 재생장치.
  8. 제 1항에 있어서,
    상기 회전각 검출수단은, 전편 혹은 주위에 놓인 발광수단과 상기 머리부장착부에 설치된 적어도 2개의 광강도 센서의 출력비에 의해 머리부 회전운동을 산출하는 것을 특징으로 하는 영상음성 재생장치.
  9. 제 5항에 있어서,
    상기 위치검출수단은, 전편 혹은 주위에 놓인 발광수단과 상기 머리부장착부에 설치된 적어도 2개의 광강도 센서의 출력비에 의해 머리부위치를 산출하는 것을 특징으로 하는 영상음성 재생장치.
  10. 제 5항에 있어서,
    상기 회전각 검출수단 및 상기 위치 검출수단은, 전편 혹은 주위에 놓인 발광수단과 상기 머리부장착부에 설치된 적어도 2개의 광강도 센서의 출력비에 의해머리부 회전운동 및 머리부위치를 산출하는 것을 특징으로 하는 영상음성 재생장치.
  11. 제 1항에 있어서,
    상기 머리부 장착부에 설치되어, 상기 음성신호가 상기 음성신호 재생수단에 공급되도록 하는 무선수단을 더 포함하는 것을 특징으로 하는 영상음성 재생장치.
  12. 제 1항에 있어서,
    상기 머리부 장착부에 설치되어, 상기 영상신호가 상기 영상신호 재생수단에 공급되도록 하는 무선수단을 더 포함하는 것을 특징으로 하는 영상음성 재생장치.
  13. 양귀에 대향하도록 배치한 2개의 발음체에서 음성신호를 재생하는 음성재생 수단과, 양눈의 전편근방에 영상을 표시하는 영상재생수단과, 머리부의 회전운동을 검출하는 회전각 검출수단과를 머리부장착부에 설치하여서 이루는 영상음성 재생장치로써,
    상기 음성재생 수단은, 복수의 음성입력신호에 2계통의 임펄스응답을 접어넣는 2개의 디지털필터의 각 출력에 상기 머리부의 회전운동에 따른 머리부 회전각도에 의거해서 시간차 또는 위상차, 혹은 레벨차 또는 주파수특성을 부가하는 음성신호 처리부를 갖추고,
    상기 영상재생수단은, 입력영상신호에 대하여 상기 입력영상신호의 영상지각위치를 상기 머리부 회전각도에 따라서 시청환경의 일정방향으로 고정하는 신호처리를 실시하는 영상신호 처리부를 갖추는 것을 특징으로 하는 영상음성 재생장치.
  14. 제 13항에 있어서,
    상기 영상재생수단은, 좌우 다른 영상을 양눈의 전편근방에 표시하는 것을 특징으로 하는 영상음성 재생장치.
  15. 제 13항에 있어서,
    상기 영상재생수단은, 상기 회전각 검출수단에 의해 검출된 머리부 회전운동에 따라서 영상입력신호의 일부를 선택적으로 표시시키는 것을 특징으로 하는 영상음성 재생장치.
  16. 제 13항에 있어서,
    상기 영상입력신호는, 상기 회전각도 검출부에 의해 검출된 머리부 회전운동에 따라서 표시내용을 시청환경의 일정방향으로 고정하도록 변화하는 것을 특징으로 하는 영상음성 재생장치.
  17. 제 13항에 있어서,
    상기 음성재생수단은, 상기 회전각 검출부에서 검출된 머리부 회전운동이 일정범위내에 있을 때에는 상기 음성신호 처리부에 음상방향을 일정방향으로 고정시키고, 상기 머리부 회전운동이 상기 범위외에 있을 때에는 상기 음성신호 처리부에 음상방향을 머리의 움직임과 동기하여 이동시키는 신호처리를 행하게 하는 것을 특징으로 하는 영상음성 재생장치.
  18. 제 13항에 있어서,
    상기 음성재생수단 및 상기 영상재생수단은, 상기 회전각 검출부에서 검출된 머리부 회전운동이 일정범위내에 있을 때에는 음상방향 및 영상방향을 일정방향으로 고정시키고, 상기 머리부 회전운동이 상기 범위외에 있을 때에는 음상방향 및 영상방향을 머리부의 움직임과 동기시켜서 이동하는 것을 특징으로 하는 영상음성 재생장치.
  19. 제 13항에 있어서,
    상기 회전각 검출수단과 함께 상기 머리부장착부에 설치되고, 상기 음성의 위치를 사용자의 머리의 위치에 의해 결정된 소정의 위치로 정정하는 위치검출수단을 더 구비하는 것을 특징으로 하는 영상음성 재생장치.
  20. 제 13항에 있어서,
    상기 회전각 검출수단에는 각속도센서인 압전진동자이로를 이용하는 것을 특징으로 하는 영상음성 재생장치.
  21. 제 13항에 있어서,
    상기 회전각 검출수단에는 지자기방위센서를 이용하는 것을 특징으로 하는 영상음성 재생장치.
  22. 제 13항에 있어서,
    상기 회전각 검출수단은, 전편 혹은 주위에 놓여진 발광수단과 상기 머리부장착부에 설치된 적어도 2개의 광강도센서의 출력비에 의해 머리부 회전운동을 산출하도록 한 것을 특징으로 하는 영상음성 재생장치.
  23. 제 19항에 있어서,
    상기 위치검출수단은, 전편 혹은 주위에 놓여진 발광수단과 상기 머리부장착부에 설치된 적어도 2개의 광강도센서의 출력비에 의해 머리부 위치를 산출하도록 한 것을 특징으로 하는 영상음성 재생장치.
  24. 제 19항에 있어서,
    상기 회전각 검출수단 및 상기 위치검출수단은, 전편 혹은 주위에 놓여진 발광수단과 상기 머리부장착부에 설치된 적어도 2개의 광강도센서의 출력비에 의해 머리부 회전운동 및 머리부위치를 산출하는 것을 특징으로 하는 영상음성 재생장치.
  25. 제 13항에 있어서,
    상기 음성입력신호는, 와이어리스로 머리부장착부상의 상기 음성재생수단에 공급되는 것을 특징으로 하는 영상음성 재생장치.
  26. 제 13항에 있어서,
    상기 영상입력신호는, 와이어리스로 머리부장착부상의 상기 영상재생수단에 공급되는 것을 특징으로 하는 영상음성 재생장치.
  27. 양귀에 대향하도록 배치한 2개의 발음체와, 양눈의 전편근방에서 영상을 표시하는 영상표시부와, 머리부의 회전운동을 검출하는 회전각 검출수단을 머리부장착부에 설치하여서 이루는 영상음성 재생장치로써,
    상기 회전각 검출수단에서 검출된 머리부의 회전운동에 따른 머리부위치정보를 기본으로, 시청환경을 고정한 음성신호를 상기 2개의 발음체에 출력하는 동시에, 시청환경을 고정한 영상신호를 상기 영상표시부에 출력하는 영상음성신호 생성수단을 상기 머리부장착부상을 제외한 장소에 설치하여서 이루는 것을 특징으로 하는 영상음성 재생장치.
KR1019960041359A 1995-09-28 1996-09-20 영상음성재생장치 KR100445513B1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP95-231575 1995-09-08
JP95-264754 1995-09-19
JP95-250978 1995-09-28
JP25097895A JP3796776B2 (ja) 1995-09-28 1995-09-28 映像音声再生装置
JP95-254240 1995-09-29
KR95-33972 1995-09-30

Publications (2)

Publication Number Publication Date
KR970019732A KR970019732A (ko) 1997-04-30
KR100445513B1 true KR100445513B1 (ko) 2004-12-04

Family

ID=17215861

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019960041359A KR100445513B1 (ko) 1995-09-28 1996-09-20 영상음성재생장치

Country Status (4)

Country Link
US (1) US5959597A (ko)
JP (1) JP3796776B2 (ko)
KR (1) KR100445513B1 (ko)
CN (1) CN1104137C (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10692300B2 (en) 2014-07-23 2020-06-23 Sony Corporation Information processing apparatus, information processing method, and image display system

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10197825A (ja) * 1997-01-10 1998-07-31 Sharp Corp 頭部搭載型ディスプレイ
TW362207B (en) * 1997-05-08 1999-06-21 Shimadzu Corp Display system
JPH11275696A (ja) * 1998-01-22 1999-10-08 Sony Corp ヘッドホン、ヘッドホンアダプタおよびヘッドホン装置
AUPP271598A0 (en) * 1998-03-31 1998-04-23 Lake Dsp Pty Limited Headtracked processing for headtracked playback of audio signals
WO2000045619A1 (fr) * 1999-01-28 2000-08-03 Sony Corporation Dispositif source sonore virtuelle et appareil acoustique comportant un tel dispositif
US6839041B2 (en) * 2001-08-01 2005-01-04 Thermwood Corporation Virtual reality viewing system and method
US20040091120A1 (en) * 2002-11-12 2004-05-13 Kantor Kenneth L. Method and apparatus for improving corrective audio equalization
JP4642400B2 (ja) * 2004-07-20 2011-03-02 オリンパス株式会社 情報表示システム
GB0427450D0 (en) * 2004-12-15 2005-01-19 Bp Oil Int Process
US8433173B2 (en) * 2005-09-29 2013-04-30 Nikon Corporation Portable media player system
KR100818660B1 (ko) * 2007-03-22 2008-04-02 광주과학기술원 근거리 모델을 위한 3차원 음향 생성 장치
JP4557035B2 (ja) * 2008-04-03 2010-10-06 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び記録媒体
JP5380945B2 (ja) * 2008-08-05 2014-01-08 ヤマハ株式会社 音響再生装置およびプログラム
JP4735993B2 (ja) * 2008-08-26 2011-07-27 ソニー株式会社 音声処理装置、音像定位位置調整方法、映像処理装置及び映像処理方法
JP4849121B2 (ja) * 2008-12-16 2012-01-11 ソニー株式会社 情報処理システムおよび情報処理方法
RU2523961C2 (ru) * 2009-02-13 2014-07-27 Конинклейке Филипс Электроникс Н.В. Слежение за положением головы
EP2288178B1 (en) * 2009-08-17 2012-06-06 Nxp B.V. A device for and a method of processing audio data
JP5499633B2 (ja) * 2009-10-28 2014-05-21 ソニー株式会社 再生装置、ヘッドホン及び再生方法
US9247286B2 (en) * 2009-12-31 2016-01-26 Broadcom Corporation Frame formatting supporting mixed two and three dimensional video data communication
US8823782B2 (en) 2009-12-31 2014-09-02 Broadcom Corporation Remote control with integrated position, viewer identification and optical and audio test
US8854531B2 (en) * 2009-12-31 2014-10-07 Broadcom Corporation Multiple remote controllers that each simultaneously controls a different visual presentation of a 2D/3D display
US8964013B2 (en) * 2009-12-31 2015-02-24 Broadcom Corporation Display with elastic light manipulator
JP5672741B2 (ja) 2010-03-31 2015-02-18 ソニー株式会社 信号処理装置および方法、並びにプログラム
US8587631B2 (en) * 2010-06-29 2013-11-19 Alcatel Lucent Facilitating communications using a portable communication device and directed sound output
KR20120053587A (ko) * 2010-11-18 2012-05-29 삼성전자주식회사 디스플레이장치 및 그 사운드 제어방법
EP2475193B1 (en) * 2011-01-05 2014-01-08 Advanced Digital Broadcast S.A. Method for playing a multimedia content comprising audio and stereoscopic video
NL2006997C2 (en) * 2011-06-24 2013-01-02 Bright Minds Holding B V Method and device for processing sound data.
US8183997B1 (en) * 2011-11-14 2012-05-22 Google Inc. Displaying sound indications on a wearable computing system
GB2501767A (en) * 2012-05-04 2013-11-06 Sony Comp Entertainment Europe Noise cancelling headset
GB2501768A (en) 2012-05-04 2013-11-06 Sony Comp Entertainment Europe Head mounted display
US9213403B1 (en) * 2013-03-27 2015-12-15 Google Inc. Methods to pan, zoom, crop, and proportionally move on a head mountable display
WO2014174839A1 (ja) * 2013-04-24 2014-10-30 日産自動車株式会社 車両用音響制御装置、車両用音響制御方法
US20160078664A1 (en) * 2013-05-17 2016-03-17 Mitsubishi Electric Corporation Image synthesizing apparatus and method
US9146618B2 (en) 2013-06-28 2015-09-29 Google Inc. Unlocking a head mounted device
DK201370793A1 (en) * 2013-12-19 2015-06-29 Gn Resound As A hearing aid system with selectable perceived spatial positioning of sound sources
JP2015125502A (ja) * 2013-12-25 2015-07-06 ソニー株式会社 画像処理装置及び画像処理方法、表示装置及び表示方法、コンピューター・プログラム、並びに画像表示システム
US9967668B2 (en) * 2014-08-21 2018-05-08 Eears LLC Binaural recording system and earpiece set
JP6600186B2 (ja) * 2015-07-21 2019-10-30 キヤノン株式会社 情報処理装置、制御方法およびプログラム
TWI736542B (zh) 2015-08-06 2021-08-21 日商新力股份有限公司 資訊處理裝置、資料配訊伺服器及資訊處理方法、以及非暫時性電腦可讀取之記錄媒體
CN105120421B (zh) * 2015-08-21 2017-06-30 北京时代拓灵科技有限公司 一种生成虚拟环绕声的方法和装置
CN108762496B (zh) * 2015-09-24 2020-12-18 联想(北京)有限公司 一种信息处理方法及电子设备
CN105216715A (zh) * 2015-10-13 2016-01-06 湖南七迪视觉科技有限公司 一种汽车驾驶员视觉辅助增强系统
JP6651231B2 (ja) * 2015-10-19 2020-02-19 このみ 一色 携帯情報端末、情報処理装置、及びプログラム
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
JP6701673B2 (ja) * 2015-10-30 2020-05-27 セイコーエプソン株式会社 ヘッドマウントディスプレイ
JP2017097306A (ja) * 2015-11-27 2017-06-01 株式会社リコー ヘッドマウントディスプレイシステム及びヘッドマウントディスプレイシステムにおける表示制御方法
US9918177B2 (en) * 2015-12-29 2018-03-13 Harman International Industries, Incorporated Binaural headphone rendering with head tracking
JP6499805B2 (ja) * 2016-04-08 2019-04-10 株式会社日立製作所 映像表示装置および映像表示方法
CN108886653B (zh) * 2016-04-20 2020-07-28 华为技术有限公司 一种耳机声道控制方法、相关设备及系统
US11182930B2 (en) 2016-05-02 2021-11-23 Waves Audio Ltd. Head tracking with adaptive reference
CN109643205B (zh) 2016-05-02 2022-03-25 波音频有限公司 利用自适应参考的头部跟踪
US10390165B2 (en) * 2016-08-01 2019-08-20 Magic Leap, Inc. Mixed reality system with spatialized audio
GB2574780B (en) * 2017-04-04 2022-09-21 Canon Kk Electronic device and control method thereof
DE102017208600A1 (de) * 2017-05-22 2018-11-22 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Bereitstellung eines räumlich wahrnehmbaren Akustiksignals für einen Zweiradfahrer
CN107192562B (zh) * 2017-06-07 2020-02-07 哈尔滨工业大学（威海） 减振器异响故障快速定位及诊断试验装置
EP3422151A1 (en) 2017-06-30 2019-01-02 Nokia Technologies Oy Methods, apparatus, systems, computer programs for enabling consumption of virtual content for mediated reality
US10375506B1 (en) * 2018-02-28 2019-08-06 Google Llc Spatial audio to enable safe headphone use during exercise and commuting
EP3985482A1 (en) * 2020-10-13 2022-04-20 Koninklijke Philips N.V. Audiovisual rendering apparatus and method of operation therefor

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4028725A (en) * 1976-04-21 1977-06-07 Grumman Aerospace Corporation High-resolution vision system
US4446480A (en) * 1981-12-14 1984-05-01 The United States Of America As Represented By The Secretary Of The Navy Head position and orientation sensor
GB2143948B (en) * 1983-07-23 1986-08-06 Ferranti Plc Apparatus for determining the direction of a line of sight
US4649504A (en) * 1984-05-22 1987-03-10 Cae Electronics, Ltd. Optical position and orientation measurement techniques
US4817149A (en) * 1987-01-22 1989-03-28 American Natural Sound Company Three-dimensional auditory display apparatus and method utilizing enhanced bionic emulation of human binaural sound localization
US5222059A (en) * 1988-01-06 1993-06-22 Lucasfilm Ltd. Surround-sound system with motion picture soundtrack timbre correction, surround sound channel timbre correction, defined loudspeaker directionality, and reduced comb-filter effects
US4897715A (en) * 1988-10-31 1990-01-30 General Electric Company Helmet display
US5457641A (en) * 1990-06-29 1995-10-10 Sextant Avionique Method and apparatus for determining an orientation associated with a mobile system, especially a line of sight inside a helmet visor
EP0479605B1 (en) * 1990-10-05 1995-09-20 Texas Instruments Incorporated Method and apparatus for providing a portable visual display
US5647016A (en) * 1995-08-07 1997-07-08 Takeyama; Motonari Man-machine interface in aerospace craft that produces a localized sound in response to the direction of a target relative to the facial direction of a crew

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10692300B2 (en) 2014-07-23 2020-06-23 Sony Corporation Information processing apparatus, information processing method, and image display system

Also Published As

Publication number Publication date
CN1158047A (zh) 1997-08-27
CN1104137C (zh) 2003-03-26
US5959597A (en) 1999-09-28
KR970019732A (ko) 1997-04-30
JPH0993700A (ja) 1997-04-04
JP3796776B2 (ja) 2006-07-12

Similar Documents

Publication Publication Date Title
KR100445513B1 (ko) 영상음성재생장치
US5796843A (en) Video signal and audio signal reproducing apparatus
JP7118121B2 (ja) 空間化オーディオを用いた複合現実システム
JP3385725B2 (ja) 映像を伴うオーディオ再生装置
JP3422026B2 (ja) オーディオ再生装置
JP4735993B2 (ja) 音声処理装置、音像定位位置調整方法、映像処理装置及び映像処理方法
KR100435217B1 (ko) 헤드폰장치
US5566241A (en) Method and apparatus for presentation of on-line directional sound
US8571192B2 (en) Method and apparatus for improved matching of auditory space to visual space in video teleconferencing applications using window-based displays
US6961439B2 (en) Method and apparatus for producing spatialized audio signals
US20100328419A1 (en) Method and apparatus for improved matching of auditory space to visual space in video viewing applications
KR102514464B1 (ko) 공간화 오디오를 갖는 가상 현실, 증강 현실 및 혼합 현실 시스템들
JPH09284676A (ja) 身体の動きに同期した映像及び音声処理方法と映像表示装置
JPH08191419A (ja) 頭部装着型表示システム
US20020071661A1 (en) Audio and video reproduction apparatus
JP6580516B2 (ja) 処理装置および画像決定方法
JP6538003B2 (ja) アクチュエータ装置
JP2550832B2 (ja) 仮想現実感生成装置
KR102549948B1 (ko) 디바이스 위치에 기초하여 오디오 필터를 결정하는 오디오 시스템 및 방법
KR102284914B1 (ko) 프리셋 영상이 구현되는 사운드 트랙킹 시스템
JP6056466B2 (ja) 仮想空間中の音声再生装置及び方法、並びにプログラム
JP3573797B2 (ja) ステレオ音声再生装置
JPH08140200A (ja) 立体音像制御装置
CN113261309A (zh) 声音输出设备和声音输出方法
JP2012253707A (ja) 立体映像表示装置及び音声再生装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120806

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee