KR20070042104A - 화상 표시 장치 및 방법, 및 프로그램 - Google Patents

화상 표시 장치 및 방법, 및 프로그램 Download PDF

Info

Publication number
KR20070042104A
KR20070042104A KR1020060100762A KR20060100762A KR20070042104A KR 20070042104 A KR20070042104 A KR 20070042104A KR 1020060100762 A KR1020060100762 A KR 1020060100762A KR 20060100762 A KR20060100762 A KR 20060100762A KR 20070042104 A KR20070042104 A KR 20070042104A
Authority
KR
South Korea
Prior art keywords
output
image
audio
voice
average value
Prior art date
Application number
KR1020060100762A
Other languages
English (en)
Inventor
데쓰지로 곤도
요시노리 와타나베
나오히데 야마다
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20070042104A publication Critical patent/KR20070042104A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/03—Connection circuits to selectively connect loudspeakers or headphones to amplifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Otolaryngology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Stereophonic System (AREA)
  • Television Receiver Circuits (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Details Of Audible-Bandwidth Transducers (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

표시하는 화상에 대응하는 음성을, 보다 현장감을 높게 출력할 수 있도록 한다.
음성 출력 위치 제어부(37)는 화상 처리부(35)로부터 공급되는 화상 데이터의 화상을 해석하고, 인물이 발화(發話)하는 장면이면, 음성 처리부(36)로부터 공급되는 음성 데이터의 출력처를 제어하여, 그 음성을 발화자의 위치에 가까운 스피커로부터 출력하도록, 음성 데이터를 음성 출력부(39)에 공급한다. 음성 출력부(39)는 복수개의 스피커를 가지고 있으며, 음성 출력 위치 제어부(37)로부터 공급되는 음성 데이터를, 음성 출력 위치 제어부(37)에 지정된 스피커로부터 출력한다. 본 발명은 화상 표시 장치에 적용할 수 있다.
화상, 음성, 인물, 발화자, 장치

Description

화상 표시 장치 및 방법, 및 프로그램{IMAGE DISPLAY DEVICE AND METHOD AND PROGRAM}
도 1은 종래의 텔레비전 수상기를 나타낸 사시도다.
도 2는 본 발명을 적용한 표시 장치 외관의 구성예를 나타낸 도면이다.
도 3은 도 2의 표시 장치 내부의 구성예를 나타낸 블록도이다.
도 4는 도 3의 음성 출력 위치 제어부의 상세한 구성예를 나타낸 블록도이다.
도 5는 영역 분할의 예를 나타낸 모식도이다.
도 6은 도 4의 차분 평균값 산출부의 상세한 구성예를 나타낸 블록도이다.
도 7은 화상 표시 처리의 흐름의 예를 설명하는 플로차트이다.
도 8은 음성 출력 위치 제어 처리의 흐름의 예를 설명하는 플로차트이다.
도 9는 특징 화소 차분 평균값 산출 처리의 흐름의 예를 설명하는 플로차트이다.
도 10은 표시 장치 외관의 다른 구성예를 나타낸 도면이다.
도 11은 본 발명을 적용한 프로젝션 시스템의 구성예를 나타낸 도면이다.
도 12는 표시 장치의 다른 구성예를 나타낸 블록도이다.
도 13은 표시 장치 외관의 또 다른 구성예를 나타낸 도면이다.
도 14는 음성 출력 위치 제어 처리의 흐름의 다른 예를 설명하는 플로차트이다.
도 15는 음성 출력 제어부의 상세한 구성예를 나타낸 블록도이다.
도 16은 음성 출력 제어 처리의 흐름의 예를 설명하는 플로차트이다.
도 17은 음성 출력 제어부의 상세한 다른 구성예를 나타낸 블록도이다.
도 18은 음성 출력 제어 처리의 흐름의 다른 예를 설명하는 플로차트이다.
도 19는 표시 장치의 또 다른 구성예를 나타낸 블록도이다.
도 20은 도 19의 사용자 위치 대응 처리부의 상세한 구성예를 나타낸 블록도이다.
도 21은 사용자 위치 대응 처리의 흐름의 예를 설명하는 플로차트이다.
도 22는 표시 장치 외관의 또 다른 구성예를 나타낸 도면이다.
도 23은 입력 안내 화상의 표시예를 나타낸 모식도이다.
도 24는 표시 장치의 또 다른 구성예를 나타낸 블록도이다.
도 25는 도 24의 영역 설정부의 상세한 구성예를 나타낸 블록도이다.
도 26은 영역 설정 처리의 흐름의 예를 설명하는 플로차트이다.
도 27은 표시 장치의 또 다른 구성예를 나타낸 블록도이다.
도 28은 도 27의 영역 설정부의 상세한 구성예를 나타낸 블록도이다.
도 29은 영역 설정 처리의 흐름의 다른 예를 설명하는 플로차트이다.
도 30은 본 발명의 일 실시예를 적용한 퍼스널 컴퓨터의 구성예를 나타낸 도면이다.
[도면의 주요부분에 대한 부호의 설명]
10: 표시 장치 11 내지 13: 스피커
20: 표시 화상 21 내지 23: 인물
37: 음성 출력 위치 제어부 39: 음성 출력부
51: 화면 영역 분할부 52: 차분 평균값 산출부
53: 음성 출력 제어부 73: 특징 화소 추출부
74: 변수 관리부 75: 차분 산출부
77: 차분 평균값 산출부 78: 차분 평균값 기억부
81: 영역 내 특징 화소수 82: 영역 내 차분값 총계
171: 음량 확인부 172: 차분 평균값 보정부
173: 영역 특정부 174: 출력 제어부
181: 영역 특정부 182: 음량 조정부
183: 음량 확인부 184: 비교부
185: 조정량 보정부 186: 출력 제어부
201: 사용자 위치 대응 처리부 211: 리모트 커맨더 위치 검출부
212: 지연량 연산부 213: 지연 제어부
251: 영역 설정부 261: 입력 안내 화상 표시 제어부
262: 사용자 입력 접수 처리부 263: 영역 설정 선택부
264: 분할 테이블 기억부 301: 영역 설정부
311: 접속 확인부 312: 스피커 위치 기억부
313: 영역 설정 선택부 314: 분할 테이블 기억부
일본국 특개 2003-264900호 공보
본 발명은 화상 표시 장치 및 방법, 및 프로그램에 관한 것이며, 특히, 표시하는 화상에 대응하는 음성을, 보다 현장감을 높게 출력할 수 있도록 한 화상 표시 장치 및 방법, 및 프로그램에 관한 것이다.
종래의 텔레비전 수상기는 방송국으로부터 방송되는 텔레비전 신호를 수신하여, 텔레비전 방송 프로그램으로서의 화상을 표시하거나, 음성을 출력하거나 한다.
예를 들면, 도 1에 나타낸 텔레비전 수상기(1)가 수신하는 텔레비전 신호에 포함되는 음성이 모노럴 방식인 경우, 텔레비전 수상기(1)의 스피커(2A) 및 스피커(2B)의 양쪽으로부터 동일 음성이 출력된다. 따라서, 예를 들면, 화면 상에서 인물(3A) 내지 인물(3C)의 누가 발화(發話)할 때라도, 음성이 출력되는 스피커(스피커(2A) 및 스피커(2B))가 변화하지 않는다. 또한, 모노럴 방식의 경우, 좌우로부터 동일 음성이 출력되기 때문에, 시청자인 사용자는 인물(3A) 내지 인물(3C)의 어느 음성도 동일 방향으로부터 들려 버려, 현장감이 저감되어 버릴 우려가 있다.
이에 대하여, 도 1에 나타낸 텔레비전 수상기(1)가 수신하는 텔레비전 신호에 포함되는 음성이 스테레오 방식인 경우, 좌우 음성의 음량의 차이에 의해, 사용 자가 체감하는 인물(3A) 내지 인물(3C)의 음성 발생 방향(사용자로부터 본 음성 발생 장소의 방향)을 서로 변화시킬 수 있다.
그러나, 이 스테레오 방식의 경우라도, 음성이 출력되는 스피커는 스피커(2A) 및 스피커(2B)이며 변화하지 않으므로, 음성의 발생 방향을 극단적으로 변경시키는 것이 곤란하며, 그러므로 현장감이 저감되어 버릴 우려가 있다.
또, 일반적으로, 방송국 측에서는, 시청자가 각각 어떠한 텔레비전 수상기를 사용하여 프로그램을 시청하는지를 상정(想定)하는 것은 불가능하다. 그러나, 좌우 스피커의 위치 관계, 스피커의 특성, 사용자의 위치, 텔레비전 수상기의 설치 장소 등, 사용자의 시청 환경은 사용자마다 상이하다. 따라서, 사용자의 시청 환경에 따라서는, 텔레비전 신호에 포함되는 스테레오 방식의 음성 신호가 생성될 때 상정되고 있던 환경과 크게 상이하여, 방송국 측에서 의도한 현장감을 사용자가 얻는 것이 곤란하게 될 우려가 있었다.
이에 대하여, 미리 특정 음원으로부터의 음을 취득하여 음향 신호를 생성하고, 그 음향 신호, 영상 신호, 및 위치 신호 검출부로부터 정보 신호를 생성하여, 기록함으로써, 재생 시에, 화상의 표시 위치에 대응한 음향 출력을 행하도록 하는 방법이 고려된다(예를 들면, 일본국 특개 2003-264900호 공보 참조).
그러나, 이 경우, 미리 특정 음원으로부터 음을 취득하여, 정보 신호를 생성할 필요가 있어, 일반적인 종래의 텔레비전 방송 등을 수신하여 표시하게 하는 데 적용하는 것은 곤란했다.
본 발명은 이와 같은 상황을 감안하여 이루어진 것이며, 표시하는 화상에 대응하는 음성을, 보다 현장감을 높게 출력할 수 있도록 하는 것이다.
본 발명의 일 측면의 화상 표시 장치는 화상을 표시하는 화상 표시 장치로서, 화상을 표시하는 화상 표시 수단과, 상기 화상 표시 수단에 의해 표시되는 상기 화상에 대응하는 음성을 복수개의 위치로부터 출력하는 음성 출력 수단과, 상기 화상을 해석하고, 상기 화상의 내용에 따라, 상기 음성 출력 수단을 제어하여, 상기 음성을 출력시키는 위치를 선택하는 음성 출력 위치 제어 수단을 구비한다.
상기 음성 출력 수단은 복수개의 스피커를 가지며, 상기 음성 출력 위치 제어 수단은 상기 음성 출력 수단을 제어하여, 상기 음성을 출력시키는 스피커를 선택하도록 할 수 있다.
상기 음성 출력 수단은 상기 음성의 출력 타이밍을 제어함으로써, 가상적으로 상기 음성의 출력 위치를 제어 가능하며, 상기 음성 출력 위치 제어 수단은 상기 음성 출력 수단을 제어하여, 상기 출력 타이밍을 선택함으로써, 상기 음성을 출력시키는 가상적인 위치를 제어하도록 할 수 있다.
상기 음성 출력 위치 제어 수단은 상기 화상 표시 수단의 표시 화면을 미리 정해진 복수개의 영역으로 분할하는 화면 영역 분할 수단과, 상기 화면 영역 분할 수단에 의해 분할된 영역마다, 화소값이 미리 정해진 소정의 특징을 가지는 각 화소의 휘도값의 프레임 사이의 차분값의 평균값을 산출하는 차분 평균값 산출 수단과, 상기 차분 평균값 산출 수단에 의해 산출된 상기 차분 평균값에 따라, 상기 음 성 출력 수단을 제어하여, 상기 음성을 출력시키는 위치를 선택하는 음성 출력 제어 수단을 구비하도록 할 수 있다.
상기 음성은 단(單) 채널의 음성이도록 할 수 있다.
상기 음성은 복수개 채널의 음성이도록 할 수 있다.
상기 음성 출력 위치 제어 수단은 상기 화상에 할당된 복수개 영역의 각각에 대하여, 화소값이 미리 정해진 소정의 특징을 가지는 각 화소의 휘도값의 프레임 사이의 차분값의 평균값인 차분 평균값을 산출하는 차분 평균값 산출 수단과, 상기 복수개 채널 각각의 음량을 확인하여, 음성의 출력 위치를 특정하는 음량 확인 수단과, 상기 음량 확인 수단에 의해 음량이 확인되어 특정된 상기 음성의 출력 위치에 따라, 상기 차분 평균값 산출 수단에 의해 산출된 상기 차분 평균값을 보정하는 차분 평균값 보정 수단과, 상기 차분 평균값 보정 수단에 의해 보정된 차분 평균값에 따라, 상기 음성이 출력되는 영역을 특정하는 영역 특정 수단과, 상기 영역 특정 수단에 의해 특정된 상기 영역에 대응하는 위치로부터 상기 음성을 출력시키도록, 상기 음성 출력 수단을 제어하는 음성 출력 제어 수단을 구비하도록 할 수 있다.
상기 음성 출력 위치 제어 수단은 상기 화상에 할당된 복수개 영역의 각각에 대하여, 화소값이 미리 정해진 소정의 특징을 가지는 각 화소의 휘도값의 프레임 사이의 차분값의 평균값인 차분 평균값을 산출하는 차분 평균값 산출 수단과, 상기 차분 평균값 산출 수단에 의해 산출된 상기 차분 평균값에 따라, 상기 음성이 출력되는 영역을 특정하는 영역 특정 수단과, 상기 영역 특정 수단에 의해 특정된 상기 음성이 출력되는 영역에 따라, 상기 음성 출력 수단에 의한 상기 음성의 출력 음량의 조정량을 결정하는 음량 조정 수단과, 상기 복수개 채널 각각의 음량을 확인하여, 음성의 출력 위치를 특정하는 음량 확인 수단과, 상기 영역 특정 수단에 의해 특정된 상기 음성이 출력되는 영역과, 상기 음량 확인 수단에 의해 음량이 확인되어 특정된 상기 음성의 출력 위치를 비교하는 비교 수단과, 상기 비교 수단에 의한 비교 결과에 따라, 상기 음량 조정 수단에 의해 결정된 상기 음량의 조정량을 보정하는 조정량 보정 수단과, 상기 조정량 보정 수단에 의해 보정된 상기 음량의 조정량에 따라 상기 음성의 음량을 조정하도록, 상기 음성 출력 수단을 제어하는 음성 출력 제어 수단을 구비하도록 할 수 있다.
상기 화상 및 상기 음성을 시청하는 사용자의 위치를 검출하고, 상기 사용자의 위치에 따라, 상기 음성 출력 수단에 의한 상기 음성의 출력 타이밍의 지연량을 제어하는 사용자 위치 대응 처리 수단을 추가로 구비하도록 할 수 있다.
상기 음성 출력 수단은 착탈 가능한 복수개의 스피커를 가지며, 접속된 상기 스피커의 위치에 따라, 상기 화면 영역 분할 수단에 의해 분할되는 상기 영역의 설정을 행하는 영역 설정 수단을 추가로 구비하도록 할 수 있다.
본 발명의 일 측면의 화상 표시 방법은 화상을 표시하는 화상 표시 장치의 화상 표시 방법으로서, 화상을 표시하고, 표시되는 상기 화상을 해석하고, 상기 화상의 내용에 따라, 상기 화상에 대응하는 음성을 출력시키는 위치를 선택하고, 선택된 위치로부터 상기 음성을 출력하는 스텝을 포함한다.
본 발명의 일 측면의 프로그램은 화상을 표시하는 처리를 컴퓨터가 행하게 하는 프로그램으로서, 화상을 표시하고, 표시되는 상기 화상을 해석하고, 상기 화상의 내용에 따라, 상기 화상에 대응하는 음성을 출력시키는 위치를 선택하고, 선택된 위치로부터 상기 음성을 출력하는 스텝을 포함한다.
본 발명의 일 측면에서는, 화상이 표시되고, 표시되는 화상이 해석되고, 화상의 내용에 따라 화상에 대응하는 음성을 출력시키는 위치가 선택되고, 선택된 위치로부터 음성이 출력된다.
이하에 본 발명의 실시예를 설명하지만, 본 명세서에 기재된 발명과, 발명의 실시예와의 대응 관계를 예시하면, 다음과 같이 된다. 이 기재는 청구항에 기재되어 있는 발명을 서포트하는 실시예가 본 명세서에 기재되어 있는 것을 확인하기 위한 것이다. 따라서, 발명의 실시예 중에는 기재되어 있지만, 발명에 대응하는 것으로서 여기에는 기재되어 있지 않은 실시예가 있다고 해도, 그것은 그 실시예가 그 발명에 대응하는 것이 아닌 것을 의미하는 것은 아니다. 역으로, 실시예가 발명에 대응하는 것으로서 여기에 기재되어 있다고 해도, 그것은 그 실시예가 그 발명 이외의 발명에는 대응하지 않는 것인 것을 의미하는 것도 아니다.
또한, 이 기재는 본 명세서에 기재되어 있는 발명의 모두를 의미하는 것이 아니다. 환언하면, 이 기재는 본 명세서에 기재되어 있는 발명으로서, 이 출원에서는, 청구되어 있지 않은 발명의 존재, 즉 장래, 분할 출원되거나, 보정에 의해 추가되거나 하는 발명의 존재를 부정하는 것이 아니다.
본 발명의 일 측면의 화상 표시 장치(예를 들면, 도 2의 표시 장치)는 화상을 표시하는 화상 표시 수단(예를 들면, 도 3의 표시부)과, 상기 화상 표시 수단에 의해 표시되는 상기 화상에 대응하는 음성을 복수개의 위치로부터 출력하는 음성 출력 수단(예를 들면, 도 3의 음성 출력부)과, 상기 화상을 해석하고, 상기 화상의 내용에 따라, 상기 음성 출력 수단을 제어하여, 상기 음성을 출력시키는 위치를 선택하는 음성 출력 위치 제어 수단(예를 들면, 도 3의 음성 출력 위치 제어부)을 구비한다.
상기 음성 출력 수단은 복수개의 스피커(예를 들면, 도 2의 스피커)를 가지며, 상기 음성 출력 위치 제어 수단은 상기 음성 출력 수단을 제어하여, 상기 음성을 출력시키는 스피커를 선택하도록 할 수 있다.
상기 음성 출력 수단은 상기 음성의 출력 타이밍을 제어함으로써, 가상적으로 상기 음성의 출력 위치를 제어하고, 상기 음성 출력 위치 제어 수단은 상기 음성 출력 수단을 제어하여, 상기 출력 타이밍을 선택함으로써, 상기 음성을 출력시키는 가상적인 위치를 제어하도록(예를 들면, 도 21의 스텝 S133) 할 수 있다.
상기 음성 출력 위치 제어 수단은 상기 화상 표시 수단의 표시 화면을 미리 정해진 복수개의 영역으로 분할하는 화면 영역 분할 수단(예를 들면, 도 4의 화면 영역 분할부)과, 상기 화면 영역 분할 수단에 의해 분할된 영역마다, 화소값이 미리 정해진 소정의 특징을 가지는 각 화소의 휘도값의 프레임 사이의 차분값의 평균값을 산출하는 차분 평균값 산출 수단(예를 들면, 도 4의 차분 평균값 산출부)과, 상기 차분 평균값 산출 수단에 의해 산출된 상기 차분 평균값에 따라, 상기 음성 출력 수단을 제어하여, 상기 음성을 출력시키는 위치를 선택하는 음성 출력 제어 수단(예를 들면, 도 4의 음성 출력 제어부)을 구비하도록 할 수 있다.
상기 음성은 단 채널의 음성(예를 들면, 도 4의 음성 데이터)이도록 할 수 있다.
상기 음성은 복수개 채널의 음성(예를 들면, 도 15의 음성 데이터)이도록 할 수 있다.
상기 음성 출력 위치 제어 수단은 상기 화상에 할당된 복수개 영역의 각각에 대하여, 화소값이 미리 정해진 소정의 특징을 가지는 각 화소의 휘도값의 프레임 사이의 차분값의 평균값인 차분 평균값을 산출하는 차분 평균값 산출 수단(예를 들면, 도 4의 차분 평균값 산출부)과, 상기 복수개 채널 각각의 음량을 확인하여, 음성의 출력 위치를 특정하는 음량 확인 수단(예를 들면, 도 15의 음성 확인부)과, 상기 음량 확인 수단에 의해 음량이 확인되어 특정된 상기 음성의 출력 위치에 따라, 상기 차분 평균값 산출 수단에 의해 산출된 상기 차분 평균값을 보정하는 차분 평균값 보정 수단(예를 들면, 도 15의 차분 평균값 보정부)과, 상기 차분 평균값 보정 수단에 의해 보정된 차분 평균값에 따라, 상기 음성이 출력되는 영역을 특정하는 영역 특정 수단(예를 들면, 도 15의 영역 특정부)과, 상기 영역 특정 수단에 의해 특정된 상기 영역에 대응하는 위치로부터 상기 음성을 출력시키도록, 상기 음성 출력 수단을 제어하는 음성 출력 제어 수단(예를 들면, 도 15의 출력 제어부)을 구비하도록 할 수 있다.
상기 음성 출력 위치 제어 수단은 상기 화상에 할당된 복수개 영역의 각각에 대하여, 화소값이 미리 정해진 소정의 특징을 가지는 각 화소의 휘도값의 프레임 사이의 차분값의 평균값인 차분 평균값을 산출하는 차분 평균값 산출 수단(예를 들 면, 도 4의 차분 평균값 산출부)과, 상기 차분 평균값 산출 수단에 의해 산출된 상기 차분 평균값에 따라, 상기 음성이 출력되는 영역을 특정하는 영역 특정 수단(예를 들면, 도 17의 영역 특정부)과, 상기 영역 특정 수단에 의해 특정된 상기 음성이 출력되는 영역에 따라, 상기 음성 출력 수단에 의한 상기 음성의 출력 음량의 조정량을 결정하는 음량 조정 수단(예를 들면, 도 17의 음량 조정부)과, 상기 복수개 채널 각각의 음량을 확인하여, 음성의 출력 위치를 특정하는 음량 확인 수단(예를 들면, 도 17의 음량 확인부)과, 상기 영역 특정 수단에 의해 특정된 상기 음성이 출력되는 영역과, 상기 음량 확인 수단에 의해 음량이 확인되어 특정된 상기 음성의 출력 위치를 비교하는 비교 수단(예를 들면, 도 17의 비교부)과, 상기 비교 수단에 의한 비교 결과에 따라, 상기 음량 조정 수단에 의해 결정된 상기 음량의 조정량을 보정하는 조정량 보정 수단(예를 들면, 도 17의 조정량 보정부)과, 상기 조정량 보정 수단에 의해 보정된 상기 음량의 조정량에 따라 상기 음성의 음량을 조정하도록, 상기 음성 출력 수단을 제어하는 음성 출력 제어 수단(예를 들면, 도 17의 출력 제어부)을 구비하도록 할 수 있다.
상기 화상 및 상기 음성을 시청하는 사용자의 위치를 검출하고, 상기 사용자의 위치에 따라, 상기 음성 출력 수단에 의한 상기 음성의 출력 타이밍의 지연량을 제어하는 사용자 위치 대응 처리 수단(예를 들면, 도 19의 사용자 위치 대응 처리부)을 추가로 구비하도록 할 수 있다.
상기 음성 출력 수단은 착탈 가능한 복수개의 스피커(예를 들면, 도 22의 스피커)를 가지며, 접속된 상기 스피커의 위치에 따라, 상기 화면 영역 분할 수단에 의해 분할되는 상기 영역의 설정을 행하는 영역 설정 수단(예를 들면, 도 24의 영역 설정부)을 추가로 구비하도록 할 수 있다.
본 발명의 일 측면의 화상 표시 방법 또는 프로그램은 화상을 표시하고(예를 들면, 도 7의 스텝 S5), 표시되는 상기 화상을 해석하고, 상기 화상의 내용에 따라, 상기 화상에 대응하는 음성을 출력시키는 위치를 선택하고(예를 들면, 도 7의 스텝 S4), 선택된 위치로부터 상기 음성을 출력하는(예를 들면, 도 7의 스텝 S6) 스텝을 포함한다.
이하, 본 발명의 실시예에 대하여 도면을 참조하여 설명한다.
도 2는 본 발명을 적용한 표시 장치 외관의 구성예를 나타낸 도면이다. 도 2에서, 표시 장치(10)는 3대의 스피커(스피커(11) 내지 스피커(13))를, 화상을 표시하는 영역의 아래쪽에 가지고 있다. 표시 장치(10)는 텔레비전 신호를 수신하거나, 외부 입력을 통해 컨텐츠 데이터를 취득함으로써, 화상 데이터나 음성 데이터를 취득하고, 그 화상 데이터에 대응하는 화상을 표시 화상(20)으로서 모니터에 표시하거나, 그 표시 화상(20)에 대응하는 음성을 스피커(11) 내지 스피커(13)로부터 출력하거나 한다.
예를 들면, 표시 화상(20)에서 인물(21) 내지 인물(23)의 3명이 회화를 하고 있는 것과 같은 경우, 표시 장치(10)는 표시 화상(20)을 해석하여, 좌측단에 있는 인물(21)의 음성을 좌측단에 배치된 스피커(11)로부터 출력하고, 중앙에 있는 인물(22)의 음성을 중앙에 배치된 스피커(12)로부터 출력하고, 우측단에 있는 인물(23)의 음성을 우측단에 배치된 스피커(11)로부터 출력한다. 이와 같이 표시 화 상(20)의 내용에 따라, 음성 출력 위치를 제어함으로써, 표시 장치(10)는 보다 현장감을 높이도록 표시 화상(20)에 대응하는 음성을 출력할 수 있다.
도 3은 그 표시 장치(10) 내부의 구성예를 나타낸 블록도이다.
도 3에서, 표시 장치(10)는 안테나(31), 튜너(32), 외부 입력 접수부(33), 입력 제어부(34), 화상 처리부(35), 음성 처리부(36), 음성 출력 위치 제어부(37), 표시부(38), 음성 출력부(39), 제어부(41), 및 사용자 지시 접수부(42)를 가지고 있다.
튜너(31)는 사용자가 원하는 방송을 선택(선국)하고, 안테나(31)를 통해, 그 선택한 텔레비전 신호를 수신하고, 그 수신한 텔레비전 신호를 입력 제어부(34)에 공급한다. 외부 입력 접수부는 영상이나 음성 등의 컨텐츠 데이터를 외부로부터 취득하는 외부 입력 단자를 가지고 있으며, 그 외부 입력 단자에 접속된 케이블을 통해 공급되는 컨텐츠 데이터를 취득하고, 그것을 입력 제어부(34)에 공급한다.
입력 제어부(34)는 사용자 지시 등에 따라, 텔레비전 신호나 컨텐츠 데이터의 입력에 관한 처리를 행하고, 예를 들면, 텔레비전 신호나 컨텐츠 데이터로부터 화상 데이터와 음성 데이터를 추출하여 분리하는 등의 처리를 행한다. 또, 입력 제어부(34)는 출력하는 화상 데이터를 화상 처리부(35)에 공급하고, 출력하는 음성 데이터를 음성 처리부(36)에 공급한다.
화상 처리부(35)는 입력 제어부(34)로부터 공급되는 화상 데이터에 대하여, 예를 들면, 데이터 형식의 변환을 행하거나, 명도(明度)나 채도(彩度)의 조정 등, 화상을 가공하는 화상 처리 등을 행하거나 하고, 처리 후의 화상 데이터를 표시 부(38)에 공급하여 화상을 표시하게 한다. 또, 화상 처리부(35)는 처리 후의 화상 데이터를 음성 출력 위치 제어부(37)에도 공급한다.
음성 처리부(36)는 입력 제어부(34)로부터 공급되는 음성 데이터에 대하여, 효과 처리 등의 음성 처리를 실시하고, 처리 후의 음성 데이터를 음성 출력 위치 제어부(37)에 공급한다. 그리고, 여기에서는, 음성 데이터는 모노럴 방식의 (단 채널)의 정보인 것으로 한다. 스테레오 방식의(다채널) 음성 데이터에 대해서는 후술한다.
음성 출력 위치 제어부(37)는 화상 처리부(35)로부터 공급되는 화상 데이터의 화상을 해석하고, 인물이 발화(發話)하는 장면이면, 음성 처리부(36)로부터 공급되는 음성 데이터의 출력처를 제어하여, 그 음성을 발화자의 위치에 가까운 스피커로부터 출력하도록, 음성 데이터를 음성 출력부(39)에 공급한다.
표시부(38)는 화상을 표시하는 모니터(도시하지 않음)를 가지고 있으며, 화상 처리부(35)로부터 공급되는 화상 데이터에 대응하는 화상을 그 모니터에 표시한다.
음성 출력부(39)는 도 2의 스피커(11) 내지 스피커(13)를 가지고 있으며, 음성 출력 위치 제어부(37)로부터 공급되는 음성 데이터를, 음성 출력 위치 제어부(37)에 지정된 스피커(스피커(11) 내지 스피커(13) 중 어느 하나)로부터 출력한다.
예를 들면, 음성 출력부(39)의 스피커(11) 내지 스피커(13)의 각각과 음성 출력 위치 제어부(37)가 서로 상이한 버스로 접속되어 있고, 음성 출력 위치 제어 부(37)는 음성 데이터를 출력하는 버스를 선택함으로써, 음성 데이터를 출력하는 스피커를 선택한다. 음성 출력부(39)에서는, 음성 데이터가 공급된 스피커로부터 음성을 출력한다.
그리고, 음성 출력부(39)가 출력처를 전환하는 스위칭 기능을 가지며, 음성 출력 위치 제어부(37)가 어느 스피커로부터 출력할 때도 사용되는 공통의 버스를 통해 음성 데이터를 음성 출력부(39)에 공급하는 동시에, 음성 데이터의 출력처를 나타내는 제어 정보를 음성 출력부(39)에 공급하고, 음성 출력부(39)가 그 제어 정보에 따라 스위치를 전환하여, 음성 출력 위치 제어부(37)에 선택된 스피커로부터 음성 데이터를 출력하도록 해도 된다.
제어부(41)는, 예를 들면, 사용자 지시 접수부(42)에 의해 접수된 사용자 지시에 따르는 등 하여, 튜너(32), 외부 입력 접수부(33), 입력 제어부(34), 화상 처리부(35), 음성 처리부(36), 음성 출력 위치 제어부(37), 표시부(38), 및 음성 출력부(39) 등을 포함하는 표시 장치(10) 전체를 제어한다.
사용자 지시 접수부(42)는, 예를 들면, 사용자가 조작하는 입력 디바이스인 리모트 커맨더로부터 출력되는 적외광을 수광함으로써, 사용자 지시를 포함하는 적외선 신호를 수신하는 수광부를 가지고 있으며, 공급된 사용자 지시를 취득하면 그것을 제어부(41)에 공급한다. 그리고, 사용자 지시 접수부(42)는, 예를 들면, 버튼이나 스위치, 또는 키보드나 마우스 등의 입력 디바이스를 가지도록 해도 된다.
도 4는 음성 출력 위치 제어부(37)의 상세한 구성예를 나타낸 블록도이다.
도 4에서, 음성 출력 위치 제어부(37)는 화면 영역 분할부(51), 차분 평균값 산출부(52), 판정부(53), 및 음성 출력 제어부(54)를 가지고 있다.
화면 영역 분할부(51)는 표시 화면을 스피커의 배치에 따라 복수개의 영역으로 분할하고, 화상 처리부(35)로부터 공급되는 화상 데이터의 각 프레임 화상에 대하여, 그 복수개의 영역을 할당한다.
도 5에 영역 분할의 예를 나타낸다. 도 5에 나타낸 바와 같이, 표시 장치(10)는 수평 방향으로 병렬된 3대의 스피커(스피커(11) 내지 스피커(13))를 가지고 있다. 따라서, 화면 영역 분할부(51)는 표시 화상(20)을 수평 방향으로 3 분할한 영역(61) 내지 영역(63)의 3개의 영역으로 분할된다. 도 5에서는, 이 분할에 의해, 표시 화상(20)에 포함되는 인물(21) 내지 인물(23)의 화상이, 각각, 영역(61) 내지 영역(63)에 할당되어 있다.
도 4로 복귀하여, 차분 평균값 산출부(52)는 화상 데이터의 각 프레임 화상에서, 미리 정해진 소정의 특징을 나타내는 부분을 특정하고, 그 부분의 휘도값을 프레임 사이에서 차분을 산출함으로써, 특징 부분의 휘도값의 프레임 간 변동량을 측정한다. 그리고, 차분 평균값 산출부(52)는 그 프레임 간 변동량의 평균값을 영역마다 산출한다. 차분 평균값 산출부(52)의 상세한 구성예에 대해서는 후술한다. 차분 평균값 산출부(52)는 산출한 차분 평균값을 판정부(53)에 공급한다.
판정부(53)는 차분 평균값의 값에 따라, 음성 출력 위치 제어를 행하는지 여부를 판정하고, 그 판정 결과를 음성 출력 제어부(54)에 통지한다. 음성 출력 제어부(54)는 판정부(53)의 판정 결과에 따라, 공급된 음성 데이터의 출력 위치를 제어하여, 음성 데이터를 음성 출력부(39)의 스피커(11) 내지 스피커(13) 중 어느 하 나에 공급한다. 음성 데이터의 출력 위치를 제어하지 않는 경우, 음성 출력 제어부(54)는 음성 데이터를, 음성 출력부(39)의 스피커(11) 내지 스피커(13)의 모두에 공급한다.
도 6은 도 4의 차분 평균값 산출부(52)의 상세한 구성예를 나타낸 블록도이다. 도 6에서, 차분 평균값 산출부(52)는 화소값 변환부(71), 프레임 메모리(72), 특징 화소 추출부(53), 변수 관리부(74), 차분 산출부(75), 판정부(76), 차분 평균 산출부(77), 및 차분 평균값 기억부(78)를 가지고 있다.
화소값 변환부(71)는 화면 영역 분할부(51)로부터 공급되는 화상 데이터 및 영역 정보를 취득하면, 화상 데이터를 소정의 데이터 형식으로 화소마다 변환하고, 그것을 프레임 메모리(72)에 공급하여 유지시킨다. 프레임 메모리(72)는 프레임 단위로 화상 데이터를 1 프레임분 유지한다. 즉, 프레임 메모리(72)는 그 프레임 화상의 데이터를, 다음의 프레임 화상에 대한 처리가 개시될 때까지 유지한다. 또 화소값 변환부(71)는 그 화상 데이터나 영역 정보를 특징 화소 추출부(73)에 공급한다.
특징 화소 추출부(73)는 화상 데이터에 포함되는 미리 정해진 소정의 특징을 가지는 화소인 특징 화소를 추출한다. 예를 들면, 특징 화소 추출부(73)는 공급된 화상 데이터의 각 화소에 대하여, 색상, 채도, 명도, 휘도값, 또는 RGB의 값 등에 따라, 인물의 특징을 나타내는 특징 화소(소정의 색값 범위에 포함되는 화소)를 추출한다. 특징 화소 추출부(73)는 특징 화소를 추출할 때마다, 변수 관리부(74)에 유지되어 관리되고 있는 변수인 영역 내 특징 화소수(81)를 인크리먼트시킨다.
변수 관리부(74)는 특징 화소의 수를 영역마다 카운트하기 위한 변수인 영역 내 특징 화소수(81), 및 특징 화소의 프레임 간 휘도값의 차분값을 영역마다 합계하기 위한 변수인 영역 내 차분값 총계(82)를 기억하고, 그 값의 갱신이나 입출력을 관리한다. 예를 들면, 변수 관리부(74)는 특징 화소 추출부(73)가 특징 화소를 추출할 때마다, 영역 내 특징 화소수(81)를 인크리먼트한다. 또, 변수 관리부(74)는, 예를 들면, 차분 산출부(75)로부터 공급되는 특징 화소에 있어서의 휘도값의 프레임 사이의 차분값을 취득하고, 그 차분값을 영역 내 차분값 총계(82)에 가산한다. 또한, 변수 관리부(74)는, 예를 들면, 영역 내 특징 화소수(81)나 영역 내 차분값 총계(82)를 필요에 따라 차분 평균값 산출부(77)에 제공한다.
차분 산출부(75)는 프레임 메모리(72)에 유지되고 있는 1 프레임 전의 화상 데이터를 취득하면, 특징 화소 추출부(73)에 의해 추출된 특징 화소에 대하여, 1 프레임 전의 휘도값과 현재의 프레임의 휘도값의 차분값을 산출한다. 차분 산출부(75)는 산출한 차분값을 변수 관리부(74)에 공급한다.
판정부(76)는 그 처리 결과를 받아, 영역 내의 모든 화소에 대하여 처리를 행했는지 여부를 판정하고, 영역 내의 화소 처리가 모두 종료되면, 그 취지를 차분 평균값 산출부(77)에 통지한다.
차분 평균값 산출부(77)는 변수 관리부(74)에 유지되고 있는 영역 내 특징 화소수(81) 및 영역 내 차분값 총계를 취득하고, 그들을 사용하여 영역마다의 차분값의 평균값인 차분 평균값을 산출한다. 차분 평균값 기억부(78)는 차분 평균값 산출부(77)에 의해 산출된 차분 평균값을 기억한다. 또, 차분 평균값 기억부(78) 는 모든 영역에 대하여 차분 평균값을 기억하면, 그 차분 평균값을 판정부(53)에 공급한다.
다음에, 각 부의 구체적인 처리의 흐름을 설명한다.
최초에, 표시 장치(10)에 의해 실행되는 화상 표시 처리의 흐름의 예를 도 7의 플로차트를 참조하여 설명한다.
스텝 S1에서, 입력 제어부(34)는 튜너(32)를 통해 텔레비전 신호를 수신하고, 수신한 텔레비전 신호로부터 화상 데이터나 음성 데이터를 추출한다. 스텝 S2에서, 화상 처리부(35)는 화상 데이터에 대하여 화상 처리를 행한다. 스텝 S3에서, 음성 처리부(36)는 음성 데이터에 대하여 음성 처리를 행한다. 스텝 S4에서, 음성 출력 위치 제어부(37)는 화상 데이터의 화상에 따라, 음성 데이터의 음성을 출력하는 스피커(음성 출력 위치)를 제어한다. 이 음성 출력 위치 제어 처리의 상세에 대해서는 후술한다.
스텝 S5에서, 표시부(38)는 공급된 화상 데이터의 화상을 표시한다. 스텝 S6에서, 음성 출력부(39)는 공급된 음성 데이터의 음성을 음성 출력 위치 제어부(37)의 제어에 따른 스피커(위치)로부터 출력한다.
스텝 S7에서, 제어부(41)는 화상 표시 처리를 종료하는지 여부를 판정하고, 종료하지 않는다고 판정한 경우, 처리를 스텝 S1로 복귀하여, 그 이후의 처리를 반복한다. 또, 스텝 S7에서, 화상 표시 처리를 종료한다고 판정한 경우, 제어부(41)는 처리를 스텝 S8로 진행하여, 전원을 절단하는 등의 종료 처리를 행하고, 화상 표시 처리를 종료한다.
다음에, 도 7의 스텝 S4에서 실행되는 음성 출력 위치 제어 처리의 상세한 흐름의 예를 도 8의 플로차트를 참조하여 설명한다.
음성 출력 위치 제어 처리가 개시되면, 화면 영역 분할부(51)는, 스텝 S21에서, 화면 영역을 스피커 배치에 대응하는 복수개의 영역으로 분할한다. 스텝 S22에서, 차분 평균값 산출부(52)는 분할된 각 영역에서 소정의 특징을 나타내는 화소(특징 화소)의 차분 평균값을 산출한다. 특징 화소 차분 평균값 산출 처리의 상세에 대해서는 후술한다.
스텝 S23에서, 판정부(53)는 모든 영역에서 차분 평균값이 미리 정해진 소정의 임계값 이하인지 여부를 판정한다. 1개라도 차분 평균값이 임계값 이상이라고 판정한 경우, 판정부(53)는 처리를 스텝 S24로 진행한다. 스텝 S24에서, 음성 출력 제어부(54)는 차분 평균값이 가장 큰 영역, 즉, 예를 들면, 입 등의 특징을 나타내는 화상의 모션이 가장 심한 영역을 특정하고, 그 영역에 말하는 인물이 존재한다고 판정하고, 그 영역에 대응하는 스피커를, 음성을 출력하는 스피커로서 선택하고, 스텝 S25에서, 그 선택에 따라 음성 데이터를 음성 출력부(39)에 공급하고, 그 차분 평균값이 가장 큰 영역에 대응하는 스피커로부터 음성을 출력시킨다. 음성 출력 제어부(54)는 스텝 S25의 처리를 종료하면, 스텝 S27로 처리를 진행한다.
또, 스텝 S23에서, 모든 영역에서 차분 평균값이 임계값 이하라고 판정한 경우, 판정부(53)는 처리를 스텝 S26으로 진행한다. 스텝 S26에서, 음성 출력 제어부(54)는 음성 데이터를 모든 스피커에 공급하고, 모든 스피커로부터 음성을 출력시킨다. 스텝 S26의 처리를 종료하면 음성 출력 제어부(54)는 처리를 스텝 S27로 진행한다.
스텝 S27에서, 음성 출력 제어부(54)는 음성 출력 위치 제어 처리를 종료하는지 여부를 판정하고, 종료하지 않는다고 판정한 경우, 처리를 스텝 S22로 복귀하여, 그 이후의 처리를 반복하게 한다. 또, 스텝 S27에서, 음성 출력 위치 제어 처리를 종료한다고 판정한 경우, 음성 출력 제어부(54)는 처리를 스텝 S28로 진행하고, 종료 처리를 행하여, 음성 출력 위치 제어 처리를 종료하고, 처리를 도 7의 스텝 S4로 처리를 복귀하여, 스텝 S5 이후의 처리를 실행시킨다.
다음에, 도 9의 플로차트를 참조하여, 도 8의 스텝 S22에서 실행되는 특징 화소 차분 평균값 산출 처리의 상세한 흐름의 예를 설명한다.
스텝 S41에서, 변수 관리부(74)는 영역 내 특징 화소수(81) 및 영역 내 차분값 총계(82) 등의 변수를 초기화한다. 스텝 S42에서, 화소값 변환부(71)는 화소값을 변환한다. 특징 화소 추출부(73)는, 스텝 S43에서, 화소값 변환부(71)에 의해 화소값이 변환된 화소가 인물 화상의 특징을 가지는 특징 화소인지 여부를 판정하고, 특징 화소라고 판정한 경우, 처리를 스텝 S44로 진행한다.
스텝 S44에서, 변수 관리부(74)는 영역 내 특징 화소(81)에 「+1」을 가산한다. 스텝 S45에서, 차분 산출부(75)는 전(前) 프레임과 휘도값의 차분을 산출한다. 스텝 S46에서, 변수 관리부(74)는 영역 내 차분값 총계(82)에 차분값을 가산한다. 스텝 S46의 처리를 종료하면, 변수 관리부(74)는 처리를 스텝 S47로 진행한다. 또, 스텝 S43에서, 특징 화소가 아니라고 판정한 경우, 특징 화소 추출부(73)는 처리를 스텝 S47로 진행한다.
스텝 S47에서, 판정부(76)는 영역 내의 모든 화소를 처리했는지 여부를 판정하고, 처리하고 있지 않다고 판정한 경우, 처리를 스텝 S42로 복귀하여, 다음의 화소에 대하여 그 이후의 처리를 반복하게 한다. 또, 스텝 S47에서, 영역 내의 모든 화소를 처리했다고 판정한 경우, 판정부(76)는 처리를 스텝 S48로 진행한다.
스텝 S48에서, 차분 평균값 산출부(77)는 영역 내 특징 화소수(81)와 영역 내 차분값 총계(82)의 값에 따라, 영역 내의 차분 평균값을 산출한다. 차분 평균값 기억부(78)는, 스텝 S49에서, 산출된 차분 평균값을 기억하고, 스텝 S50에서, 모든 영역에 대하여 처리가 종료되었는지 여부를 판정하고, 미처리의 영역이 존재한다고 판정한 경우, 처리를 스텝 S41로 복귀하고, 다음의 영역에 대하여 그 이후의 처리를 반복하게 한다.
또, 스텝 S50에서, 모든 영역에 대하여 처리했다고 판정한 경우, 차분 평균값 기억부(78)는 특징 화소 차분 평균값 산출 처리를 종료하고, 처리를 도 8의 스텝 S22로 복귀하여, 스텝 S23 이후의 처리를 실행시킨다.
이상과 같은 각 처리를 행하고, 표시 장치(10)는 도 2에 나타낸 바와 같은 표시 화상(20)에 대하여, 표시 화상(20)을 해석함으로써, 화소값의 특징으로부터 인물(21) 내지 인물(23)을 특정할 뿐만 아니라, 프레임 사이의 차분 평균값을 사용하여 인물(21) 내지 인물(23) 중 누가 말하고 있는지를 특정하고, 예를 들면, 인물(21)의 음성을 스피커(11)로부터 출력하고, 인물(22)의 음성을 스피커(12)로부터 출력하고, 인물(23)의 음성을 스피커(13)로부터 출력하도록, 표시 화상(20)의 내용에 따라 음성의 출력 위치를 제어한다.
이와 같이 함으로써, 표시 장치(10)는 표시하는 화상에 대응하는 음성을, 보다 현장감을 높이도록 출력할 수 있다.
그리고, 스피커의 수는 임의이며, 그 배치도 임의이다. 또, 영역과 스피커는 1 대 1로 관련되어 있지 않아도 되고, 1개의 스피커가 복수개의 영역에 대응하도록 해도 되고, 1개의 영역에 복수개의 스피커가 대응하도록 해도 된다. 예를 들면, 도 10 (A)에 나타낸 바와 같이, 표시 장치(10)가 표시 화상(20)을 에워싸도록 14개의 스피커(스피커(91A) 내지 스피커(91P))를 가지도록 해도 된다. 그 경우, 표시 화상(20)은 도 10 (B)에 나타낸 바와 같이, 세로 방향으로 3개, 가로 방향으로 4개의 합계 12개의 영역(영역(101) 내지 영역(112))으로 분할된다.
이 때, 예를 들면, 영역(101)에는 스피커(91A) 및 스피커(91P)가 대응하고, 영역(102)에는 스피커(91B)가 대응하고, 영역(103)에는 스피커(91C)가 대응하고, 영역(104)에는 스피커(91D) 및 스피커(91E)가 대응하고, 영역(105)에는 스피커(91N)가 대응하고, 영역(106)에는 스피커(91B), 스피커(91F), 스피커(91K), 및 스피커(91N)가 대응하고, 영역(107)에는 스피커(91C), 스피커(91F), 스피커(91J), 및 스피커(91N)가 대응하고, 영역(108)에는 스피커(91F)가 대응하고, 영역(109)에는 스피커(91L) 및 스피커(91M가 대응하고, 영역(110)에는 스피커(91K)가 대응하고, 영역(111)에는 스피커(91J)가 대응하고, 영역(112)에는 스피커(91G) 및 스피커(91H)가 대응하도록 한다. 물론, 그 밖의 방법으로 대응하도록 해도 된다.
그리고, 본 발명은 화상을 표시하는 동시에, 그 화상에 대응하는 음성을 출력하는 것이면 어떠한 것이라도 된다. 예를 들면, 도 11에 나타낸 바와 같이 프로 젝터를 이용하는 시스템이라도 된다. 도 11의 경우, 스크린(121)의 내측에 프로젝터(122)가 존재하고, 그 프로젝터(122)가 스크린(121)의 배면 측에 화상을 투영하고 있다. 스크린(121)의 바로 앞쪽에는, 내측을 향해 스피커(131) 내지 스피커(142)가 병렬하여 배치되어 있고, 프로젝터(122)가 투영하는 화상(123)에 대응하는 음성이 그들의 스피커로부터 출력되도록 되어 있다. 즉, 스피커(131) 내지 스피커(142)는 프로젝터(122)가 스크린(122)에 투영한 화상(123)의 배면 측으로부터 음성을 출력한다.
이와 같은 시스템에서, 전술한 바와 같이, 투영된 화상(123)의 내용에 따라, 음성을 스피커(131) 내지 스피커(142) 중에서 선택하여 출력함으로써, 예를 들면, 말하는 인물의 바로 뒤쪽의 스피커로부터 그 인물의 음성을 출력시킬 수 있다. 따라서, 도 11의 시스템은 표시하는 화상에 대응하는 음성을, 보다 현장감을 높이도록 출력할 수 있다.
그리고, 음성을 출력하는 스피커를 선택하는 것이 아니라, 각 스피커로부터 출력되는 음량을 제어하도록 해도 된다. 즉, 각 스피커로부터 음성을 출력하는지 여부를 제어하는 것이 아니라, 전술한 바와 같이 선택된 영역에 대응하는 스피커로부터 주로 출력하도록 하고, 그 이외의 영역에 대응하는 스피커로부터 출력하는 음성의 음량을 작게 하도록 해도 된다.
또, 음성 데이터의 채널 수는 복수개라도 되고, 예를 들면, BGM과 같이, 표시 화상(20)에서 음성의 출력 위치를 특정할 수 없는 음성과, 인물의 소리와 같이, 표시 화상(20)에서 음성의 출력 위치가 특정 가능한 음성을 서로 상이한 채널로 나 누어져 있는 음성 데이터를 처리하도록 해도 된다.
도 12는 그와 같은 경우의 표시 장치의 구성예를 나타낸 블록도이다. 도 12에서, 표시 장치(150)는 기본적으로 표시 장치(10)와 동일한 구성을 가지지만, 음성 처리부(151)는 음성 처리부(36)와 달리, 입력된 음성 데이터의 각 채널의 음성을 분할하여 출력한다. BGM과 같이 음성의 출력 위치를 특정할 수 없는 음성은 직접 음성 출력부(152)에 공급되고, 음성 출력 위치 제어부(37)는 인물의 소리와 같이 음성의 출력 위치가 특정 가능한 음성만을 처리한다. 음성 출력부(152)는 각 채널의 음성 데이터를 취득하고, 스피커마다 각 채널을 합성하여 음성을 출력한다.
이상과 같이, 표시 장치는 일부 채널의 음성만을 출력 위치 제어하도록 해도 된다. 그리고, 각 채널의 음성을 서로 독립적으로 출력 위치 제어하도록 해도 된다.
또한, 표시 장치가 스테레오 방식과 같이, 좌우 2 채널의 음성 데이터 출력 위치를 제어하도록 해도 물론 된다. 그 경우, 도 13에 나타낸 바와 같이, 좌우 2 채널의 스피커를 1조로 하여, 전술한 모노럴 방식의 음성 데이터와 동일하게 처리하도록 해도 된다.
예를 들면, 도 13의 경우, 표시 장치(160)는 수평 방향으로 병렬하도록 배치된 3개의 스테레오 스피커(스테레오 스피커(161) 내지 스테레오 스피커(163))를 가지고 있다. 스테레오 스피커(161)는 좌측 스피커(161A)와 우측 스피커(161B)를 가지며, 좌우 2 채널의 음성을 출력할 수 있다. 스테레오 스피커(162)도 동일하게 좌측 스피커(162A)와 우측 스피커(162B)를 가지며, 좌우 2 채널의 음성을 출력할 수 있다. 스테레오 스피커(163)도 동일하게 좌측 스피커(163A)와 우측 스피커(163B)를 가지며, 좌우 2 채널의 음성을 출력할 수 있다.
표시 장치(160)는 모노럴 방식의 경우와 동일하게, 표시 화상(20)에 따라, 좌우 2 채널의 음성을 출력하는 스테레오 스피커를 스테레오 스피커(161) 내지 스테레오 스피커(163) 중에서 선택하고, 그 선택한 스테레오 스피커(의 좌측 스피커 및 우측 스피커)로부터 좌우 2 채널의 음성을 출력한다. 그리고, 이 때, 스테레오 음성의 좌우 채널의 음량 차를 사용하여, 화상에 따라 행하는 출력 위치의 제어를 보정할 수도 있다.
또, 음성의 출력 위치를 제어하지 않는 경우에는, 표시 장치(160)는 스테레오 스피커(161) 내지 스테레오 스피커(163)를 1개의 스테레오 스피커로서 사용하여, 1 방향으로부터 스테레오 음성을 출력한다. 예를 들면, 스테레오 스피커(162)로부터의 음성 출력을 정지하고, 스테레오 스피커(161)(좌측 스피커(161A) 및 우측 스피커(161B)의 양쪽)로부터 좌측 채널의 음성을 출력시키고, 스테레오 스피커(163)(좌측 스피커(163A) 및 우측 스피커(163B)의 양쪽)로부터 우측 채널의 음성을 출력시킨다.
이와 같은 음성 출력 위치 제어 처리의 흐름의 예를 도 14의 플로차트를 참조하여 설명한다.
음성 출력 위치 제어 처리가 개시되면, 화면 영역 분할부(51)는, 스텝 S71에서, 화면 영역을 스피커 배치에 대응하는 복수개의 영역으로 분할한다. 스텝 S72에서, 차분 평균값 산출부(52)는, 분할된 각 영역에서, 도 9의 플로차트를 참조하 여 설명한 바와 같이, 소정의 특징을 나타내는 화소(특징 화소)의 차분 평균값을 산출한다.
스텝 S73에서, 판정부(53)는 모든 영역에서 차분 평균값이 미리 정해진 소정의 임계값 이하인지 여부를 판정하고, 1개라도 차분 평균값이 임계값 이상이라고 판정한 경우, 처리를 스텝 S74로 진행한다. 스텝 S74에서, 음성 출력 제어부(54)는 차분 평균값 및 음성 데이터에 따라 음성의 출력을 제어한다. 스텝 S74의 처리를 종료하면, 음성 출력 제어부(54)는 처리를 스텝 S76으로 진행한다.
또, 스텝 S73에서, 모든 영역에서 차분 평균값이 임계값 이하라고 판정한 경우, 판정부(53)는 처리를 스텝 S75로 진행한다. 스텝 S75에서, 음성 출력 제어부(54)는 모든 스피커를 스테레오 스피커로서 제어하여, 음성을 출력시킨다. 스텝 S75의 처리를 종료하면 음성 출력 제어부(54)는 처리를 스텝 S76으로 진행한다.
스텝 S76에서, 음성 출력 제어부(54)는 음성 출력 위치 제어 처리를 종료하는지 여부를 판정하고, 종료하지 않는다고 판정한 경우, 처리를 스텝 S72로 복귀하여, 그 이후의 처리를 반복하게 한다. 또, 스텝 S76에서, 음성 출력 위치 제어 처리를 종료한다고 판정한 경우, 음성 출력 제어부(54)는 처리를 스텝 S77로 진행하고, 종료 처리를 행하여, 음성 출력 위치 제어 처리를 종료하고, 처리를 도 7의 스텝 S4로 복귀하여, 스텝 S5 이후의 처리를 실행시킨다.
이상과 같이 함으로써, 표시 장치는 음성 데이터가 다채널의 경우에도, 표시하는 화상에 대응하는 음성을, 보다 현장감을 높이도록 출력할 수 있다.
그리고, 음성 출력 제어부(54)는 스테레오 음성의 좌우 채널의 음량 차를 사 용하여, 차분 평균값을 보정함으로써, 화상에 따라 행하는 출력 위치의 제어를 보정하도록 해도 된다. 그 경우의 음성 출력 제어부(54)의 상세한 구성예를 도 15에 나타낸다.
도 15에서, 음성 출력 제어부(54)는 음량 확인부(171), 차분 평균값 보정부(172), 영역 특정부(173), 및 출력 제어부(174)를 가지고 있다.
음량 확인부(171)는 음성 데이터의 좌우 채널의 음량 차를 확인하고, 주로 좌우 방향의 어느 방향으로부터 음성이 출력되고 있는지를 확인하고, 그 확인 결과를 차분 평균값 보정부(172)에 공급한다. 차분 평균값 보정부(172)는 그 확인 결과에 따라 각 영역의 차분 평균값의 값을 소정의 비율로 보정하고, 그 보정 후의 차분 평균값을 영역 특정부(173)에 공급한다. 영역 특정부(173)는 보정된 차분 평균값에 따라, 음성이 출력되는 영역을 특정하고, 그 특정 결과를 출력 제어부(174)에 공급한다. 출력 제어부(174)는 특정 결과에 따라, 음성이 출력되는 영역에 대응하는 스피커로부터 음성이 출력되도록, 음성 데이터를 음성 출력부(39)에 공급한다.
다음에, 이 음성 출력 제어부(54)에 의해, 도 14의 스텝 S74에서 실행되는 음성 출력 제어 처리의 흐름의 예를 도 16의 플로차트를 참조하여 설명한다.
최초에, 스텝 S91에서, 음성 확인부(171)는 음성 데이터의 각 채널의 음량에 따라 음성이 출력되는 영역인 음성 출력 영역을 특정한다. 스텝 S92에서, 차분 평균값 보정부(172)는 스텝 S91에서 특정된 음성 출력 영역에 따라, 각 영역의 차분 평균값을 보정한다. 예를 들면, 차분 평균값 보정부(172)는 음성 출력 영역의 차 분 평균값을 10% 증가시키고, 그 이외 영역의 차분 평균값을 10% 저하시키는 등 하여, 음성 출력 영역의 차분 평균값이 커지도록 보정한다.
스텝 S93에서, 영역 특정부(93)는 그 보정 후의 차분 평균값이 가장 큰 영역을 특정한다. 스텝 S94에서, 출력 제어부(174)는 차분 평균값이 가장 큰 영역에 대응하는 스피커로부터 음성을 출력시키도록 출력을 제어한다. 스텝 S94의 처리를 종료하면, 음성 출력 제어부(54)는 음성 출력 제어 처리를 종료하고, 도 14의 스텝 S74로 처리를 복귀하여, 스텝 S76이후의 처리를 실행시킨다.
그리고, 이밖의 방법으로 음성 데이터를 사용하여 음성 출력 제어를 보정하도록 해도 된다. 예를 들면, 표시 화상의 내용에 따라, 음성을 출력하는 스피커의 전환을 제어하는 것이 아니라, 각 스피커로부터 출력되는 음성의 음량의 대소를 제어하는 경우, 표시 장치가 그 표시 화상의 내용에 따라 결정된 각 스피커의 음량을, 음성 데이터의 좌우 채널의 음량에 따라 보정하도록 해도 된다.
그 경우의 음성 출력 제어부(54)의 상세한 구성예를 도 17에 나타낸다.
도 17에서, 음성 출력 제어부(54)는 영역 특정부(181), 음량 조정부(182), 음량 확인부(183), 비교부(184), 조정량 보정부(185), 및 출력 제어부(186)를 가지고 있다.
영역 특정부(181)는 차분 평균값이 가장 큰 영역을 특정하고, 그 결과를 음량 조정부(182)와 비교부(184)에 공급한다. 음량 조정부(182)는 그 결과에 따라, 각 영역에 대응하는 스피커로부터 출력하는 음량을 조정하는 제어 정보를 생성하고, 그 제어 정보를 조정량 보정부(185)에 공급한다. 음량 확인부(183)는 음성 데 이터의 좌우 채널의 음량 차에 따라, 표시 화상에서 음성이 출력되고 있는 영역을 특정하고, 그 결과를 비교부(184)에 공급한다. 비교부(184)는 영역 특정부(181)로부터 공급된 정보와, 음량 확인부(183)로부터 공급된 정보를 비교하여, 양자가 지정하는 영역이 일치하는지 여부를 판정하고, 그 판정 결과를 조정량 보정부(185)에 공급한다.
조정량 보정부(185)는 그 판정 결과에 따라, 영역 특정부(181)가 특정한 차분 평균값이 가장 큰 영역과, 음량 확인부(183)가 특정한 음성이 출력되고 있는 영역이 일치하는 경우, 음성 출력 위치의 편향이 강하고, 또한, 그 영역의 특정 정밀도가 높다고 추정되므로, 음량 조정부(182)에 의해 생성된 제어 정보를 보정하고, 영역 사이의 음량 차(각 스피커의 음량 차)가 커지도록 재조정한다. 역으로, 영역 특정부(181)가 특정한 차분 평균값이 가장 큰 영역과, 음량 확인부(183)가 특정한 음성이 출력되고 있는 영역이 일치하지 않는 경우, 음성 출력 위치의 편향이 약하고, 또한, 그 영역의 특정 정밀도가 낮다고 추정되므로, 조정량 보정부(185)는 음량 조정부(182)에 의해 생성된 제어 정보를 보정하여, 영역 사이의 음량 차(각 스피커의 음량 차)가 작아지도록 재조정한다.
조정량 보정부(185)는 조정량을 보정한 제어 정보를 출력 제어부(186)에 공급한다. 출력 제어부(186)는 공급된 제어 정보에 따라, 각 스피커의 음성 데이터를 출력하는 음량을 제어한다.
다음에, 이 음성 출력 제어부(54)에 의해, 도 14의 스텝 S74에서 실행되는 음성 출력 제어 처리의 흐름의 예를 도 18의 플로차트를 참조하여 설명한다.
스텝 S111에서, 영역 특정부(181)는 공급된 영역마다의 차분 평균값을 참조하여, 차분 평균값이 가장 큰 영역을 특정한다. 스텝 S112에서, 음량 조정부(182)는 스텝 S111의 처리의 특정 결과에 따라, 스피커 사이에서 출력 음성의 음량 차가 발생하도록 출력 음성을 조정하는 제어 정보를 생성한다.
스텝 S113에서, 음량 확인부(183)는 음성 데이터의 각 채널의 음량에 따라, 음성 출력 영역을 특정한다. 스텝 S114에서, 비교부(184)는 스텝 S111의 처리에서 특정된, 차분 평균값이 가장 큰 영역과, 스텝 S113의 처리에서 특정된 음성 출력 영역을 비교한다.
스텝 S115에서, 비교부(184)는 이 2개의 영역이 일치하는지 여부를 판정하고, 일치하다고 판정한 경우, 처리를 스텝 S116으로 진행한다. 스텝 S116에서, 조정량 보정부(185)는 음량 차가 스텝 S112에서 설정된 디폴트값보다 커지도록 조정량을 보정한다. 스텝 S116의 처리를 종료하면 조정량 보정부(185)는 처리를 스텝 S118로 진행한다.
또, 스텝 S115에서, 2개의 영역이 일치하지 않는다고 판정한 경우, 비교부(184)는 처리를 스텝 S117로 진행한다. 스텝 S117에서, 조정량 보정부(185)는 음량 차가 스텝 S112에서 설정된 디폴트값보다 작아지도록 조정량을 보정한다. 스텝 S117의 처리를 종료하면 조정량 보정부(185)는 처리를 스텝 S118로 진행한다.
스텝 S118에서, 출력 제어부(186)는 조정량이 보정된 제어 정보에 따라 각 스피커의 출력 음성의 음량을 조정하여, 음성을 출력시킨다. 스텝 S118의 처리를 종료하면, 음성 출력 제어부(54)는 음성 출력 제어 처리를 종료하고, 도 14의 스텝 S74로 처리를 복귀하여, 스텝 S76 이후의 처리를 실행시킨다.
이상과 같이, 표시 화상을 해석함으로써 결정하는 음성의 출력 제어를, 음성 데이터의 해석을 사용하여 보정함으로써, 표시 장치는 보다 정확하게 음성의 출력 제어를 행할 수 있어, 보다 현장감을 높이도록 음성을 출력할 수 있다.
그리고, 표시 장치는 음성을 출력시키는 스피커를 전환할 뿐만 아니라, 음성 처리에 의해 의사적(擬似的)으로 음성의 출력 위치를 제어하도록 해도 된다. 이와 같이 함으로써, 표시 장치는 음성의 출력 위치를 스피커의 배치 장소나 개수의 제한을 받지 않고, 사용자에게, 임의의 위치로부터 음성이 출력되고 있다고 느끼게 할 수 있다.
또, 컨텐츠를 시청하는 사용자의 표시 장치에 대한 위치에 따라, 각 스피커의 음성 출력 타이밍(지연량)을 제어함으로써, 가상적으로 출력 위치를 변경할(사용자가 느끼는 음성 출력 위치를 변경할) 수 있다.
도 19는 그 경우의 표시 장치의 구성예를 나타낸 블록도이다.
도 19에서, 표시 장치(200)는 표시 장치(10)의 구성에 더하여, 사용자 위치 대응 처리부(201)를 가지고 있다. 사용자 위치 대응 처리부(201)에는, 사용자 지시 접수부(42)를 통해 리모트 커맨더로부터 사용자 지시 커맨드와 함께 공급되는, 리모트 커맨더에 설치되어 있는 위치 센서의 출력 정보인 리모트 커맨더의 위치 정보가 공급된다. 사용자 위치 대응 처리부(201)는 그 위치 정보에 따라 리모트 커맨더의 표시 장치(200)를 기준으로 하는 위치를 검출하고, 그것을 사용자 위치로 한다. 그리고, 사용자 위치 대응 처리부(201)는 그 사용자 위치에 따라, 각 스피 커의 음성 출력의 지연량을 연산하고, 그 지연량분만큼 음성 출력 위치 제어부(37)로부터 공급되는 음성 데이터를 지연시키고 나서, 음성 출력부(39)에 공급하여 음성 출력시킨다. 즉, 사용자 위치 대응 처리부(201)는 사용자 위치(사용자의 표시 장치로부터의 상대 위치)에 따라 음성 출력을 지연시킨다.
도 20은 사용자 위치 대응 처리부(201)의 상세한 구성예를 나타낸 블록도이다. 도 20에서, 사용자 위치 대응 처리부(201)는 리모트 커맨더 위치 검출부(211), 지연량 연산부(212), 및 지연량 제어부(213)를 가지고 있다.
리모트 커맨더 위치 검출부(211)는 리모트 커맨더로부터 공급되는 위치 센서의 출력 정보에 따라, 리모트 커맨더의 위치를 사용자 위치로서 검출하고, 그 정보를 지연량 연산부(212)에 공급한다. 지연량 연산부(212)는 리모트 커맨더 위치 검출부(211)로부터 공급되는 사용자 위치의 정보에 따라, 각 스피커의 음성 출력의 지연량을 연산하고, 그것을 지연 제어부(213)에 공급한다. 지연 제어부(213)는 음성 출력 위치 제어부(37)로부터 공급되는 각 스피커용의 음성 데이터 출력 타이밍을 지연량 분만큼 지연시키고 나서 음성 출력부(39)에 공급하여, 음성을 출력시킨다.
다음에, 이 구체적인 처리의 흐름의 예로서, 사용자 위치 대응 처리부(201)에 의해 실행되는 사용자 위치 대응 처리의 흐름의 예를 도 21의 플로차트를 참조하여 설명한다.
스텝 S131에서, 리모트 커맨더 위치 검출부(211)는 리모트 커맨더의 위치를 검출함으로써 사용자 위치를 검출한다. 스텝 S132에서, 지연량 연산부(212)는 사 용자 위치에 따라, 각 스피커의 음성 출력의 지연량을 연산한다. 스텝 S133에서, 지연 제어부(213)는 산출된 지연량분만큼, 각 스피커의 음성 출력을 지연시킨다. 스텝 S134에서, 사용자 위치 대응 처리부(201)는 사용자 위치 대응 처리를 종료하는지 여부를 판정하고, 종료하지 않는다고 판정한 경우, 처리를 스텝 S131로 복귀하여, 그 이후의 처리를 반복하게 한다. 또, 스텝 S134에서, 사용자 위치 대응 처리를 종료한다고 판정한 경우, 사용자 위치 대응 처리부(201)는 사용자 위치 대응 처리를 종료한다.
이상과 같이, 사용자 위치에 따라, 음성 출력의 타이밍을 제어함으로써, 표시 장치는 표시 화상이 대응하는 위치로부터 음성이 출력되고 있는 것 같이, 사용자에 의해 강하게 느끼게 할 수 있어, 보다 현장감을 높이도록 음성을 출력할 수 있다.
또, 표시 장치가 가지는 스피커는 표시 장치로부터 착탈 가능하도록 해도 된다. 도 22는 스피커가 착탈 가능한 표시 장치의 예를 나타낸 사시도다.
도 22에서, 표시 장치(231)는 화상 표시면을 정면으로 했을 때의 상하 좌우의4 측면에, 스피커를 장착하기 위한 복수개의 오목부가 형성되어 있다. 스피커(233A) 및 스피커(233B)는 이 표시 장치(231)에 착탈 가능한 스피커이다. 스피커(233A) 및 스피커(233B)를 서로 구별하여 설명할 필요가 없는 경우에는, 스피커(233)라고 한다. 스피커(233)에는, 스피커(233B)에 나타낸 바와 같이 볼록부(234)가 형성되어 있다. 이 볼록부(234)는 표시 장치(231)의 오목부(232)에 대응하고 있으며, 사용자는 이 볼록부(234)를 표시 장치(231)의 오목부(232)에 끼워 맞추도록 스피커(233)를 표시 장치(231)에 장착함으로써, 스피커(233)를 표시 장치(231)의 측면에 고정할 수 있다.
또, 사용자는 표시 장치(231)에 고정되어 있는 스피커(233)를, 표시 장치(231)로부터 떼어 놓도록 잡아 당김으로써, 표시 장치(231)로부터 분리할 수 있다.
그리고, 오목부(232) 및 볼록부(234)에는, 각각 대응하는 위치에 전극이 형성되어 있고, 스피커(233)가 표시 장치(231)에 고정된 상태에서, 표시 장치(231)의 내부 회로와 스피커(233)가 전기적으로 접속되고, 표시 장치(231)가 출력하는 음성 신호를 스피커(233)가 취득하여, 그 음성 신호에 대응하는 음성을 출력할 수 있도록 되어 있다.
또한, 표시 장치(231)에 복수개 형성된 오목부(232)는 모두 동일 형상이며, 스피커(233)는 임의의 오목부(232)에 장착 가능하다. 즉, 표시 장치(231)에는, 스피커(233)를 오목부(232)의 개수만큼 장착할 수 있다.
또, 표시 장치(231)는, 도 23에 나타낸 바와 같이, 스피커의 배치 설정의 입력을 안내하는 메뉴 화면을 표시한다. 도 23에 나타낸 표시 장치(231)는 입력 안내 화상(241)이 표시되어 있다. 사용자는 이 입력 안내 화상(241)에 따라, 실제로 설치한 스피커의 배치를 입력하거나, 또는, 미리 준비된 패턴 중에서 실제의 배치에 가장 가까운 패턴을 선택하거나 한다. 표시 장치(231)는 입력된 스피커의 배치에 관한 정보에 따라, 표시 화상 영역의 분할 방법을 결정하여, 그 설정을 기억하여 두고, 그 설정을 음성 출력 위치 제어에 이용한다.
도 24는 그 경우의 표시 장치(231) 내부의 구성예를 나타낸 블록도이다. 도 24에서, 표시 장치(231)는 표시 장치(10)와 기본적으로 동일한 구성을 가지지만, 표시 장치(10)의 구성에 더하여, 추가로 영역 설정부(251)를 가진다.
영역 설정부(251)는 화상 처리부(35)에 입력 안내 화상(241)의 화상 데이터를 공급하여, 표시부(38)에 표시하게 한다. 사용자는 그 입력 안내 화상(241)에 따라 리모트 커맨더를 조작하여, 스피커의 배치에 관한 정보를 입력한다. 사용자 지시 접수부(42)는 그 사용자 지시를 취득하면, 그것을 영역 설정부(251)에 공급한다. 영역 설정부(251)는 사용자에게 입력된 스피커 배치에 관한 정보에 따라, 영역의 설정을 행하고, 그 설정 정보를 음성 출력 위치 제어부(37)에 공급한다. 음성 출력 위치 제어부(37)는 그 설정에 따라 표시 화상을 스피커 배치에 대응하는 복수개의 영역으로 분할한다.
도 25는 그 영역 설정부(251)의 상세한 구성예를 나타낸 블록도이다. 도 25에서, 영역 설정부(251)는 입력 안내 화상 표시 제어부(261), 사용자 입력 접수 처리부(262), 영역 설정 선택부(263), 및 분할 테이블 기억부(264)를 가지고 있다.
입력 안내 화상 표시 제어부(261)는 입력 안내 화상(241)을 화상 처리부(35)에 공급한다. 사용자 입력 접수 처리부(262)는 그 입력 안내 화상(241)에 따라 입력된 사용자 입력을, 사용자 지시 접수부(42)를 통해 취득하면, 그 사용자 입력으로부터 스피커의 배치에 관한 정보인 스피커 위치 정보를 추출하고, 그것을 영역 설정 선택부(263)에 공급한다. 영역 설정 선택부(263)는 분할 테이블 기억부(264)에 기억되어 있는 스피커의 배치 패턴과 영역의 분할 패턴을 관련시키는 분할 테이 블에 따라, 공급된 스피커 위치 정보에 대응하는 영역의 분할 패턴을 선택하고, 그것을 영역 설정으로서 음성 출력 위치 제어부(37)에 공급한다.
이 영역 설정부(251)에 의해 실행되는 영역 설정 처리의 구체적인 처리의 흐름의 예를 도 26의 플로차트를 참조하여 설명한다.
스텝 S151에서, 입력 안내 화상 표시 제어부(261)는 입력 안내 화상(241)을 표시부(38)에 표시하게 한다. 스텝 S152에서, 사용자 입력 접수 처리부(262)는 사용자 입력을 접수한다. 사용자 입력 접수 처리부(262)는, 스텝 S153에서, 사용자 입력을 접수했는지 여부를 판정하고, 접수했다고 판정할 때까지, 처리를 스텝 S152로 복귀하여, 그 이후의 처리를 반복하여 실행한다. 스텝 S153에서, 사용자 입력을 접수했다고 판정한 경우, 사용자 입력 접수 처리부(262)는 처리를 스텝 S154로 진행한다. 스텝 S154에서, 영역 설정 선택부(263)는 스피커 위치 및 분할 테이블에 따라 최적의 영역 설정을 선택한다. 스텝 S154의 처리가 종료되면, 영역 설정부(251)는 영역 설정 처리를 종료한다.
이상과 같이 영역을 설정함으로써, 표시 장치는 임의의 위치에 임의의 개수의 스피커를 배치해도, 표시하는 화상에 대응하는 음성을, 보다 현장감을 높이도록 출력할 수 있다.
그리고, 표시 장치(231)의 오목부(232)의 각각에 설치된 스피커 접속 단자의 접속 상황을 확인함으로써, 표시 장치(231)가 스피커(233)의 배치를, 도 23에 나타낸 바와 같은 사용자 입력 없이 자동적으로 파악할 수 있도록 해도 된다.
도 27은 그와 같은 경우의 표시 장치(231) 내부의 구성예를 나타낸 블록도이 다.
도 27에서, 표시 장치(231)는 표시 장치(10)와 기본적으로 동일한 구성을 가지지만, 표시 장치(10)의 구성에 더하여, 추가로 영역 설정부(301)를 가진다.
영역 설정부(301)는 음성 출력부(39)로부터 스피커(233)가 접속된 것을 나타내는 접속 정보를 취득한다. 예를 들면, 영역 설정부(301)가 각 오목부(232)에 설치된 스피커 접속 단자에 소정의 신호를 송신하거나, 스피커 접속 단자의 전압을 측정하거나 하여, 응답 신호나 전압 등에 따라 스피커의 접속 상황을 확인한다. 그리고, 영역 설정부(301)는 검출된 스피커의 배치에 따라 영역의 설정을 행하고, 그 영역 설정 정보를 음성 출력 위치 제어부(37)에 공급한다. 음성 출력 위치 제어부(37)는 그 설정에 따라 표시 화상을, 스피커 배치에 대응하는 복수개의 영역으로 분할한다.
도 28은 영역 설정부(301)의 상세한 구성예를 나타낸 블록도이다. 도 28에서, 영역 설정부(301)는 접속 확인부(311), 스피커 위치 기억부(312), 영역 설정 선택부(313), 및 분할 테이블 기억부(314)를 가진다.
접속 확인부(311)는 각 스피커 접속 단자로부터 접속 정보를 취득하여, 스피커의 접속 상황을 확인한다. 그리고, 접속 확인부(311)는 스피커를 검출하면, 그 위치를 나타내는 스피커 위치 정보를 스피커 위치 기억부(312)에 공급한다. 스피커 위치 기억부(312)는 검출된 스피커의 위치를 모두 기억하고, 필요에 따라, 그 위치 정보를 영역 설정 선택부(313)에 공급한다.
영역 설정 선택부(313)는 접속 확인부(311)가 모든 스피커 접속 단자에 대하 여 접속을 확인하면, 스피커 위치 기억부(312)로부터, 검출된 스피커의 위치를 나타내는 스피커 위치 정보를 취득하고, 분할 테이블 기억부(314)로부터, 스피커의 배치 패턴과 영역의 분할 패턴을 관련시키는 분할 테이블을 취득한다. 영역 설정 선택부(313)는 이 분할 테이블을 사용하여, 스피커의 배치에 대응하는 분할 패턴을 선택하고, 그것을 영역 설정으로서 음성 출력 위치 제어부(37)에 공급한다.
이 영역 설정부(301)에 의해 실행되는 영역 설정 처리의 구체적인 처리의 흐름을 도 29의 플로차트를 참조하여 설명한다.
스텝 S171에서, 접속 확인부(311)는 미처리의 스피커 접속 단자를 선택한다. 스텝 S172에서, 접속 확인부(311)는 선택한 스피커 접속 단자에 대하여, 스피커 접속을 확인한다. 스텝 S173에서 접속 확인부(311)는 스피커가 검출되었는지 여부를 판정하고, 검출되되었다고 판정한 경우, 처리를 스텝 S174로 진행한다. 스텝 S174에서, 스피커 위치 기억부(312)는 검출된 스피커의 위치를 기억하고, 처리를 스텝 S175로 진행한다. 또, 스텝 S173에서, 스피커가 검출되지 않았다고 판정한 경우, 접속 확인부(311)는 스텝 S174의 처리를 생략하고, 스텝 S175로 처리를 진행한다. 스텝 S175에서, 접속 확인부(311)는 모든 스피커 접속 단자를 확인했는지 여부를 판정하고, 미처리의 스피커 접속 단자가 존재한다고 판정한 경우, 처리를 스텝 S171로 복귀하여, 그 이후의 처리를 반복한다. 또, 스텝 S175에서, 모든 접속 단자를 확인했다고 판정한 경우, 접속 확인부(311)는 처리를 스텝 S176으로 진행한다. 스텝 S176에서, 영역 설정 선택부(313)는 스피커 위치 및 분할 테이블에 따라 영역 설정을 선택하고, 그것을 음성 출력 위치 제어부(37)에 공급하면, 영역 설정 처리를 종료한다.
이상과 같이 표시 장치가 스피커를 검출하고, 영역을 설정함으로써, 사용자는보다 용이하게 영역의 설정을 행할 수 있다. 즉, 표시 장치는 사용자에 의한 번잡한 작업을 수반하지 않고, 표시하는 화상에 대응하는 음성을, 보다 현장감을 높이도록 출력할 수 있다.
그리고, 접속된 스피커를 검출하기 위해, 표시 장치(231)의 오목부(232)의 각각에 스피커(233)가 접속된 것을 검출하는 센서나 스위치를 설치하도록 해도 된다. 그 경우, 영역 설정부(301)는 그들의 센서나 스위치로부터의 출력 정보를 취득하여, 스피커를 검출한다.
전술한 일련의 처리는 하드웨어에 의해 실행시킬 수도 있고, 소프트웨어에 의해 실행시킬 수도 있다. 이 경우, 예를 들면, 음성 출력 위치 제어부(37), 사용자 위치 대응 처리부(201), 영역 설정부(251), 또는 영역 설정부(301)는 도 30에 나타낸 바와 같은 퍼스널 컴퓨터로서 구성되도록 해도 된다.
도 30에서, 퍼스널 컴퓨터(400)의 CPU(Central Processing Unit)(401)는 ROM(Read Only Memory)(402)에 기억되어 있는 프로그램, 또는 기억부(413)로부터 RAM(Random Access Memory)(403)에 로드된 프로그램에 따라 각종의 처리를 실행한다. RAM(403)에는 또 CPU(401)가 각종의 처리를 실행하는 데 있어서 필요한 데이터 등도 적당히 기억된다.
CPU(401), ROM(402), 및 RAM(403)은 버스(404)를 통해 서로 접속되어 있다. 이 버스(404)에는 또 입출력 인터페이스(410)도 접속되어 있다.
입출력 인터페이스(410)에는, 키보드, 마우스 등으로 이루어지는 입력부(411), CRT(Cathode Ray Tube), LCD(Liquid Crystal Display) 등으로 이루어지는 디스플레이, 및 스피커 등으로 이루어지는 출력부(412), 하드 디스크 등으로 구성되는 기억부(413), 모뎀 등으로 구성되는 통신부(414)가 접속되어 있다. 통신부(414)는 인터넷을 포함하는 네트워크를 통한 통신 처리를 행한다.
입출력 인터페이스(410)에는, 또 필요에 따라 드라이브(415)가 접속되고, 자기 디스크, 광 디스크, 광자기 디스크, 또는 반도체 메모리 등의 착탈 가능 미디어(421)가 적당히 장착되고, 그들로부터 판독된 컴퓨터 프로그램이 필요에 따라 기억부(413)에 인스톨된다.
전술한 일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이 네트워크나 기록 매체로부터 인스톨된다.
이 기록 매체는, 예를 들면, 도 30에 나타낸 바와 같이, 장치 본체와는 별도로, 사용자에게 프로그램을 분배하기 위해 배포되는, 프로그램이 기록되어 있는 자기 디스크(플렉시블 디스크를 포함함), 광 디스크(CD-ROM(Compact Disk-Read Only Memory), DVD(Di gital Versatile Disk)를 포함함), 광자기 디스크(MD(Mini-Disk)(등록 상표)를 포함함), 또는 반도체 메모리 등으로 이루어지는 착탈 가능 미디어(421)에 의해 구성될 뿐만 아니라, 장치 본체에 미리 내장된 상태로 사용자에게 분배되는, 프로그램이 기록되어 있는 ROM(402)이나, 기억부(413)에 포함되는 하드 디스크 등으로 구성된다.
그리고, 본 명세서에서, 기록 매체에 기록되는 프로그램을 기술하는 스텝은 기재된 순서에 따라 시계열적으로 행해지는 처리는 물론, 반드시 시계열적으로 처리되지 않아도, 병렬적 또는 개별적으로 실행되는 처리도 포함하는 것이다.
또, 본 명세서에서, 시스템이란 복수개의 디바이스(장치)에 의해 구성되는 장치 전체를 나타내는 것이다.
그리고, 본 발명의 실시예는 전술한 실시예에 한정되지 않고, 본 발명의 요지를 벗어나지 않는 범위에서 각종의 변경이 가능하다.
본 발명의 일 측면에 의하면, 화상을 표시하는 동시에 음성을 출력할 수 있다. 특히, 표시하는 화상에 대응하는 음성을, 보다 현장감을 높이도록 출력할 수 있다.

Claims (12)

  1. 화상을 표시하는 화상 표시 장치로서,
    화상을 표시하는 화상 표시 수단과,
    상기 화상 표시 수단에 의해 표시되는 상기 화상에 대응하는 음성을 복수개의 위치로부터 출력하는 음성 출력 수단과,
    상기 화상을 해석하고, 상기 화상의 내용에 따라 상기 음성 출력 수단을 제어하여 상기 음성을 출력시키는 위치를 선택하는 음성 출력 위치 제어 수단
    을 구비한 화상 표시 장치.
  2. 제1항에 있어서,
    상기 음성 출력 수단은 복수개의 스피커를 가지며,
    상기 음성 출력 위치 제어 수단은 상기 음성 출력 수단을 제어하여 상기 음성을 출력시키는 스피커를 선택하는 것을 특징으로 하는 화상 표시 장치.
  3. 제1항에 있어서,
    상기 음성 출력 수단은 상기 음성의 출력 타이밍을 제어함으로써 가상적으로 상기 음성의 출력 위치를 제어 가능하며,
    상기 음성 출력 위치 제어 수단은 상기 음성 출력 수단을 제어하여 상기 출력 타이밍을 선택함으로써, 상기 음성을 출력시키는 가상적인 위치를 제어하는 것 을 특징으로 하는 화상 표시 장치.
  4. 제1항에 있어서,
    상기 음성 출력 위치 제어 수단은,
    상기 화상 표시 수단의 표시 화면을 미리 정해진 복수개의 영역으로 분할하는 화면 영역 분할 수단과,
    상기 화면 영역 분할 수단에 의해 분할된 영역마다, 화소값이 미리 정해진 소정의 특징을 가지는 각 화소의 휘도값의 프레임 사이의 차분값의 평균값을 산출하는 차분 평균값 산출 수단과,
    상기 차분 평균값 산출 수단에 의해 산출된 상기 차분 평균값에 따라, 상기 음성 출력 수단을 제어하여, 상기 음성을 출력시키는 위치를 선택하는 음성 출력 제어 수단을 추가로 구비한 것을 특징으로 하는 화상 표시 장치.
  5. 제1항에 있어서,
    상기 음성은 단(單) 채널의 음성인 것을 특징으로 하는 화상 표시 장치.
  6. 제1항에 있어서,
    상기 음성은 복수개 채널의 음성인 것을 특징으로 하는 화상 표시 장치.
  7. 제6항에 있어서,
    상기 음성 출력 위치 제어 수단은,
    상기 화상에 할당된 복수개 영역의 각각에 대하여, 화소값이 미리 정해진 소정의 특징을 가지는 각 화소의 휘도값의 프레임 사이의 차분값의 평균값인 차분 평균값을 산출하는 차분 평균값 산출 수단과,
    상기 복수개 채널 각각의 음량을 확인하여, 음성의 출력 위치를 특정하는 음량 확인 수단과,
    상기 음량 확인 수단에 의해 음량이 확인되어 특정된 상기 음성의 출력 위치에 따라, 상기 차분 평균값 산출 수단에 의해 산출된 상기 차분 평균값을 보정하는 차분 평균값 보정 수단과,
    상기 차분 평균값 보정 수단에 의해 보정된 차분 평균값에 따라, 상기 음성이 출력되는 영역을 특정하는 영역 특정 수단과,
    상기 영역 특정 수단에 의해 특정된 상기 영역에 대응하는 위치로부터 상기 음성을 출력시키도록, 상기 음성 출력 수단을 제어하는 음성 출력 제어 수단을 추가로 구비한 것을 특징으로 하는 화상 표시 장치.
  8. 제6항에 있어서,
    상기 음성 출력 위치 제어 수단은,
    상기 화상에 할당된 복수개 영역의 각각에 대하여, 화소값이 미리 정해진 소정의 특징을 가지는 각 화소의 휘도값의 프레임 사이의 차분값의 평균값인 차분 평균값을 산출하는 차분 평균값 산출 수단과,
    상기 차분 평균값 산출 수단에 의해 산출된 상기 차분 평균값에 따라, 상기 음성이 출력되는 영역을 특정하는 영역 특정 수단과,
    상기 영역 특정 수단에 의해 특정된 상기 음성이 출력되는 영역에 따라, 상기 음성 출력 수단에 의한 상기 음성의 출력 음량의 조정량을 결정하는 음량 조정 수단과,
    상기 복수개 채널 각각의 음량을 확인하여, 음성의 출력 위치를 특정하는 음량 확인 수단과,
    상기 영역 특정 수단에 의해 특정된 상기 음성이 출력되는 영역과, 상기 음량 확인 수단에 의해 음량이 확인되어 특정된 상기 음성의 출력 위치를 비교하는 비교 수단과,
    상기 비교 수단에 의한 비교 결과에 따라, 상기 음량 조정 수단에 의해 결정된 상기 음량의 조정량을 보정하는 조정량 보정 수단과,
    상기 조정량 보정 수단에 의해 보정된 상기 음량의 조정량에 따라 상기 음성의 음량을 조정하도록, 상기 음성 출력 수단을 제어하는 음성 출력 제어 수단을 추가로 구비한 것을 특징으로 하는 화상 표시 장치.
  9. 제1항에 있어서,
    상기 화상 및 상기 음성을 시청하는 사용자의 위치를 검출하고, 상기 사용자의 위치에 따라, 상기 음성 출력 수단에 의한 상기 음성의 출력 타이밍의 지연량을 제어하는 사용자 위치 대응 처리 수단을 추가로 구비한 것을 특징으로 하는 화상 표시 장치.
  10. 제4항에 있어서,
    상기 음성 출력 수단은 착탈 가능한 복수개의 스피커를 가지며,
    접속된 상기 스피커의 위치에 따라, 상기 화면 영역 분할 수단에 의해 분할되는 상기 영역의 설정을 행하는 영역 설정 수단을 추가로 구비한 화상 표시 장치.
  11. 화상을 표시하는 화상 표시 장치의 화상 표시 방법으로서,
    화상을 표시하는 스텝과,
    표시되는 상기 화상을 해석하고, 상기 화상의 내용에 따라, 상기 화상에 대응하는 음성을 출력시키는 위치를 선택하는 스텝과,
    선택된 위치로부터 상기 음성을 출력하는 스텝
    을 포함하는 화상 처리 방법
  12. 화상을 표시하는 스텝과,
    표시되는 상기 화상을 해석하고, 상기 화상의 내용에 따라, 상기 화상에 대응하는 음성을 출력시키는 위치를 선택하는 스텝과,
    선택된 위치로부터 상기 음성을 출력하는 스텝을 포함하는, 화상을 표시하는 처리를 컴퓨터로 하여금 행하도록 하게 하는 프로그램.
KR1020060100762A 2005-10-17 2006-10-17 화상 표시 장치 및 방법, 및 프로그램 KR20070042104A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2005-00301262 2005-10-17
JP2005301262A JP5067595B2 (ja) 2005-10-17 2005-10-17 画像表示装置および方法、並びにプログラム

Publications (1)

Publication Number Publication Date
KR20070042104A true KR20070042104A (ko) 2007-04-20

Family

ID=38003783

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060100762A KR20070042104A (ko) 2005-10-17 2006-10-17 화상 표시 장치 및 방법, 및 프로그램

Country Status (4)

Country Link
US (1) US8483414B2 (ko)
JP (1) JP5067595B2 (ko)
KR (1) KR20070042104A (ko)
CN (3) CN101370108B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101401090B1 (ko) * 2008-12-23 2014-05-28 인텔 코오퍼레이션 오디오-비주얼 검색 및 브라우즈 인터페이스

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4932694B2 (ja) * 2007-12-26 2012-05-16 シャープ株式会社 音声再生装置、音声再生方法、音声再生システム、制御プログラム、および、コンピュータ読み取り可能な記録媒体
WO2009104117A1 (en) * 2008-02-18 2009-08-27 Koninklijke Philips Electronics N.V. Light controlled audio transducer
JP4937942B2 (ja) * 2008-02-27 2012-05-23 シャープ株式会社 音声再生装置、音声再生方法、音声再生システム、制御プログラム、および、コンピュータ読み取り可能な記録媒体
KR101542233B1 (ko) * 2008-11-04 2015-08-05 삼성전자 주식회사 화면음원 정위장치, 화면음원 정위를 위한 스피커 셋 정보 생성방법 및 정위된 화면음원 재생방법
KR101517592B1 (ko) * 2008-11-11 2015-05-04 삼성전자 주식회사 고분해능을 가진 화면음원 위치장치 및 재생방법
WO2010140088A1 (en) * 2009-06-03 2010-12-09 Koninklijke Philips Electronics N.V. Estimation of loudspeaker positions
JP5448611B2 (ja) * 2009-07-02 2014-03-19 キヤノン株式会社 表示制御装置及び制御方法
KR101268779B1 (ko) * 2009-12-09 2013-05-29 한국전자통신연구원 라우드 스피커 어레이를 사용한 음장 재생 장치 및 방법
JP2011199707A (ja) * 2010-03-23 2011-10-06 Sharp Corp 音声データ再生装置及び音声データ再生方法
CN108989721B (zh) 2010-03-23 2021-04-16 杜比实验室特许公司 用于局域化感知音频的技术
US10158958B2 (en) 2010-03-23 2018-12-18 Dolby Laboratories Licensing Corporation Techniques for localized perceptual audio
JP5705470B2 (ja) * 2010-07-02 2015-04-22 ラピスセミコンダクタ株式会社 画像処理システム、及び画像処理プログラム
DE102010052527A1 (de) 2010-11-25 2012-05-31 Institut für Rundfunktechnik GmbH Verfahren und Anordnung zur verbesserten Tondarstellung von Geräuschen bei einer Videoaufzeichnung
JP5852325B2 (ja) * 2011-05-10 2016-02-03 日本放送協会 音像定位改善装置
CN103716729B (zh) * 2012-09-29 2017-12-29 联想(北京)有限公司 输出音频的方法及电子设备
GB2507106A (en) * 2012-10-19 2014-04-23 Sony Europe Ltd Directional sound apparatus for providing personalised audio data to different users
KR102014982B1 (ko) * 2013-03-15 2019-08-27 삼성전자주식회사 시각 청각 다중 분할 디스플레이 장치
EP3036918B1 (en) * 2013-08-21 2017-05-31 Thomson Licensing Video display having audio controlled by viewing direction
US9841879B1 (en) * 2013-12-20 2017-12-12 Amazon Technologies, Inc. Adjusting graphical characteristics for indicating time progression
CN104036789B (zh) * 2014-01-03 2018-02-02 北京智谷睿拓技术服务有限公司 多媒体处理方法及多媒体装置
CN103905810B (zh) * 2014-03-17 2017-12-12 北京智谷睿拓技术服务有限公司 多媒体处理方法及多媒体处理装置
KR102222318B1 (ko) * 2014-03-18 2021-03-03 삼성전자주식회사 사용자 인식 방법 및 장치
JP6420077B2 (ja) * 2014-06-30 2018-11-07 株式会社バンダイナムコエンターテインメント ゲームシステム
JP6456163B2 (ja) * 2015-01-28 2019-01-23 エヌ・ティ・ティ・コミュニケーションズ株式会社 情報処理装置、音声出力方法及びコンピュータプログラム
CN105989845B (zh) 2015-02-25 2020-12-08 杜比实验室特许公司 视频内容协助的音频对象提取
CN106293596A (zh) * 2015-06-10 2017-01-04 联想(北京)有限公司 一种控制方法及电子设备
KR20170039379A (ko) * 2015-10-01 2017-04-11 삼성전자주식회사 전자 장치 및 이의 제어 방법
KR20180102552A (ko) * 2015-11-25 2018-09-17 토마스 미첼 다이르 수직으로-배향되는 콘텐츠에 대한 서라운드 사운드 애플리케이션들 및 디바이스들
EP3249909B1 (en) * 2016-05-23 2020-01-01 Funai Electric Co., Ltd. Display device
CN106162447A (zh) * 2016-06-24 2016-11-23 维沃移动通信有限公司 一种音频播放的方法和终端
CN105979469B (zh) * 2016-06-29 2020-01-31 维沃移动通信有限公司 一种录音处理方法及终端
JP2020030223A (ja) * 2016-12-09 2020-02-27 村上　知広 連携表示システム
JP6662334B2 (ja) * 2017-03-22 2020-03-11 ヤマハ株式会社 音響処理装置
EP3435683B1 (en) * 2017-07-27 2020-04-08 Vestel Elektronik Sanayi ve Ticaret A.S. Audio system, a television comprising the audio system and a method for generating an audio depth effect
CN111801952A (zh) * 2018-03-08 2020-10-20 索尼公司 信息处理装置、信息处理方法、信息处理系统和程序
EP3721428A4 (en) * 2018-03-08 2021-01-27 Samsung Electronics Co., Ltd. INTERACTIVE RESPONSE PROCESS BASED ON INTENTIONS, AND ASSOCIATED ELECTRONIC DEVICE
CN109194999B (zh) * 2018-09-07 2021-07-09 深圳创维－Rgb电子有限公司 一种实现声音与图像同位的方法、装置、设备及介质
CN109302664A (zh) * 2018-11-21 2019-02-01 京东方科技集团股份有限公司 显示屏及其声音输出位置控制方法和装置
DE102020104879A1 (de) * 2019-02-28 2020-09-03 Lg Display Co., Ltd. Anzeigevorrichtung
JPWO2020213375A1 (ko) * 2019-04-16 2020-10-22
CN114747196A (zh) * 2020-08-21 2022-07-12 Lg电子株式会社 使用多个音频装置来输出多声道音频的终端和方法
CN112561585B (zh) * 2020-12-16 2024-06-28 中国人寿保险股份有限公司 一种基于图形的信息服务系统及方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04104673A (ja) * 1990-08-24 1992-04-07 Fujitsu General Ltd テレビ受像機の疑似サラウンド方式
EP0695109B1 (en) * 1994-02-14 2011-07-27 Sony Corporation Device for reproducing video signal and audio signal
JPH08125760A (ja) * 1994-10-28 1996-05-17 Hitachi Ltd 情報処理装置
JP3711418B2 (ja) * 1996-02-21 2005-11-02 カシオ計算機株式会社 顔画像表示装置及び顔画像通信システム
DE19646055A1 (de) * 1996-11-07 1998-05-14 Thomson Brandt Gmbh Verfahren und Vorrichtung zur Abbildung von Schallquellen auf Lautsprecher
JPH11313272A (ja) * 1998-04-27 1999-11-09 Sharp Corp 映像音声出力装置
JP3753540B2 (ja) * 1998-06-19 2006-03-08 富士通株式会社 複数のスピーカの接続が可能なコンピュータ及び、記録媒体
JP2001057699A (ja) * 1999-06-11 2001-02-27 Pioneer Electronic Corp オーディオ装置
US6754373B1 (en) * 2000-07-14 2004-06-22 International Business Machines Corporation System and method for microphone activation using visual speech cues
JP2002199500A (ja) * 2000-12-25 2002-07-12 Sony Corp 仮想音像定位処理装置、仮想音像定位処理方法および記録媒体
US6829018B2 (en) * 2001-09-17 2004-12-07 Koninklijke Philips Electronics N.V. Three-dimensional sound creation assisted by visual information
JP4010161B2 (ja) 2002-03-07 2007-11-21 ソニー株式会社 音響提示システムと音響再生装置及びその方法並びにコンピュータ読み取り可能な記録媒体と音響提示プログラム。
JP2004120459A (ja) * 2002-09-27 2004-04-15 Mitsubishi Electric Corp 音声出力装置
JP4521671B2 (ja) * 2002-11-20 2010-08-11 小野里 春彦 音源映像の表示領域からその音声を出力させる映像音声再生方法
JP3997952B2 (ja) * 2003-06-16 2007-10-24 コニカミノルタホールディングス株式会社 画像表示装置
CN100348020C (zh) * 2004-09-14 2007-11-07 南京Lg新港显示有限公司 根据画面上说话人的位置控制音量的图像显示设备及方法
US20060140420A1 (en) * 2004-12-23 2006-06-29 Akihiro Machida Eye-based control of directed sound generation

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101401090B1 (ko) * 2008-12-23 2014-05-28 인텔 코오퍼레이션 오디오-비주얼 검색 및 브라우즈 인터페이스

Also Published As

Publication number Publication date
US8483414B2 (en) 2013-07-09
JP2007110582A (ja) 2007-04-26
US20070104341A1 (en) 2007-05-10
CN101370108B (zh) 2010-06-16
CN101370107A (zh) 2009-02-18
JP5067595B2 (ja) 2012-11-07
CN101009792A (zh) 2007-08-01
CN101370108A (zh) 2009-02-18
CN101370107B (zh) 2011-10-19
CN100477762C (zh) 2009-04-08

Similar Documents

Publication Publication Date Title
JP5067595B2 (ja) 画像表示装置および方法、並びにプログラム
EP3467823B1 (en) Video sound processing device, video sound processing method, and program
US8218033B2 (en) Sound corrector, sound recording device, sound reproducing device, and sound correcting method
US20150078595A1 (en) Audio accessibility
KR101844511B1 (ko) 입체 음향 재생 방법 및 장치
CN111918018B (zh) 视频会议系统、视频会议设备以及视频会议方法
CN103002378A (zh) 音频处理装置、音频处理方法以及音频输出装置
KR20230030563A (ko) 레거시 시청각 매체들로부터의 공간화된 가상 음향 장면들의 결정
KR102072146B1 (ko) 입체 음향 서비스를 제공하는 디스플레이 장치 및 방법
KR102615844B1 (ko) 맹인 또는 시각 장애인에게 소리 또는 촉각에 의하여 주변환경을 이해할 수 있도록 하는 휴대용 시스템
EP3226579B1 (en) Information-processing device, information-processing system, control method, and program
US20230045236A1 (en) Display device, sound-emitting controlling method, and sound-emitting controlling device
US20140064517A1 (en) Multimedia processing system and audio signal processing method
US8155358B2 (en) Method of simultaneously establishing the call connection among multi-users using virtual sound field and computer-readable recording medium for implementing the same
KR20180060793A (ko) 전자장치 및 그 제어방법
KR102348658B1 (ko) 표시장치 및 그 구동 방법
WO2018173139A1 (ja) 撮影収音装置、収音制御システム、撮影収音装置の制御方法、及び収音制御システムの制御方法
JP2007251355A (ja) 対話システム用中継装置、対話システム、対話方法
CN113596353A (zh) 体感互动数据处理方法、装置及体感互动设备
JP2011234139A (ja) ３次元音声信号生成装置
JP7111202B2 (ja) 収音制御システム及び収音制御システムの制御方法
US20240259752A1 (en) Audio system with dynamic audio setting adjustment feature
KR20240070333A (ko) 가상 스크린 내 오브젝트 위치를 이용한 스피커 제어 장치 및 방법
EP3471425A1 (en) Audio playback system, tv set, and audio playback method
KR101410977B1 (ko) 오브젝트 중심의 스피커를 지정하기 위한 장치 및 방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid