KR20180134647A - Display device and driving method thereof - Google Patents

Display device and driving method thereof Download PDF

Info

Publication number
KR20180134647A
KR20180134647A KR1020170072663A KR20170072663A KR20180134647A KR 20180134647 A KR20180134647 A KR 20180134647A KR 1020170072663 A KR1020170072663 A KR 1020170072663A KR 20170072663 A KR20170072663 A KR 20170072663A KR 20180134647 A KR20180134647 A KR 20180134647A
Authority
KR
South Korea
Prior art keywords
audio signal
display panel
signal
band
input image
Prior art date
Application number
KR1020170072663A
Other languages
Korean (ko)
Other versions
KR102348658B1 (en
Inventor
김민범
김도형
Original Assignee
엘지디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지디스플레이 주식회사 filed Critical 엘지디스플레이 주식회사
Priority to KR1020170072663A priority Critical patent/KR102348658B1/en
Publication of KR20180134647A publication Critical patent/KR20180134647A/en
Application granted granted Critical
Publication of KR102348658B1 publication Critical patent/KR102348658B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/04Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/15Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

The present invention relates to a display device capable of increasing immersion of a user and a driving method thereof. According to the present invention, the display device comprises: a display panel displaying an input image and having n (n is an integer equal to or greater than two) or more speakers disposed thereon; an object detection unit analyzing data of the input image to detect an object and appointing the position of the object on a screen of the display panel to generate object position information; and an audio processing unit converting an input audio signal received in synchronization with data of the input image into n audio signals, and responding to the object position information to amplify a signal within a sound range of the object from the audio signal outputted through the closest speaker to the position of the object on the display panel.

Description

표시장치 및 그 구동 방법{DISPLAY DEVICE AND DRIVING METHOD THEREOF}DISPLAY DEVICE AND DRIVING METHOD THEREOF [0002]

본 발명은 화면 상에 표시된 객체의 위치와 그 객체에 대응하는 음향의 출력 위치가 일치되는 표시장치 및 그 구동 방법에 관한 것이다.The present invention relates to a display device in which a position of an object displayed on a screen coincides with an output position of a sound corresponding to the object, and a driving method thereof.

전자장치는 비디오 신호를 재생하는 표시장치와, 오디오 신호를 재생하는 오디오 출력 장치를 포함할 수 있다. 전자 장치의 일 예로, TV(Television), 모니터(monitor) 등이 있다. The electronic device may include a display device for reproducing the video signal and an audio output device for reproducing the audio signal. An example of the electronic device is a television (TV), a monitor, and the like.

전자장치는 표시장치로 비디오 신호를 출력하여 표시패널의 화면 상에 영상을 표시하고, 스피커를 통해 오디오 신호를 출력하여 음향 신호를 재생한다. 스피커는 전자 장치의 외부에 설치되는 외부 스피커 시스템 또는 전자 장치 내부에 배치되는 내부 스피커로 구현될 수 있다. 외부 스피커 시스템은 음질이 좋고 다양한 음향 효과를 연출할 수 있지만 설치 공간과 디자인에 제약이 있고, 외부 스피커 시스템으로 인하여 비용이 추가된다.The electronic device outputs a video signal to a display device to display an image on a screen of the display panel, and outputs an audio signal through a speaker to reproduce the sound signal. The speaker may be implemented with an external speaker system installed outside the electronic device or an internal speaker disposed inside the electronic device. The external speaker system has good sound quality and can produce various sound effects, but there is a limitation in installation space and design, and an external speaker system adds cost.

내부 스피커는 전자 장치 내에서 표시패널 뒤에 배치될 수 있다. 이러한 내부 스피커가 적용된 전자 장치의 경우, 스피커에 의해 재생된 오디오 신호가 표시패널이나 다른 구조물에 의해 가려져 음질이 저하된다.The internal speaker may be disposed behind the display panel within the electronic device. In the case of an electronic device to which such an internal speaker is applied, the audio signal reproduced by the speaker is obscured by the display panel or other structures, and the sound quality is deteriorated.

전자 장치에서 표시패널과 스피커가 분리되어 있다. 따라서, 화면 상에 표시된 영상의 객체 위치와 오디오 신호의 출력 위치가 물리적으로 분리되어 있기 때문에 사용자가 듣는 오디오 신호의 입체감 변화가 없다. In the electronic device, the display panel and the speaker are separated. Therefore, since the object position of the video image displayed on the screen and the output position of the audio signal are physically separated, there is no change in stereoscopic effect of the audio signal heard by the user.

본 발명은 오디오 신호의 입체감을 향상하여 사용자의 몰입감을 향상시킬 수 있고 음향의 입체감을 향상시킬 수 있는 표시장치와 그 구동 방법을 제공한다. The present invention provides a display device and a driving method thereof that can improve a sense of three-dimensional effect of an audio signal to improve a feeling of immersion of a user and enhance a sense of three-dimensional sound.

본 발명의 표시장치는 입력 영상이 표시되고 n(n은 3 이상의 정수) 개 이상의 스피커들이 여러 위치로 분산 배치되는 표시패널, 상기 입력 영상의 데이터를 분석하여 객체를 검출하고 상기 표시패널의 화면 상에서 상기 객체의 위치를 지시하는 객체 위치 정보를 발생하는 객체 검출부, 및 상기 입력 영상의 데이터와 동기되어 수신된 입력 오디오 신호를 상기 n 개의 오디오 신호로 변환하고 상기 객체 위치 정보에 응답하여 상기 표시패널 상에서 상기 객체의 위치와 가장 가까운 스피커를 통해 출력될 오디오 신호에서 상기 객체의 음역대 신호를 증폭하는 오디오 신호 처리부를 구비한다. A display device of the present invention includes: a display panel in which an input image is displayed and n (n is an integer of 3 or more) speakers are dispersedly disposed at various positions; an object is detected by analyzing data of the input image, An object detection unit for generating object position information indicating a position of the object; and an input unit for converting the input audio signal received in synchronization with the data of the input image into the n audio signals, And an audio signal processor for amplifying a band-width signal of the object in an audio signal to be output through a speaker closest to the position of the object.

상기 표시장치의 구동 방법은 입력 영상의 데이터를 분석하여 객체를 검출하는 단계와, 상기 입력 영상의 데이터와 동기되어 수신된 입력 오디오 신호를 n 개의 오디오 신호로 변환하고 상기 표시패널 상에서 표시되는 상기 객체의 위치와 가장 가까운 스피커를 통해 출력될 오디오 신호에서 상기 객체의 음역대 신호를 증폭하는 단계를 포함한다. The method comprising the steps of: detecting an object by analyzing data of an input image; converting the input audio signal received in synchronization with the data of the input image into n audio signals, And amplifying the band-width signal of the object from the audio signal to be output through the speaker closest to the position of the speaker.

본 발명은 표시패널의 화면 상에서 표시되는 객체의 위치와 가장 가까운 스피커를 통해 출력될 오디오 신호에서 객체의 음역대 신호를 증폭시킴으로써 객체의 표시 위치와 그 객체의 음역대 음향 출력 위치를 일치시킬 수 있으므로, 오디오 신호의 입체감을 향상시킬 수 있다. Since the display position of the object can be matched with the sound output position of the object band of the object by amplifying the object's sound band signal from the audio signal to be outputted through the speaker nearest to the position of the object displayed on the screen of the display panel, It is possible to improve the stereoscopic effect of the signal.

그리고, 본 발명은 영상의 객체들 각각에서 객체의 표시 위치와 음향의 출력 위치를 일치함으로써, 영상 및 음향에 대한 사용자의 몰입감을 향상시킬 수 있다. In addition, according to the present invention, the display position of the object and the output position of the sound are matched with each other in the objects of the image, thereby enhancing the user's immersion feeling for the image and sound.

그리고, 본 발명은 객체 고유의 음역대 신호를 추출하고, 멀티 채널 오디오 신호들 사이의 게인을 조정함으로써, 객체 위치와 가장 가까운 스피커를 통해 객체의 음역대의 음향을 증가시킬 수 있다. In addition, the present invention can increase the sound of the object band by extracting the object-specific band-pass signal and adjusting the gain between the multi-channel audio signals through the speaker closest to the object position.

도 1은 본 발명의 실시예에 따른 표시장치를 보여 주는 블록도이다.
도 2는 본 발명의 실시예에 따른 표시장치의 구동 방법을 보여 주는 흐름도이다.
도 3은 표시패널 상에 표시되는 객체 위치와 그 객체의 음향 출력 위치가 일치되는 예를 보여 주는 도면이다.
도 4는 객체 검출부를 상세히 보여 주는 블록도이다.
도 5는 오디오 신호 처리부를 상세히 보여 주는 블록도이다.
도 6 및 도 7은 멀티 채널 변환부를 상세히 보여 주는 도면들이다.
도 8a 내지 도 8c는 도 5에 도시된 멀티 채널 조정부의 동작을 상세히 보여 주는 도면들이다.
도 9는 표시패널 상에 배치되는 스피커를 보여 주는 도면이다.
도 10은 도 9에 도시된 표시패널 일체형 스피커의 구조를 상세히 보여 주는 도면이다.
도 11a 내지 도 11c는 표시패널 일체형 스피커를 이용한 객체 위치와 음향 출력 위치가 일치되는 예를 보여 주는 도면들이다.
도 12a 및 도 12b는 두 개의 스피커가 배치된 표시패널에서 객체의 표시 위치와 가까운 스피커를 통해 객체 고유의 음역대 신호가 출력되는 예를 보여 주는 도면들이다.
1 is a block diagram showing a display device according to an embodiment of the present invention.
2 is a flowchart illustrating a method of driving a display device according to an exemplary embodiment of the present invention.
3 is a diagram showing an example in which an object position displayed on a display panel is matched with an acoustic output position of the object.
4 is a detailed block diagram of the object detection unit.
5 is a detailed block diagram of an audio signal processing unit.
FIG. 6 and FIG. 7 are diagrams illustrating the multi-channel conversion unit in detail.
8A to 8C are diagrams showing details of the operation of the multi-channel adjustment unit shown in FIG.
9 is a view showing a speaker disposed on the display panel.
FIG. 10 is a detailed view showing the structure of the display panel integrated type speaker shown in FIG.
11A to 11C are views showing an example in which an object position and an acoustic output position using the display panel integrated type speaker coincide with each other.
FIGS. 12A and 12B are diagrams illustrating examples of outputting a characteristic band-specific signal through a speaker near a display position of an object in a display panel on which two speakers are arranged.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다는 것에 주의하여야 한다. 이하의 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명은 특허청구범위에 의해 정의된다. BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention, and the manner of achieving them, will be apparent from and elucidated with reference to the embodiments described hereinafter in conjunction with the accompanying drawings. It should be noted that the present invention is not limited to the embodiments disclosed below, but may be implemented in various forms. The following embodiments are provided so that the disclosure of the present invention is complete and that those skilled in the art will fully understand the scope of the present invention. The invention is defined by the claims.

본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. The shapes, sizes, ratios, angles, numbers, and the like disclosed in the drawings for describing the embodiments of the present invention are illustrative, and thus the present invention is not limited thereto. Like reference numerals refer to like elements throughout the specification. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail.

본 명세서 상에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우 ' ~ 만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성 요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다. Where the terms "comprises", "having", "done", and the like are used in this specification, other portions may be added unless "only" is used. Unless the context clearly dictates otherwise, including the plural unless the context clearly dictates otherwise.

구성 요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.In interpreting the constituent elements, it is construed to include the error range even if there is no separate description.

위치 관계에 대한 설명일 경우, 예를 들어, ' ~ 상에', ' ~ 상부에', ' ~ 하부에', ' ~ 옆에' 등으로 두 부분의 위치 관계가 설명되는 경우, '바로' 또는 '직접'이 사용되지 않는 이상 두 부분 사이에 하나 이상의 다른 부분이 위치할 수도 있다. In the case of a description of the positional relationship, for example, if the positional relationship between two parts is described as 'on', 'on top', 'under', and 'next to' Or " direct " is not used, one or more other portions may be located between the two portions.

실시예의 설명에서, 제1, 제2 등이 다양한 구성 요소들을 서술하기 위해서 사용되지만, 이들 구성 요소들은 이들 용어에 의해 제한되지 않는다. 이들 용어들은 단지 하나의 구성 요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다.In the description of the embodiments, the first, second, etc. are used to describe various components, but these components are not limited by these terms. These terms are used only to distinguish one component from another.

명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Like reference numerals refer to like elements throughout the specification.

본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.It is to be understood that each of the features of the various embodiments of the present invention may be combined or combined with each other partially or wholly and technically various interlocking and driving are possible and that the embodiments may be practiced independently of each other, It is possible.

이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예들을 상세히 설명한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 실질적으로 동일한 구성요소들을 의미한다. 이하의 설명에서, 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Reference will now be made in detail to the preferred embodiments of the present invention, examples of which are illustrated in the accompanying drawings. Like reference numerals throughout the specification denote substantially identical components. In the following description, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

도 1을 참조하면, 본 발명의 표시장치는 픽셀 어레이가 형성된 표시패널(100)과, 표시패널(100)에 입력 영상의 데이터를 기입하기 위한 표시패널 구동회로, 입력 영상에서 객체를 검출하는 객체 검출부(200), 오디오 신호 처리부(300) 등을 구비한다. 1, the display apparatus of the present invention includes a display panel 100 on which a pixel array is formed, a display panel driving circuit for writing data of the input image on the display panel 100, A detection unit 200, an audio signal processing unit 300, and the like.

표시패널(100)은 표시장치의 표시패널로 구현될 수 있다. The display panel 100 may be implemented as a display panel of a display device.

본 발명의 표시장치는 액정 표시장치(Liquid Crystal Display : LCD), 전계 방출 표시장치(Field Emission Display : FED), 및 전계 발광 표시지장치(Electroluminescence Display) 등의 표시장치를 기반으로 구현될 수 있다. 전계 발광 표시장치는 발광층의 재료에 따라 무기발광 표시장치와 유기 발광 표시장치로 구별될 수 있다. 무기발광 표시장치는 양자점(quantum dot) 표시장치를 예로 들 수 있으나, 이에 한정되는 것은 아니다. The display device of the present invention can be implemented based on a display device such as a liquid crystal display (LCD), a field emission display (FED), and an electroluminescence display device . The electroluminescence display device can be distinguished as an inorganic light emitting display device and an organic light emitting display device depending on the material of the light emitting layer. The inorganic light emitting display device may be, but not limited to, a quantum dot display device.

표시패널(100)의 화면은 입력 영상의 데이터가 표시되는 픽셀 어레이를 포함한다. 픽셀 어레이에, 데이터 라인들(DL)과 게이트 라인들(또는 스캔 라인들, GL)이 교차되고, 픽셀들이 매트릭스 형태로 배치된다. 픽셀들 각각은 컬러 구현을 위하여 적색 서브 픽셀, 녹색 서브 픽셀, 및 청색 서브 픽셀로 나뉘어질 수 있다. 픽셀들 각각은 백색 서브 픽셀을 더 포함할 수 있다. The screen of the display panel 100 includes a pixel array in which data of an input image is displayed. In the pixel array, the data lines DL and gate lines (or scan lines, GL) are crossed, and the pixels are arranged in a matrix form. Each of the pixels may be divided into a red subpixel, a green subpixel, and a blue subpixel for color implementation. Each of the pixels may further include a white subpixel.

표시패널(100) 상에 n 개 이상의 스피커들(SP1~SP3)이 배치된다. 스피커들(SP1~SP3)은 화면 상에 표시된 객체의 위치를 고려하여 표시패널(100) 상에서 분산 배치된다. 스피커들(SP1~SP3)은 도 8에 도시된 바와 같이, 표시패널(100)의 배면에 결합되거나 표시패널(100)과 일체화될 수 있다. At least n speakers (SP1 to SP3) are arranged on the display panel (100). The speakers SP1 to SP3 are distributed on the display panel 100 in consideration of the position of the object displayed on the screen. The speakers SP1 to SP3 may be coupled to the back surface of the display panel 100 or integrated with the display panel 100, as shown in FIG.

표시패널 구동회로는 픽셀들에 입력 영상의 데이터를 기입한다. 표시패널 구동회로는 데이터 구동부(102), 게이트 구동부(104), 및 타이밍 콘트롤러(106)를 포함한다. The display panel drive circuit writes the data of the input image to the pixels. The display panel drive circuit includes a data driver 102, a gate driver 104, and a timing controller 106.

데이터 구동부(102)는 타이밍 콘트롤러(106)로부터 수신된 입력 영상의 디지털 비디오 데이터(이하, "비디오 신호"라 함)를 수신한다. 데이터 구동부(102)는 DAC(Digital to Analog Converter)를 이용하여 입력 영상의 비디오 신호를 데이터전압으로 변환하여 데이터 라인들(DL)로 출력한다. 게이트 구동부(104)는 타이밍 콘트롤러(106)의 제어 하에 게이트 라인들(GL)에 게이트 펄스를 순차적으로 공급한다. 게이트 펄스는 픽셀들에 충전될 데이터 전압에 동기된다. 게이트 구동부(104)는 픽셀 어레이와 함께 표시패널(100)의 하부 기판 상에 직접 형성될 수 있다. 이 경우 게이트 인 패널(Gate in Panel: GIP)이라고 할 수 있다. The data driver 102 receives digital video data (hereinafter referred to as "video signal") of the input video received from the timing controller 106. [ The data driver 102 converts a video signal of an input image into a data voltage using a digital to analog converter (DAC), and outputs the data voltage to the data lines DL. The gate driver 104 sequentially supplies gate pulses to the gate lines GL under the control of the timing controller 106. The gate pulse is synchronized to the data voltage to be charged to the pixels. The gate driver 104 may be formed directly on the lower substrate of the display panel 100 together with the pixel array. In this case, it can be called a gate in panel (GIP).

타이밍 콘트롤러(106)는 호스트 시스템(110)으로부터 수신된 입력 영상의 비디오 데이터를 데이터 구동부(102)로 전송한다. 타이밍 콘트롤러(106)는 입력 영상 데이터와 동기되는 타이밍 신호들을 호스트 시스템(110)으로부터 수신한다. 타이밍 신호들은 수직 동기신호(Vsync), 수평 동기신호(Hsync), 데이터 인에이블 신호(DE), 및 도트 클럭(DCLK) 등을 포함할 수 있다. 타이밍 콘트롤러(106)는 입력 영상의 픽셀 데이터와 함께 수신되는 타이밍 신호들(Vsync, Hsync, DE, DCLK)을 바탕으로 데이터 구동부(102)와 게이트 구동부(104)의 동작 타이밍을 제어한다. The timing controller 106 transmits the video data of the input image received from the host system 110 to the data driver 102. The timing controller 106 receives timing signals from the host system 110 in synchronization with the input image data. The timing signals may include a vertical synchronization signal Vsync, a horizontal synchronization signal Hsync, a data enable signal DE, and a dot clock DCLK. The timing controller 106 controls the operation timings of the data driver 102 and the gate driver 104 based on the timing signals Vsync, Hsync, DE, and DCLK received together with the pixel data of the input image.

호스트 시스템(110)은 TV(Television) 시스템, 셋톱박스, 네비게이션 시스템, DVD 플레이어, 블루레이 플레이어, 개인용 컴퓨터(PC), 홈 시어터 시스템, 폰 시스템(Phone system) 중 어느 하나일 수 있으며, 이에 한정되는 것은 아니다. 호스트 시스템(110)은 입력 영상의 비디오 데이터와 함께 그 비디오 데이터와 동기되는 디지털 오디오 데이터(이하, "오디오 신호"라 함)와 타이밍 신호를 타이밍 콘트롤러(106)로 전송한다. 호스트 시스템(110)은 오디오 신호와 결합된 비디오 신호를 출력할 수 있다. 이 비디오 신호는 객체별로 분리된 오디오 신호와 매칭(matching)될 수 있다. The host system 110 may be any one of a TV system, a set top box, a navigation system, a DVD player, a Blu-ray player, a personal computer (PC), a home theater system, It is not. The host system 110 transmits digital audio data (hereinafter referred to as "audio signal ") synchronized with the video data of the input video and a timing signal to the timing controller 106. The host system 110 may output a video signal combined with an audio signal. This video signal can be matched to an audio signal separated by object.

객체 검출부(200)는 입력 영상의 데이터를 분석하여 객체를 검출하고 표시패널(100)의 화면 상에서 상기 객체의 위치를 지시하는 객체 위치 정보를 발생한다. 객체 검출부(200)는 미리 설정된 객체 검출 알고리즘을 이용하여 호스트 시스템(110)으로부터 수신된 입력 영상에서 객체들 각각을 검출하고, 객체 각각의 위치를 특정하는 객체 위치 정보를 오디오 신호 처리부(300)로 출력한다. 객체는 다양한 방법으로 검출될 수 있다. 예를 들어, 사람은 얼굴 인식 알고리즘(face detection algorithm)과 움직임 예측 알고리즘(motion estimation algorithm)을 이용하여 검출될 수 있다. 사람 이외의 객체들도 공지된 객체 인식 알고리즘을 이용하여 검출될 수 있으며, 이에 한정되는 것은 아니다.The object detection unit 200 detects the object by analyzing data of the input image and generates object position information indicating the position of the object on the screen of the display panel 100. The object detection unit 200 detects each of the objects in the input image received from the host system 110 using a preset object detection algorithm and outputs object position information specifying the position of each object to the audio signal processing unit 300 Output. Objects can be detected in various ways. For example, a person can be detected using a face detection algorithm and a motion estimation algorithm. Non-human objects may also be detected using known object recognition algorithms, but are not limited thereto.

호스트 시스템(110)은 영상에서 객체들 각각을 구분하는 객체 식별 코드가 포함된 입력 영상의 데이터를 객체 검출부(200)로 전송할 수 있다. 이 경우, 객체 검출부(200)는 수신된 입력 영상 데이터로부터 객체 식별 코드를 읽어 객체별로 비디오 신호와 오디오 신호를 구분할 수 있다. 객체 검출부(200)로부터 출력된 객체 위치 정보는 오디오 신호 처리부(300)로 전송된다. The host system 110 may transmit the data of the input image including the object identification code for distinguishing each of the objects in the image to the object detection unit 200. [ In this case, the object detecting unit 200 can read the object identification code from the received input image data and distinguish the video signal and the audio signal for each object. The object position information output from the object detection unit 200 is transmitted to the audio signal processing unit 300.

오디오 신호 처리부(300)는 멀티 채널 변환 알고리즘을 이용하여 입력 영상 데이터와 동기되어 호스트 시스템(110)으로부터 수신된 오디오 신호를 멀티 채널 오디오 신호로 변환한다. 멀티 채널 변환 알고리즘의 일 예로, 스테레오 투 채널(two channel)의 음원 신호를 5.1 채널로 변환하는 알고리즘이 있다. 본 발명은 표시패널(100) 상에 배치된 스피커들의 개수만큼 채널 수를 갖는 멀티 채널 오디오 신호를 발생시킬 수 있다. 표시패널(100) 상에 배치된 스피커들의 개수는 두 개 이상일 수 있으며, 이에 한정되는 것은 아니다. The audio signal processing unit 300 converts an audio signal received from the host system 110 into a multi-channel audio signal in synchronization with the input video data using a multi-channel conversion algorithm. As an example of a multi-channel conversion algorithm, there is an algorithm for converting a two-channel sound source signal into 5.1 channels. The present invention can generate a multi-channel audio signal having the number of channels as many as the number of speakers disposed on the display panel 100. The number of speakers disposed on the display panel 100 may be two or more, but is not limited thereto.

오디오 신호 처리부(300)는 객체 검출부(200)로부터 수신된 객체 위치 정보를 바탕으로 멀티 채널 오디오 신호들에서 해당 객체 고유의 음역대 신호의 게인을 조정하여 객체 표시 위치와 가장 가까운 스피커(SP1~SP3)로 출력되는 오디오 신호에서 객체 고유의 음역대 신호의 게인을 크게 한다. 오디오 신호 처리부(300)는 멀티 채널 오디오 신호들을 DAC(Digital to Analog Converter)를 통해 아날로그 신호로 변환하여 스피커들(SP1~SP3)로 출력한다. The audio signal processing unit 300 adjusts the gain of a specific band-specific signal in the multi-channel audio signals based on the object position information received from the object detection unit 200 to adjust the gains of the speakers SP1 to SP3 closest to the object display position, The gain of the object-specific band-pass signal is increased in the audio signal output to the speaker. The audio signal processing unit 300 converts the multi-channel audio signals into an analog signal through a digital to analog converter (DAC) and outputs the analog signal to the speakers SP1 to SP3.

오디오 신호 처리부(300)에 의해, 화면 상에 표시되는 객체와 그 객체 고유의 음향이 같은 위치에서 출력되고, 객체가 이동될 때 그 객체를 따라 객체 음역대의 음향 출력 위치가 이동된다. 음역대 오디오 신호가 화면 상에서 보이는 객체로부터 객체 고유의 음향이 발생될 수 있으므로, 영상 및 음향의 몰입감과 입체감이 향상될 수 있다. 따라서, 본 발명의 실시예에 따르면, 화면 상에 표시되는 이미지에서 하나 이상의 객체를 형상적인 특징을 바탕으로 검출할 수 있다. 객체(object)는 형상적 특징과, 음역에서 고유한 특징을 갖는 독립 개체를 의미할 수 있다. 예를 들어, 한 화면의 1 프레임 데이터로 표시되는 하나의 비디오 프레임에는 형상적 특징과, 음역대가 다른 다양한 객체들이 포함될 수 있다. 그리고, 입력 영상에서 검출된 객체에 대응하는 오디오 신호의 음역을 추출하고, 객체의 표시 위치와 그 객체의 음역대 음향 출력 위치를 일치시킨다. 따라서, 객체의 움직임을 따라 객체의 고유한 음역대의 오디오 신호의 출력 위치가 변할 수 있으므로, 사용자가 느끼는 오디오 신호의 입체감이 향상될 수 있다. The audio signal processing unit 300 outputs the object displayed on the screen and the sound specific to the object at the same position and the sound output position of the object sound band is moved along the object when the object is moved. Since the sound specific to the object can be generated from the object on the screen, the immersive feeling and stereoscopic effect of the image and sound can be improved. Therefore, according to the embodiment of the present invention, it is possible to detect one or more objects based on a shape feature in an image displayed on the screen. An object can mean an independent entity having features that are unique in the transliteration and shape features. For example, one video frame represented by one frame of data on one screen may include various objects having a shape characteristic and a different band. Then, the sound field of the audio signal corresponding to the object detected in the input image is extracted, and the display position of the object is matched with the sound output position of the sound field of the object. Therefore, since the output position of the audio signal in the specific band of the object can be changed along with the movement of the object, the sense of three-dimensional effect of the audio signal experienced by the user can be improved.

이하에서, 화면 상에 표시되는 객체를 사람으로 예시하여 상세히 설명하기로 한다. 사람은 객체의 한 예일 뿐 객체는 어느 하나로 특정되지 않는다는 것에 주의하여야 한다. Hereinafter, the object displayed on the screen will be described as a person by way of example. It should be noted that a person is only an example of an object, but an object is not specified in any one.

도 2는 본 발명의 실시예에 따른 표시장치의 구동 방법을 보여주는 흐름도이다. 도 3은 표시패널(100) 상에 표시되는 객체 위치와 그 객체의 음역대 음향 출력 위치가 일치되는 예를 보여 주는 도면이다.2 is a flowchart illustrating a method of driving a display device according to an embodiment of the present invention. 3 is a diagram illustrating an example in which an object position displayed on the display panel 100 coincides with a sound output position of a sound band of the object.

도 2 및 도 3을 참조하면, 객체 검출부(200)는 미리 설정된 객체 검출 알고리즘을 이용하여 표시패널(100) 상에서 재현될 입력 영상 데이터에서 객체(OBJ)를 검출한다(S01). 객체 검출부(200)는 객체 검출의 정확성을 판단하기 위하여 신뢰성 체크(reliablity check)를 실시할 수 있다(S03). 신뢰성 체크는 객체 검출 결과의 유효성을 판단하여 객체 검출 결과가 불확실하다고 판단할 때 객체 검출 결과를 무효화할 수 있다. Referring to FIGS. 2 and 3, the object detection unit 200 detects an object OBJ in the input image data to be reproduced on the display panel 100 using a preset object detection algorithm (S01). The object detection unit 200 may perform a reliablity check to determine the accuracy of object detection (S03). The reliability check can determine the validity of the object detection result and invalidate the object detection result when it is determined that the object detection result is uncertain.

오디오 신호 처리부(300)는 입력 오디오 신호를 멀티 채널 오디오 신호로 변환한다(S02). 도 3의 예에서, 멀티 채널 오디오 신호는 표시패널(1)의 화면 상에서 좌측(left)에 위치한 제1 스피커(SP1)를 통해 출력될 제1 채널의 오디오 신호, 표시패널(1)의 화면 상에서 중앙(center)에 위치한 제2 스피커(SP2)를 통해 출력될 제2 채널의 오디오 신호, 및 표시패널(1)의 화면 상에서 우측(right)에 위치한 제3 스피커(SP3)를 통해 출력될 제3 채널의 오디오 신호를 포함할 수 있다.The audio signal processing unit 300 converts the input audio signal into a multi-channel audio signal (S02). In the example of FIG. 3, the multi-channel audio signal is an audio signal of the first channel to be output through the first speaker SP1 located on the left side of the display panel 1, The audio signal of the second channel to be outputted through the second speaker SP2 located at the center and the audio signal of the third channel to be outputted through the third speaker SP3 located to the right on the screen of the display panel 1 Channel audio signal.

오디오 신호 처리부(300)는 객체 검출부(200)의 신뢰성 체크 결과, 객체 검출 결과의 신뢰성이 높을 때 객체의 음역대 신호에 곱해지는 게인을 조정함으로써 객체의 위치와 가장 가까운 음향 출력 위치의 스피커를 통해 출력될 오디오 신호에서 객체 고유의 음역대 신호를 증폭한다(S04). 그 결과 표시패널(1)의 화면 상에서 객체의 표시위치와 그 객체의 음역대 오디오 신호의 출력 위치가 일치된다. 오디오 신호 처리부(300)는 객체 검출부(200)의 신뢰성 체크 결과, 객체 검출 결과의 신뢰성이 낮으면 오디오 신호 처리부(300)는 객체 검출부(200)로부터 수신된 객체 위치 정보를 무시하여 객체의 음역대 오디오 신호에 곱해지는 게인을 변경하지 않을 수 있다.The audio signal processor 300 adjusts the gain multiplied by the band-width signal of the object when the reliability of the object detection result is high as a result of the reliability check of the object detector 200, thereby outputting the audio signal through the speaker at the sound output position closest to the object position And amplifies the object-specific band-pass signal from the audio signal to be processed (S04). As a result, the display position of the object on the screen of the display panel 1 coincides with the output position of the band-limited audio signal of the object. If the reliability of the object detection result is low as a result of the reliability check of the object detection unit 200, the audio signal processing unit 300 ignores the object position information received from the object detection unit 200, The gain multiplied by the signal may not be changed.

도 4는 객체 검출부(200)를 상세히 보여 주는 블록도이다. 4 is a block diagram showing the object detecting unit 200 in detail.

도 4를 참조하면, 객체 검출부(200)는 움직임 판단부(222), 윤곽 검출부(224), 객체 위치 판단부(226), 및 신뢰성 체크부(228)를 포함한다. Referring to FIG. 4, the object detecting unit 200 includes a motion determining unit 222, an outline detecting unit 224, an object position determining unit 226, and a reliability checking unit 228.

움직임 판단부(222)는 수신된 입력 영상의 데이터에 대하여 움직임 예측 알고리즘(motion estimation algorithm)을 실행하여 객체의 움직임을 추정한다. 움직임 예측 알고리즘의 일 예로, 블럭 매칭(block matching) 방법이 적용될 수 있으며, 이에 한정되는 것은 아니다. 블록 매칭 방법은 이전 프레임 데이터와 현재 프레임 데이터를 미리 설정된 크기의 블록으로 나누고, 이전 프레임 데이터와 현재 프레임 데이터들 간에 소정 크기의 탐색 범위(Search Range, SR) 안에 있는 가장 유사도가 높은 블록을 가리키는 모션 벡터(Motion Vector)를 계산하여 움직이는 객체를 지시하는 블록을 추정한다. 움직임 판단부(222)는 움직임 벡터를 바탕으로 객체의 크기, 움직임 방향, 및 속도 등을 지시하는 움직임 정보(MI)를 객체 위치 판단부(226)로 출력한다.The motion determiner 222 estimates the motion of the object by executing a motion estimation algorithm on the received input image data. As an example of the motion prediction algorithm, a block matching method may be applied, but is not limited thereto. The block matching method divides the previous frame data and the current frame data into blocks of a preset size and generates a motion of a block having the highest degree of similarity within a search range (Search Range, SR) of a predetermined size between the previous frame data and the current frame data And calculates a vector (Motion Vector) to estimate a block indicating the moving object. The motion determiner 222 outputs motion information (MI) indicating the size, motion direction, and speed of the object to the object position determiner 226 based on the motion vector.

윤곽 검출부(224)는 이미지 프로세싱에서 객체의 형상을 추출하고, 추출된 형상적인 특징을 바탕으로 객체를 추정할 수 있다. 예를 들어, 윤곽 검출부(224)는 공지된 얼굴 인식 알고리즘(face detection algorithm)을 이용하여 입력 영상 데이터에서 사람의 얼굴 특징을 추출할 수 있다. 윤곽 검출부(224)는 객체의 형상적 특징을 정의한 윤곽 정보(FF)를 객체 위치 판단부(226)로 출력한다. The contour detection unit 224 can extract the shape of the object from the image processing and estimate the object based on the extracted shape characteristic. For example, the contour detection unit 224 may extract a face characteristic of a person from input image data using a known face detection algorithm. The outline detection unit 224 outputs outline information (FF) defining the shape characteristic of the object to the object position determination unit 226. [

객체 위치 판단부(226)는 움직임 정보(MI)와 윤곽 정보(FF)를 바탕으로 입력 영상의 매 프레임 기간마다 객체를 검출하고, 그 객체 위치를 지시하는 객체 위치 정보(HLI)를 발생하고, 그 객체 위치 정보(HLI)를 오디오 신호 처리부(300)로 전송한다. 객체 위치 판단부(226)는 화면 상에 다수의 객체들이 존재할 경우, 미리 설정된 판단 기준에 따라 가장 큰 음향 출력이 발생되는 객체의 위치를 지시하는 객체 위치 정보(HLI)를 발생한다. 예를 들면, 화면 상에 다수의 사람들이 존재할 때 화면 상에 입술의 형상적 특징 위치를 움직임 정보(MI)가 큰 객체의 위치로 판단하여 입술 위치를 지시하는 객체 위치 정보(HLI)를 발생한다. The object position determination unit 226 detects an object in every frame period of the input image based on the motion information MI and the outline information FF and generates object position information HLI indicating the object position, And transmits the object position information HLI to the audio signal processing unit 300. When there are a plurality of objects on the screen, the object position determination unit 226 generates object position information (HLI) indicating the position of the object in which the largest sound output is generated according to a predetermined determination criterion. For example, when a large number of people exist on the screen, the shape feature position of the lips is determined as the position of the object having the large motion information MI on the screen, and the object position information HLI indicating the lip position is generated .

신뢰성 체크부(228)는 객체 위치 판단부(226)의 객체 검출 결과에 대한 유효성을 판단한다. 신뢰성 체크부(228)는 객체의 형상적 특징 검출 과정과 움직임 예측 과정에서 생성된 정보를 바탕으로 객체 위치 정보(HLI)의 유효성을 지시하는 신뢰성 판단 레벨(CL)을 산출한다. 화면 상에서 사람을 검출할 때, 신뢰성 체크부(228)는 검출 과정과 움직임 예측 과정에서 생성된 정보를 바탕으로 신뢰성 판단 레벨(CL)을 계산한다. The reliability checking unit 228 determines the validity of the object detection result of the object position determination unit 226. The reliability checker 228 calculates a reliability judgment level CL indicating the validity of the object location information HLI based on the information generated in the shape feature detection process and the motion prediction process of the object. When detecting a person on the screen, the reliability checker 228 calculates the reliability judgment level CL based on the information generated in the detection process and the motion prediction process.

얼굴 인식 알고리즘이 단순한 템플릿 매칭(template matching) 방법을 이용하는 경우에, 미리 정의된 얼굴 형태의 특징과 입력 영상에서 검출된 객체의 형상적 특징 간의 매칭 코스트(matching cost)를 바탕으로 신뢰성 판단 레벨(reilablity level)이 결정될 수 있다. 매칭 코스트는 실시간으로 입력되는 입력 영상과 미리 정의된 얼굴 특징 사이의 차이값을 의미할 수 있다. 신뢰성 체크부(228)는 매칭 코스트가 낮을수록 객체 검출 결과의 신뢰성을 높게 판단하여 매칭 코스트에 반비례하는 신뢰성 판단 레벨(CL)을 출력한다. In the case where the face recognition algorithm uses a simple template matching method, a reestablishment level (reestableness) is determined based on matching costs between the features of the predefined facial features and the features of the objects detected in the input image level can be determined. The matching cost can mean the difference value between the input image input in real time and the predefined face feature. The reliability checking unit 228 determines the reliability of the object detection result to be higher as the matching cost is lower and outputs the reliability judgment level CL in inverse proportion to the matching cost.

입력 영상의 특징점을 분류(classify)하여 얼굴을 추출하는 얼굴 인식 알고리즘의 경우에, 입력 영상 내의 얼굴의 특징점들을 분류할 때 적용된 확률값이 신뢰성 판단 레벨(CL)로 설정될 수 있다. 예를 들면, 신뢰성 체크부(228)는 얼굴 특징 분류 확률값이 높을수록 객체 검출 결과의 신뢰성을 높게 판단하여 분류 확률값에 비례하는 신뢰성 판단 레벨(CL)을 출력한다. In the case of a face recognition algorithm for classifying a feature point of an input image and extracting a face, a probability value applied when classifying the feature points of the face in the input image may be set to the reliability determination level CL. For example, the reliability checker 228 determines a higher reliability of the object detection result as the face feature classification probability value is higher, and outputs a reliability determination level CL proportional to the classification probability value.

움직임 예측 방법에서 블록 매칭 방법은 현재 프레임 데이터의 블록(또는 픽셀)과 가장 유사도가 높은 블록(또는 픽셀)을 이전 프레임 데이터에서 탐색하여 현재 프레임과 이전 프레임 사이의 객체의 이동을 예측한다. 이러한 움직임 예측 방법에서, 현재 프레임 내 정보를 이전 프레임에서 찾을 때 산출된 매칭 코스트가 신뢰성 판단 레벨(CL)로 이용될 수 있다. 신뢰성 체크부(228)는 움직임 예측 과정에서 얻어진 매칭 코스트가 낮을수록 객체 검출 결과의 신뢰성을 높게 판단하여 매칭 코스트에 반비례하는 신뢰성 판단 레벨(CL)을 출력할 수 있다. In the motion estimation method, the block matching method predicts the movement of an object between a current frame and a previous frame by searching a block (or a pixel) having the highest degree of similarity with the block (or pixel) of the current frame data in the previous frame data. In this motion prediction method, the matching cost calculated when searching the current frame information in the previous frame can be used as the reliability judgment level CL. The reliability check unit 228 can determine the reliability of the object detection result to be higher and output the reliability determination level CL in inverse proportion to the matching cost as the matching cost obtained in the motion prediction process is lower.

신뢰성 체크부(228)는 형상적 특징 검출 과정과 움직임 예측 과정에서 생성된 정보 중 어느 하나를 근거로 신뢰성 판단 레벨(CL)을 결정할 수 있다. 예를 들면, 신뢰성 체크부(228)는 아래의 수식과 같이 형상적 특징 검출 과정과 움직임 예측 과정에서 생성된 정보들을 종합적으로 판단하여 신뢰성 판단 레벨(CL)을 결정할 수 있다. The reliability checker 228 can determine the reliability determination level CL based on any one of the information generated in the shape feature detection process and the motion prediction process. For example, the reliability checker 228 can determine the reliability determination level (CL) by comprehensively determining the information generated in the shape feature detection process and the motion prediction process as in the following equation.

Figure pat00001
Figure pat00001

여기서, CLmotion은 움직임 예측 과정을 근거로 산출된 신뢰성 판단 레벨이다. CLface은 객체의 형상적 특징 검출 과정(얼굴 인식 과정)을 근거로 산출된 신뢰성 판단 레벨이다. C는 0 이상 1 이하(0 ≤ c ≤ 1)의 값으로 선택된 상수값이다. Here, CLmotion is a reliability judgment level calculated based on the motion prediction process. The CLface is a reliability judgment level calculated based on the shape feature detection process (face recognition process) of the object. C is a constant value selected from 0 to 1 (0 ≤ c ≤ 1).

도 5는 오디오 신호 처리부(300)를 상세히 보여 주는 블록도이다. 5 is a block diagram showing the audio signal processor 300 in detail.

도 5를 참조하면, 오디오 신호 처리부(300)는 멀티 채널 변환부(310), 음향 위치 판단부(320), 및 멀티 채널 조정부(330)를 포함한다. 5, the audio signal processing unit 300 includes a multi-channel converter 310, a sound position determiner 320, and a multi-channel adjuster 330. The multi-

멀티 채널 변환부(310)는 멀티 채널 변환 알고리즘을 이용하여 입력 오디오 신호(CH_L, CH_R)를 n(n은 2 이상의 양의 정수) 채널 오디오 신호(CH1~CHn)로 변환한다. 멀티 채널 변환부(310)는 미리 설정된 객체의 음역대 주파수를 추출하고, 그 음역대 주파수를 n 채널 오디오 신호들(CH1~CHn) 중 어느 하나로 출력할 수 있다. 예를 들어, 멀티 채널 변환부(310)는 객체의 음역대 오디오 신호를 표시패널(100) 상의 화면 중앙에 위치한 스피커를 통해 출력될 제n/2 채널 오디오 신호로 선택할 수 있다. The multi-channel converting unit 310 converts the input audio signals CH_L and CH_R into n (n is a positive integer equal to or greater than 2) channel audio signals CH1 to CHn using a multi-channel conversion algorithm. The multi-channel converter 310 extracts a band-limited frequency of a predetermined object, and outputs the band-limited frequency band to one of the n-channel audio signals CH1 to CHn. For example, the multi-channel converter 310 may select the n-th / 2-channel audio signal to be outputted through the speaker located at the center of the screen on the display panel 100.

음향 위치 판단부(320)는 객체 검출부(200)로부터 객체 위치 정보(HLI)와 신뢰성 판단 레벨(CL)을 수신 받아, 신뢰성 판단 레벨(CL)이 미리 설정된 기준값과 비교한다. 음향 위치 판단부(320)는 신뢰성 판단 레벨(CL)이 기준값 보다 높을 때 객체 위치 판단부(226)로부터 수신된 객체 위치 정보(HLI)가 지시하는 객체의 위치와 가장 가까운 음향 출력 위치를 지시하는 음향 위치 정보(LS)를 출력한다. The acoustic position determination unit 320 receives the object position information HLI and the reliability determination level CL from the object detection unit 200 and compares the reliability determination level CL with a preset reference value. The acoustic position determination unit 320 indicates an acoustic output position closest to the position of the object indicated by the object position information HLI received from the object position determination unit 226 when the reliability determination level CL is higher than the reference value And outputs acoustic position information LS.

멀티 채널 조정부(330)는 음향 위치 정보(LS)가 지시하는 채널의 오디오 신호에서 객체의 음역대 신호를 증폭한다. 이 멀티 채널 조정부(330)는 음향이 출력되는 객체의 위치를 특정할 수 없을 경우, 멀티 채널 변환부(310)의 출력 신호들(CH1~CHn)을 통과시킨다. 그리고, 멀티 채널 조정부(330)는 음향이 출력되는 객체의 위치가 검출될 경우, 객체 위치와 가장 가까운 스피커를 통해 출력될 오디오 신호에서 객체의 음역대 신호의 게인(Gain)을 상대적으로 크게 하여 화면 상의 객체 위치에서 그 객체 고유의 음역대 신호의 음량을 크게 조정한다. The multi-channel adjustment unit 330 amplifies the band-width signal of the object from the audio signal of the channel indicated by the sound position information LS. The multi-channel adjusting unit 330 passes the output signals CH1 to CHn of the multi-channel converting unit 310 when the position of the object to which sound is output can not be specified. When the position of the object to which the sound is output is detected, the multi-channel adjusting unit 330 relatively increases the gain of the object's sound band signal in the audio signal to be output through the speaker closest to the object position, And adjusts the volume of the object-specific range signal at the object position.

멀티 채널 변환부(310)는 음향 위치 정보(LS)에 따라 음향이 출력되는 객체 위치와, 그 객체 위치의 신뢰성을 판단할 수 있다. 음향 위치 정보(LS)는 객체의 위치 정보(HLI)와 신뢰선 판단 레벨(CL)을 바탕으로 생성될 수 있으므로, 멀티 채널 조정부(330)의 멀티 채널 오디오 신호들(CH1'~CHn')에서 객체 고유의 음역대 신호에 곱해지는 게인은 화면 상에서의 객체 위치와 신뢰성 판단 레벨(CL)에 따라 조정될 수 있다. 신뢰성 판단 레벨(CL)이 기준값보다 낮으면, 멀티 채널 변환부(310)는 음향이 출력되는 객체의 위치를 특정할 수 없으므로, 멀티 채널 변환부(310)의 출력 신호들(CH1~CHn)을 통과시킨다. 그리고, 멀티 채널 변환부(310)는 신뢰성 판단 레벨(CL)이 기준값 보다 높을 경우, 음향이 출력되는 객체의 위치와 가장 가까운 스피커를 통해 출력되는 오디오 신호에서 객체 고유의 음역대 오디오 신호의 게인을 크게 조정할 수 있다. 멀티 채널 조정부(330)에 의해 도 8a 내지 도 8c에 도시된 바와 같이, 객체의 위치가 표시패널(100)의 화면 상에서 좌측 또는 우측으로 이동할 때 그 객체와 가까운 위치의 스피커를 출력될 객체의 음역대 오디오 신호의 게인이 커져 객체의 움직임에 따라 객체 고유의 음역대 신호 출력 위치가 이동될 수 있다.The multi-channel conversion unit 310 can determine the reliability of the position of the object to which the sound is output and the position of the object according to the acoustic position information LS. Since the sound position information LS can be generated based on the position information HLI of the object and the trust line judgment level CL, the multi-channel audio signals CH1 'to CHn' of the multi- The gain multiplied by the characteristic band-width signal of the object can be adjusted according to the object position on the screen and the reliability judgment level (CL). When the reliability judgment level CL is lower than the reference value, the multi-channel conversion unit 310 can not specify the position of the object to which the sound is output. Therefore, the output signals CH1 to CHn of the multi- . When the reliability determination level CL is higher than the reference value, the multi-channel converter 310 increases the gain of the object-specific band-pass audio signal in the audio signal output through the speaker closest to the position of the object to which the sound is output Can be adjusted. 8A to 8C, when the position of the object moves to the left or right on the screen of the display panel 100, The gain of the audio signal becomes large, and the position of the output of the sound band signal peculiar to the object can be shifted according to the movement of the object.

따라서, 표시패널 상에 오디오 신호가 독립적으로 인가되는 n(n은 2 이상의 정수) 개의 스피커를 배치하고, 멀티 채널 변환 알고리즘을 이용하여 n 개의 스피커들을 통해 출력되는 n 개의 멀티 채널 오디오 신호들을 발생한다. 이에 의해, 객체 고유의 음역대 신호를 추출하고, 멀티 채널 오디오 신호들 간에 게인을 조정하여 객체 위치와 가장 가까운 스피커를 통해 출력될 오디오 신호에서 객체 고유의 음역대의 음향을 크게 할 수 있다.Accordingly, n (n is an integer of 2 or more) speakers on which audio signals are independently applied are arranged on the display panel, and n multi-channel audio signals output through n speakers are generated using a multi-channel conversion algorithm . Accordingly, the sound of the object-specific band can be increased in the audio signal to be output through the speaker closest to the object position by extracting the band-specific signal of the object and adjusting the gain between the multi-channel audio signals.

도 6 및 도 7은 멀티 채널 변환부(310)를 상세히 보여 주는 도면들이다. 6 and 7 are views showing the multi-channel conversion unit 310 in detail.

멀티 채널 변환부(310)는 스테레오(stereo) 또는 모노(mono) 음원의 오디오 신호를 입력받을 수 있다. 스테레오 음원은 좌측 채널의 오디오 신호(CH_L)와 우측 채널의 오디오 신호(CH_R)를 포함한다. 모노 음원은 단일 채널의 오디오 신호(CM_M)이다. 이하에서, 멀티 채널 변환부(310)가 제1 내지 제3 채널의 오디오 신호를 출력하는 예를 들어 설명하기로 한다. The multi-channel conversion unit 310 may receive audio signals of a stereo or mono sound source. The stereo sound source includes the audio signal CH_L of the left channel and the audio signal CH_R of the right channel. The mono sound source is a single channel audio signal CM_M. Hereinafter, an example in which the multi-channel converting unit 310 outputs the audio signals of the first to third channels will be described.

도 6을 참조하면, 멀티 채널 변환부(310)는 가산기(312), 음량 조정부(314), 및 음역 선택부(316)를 포함한다. 6, the multi-channel converting unit 310 includes an adder 312, a volume adjusting unit 314, and a range selecting unit 316. [

멀티 채널 변환부(310)는 스테레오 음원의 오디오 신호(CH_L, CH_R)가 수신되면, 제1 오디오 신호(CHL)와 제3 오디오 신호(CHR)를 가산기(312)로 더한다. 가산기(312)에 의해 더해진 오디오 신호는 음량이 과도하게 커질 수 있다. 음량 조정부(314)는 소정의 게인 예를 들어, - 3dB 만큼 가산기(312)로부터 출력된 오디오 신호의 게인을 낮추어 음역 선택부(316)로 출력한다. 음역 선택부(316)는 가산기(312)로부터 수신된 오디오 신호에서 객체 고유의 음역대 예를 들면, 사람의 목소리 음역대(약 100Hz ~ 4kHz)에 해당되는 주파수를 추출하고 그 음역대 신호에 소정의 게인을 곱한다. 게인은 0 보다 크고 1 이하의 값으로 설정될 수 있다. 그리고, 사람의 목소리 음역대의 주파수에 한정되는 것은 아니다. The multi-channel conversion unit 310 adds the first audio signal CHL and the third audio signal CHR to the adder 312 when the audio signals CH_L and CH_R of the stereo sound source are received. The audio signal added by the adder 312 may be excessively loud. The volume adjuster 314 reduces the gain of the audio signal output from the adder 312 by a predetermined gain, for example, -3 dB, and outputs the gain to the range selector 316. The translucency selector 316 extracts a frequency corresponding to an object-specific frequency band, for example, a human voice band (about 100 Hz to 4 kHz) from the audio signal received from the adder 312, and outputs a predetermined gain Multiply. The gain can be set to a value greater than zero and less than or equal to one. It is not limited to the frequency of the human voice band.

제1 오디오 신호(CHL)는 DAC를 통해 아날로그 신호로 변환된 후에, 화면의 좌측에 배치된 제1 스피커(SP1)를 통해 출력된다. 제2 오디오 신호(CHC)는 DAC를 통해 아날로그 신호로 변환된 후에, 화면의 중앙에 배치된 제2 스피커(SP2)를 통해 출력된다. 제3 오디오 신호(CHR)는 DAC를 통해 아날로그 신호로 변환된 후에, 화면의 우측에 배치된 제3 스피커(SP3)를 통해 출력된다. 제2 오디오 신호(CHC)는 객체의 음역대 주파수의 신호를 포함하며, 제1 및 제3 오디오 신호(CHL, CHR) 각각은 객체의 음역대 주파수 및 객체의 음역대 주파수 이외의 음원 주파수를 포함한다. The first audio signal CHL is converted to an analog signal through the DAC and then output through the first speaker SP1 disposed on the left side of the screen. The second audio signal CHC is converted to an analog signal through the DAC and then output through the second speaker SP2 disposed at the center of the screen. The third audio signal CHR is converted into an analog signal through the DAC and then output through the third speaker SP3 disposed on the right side of the screen. The second audio signal CHC includes a signal of a frequency band of the object and each of the first and third audio signals CHL and CHR includes the frequency band of the object and the frequency of the sound source other than the band of the object.

음역 선택부(316)는 객체 고유의 음역대를 통과시키는 밴드 패스 필터(Band pass filter, BPF)로 구현될 수 있다. 사람의 목소리 음역대에 해당하는 100Hz ~ 4kHz의 주파수를 가질 수 있다. 따라서, 음역 선택부(316)에서 사람 음역대를 검출하는 밴드 패스 필터의 통과 대역(fl to fh)는 100Hz ~ 4kHz이다. 통과 대역(fl to fh)에서 fl은 통과 대역 내의 최저 주파수이고, fh는 통과 대역 내의 최고 주파수이다. 음역 선택부(316)는 다양한 객체의 음역대를 추출하기 위하여, 음역대가 다른 다수의 밴드 패스 필터들을 포함할 수 있다. The translucency selector 316 may be implemented as a band pass filter (BPF) that passes the characteristic band of the object. It can have a frequency of 100Hz ~ 4kHz which corresponds to the human voice band. Therefore, the pass band (fl to fh) of the band pass filter for detecting the human band in the translucency selector 316 is 100 Hz to 4 kHz. In the pass band (fl to fh), fl is the lowest frequency in the passband and fh is the highest frequency in the passband. The range selector 316 may include a plurality of bandpass filters having different band bands to extract the band of the various objects.

도 7을 참조하면, 멀티 채널 변환부(310)는 음역 선택부(318)를 포함한다. Referring to FIG. 7, the multi-channel converter 310 includes a transliterator 318.

멀티 채널 변환부(310)는 모노 음원의 오디오 신호(CH_M)를 제1 내지 제3 오디오 신호(CHL, CHC, CHR)로 분리한다. 음역 선택부(318)는 객체 검출부(200)에 의해 검출된 객체의 음역대 예를 들면, 사람의 목소리 음역대(예를 들면, 약 100Hz ~ 4kHz) 주파수를 추출하고 그 음역대 신호에 소정의 게인을 곱하여 제2 오디오 신호(CHC)를 발생한다. The multi-channel conversion unit 310 separates the audio signal CH_M of the mono sound source into the first through third audio signals CHL, CHC, and CHR. The translucency selector 318 extracts a frequency range of the human voice band (for example, about 100 Hz to 4 kHz) of the object detected by the object detecting unit 200 and multiplies the frequency band signal by a predetermined gain And generates a second audio signal CHC.

음역 선택부(318)는 객체 고유의 음역대를 통과시키는 밴드 패스 필터(BPF)로 구현될 수 있다. 음역 선택부(318)는 다양한 객체의 음역대를 추출하기 위하여, 통과 대역이 다른 다수의 밴드 패스 필터들을 포함할 수 있다.The translucency selector 318 may be implemented as a band-pass filter (BPF) that passes the characteristic band of the object. The domain selector 318 may include a plurality of bandpass filters having different passbands in order to extract the band of the various objects.

도 8a 내지 도 8c는 도 5에 도시된 멀티 채널 조정부(330)의 동작을 상세히 보여 주는 도면들이다. 8A to 8C are diagrams showing details of the operation of the multi-channel adjustment unit 330 shown in FIG.

도 8a에 도시된 바와 같이 화면 상에서 객체(OBJ)가 좌측에 위치하면, 멀티 채널 조정부(330)는 객체의 음역대 신호(A)에 곱해지는 게인(G)을 줄이고, 게인 감소분 만큼 감소된 객체의 음역대 신호(A*(1-G))를 제1 오디오 신호(CHL)에 더한다. 따라서, 객체의 음역대 신호가 더해진 제1 오디오 신호(CHL')는 객체의 음역대 신호가 증폭되어 화면 상에서 객체(OBJ)와 가장 가까운 제1 스피커(SP1)를 통해 출력된다. 게인은 0 보다 크고 1 이하의 값으로 설정될 수 있다. 객체의 음역대 신호를 포함한 제2 오디오 신호(CHC')는 제1 오디오 신호(CHL')에 포함된 객체의 음역대 신호보다 작아진다.8A, when the object OBJ is located on the left side of the screen, the multi-channel adjustment unit 330 reduces the gain G multiplied by the band-width signal A of the object, (1-G)) to the first audio signal (CHL). Accordingly, the first audio signal CHL ', to which the band-width signal of the object is added, is amplified and outputted through the first speaker SP1 nearest to the object OBJ on the screen. The gain can be set to a value greater than zero and less than or equal to one. The second audio signal CHC 'including the band-width signal of the object becomes smaller than the band-width signal of the object included in the first audio signal CHL'.

도 8c에 도시된 바와 같이 화면 상에서 객체(OBJ)가 우측에 위치하면, 멀티 채널 조정부(330)는 객체의 음역대 신호(A)에 곱해지는 게인(G)을 줄이고, 게인 감소분 만큼 감소된 객체의 음역대 신호(A*(1-G))를 제3 오디오 신호(CHR)에 더한다. 따라서, 객체의 음역대 신호가 더해진 제3 오디오 신호(CHR')는 객체의 음역대 신호가 증폭되어 화면 상에서 객체(OBJ)와 가장 가까운 제3 스피커(SP3)를 통해 출력된다. 게인은 0 보다 크고 1 이하의 값으로 설정될 수 있다. 객체의 음역대 신호를 포함한 제2 오디오 신호(CHC')는 제3 오디오 신호(CHR')에 포함된 객체의 음역대 신호보다 작아진다.8C, when the object OBJ is located on the right side, the multi-channel adjustment unit 330 reduces the gain G multiplied by the band-width signal A of the object, And adds the band-limited signal A * (1-G) to the third audio signal CHR. Accordingly, the third audio signal CHR ', to which the band-width signal of the object is added, is amplified and outputted through the third speaker SP3 nearest to the object OBJ on the screen. The gain can be set to a value greater than zero and less than or equal to one. The second audio signal CHC 'including the band-width signal of the object becomes smaller than the band-width signal of the object included in the third audio signal CHR'.

도 8b에 도시된 바와 같이 화면 상에서 객체(OBJ)가 중앙에 위치하거나 유효한 음향 위치 정보(LS)가 없어 객체 위치를 특정할 수 없을 경우, 멀티 채널 변환부(310)로부터 출력된 오디오 신호들(CHL, CHC, CHR)은 게인 조정 없이 멀티 채널 조정부(330)를 통과하여 스피커들(SP1, SP2, SP3)로 통과된다. 8B, when the object OBJ is located at the center of the screen or the object position can not be specified because there is no effective sound position information LS, the audio signals outputted from the multi-channel converter 310 CHL, CHC, and CHR are passed through the multi-channel adjustment unit 330 and passed to the speakers SP1, SP2, and SP3 without gain adjustment.

도 8a 내지 도 8c에서 알 수 있는 바와 같이, 화면 상에 표시되는 객체(OBJ)의 위치와 가장 가까운 위치에서 그 객체(OBJ)의 음역대 신호가 가장 크게 출력된다. 사용자는 화면 상에 표시되는 객체와 그 객체의 음역대 음향 출력 위치가 일치하는 것으로 느낄 수 있으므로, 음향의 입체감을 느낄 수 있다. As can be seen from Figs. 8A to 8C, the band-limited signal of the object OBJ is output the largest at a position closest to the position of the object OBJ displayed on the screen. The user can feel that the object displayed on the screen coincides with the sound output position of the sound band of the object, so that the three-dimensional feeling of the sound can be felt.

도 9는 표시패널 상에 배치되는 스피커를 보여 주는 도면이다. 9 is a view showing a speaker disposed on the display panel.

도 9의 (A)는 일반적인 구조의 스피커(91)를 표시패널(100)의 배면 상에 배치한 구조이다. 표시패널(100)의 전면을 통해 픽셀들의 빛이 방출되어 입력 영상을 표시한다. 오디오 신호(CHL, CHC, CHR)에 따라 스피커들(91)의 진동판이 진동하여 음향이 출력된다. 이 스피커들(91)은 자석과 코일을 이용하여 자력을 발생하는 가진기(exciter)와, 그 가진기에 연결된 진동판을 포함한 구조를 갖는 스피커로 선택되어 표시패널(100)의 배면에 배치될 수 있다. 예를 들어, 가진기는 플레이트 상에 있는 마그네트, 플레이트 상에 있는 센터폴, 센터폴 주위에 배치되는 보빈, 및 보빈외곽에 권취되어 있는 코일 등을 포함할 수 있다. 그리고, 마그네트가 코일의 외측에 배치되는 구조 또는 마그네트가 코일의 내측에 배치되는 구조 등이 적용될 수 있다. 9A shows a structure in which a speaker 91 having a general structure is disposed on the back surface of the display panel 100. In Fig. The light of the pixels is emitted through the front surface of the display panel 100 to display the input image. The diaphragm of the speakers 91 vibrates according to the audio signals CHL, CHC and CHR to output sound. These speakers 91 may be arranged on the back surface of the display panel 100 by being selected as speakers having a structure including an exciter for generating magnetic force by using magnets and coils and a diaphragm connected to the exciter . For example, the exciter may include a magnet on the plate, a center pole on the plate, a bobbin disposed around the center pole, and a coil wound around the bobbin. Further, a structure in which the magnet is disposed outside the coil or a structure in which the magnet is disposed inside the coil can be applied.

구성 요소의 명칭 만으로 기능이나 구조가 정의되지 않는다. 전술한 가진기의 경우, 엑사이터(excitor), 엑츄에이터(actuator) 또는 트랜스듀서(transducer) 등으로 표현될 수 있다.The name of the component alone does not define the function or structure. In the case of the exciter described above, it can be expressed as an exciter, an actuator, or a transducer.

도 9의 (B)는 표시패널(100)이 스피커들의 진동판과 일체화된 구조를 보여 준다. 스피커들(SP1, SP2, SP3) 각각의 위치에서 표시패널(100)에 가진기들(92)이 연결된다. 표시패널(100)이 스피커의 진동판 역할을 하며, 음향을 발생시킬 수 있다. 이러한 표시패널 일체형 스피커는 가진기들(92)에서 발생되는 자기장에 의한 진동으로 표시패널(100)이 진동할 수 있으므로, 표시패널(100)이 입력 영상을 표시함과 동시에 입력 영상의 음향을 출력할 수 있다. 표시패널 일체형 스피커에 대하여는 본원 출원인에 의해 기출원되어 특허를 받은 대한민국 특허 등록 10-1704517(2017.02.02)에 상세히 설명되어 있다. 9B shows a structure in which the display panel 100 is integrated with the diaphragm of the speakers. And the units 92 on the display panel 100 are connected at the positions of the speakers SP1, SP2, and SP3, respectively. The display panel 100 serves as a diaphragm of the speaker and can generate sound. Since the display panel 100 can vibrate due to the vibration caused by the magnetic field generated by the vibrators 92, the display panel integrated speaker can display the input image and output the sound of the input image can do. The display panel integrated type speaker is described in detail in Korean Patent Registration No. 10-1704517 (2017.02.02), which is filed by the present applicant and patented.

도 10은 도 9에 도시된 표시패널 일체형 스피커의 구조를 상세히 보여 주는 도면이다. 도 11a 내지 도 11c는 표시패널 일체형 스피커를 이용한 객체 위치와 음향 출력 위치가 일치되는 예를 보여 주는 도면들이다. FIG. 10 is a detailed view showing the structure of the display panel integrated type speaker shown in FIG. 11A to 11C are views showing an example in which an object position and an acoustic output position using the display panel integrated type speaker coincide with each other.

도 10 내지 도 11c를 참조하면, 표시패널 일체형 스피커는 표시패널(100)의 배면 상에 배치된 지지 부재(104), 지지 부재(104)에 고정된 가진기들(92)과, 표시패널(100)과 지지 부재(104)를 연결하는 보조 지지 부재(105)를 포함한다. 10 to 11C, the display panel integrated type speaker includes a support member 104 disposed on the back surface of the display panel 100, vibrators 92 fixed to the support member 104, And an auxiliary supporting member 105 connecting the supporting member 104 and the supporting member 104 to each other.

지지 부재(104)는 금속 또는 플라스틱으로 제작될 수 있다. 지지 부재(104)의 명칭은 커버 보텀(Cover bottom) 또는 백 커버(back cover) 등 다른 명칭으로 표현될 수도 있다. 보조 지지 부재(105)는 공기층(106, air gap)을 사이에 두고 지지 부재(104)를 표시패널(100)에 접착한다. 따라서, 지지 부재(104)는 보조 지지 부재(105)를 통해 표시패널(100)에 고정된다. The support member 104 may be made of metal or plastic. The name of the support member 104 may be represented by another name such as a cover bottom or a back cover. The auxiliary support member 105 adheres the support member 104 to the display panel 100 with the air gap 106 interposed therebetween. Thus, the support member 104 is fixed to the display panel 100 via the auxiliary support member 105. [

지지 부재(104)에 고정된 다수의 가진기들(92)은 표시패널(100)의 배면에 접촉된다. 가진기(92)로부터 발생된 자력에 의해 진동하여, 표시패널(100)로부터 직접 음향이 출력될 수 있다. A plurality of vibrating members 92 fixed to the support member 104 are brought into contact with the rear surface of the display panel 100. [ Vibrates due to the magnetic force generated from the exciter 92, and sound can be output directly from the display panel 100. [

본 명세서는 아래와 같이 설명될 수 있다.The present specification can be described as follows.

본 발명의 실시예에 따른 표시장치는, 입력 영상이 표시되고 n(n은 2 이상의 정수 )개 이상의 스피커들이 배치되어 있는 표시패널, 입력 영상의 데이터를 분석하여 객체를 검출하고, 표시패널의 화면 상에서 객체 위치를 지시하여 객체 위치 정보를 발생하는 객체 검출부, 및 입력 영상의 데이터와 동기되어 수신된 입력 오디오 신호를 n 개의 오디오 신호로 변환하고, 객체 위치 정보에 응답하여 표시패널 상에서 객체의 위치와 가장 가까운 스피커를 통해 출력될 오디오 신호에서 객체의 음역대 신호를 증폭하는 오디오 신호 처리부를 포함한다.A display device according to an embodiment of the present invention includes a display panel on which an input image is displayed and n (n is an integer of 2 or more) speakers are arranged, an object is detected by analyzing data of the input image, An object detection unit for generating object position information by indicating an object position on the display panel, and an input audio signal received in synchronization with the input image data is converted into n audio signals. In response to the object position information, And an audio signal processing unit for amplifying the band-width signal of the object from the audio signal to be output through the nearest speaker.

전술한 실시예들에서, 표시패널(100)에 세 개의 스피커(SP1, SP2, SP3)가 배치된 예를 중심으로 설명되었으나, 본 발명은 이에 한정되지 않는다. 예를 들어, 본 발명은 도 12a 및 도 12b에 도시된 바와 같이 표시패널(100) 상에 소정 거리로 이격된 두 개의 스피커들을 배치하고, 객체(OBJ)와 가까운 스피커를 통해 증폭된 객체 고유의 음역대 신호를 출력할 수 있다. 따라서, 본 발명은 표시패널(100) 상에 최소 두 개 이상의 스피커들이 배치되는 표시장치에 적용될 수 있다는 것에 주의하여야 한다.In the above-described embodiments, the explanation has been made on the case where three speakers (SP1, SP2, SP3) are arranged on the display panel 100, but the present invention is not limited thereto. For example, as shown in FIGS. 12A and 12B, the present invention can be realized by arranging two speakers spaced apart from each other by a predetermined distance on the display panel 100, It is possible to output a frequency band signal. Therefore, it should be noted that the present invention can be applied to a display device in which at least two speakers are arranged on the display panel 100. [

이상 설명한 내용을 통해 당업자라면 본 발명의 기술사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의해 정하여져야만 할 것이다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention. Therefore, the technical scope of the present invention should not be limited to the contents described in the detailed description of the specification, but should be defined by the claims.

100 : 표시패널 102 : 데이터 구동부
104 : 게이트 구동부 106 : 타이밍 콘트롤러
110 : 호스트 시스템 200 : 객체 검출부
222 : 움직임 판단부 224 : 윤곽 검출부
226 : 객체 위치 판단부 228 : 신뢰성 체크부
300 : 오디오 신호 처리부 310 : 멀티 채널 변환부
312 : 가산기 314 : 음량 조정부
316, 318 : 음역 선택부 320 : 음향 위치 판단부
330 : 멀티 채널 조정부
100: display panel 102: data driver
104: Gate driver 106: Timing controller
110: host system 200: object detection unit
222: motion determination unit 224:
226: Object position determination unit 228: Reliability check unit
300: audio signal processor 310: multi-channel converter
312: adder 314: volume adjuster
316, 318: transliteration selection unit 320: acoustic position determination unit
330: Multi-channel adjustment section

Claims (7)

입력 영상이 표시되고 n(n은 2 이상의 정수) 개 이상의 스피커들이 배치되어 있는 표시패널;
상기 입력 영상의 데이터를 분석하여 객체를 검출하고, 상기 표시패널의 화면 상에서 상기 객체 위치를 지시하여 객체 위치 정보를 발생하는 객체 검출부; 및
상기 입력 영상의 데이터와 동기되어 수신된 입력 오디오 신호를 상기 n 개의 오디오 신호로 변환하고, 상기 객체 위치 정보에 응답하여 상기 표시패널 상에서 상기 객체의 위치와 가장 가까운 스피커를 통해 출력될 오디오 신호에서 상기 객체의 음역대 신호를 증폭하는 오디오 신호 처리부를 포함하는 표시장치.
A display panel on which an input image is displayed and n (n is an integer of 2 or more) or more speakers are arranged;
An object detector for detecting an object by analyzing data of the input image and generating object position information by indicating the object position on a screen of the display panel; And
And converting the input audio signal received in synchronism with the data of the input video into the n audio signals and outputting, in response to the object position information, an audio signal to be output through a speaker nearest to the position of the object on the display panel, And an audio signal processing unit for amplifying a band-width signal of the object.
제 1 항에 있어서,
상기 표시패널의 화면 상에 상기 객체가 이동될 때, 상기 객체의 음역대에 대응하는 상기 오디오 신호의 출력 위치가 상기 객체를 따라 이동되는 표시장치.
The method according to claim 1,
Wherein the output position of the audio signal corresponding to the band of the object is moved along the object when the object is moved on the screen of the display panel.
제 1 항에 있어서,
상기 객체 검출부는,
상기 입력 영상의 데이터에서 상기 객체의 이동을 예측하는 움직임 판단부;
상기 입력 영상의 데이터에서 상기 객체의 형상적 특징을 검출하는 윤곽 검출부;
상기 움직임 판단부로부터 수신된 움직임 정보와 상기 윤곽 검출부로부터 수신된 윤곽 정보에 기초하여, 상기 객체 위치 정보를 발생하는 객체 위치 판단부; 및
상기 움직임 판단부 및 상기 형상 특징부에서의 정보에 기초하여 상기 객체의 검출 유효성을 지시하며 신뢰성 판단 레벨을 출력하는 신뢰성 체크부를 구비하는 표시장치.
The method according to claim 1,
Wherein the object detection unit comprises:
A motion determiner for predicting movement of the object in the data of the input image;
An outline detection unit for detecting a shape feature of the object from data of the input image;
An object position determination unit for generating the object position information based on the motion information received from the motion determination unit and the outline information received from the contour detection unit; And
And a reliability check unit for indicating the validity of detection of the object based on the information in the motion determination unit and the shape feature unit and outputting a reliability determination level.
제 3 항에 있어서,
상기 오디오 신호 처리부는,
입력 오디오 신호를 상기 n 개의 오디오 신호로 변환하고 상기 객체의 음역대 신호를 추출하여 상기 n 개의 오디오 신호 중 어느 하나를 출력하는 멀티 채널 변환부;
상기 객체 검출부로부터 상기 객체 위치 정보와 상기 신뢰성 판단 레벨을 수신 받아, 상기 신뢰성 판단 레벨이 미리 설정된 기준값 보다 높을 때 상기 객체 위치 정보가 지시하는 객체의 위치와 가장 가까운 음향 출력 위치를 지시하는 음향 위치 정보를 출력하는 음향 위치 판단부; 및
상기 음향 위치 정보가 지시하는 오디오 신호에서 상기 객체의 음역대 신호를 증폭하는 멀티 채널 조정부를 구비하는 표시장치.
The method of claim 3,
Wherein the audio signal processor comprises:
A multi-channel converter for converting an input audio signal into the n audio signals, extracting a band-width signal of the object, and outputting any one of the n audio signals;
For receiving the object position information and the reliability determination level from the object detection unit and for outputting sound position information indicating an acoustic output position closest to the position of the object indicated by the object position information when the reliability determination level is higher than a preset reference value An acoustic position determination unit for outputting the acoustic signal; And
And a multi-channel adjustment unit for amplifying a band-width signal of the object in an audio signal indicated by the sound position information.
제 4 항에 있어서,
상기 멀티 채널 변환부는,
상기 객체의 음역대 신호는 상기 표시패널에 배치된 스피커들 중에서 상기 표시패널의 화면 중앙 위치에 배치된 스피커를 통해 오디오 신호로 출력되는 표시장치.
5. The method of claim 4,
Wherein the multi-
Wherein the loudspeaker signal of the object is output as an audio signal through a speaker disposed at a center position of a screen of the display panel among speakers disposed on the display panel.
제 5 항에 있어서,
상기 멀티 채널 조정부는,
상기 화면 상에서 상기 객체가 좌측에 위치할 때 상기 객체의 음역대 신호에 곱해지는 게인을 줄이고, 게인 감소분 만큼 감소된 상기 객체의 음역대 신호가 상기 화면 상에서 좌측에 배치된 좌측 스피커를 통해 출력될 제1 오디오 신호에 더하고,
상기 화면 상에서 상기 객체가 우측에 위치할 때 상기 게인을 줄이고, 상기 게인 감소분 만큼 감소된 상기 객체의 음역대 신호를 상기 화면 상에서 우측에 배치된 우측 스피커를 통해 출력될 제3 오디오 신호에 더하며,
상기 화면 상에서 상기 객체가 중앙에 위치하거나 상기 객체의 위치를 특정할 수 없을 때 게인 조정 없이 상기 n 개의 오디오 신호들을 통과시키는 표시장치.
6. The method of claim 5,
Wherein the multi-
A first speaker for reducing the gain multiplied by the gain of the object when the object is located on the left side of the screen and a first audio signal for reducing the gain of the object by a gain reduction, Add to the signal,
Reducing the gain when the object is located on the right side of the screen and adding the left band signal of the object reduced by the gain reduction to a third audio signal to be output through the right speaker disposed on the right side of the screen,
And passes the n audio signals without gain adjustment when the object is located at the center or can not specify the position of the object on the screen.
입력 영상이 표시되고 n(n은 2 이상의 정수) 개 이상의 스피커들이 배치된 표시패널을 구비하는 표시장치의 구동 방법에 있어서,
상기 입력 영상의 데이터를 분석하여 객체를 검출하는 단계; 및
상기 입력 영상의 데이터와 동기되어 수신된 입력 오디오 신호를 상기 n 개의 오디오 신호로 변환하고 상기 표시패널 상에서 표시되는 상기 객체의 위치와 가장 가까운 스피커를 통해 출력될 오디오 신호에서 상기 객체의 음역대 신호를 증폭하는 단계를 포함하는 표시장치의 구동 방법.
A method of driving a display device including a display panel in which an input image is displayed and n (n is an integer of 2 or more) speakers are arranged,
Analyzing data of the input image to detect an object; And
And converting the input audio signal received in synchronization with the data of the input image into the n audio signals and amplifying a band-width signal of the object from an audio signal to be outputted through a speaker closest to the position of the object displayed on the display panel The method comprising the steps of:
KR1020170072663A 2017-06-09 2017-06-09 Display device and driving method thereof KR102348658B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170072663A KR102348658B1 (en) 2017-06-09 2017-06-09 Display device and driving method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170072663A KR102348658B1 (en) 2017-06-09 2017-06-09 Display device and driving method thereof

Publications (2)

Publication Number Publication Date
KR20180134647A true KR20180134647A (en) 2018-12-19
KR102348658B1 KR102348658B1 (en) 2022-01-07

Family

ID=65009132

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170072663A KR102348658B1 (en) 2017-06-09 2017-06-09 Display device and driving method thereof

Country Status (1)

Country Link
KR (1) KR102348658B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200083891A (en) * 2018-12-28 2020-07-09 삼성디스플레이 주식회사 Method for providing sound matching with display image
US11553275B2 (en) 2018-12-28 2023-01-10 Samsung Display Co., Ltd. Method of providing sound that matches displayed image and display device using the method
CN116055982A (en) * 2022-08-12 2023-05-02 荣耀终端有限公司 Audio output method, device and storage medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030053680A1 (en) * 2001-09-17 2003-03-20 Koninklijke Philips Electronics N.V. Three-dimensional sound creation assisted by visual information
KR101410976B1 (en) * 2013-05-31 2014-06-23 한국산업은행 Apparatus and method for positioning of speaker
KR101458944B1 (en) * 2013-05-31 2014-11-10 한국산업은행 Apparatus and method for specify the speaker coordinate using focus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030053680A1 (en) * 2001-09-17 2003-03-20 Koninklijke Philips Electronics N.V. Three-dimensional sound creation assisted by visual information
KR101410976B1 (en) * 2013-05-31 2014-06-23 한국산업은행 Apparatus and method for positioning of speaker
KR101458944B1 (en) * 2013-05-31 2014-11-10 한국산업은행 Apparatus and method for specify the speaker coordinate using focus

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200083891A (en) * 2018-12-28 2020-07-09 삼성디스플레이 주식회사 Method for providing sound matching with display image
US11553275B2 (en) 2018-12-28 2023-01-10 Samsung Display Co., Ltd. Method of providing sound that matches displayed image and display device using the method
CN116055982A (en) * 2022-08-12 2023-05-02 荣耀终端有限公司 Audio output method, device and storage medium
CN116055982B (en) * 2022-08-12 2023-11-17 荣耀终端有限公司 Audio output method, device and storage medium

Also Published As

Publication number Publication date
KR102348658B1 (en) 2022-01-07

Similar Documents

Publication Publication Date Title
KR101901908B1 (en) Method for processing audio signal and apparatus for processing audio signal thereof
JP5893129B2 (en) Method and system for generating 3D audio by upmixing audio
KR101844511B1 (en) Method and apparatus for reproducing stereophonic sound
WO2022001451A1 (en) Display apparatus, sound generation control method, and sound generation control apparatus
KR102072146B1 (en) Display apparatus and method for providing a stereophonic sound service
KR20070042104A (en) Image display device and method and program
CN108989721A (en) Technology for localization perception audio
US10587979B2 (en) Localization of sound in a speaker system
KR102348658B1 (en) Display device and driving method thereof
KR102524412B1 (en) Display apparatus
JP2019537380A (en) Electronic device and control method thereof
JP2003032776A (en) Reproduction system
EP4221262A1 (en) Information processing device, information processing method, and program
KR20160122029A (en) Method and apparatus for processing audio signal based on speaker information
JP2020167471A (en) Information processing apparatus, information processing method and program
KR20190030512A (en) Display device and driving method thereof
JP5506241B2 (en) Communication apparatus, system, and control method
KR102536323B1 (en) Speaker apparatus and control method thereof
KR20230075908A (en) Electronic apparatus and controlling method thereof
JP2017028465A (en) Information processing device, information processing system, and information processing device control method and program
KR20190054520A (en) Display device and driving method thereof
WO2009104117A1 (en) Light controlled audio transducer

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant