KR20180134647A - Display device and driving method thereof - Google Patents
Display device and driving method thereof Download PDFInfo
- Publication number
- KR20180134647A KR20180134647A KR1020170072663A KR20170072663A KR20180134647A KR 20180134647 A KR20180134647 A KR 20180134647A KR 1020170072663 A KR1020170072663 A KR 1020170072663A KR 20170072663 A KR20170072663 A KR 20170072663A KR 20180134647 A KR20180134647 A KR 20180134647A
- Authority
- KR
- South Korea
- Prior art keywords
- audio signal
- display panel
- signal
- band
- input image
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Stereophonic System (AREA)
Abstract
Description
본 발명은 화면 상에 표시된 객체의 위치와 그 객체에 대응하는 음향의 출력 위치가 일치되는 표시장치 및 그 구동 방법에 관한 것이다.The present invention relates to a display device in which a position of an object displayed on a screen coincides with an output position of a sound corresponding to the object, and a driving method thereof.
전자장치는 비디오 신호를 재생하는 표시장치와, 오디오 신호를 재생하는 오디오 출력 장치를 포함할 수 있다. 전자 장치의 일 예로, TV(Television), 모니터(monitor) 등이 있다. The electronic device may include a display device for reproducing the video signal and an audio output device for reproducing the audio signal. An example of the electronic device is a television (TV), a monitor, and the like.
전자장치는 표시장치로 비디오 신호를 출력하여 표시패널의 화면 상에 영상을 표시하고, 스피커를 통해 오디오 신호를 출력하여 음향 신호를 재생한다. 스피커는 전자 장치의 외부에 설치되는 외부 스피커 시스템 또는 전자 장치 내부에 배치되는 내부 스피커로 구현될 수 있다. 외부 스피커 시스템은 음질이 좋고 다양한 음향 효과를 연출할 수 있지만 설치 공간과 디자인에 제약이 있고, 외부 스피커 시스템으로 인하여 비용이 추가된다.The electronic device outputs a video signal to a display device to display an image on a screen of the display panel, and outputs an audio signal through a speaker to reproduce the sound signal. The speaker may be implemented with an external speaker system installed outside the electronic device or an internal speaker disposed inside the electronic device. The external speaker system has good sound quality and can produce various sound effects, but there is a limitation in installation space and design, and an external speaker system adds cost.
내부 스피커는 전자 장치 내에서 표시패널 뒤에 배치될 수 있다. 이러한 내부 스피커가 적용된 전자 장치의 경우, 스피커에 의해 재생된 오디오 신호가 표시패널이나 다른 구조물에 의해 가려져 음질이 저하된다.The internal speaker may be disposed behind the display panel within the electronic device. In the case of an electronic device to which such an internal speaker is applied, the audio signal reproduced by the speaker is obscured by the display panel or other structures, and the sound quality is deteriorated.
전자 장치에서 표시패널과 스피커가 분리되어 있다. 따라서, 화면 상에 표시된 영상의 객체 위치와 오디오 신호의 출력 위치가 물리적으로 분리되어 있기 때문에 사용자가 듣는 오디오 신호의 입체감 변화가 없다. In the electronic device, the display panel and the speaker are separated. Therefore, since the object position of the video image displayed on the screen and the output position of the audio signal are physically separated, there is no change in stereoscopic effect of the audio signal heard by the user.
본 발명은 오디오 신호의 입체감을 향상하여 사용자의 몰입감을 향상시킬 수 있고 음향의 입체감을 향상시킬 수 있는 표시장치와 그 구동 방법을 제공한다. The present invention provides a display device and a driving method thereof that can improve a sense of three-dimensional effect of an audio signal to improve a feeling of immersion of a user and enhance a sense of three-dimensional sound.
본 발명의 표시장치는 입력 영상이 표시되고 n(n은 3 이상의 정수) 개 이상의 스피커들이 여러 위치로 분산 배치되는 표시패널, 상기 입력 영상의 데이터를 분석하여 객체를 검출하고 상기 표시패널의 화면 상에서 상기 객체의 위치를 지시하는 객체 위치 정보를 발생하는 객체 검출부, 및 상기 입력 영상의 데이터와 동기되어 수신된 입력 오디오 신호를 상기 n 개의 오디오 신호로 변환하고 상기 객체 위치 정보에 응답하여 상기 표시패널 상에서 상기 객체의 위치와 가장 가까운 스피커를 통해 출력될 오디오 신호에서 상기 객체의 음역대 신호를 증폭하는 오디오 신호 처리부를 구비한다. A display device of the present invention includes: a display panel in which an input image is displayed and n (n is an integer of 3 or more) speakers are dispersedly disposed at various positions; an object is detected by analyzing data of the input image, An object detection unit for generating object position information indicating a position of the object; and an input unit for converting the input audio signal received in synchronization with the data of the input image into the n audio signals, And an audio signal processor for amplifying a band-width signal of the object in an audio signal to be output through a speaker closest to the position of the object.
상기 표시장치의 구동 방법은 입력 영상의 데이터를 분석하여 객체를 검출하는 단계와, 상기 입력 영상의 데이터와 동기되어 수신된 입력 오디오 신호를 n 개의 오디오 신호로 변환하고 상기 표시패널 상에서 표시되는 상기 객체의 위치와 가장 가까운 스피커를 통해 출력될 오디오 신호에서 상기 객체의 음역대 신호를 증폭하는 단계를 포함한다. The method comprising the steps of: detecting an object by analyzing data of an input image; converting the input audio signal received in synchronization with the data of the input image into n audio signals, And amplifying the band-width signal of the object from the audio signal to be output through the speaker closest to the position of the speaker.
본 발명은 표시패널의 화면 상에서 표시되는 객체의 위치와 가장 가까운 스피커를 통해 출력될 오디오 신호에서 객체의 음역대 신호를 증폭시킴으로써 객체의 표시 위치와 그 객체의 음역대 음향 출력 위치를 일치시킬 수 있으므로, 오디오 신호의 입체감을 향상시킬 수 있다. Since the display position of the object can be matched with the sound output position of the object band of the object by amplifying the object's sound band signal from the audio signal to be outputted through the speaker nearest to the position of the object displayed on the screen of the display panel, It is possible to improve the stereoscopic effect of the signal.
그리고, 본 발명은 영상의 객체들 각각에서 객체의 표시 위치와 음향의 출력 위치를 일치함으로써, 영상 및 음향에 대한 사용자의 몰입감을 향상시킬 수 있다. In addition, according to the present invention, the display position of the object and the output position of the sound are matched with each other in the objects of the image, thereby enhancing the user's immersion feeling for the image and sound.
그리고, 본 발명은 객체 고유의 음역대 신호를 추출하고, 멀티 채널 오디오 신호들 사이의 게인을 조정함으로써, 객체 위치와 가장 가까운 스피커를 통해 객체의 음역대의 음향을 증가시킬 수 있다. In addition, the present invention can increase the sound of the object band by extracting the object-specific band-pass signal and adjusting the gain between the multi-channel audio signals through the speaker closest to the object position.
도 1은 본 발명의 실시예에 따른 표시장치를 보여 주는 블록도이다.
도 2는 본 발명의 실시예에 따른 표시장치의 구동 방법을 보여 주는 흐름도이다.
도 3은 표시패널 상에 표시되는 객체 위치와 그 객체의 음향 출력 위치가 일치되는 예를 보여 주는 도면이다.
도 4는 객체 검출부를 상세히 보여 주는 블록도이다.
도 5는 오디오 신호 처리부를 상세히 보여 주는 블록도이다.
도 6 및 도 7은 멀티 채널 변환부를 상세히 보여 주는 도면들이다.
도 8a 내지 도 8c는 도 5에 도시된 멀티 채널 조정부의 동작을 상세히 보여 주는 도면들이다.
도 9는 표시패널 상에 배치되는 스피커를 보여 주는 도면이다.
도 10은 도 9에 도시된 표시패널 일체형 스피커의 구조를 상세히 보여 주는 도면이다.
도 11a 내지 도 11c는 표시패널 일체형 스피커를 이용한 객체 위치와 음향 출력 위치가 일치되는 예를 보여 주는 도면들이다.
도 12a 및 도 12b는 두 개의 스피커가 배치된 표시패널에서 객체의 표시 위치와 가까운 스피커를 통해 객체 고유의 음역대 신호가 출력되는 예를 보여 주는 도면들이다. 1 is a block diagram showing a display device according to an embodiment of the present invention.
2 is a flowchart illustrating a method of driving a display device according to an exemplary embodiment of the present invention.
3 is a diagram showing an example in which an object position displayed on a display panel is matched with an acoustic output position of the object.
4 is a detailed block diagram of the object detection unit.
5 is a detailed block diagram of an audio signal processing unit.
FIG. 6 and FIG. 7 are diagrams illustrating the multi-channel conversion unit in detail.
8A to 8C are diagrams showing details of the operation of the multi-channel adjustment unit shown in FIG.
9 is a view showing a speaker disposed on the display panel.
FIG. 10 is a detailed view showing the structure of the display panel integrated type speaker shown in FIG.
11A to 11C are views showing an example in which an object position and an acoustic output position using the display panel integrated type speaker coincide with each other.
FIGS. 12A and 12B are diagrams illustrating examples of outputting a characteristic band-specific signal through a speaker near a display position of an object in a display panel on which two speakers are arranged.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다는 것에 주의하여야 한다. 이하의 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명은 특허청구범위에 의해 정의된다. BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention, and the manner of achieving them, will be apparent from and elucidated with reference to the embodiments described hereinafter in conjunction with the accompanying drawings. It should be noted that the present invention is not limited to the embodiments disclosed below, but may be implemented in various forms. The following embodiments are provided so that the disclosure of the present invention is complete and that those skilled in the art will fully understand the scope of the present invention. The invention is defined by the claims.
본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. The shapes, sizes, ratios, angles, numbers, and the like disclosed in the drawings for describing the embodiments of the present invention are illustrative, and thus the present invention is not limited thereto. Like reference numerals refer to like elements throughout the specification. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail.
본 명세서 상에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우 ' ~ 만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성 요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다. Where the terms "comprises", "having", "done", and the like are used in this specification, other portions may be added unless "only" is used. Unless the context clearly dictates otherwise, including the plural unless the context clearly dictates otherwise.
구성 요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.In interpreting the constituent elements, it is construed to include the error range even if there is no separate description.
위치 관계에 대한 설명일 경우, 예를 들어, ' ~ 상에', ' ~ 상부에', ' ~ 하부에', ' ~ 옆에' 등으로 두 부분의 위치 관계가 설명되는 경우, '바로' 또는 '직접'이 사용되지 않는 이상 두 부분 사이에 하나 이상의 다른 부분이 위치할 수도 있다. In the case of a description of the positional relationship, for example, if the positional relationship between two parts is described as 'on', 'on top', 'under', and 'next to' Or " direct " is not used, one or more other portions may be located between the two portions.
실시예의 설명에서, 제1, 제2 등이 다양한 구성 요소들을 서술하기 위해서 사용되지만, 이들 구성 요소들은 이들 용어에 의해 제한되지 않는다. 이들 용어들은 단지 하나의 구성 요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다.In the description of the embodiments, the first, second, etc. are used to describe various components, but these components are not limited by these terms. These terms are used only to distinguish one component from another.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Like reference numerals refer to like elements throughout the specification.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.It is to be understood that each of the features of the various embodiments of the present invention may be combined or combined with each other partially or wholly and technically various interlocking and driving are possible and that the embodiments may be practiced independently of each other, It is possible.
이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예들을 상세히 설명한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 실질적으로 동일한 구성요소들을 의미한다. 이하의 설명에서, 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Reference will now be made in detail to the preferred embodiments of the present invention, examples of which are illustrated in the accompanying drawings. Like reference numerals throughout the specification denote substantially identical components. In the following description, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.
도 1을 참조하면, 본 발명의 표시장치는 픽셀 어레이가 형성된 표시패널(100)과, 표시패널(100)에 입력 영상의 데이터를 기입하기 위한 표시패널 구동회로, 입력 영상에서 객체를 검출하는 객체 검출부(200), 오디오 신호 처리부(300) 등을 구비한다. 1, the display apparatus of the present invention includes a
표시패널(100)은 표시장치의 표시패널로 구현될 수 있다. The
본 발명의 표시장치는 액정 표시장치(Liquid Crystal Display : LCD), 전계 방출 표시장치(Field Emission Display : FED), 및 전계 발광 표시지장치(Electroluminescence Display) 등의 표시장치를 기반으로 구현될 수 있다. 전계 발광 표시장치는 발광층의 재료에 따라 무기발광 표시장치와 유기 발광 표시장치로 구별될 수 있다. 무기발광 표시장치는 양자점(quantum dot) 표시장치를 예로 들 수 있으나, 이에 한정되는 것은 아니다. The display device of the present invention can be implemented based on a display device such as a liquid crystal display (LCD), a field emission display (FED), and an electroluminescence display device . The electroluminescence display device can be distinguished as an inorganic light emitting display device and an organic light emitting display device depending on the material of the light emitting layer. The inorganic light emitting display device may be, but not limited to, a quantum dot display device.
표시패널(100)의 화면은 입력 영상의 데이터가 표시되는 픽셀 어레이를 포함한다. 픽셀 어레이에, 데이터 라인들(DL)과 게이트 라인들(또는 스캔 라인들, GL)이 교차되고, 픽셀들이 매트릭스 형태로 배치된다. 픽셀들 각각은 컬러 구현을 위하여 적색 서브 픽셀, 녹색 서브 픽셀, 및 청색 서브 픽셀로 나뉘어질 수 있다. 픽셀들 각각은 백색 서브 픽셀을 더 포함할 수 있다. The screen of the
표시패널(100) 상에 n 개 이상의 스피커들(SP1~SP3)이 배치된다. 스피커들(SP1~SP3)은 화면 상에 표시된 객체의 위치를 고려하여 표시패널(100) 상에서 분산 배치된다. 스피커들(SP1~SP3)은 도 8에 도시된 바와 같이, 표시패널(100)의 배면에 결합되거나 표시패널(100)과 일체화될 수 있다. At least n speakers (SP1 to SP3) are arranged on the display panel (100). The speakers SP1 to SP3 are distributed on the
표시패널 구동회로는 픽셀들에 입력 영상의 데이터를 기입한다. 표시패널 구동회로는 데이터 구동부(102), 게이트 구동부(104), 및 타이밍 콘트롤러(106)를 포함한다. The display panel drive circuit writes the data of the input image to the pixels. The display panel drive circuit includes a
데이터 구동부(102)는 타이밍 콘트롤러(106)로부터 수신된 입력 영상의 디지털 비디오 데이터(이하, "비디오 신호"라 함)를 수신한다. 데이터 구동부(102)는 DAC(Digital to Analog Converter)를 이용하여 입력 영상의 비디오 신호를 데이터전압으로 변환하여 데이터 라인들(DL)로 출력한다. 게이트 구동부(104)는 타이밍 콘트롤러(106)의 제어 하에 게이트 라인들(GL)에 게이트 펄스를 순차적으로 공급한다. 게이트 펄스는 픽셀들에 충전될 데이터 전압에 동기된다. 게이트 구동부(104)는 픽셀 어레이와 함께 표시패널(100)의 하부 기판 상에 직접 형성될 수 있다. 이 경우 게이트 인 패널(Gate in Panel: GIP)이라고 할 수 있다. The
타이밍 콘트롤러(106)는 호스트 시스템(110)으로부터 수신된 입력 영상의 비디오 데이터를 데이터 구동부(102)로 전송한다. 타이밍 콘트롤러(106)는 입력 영상 데이터와 동기되는 타이밍 신호들을 호스트 시스템(110)으로부터 수신한다. 타이밍 신호들은 수직 동기신호(Vsync), 수평 동기신호(Hsync), 데이터 인에이블 신호(DE), 및 도트 클럭(DCLK) 등을 포함할 수 있다. 타이밍 콘트롤러(106)는 입력 영상의 픽셀 데이터와 함께 수신되는 타이밍 신호들(Vsync, Hsync, DE, DCLK)을 바탕으로 데이터 구동부(102)와 게이트 구동부(104)의 동작 타이밍을 제어한다. The
호스트 시스템(110)은 TV(Television) 시스템, 셋톱박스, 네비게이션 시스템, DVD 플레이어, 블루레이 플레이어, 개인용 컴퓨터(PC), 홈 시어터 시스템, 폰 시스템(Phone system) 중 어느 하나일 수 있으며, 이에 한정되는 것은 아니다. 호스트 시스템(110)은 입력 영상의 비디오 데이터와 함께 그 비디오 데이터와 동기되는 디지털 오디오 데이터(이하, "오디오 신호"라 함)와 타이밍 신호를 타이밍 콘트롤러(106)로 전송한다. 호스트 시스템(110)은 오디오 신호와 결합된 비디오 신호를 출력할 수 있다. 이 비디오 신호는 객체별로 분리된 오디오 신호와 매칭(matching)될 수 있다. The
객체 검출부(200)는 입력 영상의 데이터를 분석하여 객체를 검출하고 표시패널(100)의 화면 상에서 상기 객체의 위치를 지시하는 객체 위치 정보를 발생한다. 객체 검출부(200)는 미리 설정된 객체 검출 알고리즘을 이용하여 호스트 시스템(110)으로부터 수신된 입력 영상에서 객체들 각각을 검출하고, 객체 각각의 위치를 특정하는 객체 위치 정보를 오디오 신호 처리부(300)로 출력한다. 객체는 다양한 방법으로 검출될 수 있다. 예를 들어, 사람은 얼굴 인식 알고리즘(face detection algorithm)과 움직임 예측 알고리즘(motion estimation algorithm)을 이용하여 검출될 수 있다. 사람 이외의 객체들도 공지된 객체 인식 알고리즘을 이용하여 검출될 수 있으며, 이에 한정되는 것은 아니다.The
호스트 시스템(110)은 영상에서 객체들 각각을 구분하는 객체 식별 코드가 포함된 입력 영상의 데이터를 객체 검출부(200)로 전송할 수 있다. 이 경우, 객체 검출부(200)는 수신된 입력 영상 데이터로부터 객체 식별 코드를 읽어 객체별로 비디오 신호와 오디오 신호를 구분할 수 있다. 객체 검출부(200)로부터 출력된 객체 위치 정보는 오디오 신호 처리부(300)로 전송된다. The
오디오 신호 처리부(300)는 멀티 채널 변환 알고리즘을 이용하여 입력 영상 데이터와 동기되어 호스트 시스템(110)으로부터 수신된 오디오 신호를 멀티 채널 오디오 신호로 변환한다. 멀티 채널 변환 알고리즘의 일 예로, 스테레오 투 채널(two channel)의 음원 신호를 5.1 채널로 변환하는 알고리즘이 있다. 본 발명은 표시패널(100) 상에 배치된 스피커들의 개수만큼 채널 수를 갖는 멀티 채널 오디오 신호를 발생시킬 수 있다. 표시패널(100) 상에 배치된 스피커들의 개수는 두 개 이상일 수 있으며, 이에 한정되는 것은 아니다. The audio
오디오 신호 처리부(300)는 객체 검출부(200)로부터 수신된 객체 위치 정보를 바탕으로 멀티 채널 오디오 신호들에서 해당 객체 고유의 음역대 신호의 게인을 조정하여 객체 표시 위치와 가장 가까운 스피커(SP1~SP3)로 출력되는 오디오 신호에서 객체 고유의 음역대 신호의 게인을 크게 한다. 오디오 신호 처리부(300)는 멀티 채널 오디오 신호들을 DAC(Digital to Analog Converter)를 통해 아날로그 신호로 변환하여 스피커들(SP1~SP3)로 출력한다. The audio
오디오 신호 처리부(300)에 의해, 화면 상에 표시되는 객체와 그 객체 고유의 음향이 같은 위치에서 출력되고, 객체가 이동될 때 그 객체를 따라 객체 음역대의 음향 출력 위치가 이동된다. 음역대 오디오 신호가 화면 상에서 보이는 객체로부터 객체 고유의 음향이 발생될 수 있으므로, 영상 및 음향의 몰입감과 입체감이 향상될 수 있다. 따라서, 본 발명의 실시예에 따르면, 화면 상에 표시되는 이미지에서 하나 이상의 객체를 형상적인 특징을 바탕으로 검출할 수 있다. 객체(object)는 형상적 특징과, 음역에서 고유한 특징을 갖는 독립 개체를 의미할 수 있다. 예를 들어, 한 화면의 1 프레임 데이터로 표시되는 하나의 비디오 프레임에는 형상적 특징과, 음역대가 다른 다양한 객체들이 포함될 수 있다. 그리고, 입력 영상에서 검출된 객체에 대응하는 오디오 신호의 음역을 추출하고, 객체의 표시 위치와 그 객체의 음역대 음향 출력 위치를 일치시킨다. 따라서, 객체의 움직임을 따라 객체의 고유한 음역대의 오디오 신호의 출력 위치가 변할 수 있으므로, 사용자가 느끼는 오디오 신호의 입체감이 향상될 수 있다. The audio
이하에서, 화면 상에 표시되는 객체를 사람으로 예시하여 상세히 설명하기로 한다. 사람은 객체의 한 예일 뿐 객체는 어느 하나로 특정되지 않는다는 것에 주의하여야 한다. Hereinafter, the object displayed on the screen will be described as a person by way of example. It should be noted that a person is only an example of an object, but an object is not specified in any one.
도 2는 본 발명의 실시예에 따른 표시장치의 구동 방법을 보여주는 흐름도이다. 도 3은 표시패널(100) 상에 표시되는 객체 위치와 그 객체의 음역대 음향 출력 위치가 일치되는 예를 보여 주는 도면이다.2 is a flowchart illustrating a method of driving a display device according to an embodiment of the present invention. 3 is a diagram illustrating an example in which an object position displayed on the
도 2 및 도 3을 참조하면, 객체 검출부(200)는 미리 설정된 객체 검출 알고리즘을 이용하여 표시패널(100) 상에서 재현될 입력 영상 데이터에서 객체(OBJ)를 검출한다(S01). 객체 검출부(200)는 객체 검출의 정확성을 판단하기 위하여 신뢰성 체크(reliablity check)를 실시할 수 있다(S03). 신뢰성 체크는 객체 검출 결과의 유효성을 판단하여 객체 검출 결과가 불확실하다고 판단할 때 객체 검출 결과를 무효화할 수 있다. Referring to FIGS. 2 and 3, the
오디오 신호 처리부(300)는 입력 오디오 신호를 멀티 채널 오디오 신호로 변환한다(S02). 도 3의 예에서, 멀티 채널 오디오 신호는 표시패널(1)의 화면 상에서 좌측(left)에 위치한 제1 스피커(SP1)를 통해 출력될 제1 채널의 오디오 신호, 표시패널(1)의 화면 상에서 중앙(center)에 위치한 제2 스피커(SP2)를 통해 출력될 제2 채널의 오디오 신호, 및 표시패널(1)의 화면 상에서 우측(right)에 위치한 제3 스피커(SP3)를 통해 출력될 제3 채널의 오디오 신호를 포함할 수 있다.The audio
오디오 신호 처리부(300)는 객체 검출부(200)의 신뢰성 체크 결과, 객체 검출 결과의 신뢰성이 높을 때 객체의 음역대 신호에 곱해지는 게인을 조정함으로써 객체의 위치와 가장 가까운 음향 출력 위치의 스피커를 통해 출력될 오디오 신호에서 객체 고유의 음역대 신호를 증폭한다(S04). 그 결과 표시패널(1)의 화면 상에서 객체의 표시위치와 그 객체의 음역대 오디오 신호의 출력 위치가 일치된다. 오디오 신호 처리부(300)는 객체 검출부(200)의 신뢰성 체크 결과, 객체 검출 결과의 신뢰성이 낮으면 오디오 신호 처리부(300)는 객체 검출부(200)로부터 수신된 객체 위치 정보를 무시하여 객체의 음역대 오디오 신호에 곱해지는 게인을 변경하지 않을 수 있다.The
도 4는 객체 검출부(200)를 상세히 보여 주는 블록도이다. 4 is a block diagram showing the
도 4를 참조하면, 객체 검출부(200)는 움직임 판단부(222), 윤곽 검출부(224), 객체 위치 판단부(226), 및 신뢰성 체크부(228)를 포함한다. Referring to FIG. 4, the
움직임 판단부(222)는 수신된 입력 영상의 데이터에 대하여 움직임 예측 알고리즘(motion estimation algorithm)을 실행하여 객체의 움직임을 추정한다. 움직임 예측 알고리즘의 일 예로, 블럭 매칭(block matching) 방법이 적용될 수 있으며, 이에 한정되는 것은 아니다. 블록 매칭 방법은 이전 프레임 데이터와 현재 프레임 데이터를 미리 설정된 크기의 블록으로 나누고, 이전 프레임 데이터와 현재 프레임 데이터들 간에 소정 크기의 탐색 범위(Search Range, SR) 안에 있는 가장 유사도가 높은 블록을 가리키는 모션 벡터(Motion Vector)를 계산하여 움직이는 객체를 지시하는 블록을 추정한다. 움직임 판단부(222)는 움직임 벡터를 바탕으로 객체의 크기, 움직임 방향, 및 속도 등을 지시하는 움직임 정보(MI)를 객체 위치 판단부(226)로 출력한다.The motion determiner 222 estimates the motion of the object by executing a motion estimation algorithm on the received input image data. As an example of the motion prediction algorithm, a block matching method may be applied, but is not limited thereto. The block matching method divides the previous frame data and the current frame data into blocks of a preset size and generates a motion of a block having the highest degree of similarity within a search range (Search Range, SR) of a predetermined size between the previous frame data and the current frame data And calculates a vector (Motion Vector) to estimate a block indicating the moving object. The motion determiner 222 outputs motion information (MI) indicating the size, motion direction, and speed of the object to the
윤곽 검출부(224)는 이미지 프로세싱에서 객체의 형상을 추출하고, 추출된 형상적인 특징을 바탕으로 객체를 추정할 수 있다. 예를 들어, 윤곽 검출부(224)는 공지된 얼굴 인식 알고리즘(face detection algorithm)을 이용하여 입력 영상 데이터에서 사람의 얼굴 특징을 추출할 수 있다. 윤곽 검출부(224)는 객체의 형상적 특징을 정의한 윤곽 정보(FF)를 객체 위치 판단부(226)로 출력한다. The
객체 위치 판단부(226)는 움직임 정보(MI)와 윤곽 정보(FF)를 바탕으로 입력 영상의 매 프레임 기간마다 객체를 검출하고, 그 객체 위치를 지시하는 객체 위치 정보(HLI)를 발생하고, 그 객체 위치 정보(HLI)를 오디오 신호 처리부(300)로 전송한다. 객체 위치 판단부(226)는 화면 상에 다수의 객체들이 존재할 경우, 미리 설정된 판단 기준에 따라 가장 큰 음향 출력이 발생되는 객체의 위치를 지시하는 객체 위치 정보(HLI)를 발생한다. 예를 들면, 화면 상에 다수의 사람들이 존재할 때 화면 상에 입술의 형상적 특징 위치를 움직임 정보(MI)가 큰 객체의 위치로 판단하여 입술 위치를 지시하는 객체 위치 정보(HLI)를 발생한다. The object
신뢰성 체크부(228)는 객체 위치 판단부(226)의 객체 검출 결과에 대한 유효성을 판단한다. 신뢰성 체크부(228)는 객체의 형상적 특징 검출 과정과 움직임 예측 과정에서 생성된 정보를 바탕으로 객체 위치 정보(HLI)의 유효성을 지시하는 신뢰성 판단 레벨(CL)을 산출한다. 화면 상에서 사람을 검출할 때, 신뢰성 체크부(228)는 검출 과정과 움직임 예측 과정에서 생성된 정보를 바탕으로 신뢰성 판단 레벨(CL)을 계산한다. The
얼굴 인식 알고리즘이 단순한 템플릿 매칭(template matching) 방법을 이용하는 경우에, 미리 정의된 얼굴 형태의 특징과 입력 영상에서 검출된 객체의 형상적 특징 간의 매칭 코스트(matching cost)를 바탕으로 신뢰성 판단 레벨(reilablity level)이 결정될 수 있다. 매칭 코스트는 실시간으로 입력되는 입력 영상과 미리 정의된 얼굴 특징 사이의 차이값을 의미할 수 있다. 신뢰성 체크부(228)는 매칭 코스트가 낮을수록 객체 검출 결과의 신뢰성을 높게 판단하여 매칭 코스트에 반비례하는 신뢰성 판단 레벨(CL)을 출력한다. In the case where the face recognition algorithm uses a simple template matching method, a reestablishment level (reestableness) is determined based on matching costs between the features of the predefined facial features and the features of the objects detected in the input image level can be determined. The matching cost can mean the difference value between the input image input in real time and the predefined face feature. The
입력 영상의 특징점을 분류(classify)하여 얼굴을 추출하는 얼굴 인식 알고리즘의 경우에, 입력 영상 내의 얼굴의 특징점들을 분류할 때 적용된 확률값이 신뢰성 판단 레벨(CL)로 설정될 수 있다. 예를 들면, 신뢰성 체크부(228)는 얼굴 특징 분류 확률값이 높을수록 객체 검출 결과의 신뢰성을 높게 판단하여 분류 확률값에 비례하는 신뢰성 판단 레벨(CL)을 출력한다. In the case of a face recognition algorithm for classifying a feature point of an input image and extracting a face, a probability value applied when classifying the feature points of the face in the input image may be set to the reliability determination level CL. For example, the
움직임 예측 방법에서 블록 매칭 방법은 현재 프레임 데이터의 블록(또는 픽셀)과 가장 유사도가 높은 블록(또는 픽셀)을 이전 프레임 데이터에서 탐색하여 현재 프레임과 이전 프레임 사이의 객체의 이동을 예측한다. 이러한 움직임 예측 방법에서, 현재 프레임 내 정보를 이전 프레임에서 찾을 때 산출된 매칭 코스트가 신뢰성 판단 레벨(CL)로 이용될 수 있다. 신뢰성 체크부(228)는 움직임 예측 과정에서 얻어진 매칭 코스트가 낮을수록 객체 검출 결과의 신뢰성을 높게 판단하여 매칭 코스트에 반비례하는 신뢰성 판단 레벨(CL)을 출력할 수 있다. In the motion estimation method, the block matching method predicts the movement of an object between a current frame and a previous frame by searching a block (or a pixel) having the highest degree of similarity with the block (or pixel) of the current frame data in the previous frame data. In this motion prediction method, the matching cost calculated when searching the current frame information in the previous frame can be used as the reliability judgment level CL. The
신뢰성 체크부(228)는 형상적 특징 검출 과정과 움직임 예측 과정에서 생성된 정보 중 어느 하나를 근거로 신뢰성 판단 레벨(CL)을 결정할 수 있다. 예를 들면, 신뢰성 체크부(228)는 아래의 수식과 같이 형상적 특징 검출 과정과 움직임 예측 과정에서 생성된 정보들을 종합적으로 판단하여 신뢰성 판단 레벨(CL)을 결정할 수 있다. The
여기서, CLmotion은 움직임 예측 과정을 근거로 산출된 신뢰성 판단 레벨이다. CLface은 객체의 형상적 특징 검출 과정(얼굴 인식 과정)을 근거로 산출된 신뢰성 판단 레벨이다. C는 0 이상 1 이하(0 ≤ c ≤ 1)의 값으로 선택된 상수값이다. Here, CLmotion is a reliability judgment level calculated based on the motion prediction process. The CLface is a reliability judgment level calculated based on the shape feature detection process (face recognition process) of the object. C is a constant value selected from 0 to 1 (0 ≤ c ≤ 1).
도 5는 오디오 신호 처리부(300)를 상세히 보여 주는 블록도이다. 5 is a block diagram showing the
도 5를 참조하면, 오디오 신호 처리부(300)는 멀티 채널 변환부(310), 음향 위치 판단부(320), 및 멀티 채널 조정부(330)를 포함한다. 5, the audio
멀티 채널 변환부(310)는 멀티 채널 변환 알고리즘을 이용하여 입력 오디오 신호(CH_L, CH_R)를 n(n은 2 이상의 양의 정수) 채널 오디오 신호(CH1~CHn)로 변환한다. 멀티 채널 변환부(310)는 미리 설정된 객체의 음역대 주파수를 추출하고, 그 음역대 주파수를 n 채널 오디오 신호들(CH1~CHn) 중 어느 하나로 출력할 수 있다. 예를 들어, 멀티 채널 변환부(310)는 객체의 음역대 오디오 신호를 표시패널(100) 상의 화면 중앙에 위치한 스피커를 통해 출력될 제n/2 채널 오디오 신호로 선택할 수 있다. The multi-channel converting
음향 위치 판단부(320)는 객체 검출부(200)로부터 객체 위치 정보(HLI)와 신뢰성 판단 레벨(CL)을 수신 받아, 신뢰성 판단 레벨(CL)이 미리 설정된 기준값과 비교한다. 음향 위치 판단부(320)는 신뢰성 판단 레벨(CL)이 기준값 보다 높을 때 객체 위치 판단부(226)로부터 수신된 객체 위치 정보(HLI)가 지시하는 객체의 위치와 가장 가까운 음향 출력 위치를 지시하는 음향 위치 정보(LS)를 출력한다. The acoustic
멀티 채널 조정부(330)는 음향 위치 정보(LS)가 지시하는 채널의 오디오 신호에서 객체의 음역대 신호를 증폭한다. 이 멀티 채널 조정부(330)는 음향이 출력되는 객체의 위치를 특정할 수 없을 경우, 멀티 채널 변환부(310)의 출력 신호들(CH1~CHn)을 통과시킨다. 그리고, 멀티 채널 조정부(330)는 음향이 출력되는 객체의 위치가 검출될 경우, 객체 위치와 가장 가까운 스피커를 통해 출력될 오디오 신호에서 객체의 음역대 신호의 게인(Gain)을 상대적으로 크게 하여 화면 상의 객체 위치에서 그 객체 고유의 음역대 신호의 음량을 크게 조정한다. The
멀티 채널 변환부(310)는 음향 위치 정보(LS)에 따라 음향이 출력되는 객체 위치와, 그 객체 위치의 신뢰성을 판단할 수 있다. 음향 위치 정보(LS)는 객체의 위치 정보(HLI)와 신뢰선 판단 레벨(CL)을 바탕으로 생성될 수 있으므로, 멀티 채널 조정부(330)의 멀티 채널 오디오 신호들(CH1'~CHn')에서 객체 고유의 음역대 신호에 곱해지는 게인은 화면 상에서의 객체 위치와 신뢰성 판단 레벨(CL)에 따라 조정될 수 있다. 신뢰성 판단 레벨(CL)이 기준값보다 낮으면, 멀티 채널 변환부(310)는 음향이 출력되는 객체의 위치를 특정할 수 없으므로, 멀티 채널 변환부(310)의 출력 신호들(CH1~CHn)을 통과시킨다. 그리고, 멀티 채널 변환부(310)는 신뢰성 판단 레벨(CL)이 기준값 보다 높을 경우, 음향이 출력되는 객체의 위치와 가장 가까운 스피커를 통해 출력되는 오디오 신호에서 객체 고유의 음역대 오디오 신호의 게인을 크게 조정할 수 있다. 멀티 채널 조정부(330)에 의해 도 8a 내지 도 8c에 도시된 바와 같이, 객체의 위치가 표시패널(100)의 화면 상에서 좌측 또는 우측으로 이동할 때 그 객체와 가까운 위치의 스피커를 출력될 객체의 음역대 오디오 신호의 게인이 커져 객체의 움직임에 따라 객체 고유의 음역대 신호 출력 위치가 이동될 수 있다.The
따라서, 표시패널 상에 오디오 신호가 독립적으로 인가되는 n(n은 2 이상의 정수) 개의 스피커를 배치하고, 멀티 채널 변환 알고리즘을 이용하여 n 개의 스피커들을 통해 출력되는 n 개의 멀티 채널 오디오 신호들을 발생한다. 이에 의해, 객체 고유의 음역대 신호를 추출하고, 멀티 채널 오디오 신호들 간에 게인을 조정하여 객체 위치와 가장 가까운 스피커를 통해 출력될 오디오 신호에서 객체 고유의 음역대의 음향을 크게 할 수 있다.Accordingly, n (n is an integer of 2 or more) speakers on which audio signals are independently applied are arranged on the display panel, and n multi-channel audio signals output through n speakers are generated using a multi-channel conversion algorithm . Accordingly, the sound of the object-specific band can be increased in the audio signal to be output through the speaker closest to the object position by extracting the band-specific signal of the object and adjusting the gain between the multi-channel audio signals.
도 6 및 도 7은 멀티 채널 변환부(310)를 상세히 보여 주는 도면들이다. 6 and 7 are views showing the
멀티 채널 변환부(310)는 스테레오(stereo) 또는 모노(mono) 음원의 오디오 신호를 입력받을 수 있다. 스테레오 음원은 좌측 채널의 오디오 신호(CH_L)와 우측 채널의 오디오 신호(CH_R)를 포함한다. 모노 음원은 단일 채널의 오디오 신호(CM_M)이다. 이하에서, 멀티 채널 변환부(310)가 제1 내지 제3 채널의 오디오 신호를 출력하는 예를 들어 설명하기로 한다. The
도 6을 참조하면, 멀티 채널 변환부(310)는 가산기(312), 음량 조정부(314), 및 음역 선택부(316)를 포함한다. 6, the multi-channel converting
멀티 채널 변환부(310)는 스테레오 음원의 오디오 신호(CH_L, CH_R)가 수신되면, 제1 오디오 신호(CHL)와 제3 오디오 신호(CHR)를 가산기(312)로 더한다. 가산기(312)에 의해 더해진 오디오 신호는 음량이 과도하게 커질 수 있다. 음량 조정부(314)는 소정의 게인 예를 들어, - 3dB 만큼 가산기(312)로부터 출력된 오디오 신호의 게인을 낮추어 음역 선택부(316)로 출력한다. 음역 선택부(316)는 가산기(312)로부터 수신된 오디오 신호에서 객체 고유의 음역대 예를 들면, 사람의 목소리 음역대(약 100Hz ~ 4kHz)에 해당되는 주파수를 추출하고 그 음역대 신호에 소정의 게인을 곱한다. 게인은 0 보다 크고 1 이하의 값으로 설정될 수 있다. 그리고, 사람의 목소리 음역대의 주파수에 한정되는 것은 아니다. The
제1 오디오 신호(CHL)는 DAC를 통해 아날로그 신호로 변환된 후에, 화면의 좌측에 배치된 제1 스피커(SP1)를 통해 출력된다. 제2 오디오 신호(CHC)는 DAC를 통해 아날로그 신호로 변환된 후에, 화면의 중앙에 배치된 제2 스피커(SP2)를 통해 출력된다. 제3 오디오 신호(CHR)는 DAC를 통해 아날로그 신호로 변환된 후에, 화면의 우측에 배치된 제3 스피커(SP3)를 통해 출력된다. 제2 오디오 신호(CHC)는 객체의 음역대 주파수의 신호를 포함하며, 제1 및 제3 오디오 신호(CHL, CHR) 각각은 객체의 음역대 주파수 및 객체의 음역대 주파수 이외의 음원 주파수를 포함한다. The first audio signal CHL is converted to an analog signal through the DAC and then output through the first speaker SP1 disposed on the left side of the screen. The second audio signal CHC is converted to an analog signal through the DAC and then output through the second speaker SP2 disposed at the center of the screen. The third audio signal CHR is converted into an analog signal through the DAC and then output through the third speaker SP3 disposed on the right side of the screen. The second audio signal CHC includes a signal of a frequency band of the object and each of the first and third audio signals CHL and CHR includes the frequency band of the object and the frequency of the sound source other than the band of the object.
음역 선택부(316)는 객체 고유의 음역대를 통과시키는 밴드 패스 필터(Band pass filter, BPF)로 구현될 수 있다. 사람의 목소리 음역대에 해당하는 100Hz ~ 4kHz의 주파수를 가질 수 있다. 따라서, 음역 선택부(316)에서 사람 음역대를 검출하는 밴드 패스 필터의 통과 대역(fl to fh)는 100Hz ~ 4kHz이다. 통과 대역(fl to fh)에서 fl은 통과 대역 내의 최저 주파수이고, fh는 통과 대역 내의 최고 주파수이다. 음역 선택부(316)는 다양한 객체의 음역대를 추출하기 위하여, 음역대가 다른 다수의 밴드 패스 필터들을 포함할 수 있다. The
도 7을 참조하면, 멀티 채널 변환부(310)는 음역 선택부(318)를 포함한다. Referring to FIG. 7, the
멀티 채널 변환부(310)는 모노 음원의 오디오 신호(CH_M)를 제1 내지 제3 오디오 신호(CHL, CHC, CHR)로 분리한다. 음역 선택부(318)는 객체 검출부(200)에 의해 검출된 객체의 음역대 예를 들면, 사람의 목소리 음역대(예를 들면, 약 100Hz ~ 4kHz) 주파수를 추출하고 그 음역대 신호에 소정의 게인을 곱하여 제2 오디오 신호(CHC)를 발생한다. The
음역 선택부(318)는 객체 고유의 음역대를 통과시키는 밴드 패스 필터(BPF)로 구현될 수 있다. 음역 선택부(318)는 다양한 객체의 음역대를 추출하기 위하여, 통과 대역이 다른 다수의 밴드 패스 필터들을 포함할 수 있다.The
도 8a 내지 도 8c는 도 5에 도시된 멀티 채널 조정부(330)의 동작을 상세히 보여 주는 도면들이다. 8A to 8C are diagrams showing details of the operation of the
도 8a에 도시된 바와 같이 화면 상에서 객체(OBJ)가 좌측에 위치하면, 멀티 채널 조정부(330)는 객체의 음역대 신호(A)에 곱해지는 게인(G)을 줄이고, 게인 감소분 만큼 감소된 객체의 음역대 신호(A*(1-G))를 제1 오디오 신호(CHL)에 더한다. 따라서, 객체의 음역대 신호가 더해진 제1 오디오 신호(CHL')는 객체의 음역대 신호가 증폭되어 화면 상에서 객체(OBJ)와 가장 가까운 제1 스피커(SP1)를 통해 출력된다. 게인은 0 보다 크고 1 이하의 값으로 설정될 수 있다. 객체의 음역대 신호를 포함한 제2 오디오 신호(CHC')는 제1 오디오 신호(CHL')에 포함된 객체의 음역대 신호보다 작아진다.8A, when the object OBJ is located on the left side of the screen, the
도 8c에 도시된 바와 같이 화면 상에서 객체(OBJ)가 우측에 위치하면, 멀티 채널 조정부(330)는 객체의 음역대 신호(A)에 곱해지는 게인(G)을 줄이고, 게인 감소분 만큼 감소된 객체의 음역대 신호(A*(1-G))를 제3 오디오 신호(CHR)에 더한다. 따라서, 객체의 음역대 신호가 더해진 제3 오디오 신호(CHR')는 객체의 음역대 신호가 증폭되어 화면 상에서 객체(OBJ)와 가장 가까운 제3 스피커(SP3)를 통해 출력된다. 게인은 0 보다 크고 1 이하의 값으로 설정될 수 있다. 객체의 음역대 신호를 포함한 제2 오디오 신호(CHC')는 제3 오디오 신호(CHR')에 포함된 객체의 음역대 신호보다 작아진다.8C, when the object OBJ is located on the right side, the
도 8b에 도시된 바와 같이 화면 상에서 객체(OBJ)가 중앙에 위치하거나 유효한 음향 위치 정보(LS)가 없어 객체 위치를 특정할 수 없을 경우, 멀티 채널 변환부(310)로부터 출력된 오디오 신호들(CHL, CHC, CHR)은 게인 조정 없이 멀티 채널 조정부(330)를 통과하여 스피커들(SP1, SP2, SP3)로 통과된다. 8B, when the object OBJ is located at the center of the screen or the object position can not be specified because there is no effective sound position information LS, the audio signals outputted from the
도 8a 내지 도 8c에서 알 수 있는 바와 같이, 화면 상에 표시되는 객체(OBJ)의 위치와 가장 가까운 위치에서 그 객체(OBJ)의 음역대 신호가 가장 크게 출력된다. 사용자는 화면 상에 표시되는 객체와 그 객체의 음역대 음향 출력 위치가 일치하는 것으로 느낄 수 있으므로, 음향의 입체감을 느낄 수 있다. As can be seen from Figs. 8A to 8C, the band-limited signal of the object OBJ is output the largest at a position closest to the position of the object OBJ displayed on the screen. The user can feel that the object displayed on the screen coincides with the sound output position of the sound band of the object, so that the three-dimensional feeling of the sound can be felt.
도 9는 표시패널 상에 배치되는 스피커를 보여 주는 도면이다. 9 is a view showing a speaker disposed on the display panel.
도 9의 (A)는 일반적인 구조의 스피커(91)를 표시패널(100)의 배면 상에 배치한 구조이다. 표시패널(100)의 전면을 통해 픽셀들의 빛이 방출되어 입력 영상을 표시한다. 오디오 신호(CHL, CHC, CHR)에 따라 스피커들(91)의 진동판이 진동하여 음향이 출력된다. 이 스피커들(91)은 자석과 코일을 이용하여 자력을 발생하는 가진기(exciter)와, 그 가진기에 연결된 진동판을 포함한 구조를 갖는 스피커로 선택되어 표시패널(100)의 배면에 배치될 수 있다. 예를 들어, 가진기는 플레이트 상에 있는 마그네트, 플레이트 상에 있는 센터폴, 센터폴 주위에 배치되는 보빈, 및 보빈외곽에 권취되어 있는 코일 등을 포함할 수 있다. 그리고, 마그네트가 코일의 외측에 배치되는 구조 또는 마그네트가 코일의 내측에 배치되는 구조 등이 적용될 수 있다. 9A shows a structure in which a
구성 요소의 명칭 만으로 기능이나 구조가 정의되지 않는다. 전술한 가진기의 경우, 엑사이터(excitor), 엑츄에이터(actuator) 또는 트랜스듀서(transducer) 등으로 표현될 수 있다.The name of the component alone does not define the function or structure. In the case of the exciter described above, it can be expressed as an exciter, an actuator, or a transducer.
도 9의 (B)는 표시패널(100)이 스피커들의 진동판과 일체화된 구조를 보여 준다. 스피커들(SP1, SP2, SP3) 각각의 위치에서 표시패널(100)에 가진기들(92)이 연결된다. 표시패널(100)이 스피커의 진동판 역할을 하며, 음향을 발생시킬 수 있다. 이러한 표시패널 일체형 스피커는 가진기들(92)에서 발생되는 자기장에 의한 진동으로 표시패널(100)이 진동할 수 있으므로, 표시패널(100)이 입력 영상을 표시함과 동시에 입력 영상의 음향을 출력할 수 있다. 표시패널 일체형 스피커에 대하여는 본원 출원인에 의해 기출원되어 특허를 받은 대한민국 특허 등록 10-1704517(2017.02.02)에 상세히 설명되어 있다. 9B shows a structure in which the
도 10은 도 9에 도시된 표시패널 일체형 스피커의 구조를 상세히 보여 주는 도면이다. 도 11a 내지 도 11c는 표시패널 일체형 스피커를 이용한 객체 위치와 음향 출력 위치가 일치되는 예를 보여 주는 도면들이다. FIG. 10 is a detailed view showing the structure of the display panel integrated type speaker shown in FIG. 11A to 11C are views showing an example in which an object position and an acoustic output position using the display panel integrated type speaker coincide with each other.
도 10 내지 도 11c를 참조하면, 표시패널 일체형 스피커는 표시패널(100)의 배면 상에 배치된 지지 부재(104), 지지 부재(104)에 고정된 가진기들(92)과, 표시패널(100)과 지지 부재(104)를 연결하는 보조 지지 부재(105)를 포함한다. 10 to 11C, the display panel integrated type speaker includes a
지지 부재(104)는 금속 또는 플라스틱으로 제작될 수 있다. 지지 부재(104)의 명칭은 커버 보텀(Cover bottom) 또는 백 커버(back cover) 등 다른 명칭으로 표현될 수도 있다. 보조 지지 부재(105)는 공기층(106, air gap)을 사이에 두고 지지 부재(104)를 표시패널(100)에 접착한다. 따라서, 지지 부재(104)는 보조 지지 부재(105)를 통해 표시패널(100)에 고정된다. The
지지 부재(104)에 고정된 다수의 가진기들(92)은 표시패널(100)의 배면에 접촉된다. 가진기(92)로부터 발생된 자력에 의해 진동하여, 표시패널(100)로부터 직접 음향이 출력될 수 있다. A plurality of vibrating
본 명세서는 아래와 같이 설명될 수 있다.The present specification can be described as follows.
본 발명의 실시예에 따른 표시장치는, 입력 영상이 표시되고 n(n은 2 이상의 정수 )개 이상의 스피커들이 배치되어 있는 표시패널, 입력 영상의 데이터를 분석하여 객체를 검출하고, 표시패널의 화면 상에서 객체 위치를 지시하여 객체 위치 정보를 발생하는 객체 검출부, 및 입력 영상의 데이터와 동기되어 수신된 입력 오디오 신호를 n 개의 오디오 신호로 변환하고, 객체 위치 정보에 응답하여 표시패널 상에서 객체의 위치와 가장 가까운 스피커를 통해 출력될 오디오 신호에서 객체의 음역대 신호를 증폭하는 오디오 신호 처리부를 포함한다.A display device according to an embodiment of the present invention includes a display panel on which an input image is displayed and n (n is an integer of 2 or more) speakers are arranged, an object is detected by analyzing data of the input image, An object detection unit for generating object position information by indicating an object position on the display panel, and an input audio signal received in synchronization with the input image data is converted into n audio signals. In response to the object position information, And an audio signal processing unit for amplifying the band-width signal of the object from the audio signal to be output through the nearest speaker.
전술한 실시예들에서, 표시패널(100)에 세 개의 스피커(SP1, SP2, SP3)가 배치된 예를 중심으로 설명되었으나, 본 발명은 이에 한정되지 않는다. 예를 들어, 본 발명은 도 12a 및 도 12b에 도시된 바와 같이 표시패널(100) 상에 소정 거리로 이격된 두 개의 스피커들을 배치하고, 객체(OBJ)와 가까운 스피커를 통해 증폭된 객체 고유의 음역대 신호를 출력할 수 있다. 따라서, 본 발명은 표시패널(100) 상에 최소 두 개 이상의 스피커들이 배치되는 표시장치에 적용될 수 있다는 것에 주의하여야 한다.In the above-described embodiments, the explanation has been made on the case where three speakers (SP1, SP2, SP3) are arranged on the
이상 설명한 내용을 통해 당업자라면 본 발명의 기술사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의해 정하여져야만 할 것이다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention. Therefore, the technical scope of the present invention should not be limited to the contents described in the detailed description of the specification, but should be defined by the claims.
100 : 표시패널
102 : 데이터 구동부
104 : 게이트 구동부
106 : 타이밍 콘트롤러
110 : 호스트 시스템
200 : 객체 검출부
222 : 움직임 판단부
224 : 윤곽 검출부
226 : 객체 위치 판단부
228 : 신뢰성 체크부
300 : 오디오 신호 처리부
310 : 멀티 채널 변환부
312 : 가산기
314 : 음량 조정부
316, 318 : 음역 선택부
320 : 음향 위치 판단부
330 : 멀티 채널 조정부100: display panel 102: data driver
104: Gate driver 106: Timing controller
110: host system 200: object detection unit
222: motion determination unit 224:
226: Object position determination unit 228: Reliability check unit
300: audio signal processor 310: multi-channel converter
312: adder 314: volume adjuster
316, 318: transliteration selection unit 320: acoustic position determination unit
330: Multi-channel adjustment section
Claims (7)
상기 입력 영상의 데이터를 분석하여 객체를 검출하고, 상기 표시패널의 화면 상에서 상기 객체 위치를 지시하여 객체 위치 정보를 발생하는 객체 검출부; 및
상기 입력 영상의 데이터와 동기되어 수신된 입력 오디오 신호를 상기 n 개의 오디오 신호로 변환하고, 상기 객체 위치 정보에 응답하여 상기 표시패널 상에서 상기 객체의 위치와 가장 가까운 스피커를 통해 출력될 오디오 신호에서 상기 객체의 음역대 신호를 증폭하는 오디오 신호 처리부를 포함하는 표시장치. A display panel on which an input image is displayed and n (n is an integer of 2 or more) or more speakers are arranged;
An object detector for detecting an object by analyzing data of the input image and generating object position information by indicating the object position on a screen of the display panel; And
And converting the input audio signal received in synchronism with the data of the input video into the n audio signals and outputting, in response to the object position information, an audio signal to be output through a speaker nearest to the position of the object on the display panel, And an audio signal processing unit for amplifying a band-width signal of the object.
상기 표시패널의 화면 상에 상기 객체가 이동될 때, 상기 객체의 음역대에 대응하는 상기 오디오 신호의 출력 위치가 상기 객체를 따라 이동되는 표시장치. The method according to claim 1,
Wherein the output position of the audio signal corresponding to the band of the object is moved along the object when the object is moved on the screen of the display panel.
상기 객체 검출부는,
상기 입력 영상의 데이터에서 상기 객체의 이동을 예측하는 움직임 판단부;
상기 입력 영상의 데이터에서 상기 객체의 형상적 특징을 검출하는 윤곽 검출부;
상기 움직임 판단부로부터 수신된 움직임 정보와 상기 윤곽 검출부로부터 수신된 윤곽 정보에 기초하여, 상기 객체 위치 정보를 발생하는 객체 위치 판단부; 및
상기 움직임 판단부 및 상기 형상 특징부에서의 정보에 기초하여 상기 객체의 검출 유효성을 지시하며 신뢰성 판단 레벨을 출력하는 신뢰성 체크부를 구비하는 표시장치. The method according to claim 1,
Wherein the object detection unit comprises:
A motion determiner for predicting movement of the object in the data of the input image;
An outline detection unit for detecting a shape feature of the object from data of the input image;
An object position determination unit for generating the object position information based on the motion information received from the motion determination unit and the outline information received from the contour detection unit; And
And a reliability check unit for indicating the validity of detection of the object based on the information in the motion determination unit and the shape feature unit and outputting a reliability determination level.
상기 오디오 신호 처리부는,
입력 오디오 신호를 상기 n 개의 오디오 신호로 변환하고 상기 객체의 음역대 신호를 추출하여 상기 n 개의 오디오 신호 중 어느 하나를 출력하는 멀티 채널 변환부;
상기 객체 검출부로부터 상기 객체 위치 정보와 상기 신뢰성 판단 레벨을 수신 받아, 상기 신뢰성 판단 레벨이 미리 설정된 기준값 보다 높을 때 상기 객체 위치 정보가 지시하는 객체의 위치와 가장 가까운 음향 출력 위치를 지시하는 음향 위치 정보를 출력하는 음향 위치 판단부; 및
상기 음향 위치 정보가 지시하는 오디오 신호에서 상기 객체의 음역대 신호를 증폭하는 멀티 채널 조정부를 구비하는 표시장치. The method of claim 3,
Wherein the audio signal processor comprises:
A multi-channel converter for converting an input audio signal into the n audio signals, extracting a band-width signal of the object, and outputting any one of the n audio signals;
For receiving the object position information and the reliability determination level from the object detection unit and for outputting sound position information indicating an acoustic output position closest to the position of the object indicated by the object position information when the reliability determination level is higher than a preset reference value An acoustic position determination unit for outputting the acoustic signal; And
And a multi-channel adjustment unit for amplifying a band-width signal of the object in an audio signal indicated by the sound position information.
상기 멀티 채널 변환부는,
상기 객체의 음역대 신호는 상기 표시패널에 배치된 스피커들 중에서 상기 표시패널의 화면 중앙 위치에 배치된 스피커를 통해 오디오 신호로 출력되는 표시장치. 5. The method of claim 4,
Wherein the multi-
Wherein the loudspeaker signal of the object is output as an audio signal through a speaker disposed at a center position of a screen of the display panel among speakers disposed on the display panel.
상기 멀티 채널 조정부는,
상기 화면 상에서 상기 객체가 좌측에 위치할 때 상기 객체의 음역대 신호에 곱해지는 게인을 줄이고, 게인 감소분 만큼 감소된 상기 객체의 음역대 신호가 상기 화면 상에서 좌측에 배치된 좌측 스피커를 통해 출력될 제1 오디오 신호에 더하고,
상기 화면 상에서 상기 객체가 우측에 위치할 때 상기 게인을 줄이고, 상기 게인 감소분 만큼 감소된 상기 객체의 음역대 신호를 상기 화면 상에서 우측에 배치된 우측 스피커를 통해 출력될 제3 오디오 신호에 더하며,
상기 화면 상에서 상기 객체가 중앙에 위치하거나 상기 객체의 위치를 특정할 수 없을 때 게인 조정 없이 상기 n 개의 오디오 신호들을 통과시키는 표시장치. 6. The method of claim 5,
Wherein the multi-
A first speaker for reducing the gain multiplied by the gain of the object when the object is located on the left side of the screen and a first audio signal for reducing the gain of the object by a gain reduction, Add to the signal,
Reducing the gain when the object is located on the right side of the screen and adding the left band signal of the object reduced by the gain reduction to a third audio signal to be output through the right speaker disposed on the right side of the screen,
And passes the n audio signals without gain adjustment when the object is located at the center or can not specify the position of the object on the screen.
상기 입력 영상의 데이터를 분석하여 객체를 검출하는 단계; 및
상기 입력 영상의 데이터와 동기되어 수신된 입력 오디오 신호를 상기 n 개의 오디오 신호로 변환하고 상기 표시패널 상에서 표시되는 상기 객체의 위치와 가장 가까운 스피커를 통해 출력될 오디오 신호에서 상기 객체의 음역대 신호를 증폭하는 단계를 포함하는 표시장치의 구동 방법.A method of driving a display device including a display panel in which an input image is displayed and n (n is an integer of 2 or more) speakers are arranged,
Analyzing data of the input image to detect an object; And
And converting the input audio signal received in synchronization with the data of the input image into the n audio signals and amplifying a band-width signal of the object from an audio signal to be outputted through a speaker closest to the position of the object displayed on the display panel The method comprising the steps of:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170072663A KR102348658B1 (en) | 2017-06-09 | 2017-06-09 | Display device and driving method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170072663A KR102348658B1 (en) | 2017-06-09 | 2017-06-09 | Display device and driving method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20180134647A true KR20180134647A (en) | 2018-12-19 |
KR102348658B1 KR102348658B1 (en) | 2022-01-07 |
Family
ID=65009132
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170072663A KR102348658B1 (en) | 2017-06-09 | 2017-06-09 | Display device and driving method thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102348658B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200083891A (en) * | 2018-12-28 | 2020-07-09 | 삼성디스플레이 주식회사 | Method for providing sound matching with display image |
US11553275B2 (en) | 2018-12-28 | 2023-01-10 | Samsung Display Co., Ltd. | Method of providing sound that matches displayed image and display device using the method |
CN116055982A (en) * | 2022-08-12 | 2023-05-02 | 荣耀终端有限公司 | Audio output method, device and storage medium |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030053680A1 (en) * | 2001-09-17 | 2003-03-20 | Koninklijke Philips Electronics N.V. | Three-dimensional sound creation assisted by visual information |
KR101410976B1 (en) * | 2013-05-31 | 2014-06-23 | 한국산업은행 | Apparatus and method for positioning of speaker |
KR101458944B1 (en) * | 2013-05-31 | 2014-11-10 | 한국산업은행 | Apparatus and method for specify the speaker coordinate using focus |
-
2017
- 2017-06-09 KR KR1020170072663A patent/KR102348658B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030053680A1 (en) * | 2001-09-17 | 2003-03-20 | Koninklijke Philips Electronics N.V. | Three-dimensional sound creation assisted by visual information |
KR101410976B1 (en) * | 2013-05-31 | 2014-06-23 | 한국산업은행 | Apparatus and method for positioning of speaker |
KR101458944B1 (en) * | 2013-05-31 | 2014-11-10 | 한국산업은행 | Apparatus and method for specify the speaker coordinate using focus |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200083891A (en) * | 2018-12-28 | 2020-07-09 | 삼성디스플레이 주식회사 | Method for providing sound matching with display image |
US11553275B2 (en) | 2018-12-28 | 2023-01-10 | Samsung Display Co., Ltd. | Method of providing sound that matches displayed image and display device using the method |
CN116055982A (en) * | 2022-08-12 | 2023-05-02 | 荣耀终端有限公司 | Audio output method, device and storage medium |
CN116055982B (en) * | 2022-08-12 | 2023-11-17 | 荣耀终端有限公司 | Audio output method, device and storage medium |
Also Published As
Publication number | Publication date |
---|---|
KR102348658B1 (en) | 2022-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101901908B1 (en) | Method for processing audio signal and apparatus for processing audio signal thereof | |
JP5893129B2 (en) | Method and system for generating 3D audio by upmixing audio | |
KR101844511B1 (en) | Method and apparatus for reproducing stereophonic sound | |
WO2022001451A1 (en) | Display apparatus, sound generation control method, and sound generation control apparatus | |
KR102072146B1 (en) | Display apparatus and method for providing a stereophonic sound service | |
KR20070042104A (en) | Image display device and method and program | |
CN108989721A (en) | Technology for localization perception audio | |
US10587979B2 (en) | Localization of sound in a speaker system | |
KR102348658B1 (en) | Display device and driving method thereof | |
KR102524412B1 (en) | Display apparatus | |
JP2019537380A (en) | Electronic device and control method thereof | |
JP2003032776A (en) | Reproduction system | |
EP4221262A1 (en) | Information processing device, information processing method, and program | |
KR20160122029A (en) | Method and apparatus for processing audio signal based on speaker information | |
JP2020167471A (en) | Information processing apparatus, information processing method and program | |
KR20190030512A (en) | Display device and driving method thereof | |
JP5506241B2 (en) | Communication apparatus, system, and control method | |
KR102536323B1 (en) | Speaker apparatus and control method thereof | |
KR20230075908A (en) | Electronic apparatus and controlling method thereof | |
JP2017028465A (en) | Information processing device, information processing system, and information processing device control method and program | |
KR20190054520A (en) | Display device and driving method thereof | |
WO2009104117A1 (en) | Light controlled audio transducer |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |