KR102348658B1 - 표시장치 및 그 구동 방법 - Google Patents

Abstract

본 발명은 표시장치 및 그 구동 방법에 관한 것으로, 표시패널 상에서 표시되는 객체의 위치와 가장 가까운 스피커를 통해 출력될 오디오 신호에서 객체의 고유 음역대 주파수를 갖는 음역대 신호를 증폭한다.

Description

표시장치 및 그 구동 방법{DISPLAY DEVICE AND DRIVING METHOD THEREOF}

본 발명은 화면 상에 표시된 객체의 위치와 그 객체에 대응하는 음향의 출력 위치가 일치되는 표시장치 및 그 구동 방법에 관한 것이다.

전자장치는 비디오 신호를 재생하는 표시장치와, 오디오 신호를 재생하는 오디오 출력 장치를 포함할 수 있다. 전자 장치의 일 예로, TV(Television), 모니터(monitor) 등이 있다.

전자장치는 표시장치로 비디오 신호를 출력하여 표시패널의 화면 상에 영상을 표시하고, 스피커를 통해 오디오 신호를 출력하여 음향 신호를 재생한다. 스피커는 전자 장치의 외부에 설치되는 외부 스피커 시스템 또는 전자 장치 내부에 배치되는 내부 스피커로 구현될 수 있다. 외부 스피커 시스템은 음질이 좋고 다양한 음향 효과를 연출할 수 있지만 설치 공간과 디자인에 제약이 있고, 외부 스피커 시스템으로 인하여 비용이 추가된다.

내부 스피커는 전자 장치 내에서 표시패널 뒤에 배치될 수 있다. 이러한 내부 스피커가 적용된 전자 장치의 경우, 스피커에 의해 재생된 오디오 신호가 표시패널이나 다른 구조물에 의해 가려져 음질이 저하된다.

전자 장치에서 표시패널과 스피커가 분리되어 있다. 따라서, 화면 상에 표시된 영상의 객체 위치와 오디오 신호의 출력 위치가 물리적으로 분리되어 있기 때문에 사용자가 듣는 오디오 신호의 입체감 변화가 없다.

본 발명은 오디오 신호의 입체감을 향상하여 사용자의 몰입감을 향상시킬 수 있고 음향의 입체감을 향상시킬 수 있는 표시장치와 그 구동 방법을 제공한다.

본 발명의 표시장치는 입력 영상이 표시되고 n(n은 3 이상의 정수) 개 이상의 스피커들이 여러 위치로 분산 배치되는 표시패널, 상기 입력 영상의 데이터에서 객체의 움직임과 상기 객체의 형상적 특징을 도출하여 상기 객체를 검출하고, 상기 표시패널의 화면 상에서 상기 객체의 위치를 지시하여 객체 위치 정보를 발생하는 객체 검출부, 및 상기 입력 영상의 데이터와 동기되어 수신된 입력 오디오 신호를 상기 n 개의 오디오 신호로 변환하고, 상기 객체 위치 정보에 응답하여 상기 객체의 위치와 가장 가까운 스피커를 통해 출력될 오디오 신호에서 상기 객체의 고유 음역대 주파수를 갖는 음역대 신호를 증폭하는 오디오 신호 처리부를 구비한다.

상기 표시장치의 구동 방법은 입력 영상의 데이터에서 객체의 움직임과 상기 객체의 형상적 특징을 도출하여 상기 객체를 검출하는 단계와, 상기 입력 영상의 데이터와 동기되어 수신된 입력 오디오 신호를 n 개의 오디오 신호로 변환하고 상기 표시패널 상에서 표시되는 상기 객체의 위치와 가장 가까운 스피커를 통해 출력될 오디오 신호에서 상기 객체의 고유 음역대 주파수를 갖는 음역대 신호를 증폭하는 단계를 포함한다.

본 발명은 표시패널의 화면 상에서 표시되는 객체의 위치와 가장 가까운 스피커를 통해 출력될 오디오 신호에서 객체의 음역대 신호를 증폭시킴으로써 객체의 표시 위치와 그 객체의 음역대 음향 출력 위치를 일치시킬 수 있으므로, 오디오 신호의 입체감을 향상시킬 수 있다.

그리고, 본 발명은 영상의 객체들 각각에서 객체의 표시 위치와 음향의 출력 위치를 일치함으로써, 영상 및 음향에 대한 사용자의 몰입감을 향상시킬 수 있다.

그리고, 본 발명은 객체 고유의 음역대 신호를 추출하고, 멀티 채널 오디오 신호들 사이의 게인을 조정함으로써, 객체 위치와 가장 가까운 스피커를 통해 객체의 음역대의 음향을 증가시킬 수 있다.

도 1은 본 발명의 실시예에 따른 표시장치를 보여 주는 블록도이다.
도 2는 본 발명의 실시예에 따른 표시장치의 구동 방법을 보여 주는 흐름도이다.
도 3은 표시패널 상에 표시되는 객체 위치와 그 객체의 음향 출력 위치가 일치되는 예를 보여 주는 도면이다.
도 4는 객체 검출부를 상세히 보여 주는 블록도이다.
도 5는 오디오 신호 처리부를 상세히 보여 주는 블록도이다.
도 6 및 도 7은 멀티 채널 변환부를 상세히 보여 주는 도면들이다.
도 8a 내지 도 8c는 도 5에 도시된 멀티 채널 조정부의 동작을 상세히 보여 주는 도면들이다.
도 9는 표시패널 상에 배치되는 스피커를 보여 주는 도면이다.
도 10은 도 9에 도시된 표시패널 일체형 스피커의 구조를 상세히 보여 주는 도면이다.
도 11a 내지 도 11c는 표시패널 일체형 스피커를 이용한 객체 위치와 음향 출력 위치가 일치되는 예를 보여 주는 도면들이다.
도 12a 및 도 12b는 두 개의 스피커가 배치된 표시패널에서 객체의 표시 위치와 가까운 스피커를 통해 객체 고유의 음역대 신호가 출력되는 예를 보여 주는 도면들이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다는 것에 주의하여야 한다. 이하의 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명은 특허청구범위에 의해 정의된다.

본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.

본 명세서 상에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우 ' ~ 만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성 요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다.

구성 요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.

위치 관계에 대한 설명일 경우, 예를 들어, ' ~ 상에', ' ~ 상부에', ' ~ 하부에', ' ~ 옆에' 등으로 두 부분의 위치 관계가 설명되는 경우, '바로' 또는 '직접'이 사용되지 않는 이상 두 부분 사이에 하나 이상의 다른 부분이 위치할 수도 있다.

실시예의 설명에서, 제1, 제2 등이 다양한 구성 요소들을 서술하기 위해서 사용되지만, 이들 구성 요소들은 이들 용어에 의해 제한되지 않는다. 이들 용어들은 단지 하나의 구성 요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다.

명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.

이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예들을 상세히 설명한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 실질적으로 동일한 구성요소들을 의미한다. 이하의 설명에서, 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.

도 1을 참조하면, 본 발명의 표시장치는 픽셀 어레이가 형성된 표시패널(100)과, 표시패널(100)에 입력 영상의 데이터를 기입하기 위한 표시패널 구동회로, 입력 영상에서 객체를 검출하는 객체 검출부(200), 오디오 신호 처리부(300) 등을 구비한다.

표시패널(100)은 표시장치의 표시패널로 구현될 수 있다.

본 발명의 표시장치는 액정 표시장치(Liquid Crystal Display : LCD), 전계 방출 표시장치(Field Emission Display : FED), 및 전계 발광 표시지장치(Electroluminescence Display) 등의 표시장치를 기반으로 구현될 수 있다. 전계 발광 표시장치는 발광층의 재료에 따라 무기발광 표시장치와 유기 발광 표시장치로 구별될 수 있다. 무기발광 표시장치는 양자점(quantum dot) 표시장치를 예로 들 수 있으나, 이에 한정되는 것은 아니다.

표시패널(100)의 화면은 입력 영상의 데이터가 표시되는 픽셀 어레이를 포함한다. 픽셀 어레이에, 데이터 라인들(DL)과 게이트 라인들(또는 스캔 라인들, GL)이 교차되고, 픽셀들이 매트릭스 형태로 배치된다. 픽셀들 각각은 컬러 구현을 위하여 적색 서브 픽셀, 녹색 서브 픽셀, 및 청색 서브 픽셀로 나뉘어질 수 있다. 픽셀들 각각은 백색 서브 픽셀을 더 포함할 수 있다.

표시패널(100) 상에 n 개 이상의 스피커들(SP1~SP3)이 배치된다. 스피커들(SP1~SP3)은 화면 상에 표시된 객체의 위치를 고려하여 표시패널(100) 상에서 분산 배치된다. 스피커들(SP1~SP3)은 도 8에 도시된 바와 같이, 표시패널(100)의 배면에 결합되거나 표시패널(100)과 일체화될 수 있다.

표시패널 구동회로는 픽셀들에 입력 영상의 데이터를 기입한다. 표시패널 구동회로는 데이터 구동부(102), 게이트 구동부(104), 및 타이밍 콘트롤러(106)를 포함한다.

데이터 구동부(102)는 타이밍 콘트롤러(106)로부터 수신된 입력 영상의 디지털 비디오 데이터(이하, "비디오 신호"라 함)를 수신한다. 데이터 구동부(102)는 DAC(Digital to Analog Converter)를 이용하여 입력 영상의 비디오 신호를 데이터전압으로 변환하여 데이터 라인들(DL)로 출력한다. 게이트 구동부(104)는 타이밍 콘트롤러(106)의 제어 하에 게이트 라인들(GL)에 게이트 펄스를 순차적으로 공급한다. 게이트 펄스는 픽셀들에 충전될 데이터 전압에 동기된다. 게이트 구동부(104)는 픽셀 어레이와 함께 표시패널(100)의 하부 기판 상에 직접 형성될 수 있다. 이 경우 게이트 인 패널(Gate in Panel: GIP)이라고 할 수 있다.

타이밍 콘트롤러(106)는 호스트 시스템(110)으로부터 수신된 입력 영상의 비디오 데이터를 데이터 구동부(102)로 전송한다. 타이밍 콘트롤러(106)는 입력 영상 데이터와 동기되는 타이밍 신호들을 호스트 시스템(110)으로부터 수신한다. 타이밍 신호들은 수직 동기신호(Vsync), 수평 동기신호(Hsync), 데이터 인에이블 신호(DE), 및 도트 클럭(DCLK) 등을 포함할 수 있다. 타이밍 콘트롤러(106)는 입력 영상의 픽셀 데이터와 함께 수신되는 타이밍 신호들(Vsync, Hsync, DE, DCLK)을 바탕으로 데이터 구동부(102)와 게이트 구동부(104)의 동작 타이밍을 제어한다.

호스트 시스템(110)은 TV(Television) 시스템, 셋톱박스, 네비게이션 시스템, DVD 플레이어, 블루레이 플레이어, 개인용 컴퓨터(PC), 홈 시어터 시스템, 폰 시스템(Phone system) 중 어느 하나일 수 있으며, 이에 한정되는 것은 아니다. 호스트 시스템(110)은 입력 영상의 비디오 데이터와 함께 그 비디오 데이터와 동기되는 디지털 오디오 데이터(이하, "오디오 신호"라 함)와 타이밍 신호를 타이밍 콘트롤러(106)로 전송한다. 호스트 시스템(110)은 오디오 신호와 결합된 비디오 신호를 출력할 수 있다. 이 비디오 신호는 객체별로 분리된 오디오 신호와 매칭(matching)될 수 있다.

객체 검출부(200)는 입력 영상의 데이터를 분석하여 객체를 검출하고 표시패널(100)의 화면 상에서 상기 객체의 위치를 지시하는 객체 위치 정보를 발생한다. 객체 검출부(200)는 미리 설정된 객체 검출 알고리즘을 이용하여 호스트 시스템(110)으로부터 수신된 입력 영상에서 객체들 각각을 검출하고, 객체 각각의 위치를 특정하는 객체 위치 정보를 오디오 신호 처리부(300)로 출력한다. 객체는 다양한 방법으로 검출될 수 있다. 예를 들어, 사람은 얼굴 인식 알고리즘(face detection algorithm)과 움직임 예측 알고리즘(motion estimation algorithm)을 이용하여 검출될 수 있다. 사람 이외의 객체들도 공지된 객체 인식 알고리즘을 이용하여 검출될 수 있으며, 이에 한정되는 것은 아니다.

호스트 시스템(110)은 영상에서 객체들 각각을 구분하는 객체 식별 코드가 포함된 입력 영상의 데이터를 객체 검출부(200)로 전송할 수 있다. 이 경우, 객체 검출부(200)는 수신된 입력 영상 데이터로부터 객체 식별 코드를 읽어 객체별로 비디오 신호와 오디오 신호를 구분할 수 있다. 객체 검출부(200)로부터 출력된 객체 위치 정보는 오디오 신호 처리부(300)로 전송된다.

오디오 신호 처리부(300)는 멀티 채널 변환 알고리즘을 이용하여 입력 영상 데이터와 동기되어 호스트 시스템(110)으로부터 수신된 오디오 신호를 멀티 채널 오디오 신호로 변환한다. 멀티 채널 변환 알고리즘의 일 예로, 스테레오 투 채널(two channel)의 음원 신호를 5.1 채널로 변환하는 알고리즘이 있다. 본 발명은 표시패널(100) 상에 배치된 스피커들의 개수만큼 채널 수를 갖는 멀티 채널 오디오 신호를 발생시킬 수 있다. 표시패널(100) 상에 배치된 스피커들의 개수는 두 개 이상일 수 있으며, 이에 한정되는 것은 아니다.

오디오 신호 처리부(300)는 객체 검출부(200)로부터 수신된 객체 위치 정보를 바탕으로 멀티 채널 오디오 신호들에서 해당 객체 고유의 음역대 신호의 게인을 조정하여 객체 표시 위치와 가장 가까운 스피커(SP1~SP3)로 출력되는 오디오 신호에서 객체 고유의 음역대 신호의 게인을 크게 한다. 오디오 신호 처리부(300)는 멀티 채널 오디오 신호들을 DAC(Digital to Analog Converter)를 통해 아날로그 신호로 변환하여 스피커들(SP1~SP3)로 출력한다.

오디오 신호 처리부(300)에 의해, 화면 상에 표시되는 객체와 그 객체 고유의 음향이 같은 위치에서 출력되고, 객체가 이동될 때 그 객체를 따라 객체 음역대의 음향 출력 위치가 이동된다. 음역대 오디오 신호가 화면 상에서 보이는 객체로부터 객체 고유의 음향이 발생될 수 있으므로, 영상 및 음향의 몰입감과 입체감이 향상될 수 있다. 따라서, 본 발명의 실시예에 따르면, 화면 상에 표시되는 이미지에서 하나 이상의 객체를 형상적인 특징을 바탕으로 검출할 수 있다. 객체(object)는 형상적 특징과, 음역에서 고유한 특징을 갖는 독립 개체를 의미할 수 있다. 예를 들어, 한 화면의 1 프레임 데이터로 표시되는 하나의 비디오 프레임에는 형상적 특징과, 음역대가 다른 다양한 객체들이 포함될 수 있다. 그리고, 입력 영상에서 검출된 객체에 대응하는 오디오 신호의 음역을 추출하고, 객체의 표시 위치와 그 객체의 음역대 음향 출력 위치를 일치시킨다. 따라서, 객체의 움직임을 따라 객체의 고유한 음역대의 오디오 신호의 출력 위치가 변할 수 있으므로, 사용자가 느끼는 오디오 신호의 입체감이 향상될 수 있다.

이하에서, 화면 상에 표시되는 객체를 사람으로 예시하여 상세히 설명하기로 한다. 사람은 객체의 한 예일 뿐 객체는 어느 하나로 특정되지 않는다는 것에 주의하여야 한다.

도 2는 본 발명의 실시예에 따른 표시장치의 구동 방법을 보여주는 흐름도이다. 도 3은 표시패널(100) 상에 표시되는 객체 위치와 그 객체의 음역대 음향 출력 위치가 일치되는 예를 보여 주는 도면이다.

도 2 및 도 3을 참조하면, 객체 검출부(200)는 미리 설정된 객체 검출 알고리즘을 이용하여 표시패널(100) 상에서 재현될 입력 영상 데이터에서 객체(OBJ)를 검출한다(S01). 객체 검출부(200)는 객체 검출의 정확성을 판단하기 위하여 신뢰성 체크(reliablity check)를 실시할 수 있다(S03). 신뢰성 체크는 객체 검출 결과의 유효성을 판단하여 객체 검출 결과가 불확실하다고 판단할 때 객체 검출 결과를 무효화할 수 있다.

오디오 신호 처리부(300)는 입력 오디오 신호를 멀티 채널 오디오 신호로 변환한다(S02). 도 3의 예에서, 멀티 채널 오디오 신호는 표시패널(1)의 화면 상에서 좌측(left)에 위치한 제1 스피커(SP1)를 통해 출력될 제1 채널의 오디오 신호, 표시패널(1)의 화면 상에서 중앙(center)에 위치한 제2 스피커(SP2)를 통해 출력될 제2 채널의 오디오 신호, 및 표시패널(1)의 화면 상에서 우측(right)에 위치한 제3 스피커(SP3)를 통해 출력될 제3 채널의 오디오 신호를 포함할 수 있다.

오디오 신호 처리부(300)는 객체 검출부(200)의 신뢰성 체크 결과, 객체 검출 결과의 신뢰성이 높을 때 객체의 음역대 신호에 곱해지는 게인을 조정함으로써 객체의 위치와 가장 가까운 음향 출력 위치의 스피커를 통해 출력될 오디오 신호에서 객체 고유의 음역대 신호를 증폭한다(S04). 그 결과 표시패널(1)의 화면 상에서 객체의 표시위치와 그 객체의 음역대 오디오 신호의 출력 위치가 일치된다. 오디오 신호 처리부(300)는 객체 검출부(200)의 신뢰성 체크 결과, 객체 검출 결과의 신뢰성이 낮으면 오디오 신호 처리부(300)는 객체 검출부(200)로부터 수신된 객체 위치 정보를 무시하여 객체의 음역대 오디오 신호에 곱해지는 게인을 변경하지 않을 수 있다.

도 4는 객체 검출부(200)를 상세히 보여 주는 블록도이다.

도 4를 참조하면, 객체 검출부(200)는 움직임 판단부(222), 윤곽 검출부(224), 객체 위치 판단부(226), 및 신뢰성 체크부(228)를 포함한다.

움직임 판단부(222)는 수신된 입력 영상의 데이터에 대하여 움직임 예측 알고리즘(motion estimation algorithm)을 실행하여 객체의 움직임을 추정한다. 움직임 예측 알고리즘의 일 예로, 블럭 매칭(block matching) 방법이 적용될 수 있으며, 이에 한정되는 것은 아니다. 블록 매칭 방법은 이전 프레임 데이터와 현재 프레임 데이터를 미리 설정된 크기의 블록으로 나누고, 이전 프레임 데이터와 현재 프레임 데이터들 간에 소정 크기의 탐색 범위(Search Range, SR) 안에 있는 가장 유사도가 높은 블록을 가리키는 모션 벡터(Motion Vector)를 계산하여 움직이는 객체를 지시하는 블록을 추정한다. 움직임 판단부(222)는 움직임 벡터를 바탕으로 객체의 크기, 움직임 방향, 및 속도 등을 지시하는 움직임 정보(MI)를 객체 위치 판단부(226)로 출력한다.

윤곽 검출부(224)는 이미지 프로세싱에서 객체의 형상을 추출하고, 추출된 형상적인 특징을 바탕으로 객체를 추정할 수 있다. 예를 들어, 윤곽 검출부(224)는 공지된 얼굴 인식 알고리즘(face detection algorithm)을 이용하여 입력 영상 데이터에서 사람의 얼굴 특징을 추출할 수 있다. 윤곽 검출부(224)는 객체의 형상적 특징을 정의한 윤곽 정보(FF)를 객체 위치 판단부(226)로 출력한다.

객체 위치 판단부(226)는 움직임 정보(MI)와 윤곽 정보(FF)를 바탕으로 입력 영상의 매 프레임 기간마다 객체를 검출하고, 그 객체 위치를 지시하는 객체 위치 정보(HLI)를 발생하고, 그 객체 위치 정보(HLI)를 오디오 신호 처리부(300)로 전송한다. 객체 위치 판단부(226)는 화면 상에 다수의 객체들이 존재할 경우, 미리 설정된 판단 기준에 따라 가장 큰 음향 출력이 발생되는 객체의 위치를 지시하는 객체 위치 정보(HLI)를 발생한다. 예를 들면, 화면 상에 다수의 사람들이 존재할 때 화면 상에 입술의 형상적 특징 위치를 움직임 정보(MI)가 큰 객체의 위치로 판단하여 입술 위치를 지시하는 객체 위치 정보(HLI)를 발생한다.

신뢰성 체크부(228)는 객체 위치 판단부(226)의 객체 검출 결과에 대한 유효성을 판단한다. 신뢰성 체크부(228)는 객체의 형상적 특징 검출 과정과 움직임 예측 과정에서 생성된 정보를 바탕으로 객체 위치 정보(HLI)의 유효성을 지시하는 신뢰성 판단 레벨(CL)을 산출한다. 화면 상에서 사람을 검출할 때, 신뢰성 체크부(228)는 검출 과정과 움직임 예측 과정에서 생성된 정보를 바탕으로 신뢰성 판단 레벨(CL)을 계산한다.

얼굴 인식 알고리즘이 단순한 템플릿 매칭(template matching) 방법을 이용하는 경우에, 미리 정의된 얼굴 형태의 특징과 입력 영상에서 검출된 객체의 형상적 특징 간의 매칭 코스트(matching cost)를 바탕으로 신뢰성 판단 레벨(reilablity level)이 결정될 수 있다. 매칭 코스트는 실시간으로 입력되는 입력 영상과 미리 정의된 얼굴 특징 사이의 차이값을 의미할 수 있다. 신뢰성 체크부(228)는 매칭 코스트가 낮을수록 객체 검출 결과의 신뢰성을 높게 판단하여 매칭 코스트에 반비례하는 신뢰성 판단 레벨(CL)을 출력한다.

입력 영상의 특징점을 분류(classify)하여 얼굴을 추출하는 얼굴 인식 알고리즘의 경우에, 입력 영상 내의 얼굴의 특징점들을 분류할 때 적용된 확률값이 신뢰성 판단 레벨(CL)로 설정될 수 있다. 예를 들면, 신뢰성 체크부(228)는 얼굴 특징 분류 확률값이 높을수록 객체 검출 결과의 신뢰성을 높게 판단하여 분류 확률값에 비례하는 신뢰성 판단 레벨(CL)을 출력한다.

움직임 예측 방법에서 블록 매칭 방법은 현재 프레임 데이터의 블록(또는 픽셀)과 가장 유사도가 높은 블록(또는 픽셀)을 이전 프레임 데이터에서 탐색하여 현재 프레임과 이전 프레임 사이의 객체의 이동을 예측한다. 이러한 움직임 예측 방법에서, 현재 프레임 내 정보를 이전 프레임에서 찾을 때 산출된 매칭 코스트가 신뢰성 판단 레벨(CL)로 이용될 수 있다. 신뢰성 체크부(228)는 움직임 예측 과정에서 얻어진 매칭 코스트가 낮을수록 객체 검출 결과의 신뢰성을 높게 판단하여 매칭 코스트에 반비례하는 신뢰성 판단 레벨(CL)을 출력할 수 있다.

신뢰성 체크부(228)는 형상적 특징 검출 과정과 움직임 예측 과정에서 생성된 정보 중 어느 하나를 근거로 신뢰성 판단 레벨(CL)을 결정할 수 있다. 예를 들면, 신뢰성 체크부(228)는 아래의 수식과 같이 형상적 특징 검출 과정과 움직임 예측 과정에서 생성된 정보들을 종합적으로 판단하여 신뢰성 판단 레벨(CL)을 결정할 수 있다.

여기서, CLmotion은 움직임 예측 과정을 근거로 산출된 신뢰성 판단 레벨이다. CLface은 객체의 형상적 특징 검출 과정(얼굴 인식 과정)을 근거로 산출된 신뢰성 판단 레벨이다. C는 0 이상 1 이하(0 ≤ c ≤ 1)의 값으로 선택된 상수값이다.

도 5는 오디오 신호 처리부(300)를 상세히 보여 주는 블록도이다.

도 5를 참조하면, 오디오 신호 처리부(300)는 멀티 채널 변환부(310), 음향 위치 판단부(320), 및 멀티 채널 조정부(330)를 포함한다.

멀티 채널 변환부(310)는 멀티 채널 변환 알고리즘을 이용하여 입력 오디오 신호(CH_L, CH_R)를 n(n은 2 이상의 양의 정수) 채널 오디오 신호(CH1~CHn)로 변환한다. 멀티 채널 변환부(310)는 미리 설정된 객체의 음역대 주파수를 추출하고, 그 음역대 주파수를 n 채널 오디오 신호들(CH1~CHn) 중 어느 하나로 출력할 수 있다. 예를 들어, 멀티 채널 변환부(310)는 객체의 음역대 오디오 신호를 표시패널(100) 상의 화면 중앙에 위치한 스피커를 통해 출력될 제n/2 채널 오디오 신호로 선택할 수 있다.

음향 위치 판단부(320)는 객체 검출부(200)로부터 객체 위치 정보(HLI)와 신뢰성 판단 레벨(CL)을 수신 받아, 신뢰성 판단 레벨(CL)을 미리 설정된 기준값과 비교한다. 음향 위치 판단부(320)는 신뢰성 판단 레벨(CL)이 기준값 보다 높을 때 객체 위치 판단부(226)로부터 수신된 객체 위치 정보(HLI)가 지시하는 객체의 위치와 가장 가까운 음향 출력 위치를 지시하는 음향 위치 정보(LS)를 출력한다.

멀티 채널 조정부(330)는 음향 위치 정보(LS)가 지시하는 채널의 오디오 신호에서 객체의 음역대 신호를 증폭한다. 이 멀티 채널 조정부(330)는 음향이 출력되는 객체의 위치를 특정할 수 없을 경우, 멀티 채널 변환부(310)의 출력 신호들(CH1~CHn)을 통과시킨다. 그리고, 멀티 채널 조정부(330)는 음향이 출력되는 객체의 위치가 검출될 경우, 객체 위치와 가장 가까운 스피커를 통해 출력될 오디오 신호에서 객체의 음역대 신호의 게인(Gain)을 상대적으로 크게 하여 화면 상의 객체 위치에서 그 객체 고유의 음역대 신호의 음량을 크게 조정한다.

멀티 채널 변환부(310)는 음향 위치 정보(LS)에 따라 음향이 출력되는 객체 위치와, 그 객체 위치의 신뢰성을 판단할 수 있다. 음향 위치 정보(LS)는 객체의 위치 정보(HLI)와 신뢰선 판단 레벨(CL)을 바탕으로 생성될 수 있으므로, 멀티 채널 조정부(330)의 멀티 채널 오디오 신호들(CH1'~CHn')에서 객체 고유의 음역대 신호에 곱해지는 게인은 화면 상에서의 객체 위치와 신뢰성 판단 레벨(CL)에 따라 조정될 수 있다. 신뢰성 판단 레벨(CL)이 기준값보다 낮으면, 멀티 채널 변환부(310)는 음향이 출력되는 객체의 위치를 특정할 수 없으므로, 멀티 채널 변환부(310)의 출력 신호들(CH1~CHn)을 통과시킨다. 그리고, 멀티 채널 변환부(310)는 신뢰성 판단 레벨(CL)이 기준값 보다 높을 경우, 음향이 출력되는 객체의 위치와 가장 가까운 스피커를 통해 출력되는 오디오 신호에서 객체 고유의 음역대 오디오 신호의 게인을 크게 조정할 수 있다. 멀티 채널 조정부(330)에 의해 도 8a 내지 도 8c에 도시된 바와 같이, 객체의 위치가 표시패널(100)의 화면 상에서 좌측 또는 우측으로 이동할 때 그 객체와 가까운 위치의 스피커를 출력될 객체의 음역대 오디오 신호의 게인이 커져 객체의 움직임에 따라 객체 고유의 음역대 신호 출력 위치가 이동될 수 있다.

따라서, 표시패널 상에 오디오 신호가 독립적으로 인가되는 n(n은 2 이상의 정수) 개의 스피커를 배치하고, 멀티 채널 변환 알고리즘을 이용하여 n 개의 스피커들을 통해 출력되는 n 개의 멀티 채널 오디오 신호들을 발생한다. 이에 의해, 객체 고유의 음역대 신호를 추출하고, 멀티 채널 오디오 신호들 간에 게인을 조정하여 객체 위치와 가장 가까운 스피커를 통해 출력될 오디오 신호에서 객체 고유의 음역대의 음향을 크게 할 수 있다.

도 6 및 도 7은 멀티 채널 변환부(310)를 상세히 보여 주는 도면들이다.

멀티 채널 변환부(310)는 스테레오(stereo) 또는 모노(mono) 음원의 오디오 신호를 입력받을 수 있다. 스테레오 음원은 좌측 채널의 오디오 신호(CH_L)와 우측 채널의 오디오 신호(CH_R)를 포함한다. 모노 음원은 단일 채널의 오디오 신호(CM_M)이다. 이하에서, 멀티 채널 변환부(310)가 제1 내지 제3 채널의 오디오 신호를 출력하는 예를 들어 설명하기로 한다.

도 6을 참조하면, 멀티 채널 변환부(310)는 가산기(312), 음량 조정부(314), 및 음역 선택부(316)를 포함한다.

멀티 채널 변환부(310)는 스테레오 음원의 오디오 신호(CH_L, CH_R)가 수신되면, 제1 오디오 신호(CHL)와 제3 오디오 신호(CHR)를 가산기(312)로 더한다. 가산기(312)에 의해 더해진 오디오 신호는 음량이 과도하게 커질 수 있다. 음량 조정부(314)는 소정의 게인 예를 들어, - 3dB 만큼 가산기(312)로부터 출력된 오디오 신호의 게인을 낮추어 음역 선택부(316)로 출력한다. 음역 선택부(316)는 가산기(312)로부터 수신된 오디오 신호에서 객체 고유의 음역대 예를 들면, 사람의 목소리 음역대(약 100Hz ~ 4kHz)에 해당되는 주파수를 추출하고 그 음역대 신호에 소정의 게인을 곱한다. 게인은 0 보다 크고 1 이하의 값으로 설정될 수 있다. 그리고, 사람의 목소리 음역대의 주파수에 한정되는 것은 아니다.

제1 오디오 신호(CHL)는 DAC를 통해 아날로그 신호로 변환된 후에, 화면의 좌측에 배치된 제1 스피커(SP1)를 통해 출력된다. 제2 오디오 신호(CHC)는 DAC를 통해 아날로그 신호로 변환된 후에, 화면의 중앙에 배치된 제2 스피커(SP2)를 통해 출력된다. 제3 오디오 신호(CHR)는 DAC를 통해 아날로그 신호로 변환된 후에, 화면의 우측에 배치된 제3 스피커(SP3)를 통해 출력된다. 제2 오디오 신호(CHC)는 객체의 음역대 주파수의 신호를 포함하며, 제1 및 제3 오디오 신호(CHL, CHR) 각각은 객체의 음역대 주파수 및 객체의 음역대 주파수 이외의 음원 주파수를 포함한다.

음역 선택부(316)는 객체 고유의 음역대를 통과시키는 밴드 패스 필터(Band pass filter, BPF)로 구현될 수 있다. 사람의 목소리 음역대에 해당하는 100Hz ~ 4kHz의 주파수를 가질 수 있다. 따라서, 음역 선택부(316)에서 사람 음역대를 검출하는 밴드 패스 필터의 통과 대역(fl to fh)는 100Hz ~ 4kHz이다. 통과 대역(fl to fh)에서 fl은 통과 대역 내의 최저 주파수이고, fh는 통과 대역 내의 최고 주파수이다. 음역 선택부(316)는 다양한 객체의 음역대를 추출하기 위하여, 음역대가 다른 다수의 밴드 패스 필터들을 포함할 수 있다.

도 7을 참조하면, 멀티 채널 변환부(310)는 음역 선택부(318)를 포함한다.

멀티 채널 변환부(310)는 모노 음원의 오디오 신호(CH_M)를 제1 내지 제3 오디오 신호(CHL, CHC, CHR)로 분리한다. 음역 선택부(318)는 객체 검출부(200)에 의해 검출된 객체의 음역대 예를 들면, 사람의 목소리 음역대(예를 들면, 약 100Hz ~ 4kHz) 주파수를 추출하고 그 음역대 신호에 소정의 게인을 곱하여 제2 오디오 신호(CHC)를 발생한다.

음역 선택부(318)는 객체 고유의 음역대를 통과시키는 밴드 패스 필터(BPF)로 구현될 수 있다. 음역 선택부(318)는 다양한 객체의 음역대를 추출하기 위하여, 통과 대역이 다른 다수의 밴드 패스 필터들을 포함할 수 있다.

도 8a 내지 도 8c는 도 5에 도시된 멀티 채널 조정부(330)의 동작을 상세히 보여 주는 도면들이다.

도 8a에 도시된 바와 같이 화면 상에서 객체(OBJ)가 좌측에 위치하면, 멀티 채널 조정부(330)는 객체의 음역대 신호(A)에 곱해지는 게인(G)을 줄이고, 게인 감소분 만큼 감소된 객체의 음역대 신호(A*(1-G))를 제1 오디오 신호(CHL)에 더한다. 따라서, 객체의 음역대 신호가 더해진 제1 오디오 신호(CHL')는 객체의 음역대 신호가 증폭되어 화면 상에서 객체(OBJ)와 가장 가까운 제1 스피커(SP1)를 통해 출력된다. 게인은 0 보다 크고 1 이하의 값으로 설정될 수 있다. 객체의 음역대 신호를 포함한 제2 오디오 신호(CHC')는 제1 오디오 신호(CHL')에 포함된 객체의 음역대 신호보다 작아진다.

도 8c에 도시된 바와 같이 화면 상에서 객체(OBJ)가 우측에 위치하면, 멀티 채널 조정부(330)는 객체의 음역대 신호(A)에 곱해지는 게인(G)을 줄이고, 게인 감소분 만큼 감소된 객체의 음역대 신호(A*(1-G))를 제3 오디오 신호(CHR)에 더한다. 따라서, 객체의 음역대 신호가 더해진 제3 오디오 신호(CHR')는 객체의 음역대 신호가 증폭되어 화면 상에서 객체(OBJ)와 가장 가까운 제3 스피커(SP3)를 통해 출력된다. 게인은 0 보다 크고 1 이하의 값으로 설정될 수 있다. 객체의 음역대 신호를 포함한 제2 오디오 신호(CHC')는 제3 오디오 신호(CHR')에 포함된 객체의 음역대 신호보다 작아진다.

도 8b에 도시된 바와 같이 화면 상에서 객체(OBJ)가 중앙에 위치하거나 유효한 음향 위치 정보(LS)가 없어 객체 위치를 특정할 수 없을 경우, 멀티 채널 변환부(310)로부터 출력된 오디오 신호들(CHL, CHC, CHR)은 게인 조정 없이 멀티 채널 조정부(330)를 통과하여 스피커들(SP1, SP2, SP3)로 통과된다.

도 8a 내지 도 8c에서 알 수 있는 바와 같이, 화면 상에 표시되는 객체(OBJ)의 위치와 가장 가까운 위치에서 그 객체(OBJ)의 음역대 신호가 가장 크게 출력된다. 사용자는 화면 상에 표시되는 객체와 그 객체의 음역대 음향 출력 위치가 일치하는 것으로 느낄 수 있으므로, 음향의 입체감을 느낄 수 있다.

도 9는 표시패널 상에 배치되는 스피커를 보여 주는 도면이다.

도 9의 (A)는 일반적인 구조의 스피커(91)를 표시패널(100)의 배면 상에 배치한 구조이다. 표시패널(100)의 전면을 통해 픽셀들의 빛이 방출되어 입력 영상을 표시한다. 오디오 신호(CHL, CHC, CHR)에 따라 스피커들(91)의 진동판이 진동하여 음향이 출력된다. 이 스피커들(91)은 자석과 코일을 이용하여 자력을 발생하는 가진기(exciter)와, 그 가진기에 연결된 진동판을 포함한 구조를 갖는 스피커로 선택되어 표시패널(100)의 배면에 배치될 수 있다. 예를 들어, 가진기는 플레이트 상에 있는 마그네트, 플레이트 상에 있는 센터폴, 센터폴 주위에 배치되는 보빈, 및 보빈외곽에 권취되어 있는 코일 등을 포함할 수 있다. 그리고, 마그네트가 코일의 외측에 배치되는 구조 또는 마그네트가 코일의 내측에 배치되는 구조 등이 적용될 수 있다.

구성 요소의 명칭 만으로 기능이나 구조가 정의되지 않는다. 전술한 가진기의 경우, 엑사이터(excitor), 엑츄에이터(actuator) 또는 트랜스듀서(transducer) 등으로 표현될 수 있다.

도 9의 (B)는 표시패널(100)이 스피커들의 진동판과 일체화된 구조를 보여 준다. 스피커들(SP1, SP2, SP3) 각각의 위치에서 표시패널(100)에 가진기들(92)이 연결된다. 표시패널(100)이 스피커의 진동판 역할을 하며, 음향을 발생시킬 수 있다. 이러한 표시패널 일체형 스피커는 가진기들(92)에서 발생되는 자기장에 의한 진동으로 표시패널(100)이 진동할 수 있으므로, 표시패널(100)이 입력 영상을 표시함과 동시에 입력 영상의 음향을 출력할 수 있다. 표시패널 일체형 스피커에 대하여는 본원 출원인에 의해 기출원되어 특허를 받은 대한민국 특허 등록 10-1704517(2017.02.02)에 상세히 설명되어 있다.

도 10은 도 9에 도시된 표시패널 일체형 스피커의 구조를 상세히 보여 주는 도면이다. 도 11a 내지 도 11c는 표시패널 일체형 스피커를 이용한 객체 위치와 음향 출력 위치가 일치되는 예를 보여 주는 도면들이다.

도 10 내지 도 11c를 참조하면, 표시패널 일체형 스피커는 표시패널(100)의 배면 상에 배치된 지지 부재(104), 지지 부재(104)에 고정된 가진기들(92)과, 표시패널(100)과 지지 부재(104)를 연결하는 보조 지지 부재(105)를 포함한다.

지지 부재(104)는 금속 또는 플라스틱으로 제작될 수 있다. 지지 부재(104)의 명칭은 커버 보텀(Cover bottom) 또는 백 커버(back cover) 등 다른 명칭으로 표현될 수도 있다. 보조 지지 부재(105)는 공기층(106, air gap)을 사이에 두고 지지 부재(104)를 표시패널(100)에 접착한다. 따라서, 지지 부재(104)는 보조 지지 부재(105)를 통해 표시패널(100)에 고정된다.

지지 부재(104)에 고정된 다수의 가진기들(92)은 표시패널(100)의 배면에 접촉된다. 가진기(92)로부터 발생된 자력에 의해 진동하여, 표시패널(100)로부터 직접 음향이 출력될 수 있다.

본 명세서는 아래와 같이 설명될 수 있다.

본 발명의 실시예에 따른 표시장치는, 입력 영상이 표시되고 n(n은 2 이상의 정수 )개 이상의 스피커들이 배치되어 있는 표시패널, 입력 영상의 데이터를 분석하여 객체를 검출하고, 표시패널의 화면 상에서 객체 위치를 지시하여 객체 위치 정보를 발생하는 객체 검출부, 및 입력 영상의 데이터와 동기되어 수신된 입력 오디오 신호를 n 개의 오디오 신호로 변환하고, 객체 위치 정보에 응답하여 표시패널 상에서 객체의 위치와 가장 가까운 스피커를 통해 출력될 오디오 신호에서 객체의 음역대 신호를 증폭하는 오디오 신호 처리부를 포함한다.

전술한 실시예들에서, 표시패널(100)에 세 개의 스피커(SP1, SP2, SP3)가 배치된 예를 중심으로 설명되었으나, 본 발명은 이에 한정되지 않는다. 예를 들어, 본 발명은 도 12a 및 도 12b에 도시된 바와 같이 표시패널(100) 상에 소정 거리로 이격된 두 개의 스피커들을 배치하고, 객체(OBJ)와 가까운 스피커를 통해 증폭된 객체 고유의 음역대 신호를 출력할 수 있다. 따라서, 본 발명은 표시패널(100) 상에 최소 두 개 이상의 스피커들이 배치되는 표시장치에 적용될 수 있다는 것에 주의하여야 한다.

이상 설명한 내용을 통해 당업자라면 본 발명의 기술사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의해 정하여져야만 할 것이다.

100 : 표시패널 102 : 데이터 구동부
104 : 게이트 구동부 106 : 타이밍 콘트롤러
110 : 호스트 시스템 200 : 객체 검출부
222 : 움직임 판단부 224 : 윤곽 검출부
226 : 객체 위치 판단부 228 : 신뢰성 체크부
300 : 오디오 신호 처리부 310 : 멀티 채널 변환부
312 : 가산기 314 : 음량 조정부
316, 318 : 음역 선택부 320 : 음향 위치 판단부
330 : 멀티 채널 조정부

Claims (7)

1. 입력 영상이 표시되고 n(n은 2 이상의 정수) 개 이상의 스피커들이 배치되어 있는 표시패널;
   상기 입력 영상의 데이터에서 객체의 움직임과 상기 객체의 형상적 특징을 도출하여 상기 객체를 검출하고, 상기 표시패널의 화면 상에서 상기 객체의 위치를 지시하여 객체 위치 정보를 발생하는 객체 검출부; 및
   상기 입력 영상의 데이터와 동기되어 수신된 입력 오디오 신호를 상기 n 개의 오디오 신호로 변환하고, 상기 객체 위치 정보에 응답하여 상기 객체의 위치와 가장 가까운 스피커를 통해 출력될 오디오 신호에서 상기 객체의 고유 음역대 주파수를 갖는 음역대 신호를 증폭하는 오디오 신호 처리부를 포함하는 표시장치.
2. 제 1 항에 있어서,
   상기 표시패널의 화면 상에 상기 객체가 이동될 때, 상기 객체의 음역대 신호에 대응하는 상기 오디오 신호의 출력 위치가 상기 객체를 따라 이동되는 표시장치.
3. 제 1 항에 있어서,
   상기 객체 검출부는,
   상기 입력 영상의 데이터에서 상기 객체의 이동을 예측하는 움직임 판단부;
   상기 입력 영상의 데이터에서 상기 객체의 형상적 특징을 검출하는 윤곽 검출부;
   상기 움직임 판단부로부터 수신된 움직임 정보와 상기 윤곽 검출부로부터 수신된 윤곽 정보에 기초하여, 상기 객체 위치 정보를 발생하는 객체 위치 판단부; 및
   상기 움직임 판단부 및 상기 형상 특징부에서의 정보에 기초하여 상기 객체의 검출 유효성을 지시하며 신뢰성 판단 레벨을 출력하는 신뢰성 체크부를 구비하는 표시장치.
4. 제 3 항에 있어서,
   상기 오디오 신호 처리부는,
   입력 오디오 신호를 상기 n 개의 오디오 신호로 변환하고 상기 객체의 음역대 신호를 추출하여 상기 n 개의 오디오 신호 중 어느 하나를 출력하는 멀티 채널 변환부;
   상기 객체 검출부로부터 상기 객체 위치 정보와 상기 신뢰성 판단 레벨을 수신 받아, 상기 신뢰성 판단 레벨이 미리 설정된 기준값 보다 높을 때 상기 객체 위치 정보가 지시하는 객체의 위치와 가장 가까운 음향 출력 위치를 지시하는 음향 위치 정보를 출력하는 음향 위치 판단부; 및
   상기 음향 위치 정보가 지시하는 오디오 신호에서 상기 객체의 음역대 신호를 증폭하는 멀티 채널 조정부를 구비하는 표시장치.
5. 제 4 항에 있어서,
   상기 멀티 채널 변환부는,
   상기 객체의 음역대 신호는 상기 표시패널에 배치된 스피커들 중에서 상기 표시패널의 화면 중앙 위치에 배치된 스피커를 통해 오디오 신호로 출력되는 표시장치.
6. 제 5 항에 있어서,
   상기 멀티 채널 조정부는,
   상기 화면 상에서 상기 객체가 좌측에 위치할 때 상기 객체의 음역대 신호에 곱해지는 게인을 줄이고, 게인 감소분 만큼 감소된 상기 객체의 음역대 신호가 상기 화면 상에서 좌측에 배치된 좌측 스피커를 통해 출력될 제1 오디오 신호에 더하고,
   상기 화면 상에서 상기 객체가 우측에 위치할 때 상기 게인을 줄이고, 상기 게인 감소분 만큼 감소된 상기 객체의 음역대 신호를 상기 화면 상에서 우측에 배치된 우측 스피커를 통해 출력될 제3 오디오 신호에 더하며,
   상기 화면 상에서 상기 객체가 중앙에 위치하거나 상기 객체의 위치를 특정할 수 없을 때 게인 조정 없이 상기 n 개의 오디오 신호들을 통과시키는 표시장치.
7. 입력 영상이 표시되고 n(n은 2 이상의 정수) 개 이상의 스피커들이 배치된 표시패널을 구비하는 표시장치의 구동 방법에 있어서,
   상기 입력 영상의 데이터에서 객체의 움직임과 상기 객체의 형상적 특징을 도출하여 상기 객체를 검출하는 단계; 및
   상기 입력 영상의 데이터와 동기되어 수신된 입력 오디오 신호를 상기 n 개의 오디오 신호로 변환하고 상기 객체의 위치와 가장 가까운 스피커를 통해 출력될 오디오 신호에서 상기 객체의 고유 음역대 주파수를 갖는 음역대 신호를 증폭하는 단계를 포함하는 표시장치의 구동 방법.

Images