KR20190054520A - 표시장치 및 그 구동 방법 - Google Patents

Abstract

본 발명은 표시장치 및 그 구동 방법에 관한 것으로, 화면 상에 입력 영상을 표시하고 터치 입력을 감지하는 다수의 터치 센서들을 포함한 표시패널, 상기 표시패널 상에 배치되어 음향 데이터 신호와 질감 데이터 신호에 따라 상기 표시패널을 진동시키는 다수의 가진기들, 및 딥 러닝 학습 결과를 바탕으로 상기 입력 영상의 객체를 검출하고, 상기 객체에 대응하는 상기 음향 데이터 신호와 상기 질감 데이터 신호를 상기 가진기들에 공급하는 음향 및 질감 처리부를 구비한다.

Description

표시장치 및 그 구동 방법{DISPLAY DEVICE AND DRIVING METHOD THEREOF}

본 발명은 표시패널이 스피커의 진동판과 일체화된 표시장치 및 그 구동 방법에 관한 것이다.

전자장치는 비디오 신호를 재생하는 표시장치와, 오디오 신호를 재생하는 오디오 출력 장치를 포함할 수 있다. 전자 장치의 일 예로, TV(Television), 모니터(monitor) 등이 있다.

전자장치는 표시장치로 비디오 신호를 출력하여 표시패널의 화면 상에 영상을 표시하고, 스피커를 통해 오디오 신호를 출력하여 음향을 출력한다. 스피커는 전자 장치의 외부에 설치되는 외부 스피커 시스템 또는 전자 장치 내부에 배치되는 내부 스피커로 구현될 수 있다. 외부 스피커 시스템은 음질이 좋고 다양한 음향 효과를 연출할 수 있지만 설치 공간과 디자인에 제약이 있고, 비용이 큰 단점이 있다.

내부 스피커는 전자 장치 내에 배치될 수 있다. 이러한 내부 스피커가 적용된 전자 장치의 경우, 스피커에 의해 재생된 오디오 신호가 표시패널이나 다른 구조물에 의해 가려져 음질 향상이 어렵다. 표시장치 내에서 표시패널 아래에 스피커가 배치될 수 있다. 이러한 내부 스피커의 진동판은 지면을 향하여 진동하기 때문에 음파가 하방 지향(down-firing)으로 전파되어 지면에 일부 흡수되고 다른 물체들에 반사되어 사용자 쪽으로 전파된다. 표시장치에서 표시패널과 분리된 내부 스피커를 통해 음향이 출력될 때 음파가 물체들에서 흡수되거나 반사되어 사용자 쪽으로 진행한다. 따라서, 표시장치의 내부 스피커를 통해 음향을 출력하는 방법은 음파의 손실과 감쇄가 많기 때문에 음질을 향상시키는데 한계가 있다.

본 발명은 표시패널 상에 영상을 표시함과 동시에 영상에서 재현된 객체(또는 사물, object) 고유의 음향을 표시패널의 진동으로 출력하고, 객체의 질감(texture)을 표시패널의 진동으로 표현할 수 있는 표시장치와 그 구동 방법을 제공한다.

본 발명의 표시장치는 화면 상에 입력 영상을 표시하고 터치 입력을 감지하는 다수의 터치 센서들을 포함한 표시패널, 상기 표시패널 상에 배치되어 음향 데이터 신호와 질감 데이터 신호에 따라 상기 표시패널을 진동시키는 다수의 가진기들, 및 딥 러닝 학습 결과를 바탕으로 상기 입력 영상의 객체를 검출하고, 상기 객체에 대응하는 상기 음향 데이터 신호와 상기 질감 데이터 신호를 상기 가진기들에 공급하는 음향 및 질감 처리부를 구비한다.

상기 표시장치의 구동 방법은 표시패널의 화면 상에 입력 영상을 표시하고 터치 입력을 감지하는 단계, 딥 러닝 학습 결과를 바탕으로 상기 입력 영상의 객체를 검출하고, 상기 객체에 대응하는 음향 데이터 신호와 질감 데이터 신호를 발생하는 단계, 및 상기 음향 데이터 신호와 상기 질감 데이터 신호를 상기 표시패널 상에 배치된 가진기들에 공급하여 상기 표시패널의 진동으로 상기 객체의 질감과 음향을 출력한다.

본 발명은 표시패널에 배치된 음향 출력부를 이용하여 표시패널의 진동으로 음향을 출력함과 동시에 객체의 질감을 표시패널의 진동으로 출력한다. 따라서, 본 발명의 표시장치는 화면에 표시되는 객체와 가까운 위치에서 객체 고유의 음향 데이터를 출력함으로써 현장감과 입체감 있는 음질을 구현할 수 있다.

본 발명의 표시장치는 딥 러닝 알고리즘(Deep learning algorithm)을 이용한 영상 내 객체를 인식하는 기술 및 객체를 지시하는 음향과 질감을 세밀하게 표현할 수 있다.

본 발명의 표시장치는 영상 내의 객체 위치에서 해당 질감에 대한 촉각 정보를 제공함으로써 촉각 표현과 연계된 컨텐츠를 제공할 수 있다. 본 발명의 표시장치는 화면 상에서 객체 표면의 촉각을 출력하는 장애인 보조 제품으로 활용될 수 있다.

도 1은 본 발명의 실시예에 따른 표시장치에서 표시패널의 진동으로 출력되는 음파의 진행 방향을 보여 주는 도면이다.
도 2는 본 발명의 표시장치에서 객체 인식과, 객체 고유의 음향 및 진동 데이터 생성을 간략히 보여 주는 도면이다.
도 3은 본 발명의 표시장치를 보여 주는 블록도이다.
도 4는 스피커의 진동판과 일체화된 표시패널의 단면 구조를 보여 주는 단면도이다.
도 5는 다양한 터치 입력을 보여 주는 도면이다.
도 6은 음향 및 질감 처리부를 상세히 보여 주는 블록도이다.
도 7 및 도 8은 질감 데이터 생성 방법을 보여 주는 도면들이다.
도 9는 다수의 가진기(Exciter)를 이용한 음향 출력 방법의 일 예를 보여 주는 도면이다.
도 10 및 도 11은 질감 출력으로 인한 음향 왜곡을 줄이기 위하여 질감 출력 위치와 음향 출력 위치를 분리한 예를 보여 주는 도면들이다.
도 12a 내지 도 12d는 질감이 다른 대표 이미지들의 다른 예를 보여 주는 도면이다.
도 13a 내지 도 13d는 도 12a 내지 도 12d에 도시된 대표 이미지들의 질감에 따른 질감 데이터 신호의 주파수 특성을 도식화한 것이다.
도 14는 질감 데이터 신호의 파형과 주파수에 따른 예민성을 보여 주는 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다는 것에 주의하여야 한다. 이하의 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명은 특허청구범위에 의해 정의된다.

본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.

본 명세서 상에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우 ' ~ 만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성 요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다.

구성 요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.

위치 관계에 대한 설명일 경우, 예를 들어, ' ~ 상에', ' ~ 상부에', ' ~ 하부에', ' ~ 옆에' 등으로 두 부분의 위치 관계가 설명되는 경우, '바로' 또는 '직접'이 사용되지 않는 이상 두 부분 사이에 하나 이상의 다른 부분이 위치할 수도 있다.

실시예의 설명에서, 제1, 제2 등이 다양한 구성 요소들을 서술하기 위해서 사용되지만, 이들 구성 요소들은 이들 용어에 의해 제한되지 않는다. 이들 용어들은 단지 하나의 구성 요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다.

본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.

본 발명의 표시장치는 액정 표시장치(Liquid Crystal Display : LCD), 전계 방출 표시장치(Field Emission Display : FED), 및 전계 발광 표시장치(Electroluminescence Display) 등의 표시장치를 기반으로 구현될 수 있다. 전계 발광 표시장치는 발광층의 재료에 따라 무기발광 표시장치와 유기 발광 표시장치로 구별될 수 있다. 무기발광 표시장치는 양자점(quantum dot) 표시장치를 예로 들 수 있으나, 이에 한정되는 것은 아니다.

이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예들을 상세히 설명한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 실질적으로 동일한 구성요소들을 의미한다. 이하의 설명에서, 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.

표시패널이 스피커의 진동판과 일체화되면, 도 1에 도시된 바와 같이 표시패널(100)의 진동으로 발생된 음파가 사용자 쪽으로 직접 전파된다. 스피커의 진동판이 표시패널(100)에 일체화된 구조는 본원 출원인에 의해 대한민국 특허 등록 10-1704517(2017.02.02) 등에서 제안된 바 있다. 표시패널의 진동으로 음향이 출력되면, 대부분의 음파가 사용자 쪽으로 전면 지향(front-firing)으로 전파되기 때문에 다른 물체들에 흡수되거나 반사되는 음파가 거의 없다. 따라서, 표시패널이 스피커의 진동판과 일체화되면 음질을 향상시킬 수 있고 입체감 있는 음질을 구현할 수 있다.

본 발명의 표시장치는 도 2에 도시된 바와 같이, 입력 영상에서 객체 각각의 위치를 검출하고(S1), 딥 러닝 콘트롤러(Deep Learning Controller)를 이용하여 객체들 각각을 구분한다(S2). 본 발명의 표시장치는 딥 러닝 콘트롤러를 이용하여 사용자에 의해 선택된 객체에 대한 객체 고유의 음향 데이터와 질감 데이터를 생성한다(S31, S32). 이어서, 본 발명의 표시장치는 표시패널(100) 상에 영상을 표시함과 동시에 사용자에 의해 선택된 객체의 음향과 질감을 표시패널(100)의 진동으로 출력한다(S4). 객체 위치에서 음향과 질감이 출력될 수 있다. 표시패널(100) 상에 객체를 터치하면 객체 상에서 진동으로 출력되는 질감을 촉각으로 느끼게 된다. 표시패널(100) 상에서 터치 입력이 객체 위치라면, 표시패널(100) 상의 터치로 인하여 음파가 감쇄될 수 있다. 따라서, 터치 입력의 위치가 객체 위치이면 음향에 대한 터치 입력의 영향을 줄이도록 음향이 터치 입력 위치로부터 먼 위치에서 출력될 수 있다.

사용자는 화면 상에서 표시된 영상을 터치(touch)하여 객체를 선택하거나 포인터(pointer) 혹은 리모트 콘트롤러(remote controller) 등을 이용하여 객체를 선택할 수 있다.

딥 러닝 알고리즘은 유/무선 인터넷망을 통해 얻어진 빅 데이터(big data)를 기반으로 이미지 상의 객체 종류, 객체 고유의 음향, 객체 표면의 질감을 학습한다. 딥 러닝 콘트롤러는 딥 러닝 알고리즘의 학습 결과로 최적화된 객체 검색 및 객체 인식 프로그램을 실행한다. 딥 러닝 콘트롤러는 딥 러닝 알고리즘으로 이미지 상에 표시되는 각종 사물을 학습하여 이미지 상에서 객체의 종류를 식별하여 구분하고, 객체의 종류별로 구분되는 객체 고유의 음향을 재현하기 위한 음향 데이터와, 객체 표면의 질감을 표현하기 위한 질감 데이터를 생성한다. 음향 데이터와 질감 데이터는 입력 영상과 함께 수신되는 오디오 신호와 무관하게 딥 러닝 학습 결과를 바탕으로 생성될 수 있다.

도 3은 본 발명의 표시장치를 보여 주는 블록도이다.

도 3을 참조하면, 본 발명의 표시장치는 표시패널(100), 표시패널(100)에 입력 영상의 데이터를 기입하기 위한 표시패널 구동회로, 터치 센서들을 구동하기 위한 터치 센서 구동부(110), 터치 센서 구동부(110)에 연결된 터치 콘트롤러(112), 및 표시패널(100)과 연결된 음향 및 질감 처리부(200)를 구비한다.

표시패널(100)의 화면(또는 표시 영역)은 비디오 신호가 표시되는 픽셀 어레이를 포함한다. 픽셀 어레이에 데이터 라인들(DL)과 게이트 라인들(또는 스캔 라인들, GL)이 교차되고, 픽셀들이 매트릭스 형태로 배치된다. 픽셀들 각각은 컬러 구현을 위하여 적색 서브 픽셀, 녹색 서브 픽셀, 및 청색 서브 픽셀로 나뉘어질 수 있다. 픽셀들 각각은 백색 서브 픽셀을 더 포함할 수 있다.

표시패널(100) 상에 도시하지 않은 터치 센서들이 배치될 수 있다. 터치 센서들은 온-셀(On-cell type) 또는 애드 온 타입(Add on type)으로 표시패널(100)의 화면 상에 배치되거나 픽셀 어레이에 내장되는 인-셀(In-cell type) 터치 센서들로 구현될 수 있다. 표시패널(100)에 압력 센서가 배치될 수 있다. 압력 센서는 터치 입력의 압력을 감지할 수 있다.

표시패널(100) 상에 다수의 가진기(exciter, E1~E16)가 연결된다. 가진기는 엑츄에이터(actuator) 또는 트랜스듀서(transducer) 등으로 표현될 수 있다. 가진기는 자석과 코일을 이용하여 음향 및 질감 처리부(200)로부터의 신호에 따라 표시패널(100)을 진동시킨다. 따라서, 표시패널(100)은 입력 영상을 표시함과 동시에, 음향 및 질감을 출력하는 진동판이다.

가진기(E1~E16)는 표시패널(100)의 화면 상에 분산 배치되고 음향 및 질감 처리부(200)로부터의 음향 데이터에 따라 표시패널(100)을 진동시켜 음파를 발생한다. 가진기(E1~E16)는 음향 및 질감 처리부(200)로부터의 질감 데이터에 따라 표시패널(100)을 진동시켜 영상에 표시되는 객체의 표면 질감을 진동으로 출력한다. 표시패널(100)의 화면이 N(N은 2 이상의 양의 정수) 개의 블록들(BL1~BL16)로 가상 분할될 때 블록들(BL1~BL16) 각각에 하나 이상의 가진기(E1~E16)가 배치될 수 있다.

표시패널 구동회로는 입력 영상의 데이터를 픽셀들에 기입한다. 표시패널 구동회로는 데이터 구동부(102), 게이트 구동부(104), 및 타이밍 콘트롤러(106)를 포함한다. 표시패널 구동회로는 터치 센서들을 구동하기 위한 터치 센서 구동부(110)와, 터치 컨트롤러(112)를 더 구비한다. 모바일 기기나 웨어러블 기기에서 데이터 구동부(102), 타이밍 콘트롤러(106), 터치 센서 구동부(110), 터치 콘트롤러(112), 도시하지 않은 전원 회로 등은 하나의 드라이브 IC(Integrated Circuit)에 집적될 수 있다.

터치 센서 구동부(110)는 터치 센서들을 구동하여 터치 센서들의 출력 신호를 디지털 신호인 터치 데이터로 변환한다. 터치 콘트롤러(112)는 미리 설정된 터치 인식 알고리즘을 이용하여 터치 데이터를 소정의 문턱값과 비교하여 터치 입력 각각의 위치를 지시하는 좌표 정보를 출력한다. 또한, 터치 콘트롤러(112)는 터치 데이터를 분석하여 터치 입력 유형 예를 들어, 도 5에 도시된 바와 같이, 탭(tap), 팬(pan), 플릭(flck), 핀치 앤 스트레치(pinch and stretch), 터치 앤 홀드(touch and hold) 등을 판정한다. 터치 콘트롤러(111)로부터 출력된 터치 위치 정보, 터치 입력 유형 정보는 음향 및 질감 처리부(200)와 호스트 시스템(108)에 제공된다.

데이터 구동부(102)는 타이밍 콘트롤러(106)로부터 입력 영상의 데이터(비디오 신호)를 수신한다. 데이터 구동부(102)는 DAC(Digital to Analog Converter)를 이용하여 입력 영상의 데이터를 데이터 전압으로 변환하여 데이터 라인들(DL)로 출력한다. 게이트 구동부(104)는 타이밍 콘트롤러(106)의 제어 하에 게이트 라인들(GL)에 게이트 신호를 순차적으로 공급한다. 게이트 신호는 데이터 구동부(102)로부터 출력되는 데이터 전압에 동기되는 스캔 펄스와, 픽셀의 발광 기간을 정의하는 발광 신호를 포함할 수 있다. 게이트 구동부(104)는 픽셀 어레이와 함께 표시패널(100)의 기판 상에 직접 형성될 수 있다.

타이밍 콘트롤러(106)는 호스트 시스템(108)으로부터 수신된 입력 영상의 비디오 데이터를 데이터 구동부(102)로 전송한다. 타이밍 콘트롤러(106)는 입력 영상 데이터와 동기되는 타이밍 신호들을 호스트 시스템(108)으로부터 수신한다. 타이밍 신호들은 수직 동기신호(Vsync), 수평 동기신호(Hsync), 데이터 인에이블 신호(DE), 및 도트 클럭(DCLK) 등을 포함할 수 있다. 타이밍 콘트롤러(106)는 입력 영상의 픽셀 데이터와 함께 수신되는 타이밍 신호들(Vsync, Hsync, DE, DCLK)을 바탕으로 데이터 구동부(102)와 게이트 구동부(104)의 동작 타이밍을 제어한다.

호스트 시스템(108)은 TV(Television) 시스템, 셋톱박스, 네비게이션 시스템, DVD 플레이어, 블루레이 플레이어, 개인용 컴퓨터(PC), 홈 시어터 시스템 중 어느 하나일 수 있다. 호스트 시스템(108)은 스마트 폰, 노트북 컴퓨터, 테블릿 컴퓨터 등과 같은 모바일 기기 또는 웨어러블 기기의 메인 보드일 수 있다.

호스트 시스템(108)은 입력 영상의 데이터를 타이밍 콘트롤러(106)로 전송한다. 호스트 시스템(108)은 터치 콘트롤러(112)로부터 출력된 터치 위치 정보, 터치 입력 유형 정보를 수신 받아 터치 입력이 지시하는 어플리케이션(application)을 실행할 수 있다.

음향 및 질감 처리부(200)는 딥 러닝 알고리즘의 학습 결과를 바탕으로 인식된 입력 영상 내의 객체에 대하여 객체 고유의 음향을 출력하기 위한 음향 데이터와, 객체 표면의 질감을 출력하기 위한 질감 데이터를 가진기(E1~E16)로 출력한다. 딥 러닝 콘트롤러(300)는 딥 러닝 학습 결과를 바탕으로 객체 검출, 객체 고유의 음향 데이터와 질감 데이터를 발생하여 음향 및 질감 처리부(200)에 제공한다.

도 4는 스피커의 진동판과 일체화된 표시패널(100)의 단면 구조를 보여 주는 단면도이다.

도 4를 참조하면, 표시패널(100)은 픽셀 어레이가 형성된 전면 기판(11), 배면 기판(12), 배면 기판(12)에 고정된 가진기(E1~E4), 전면 기판(11)과 배면 기판(12)을 연결하는 측면 봉지 부재(14)를 포함한다.

배면 기판(12)은 금속 또는 플라스틱으로 제작될 수 있다. 배면 기판(12)은 커버 보텀(Cover bottom) 또는 백 커버(back cover) 등 다른 명칭으로 표현될 수도 있다. 측면 봉지 부재(14)는 표시패널(100)의 가장자리 측면에서 전면 기판(11)과 배면 기판(12)을 고정한다. 전면 기판(11)과 배면 기판(122)은 그 사이에 공기층(air gap, 13)이 존재하는 상태에서 합착될 수 있다.

가진기(E1~E4)의 가동부는 전면 기판(11)과 연결되어 음향 및 질감 처리부(200)의 출력 신호에 따라 전면 기판(11)을 진동한다. 전면 기판(11)의 진동으로 음향이 출력되고 객체의 질감이 출력된다.

도 6은 음향 및 질감 처리부(200)를 상세히 보여 주는 블록도이다.

도 6을 참조하면, 음향 및 질감 처리부(200)는 객체 검출부(202), 객체 분석부(204), 음향 데이터 발생부(206), 질감 추출 필터(208), 질감 데이터 발생부(210), 데이터 전송부(212), 및 가진기 구동부(214)를 구비한다.

딥 러닝 콘트롤러(300)는 딥 러닝 학습 결과를 바탕으로 입력 영상을 분석하여 객체들 각각을 인식한다. 딥 러닝 콘트롤러(300)로부터 출력된 객체 인식 결과는 객체 검출부(202)로 제공하고, 객체 각각의 세부 정보를 포함한 분류/분석 데이터를 객체 분석부(204)에 제공한다. 딥 러닝 콘트롤러(300)는 딥 러닝 학습 결과를 바탕으로 객체 고유의 음향 데이터와, 객체 표면의 질감 데이터를 발생한다.

객체 검출부(202)는 트랙킹(tracking) 알고리즘을 이용하여 수신된 입력 영상 데이터의 객체 각각의 특징부를 딥 러닝 콘트롤러(300)에 전송하고, 딥 러닝 콘트롤러(300)의 객체 인식 결과를 제공 받는다. 객체 분석부(204)는 객체 검출부(202)로부터의 객체 인식 결과와 딥 러닝 콘트롤러(300)로부터의 객체 분류/분석 데이터를 이용하여 객체 각각의 종류와 세부 정보를 판단한다. 예를 들어, 도 7의 예에서 객체 분석부(204)는 객체 인식 결과로 터치 입력이 지시하는 위치의 객체를 개(dog)로 판단하고, 터치 입력 위치 부분을 코(nose)로 판단할 수 있다.

음향 데이터 발생부(206)는 딥 러닝 콘트롤러(300)로부터의 음향 데이터를 진동 데이터로 변환하여 가진기(E1~E16)를 구동하기 위한 음향 데이터 신호를 발생한다. 음향 데이터 발생부(206)는 터치 컨트롤러(112)로부터 입력되는 터치 입력의 좌표값을 고려하여 음향 데이터 신호를 출력할 수 있다.

질감 추출 필터(208)는 딥 러닝 콘트롤러(300)로부터의 질감 데이터를 입력 받아 객체 표면의 질감을 판단하고 입력 영상 이미지에서 터치 입력 주변에 위치한 객체의 표면의 질감 특징을 필터링한다. 질감 추출 필터(208)의 일 예로서, 가버 필터(Gabor filter)가 사용될 수 있다. 가버 필터는 질감을 그레이(gray)로 표현한다. 가버 필터로 출력된 이미지에서 도 7의 예와 같이, 픽셀 데이터의 계조 차이가 클수록 거친 면(B)을 나타내고 계조 차이가 작으면 부드러운 면(A)을 의미한다.

에지 필터(edge filter)는 영상 이미지에서 에지 부분을 "1"로 변환하고 그 이외의 부분을 "0"으로 변환하여 binary 코드를 출력하기 때문에 계조 값에 그레이(gray)를 포함하지 않는다. 따라서, 에지 필터는 질감을 세밀히 추출할 수 없다.

질감 데이터 발생부(210)는 질감 추출 필터(208)에 의해 추출된 질감 특징을 이용하여 가진기(E1~E16)를 구동하기 위한 질감 데이터 신호를 발생한다. 질감 데이터 발생부(210)는 터치 컨트롤러(112)로부터의 입력되는 터치 입력의 좌표값에 해당하는 질감 출력 위치의 질감 데이터 신호를 출력할 수 있다.

데이터 전송부(212)는 질감 데이터 신호와 음향 데이터 신호를 가진기 구동부(214)로 전송한다. 가진기 구동부(214)는 DAC(Digital to Analog Converter)를 이용하여 질감 데이터 신호와 음향 데이터 신호 각각을 아날로그 신호로 변환하여 가진기들(E1~E16)을 구동한다. 가진기 구동부(214)는 질감 출력 위치와 음향 출력 위치 사이의 적정 거리를 계산한다.

질감 출력으로 인한 음향이 왜곡되지 않도록 질감 출력 위치와 음향 출력 위치의 거리는 최대한 멀게 하는 것이 바람직하다. 질감 은 화면 상에 표시된 객체를 터치할 때 표시패널(100)의 진동으로 출력된다. 질감은 터치 위치와 가장 가까운 가진기(E1~E16)의 위치에서 출력된다. 터처 입력과 질감 출력이 없는 경우, 음향 출력 위치는 화면 상에 표시된 객체와 가장 가까운 가진기(E1~E16) 위치로 정해진다. 가진기 구동부(214)는 질감 데이터 신호를 질감 출력 위치 근방의 가진기들(E1~E16)로 출력하고, 음향 데이터 신호를 음향 출력 위치 근방의 가진기들(E1~E16)로 출력한다. 가진기들(E1~E16)은 음향 및 질감 데이터 신호에 따라 진동하고, 표시패널(100)은 가진기의 진동에 연동하여 진동된다.

도 7 및 도 8은 질감 데이터 생성 방법을 보여 주는 도면들이다.

도 7 및 도 8을 참조하면, 사용자가 화면 상에 표시된 객체를 터치하면 음향 및 질감 처리부(200)는 터치 주변부의 이미지를 선택하고, 선택된 이미지에서 질감 추출 필터(208)로 질감 특징을 필터링한다. 질감 특징은 미리 설정된 대표 질감들과 비교되어 유사도에 따라 대표 질감에 가중치가 곱해진다. 질감은 미리 설정된 대표 질감 패턴들의 조합으로 표현될 수 있다. 대표 질감 패턴들은 객체 질감과의 유사도에 따라 큰 가중치가 부여되어 질감 데이터 신호의 진동 패턴에 더 큰 영향을 끼친다.

도 7의 예에서, A 부분의 질감 데이터 신호는 (진동1 * 0.15) + (진동2 * 0.2) + (진동3 * 0.5) + (진동4 * 0.15)로 발생될 수 있다. B 부분의 질감 데이터 신호는 (진동1 * 0.6) + (진동2 * 0.2) + (진동3 * 0.15) + (진동4 * 0.05)로 발생될 수 있다. 질감 데이터 신호의 가중치 합은 1이다. 가중치가 높을수록 선택된 객체 이미지의 질감이 미리 설정된 대표 질감 패턴과 유사하다는 것을 의미한다.

대표 질감 패턴은 미리 선정된 대표 이미지들의 질감을 표현한다. 도 8의 (A) 내지 (D)는 질감이 전혀 다른 네 개의 대표 이미지들이다. 이 대표 이미지들의 질감 특징을 필터링하면 도 8에서 아래의 흑백 이미지와 같다. 대표 이미지 각각의 질감을 표현하는 진동 패턴(진동1~진동4)이 대표 질감 패턴으로 설정되어 메모리에 저장된다.

도 9는 다수의 가진기들(E1~E16)을 이용한 음향 출력 방법의 일 예를 보여 주는 도면이다.

도 9를 참조하면, 화면 상에 표시되는 객체 상에서 음향 출력 위치가 가진기 위치와 일치하지 않을 수 있다. 이 경우, 가진기 구동부(214)는 음향 출력 위치와 가까운 가진기 진동 출력이 우세하도록 터치 위치에 가까운 가진기(E1, E5)에 공급되는 음향 데이터 신호에 상대적으로 높은 가중치(W1, W3)를 부여하는 반면, 다른 가진기(E2, E6)에 낮은 가중치(W2, W4)를 부여할 수 있다. 가중치(W1~W4)는 음향 데이터 신호에 곱해질 수 있으나 이에 한정되지 않는다.

가중치(W1~W4)는 오디오 신호의 전체 음량을 A라 할 때 음향 출력 위치와 가진기(E1, E2, E5, E6) 간의 거리(d1~d4)가 작을수록 커진다.

W1 = A / d1

W2 = A / d2

W3 = A / d3

W4 = A / d4

진동 출력 방법도 질감 출력 위치 주변에 배치된 다수의 가진기들에 가중치를 부여하여 출력될 수 있다.

가진기 구동부(214)는 객체 고유의 음향을 객체 위치와 가까운 하나 이상의 가진기를 통해 출력할 수 있다. 이 경우, 화면 상에 표시된 객체와 가까운 가진기에 공급되는 음향 데이터 신호에 상대적으로 높은 가중치를 부여하는 반면, 다른 가진기에 낮은 가중치를 부여할 수 있다. 가중치는 음향 데이터 신호에 곱해질 수 있으나 이에 한정되지 않는다.

도 10 및 도 11은 질감 출력으로 인한 음향 왜곡을 줄이기 위하여 질감 출력 위치와 음향 출력 위치를 분리한 예를 보여 주는 도면들이다.

도 10 및 도 11을 참조하면, 음향 및 질감 처리부(200)는 화면 상에서 객체가 터치되면, 그 터치 위치와 가까운 가진기 위치로 질감 출력 위치를 선정한다. 음향 및 질감 처리부(200)는 도 10의 예와 같이 화면 상에서 질감 출력 위치로부터 최대 거리로 이격된 가진기 위치로 음향 출력 위치를 선정한다. 음향 및 질감 처리부(200)는 질감 출력 위치로 선정된 가진기에 질감 데이터 신호를 공급하여 질감을 출력하고, 음향 출력 위치로 선정된 가진기에 음향 데이터 신호를 공급하여 음향을 출력한다.

도 11의 예와 같이, 화면의 중앙이 터치되면 음향 및 질감 처리부(200)는 화면의 중앙부에 위치한 가진기들을 통해 질감을 출력하는 반면, 최외곽에 배치된 가진기들을 통해 음향을 출력한다.

도 12a 내지 도 12d는 질감이 다른 대표 이미지들의 다른 예를 보여 주는 도면이다. 도 13은 도 12a 내지 도 12d에 도시된 대표 이미지들의 질감에 따른 질감 데이터 신호의 주파수 특성을 도식화한 것이다. 도 14는 질감 데이터 신호의 파형과 주파수에 따른 예민성을 보여 주는 도면이다.

도 12a 내지 도 12d를 참조하면, 대표 이미지들은 거친(rough) 표면을 보여 주는 이미지, 부드러운(soft) 표면을 보여 주는 이미지, 매끈한(smooth)을 보여 주는 이미지, 딱딱한(hard) 표면을 보여 주는 이미지를 포함할 수 있다. 이렇게 선정된 이미지들은 대표 질감을 정의한다.

질감은 대표 질감 종류별로 주파수 특성이 다른 질감 데이터 신호로 재현되는 촉각으로 표현될 수 있다. 도 13에서 알 수 있는 바와 같이 질감 종류 별로 질감 데이터 신호는 진폭, 피크-간격(pitch range), 예민성(sensitivity) 등이 다르다. 질감 종류별 주파수 특성은 아래의 표와 같다.

진동 데이터는 대표 질감들의 주파수(Ti) 조합으로 생성될 수 있다. 진동 데이터는 표시패널(100)의 화면에 표시된 객체 이미지의 질감과 유사할수록 대표 질감에 높은 가중치를 부여하고, 수학식 1과 같이 질감 별로 주파수(Ti)에 가중치(Wi)를 곱한 컨볼루션(convolution) 연산을 통해 조합하여, 하나의 질감 데이터 신호(진동 데이터)의 주파수를 생성할 수 있다.

g(T,w) : 질감 데이터 주파수 생성(generation) 함수

Ti : 대표 질감 주파수

wi : 질감 가중치(weight), 상수값

i = 1 ~ 4

수학식 1에서 정의된 가중치(wi)는 도 9에 도시된 가중치(w1~w4)와는 별개로 설정된다.

이상 설명한 내용을 통해 당업자라면 본 발명의 기술사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의해 정하여져야만 할 것이다.

100 : 표시패널 102 : 데이터 구동부
104 : 게이트 구동부 106 : 타이밍 콘트롤러
108 : 호스트 시스템 200 : 음향 및 질감 처리부
202 : 객체 검출부 204 : 객체 분석부
206 : 음향 데이터 발생부 208 : 질감 추출 필터
210 : 질감 데이터 발생부 212 : 데이터 전송부
214 : 가진기 구동부 300 : 딥 러닝 콘트롤러
E1~E16 : 가진기

Claims (10)

1. 화면 상에 입력 영상을 표시하고 터치 입력을 감지하는 다수의 터치 센서들을 포함한 표시패널;
   상기 표시패널 상에 배치되어 음향 데이터 신호와 질감 데이터 신호에 따라 상기 표시패널을 진동시키는 다수의 가진기들; 및
   딥 러닝 학습 결과를 바탕으로 상기 입력 영상의 객체를 검출하고, 상기 객체에 대응하는 상기 음향 데이터 신호와 상기 질감 데이터 신호를 상기 가진기들에 공급하는 음향 및 질감 처리부를 구비하는 표시장치.
2. 제 1 항에 있어서,
   상기 딥 러닝 학습 결과를 바탕으로 상기 입력 영상 내의 객체를 인식하고, 상기 딥 러닝 학습 결과를 바탕으로 상기 객체의 질감 데이터와 음향 데이터를 출력하는 딥 러닝 콘트롤러;
   상기 음향 데이터를 진동 데이터로 변환하여 음향 데이터 신호를 발생하는 음향 데이터 발생부;
   상기 영상 내에서 객체의 질감 특징을 추출하는 질감 추출 필터;
   상기 질감 추출 필터에 의해 추출된 질감 특징을 이용하여 질감 데이터 신호를 발생하는 질감 데이터 신호를 발생하는 질감 데이터 발생부; 및
   상기 질감 데이터 신호와 상기 음향 데이터 신호를 상기 가진기들에 공급하여 상기 가진기들을 구동하는 가진기 구동부를 구비하는 표시장치.
3. 제 1 항에 있어서,
   상기 음향 및 질감 처리부는,
   상기 표시패널 상에서 질감 출력 위치와 음향 출력 위치를 분리하는 표시장치.
4. 제 1 항에 있어서,
   상기 음향 및 질감 처리부는,
   상기 터치 입력 위치와 가까운 가진기 위치로 상기 질감 출력 위치를 선정하고,
   상기 질감 출력 위치로부터 최대 거리로 이격된 가진기 위치로 상기 음향 출력 위치를 선정하는 분리하는 표시장치.
5. 제 1 항에 있어서,
   상기 음향 및 질감 처리부는,
   상기 터치 입력과 근방에 위치하는 하나 이상의 가진기에 상기 질감 데이터 신호를 공급하여 상기 표시패널의 진동으로 질감을 출력하고,
   상기 터치 입력 위치에 가장 가까운 가진기에 가장 높은 가중치를 부여하는 표시장치.
6. 제 1 항에 있어서,
   상기 음향 및 질감 처리부는,
   상기 객체 근방에 위치하는 하나 이상의 가진기에 상기 음향 데이터 신호를 공급하여 상기 표시패널의 진동으로 음향을 출력하고,
   상기 객체의 위치에 가장 가까운 가진기에 공급될 음향 데이터 신호에 가장 높은 가중치를 부여하는 표시장치.
7. 제 1 항에 있어서,
   상기 음향 및 질감 처리부는,
   질감이 서로 다른 객체들의 질감을 표현하는 다수의 대표 질감 패턴들의 조합으로 상기 질감 데이터 신호를 발생하는 표시장치.
8. 제 7 항에 있어서,
   상기 음향 및 질감 처리부는,
   터치 입력이 지시하는 객체의 질감과 상기 대표 질감 패턴들 간의 유사도에 비례하는 가중치를 상기 대표 질감 패턴들에 부여하는 표시장치.
9. 제 8 항에 있어서,
   상기 음향 및 질감 처리부는,
   대표 질감 패턴의 주파수에 가중치를 곱한 컨볼루션 연산 결과를 조합하여, 하나의 질감 데이터 신호를 발생하는 표시장치.
10. 표시패널의 화면 상에 입력 영상을 표시하고 터치 입력을 감지하는 단계;
    딥 러닝 학습 결과를 바탕으로 상기 입력 영상의 객체를 검출하고, 상기 객체에 대응하는 음향 데이터 신호와 질감 데이터 신호를 발생하는 단계; 및
    상기 음향 데이터 신호와 상기 질감 데이터 신호를 상기 표시패널 상에 배치된 가진기들에 공급하여 상기 표시패널의 진동으로 상기 객체의 질감과 음향을 출력하는 표시장치의 구동 방법.

Images