KR20200039983A

KR20200039983A - 공간 터치 감지 장치 및 이를 포함하는 표시 장치

Info

Publication number: KR20200039983A
Application number: KR1020180119644A
Authority: KR
Inventors: 김준석; 장은석; 권지인
Original assignee: 주식회사 토비스; (주)나노티에스
Priority date: 2018-10-08
Filing date: 2018-10-08
Publication date: 2020-04-17
Also published as: KR102174464B1

Abstract

표시 장치는, 표시 패널을 포함한다. 입력 감지부는, 표시 패널의 전방에 배치되며, 표시 패널의 표시면 전체로부터 기 설정된 거리까지의 감지 공간에 대한 측면 영상들을 획득한다. 제어부는, 측면 영상들로부터 감지 공간에 위치하는 입력 객체를 검출하고, 입력 객체의 측면 영상들 내 위치 정보에 기초하여 입력 객체의 3차원 위치를 산출하며, 입력 객체의 3차원 위치에 기초하여 비접촉 방식의 공간 터치 입력을 인식한다.

Description

공간 터치 감지 장치 및 이를 포함하는 표시 장치{SPACE TOUCH DETECTING DEVICE AND DISPLAY DEVICE HAVING THE SAME}

본 발명은 표시 장치에 관한 것으로, 보다 구체적으로, 공간 터치를 감지하는 공간 터치 감지 장치 및 이를 포함하는 표시 장치에 관한 것이다.

표시 장치 상에 설치되어 손가락이나 펜 등을 이용해 단순 접촉하여 데이터를 입력하는 터치스크린이 널리 사용되고 있다.

터치스크린은 표시 패널에 터치 패널(Touch Panel)을 덧붙여서 손가락이나 펜 등이 접촉할 때 해당 영역(즉, 손가락 등이 접촉한 영역)의 특성이 변화하는 것을 인지하여 사용자 입력의 발생을 감지한다.

상기한 바와 같은 터치스크린은 통상 디스플레이 화면과 터치 패널을 동일한 면에 배치하는 2차원 평면에서 동작하는 방식을 채택하기 때문에 사용자 인터페이스의 다양한 표현을 제공하는데 있어서 한계가 있다.

이에, 본 발명이 해결하고자 하는 과제는 3차원의 터치 입력을 감지할 수 있는 표시 장치를 제공하는 것이다.

본 발명이 해결하고자 하는 다른 과제는 3차원의 터치 입력을 감지할 수 있는 공간 터치 감지 장치를 제공하는 것이다.

본 발명의 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 과제를 해결하기 위한 일 실시예에 따른 표시 장치는, 표시 패널; 상기 표시 패널의 전방에 배치되며, 상기 표시 패널의 표시면 전체로부터 기 설정된 거리까지의 감지 공간에 대한 측면 영상들을 획득하는 입력 감지부; 및 상기 측면 영상들로부터 상기 감지 공간에 위치하는 입력 객체를 검출하고, 상기 입력 객체의 상기 측면 영상들 내 위치 정보에 기초하여 상기 입력 객체의 3차원 위치 정보를 산출하며, 상기 입력 객체의 상기 3차원 위치 정보에 기초하여 비접촉 방식의 공간 터치 입력을 인식하는 제어부를 포함한다.

상기 입력 감지부는, 상기 표시 패널의 상기 표시면을 가로지르는 제1 방향을 향하여 배치되어 상기 감지 공간에 대한 제1 측면 영상을 생성하는 제1 카메라 장치, 및 상기 제1 카메라 장치와 이격되고 상기 제1 방향과 교차하는 제2 방향을 향하여 배치되어 상기 감지 공간에 대한 제2 측면 영상을 획득하는 제2 카메라 장치를 포함하고, 상기 제1 측면 영상 및 상기 제2 측면 영상은 상기 측면 영상들에 포함될 수 있다.

상기 입력 감지부는 상기 감지 공간에 적외선 광을 발산하는 적외선 광원을 더 포함하고, 상기 제1 카메라 장치 및 상기 제2 카메라 장치는 적외선 카메라일 수 있다.

상기 표시 장치는, 상기 표시 패널의 일측변에 인접하여 배치되되, 상기 표시 패널의 전방으로 돌출되고, 내부에 형성된 빈 공간을 포함하며, 상기 표시 패널과 인접한 일 면에 형성된 개구를 포함하는 상부 커버; 및 상기 개구를 커버하되, 상기 개구의 양 측에서 상기 빈 공간을 노출시키는 투명판을 더 포함하고, 상기 적외선 광원, 상기 제1 카메라 장치, 및 상기 제2 카메라 장치는 상기 상부 커버의 빈 공간에 배치되며, 상기 적외선 광원은 상기 투명판에 의해 커버되고, 상기 제1 카메라 장치는 상기 상부 커버의 일측에 인접하여 배치되되, 상기 개구에 의해 노출되며, 상기 제2 카메라 장치는 상기 상부 커버의 타측에 인접하여 배치되되, 상기 개구에 의해 노출될 수 있다.

상기 표시 패널은 표시면이 오목한 곡면형 표시 패널이고, 상기 제1 카메라 장치 및 상기 제2 카메라 장치 각각은 상기 표시 패널의 상기 표시면의 면적 중심을 향하도록 배치될 수 있다.

상기 감지 공간은 상기 제1 카메라 장치의 촬영 영역과 상기 제2 카메라 장치의 촬영 영역이 중첩하는 영역으로 정의되고, 상기 감지 공간은 상기 표시 패널 전체에서 상기 표시면에 수직하는 방향으로 동일한 폭을 가질 수 있다.

상기 표시 장치는, 상기 표시 패널의 가장자리의 적어도 일부로부터 상기 표시 패널의 전방으로 돌출된 커버부를 더 포함하고, 상기 커버부는, 상기 감지 공간을 정의하며, 상기 표시 패널의 측방으로부터 상기 감지 공간으로 유입되는 적외선 광을 차단할 수 있다.

상기 입력 감지부는, 제3 방향을 향하여 배치되어 상기 감지 공간에 대한 제3 측면 영상을 생성하는 제3 카메라 장치, 및 제4 방향을 향하여 배치되어 상기 감지 공간에 대한 제4 측면 영상을 생성하는 제4 카메라 장치를 더 포함하며, 상기 제3 방향은 상기 제2 방향과 교차하고, 상기 제4 방향은 상기 제3 방향과 교차하며, 상기 제어부는 상기 제1 내지 제4 측면 영상들 중 2개의 측면 영상들에 기초하여 제1 서브 입력 객체를 검출하고, 상기 제1 내지 제4 측면 영상들 중 나머지 2개의 측면 영상들에 기초하여 제2 서브 입력 객체를 검출할 수 있다.

상기 표시 장치는, 상기 표시 패널의 전방 일측에 배치되어 상기 표시 패널의 표시면에 평행하게 초음파를 발산하는 초음파 트랜스듀서들을 더 포함하고, 상기 입력 객체가 상기 표시 패널에 인접할수록 상기 초음파에 의해 상기 입력 객체에 가해지는 압력이 증가할 수 있다.

상기 다른 과제를 해결하기 위한 일 실시예에 따른 공간 터치 감지 장치는, 스크린의 전방에 배치되며, 상기 스크린으로부터 기 설정된 거리까지의 감지 공간에 대한 측면 영상들을 획득하는 입력 감지부; 및 상기 측면 영상들로부터 상기 감지 공간에 위치하는 입력 객체를 검출하고, 상기 입력 객체의 3차원 위치 정보를 산출하며, 상기 입력 객체의 상기 3차원 위치 정보에 기초하여 비접촉 방식의 공간 터치 입력을 인식하는 제어부를 포함한다.

기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명의 실시예들에 따른 표시 장치는, 표시부의 전방에서 감지 공간의 측면 영상들을 획득하고, 측면 영상들로부터 감지 공간 내 입력 객체의 3차원 위치를 산출함으로써, 표시부로부터 근거리에 형성된 감지 공간 내에서 3차원의 터치 입력을 감지할 수 있다.

본 발명의 실시예들에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.

도 1은 본 발명의 일 실시예에 따른 표시 장치를 나타내는 사시도이다.
도 2a 및 도 2b는 도 1의 표시 장치에 포함된 표시부의 일 예를 나타내는 분해 사시도들이다.
도 2c는 도 1의 표시 장치의 일 예를 나타내는 하측면도이다.
도 2d는 도 1의 Q1 영역을 확대한 도면이다.
도 3a 내지 도 3c는 도 1의 표시 장치에 포함된 입력 감지부에 의해 형성된 감지 공간의 일 예를 나타내는 도면들이다.
도 4a 내지 도 4e는 도 1의 표시 장치에 의해 배치된 입력 감지부의 다양한 배치예를 나타내는 도면들이다.
도 5a는 본 발명의 다른 실시예들에 따른 표시 장치를 나타내는 도면이다.
도 5b는 도 5a의 표시 장치에 의해 형성된 감지 공간의 일 예를 나타내는 평면도이다.
도 6은 도 1의 표시 장치에 포함된 제어부의 일 예를 나타내는 블록도이다.
도 7a 내지 도 7f는 도 6의 제어부에서 입력 객체를 감지하는 과정을 설명하는 도면들이다.
도 8a 및 도 8b는 위치에 따른 포인터의 입력 이미지를 나타낸 개략도들이다.
도 9는 근접 포인터의 원본 영상과 변환 영상을 비교 도시한 개략도이다.
도 10은 변환 영상의 비율 분석 방법을 나타낸 개략도이다.
도 11a 및 도 11b는 도 1의 표시 장치에 포함된 감각 제공부의 일 예를 나타내는 도면이다.
도 12는 본 발명의 또 다른 실시예에 따른 표시 장치를 나타내는 도면이다.
도 13은 도 12의 표시 장치가 멀티 입력을 감지하는 구성을 설명하는 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

이하, 첨부된 도면을 참고로 하여 본 발명의 실시예들에 대해 설명한다.

도 1은 일 실시예에 따른 표시 장치를 나타내는 사시도이다.

도 1을 참조하면, 표시 장치(1)는 표시부(100), 입력 감지부(300) 및 제어부(500)를 포함한다.

표시부(100)는 영상을 제공할 수 있다. 여기서, 영상이 표시되는 표시부(100)의 일 면을 표시면으로 정의하고, 표시 장치(1)의 상측, 하측, 좌측, 우측은 도 1에 도시된 표시부(100)의 표시면을 기준으로(예를 들어, 제1 방향(D1) 및 제2 방향(D2)에 의해 형성되는 면을 기준으로) 상측, 하측, 좌측, 우측으로 정의한다. 또한, 표시 장치(1)의 전방(또는, 상부)은 표시면에 수직하는 방향(즉, 제3 방향(D3))을 기준으로 표시면이 보이는 방향으로 정의하고, 표시 장치(1)의 후방(또는, 하부)은 표시면이 보이지 않는 방향으로 정의한다.

표시부(100)는 사각형의 평면 형상을 가질 수 있다. 표시부(100)는 특정 곡률 반경을 가지는 휘어진 곡면형 표시 모듈일 수 있다. 예를 들어, 표시부(100)의 표시면은 약 1.5m의 곡률 반경을 가지고 휘어질 수 있다. 표시부(100)는 도 1에 도시된 바와 같이 전방에서 후방으로 오목한 형상을 가질 수도 있고, 그와 반대로 볼록한 형상을 가질 수도 있다. 그러나, 이에 제한되는 것은 아니며, 표시부(100)는 평탄한 표시면을 가지는 평면형 표시 모듈일 수도 있다. 이하에서는, 표시부(100)는 곡면형 표시 모듈인 경우를 예로 하여 설명하기로 한다.

표시부(100)은 광을 방출하는 방식에 따라, 액정 표시 장치(LCD), 유기발광 표시 장치(OLED), 플라즈마 표시 장치(PDP), 전계방출 표시 장치(FED) 등일 수 있다. 표시부(100)의 보다 구체적인 구성에 대해서는 도 2a를 참조하여 후술하기로 한다.

입력 감지부(300)는 표시부(100)의 전방에 설정된 감지 공간(또는, 감지 영역, 도 3a 참조)에 대한 감지 데이터를 생성할 수 있다. 여기서, 감지 공간은 표시부(100)의 표시면과 동일하거나 유사한 면적(표시면에 평행한 평면 또는 곡면 기준)을 가지고 표시부(100)의 표시면으로부터 기 설정된 거리(예를 들어, 최대 1m) 이내에 위치하는 공간으로 소정의 체적을 갖는 3차원적 공간이며, 입력 객체(OBJ)에 의해 비접촉 방식의 공간 터치(air touch)가 입력되는 공간일 수 있다. 입력 객체(OBJ)는 포인터를 포함할 수 있다. 포인터는 방향이나 위치를 나타내는 지시 수단으로, 사용자의 손가락, 펜, 지시봉, 지휘봉, 안테나, 막대기 등이 포인터로 사용될 수 있다. 도면에서는 포인터의 예로서, 사용자의 손(또는 손가락)과 펜이 예시되어 있지만, 적용가능한 포인터의 예가 그에 제한되는 것은 아님은 자명하다.

입력 감지부(300)는 입력 객체(OBJ)가 위치하는 감지 공간에 대한 감지 데이터를 생성할 수 있다. 감지 데이터는 후술하는 제어부(500)에 의해 터치 이벤트를 생성하는데 이용될 수 있다.

실시예들에서, 입력 감지부(300)는 표시부(100)의 전방에 배치되며, 감지 공간에 대한 측면 영상들(또는, 측면 영상 데이터들)을 획득할 수 있다.

일 실시예에서, 입력 감지부(300)는 제1 카메라 장치(311) 및 제2 카메라 장치(312)를 포함할 수 있다. 제1 카메라 장치(311)는 표시부(100)의 전방에 배치되되, 표시부(100)의 표시면을 가로지르는 제1 시선 방향(DR1)을 향하여 배치되며, 감지 공간에 대한 제1 측면 영상을 생성할 수 있다. 제1 시선 방향(DR1)은 표시면을 사선 방향(즉, 표시면의 변을 기준으로 경사진 방향)으로 가로지르는 방향일 수 있고, 예를 들어, 표시부(100)의 모서리들(또는, 코너부들) 중 하나의 모서리로부터 표시면의 면적 중심을 향하는 방향일 수 있다.

유사하게, 제2 카메라 장치(312)는 표시부(100)의 전방에서 제1 카메라 장치(311)로부터 이격되어 배치되되, 표시부(100)의 표시면을 가로지르는 제2 시선 방향(DR2)을 향하여 배치되며, 감지 공간에 대한 제2 측면 영상을 생성할 수 있다. 여기서, 제2 시선 방향(DR2)은 제1 시선 방향(DR1)과 교차하고, 예를 들어, 제2 시선 방향(DR2)은 제1 시선 방향(DR1)에 수직하거나, 둔각을 형성할 수 있다. 제2 시선 방향(DR2)은 표시면을 사선 방향으로 가로지르는 방향일 수 있고, 예를 들어, 표시부(100)의 모서리들 중 다른 하나의 모서리로부터 표시면의 면적 중심을 향하는 방향일 수 있다.

도 1에 도시된 바와 같이, 제1 카메라 장치(311)는 표시부(100)의 좌측 상단 모서리에 배치되되, 제1 카메라 장치(311)의 시선축이 표시면의 면적 중심을 향하도록 배치될 수 있다. 유사하게, 제2 카메라 장치(312)는 표시부(100)의 우측 상단 모서리에 배치되되, 제2 카메라 장치(312)의 시선축이 표시면의 면적 중심을 향하도록 배치될 수 있다.

제1 및 제2 카메라 장치들(300: 311, 312)은 90도 이상의 화각(view angle, 또는 field of view)을 가질 수 있다. 이 경우, 제1 및 제2 카메라 장치들(311, 312) 각각은 표시부(100)의 전방의 감지 공간을 음영 구역 없이 촬영할 수 있다.

참고로, 영상(또는, 비전)에 기초하여 입력 객체(OBJ)를 감지하기 위해 사용되는 일반적인 카메라 장치는, 일반적인 표시 장치의 일 측에서 표시 장치의 전방을 향하여 배치되어 비교 감지 공간에 대한 정면 영상을 획득한다. 여기서, 실시예에 따른 감지 공간에 대응하는 공간인 비교 감지 공간은 통상 표시부(100) 표면으로부터 카메라 장치의 최소 초점거리 이상의 거리만큼 이격된다. 즉, 일반적인 카메라 장치의 렌즈 초점거리에 의할 때, 사용자의 손이 일반적인 카메라 장치로부터 20cm 이상 이격되어야 사용자의 손을 정확히 감지할 수 있기 때문에, 그보다 가까운 거리에 위치하는 공간에서는 입력 객체(OBJ)를 감지하기 어렵다. 이와 같은 한계를 뛰어넘기 위해 렌즈 초점 거리가 짧은 카메라 장치를 사용할 수 있지만, 해당 카메라 장치는 화각이 좁아 표시 장치 전면 전체에서 입력 객체(OBJ)를 감지하는 데에 어려움이 있다.

반면, 실시예들에 따른 입력 감지부(300)는 상호 이격되어 배치되고, 감지 공간에 대한 정면 영상이 아닌 측면 영상들을 획득하여 위치를 감지하기 때문에, 표시부(100)의 표면으로부터 그에 인접한 공간(예를 들어, 표시부(100)의 표시면으로부터 1m 이내의 공간) 내에 위치하는 입력 객체(OBJ)를 모두 감지할 수 있다.

한편, 도 1에서 제1 및 제2 카메라 장치들(311, 312)이 표시부(100)의 좌측 상단 모서리 및 우측 상단 모서리에 배치되는 것으로 도시되어 있으나, 이는 예시적인 것으로, 이에 한정되는 것은 아니다. 제1 및 제2 카메라 장치들(311, 312)의 다양한 배치에 대해서는 도 4a 내지 도 4f를 참조하여 후술하기로 한다.

또한, 도 1에서 입력 감지부(300)는 2개의 카메라 장치들(311, 312)를 포함하는 것으로 도시되어 있으나, 이는 예시적인 것으로, 입력 감지부(300)는 3개 이상의 카메라 장치들을 포함할 수도 있다. 이에 대해서는 도 12를 참조하여 후술하기로 한다.

일 실시예에서, 입력 감지부(300)는 적외선 광원(320)을 더 포함할 수 있다. 적외선 광원(320)은 감지 공간에 적외선 광을 투사할 수 있다. 여기서, 적외선 광은 약 940nm의 파장을 가지며, 감시 카메라에 사용되는 850nm의 파장을 가지는 적외선 광과 구분될 수 있다. 적외선 광원(320)은 투사각이 상대적으로 넓은 적외선 LED들, 또는 투사 밀도가 상대적으로 큰 적외선 레이저 광원들을 포함할 수 있다.

적외선 광원(320)이 구비되는 경우, 제1 카메라 장치(311) 및 제2 카메라 장치(312)는 적외선 카메라로 구현되거나, 가시 광선을 차단하는 가시광선 차단 필터를 포함할 수 있다. 이에 따라, 측면 영상들에 대한 감도가 향상되고, 입력 객체(OBJ)에 의해 반사된 적외선 광에 의해 입력 객체(OBJ)가 보다 용이하게 검출될 수 있다. 한편, 표시 장치(1)는 슬롯 머신과 같은 오락기기에 적용되어, 카지노와 같은 오락장에서 사용될 수 있는데, 오락장의 높은 휘도의 조명, 영상들에 의해 일반적인 가시 영상에 대한 가공만으로는 입력 객체(OBJ)가 용이하게 검출되지 않을 수 있다. 따라서, 실시예들에 따른 입력 감지부(300)는 가시 광선과는 다른 적외선 광(또한, 오락장의 감시 카메라에서 사용되는 적외선 광과는 구별되는 파장의 적외선 광)을 이용함으로써, 입력 객체(OBJ)를 보다 정확하게 검출할 수 있다.

도 1에 도시된 바와 같이, 적외선 광원(320)은 표시부(100)의 상측변에 인접하여 배치될 수 있다. 다만, 이는 예시적인 것으로, 적외선 광원(320)은 표시부(100)의 하측변에 인접하여 배치되거나, 표시부(100)의 상측변 및 하측변 각각에 배치될 수도 있다. 또한, 적외선 광원(320)은 표시부(100)의 좌측변, 또는 우측변에 배치될 수도 있다.

제어부(500)는 측면 영상들(즉, 입력 감지부(300)에서 획득한 감지 데이터)로부터 입력 객체(OBJ)를 검출하고, 측면 영상들에서의 입력 객체(OBJ)의 위치 정보에 기초하여 입력 객체(OBJ)의 3차원 위치 정보를 산출하며, 3차원 위치 정보에 기초하여 공간 터치 입력을 인식하거나 터치 이벤트를 생성할 수 있다. 예를 들어, 제어부(500)는 측면 영상들을 영상 처리하여 입력 객체를 검출하고, 기 설정된 카메라 장치들(311, 312) 각각의 위치 정보, 측면 영상들에서 입력 객체의 위치 정보(또는, 방향 정보)에 기초하여 입력 객체의 3차원 위치 정보를 산출하며, 상기 3차원 위치 정보의 변화(예를 들어, 제3 방향(D3)으로의 변화)에 기초하여 터치 이벤트를 생성할 수 있다.

또한, 제어부(500)는 표시부(100)에 영상 데이터를 제공하며, 터치 이벤트에 대응하여 영상 데이터를 제어하거나 변화시킬 수 있다. 나아가, 제어부(500)는 터치 이벤트에 대응하여 감각 제어 신호를 생성할 수도 있다.

몇몇 실시예에서, 표시 장치(1)는 감각 제공부(700)를 더 포함할 수 있다. 감각 제공부(700)는 입력 객체(OBJ)에 대해 특정 감각(예를 들어, 촉감)을 제공할 수 있다.

감각 제공부(700)는 표시부(100)의 전방에 배치될 수 있다. 도 1에 도시된 바와 같이, 감각 제공부(700)는 표시부(100)의 하측변에 인접하여 배치되며, 감지 공간에 감각 신호를 제공할 수 있다. 예를 들어, 감각 제공부(700)는 초음파 발생기들(또는, 초음파 트랜스듀서들)을 포함하고, 초음파 발생기들은 표시부(100)의 하측변으로부터 표시부(100)의 상측변을 향해 초음파를 발산할 수 있다.

입력 객체(OBJ)가 감각 영역(예를 들어, 초음파가 미치는 영역으로, 감지 공간과 유사하거나 이에 포함되는 공간) 내에 진입하는 경우, 초음파에 의해 입력 객체(OBJ)의 단부(즉, 감각 영역 내에 진입한 부분)가 진동할 수 있으며, 사용자는 입력 객체(OBJ)의 진동(예를 들어, 손의 진동)에 기초하여 터치 이벤트가 발생됨을 인지할 수 있다.

감각 제공부(700)는 제어부(500)에서 제공되는 감각 제어 신호에 기초하여 초음파를 발생시킬 수 있다. 즉, 감각 제공부(700)는 터치 이벤트가 발생한 경우에 한하여 초음파를 발생시킬 수 있다. 이와 달리, 감각 제공부(7000는 감각 제어 신호와 무관하게 주기적으로 초음파를 발생시킬 수도 있다.

일 실시예에서, 감각 제공부(700)는 입력 객체(OBJ)와 표시부(100) 사이의 거리에 기초하여 초음파의 세기(즉, 촉감각의 크기)를 변화시킬 수 있다. 예를 들어, 감각 제공부(700)는 입력 객체(OBJ)가 표시부(100)에 인접할수록 초음파의 세기를 증가시킬 수 있다.

도 1을 참조하여 설명한 바와 같이, 표시 장치(1)는 입력 감지부(300)를 통해 감지 공간에 대한 측면 영상들을 획득하며, 제어부(500)를 통해 측면 영상들로부터 입력 객체(OBJ)를 추출하고, 입력 객체(OBJ)의 3차원 위치에 기초하여 공간 터치 입력을 인지하거나 터치 이벤트를 생성할 수 있다.

또한, 입력 감지부(300)는 감지 공간에 대한 측면 영상들을 획득함으로써, 표시부(100)의 표시면에 인접한 입력 객체(OBJ)를 감지하고, 입력 객체(OBJ)의 제3 방향(D3)으로의 위치 변화(또는, 표시면으로부터 입력 객체(OBJ)까지의 거리)를 보다 정확하게 감지할 수 있다.

나아가, 입력 감지부(300)에 포함된 제1 및 제2 카메라 장치들(311, 312)은 상호 이격되어, 표시부(100)의 상호 다른 모서리들에 각각 인접하여 배치됨으로써, 음영 구역 없이 표시면의 전방 전체의 감지 공간에서 입력 객체(OBJ)를 감지할 수 있다.

한편, 입력 감지부(300), 제어부(500)(및 감각 제공부(700))는 하나의 모듈(예를 들어, 공간 터치 감지 모듈)로 구현될 수 있다.

도 2a 및 도 2b는 도 1의 표시 장치에 포함된 표시부의 일 예를 나타내는 분해 사시도들이다. 도 2c는 도 1의 표시 장치의 일 예를 나타내는 하측면도이다. 도 2d는 도 1의 Q1 영역을 확대한 도면이다.

도 2a 내지 도 2d를 참조하면, 표시부(100)는 표시 모듈(110) 및 하우징(130: 131, 132, 133, 134)을 포함할 수 있다.

표시 모듈(110)은 액정표시모듈로 구현되고, 도 2b에 도시된 바와 같이, 액정 표시 패널(111), 광원(113), 백플레이트(115) 및 광학 시트(117)를 포함할 수 있다.

액정 표시 패널(111)은 수직축을 기준으로 좌우로 오목하게 휘어진 곡면형 표시 패널일 수 있다. 액정 표시 패널(111)은 상호 대향하는 화소 전극과 공통 전극, 이들 사이에 배치된 액정층(또는, 액정 셀들), 화소 전극에 전압을 전달하는 트랜지스터들, 컬러 필터 및 편광 부재들을 포함할 수 있다.

광원(113)은 액정 표시 패널(111)에 광을 제공할 수 있다. 광원(113)은 복수의 LED들을 포함하고, LED들은 매트릭스 형태로 백플레이트(115)에 부착될 수 있다. 도 2에서는 광원(113)이 직하형으로 배치되어 있는 것이 도시되어 있으나, 광원(113)은 에지형으로 배치될 수도 있다.

백플레이트(115)는 광원(113)을 지지하고, 액정 표시 패널(111)을 커버할 수 있다. 백플레이트(115)는 곡면 형태로 휘어진 액정 표시 패널(111)의 원점(즉, 곡면을 연장하여 얻어진 가상의 원의 중심)과 동일한 원점의 동심원 상에서 액정 표시 패널(111)의 원주 방향을 따라 기 설정된 폭을 가질 수 있다. 백플레이트(115)는 복수의 직사각형의 플레이트들을 포함할 수 있고, 각 플레이트들은 액정 표시 패널(111)의 원점을 향하도록 배치될 수 있다.

광학 시트(117)는 액정 표시 패널(111)과 광원(113) 사이에 배치된다. 광학 시트(117)는 확산 시트, 프리즘 시트, 휘도 향상 시트 등을 포함할 수 있다.

한편, 도시되지 않았으나, 표시 모듈(110)은 액정 표시 패널(111)의 전방에 배치되어 액정 표시 패널(111)을 보호하는 윈도우를 더 포함할 수 있다.

다시 도 2a를 참조하면, 하우징(130)은 표시 모듈(110)을 수납하고, 표시 모듈(110)의 후면 및 측면으로부터 표시 모듈(110)을 보호할 수 있다. 또한, 하우징(130)은 입력 감지부(300) 및/또는 감각 제공부(700)를 수납하거나, 하우징(130)에 입력 감지부(300) 및/또는 감각 제공부(700)가 설치(mounted)될 수 있다.

하우징(130)은 본체부(131), 상부 커버(132), 측면 커버(133) 및 지지부(134)를 포함할 수 있다.

본체부(131)는 표시 모듈(110)에 대응하여 사각형의 평면 형상을 가지고, 표시 장치(1)가 휘어지는 방향으로 함께 휘어지며, 전면이 함몰되어 형성된 수납 공간을 포함할 수 있다. 수납 공간에는 표시 모듈(110)이 수납될 수 있다.

본체부(131)의 후면의 적어도 일부는 절개되거나 개방(open)될 수 있으며, 본체부(131)의 절개 또는 개방된 부분에는 모듈 형태의 제어부(150)가 배치될 수 있다.

상부 커버(132)는 본체부(131)의 상측(또는, 상측 전면)에 배치되며, 내부에 본체부(131)와의 사이에서 형성된 빈 공간을 포함할 수 있다. 빈 공간에는 입력 감지부(300)가 배치될 수 있다. 상부 커버(132)와 입력 감지부(300)는 하나의 모듈로 구성되어, 본체부(131)의 상측에 배치 또는 결합될 수 있다.

도 2c에 도시된 바와 같이, 상부 커버(132)의 하측에는, 상부 커버(132)와 본체부(131) 사이에서 빈 공간과 외부를 연통하는 개구(OP)가 형성될 수 있다. 하우징(130)은 개구의 적어도 일부를 커버하는 투명판(132-1)을 더 포함할 수 있다. 상부 커버(132)는 불투명하고 강성의 재질로 구성되어, 입력 감지부(300)가 외부에 노출되는 것을 방지할 수 있다. 개구(OP)에 배치되는 투명판(132-1)을 통해서는 입력 감지부(300)(또는, 적외선 광원(320))로부터 발산된 적외선 광이 투과되어 감지 공간에 제공될 수 있다.

한편, 상부 커버(132)의 개구(OP)의 일부는 투명판(132-1)에 의해 커버되지 않고, 제1 및 제2 카메라 장치들(311, 312)(예를 들어, 카메라 장치들(311, 312) 각각의 렌즈)이 외부로 노출될 수 있다. 이와 같은 구조에 의해 입력 객체(OBJ)에 의해 반사된 적외선 광이 투명판(132-1)(또는, 투명판(132-1)의 굴절률)에 의해 전반사되는 것이 방지될 수 있다.

다시 도 2a를 참조하면, 측면 커버(133)는 직사각형의 평면 형상을 가지고, 본체부(131)의 측면에 배치될 수 있다. 측면 커버(133)는 표시 모듈(110)의 측면으로부터 유입되는 광(예를 들어, 적외선 광)을 차단할 수 있다. 또한, 측면 커버(133)는 입력 감지부(300)(또는, 제1 및 제2 카메라 장치들(321, 322))의 설치 영역을 제공할 수도 있다.

일 실시예에서, 측면 커버(133)는 감지 공간을 정의할 수 있다. 예를 들어, 제1 및 제2 카메라 장치들(321, 322)로부터 획득한 측면 영상들에서, 측면 커버(133)와 중첩하여 표시되는 입력 객체(OBJ)만이 감지 영역 내에 존재하는 것으로 판단될 수도 있다.

지지부(134)(또는, 지지부재)는 제1 및 제2 카메라 장치들(311, 312)와 적외선 광원(320)을 지지할 수 있다. 지지부(134)는 제1 및 제2 카메라 장치들(311, 312)을 지지하는 제1 지지부(134-1)와 적외선 광원(320)을 지지하는 제2 지지부(미도시)를 포함할 수 있다.

도 2d에 도시된 바와 같이, 제1 지지부(134-1)는 본체부(131)(또는, 표시 모듈(110))의 상측면에 고정되는 고정부(134a)와, 고정부(134a)로부터 사선 방향(즉, 제4 방향(D4), 제1 카메라 장치(311)의 시선축에 수직하는 방향, 또는 고정부(134a)와 예각을 형성하는 방향)을 따라 연장된 제1 연장부(134b)와, 제1 연장부(134b)로부터 표시 모듈(110)의 전방으로 연장된 제2 연장부(134c)를 포함할 수 있다. 제2 연장부(134c)의 내측면에는 제1 카메라 장치(311)(또는, 제2 카메라 장치(312))가 고정될 수 있다.

고정부(134a)와 본체부(131)의 얼라인에 따라 제1 카메라 장치(311)의 수평각(즉, 제1 카메라 장치(311)의 시선축의 수평 성분)이 조절되고, 고정부(134a)를 기준으로 제1 연장부(134b)의 절곡된 각도에 따라 제1 카메라 장치(311)의 수직각(즉, 제1 카메라 장치(311)의 시선축의 수직 성분)이 조절될 수 있다.

한편, 도 2d에서는 제1 지지부(134-1)가 본체부(131)의 상측면에 배치되는 것으로 도시되어 있으나, 이에 한정되는 것은 아니며, 제1 지지부(134-1)는 본체부(131)의 측면 또는 측면 커버(133)에 배치될 수도 있다.

제2 지지부(미도시)는 본체부(131)(또는, 표시 모듈(110))의 상측면으로부터 상측으로 연장되고, 표시 모듈(110)의 전방으로 절곡되어 형성될 수 있다. 제2 지지부는 "ㄱ"자(또는, 역 "L"자) 형상을 가지며, 제2 지지부(미도시)의 내측면(즉, 본체부(131)의 상측면에 대향하는 면)에 적외선 광원(320)이 배치될 수 있다. 제2 지지부는 적외선 광원(320)으로부터 발산되는 적외선 광이 수평 방향으로 진행하는 것(즉, 적외선 광이 제1 및 제2 카메라 장치들(311, 312)로 직접적으로 유입되는 것)을 방지하는 측면 차광부재를 포함할 수도 있다.

몇몇 실시예에서, 표시부(100)는 입체필터부(미도시)를 더 포함할 수 있다. 입체필터부는 표시 모듈(110)의 전방에 배치될 수 있다. 예를 들어, 입체필터부는 표시 모듈(110)의 곡률 반경과 실질적으로 동일하거나 유사한 곡률 반경을 가지고, 표시 모듈(110)의 전방에 배치될 수 있다. 입체필터부는 표시 모듈(110)의 전면에 밀착되거나, 표시 모듈(110)의 전면으로부터 이격되어 배치될 수 있다.

입체필터부(미도시)는 렌티큘러 렌즈(lenticular lens sheet)를 포함할 수 있다. 렌티큘러 렌즈에 의해 표시 모듈(110)의 좌안 영상을 사용자의 왼쪽 눈에, 우안 영상을 사용자의 오른쪽 눈에 제공함으로써, 사용자에게 3차원 입체 영상을 제공할 수 있다. 렌티큘러 렌즈가 표시 모듈(110)과 동일한 곡률로 오목하게 형성되는 경우, 오목한 공간인 허공에서 영상이 존재하는 것과 같은 착시 현상이 발생할 수 있다. 따라서, 착시 현상으로 인하여 공간 상에 영상이 표시되는 것처럼 보이고, 사용자는 오목한 공간의 일정 깊이로 손을 넣어 영상을 터치함으로써, 공간감이 극대화될 수 있다.

도 2a 내지 도 2d를 참조하여 설명한 바와 같이, 표시부(100)는 상부 커버(132)를 이용하여 입력 감지부(300)를 커버하되, 상부 커버(132)의 적어도 일부는 입력 감지부(300)의 제1 및 제2 카메라 장치들(311, 312)을 노출시켜, 입력 객체(OBJ)에 의해 반사된 광을 모두 반영한 측면 영상들이 생성될 수 있도록 할 수 있다. 또한, 표시부(100)는 표시 모듈(110)의 측면에 배치되는 측면 커버들(133a, 133b)을 포함함으로써, 외부로부터 유입되는 광을 차단하고, 또한, 감지 공간을 보다 용이하게 정의하거나 형성할 수 있다.

도 3a 내지 도 3c는 도 1의 표시 장치에 포함된 입력 감지부에 의해 형성된 감지 공간의 일 예를 나타내는 도면들이다. 도 3b 및 도 3c에는 감지 공간의 평면이 도시되어 있다.

먼저 도 3a 및 도 3b를 참조하면, 제1 및 제2 카메라 장치들(311, 312)은 앞서 설명한 바와 같이, 표시부(110)의 전방에 배치되되, 표시부(110)의 좌상측 모서리 및 우상측 모서리에 각각 배치될 수 있다. 또한, 제1 및 제2 카메라 장치들(311, 312)의 시선축이 표시면의 면적 중심을 향하도록, 제1 및 제2 카메라 장치들(311, 312)이 배치될 수 있다. 제1 및 제2 카메라 장치들(311, 312)은 90도 이상의 화각, 예를 들어, 90도 또는 140도의 화각을 가질 수 있다.

감지 공간(SA)은 제1 카메라 장치(311)의 촬영 영역과 제2 카메라 장치(312)의 촬영 영역이 중첩하는 영역에 형성될 수 있다. 감지 공간(SA)은 제1 및 제2 카메라 장치들(311, 312)에 인접할수록 그 폭(또는, 두께, 즉, 표시부(110)의 표시면에 수직하는 방향으로의 길이)는 작고, 제1 및 제2 카메라 장치들(311, 312)로부터 멀어질수록 그 폭은 커질 수 있다. 다만, 이에 제한되는 것은 아니며, 표시부(110)의 곡률, 제1 및 제2 카메라 장치들(311, 312)의 배치 방향에 따라 감지 공간의 형상 및 폭은 달라질 수 있다.

도 3b에 도시된 바와 같이, 감지 공간(SA)은 표시 장치(1)의 전방에 위치하는 일 지점('P0' 참조)을 기준으로 원호(또는, 부채꼴)의 평면 형상을 가질 수 있다.

일 실시예에서, 제1 카메라 장치(311)의 시야각의 에지와 제2 카메라 장치(312)의 시야각의 에지가 표시 장치(1)(또는, 표시부(100)의 표시면))의 원점(P0)을 지나거나, 표시 장치(1)의 원점(P0)이 제1 카메라 장치(311)의 시야 범위와 제2 카메라 장치(312)의 시야 범위 내에 위치할 수 있다. 이 경우, 감지 공간(SA)은 표시 장치(1)의 전면 전체에서 동일한 두께(즉, 표시면에 수직하는 방향으로의 길이)를 가지고, 감지 공간의 형상에 따라 표시 장치(1)의 전면에서 동일한 최대 깊이(depth)를 가지는 공간 터치의 입력 범위가 제공될 수 있다. 예를 들어, 표시 장치(1)가 55인치의 표시면을 가지고 약 1.5m의 곡률 반경을 가지는 경우, 또한, 제1 및 제2 카메라 장치들(311, 312)이 표시면의 면적 중심('P1' 참조)을 향하여 배치된 경우, 제1 및 제2 카메라 장치들(311, 312)의 시야각의 에지는 표시 장치(1)의 원점(P0)을 지날 수 있다. 이 경우, 감지 공간(SA)은 약 1.5m의 반경을 가지는 원호 형상을 가지며, 표시 장치(1)는 표시 장치(1)의 원점(P0)에 위치하는 사용자(또는, 사용자의 시선)를 기준으로, 표시 장치(1)의 전면 전체 영역에서 최대 1.5m의 동일한 깊이(DE1)를 가지는 공간 터치의 입력 범위가 제공될 수 있다.

한편, 적외선 광원(320)이 표시 장치(1)의 전방으로 일정한 폭(예를 들어, 30cm)을 가지는 영역에 적외선 광을 투사하는 경우, 표시 장치(1)는 도 3c에 도시된 바와 같이 전면 전체 영역에서 동일한 깊이(DE2)(예를 들어, 최대 30cm 깊이)를 가지는 감지 공간(SA)이 형성될 수도 있다.

도 3a 내지 도 3c를 참조하여 설명한 바와 같이, 제1 및 제2 카메라 장치들(311, 312)의 시야각이, 표시 장치(1)의 곡률 반경의 원점(P0)을 지나도록 배치되는 경우, 별도의 영상 처리 없이, 표시 장치(1)의 전면 전체에서 동일한 깊이(도 3c의 'DE2')를 가지는 감지 공간(SA)이 형성되거나, 표시 장치(1)의 전면 전체에서 동일한 최대 깊이(도 3b의 'DE1')를 가지는 공간 터치의 입력 범위가 제공될 수 있다.

도 4a 내지 도 4e는 도 1의 표시 장치에 의해 배치된 입력 감지부의 다양한 배치예를 나타내는 도면들이다.

먼저 도 1, 도 3a 및 도 4a를 참조하면, 도 4a의 표시 장치(1_1)는 표시부(100)의 우하측 모서리에 인접하여 배치되는 제2 카메라 장치(312_1)를 포함한다는 점에서, 도 1의 표시 장치(1)와 상이하다. 제2 카메라 장치(312_1)를 제외하고, 도 4a의 표시 장치(1_1)는 도 1의 표시 장치(1)와 실질적으로 동일하거나 유사하므로, 중복되는 설명은 반복하지 않기로 한다.

제1 카메라 장치(311)는 표시부(100)의 좌상측 모서리에 인접하여 배치될 수 있다.

제1 및 제2 카메라 장치들(311, 312_2)에 의해 형성된 감지 공간(SA1)은, 도 3a를 참조하여 설명한 감지 공간(SA)과 실질적으로 동일하거나 유사할 수 있다. 다만, 제2 카메라 장치(312_1)는 제1 카메라 장치(311)로부터 최대한 이격되어 배치됨으로써, 표시 장치(1)의 크기가 작아지더라도, 입력 객체(OBJ)는 제1 및 제2 카메라 장치들(311, 312_1) 중 적어도 하나로부터 충분히(예를 들어, 30cm 이상) 이격될 수 있다. 따라서, 표시 장치(1)는 감지 공간(SA1) 내 입력 객체(OBJ)를 정확히 감지할 수 있다.

도 4b를 참조하면, 표시 장치(1_2)는 제1 및 제2 카메라 장치들(311, 312_2)을 포함하며, 제1 카메라 장치(311)는 표시부(100)의 좌상측 모서리에 인접하여 배치되고, 제2 카메라 장치(312_2)는 표시부(100)의 좌하측 모서리에 인접하여 배치될 수 있다.

제1 및 제2 카메라 장치들(311, 312_2)에 의해 형성된 감지 공간(SA2)은, 표시부(100)의 일측(예를 들어, 우측)에 인접할수록 두꺼운 두께를 가질 수 있다. 제1 및 제2 카메라 장치들(311, 312)은 표시부(100)의 좌측으로부터 유입되는 광에 대해 완전히 차단되므로, 표시부(100)의 좌측에 별도의 광원, 표시 장치, 적외선 광원 등이 배치되는 환경에서, 도 4b에 도시된 제1 및 제2 카메라 장치들(311, 312)의 배치가 적용될 수 있다. 또한, 표시부(100)의 일측에서 보다 깊은 깊이의 공간 터치 입력이 필요한 경우, 도 4b에 도시된 제1 및 제2 카메라 장치들(311, 312)의 배치가 적용될 수도 있다.

도 4c를 참조하면, 표시 장치(1_3)는 제1 및 제2 카메라 장치들(311, 312_3)을 포함하며, 제1 카메라 장치(311)는 표시부(100)의 좌상측 모서리에 인접하여 배치되고, 제2 카메라 장치(312_3)는 표시부(100)의 상측변 중앙 부분에 인접하여 배치될 수 있다. 도시되지 않았으나, 제2 카메라 장치(312)는 수직 방향으로 적외선 광원과 비중첩할 수 있다.

제2 카메라 장치(312_3)는 180도 이상의 화각을 가질 수 있고, 이 경우, 감지 공간(SA3)은 표시부(100)의 우측변으로 갈수록 큰 두께를 가질 수 있다. 즉, 표시부(100)의 일측(예를 들어, 우측변)에 상대적으로 큰 깊이를 가지는 공간 터치 입력이 허용될 수 있다.

도 4d를 참조하면, 표시 장치(1_4)는 제1 및 제2 카메라 장치들(311_4, 312_4)을 포함하며, 제1 카메라 장치(311_4)는 표시부(100)의 좌측변 중앙 부분에 배치되고, 제2 카메라 장치(312_4)는 표시부(100)의 상측변 중앙 부분에 인접하여 배치될 수 있다. 제1 및 제2 카메라 장치들(311_4, 312_4)의 화각은 180도 이상일 수 있다. 도 4d의 표시 장치는, 도 4c의 표시 장치의 감지 공간(SA3)과 실질적으로 동일하거나 유사한 감지 공간(SA4)을 가질 수 있다.

도 4e를 참조하면, 표시 장치(1_5)는 제1 및 제2 카메라 장치들(311_5, 312_5)을 포함하며, 제1 카메라 장치(311_5)는 표시부(100)의 좌측변 중앙 부분에 배치되고, 제2 카메라 장치(312_5)는 표시부(100)의 우측변 중앙 부분에 인접하여 배치될 수 있다. 제1 및 제2 카메라 장치들(311_5, 312_5)의 화각은 180도 이상일 수 있다. 이 경우, 표시 장치(1_5)는, 도 4a의 표시 장치(1_1)의 감지 공간(SA1)과 실질적으로 동일하거나 유사한 감지 공간(SA5)을 가질 수 있다. 한편, 제1 및 제2 카메라 장치들(311, 312)의 화각은 180도 이하(예를 들어, 90도)일 수 있으며, 표시 장치(1)의 전면 전체 대신 일부 영역(예를 들어, 표시면의 면적 중심을 기준으로 특정 거리 이내의 일부 영역)에 대해서만 공간 터치 입력을 감지하고자 하는 경우, 도 4e에 도시된 제1 및 제2 카메라 장치들(311_5, 312_5)의 배치가 적용될 수도 있다.

도 5a는 본 발명의 다른 실시예들에 따른 표시 장치를 나타내는 도면이다. 도 5b는 도 5a의 표시 장치에 의해 형성된 감지 공간의 일 예를 나타내는 평면도이다.

도 1, 도 5a 및 도 5b를 참조하면, 표시 장치(1_6)는 평면형 표시부(100)를 포함한다는 점에서, 도 1의 표시 장치(1)와 상이하다. 평면형 표시부(100)(및 평면형 표시부(100)에 대응하는 구성들)를 제외하고, 도 5a의 표시 장치(1_6)는 도 1의 표시 장치(1)와 실질적으로 동일하거나 유사하므로, 중복되는 설명은 반복하지 않기로 한다.

표시 장치(1_6)는 제1 및 제2 카메라 장치들(311, 312)을 포함하고, 제1 카메라 장치(311)는 표시부(100)의 좌상측 모서리에 인접하여 배치되고, 제2 카메라 장치(312)는 표시부(100)의 우상측 모서리에 인접하여 배치될 수 있다.

다만, 제1 카메라 장치(311)는 표시부(100)의 좌측변에 결합된 제1 측면 커버(133a)(또는, 좌측면 커버)의 단부에 인접하여 배치되고, 제2 카메라 장치(312)는 표시부(100)의 우측변에 결합된 제2 측면 커버(133b)(또는, 우측면 커버)의 단부에 인접하여 배치될 수 있다. 즉, 제1 및 제2 카메라 장치들(311, 312)는 표시부(100)(또는, 표시면)으로부터 제1 및 제2 측면 커버들(133a, 133b)의 폭(즉, 표시면에 수직하는 방향으로의 길이)만큼 이격되어 배치될 수 있다.

표시부(100)가 곡면형이 아닌 평면형으로 구현됨에 따라, 도 5b를 기준으로 제1 및 제2 카메라 장치(311, 312)가 표시면에 인접하여 배치되는 경우, 표시부(100)의 양측변에서 감지 공간의 두께가 상대적으로 작아, 표시부(100)의 양측변에서 충분한 깊이의 공간 터치 입력이 제공되지 않을 수 있다. 이와 달리, 제1 및 제2 카메라 장치(311, 312)가 전방을 향하여 배치되는 경우, 감지 공간(SA)이 불필요하게 커지며 불필요한 정보들(예를 들어, 표시면으로부터 1m 이상 이격된 객체들)이 감지되어, 표시 장치의 부하가 증가될 수 있다.

따라서, 표시부(100)의 양측변에서 제공되어야 할 공간 터치 입력의 깊이를 고려하여, 제1 및 제2 카메라 장치들(311, 312)은 표시부(100)로부터 전방으로 이격되어, 제1 및 제2 측면 커버들(133a, 133b)에 각각 배치될 수 있다. 예를 들어, 제공되어야 할 공간 터치 입력의 깊이가 클수록, 제1 및 제2 카메라 장치들(311, 312)은 표시부(100)로부터 보다 이격되어 배치될 수 있고, 또한, 제1 및 제2 측면 커버들(133a, 133b)의 폭(즉, 표시면에 수직하는 방향으로의 길이)도 증가될 수 있다.

한편, 제1 및 제2 카메라 장치들(311, 312)이 표시부(100)로부터 이격되는 경우, 표시부(100)의 양측변에서 음영 구역이 발생할 수 있다. 따라서, 제1 및 제2 카메라 장치들(311, 312)는 표시면의 면적 중심이 아닌 표시면의 후방에 위치하는 기준점을 향하도록 배치될 수 있다.

도 6은 도 1의 표시 장치에 포함된 제어부의 일 예를 나타내는 블록도이다. 도 7a 내지 도 7f는 도 6의 제어부에서 입력 객체를 감지하는 과정을 설명하는 도면들이다.

도 7a에는 입력 객체인 포인터의 일예로서 표시 장치(1)의 감지 공간 내에 위치하는 사용자의 손이 예시적으로 도시되어 있으며, 도 7b에는 도 7a의 표시 장치(1)에 포함된 제1 카메라 장치(311)에서 획득된 제1 측면 영상이 도시되고, 도 7c에는 도 7a의 표시 장치(1)에 포함된 제2 카메라 장치(312)에서 획득된 제2 측면 영상이 도시되어 있다. 적외선 광(즉, 도 1을 참조하여 설명한 적외선 광원(320)으로부터 감지 공간에 투사된 적외선 광)이 감지 공간 내 위치하는 사용자의 손에 의해 반사 또는 산란되어, 사용자의 손은 상대적으로 밝게 보일 수 있다.

도 6을 참조하면, 제어부(500)는 전처리부(610), 추출부(620) 및 산출부(630)를 포함할 수 있다. 또한, 제어부(500)는 이벤트 생성부(640)를 더 포함할 수 있다. 제1 및 제2 측면 영상들(IMGAE1, IMAGE2)에 대한 영상 처리 과정은 상호 실질적으로 동일하거나 유사하므로, 제1 및 제2 측면 영상들(IMGAE1, IMAGE2)에 대한 영상 처리 과정들 중 상호 공통되는 과정에 대해서는 제1 측면 영상(IMAGE1)을 기준으로 설명한다.

전처리부(610)는 제1 측면 영상(IMAGE1)에서 배경 영상을 제거하고, 노이즈를 제거하며, 또한, 입력 객체의 그림자를 제거할 수 있다. 즉, 전처리부(610)는 제1 측면 영상(IMAGE1)으로부터 손 영상이 용이하게 추출될 수 있도록, 제1 측면 영상을 전처리할 수 있다.

전처리부(610)는 배경 제거부(611), 노이즈 제거부(612) 및 그림자 제거부(613)를 포함할 수 있다.

배경 제거부(611)는 제1 측면 영상(IMAGE1)으로부터 기 설정된 배경 영상(IMAGE_BACK)을 차연산하여 제1 전처리 영상(IMAGE_B1)을 생성하거나 획득할 수 있다. 여기서, 기 설정된 배경 영상(IMAGE_BACK)은 표시부(100)의 표시면만이 표시되는 영역의 영상일 수 있다. 배경 제거부(611)는 해당 영역의 화소값을 0(예를 들어, 흑색)으로 변환할 수도 있다.

노이즈 제거부(612)는 제1 전처리 영상(IMAGE_B1)을 샘플링(또는, 이진화)하고 평활화(smoothing)하여, 노이즈가 제거된 제1 원본 영상(IMAEG_N1)을 획득할 수 있다. 예를 들어, 노이즈 제거부(612)는 임계값을 기준으로, 제1 전처리 영상(IMAGE_B1) 내 화소값들을 0 (예를 들어, 흑색) 또는 255 (예를 들어, 백색)으로 치환할 수 있다.

그림자 제거부(613)는 제1 원본 영상(IMAGE_N1)에 대해 그림자 제거 알고리즘을 적용하여 그림자 영상을 제거하고 그림자 제거 영상(IMAGE_S1)을 생성할 수 있다. 여기서, 그림자 영상은 표시부(100)의 표시면에 의해 손이 반사되어 표시되는 영상일 수 있다.

도 7d에 도시된 바와 같이, 제1 원본 영상(IMAGE_N1)은 후보 객체 영상들(OBJ_1, OBJ_1S)를 포함할 수 있다. 여기서, 후보 객체 영상들(OBJ_1, OBJ_1S)은 입력 객체(OBJ)로 인식될 수 있는 영상들로, 기준 크기(또는, 기준 면적) 이상의 크기를 가질 수 있다. 이 경우, 그림자 제거부(613)는 후보 객체 영상들(OBJ_1, OBJ_1S)의 크기, 대칭성, 배치 위치에 기초하여, 후보 객체 영상들(OBJ_1, OBJ_1S) 중 그림자 영상(OBJ_1S)을 결정하고, 제1 원본 영상(IMAGE_N1)으로부터 그림자 영상(OBJ_1S)을 제거할 수 있다. 예를 들어, 상호 동일하거나 유사한 형상의 후보 객체 영상들(OBJ_1, OBJ_1S)이 존재하는 경우, 상대적으로 크기가 작고 표시부(100)에 인접한 그림자 영상(OBJ_1S)을 선택하여, 제거할 수 있다.

추출부(620)는 전처리부(610)에서 최종 출력된 그림자 제거 영상(IMAGE_S1)으로부터 손 영상을 추출할 수 있다. 추출부(620)는 검출부(621), 추적부(622) 및 보정부(623)를 포함할 수 있다.

검출부(621)는 그림자 제거 영상(IMAGE_S1)에 대해 기 설정된 패턴들(예를 들어, 입력 객체의 특징 또는 특징점들을 포함하는 객체 패턴들)을 매칭하여, 포인터 영상을 검출할 수 있다. 예를 들어, 검출부(621)는 기 설정된 크기(즉, 기 설정된 개수 이상의 화소들)를 가지는 후보 객체 영상(OBJ1)을 추출하고, 후보 객체 영상(OBJ1)을 기 설정된 패턴과 매칭하여 손 영상을 검출할 수 있다. 여기서, 기 설정된 패턴들은, 예를 들어, 하나의 손가락만이 펴진 손에 대응하는 패턴(손가락, 손바닥, 손목 부분까지 특징점들을 포함하는 패턴), 주먹을 쥔 손에 대응하는 패턴, 손가락을 모두 펴진 손에 대응하는 패턴 등을 포함할 수 있다.

또한, 추출부(620)의 검출부(621)는 입력 객체인 포인터의 영상(도면에서 손 영상)이 검출되는 경우, 대응되는 패턴(즉, 손 영상의 검출에 사용된 패턴, 또는, 대응되는 패턴에 기 정의된 특징점)에 기초하여 입력 객체 영상의 기준점을 결정할 수 있다. 예를 들어, 도 7d에 도시된 바와 같이, 손가락 하나를 편 상태를 나타내는 패턴에 대응하는 손 영상(OBJ_1)이 검출된 경우, 손가락의 단부의 점이 기준점(P_OBJ1)으로 결정될 수 있다. 다른 예를 들어, 손가락을 모두 편 상태를 나타내는 패턴에 대응하는 손 영상이 검출된 경우, 손바닥의 중심 점이 기준점(P_OBJ1)으로 결정될 수 있다.

한편, 손가락이나 펜 등의 포인터는 제1 및 제2 카메라 장치(311, 312)와의 거리에 따라 입력 이미지의 형태가 달라질 수 있다. 이와 같이 입력 이미지 형태가 달라지는 경우에도 포인터를 정확하게 인식하고 검출하기 위해 검출부(621)는 형태 분석, 비율(크기) 분석 및/또는 다중 카메라 가중치 분석을 더 수행할 수 있다. 이를 위해 검출부(621)는 형태 분석부, 비율(크기) 분석부 및/또는 다중 카메라 가중치 분석부를 더 포함할 수 있다. 이에 대한 상세한 설명을 위해 도 8 내지 도 10이 참조된다.

도 8a 및 도 8b는 위치에 따른 포인터의 입력 이미지를 나타낸 개략도들이다.

도 8a 및 도 8b를 참조하면, 카메라 장치(310)로부터 포인터가 떨어진 거리에 따라 카메라 장치(310)에 입력되는 포인터의 이미지 영상 형태가 달라진다. 즉, 사용자의 손의 경우 도 8a에 도시된 바와 같이 원거리에서는 손 전체의 형상이 이미지 영상으로 입력될 수 있지만, 근거리에서는 손의 형태가 부분 형태로서 하나의 덩어리로 인식될 수 있다. 또한, 펜의 경우에도 도 8b에 도시된 것처럼 원거리에서는 펜 전체의 형상에 대한 입력 이미지를 얻을 수 있지만, 근거리에서는 펜의 형태가 부분적으로만 입력되어 하나의 덩어리로 보여질 수 있다.

이와 같이 포인터가 근거리에 위치하는 경우에도 형태 분석을 수행하면 포인터가 화면상 어디를 가리키는지 식별할 수 있다. 도 9는 근접 포인터의 원본 영상과 변환 영상을 비교 도시한 개략도이다. 도 9에 도시된 바와 같이, 근거리의 원본 이미지에 대해 특징점을 추출하여 연결해보면 손이나 펜의 단부는 주변에 비해 상대적으로 작은 곡률을 갖는다. 이와 같은 곡률을 인식함으로써, 근거리의 부분 입력 이미지에서 포인터가 어디를 향하고 있는지 결정할 수 있다. 근거리 부분 입력 이미지에 포인터 단부는 미리 저장되어 있는 이미지 패턴의 곡률과 비교하여 동일한 곡률을 갖는 지점으로 결정되거나, 특징점에 의해 형성되는 곡선에서 최소 곡률을 갖는 지점으로 결정될 수 있다.

도 10은 변환 영상의 비율 분석 방법을 나타낸 개략도이다. 도 10을 참조하면, 원거리 이미지 영상의 경우에도 포인터를 노이즈 이미지와 구분하기 위해 비율 분석을 수행할 수 있다. 비율 분석은 이미지의 세로 방향의 폭(상하 폭)과 가로 방향의 폭(좌우 폭)의 비율을 비교하는 방식으로 진행될 수 있다. 예를 들어, 손이나 펜의 경우에는 가로 방향의 폭이 세로 방향의 폭보다 큰 반면, 사람 몸의 경우 세로 방향의 폭이 가로 방향의 폭보다 더 큰 것으로 분석될 수 있다. 다른 예로, 비율 분석은 가장 긴 방향의 제1 폭과 제1 폭에 교차(대체로 수직)하는 방향의 제2 폭의 비율을 비교하는 방식으로 진행될 수도 있다. 도시된 예에서, 손이나 펜은 제1 폭과 제2 폭의 비가 2:1 이상이지만, 사람 몸은 제1 폭과 제2 폭의 비가 2:1 미만인 것으로 구분될 수 있다. 이와 같이, 세로 방향의 폭과 가로 방향의 폭의 비율 또는 제1 폭과 제2 폭의 비율을 비교함으로써 포인터를 정확하게 인식하고, 노이즈 이미지를 제거할 수 있다.

한편, 하나의 포인터가 각 카메라 장치(311, 312)에 입력되는 입력 이미지는 거리에 따라 상이하다. 정확한 객체 인식을 위해 카메라 장치(311, 312)와의 거리별로 가중치를 다르게 부여할 수 있다. 상술한 바와 같이, 근거리의 부분 입력 이미지도 형태 분석을 통해 포인터의 단부 및 포인터가 향하는 방향을 결정할 수 있지만, 원거리 전체 입력 이미지에 비해 그 정확도가 떨어질 수 있다. 이를 보완하기 위해 하나의 포인터에 대한 복수의 입력 이미지 중 원거리 입력 이미지에 가중치를 더 부여함으로써, 객체 인식의 정확도를 개선할 수 있다. 예를 들어, 도 1에 도시된 표시 장치(1)에서 입력 객체(OBJ)가 제2 카메라 장치(312)보다 제1 카메라 장치(311)에 상대적으로 가깝게 위치하는 경우, 제2 카메라 장치(312)를 통해 입력되는 영상 이미지에 더 많은 가중치를 부여하여 객체 인식을 수행할 수 있다. 가중치는 떨어진 거리에 따라 100:0의 비율부터 50:50의 비율까지 조절될 수 있다. 카메라 장치(311, 312)로부터 떨어진 거리는 포인터의 이미지의 크기를 측정하여 계산하거나, 후술하는 산출부(630)에 의해 산출된 포인터의 3차원 위치를 피드백 받아 그로부터 계산될 수 있다.

다시 도 6 및 도 7을 참조하면, 추적부(622)는 대상 객체인 포인터(도면에서 손) 추적 알고리즘을 이용하여 포인터 영상을 시간 경과에 따라 추적할 수 있다. 예를 들어, 추적부(622)는 시간 경과에 따른 손 영상(또는, 기준점)의 이동 경로에 기초하여 손 영상의 다음 위치를 예측할 수 있고, 예측된 손 영상의 다음 위치에 기초하여 손 영상을 신속하게 검출하거나, 손 영상이 일시적으로 검출되지 않더라도, 손 영상(또는, 기준점)을 특정 시간동안 유지시킬 수 있다. 이와 같은 방식을 통해 손 영상이 일시적으로 인식되지 않아 터치 입력이 이루어지지 않는 것을 방지할 수 있다.

보정부(623)는 기준점(P_OBJ1)의 위치 변화에 대한 시간 경과에 따른 노이즈를 제거할 수 있다. 예를 들어, 추적하는 포인터가 빠르게 움직이거나, 인식된 기준점(P_OBJ1)이 떨리는 경우, 보정부(623)는 칼만 필터, 로우 패스(low pass) 필터 등과 같은 필터를 이용하여 기준점(P_OBJ1)의 위치를 보정할 수 있다.

즉, 추출부(620)는 전처리된 측면 영상들로부터 포인터 영상(및/또는, 포인터 영상의 기준점)을 검출하되, 공간 터치 입력으로서 이용하기에 적합하게, 포인터 영상을 추적 및 보정할 수 있다.

산출부(630)는 포인터 영상(또는, 기준점(P_OBJ1))에 기초하여, 감지 공간 내에서의 포인터의 3차원 위치를 산출할 수 있다. 산출부(630)는 제1 위치 산출부(631) 및 제2 위치 산출부(632)를 포함할 수 있다.

제1 위치 산출부(631)는 표시부(100)의 표시면에 대응하는 평면에서의 포인터의 2차원 위치(또는, 좌표)를 산출할 수 있다. 도 7a에 도시된 바와 같이, 제1 위치 산출부(631)는 손 영상(OBJ_1)의 기준점에 기초하여 손 영상(OBJ_1)의 제11 위치각(ANG11)을 산출할 수 있다. 여기서, 제11 위치각(ANG11)은 제1 카메라 장치(131)를 기준으로 감지 공간의 상측면으로부터 입력 객체(OBJ) 사이의 각도일 수 있다. 제1 위치 산출부(631)는 제1 측면 영상의 상측변으로부터 손 영상(OBJ_1)의 기준점 사이의 거리(또는, 화소들의 수)에 기초하여 제11 위치각(ANG11)을 산출할 수 있다. 유사하게, 도 7c에 도시된 바와 같이, 제1 위치 산출부(631)는 손 영상(OBJ_2)의 기준점에 기초하여 손 영상(OBJ_2)의 제21 위치각(ANG21)을 산출할 수 있다.

이후, 도 7e에 도시된 바와 같이, 제1 위치 산출부(631)는 기 설정된 제1 카메라 장치(311)의 제1 카메라 위치 정보(P_C1), 제2 카메라 장치(312)의 제2 카메라 위치 정보(P_C2), 제11 위치각(ANG11) 및 제21 위치각(ANG21)에 기초하여, 포인터인 손의 2차원 위치(P_OBJ_XY)를 산출할 수 있다. 손의 2차원 위치(P_OBJ_XY)는 표시부(100)의 표시면 상에서 손이 위치하는 지점(또는, 좌표)일 수 있다.

제2 위치 산출부(632)는 표시부(100)의 표시면을 기준으로 포인터의 깊이(또는, 깊이 값, 손이 표시면으로부터 이격된 거리)를 산출할 수 있다. 도 7a 내지 도 7c에 도시된 바와 같이, 제2 위치 산출부(632)는 손 영상(OBJ_1, OBJ_2)의 기준점에 기초하여 제12 위치각(ANG12) 및 제22 위치각(ANG22)을 산출할 수 있다. 여기서, 제12 위치각(ANG12)은 제1 카메라 장치(131)를 기준으로 감지 공간의 정면(또는, 표시부(100)의 표시면)으로부터 입력 객체(OBJ) 사이의 각도일 수 있다.

이후, 제2 위치 산출부(632)는, 도 7f에 도시된 바와 같이, 기 설정된 제1 카메라 장치(311)의 제1 카메라 위치 정보(P_C1), 제2 카메라 장치(312)의 제2 카메라 위치 정보(P_C2), 제12 위치각(ANG12) 및 제22 위치각(ANG22)에 기초하여, 포인터인 손의 깊이(P_OBJ_Z)를 산출할 수 있다.

다시 도 6을 참조하면, 제2 위치 산출부(632)는 제1 위치 산출부(631)에서 산출된 손의 2차원 위치(P_OBJ_XY)와 포인터(손)의 깊이(P_OBJ_Z)에 기초하여 손의 3차원 위치(P_XYZ)를 생성할 수 있다.

한편, 이벤트 생성부(640)는 산출부(630)에서 생성된 손의 3차원 위치(P_XYZ)에 기초하여 터치 이벤트를 생성할 수 있다.

도 6 내지 도 7f를 참조하여 설명한 바와 같이, 제어부(600)는 영상 처리를 통해 측면 영상들로부터 입력 객체인 포인터(또는 손)을 검출하고, 포인터의 3차원 위치를 산출하며, 포인터의 3차원 위치에 기초하여 터치 이벤트를 생성할 수 있다.

또한, 제어부(600)는 표시부(100)의 표시면에 반사되어 나타나는 그림자를 제거함으로써, 포인터를 보다 정확하게 검출할 수 있다.

나아가, 제어부(600)는 포인터 영상을 추적하고, 포인터 영상을 시간 경과에 따라 보정함으로써, 보다 정확한 터치 이벤트를 생성할 수 있다.

도 11a 및 도 11b는 도 1의 표시 장치에 포함된 감각 제공부의 일 예를 나타내는 도면이다.

도 1 및 도 11a를 참조하면, 감각 제공부(700)는 표시부(100)의 전방 하측에 배치되되, 제1 방향(D1)을 따라 배열된 복수의 초음파 트랜스듀서들(710)을 포함할 수 있다. 초음파 트랜스듀서(710)는 제2 방향(D2)으로 지향성을 가지는 초음파(예를 들어, 40kHZ의 주파수를 가지는 초음파)를 발생시켜, 입력 객체(OBJ)의 적어도 일부에 압력을 가할 수 있다. 즉, 감각 제공부(700)는 음향방사력(acoustic radiation force) 법칙을 이용하여, 입력 객체(OBJ)에 촉감을 제공할 수 있다.

일 실시예에서, 감각 제공부(700)는 상호 다른 주파수 또는 상호 다른 강도(intensity)를 가지는 제1 초음파 트랜스듀서(711) 및 제2 초음파 트랜스듀서(712)를 포함할 수 있다. 제1 초음파 트랜스듀서(711)와 제2 초음파 트랜스듀서(712)는 복수의 행 또는 열로서 배열될 수 있다. 예를 들어, 제1 초음파 트랜스듀서(711)와 제2 초음파 트랜스듀서(712)는 각각 하나의 열을 이루며 제1 방향(D1)을 따라 배열되되, 제2 초음파 트랜스듀서(712)는 제1 초음파 트랜스듀서(712)보다 표시부(100)에 인접하여 배치될 수 있다.

제2 초음파 트랜스듀서(712)는 제1 초음파 트랜스듀서(711)에 비해 낮은 주파수 또는 큰 강도를 가질 수 있다. 이 경우, 입력 객체(OBJ)가 표시부(100)에 인접할수록 보다, 입력 객체(OBJ)에 보다 큰 압력(또는, 촉감)이 제공될 수 있다.

도 11a에서 초음파 트랜스듀서(710)는 제2 방향(D2)으로 초음파를 발산하는 것으로 도시되어 있으나, 이에 한정되는 것은 아니다.

도 11b를 참조하면, 감각 제공부(700_1)는 제3 초음파 트랜스듀서들(713) 및 제4 초음파 트랜스듀서들(714)을 포함할 수 있다. 제3 초음파 트랜스듀서들(713) 및 제4 초음파 트랜스듀서들(714)은 동일한 주파수(예를 들어, 40KHz)를 가지는 초음파를 생성 및 출력할 수 있다.

제3 초음파 트랜스듀서들(713)은 표시부(100)의 전방 하측에서 좌측변에 인접하여 배치되되, 제5 방향(D5)을 향하도록 배치되어, 제5 방향(D5)을 향하여 초음파를 발산할 수 있다. 유사하게, 제4 초음파 트랜스듀서들(714)은 표시부(100)의 전방 하측에서 우측변에 인접하여 배치되되, 제6 방향(D6)을 향하도록 배치되어, 제6 방향(D6)을 향하여 초음파를 발산할 수 있다. 제6 방향(D6)은 제5 방향(D5)과 교차함에 따라, 제3 초음파 트랜스듀서들(713)로부터 출력되는 초음파는 제4 초음파 트랜스듀서들(714)로부터 출력되는 초음파와, 복수의 지점들에서 교차할 수 있다.

이 경우, 제어부(500)는 입력 객체(OBJ)의 3차원 위치에 기초하여 특정 지점(즉, 촉감을 제공해야 할 지점)을 결정하고, 결정된 지점에 기초하여 제3 및 제4 초음파 트랜스듀서들(713, 714) 중 일부를 동작시키거나, 이들을 동작시키는 감각 제어 신호를 생성할 수 있다. 예를 들어, 도 11b에 도시된 입력 객체(OBJ)에 촉감을 제공하기 위해, 제어부(700)는 제1 서브 초음파 트랜스듀서(713a)와 제2 서브 초음파 트랜스듀서(714a)를 동작시킬 수 있다. 이때, 초음파가 중첩된 지점(또는, 영역)에서만 사용자에게 촉감으로 인식되기에 충분한 압력이 제공될 수 있다. 즉, 초음파가 중첩된 지점에서만 사용자는 촉감을 받을 수 있다.

한편, 도 11b에서 제3 초음파 트랜스듀서들(713) 및 제4 초음파 트랜스듀서들(714)은 표시부(100)의 하측에서 상호 구분되어 배열되는 것으로 도시되어 있으나, 이는 예시적인 것으로 이에 한정되는 것은 아니다. 예를 들어, 제3 및 제4 초음파 트랜스듀서들(713, 714)은 상호 교대로 배열될 수 있다. 다른 예를 들어, 제3 초음파 트랜스듀서들(713)은 표시부(100)의 하측에 배치되고, 제4 초음파 트랜스듀서들(714)은 표시부(100)의 좌측(또는, 우측)에 배치되며, 이들은 상호 교차하는 방향들로 초음파를 발산할 수도 있다. 즉, 제3 및 제4 초음파 트랜스듀설들(713, 714)은 복수의 지점들에서 상호 교차하는 초음파를 발산하는 경우라면, 이들의 위치는 제한되지 않는다.

또한, 제3 및 제4 초음파 트랜스듀서들(713, 714)은 도 11a에 도시된 감각 제공부(700)와 유사하게, 복수의 열들(또는, 복수의 행들)을 따라 배열될 수도 있다.

도 12는 본 발명의 또 다른 실시예에 따른 표시 장치를 나타내는 도면이다. 도 13은 도 12의 표시 장치가 멀티 입력을 감지하는 구성을 설명하는 도면이다. 도 13에는 표시 장치의 전면 상에서 카메라 장치들(311 내지 314)과 입력 객체들(OBJ1, OBJ2)의 위치가 도시되어 있다.

도 12를 참조하면, 표시 장치(1_7)는 제3 및 제4 카메라 장치들(313, 314)을 더 포함한다는 점에서, 도 1의 표시 장치(1)와 상이하다.

제3 카메라 장치(313)는 표시부(100)의 전방에서 제1 및 제2 카메라 장치들(311, 312)로부터 이격되어 배치되되, 표시부(100)의 표시면을 가로지르는 제3 시선 방향(DR3)을 향하여 배치되어, 감지 공간에 대한 제3 측면 영상을 생성할 수 있다. 유사하게, 제4 카메라 장치(314)는 표시부(100)의 전방에서 제3 카메라 장치(313)(및 제1 및 제2 카메라 장치들(311, 312))로부터 이격되어 배치되되, 표시 장치(1)의 표시면을 가로지르는 제4 시선 방향(DR4)을 향하여 배치되어, 감지 공간에 대한 제4 측면 영상을 생성할 수 있다.

제3 및 제4 카메라 장치들(313, 314)은 도 2a를 참조하여 설명한 상부 커버(132)와 실질적으로 동일하거나 유사한 하부 커버 내에 구비될 수 있다. 또한, 제3 및 제4 카메라 장치들(313, 314)은 도 2d를 참조하여 설명한 지지부(134)에 의해 고정될 수도 있다.

표시 장치(1_7)는 제1 내지 제4 카메라 장치들(311, 312, 313, 314)을 통해 2개의 입력 객체들(예를 들어, 사용자의 2개의 손들)을 감지할 수 있다.

표시 장치(1_7)의 전방의 감지 공간 내에 제1 및 제2 입력 객체들(OBJ1, OBJ2)이 위치하는 경우, 제1 및 제2 카메라 장치들(311, 312) 중 하나는 제1 및 제2 입력 객체들(OBJ1, OBJ2) 중 하나에 대한 영상을 획득하지 못할 수 있다. 즉, 도 12에 도시된 바와 같이, 제1 입력 객체(OBJ1)과 제2 입력 객체(OBJ2)가 제1 시선 방향(DRR1)(또는, 제3 시선 방향(DRR3))을 따라 위치하는 경우, 제1 카메라 장치(311)를 기준으로 제2 입력 객체(OBJ2)는 제1 입력 객체(OBJ1)에 의해 가려지므로, 제1 카메라 장치(311)는 제2 입력 객체(OBJ2)에 대한 영상을 생성하지 못할 수 있다. 제1 입력 객체(OBJ1)는 점이 아닌 부피를 가짐에 따라, 도 13에 도시된 바와 같이, 제1 카메라 장치(311)에 대한 음영구역(SZ)이 발생할 수 있다.

따라서, 표시 장치(1_7)는 제3 및 제4 카메라 장치들(313, 314)를 더 포함하고, 제3 및 제4 카메라 장치들(313, 314)를 이용하여 제1 입력 객체(OBJ1) 뿐만 아니라 음영구역(SZ) 내 위치하는 제2 입력 객체(OBJ2)를 검출할 수 있다.

도 6 및 도 13을 참조하면, 제1 카메라 장치(311)로부터 획득한 제1 측면 영상으로부터 제1 입력 객체(OBJ)에 대한 제1 기준점(P_OBJ1)의 위치 정보(예를 들어, 제11 위치각(ANG11))만이 획득될 수 있다. 유사하게, 제4 카메라 장치(314)로부터 획득한 제4 측면 영상으로부터 제2 입력 객체(OBJ2)에 대한 제2 기준점(P_OBJ2)의 위치 정보(예를 들어, 제42 위치각(ANG42))만이 획득될 수 있다. 한편, 제2 및 제3 카메라 장치들(312, 313)로부터 획득한 제2 및 제3 측면 영상들로부터 제1 및 제2 입력 객체들(OBJ1, OBJ2) 각각에 대한 위치 정보가 획득될 수 있다.

이 경우, 제어부(600)는 하나의 입력 객체에 대한 위치 정보만이 획득된 카메라 장치와 2개의 입력 객체들에 대한 위치 정보들이 획득된 카메라 장치를 하나의 그룹으로 결정하고, 해당 그룹의 정보에 기초하여 상기 하나의 입력 객체에 대한 3차원 위치를 산출할 수 있다. 또한, 나머지 2개의 카메라 장치들을 다른 하나의 그룹으로 결정하며, 해당 그룹의 정보에 기초하여 2개의 입력 객체들 중 다른 하나에 대한 3차원 위치를 산출할 수 있다.

예를 들어, 제2 카메라 장치(312)는 제1 카메라 장치(311)와 함께 제1 그룹으로 그룹핑되고, 제1 및 제2 카메라 장치들(311, 312)은 표시 장치(1_7)의 제1 장변(LS1)에 위치함에 따라, 제1 및 제2 입력 객체들 중 제1 장변(LS1)에 인접한 제1 입력 객체(OBJ1)에 대한 3차원 위치를 산출할 수 있다. 제2 카메라 장치(312)를 기준으로, 제1 입력 객체(OBJ1)의 제21 위치각(ANG21)은 제2 입력 객체(OBJ2)의 제22 위치각(ANG22)보다 작으므로, 제어부(500)는 제21 위치각(ANG21)을 제1 입력 객체(OBJ1)의 위치각으로 결정하고, 제11 위치각(ANG11) 및 제21 위치각(ANG21)에 기초하여 제1 입력 객체(OBJ1)의 3차원 위치를 산출할 수 있다.

유사하게, 제3 카메라 장치(313)는 제4 카메라 장치(314)와 함께 제2 그룹으로 그룹핑되고, 제3 및 제4 카메라 장치들(313, 314)은 표시 장치(1_7)의 제2 장변(LS2)에 위치함에 따라, 제1 및 제2 입력 객체들 중 제2 장변(LS2)에 인접한 제2 입력 객체(OBJ2)에 대한 3차원 위치를 산출할 수 있다. 제3 카메라 장치(313)를 기준으로, 제2 입력 객체(OBJ2)의 제32 위치각(ANG32)은 제1 입력 객체(OBJ1)의 제31 위치각(ANG31)보다 작으므로, 제어부(500)는 제32 위치각(ANG32)을 제2 입력 객체(OBJ2)의 위치각으로 결정하고, 제32 위치각(ANG32) 및 제42 위치각(ANG42)에 기초하여 제2 입력 객체(OBJ2)의 3차원 위치를 산출할 수 있다.

다른 예를 들어, 제3 카메라 장치(313)는 제1 카메라 장치(311)와 함께 제1 그룹으로 그룹핑되고, 제1 및 제3 카메라 장치들(311, 313)은 표시 장치(1_7)의 제1 단변(SS1)에 인접함에 따라, 제1 및 제2 입력 객체들 중 제1 단변(SS1)에 인접한 제1 입력 객체(OBJ1)에 대한 3차원 위치를 산출할 수 있다. 제3 카메라 장치(313)를 기준으로, 제1 입력 객체(OBJ1)의 제31 위치각(ANG31)은 제2 입력 객체(OBJ2)의 제32 위치각(ANG32)보다 크므로, 제어부(500)는 제31 위치각(ANG31)을 제1 입력 객체(OBJ1)의 위치각으로 결정하고, 제11 위치각(ANG11) 및 제31 위치각(ANG31)에 기초하여 제1 입력 객체(OBJ1)의 3차원 위치를 산출할 수 있다.

유사하게, 제2 카메라 장치(312)는 제4 카메라 장치(314)와 함께 제2 그룹으로 그룹핑되고, 제2 및 제4 카메라 장치들(312, 314)은 표시 장치(1_7)의 제2 단변(SS2)에 위치함에 따라, 제1 및 제2 입력 객체들 중 제2 단변(SS2)에 인접한 제2 입력 객체(OBJ2)에 대한 3차원 위치를 산출할 수 있다. 제2 카메라 장치(312)를 기준으로, 제2 입력 객체(OBJ2)의 제22 위치각(ANG32)은 제1 입력 객체(OBJ1)의 제21 위치각(ANG31)보다 크므로, 제어부(500)는 제22 위치각(ANG22)을 제2 입력 객체(OBJ2)의 위치각으로 결정하고, 제22 위치각(ANG22) 및 제42 위치각(ANG42)에 기초하여 제2 입력 객체(OBJ2)의 3차원 위치를 산출할 수 있다.

즉, 제어부(500)는 제1 내지 제4 카메라 장치들(311, 312, 313, 314)을 제1 및 제2 그룹들로 그룹핑하고, 제1 그룹에 대응하는 측면 영상들 중에서 제1 입력 객체(또는, 입력 객체의 정보)만을 획득하여 제1 입력 객체의 3차원 위치를 산출하며, 제2 그룹에 대응하는 측면 영상들 중에서 제2 입력 객체만을 획득하여 제2 입력 객체의 3차원 위치를 산출할 수 있다.

도 12 및 도 13을 참조하여 설명한 바와 같이, 표시 장치(1_7)는 2개의 카메라 장치들을 하나의 그룹으로 설정하여, 그룹별로 하나의 입력 객체를 감지할 수 있고, 이에 따라, 표시 장치(1_7)는 복수의 입력 객체들을 감지할 수 있다.

한편, 도 12 및 도 13에서, 표시 장치(1_7)는 4개의 카메라 장치들을 이용하여 2개의 입력 객체들을 감지하는 것으로 도시되어 있으나, 이는 예시적인 것으로 이에 한정되는 것은 아니다. 표시 장치(1_7)는 상호 이격되어 배치된 2N(단, N은 2 이상의 정수)개의 카메라 장치들을 이용하여 N개의 입력 객체들을 정확하게 감지할 수 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

1: 표시 장치
10: 공간 터치 감지 모듈
100: 표시부
130: 하우징
131: 본체부
132: 상부 커버
133: 측면 커버
134: 지지부
300: 입력 감지부
311, 312, 313, 314: 제1 내지 제4 카메라 장치들
320: 적외선 광원
500: 제어부
700: 감각 제공부

Claims

표시 패널;
상기 표시 패널의 전방에 배치되며, 상기 표시 패널의 표시면 전체로부터 기 설정된 거리까지의 감지 공간에 대한 측면 영상들을 획득하는 입력 감지부; 및
상기 측면 영상들로부터 상기 감지 공간에 위치하는 입력 객체를 검출하고, 상기 입력 객체의 상기 측면 영상들 내 위치 정보에 기초하여 상기 입력 객체의 3차원 위치 정보를 산출하며, 상기 입력 객체의 상기 3차원 위치 정보에 기초하여 비접촉 방식의 공간 터치 입력을 인식하는 제어부를 포함하는 표시 장치.
제1 항에 있어서,
상기 입력 감지부는,
상기 표시 패널의 상기 표시면을 가로지르는 제1 방향을 향하여 배치되어 상기 감지 공간에 대한 제1 측면 영상을 생성하는 제1 카메라 장치, 및
상기 제1 카메라 장치와 이격되고, 상기 제1 방향과 교차하는 제2 방향을 향하여 배치되어 상기 감지 공간에 대한 제2 측면 영상을 획득하는 제2 카메라 장치를 포함하고,
상기 제1 측면 영상 및 상기 제2 측면 영상은 상기 측면 영상들에 포함되는 표시 장치.
제2 항에 있어서,
상기 입력 감지부는 상기 감지 공간에 적외선 광을 발산하는 적외선 광원을 더 포함하고,
상기 제1 카메라 장치 및 상기 제2 카메라 장치는 적외선 카메라인 표시 장치.
제3 항에 있어서,
상기 표시 패널의 일측변에 인접하여 배치되되, 상기 표시 패널의 전방으로 돌출되고, 내부에 형성된 빈 공간을 포함하며, 상기 표시 패널과 인접한 일 면에 형성된 개구를 포함하는 상부 커버; 및
상기 개구를 커버하되, 상기 개구의 양 측에서 상기 빈 공간을 노출시키는 투명판을 더 포함하고,
상기 적외선 광원, 상기 제1 카메라 장치, 및 상기 제2 카메라 장치는 상기 상부 커버의 빈 공간에 배치되며,
상기 적외선 광원은 상기 투명판에 의해 커버되고,
상기 제1 카메라 장치는 상기 상부 커버의 일측에 인접하여 배치되되, 상기 개구에 의해 노출되며,
상기 제2 카메라 장치는 상기 상부 커버의 타측에 인접하여 배치되되, 상기 개구에 의해 노출되는 표시 장치.
제4 항에 있어서,
상기 표시 패널은 표시면이 오목한 곡면형 표시 패널이고,
상기 제1 카메라 장치 및 상기 제2 카메라 장치 각각은 상기 표시 패널의 상기 표시면의 면적 중심을 향하도록 배치되는 표시 장치.
제5 항에 있어서,
상기 감지 공간은 상기 제1 카메라 장치의 촬영 영역과 상기 제2 카메라 장치의 촬영 영역이 중첩하는 영역으로 정의되고,
상기 감지 공간은 상기 표시 패널 전체에서 상기 표시면에 수직하는 방향으로 동일한 폭을 가지는 표시 장치.
제3 항에 있어서,
상기 표시 패널의 가장자리의 적어도 일부로부터 상기 표시 패널의 전방으로 돌출된 커버부를 더 포함하고,
상기 커버부는, 상기 감지 공간을 정의하며, 상기 표시 패널의 측방으로부터 상기 감지 공간으로 유입되는 적외선 광을 차단하는 표시 장치.
제2 항에 있어서,
상기 입력 감지부는,
제3 방향을 향하여 배치되어 상기 감지 공간에 대한 제3 측면 영상을 생성하는 제3 카메라 장치, 및
제4 방향을 향하여 배치되어 상기 감지 공간에 대한 제4 측면 영상을 생성하는 제4 카메라 장치를 더 포함하며,
상기 제3 방향은 상기 제2 방향과 교차하고,
상기 제4 방향은 상기 제3 방향과 교차하며,
상기 제어부는 상기 제1 내지 제4 측면 영상들 중 2개의 측면 영상들에 기초하여 제1 서브 입력 객체를 검출하고, 상기 제1 내지 제4 측면 영상들 중 나머지 2개의 측면 영상들에 기초하여 제2 서브 입력 객체를 검출하는 표시 장치.
제1 항에 있어서,
상기 표시 패널의 전방 일측에 배치되어 상기 표시 패널의 표시면에 평행하게 초음파를 발산하는 초음파 트랜스듀서들을 더 포함하고,
상기 입력 객체가 상기 표시 패널에 인접할수록 상기 초음파에 의해 상기 입력 객체에 가해지는 압력이 증가하는 표시 장치.
스크린의 전방에 배치되며, 상기 스크린으로부터 기 설정된 거리까지의 감지 공간에 대한 측면 영상들을 획득하는 입력 감지부; 및
상기 측면 영상들로부터 상기 감지 공간에 위치하는 입력 객체를 검출하고, 상기 입력 객체의 3차원 위치 정보를 산출하며, 상기 입력 객체의 상기 3차원 위치 정보에 기초하여 비접촉 방식의 공간 터치 입력을 인식하는 제어부를 포함하는 공간 터치 감지 장치.