KR102224715B1 - 3차원 인터랙션 장치, 이를 포함하는 디스플레이 장치, 및 상기 3차원 인터랙션 장치의 구동 방법 - Google Patents

3차원 인터랙션 장치, 이를 포함하는 디스플레이 장치, 및 상기 3차원 인터랙션 장치의 구동 방법 Download PDF

Info

Publication number
KR102224715B1
KR102224715B1 KR1020130122216A KR20130122216A KR102224715B1 KR 102224715 B1 KR102224715 B1 KR 102224715B1 KR 1020130122216 A KR1020130122216 A KR 1020130122216A KR 20130122216 A KR20130122216 A KR 20130122216A KR 102224715 B1 KR102224715 B1 KR 102224715B1
Authority
KR
South Korea
Prior art keywords
depth
depth camera
view
field
camera
Prior art date
Application number
KR1020130122216A
Other languages
English (en)
Other versions
KR20150043653A (ko
Inventor
윤영준
김영일
제사다 언그나파타닌
송훈
이홍석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130122216A priority Critical patent/KR102224715B1/ko
Priority to US14/272,121 priority patent/US9727144B2/en
Publication of KR20150043653A publication Critical patent/KR20150043653A/ko
Application granted granted Critical
Publication of KR102224715B1 publication Critical patent/KR102224715B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Mechanical Light Control Or Optical Switches (AREA)
  • Studio Devices (AREA)

Abstract

3차원 공간에서 사용자의 동작을 인식하여 3차원 인터랙션 기능을 수행할 수 있는 3차원 인터랙션 장치, 상기 3차원 인터랙션 장치를 포함하는 디스플레이 장치, 및 상기 3차원 인터랙션 장치의 구동 방법이 개시된다. 개시된 3차원 인터랙션 장치는, 피사체의 거리 정보를 포함하는 깊이 영상을 얻기 위한 깊이 카메라, 상기 깊이 카메라의 전방에 배치되며 상기 깊이 카메라의 시야를 조절하기 위하여 빛을 굴절시켜 빛의 진행 경로를 조절하는 능동 광학 소자, 및 상기 능동 광학 소자의 동작을 제어하여 빛의 굴절 방향을 조절하는 구동부를 포함할 수 있다.

Description

3차원 인터랙션 장치, 이를 포함하는 디스플레이 장치, 및 상기 3차원 인터랙션 장치의 구동 방법 {3D interaction apparatus, display device including the same, and method of driving the same}
개시된 실시예들은 3차원 인터랙션 장치, 이를 포함하는 디스플레이 장치, 및 상기 3차원 인터랙션 장치의 구동 방법에 관한 것으로, 보다 상세하게는, 3차원 공간에서 사용자의 동작을 인식하여 3차원 인터랙션 기능을 수행할 수 있는 3차원 인터랙션 장치, 상기 3차원 인터랙션 장치를 포함하는 디스플레이 장치, 및 상기 3차원 인터랙션 장치의 구동 방법에 관한 것이다.
3차원 영상을 구현하는 방식으로서 안경 방식과 무안경 방식이 널리 상용화되어 사용되고 있다. 안경 방식에는 편광 안경 방식과 셔터 안경 방식이 있으며, 무안경 방식에는 렌티큘러 방식과 패럴랙스 배리어 방식이 있다. 이러한 방식들은 두 눈의 양안시차(binocular parallax)를 이용하는 것으로, 시점 수의 증가에 한계가 있을 뿐만 아니라, 뇌에서 인식하는 깊이감과 눈의 초점이 일치하지 않아서 시청자로 하여금 피로감을 느끼게 한다. 또한 수평 시차(horizontal parallax)만을 제공하고 수직 시차(vertical parallax)는 제공하지 못한다.
뇌에서 인식하는 깊이감과 눈의 초점이 일치하고 완전 시차(full parallax)를 제공할 수 있는 3차원 영상 디스플레이 방식으로서, 최근 홀로그래픽 방식이 점차 실용화되고 있다. 예를 들어, 휴대 전화나 노트북과 같은 휴대 가능한 소형 디스플레이 장치에서, 사용자와 가까운 거리에 홀로그램을 이용한 입체 영상을 표시하는 기술이 개발되고 있다.
한편, 입체 영상 디스플레이 장치에 있어서, 입체 영상의 표시뿐만 아니라 사용자와의 3차원 인터랙션을 제공할 수 있는 3차원 사용자 인터페이스도 역시 중요도가 높아지고 있다. 예를 들어, 사용자가 입체 영상을 터치하여 회전, 축소, 확대, 또는 특정 영역이나 메뉴의 선택 등을 수행할 수 있도록 하기 위한 3차원 사용자 인터페이스 기술이 다양하게 개발되어 있다. 이러한 3차원 사용자 인터페이스 기술은 통상적으로, 얼굴이나 손가락과 같은 사용자의 신체 일부분을 인식하고 그 동작을 추적하기 위하여 깊이 카메라(depth camera)를 사용하고 있다. 깊이 카메라는 촬영된 영상이 RGB와 같은 컬러 정보가 아닌 피사체와의 거리 정보를 포함하는 카메라이다. 깊이 카메라는, 예를 들어, 광시간비행법(Time-of-Flight; TOF)을 이용하여 거리 정보를 추출할 수 있다.
3차원 공간에서 사용자의 동작을 인식하여 3차원 인터랙션 기능을 수행할 수 있는 3차원 인터랙션 장치 및 상기 3차원 인터랙션 장치를 포함하는 디스플레이 장치를 제공한다.
또한, 상기 3차원 인터랙션 장치의 구동 방법을 제공한다.
일 유형에 따르면, 피사체의 거리 정보를 포함하는 깊이 영상을 얻기 위한 깊이 카메라; 상기 깊이 카메라의 전방에 배치되며, 상기 깊이 카메라의 시야를 조절하기 위하여 빛을 굴절시켜 빛의 진행 경로를 조절하는 능동 광학 소자; 및 상기 능동 광학 소자의 동작을 제어하여 빛의 굴절 방향을 조절하는 구동부;를 포함하는 3차원 인터랙션 장치가 제공된다.
예를 들어, 상기 깊이 카메라는 상기 깊이 영상의 각각의 화소에 피사체의 깊이 정보가 포함되도록 광시간비행법(TOF)에 따라 깊이 영상을 생성할 수 있다.
예를 들어, 상기 능동 광학 소자는 전기적 제어에 따라 빛을 굴절시켜 빛의 진행 경로를 조절하도록 구성된 전기습윤 프리즘일 수 있다.
상기 능동 광학 소자는, 서로 대향하여 배치된 제 1 및 제 2 투명 기판; 상기 제 1 투명 기판과 제 2 투명 기판 사이의 공간을 둘러싸도록 배치된 측벽; 상기 측벽의 내면에서 서로 대향하도록 배치된 다수의 전극; 상기 전극을 덮도록 형성된 소수성층, 및 상기 제 1 투명 기판과 제 2 투명 기판 사이의 공간 내에 배치된 무극성 액체와 분극성 액체;를 포함할 수 있다.
상기 능동 광학 소자는 상기 깊이 카메라의 시야 중앙에 피사체가 위치하도록 상기 깊이 카메라의 시야를 조절할 수 있다.
상기 3차원 인터랙션 장치는, 컬러 영상을 얻기 위한 컬러 카메라; 상기 깊이 카메라와 컬러 카메라로부터 각각 얻은 깊이 영상과 컬러 영상을 처리하여 피사체의 형태와 깊이 정보를 추출하는 영상 처리부; 및 상기 영상 처리부에서 추출된 정보를 이용하여 상기 구동부의 동작을 제어하는 제어부;를 더 포함할 수 있다.
또한, 상기 3차원 인터랙션 장치는 상기 컬러 카메라의 시야를 조절하기 위하여 상기 컬러 카메라의 정면에 배치된 추가적인 능동 광학 소자를 더 포함할 수 있다.
또한, 다른 유형에 따르면, 상술한 구조의 3차원 인터랙션 장치를 입력 장치로서 포함하는 디스플레이 장치가 제공된다.
예를 들어, 상기 디스플레이 장치는 홀로그래픽 디스플레이 장치를 포함할 수 있다.
또한, 또 다른 유형에 따르면, 컬러 카메라에 의해 얻은 피사체의 컬러 영상으로부터 미리 정해진 특정한 패턴을 인식하는 단계; 상기 패턴의 동작을 추적하는 단계; 상기 패턴이 깊이 카메라의 시야 내에 있도록, 상기 깊이 카메라의 전방에 배치되어 빛의 진행 경로를 조절하는 능동 광학 소자를 동작시키는 단계; 및 3차원 인터랙션을 위한 소정의 공간 내에의 상기 패턴의 동작 및 깊이를 인식하는 단계;를 포함하는 3차원 인터랙션 장치의 구동 방법이 제공된다.
예를 들어, 상기 패턴은 사람의 손 모양 또는 손가락 모양을 포함할 수 있다.
상기 패턴의 동작을 추적하는 단계는 컬러 카메라에 의해 생성된 컬러 영상과 깊이 카메라에 의해 생성된 깊이 영상을 이용할 수 있다.
또한, 상기 능동 광학 소자를 동작시키는 단계는 상기 깊이 카메라의 시야를 변경함으로써 상기 패턴이 상기 깊이 카메라의 시야 중앙에 위치하도록 하는 단계를 포함할 수 있다.
개시된 실시예에 따른 3차원 인터랙션 장치는 능동 광학 소자를 이용하여 깊이 카메라의 시야를 자유롭게 조절할 수 있다. 따라서, 단지 하나의 깊이 카메라만으로도 가까운 거리에 있는 피사체를 블라인드 영역 없이 용이하게 추적할 수 있다. 따라서, 개시된 실시예에 따른 3차원 인터랙션 장치 및 이를 포함하는 디스플레이 장치의 구성이 간단해질 수 있다.
도 1은 일 실시예에 따른 3차원 인터랙션 장치의 구성을 개략적으로 보이는 개념도이다.
도 2은 도 1에 도시된 능동 광학 소자의 구조를 예시적으로 보이는 개략적인 단면도이다.
도 3a 내지 도 3c는 도 1에 도시된 능동 광학 소자의 동작 및 깊이 카메라의 시야 변화를 개략적으로 도시하고 있다.
도 4은 도 1에 도시된 3차원 인터랙션 장치의 구동 방법을 보이는 흐름도이다.
도 5a 및 도 5b는 도 1에 도시된 3차원 인터랙션 장치를 포함하는 디스플레이 장치에서 사용자와의 3차원 인터랙션을 예시적으로 도시하고 있다.
이하, 첨부된 도면들을 참조하여, 3차원 인터랙션 장치, 이를 포함하는 디스플레이 장치, 및 상기 3차원 인터랙션 장치의 구동 방법에 대해 상세하게 설명한다. 이하의 도면들에서 동일한 참조부호는 동일한 구성요소를 지칭하며, 도면상에서 각 구성요소의 크기는 설명의 명료성과 편의상 과장되어 있을 수 있다. 또한, 이하에 설명되는 실시예는 단지 예시적인 것에 불과하며, 이러한 실시예들로부터 다양한 변형이 가능하다. 또한 이하에서 설명하는 층 구조에서, "상부" 나 "상"이라고 기재된 표현은 접촉하여 바로 위에 있는 것뿐만 아니라 비접촉으로 위에 있는 것도 포함할 수 있다.
도 1은 일 실시예에 따른 3차원 인터랙션 장치(100)의 구성을 개략적으로 보이는 개념도이다. 도 1을 참조하면, 본 실시예에 따른 3차원 인터랙션 장치(100)는 피사체의 거리 정보를 포함하는 깊이 영상을 얻기 위한 깊이 카메라(110), 깊이 카메라(110)의 시야를 조절하기 위하여 빛을 굴절시켜 빛의 진행 경로를 조절하는 능동 광학 소자(160), 및 상기 능동 광학 소자(160)의 동작을 제어하여 빛의 굴절 방향을 조절하는 구동부(150)를 포함할 수 있다.
깊이 카메라(110)는 3차원 인터랙션을 위한 소정의 공간 내에 있는 피사체의 거리 정보를 얻기 위한 것이다. 예를 들어, 깊이 카메라(110)는 광시간비행법(TOF)에 따라 약 850nm 파장의 적외선을 피사체에 조사하고, 피사체로부터 반사되어 깊이 카메라(110)로 돌아오는 적외선의 비행 시간으로부터 거리 정보를 추출할 수 있다. 즉, 깊이 카메라(110)에서 제공되는 깊이 영상의 화소들에는 각각의 해당 화소에 대응하는 피사체 영역들의 거리 정보가 각각 담겨 있다.
그런데, 일반적으로 깊이 카메라(110)는 시야각이 약 60도 정도로 일반 카메라에 비해 좁기 때문에, 3차원 인터랙션을 위한 공간이 깊이 카메라(110)로부터 가까이 있는 경우에는, 피사체가 깊이 카메라(110)의 시야(field of view; FOV)로부터 벗어날 수 있다. 즉, 가까이 있는 3차원 인터랙션 공간 내에서 블라인드 영역이 발생하게 된다. 블라인드 영역을 최소화하기 위해 다수의 깊이 카메라(110)를 사용할 수는 있지만, 이 경우에도 여전히 블라인드 영역이 존재할 뿐만 아니라, 전체적인 시스템의 크기가 커지고 제조 비용이 증가하게 된다.
능동 광학 소자(160)는 블라인드 영역을 제거하기 위한 것으로, 상기 깊이 카메라(110)의 전방에 배치되어 깊이 카메라(110)의 시야를 조절하는 역할을 한다. 이를 위하여, 능동 광학 소자(160)는 전기적 제어에 따라 빛을 굴절시켜 빛의 진행 경로를 조절하도록 구성될 수 있다. 예를 들어, 능동 광학 소자(160)는 전기습윤 작용에 의해 빛의 굴절면의 각도를 조절할 수 있는 전기습윤 프리즘일 수 있다. 도 2는 이러한 능동 광학 소자(160)의 구조를 예시적으로 보이는 개략적인 단면도이다.
도 2를 참조하면, 능동 광학 소자(160)는 서로 대향하여 배치된 제 1 및 제 2 투명 기판(161, 162), 상기 제 1 투명 기판(161)과 제 2 투명 기판(162) 사이의 공간을 둘러싸도록 배치된 측벽(163), 상기 측벽(163)의 내면에서 서로 대향하도록 배치된 다수의 전극(164), 상기 전극(164)을 덮도록 형성된 소수성층(165), 및 제 1 투명 기판(161)과 제 2 투명 기판(162) 사이의 공간 내에 배치된 무극성 액체(166)와 분극성 액체(167)를 포함할 수 있다. 무극성 액체(166)와 분극성 액체(167)는 빛을 거의 손실 없이 통과시킬 수 있도록 높은 투과도를 가지며, 그들의 계면에서 빛이 굴절될 수 있도록 서로 다른 굴절률을 가질 수 있다. 또한, 무극성 액체(166)가 분극성 액체(167)의 아래쪽에 배치되도록, 무극성 액체(166)의 밀도가 분극성 액체(167)의 밀도보다 높을 수 있다. 도 2의 수직단면도에는 단지 2개의 전극(164)만이 도시되어 있지만, 실제의 능동 광학 소자(160)가 사각형 형태의 횡단면을 갖는 경우, 능동 광학 소자(160)는 4개의 전극(164)들을 포함할 수 있다.
이러한 전기습윤 프리즘 구조를 갖는 능동 광학 소자(160)에서, 상기 다수의 전극(164)들에 인가되는 전압에 따라 무극성 액체(166)와 분극성 액체(167)의 계면이 수평하거나(즉, 광축에 수직하거나) 기울어질 수 있다. 무극성 액체(166)와 분극성 액체(167)의 계면이 수평하면, 광축 방향을 따라 능동 광학 소자(160)에 입사한 빛이 굴절 없이 능동 광학 소자(160)를 그대로 통과할 수 있다. 즉, 빛의 진행 방향이 변경되지 않는다. 그러나, 무극성 액체(166)와 분극성 액체(167)의 계면이 광축에 대해 기울어지면, 광축 방향을 따라 능동 광학 소자(160)에 입사한 빛이 무극성 액체(166)와 분극성 액체(167)의 계면에서 굴절될 수 있다. 따라서, 능동 광학 소자(160)는 전기적 제어에 의해 입사한 빛의 진행 방향을 변경시키는 것이 가능하다.
상술한 원리에 따라 능동 광학 소자(160)는 깊이 카메라(110)의 시야를 원하는 곳으로 조절할 수 있다. 예를 들어, 도 3a 내지 도 3c는 능동 광학 소자(160)의 동작 및 깊이 카메라(110)의 시야 변화를 개략적으로 도시하고 있다. 먼저 도 3a를 참조하면, 무극성 액체(166)와 분극성 액체(167)의 계면이 좌측이 아래로 향하도록 기울어지면, 빛이 우측 방향으로 굴절되어 깊이 카메라(110)의 시야가 ①로 표시된 우측 영역을 향하게 될 수 있다. 또한, 도 3b를 참조하면, 무극성 액체(166)와 분극성 액체(167)의 계면이 수평한 경우에는, 깊이 카메라(110)의 시야가 ②로 표시된 정면 영역을 향하게 될 수 있다. 그리고, 도 3c에 도시된 바와 같이, 무극성 액체(166)와 분극성 액체(167)의 계면이 우측이 아래로 향하도록 기울어지면, 빛이 좌측 방향으로 굴절되어 깊이 카메라(110)의 시야가 ③으로 표시된 좌측 영역을 향하게 될 수 있다. 따라서, 능동 광학 소자(160)를 사용함으로써 깊이 카메라(110)의 시야각과 관계 없이 하나의 깊이 카메라(110)만으로도 블라인드 영역을 제거하는 것이 가능하다.
한편, 3차원 인터랙션 장치(100)는 피사체에 대한 일반적인 컬러 영상을 얻기 위한 컬러 카메라(120), 상기 깊이 카메라(110)와 컬러 카메라(120)로부터 얻은 깊이 영상과 컬러 영상을 처리하여 피사체의 형태와 깊이 정보를 추출하는 영상 처리부(130), 및 상기 영상 처리부(130)에서 추출된 정보를 이용하여 구동부(150)의 동작을 제어하는 제어부(140)를 더 포함할 수 있다. 또한, 상기 3차원 인터랙션 장치(100)는 컬러 카메라(120)의 시야를 조절하기 위하여 컬러 카메라(120)의 정면에 배치된 능동 광학 소자(170)를 더 포함할 수 도 있다. 그러나, 컬러 카메라(120)의 시야각이 충분히 확보된 경우에는 능동 광학 소자(170)가 생략될 수도 있다.
이러한 3차원 인터랙션 장치(100)는 피사체 또는 피사체의 일부(예컨대, 사람의 손이나 손가락)의 동작을 인식할 수 있다. 예를 들어, 도 4는 3차원 인터랙션 장치(100)의 구동 방법을 보이는 흐름도이다. 도 4를 참조하면, 컬러 카메라(120)가 먼저 3차원 인터랙션을 위한 소정의 공간 내에 있는 피사체를 촬영하여 컬러 영상을 생성한다(단계 S11). 영상 처리부(130)는 컬러 영상 내에서, 예컨대, 사람의 손 모양이나 손가락 모양과 같은 미리 정해진 특정한 패턴을 검출하여 인식할 수 있다.
예를 들어, 사람의 손 모양을 인식하였으면, 계속하여 그 동작을 추적한다(단계 S12). 이를 위해, 컬러 카메라(120)가 피사체에 대한 컬러 영상을 계속 생성하는 동시에, 깊이 카메라(110)가 피사체에 대한 깊이 영상을 생성한다. 그러면, 영상 처리부(130)는 컬러 영상과 깊이 영상을 이용하여 손 모양의 동작을 추적할 수 있다.
이때, 피사체가 깊이 카메라(110)의 시야에서 벗어나지 않고 시야 내에 있도록 능동 광학 소자(160)를 동작시킬 수 있다(단계 S13). 예를 들어, 제어부(140)는 구동부(150)를 통해 손 모양이 깊이 카메라(110)의 시야 중앙에 위치하도록 능동 광학 소자(160)를 제어할 수 있다. 만약 손 모양이 깊이 카메라(110)의 시야 가장자리로 이동하게 되면, 능동 광학 소자(160)가 동작하여 깊이 카메라(110)의 시야를 변경함으로써 손 모양이 다시 깊이 카메라(110)의 시야 중앙에 위치하도록 할 수 있다(단계 S14).
상술한 추적 과정을 통해, 3차원 인터랙션 장치(100)는 3차원 인터랙션을 위한 소정의 공간 내에서의 사람의 손 동작 및 깊이를 인지하는 것이 가능하다(S15). 이렇게 인식된 동작은 마우스나 터치패드와 유사하게 컴퓨터 등의 입력 수단으로 사용될 수 있다. 예를 들어, 제어부(140)에는 미리 정해진 다양한 동작 패턴들이 저장될 수 있으며, 제어부(140)는 인식된 손 동작 및 깊이를 미리 저장된 동작 패턴들과 비교할 수 있다. 그리고, 일치하는 동작 패턴이 있다면 그 동작 패턴에 대응하는 입력을 컴퓨터 등에 제공할 수 있다.
예를 들어, 3차원 인터랙션 장치(100)는 컴퓨터 뿐만 아니라 휴대 전화기, 노트북, 디스플레이 장치 등과 같은 다양한 전자기기의 입력 수단으로 사용될 수 있다. 특히, 3차원 인터랙선 장치(100)는, 예컨대, 50cm 이내의 작은 공간 내에서 완전 시차를 제공할 수 있는 홀로그래픽 디스플레이 장치에서 유용하게 이용될 수 있다.
일반적으로, 홀로그램 영상을 디스플레이 하기 위해서는 계산해야 할 정보량이 매우 많기 때문에, 정보량을 줄이기 위하여 많은 노력이 이루어지고 있다. 최근에는, 다수의 사람들이 한꺼번에 감상하기 위한 큰 홀로그램 영상보다는 1인이 개인적으로 감상할 수 있는 작은 홀로그램 영상을 디스플레이 하는 소형 홀로그래픽 디스플레이 장치에 대해 많은 연구가 이루어지고 있다. 이러한 소형 홀로그래픽 디스플레이 장치는, 예컨대 휴대 전화기 등에 적용되어 사용될 수 있다. 본 실시예에 따른 3차원 인터랙션 장치(100)를 이용하면, 홀로그램 영상이 디스플레이 되고 있는 3차원 공간 상에서 사용자가 손가락으로 영상의 특정 부분을 터치하거나 또는 특정한 동작을 함으로써, 홀로그래픽 디스플레이 장치가 영상의 회전, 축소, 확대, 또는 특정 영역이나 메뉴의 선택 등의 기능을 수행하게 할 수 있다.
도 5a 및 도 5b는 본 실시예에 따른 3차원 인터랙션 장치(100)를 포함하는 디스플레이 장치(200)에서 사용자와의 3차원 인터랙션을 예시적으로 도시하고 있다. 이러한 디스플레이 장치(200)는 예를 들어 휴대 전화기에서 구현될 수 있다. 상기 디스플레이 장치(200)에 따르면, 3차원 인터랙션 공간(210) 내에서 사용자의 손가락의 위치에 따라 깊이 카메라(110)의 시야(220)가 조절될 수 있다. 예를 들어, 도 5a를 참조하면, 능동 광학 소자(160)는 z축으로부터 y축을 향해 약 50도 정도의 방향으로 빛이 굴절되도록 무극성 액체(166)와 분극성 액체(167)의 계면의 경사를 조절할 수 있다. 또한, 도 5b에 도시된 위치로 손가락이 이동하게 되면, 능동 광학 소자(160)는 z축으로부터 x축을 향해 약 -25도 정도의 방향으로 빛이 굴절되도록 무극성 액체(166)와 분극성 액체(167)의 계면의 경사를 조절함으로써, 깊이 카메라(110)의 시야(220)가 손가락을 따라 가도록 할 수 있다.
지금까지, 본 발명의 이해를 돕기 위하여 3차원 인터랙션 장치, 이를 포함하는 디스플레이 장치, 및 상기 3차원 인터랙션 장치의 구동 방법에 대한 예시적인 실시예가 설명되고 첨부된 도면에 도시되었다. 그러나, 이러한 실시예는 단지 본 발명을 예시하기 위한 것이고 이를 제한하지 않는다는 점이 이해되어야 할 것이다. 그리고 본 발명은 도시되고 설명된 설명에 국한되지 않는다는 점이 이해되어야 할 것이다. 이는 다양한 다른 변형이 본 기술분야에서 통상의 지식을 가진 자에게 일어날 수 있기 때문이다.
100.....3차원 인터랙션 장치 110.....깊이 카메라
120.....컬러 카메라 130.....영상 처리부
140.....제어부 150.....구동부
160, 170.....능동 광학 소자 161, 162.....투명 기판
163.....측벽 164.....전극
165.....소수성층 166.....무극성 액체
167.....분극성 액체 200.....디스플레이 장치
210.....3차원 인터랙션 공간 220.....시야 영역

Claims (15)

  1. 피사체의 거리 정보를 포함하는 깊이 영상을 얻기 위한 깊이 카메라;
    상기 깊이 카메라의 전방에 배치되며, 상기 깊이 카메라의 시야를 조절하기 위하여 빛을 굴절시켜 빛의 진행 경로를 조절하는 능동 광학 소자; 및
    상기 능동 광학 소자의 동작을 제어하여 빛의 굴절 방향을 조절하는 구동부;를 포함하고,
    상기 구동부의 제어에 따라 상기 능동 광학 소자는 상기 피사체가 상기 깊이 카메라의 시야 가장자리로 이동할 때 상기 깊이 카메라의 시야 중앙에 상기 피사체가 유지되도록 빛의 진행 경로를 조절하여 상기 깊이 카메라의 시야를 조절함으로써 상기 피사체가 상기 깊이 카메라의 시야에서 벗어나지 않고 상기 깊이 카메라의 시야 내에 유지시키는 3차원 인터랙션 장치.
  2. 제 1 항에 있어서,
    상기 깊이 카메라는 상기 깊이 영상의 각각의 화소에 피사체의 깊이 정보가 포함되도록 광시간비행법(TOF)에 따라 깊이 영상을 생성하는 3차원 인터랙션 장치.
  3. 제 1 항에 있어서,
    상기 능동 광학 소자는 전기적 제어에 따라 빛을 굴절시켜 빛의 진행 경로를 조절하도록 구성된 전기습윤 프리즘인 3차원 인터랙션 장치.
  4. 제 3 항에 있어서,
    상기 능동 광학 소자는:
    서로 대향하여 배치된 제 1 및 제 2 투명 기판;
    상기 제 1 투명 기판과 제 2 투명 기판 사이의 공간을 둘러싸도록 배치된 측벽;
    상기 측벽의 내면에서 서로 대향하도록 배치된 다수의 전극;
    상기 전극을 덮도록 형성된 소수성층, 및
    상기 제 1 투명 기판과 제 2 투명 기판 사이의 공간 내에 배치된 무극성 액체와 분극성 액체;를 포함하는 3차원 인터랙션 장치.
  5. 삭제
  6. 제 1 항에 있어서,
    컬러 영상을 얻기 위한 컬러 카메라;
    상기 깊이 카메라와 컬러 카메라로부터 각각 얻은 깊이 영상과 컬러 영상을 처리하여 피사체의 형태와 깊이 정보를 추출하는 영상 처리부; 및
    상기 영상 처리부에서 추출된 정보를 이용하여 상기 구동부의 동작을 제어하는 제어부;를 더 포함하는 3차원 인터랙션 장치.
  7. 제 6 항에 있어서,
    상기 컬러 카메라의 시야를 조절하기 위하여 상기 컬러 카메라의 정면에 배치된 추가적인 능동 광학 소자를 더 포함하는 3차원 인터랙션 장치.
  8. 제 1 항 내지 제 4 항, 제 6 항, 제 7 항 중 어느 한 항에 따른 3차원 인터랙션 장치를 입력 장치로서 포함하는 디스플레이 장치.
  9. 제 8 항에 있어서,
    상기 디스플레이 장치는 홀로그래픽 디스플레이 장치를 포함하는 디스플레이 장치.
  10. 컬러 카메라에 의해 얻은 피사체의 컬러 영상으로부터 미리 정해진 특정한 패턴을 인식하는 단계;
    상기 패턴의 동작을 추적하는 단계;
    상기 패턴이 깊이 카메라의 시야 내에 있도록, 상기 깊이 카메라의 전방에 배치되어 빛의 진행 경로를 조절하는 능동 광학 소자를 동작시키는 단계; 및
    3차원 인터랙션을 위한 소정의 공간 내에의 상기 패턴의 동작 및 깊이를 인식하는 단계;를 포함하며,
    상기 능동 광학 소자를 동작시키는 단계는 상기 패턴이 상기 깊이 카메라의 시야 가장자리로 이동할 때 상기 깊이 카메라의 시야 중앙에 상기 패턴이 유지되도록 빛의 진행 경로를 조절하여 상기 깊이 카메라의 시야를 조절함으로써 상기 패턴이 상기 깊이 카메라의 시야에서 벗어나지 않고 상기 깊이 카메라의 시야 내에 유지시키는 것을 포함하는 3차원 인터랙션 장치의 구동 방법.
  11. 제 10 항에 있어서,
    상기 패턴은 사람의 손 모양 또는 손가락 모양을 포함하는 3차원 인터랙션 장치의 구동 방법.
  12. 제 10 항에 있어서,
    상기 패턴의 동작을 추적하는 단계는 컬러 카메라에 의해 생성된 컬러 영상과 깊이 카메라에 의해 생성된 깊이 영상을 이용하는 3차원 인터랙션 장치의 구동 방법.
  13. 제 10 항에 있어서,
    상기 깊이 카메라는 상기 깊이 영상의 각각의 화소에 피사체의 깊이 정보가 포함되도록 광시간비행법(TOF)에 따라 깊이 영상을 생성하는 3차원 인터랙션 장치의 구동 방법.
  14. 제 10 항에 있어서,
    상기 능동 광학 소자는 전기적 제어에 따라 빛을 굴절시켜 빛의 진행 경로를 조절하도록 구성된 전기습윤 프리즘인 3차원 인터랙션 장치의 구동 방법.
  15. 제 10 항에 있어서,
    상기 능동 광학 소자를 동작시키는 단계는 상기 깊이 카메라의 시야를 변경함으로써 상기 패턴이 상기 깊이 카메라의 시야 중앙에 위치하도록 하는 단계를 포함하는 3차원 인터랙션 장치의 구동 방법.
KR1020130122216A 2013-10-14 2013-10-14 3차원 인터랙션 장치, 이를 포함하는 디스플레이 장치, 및 상기 3차원 인터랙션 장치의 구동 방법 KR102224715B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130122216A KR102224715B1 (ko) 2013-10-14 2013-10-14 3차원 인터랙션 장치, 이를 포함하는 디스플레이 장치, 및 상기 3차원 인터랙션 장치의 구동 방법
US14/272,121 US9727144B2 (en) 2013-10-14 2014-05-07 3D interaction apparatus, display device including the same, and method of driving the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130122216A KR102224715B1 (ko) 2013-10-14 2013-10-14 3차원 인터랙션 장치, 이를 포함하는 디스플레이 장치, 및 상기 3차원 인터랙션 장치의 구동 방법

Publications (2)

Publication Number Publication Date
KR20150043653A KR20150043653A (ko) 2015-04-23
KR102224715B1 true KR102224715B1 (ko) 2021-03-09

Family

ID=52809246

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130122216A KR102224715B1 (ko) 2013-10-14 2013-10-14 3차원 인터랙션 장치, 이를 포함하는 디스플레이 장치, 및 상기 3차원 인터랙션 장치의 구동 방법

Country Status (2)

Country Link
US (1) US9727144B2 (ko)
KR (1) KR102224715B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107209556B (zh) * 2015-04-29 2020-10-16 惠普发展公司有限责任合伙企业 用于对捕获对象相对于交互平面的交互的深度图像进行处理的系统及方法
ITUB20153680A1 (it) * 2015-09-16 2017-03-16 Liquidweb Srl Sistema di controllo di tecnologie assistive e relativo metodo
RU2686576C1 (ru) 2017-11-30 2019-04-29 Самсунг Электроникс Ко., Лтд. Компактное устройство голографического дисплея
US10264379B1 (en) 2017-12-01 2019-04-16 International Business Machines Corporation Holographic visualization of microphone polar pattern and range
KR102653796B1 (ko) * 2018-09-17 2024-04-01 스냅 인코포레이티드 3차원 깊이 비디오들 및 이미지들에서 쇼크웨이브들의 생성
US11178375B1 (en) 2019-10-21 2021-11-16 Snap Inc. Input parameter based image waves

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110025834A1 (en) * 2009-07-31 2011-02-03 Samsung Electronics Co., Ltd. Method and apparatus of identifying human body posture
US20110175810A1 (en) * 2010-01-15 2011-07-21 Microsoft Corporation Recognizing User Intent In Motion Capture System
US20120113223A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
US20120307357A1 (en) * 2011-06-01 2012-12-06 Samsung Electronics Co., Ltd. Multi-view 3d image display apparatus and method
US20130116049A1 (en) * 2011-11-07 2013-05-09 Microsoft Corporation Time-of-flight camera with guided light

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0888785A (ja) * 1994-09-16 1996-04-02 Toshiba Corp 画像入力装置
EP1214609B1 (en) 1999-09-08 2004-12-15 3DV Systems Ltd. 3d imaging system
JP2004320286A (ja) * 2003-04-15 2004-11-11 Nikon Gijutsu Kobo:Kk デジタルカメラ
KR100797676B1 (ko) 2006-06-13 2008-01-23 삼성전기주식회사 액체 렌즈 모듈
KR20090125933A (ko) 2008-06-03 2009-12-08 삼성전기주식회사 카메라 모듈
US8355209B2 (en) 2009-12-25 2013-01-15 Canon Kabushiki Kaisha Liquid lens
US9008355B2 (en) * 2010-06-04 2015-04-14 Microsoft Technology Licensing, Llc Automatic depth camera aiming
US8553934B2 (en) 2010-12-08 2013-10-08 Microsoft Corporation Orienting the position of a sensor

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110025834A1 (en) * 2009-07-31 2011-02-03 Samsung Electronics Co., Ltd. Method and apparatus of identifying human body posture
US20110175810A1 (en) * 2010-01-15 2011-07-21 Microsoft Corporation Recognizing User Intent In Motion Capture System
US20120113223A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
US20120307357A1 (en) * 2011-06-01 2012-12-06 Samsung Electronics Co., Ltd. Multi-view 3d image display apparatus and method
US20130116049A1 (en) * 2011-11-07 2013-05-09 Microsoft Corporation Time-of-flight camera with guided light

Also Published As

Publication number Publication date
US20150102997A1 (en) 2015-04-16
KR20150043653A (ko) 2015-04-23
US9727144B2 (en) 2017-08-08

Similar Documents

Publication Publication Date Title
KR102224715B1 (ko) 3차원 인터랙션 장치, 이를 포함하는 디스플레이 장치, 및 상기 3차원 인터랙션 장치의 구동 방법
JP6629280B2 (ja) 拡張現実光ガイドの表示
KR102139842B1 (ko) 오토스테레오스코픽 증강 현실 디스플레이
US20180103194A1 (en) Image capture systems, devices, and methods that autofocus based on eye-tracking
EP2740118B1 (en) Changing between display device viewing modes
US10282594B2 (en) Electronic device, face recognition and tracking method and three-dimensional display method
TWI565971B (zh) 近眼微透鏡陣列顯示器
US9030487B2 (en) Electronic device for displaying three-dimensional image and method of using the same
KR101280636B1 (ko) 능동형 입체영상 디스플레이 장치 및 그의 구동 방법
US20170026634A1 (en) Multi-planar camera apparatus
US20160116987A1 (en) Information processing apparatus, information processing method and program to recognize an object from a captured image
KR102319390B1 (ko) 가상 및 증강 현실 시스템들 및 컴포넌트들을 위한 개선된 제조
KR101660411B1 (ko) 초다시점 3차원 영상 디스플레이 장치
US10282912B1 (en) Systems and methods to provide an interactive space over an expanded field-of-view with focal distance tuning
CN104216118A (zh) 具有远程控制件的头部安装式显示器
CN113196141B (zh) 使用分段相位剖面液晶透镜的光学系统
US10795177B2 (en) Prism sheet for auto-stereoscopic 3D display and display device including same
WO2015123862A1 (zh) 一种三维图像的显示系统、方法和装置
CN103176605A (zh) 一种手势识别控制装置及控制方法
JP5793099B2 (ja) 表示装置、電子機器および制御回路
KR102279816B1 (ko) 무안경 입체영상표시장치
WO2019086635A1 (en) Display system, mobile device and method for providing three-dimensional views
KR20150017199A (ko) 디스플레이 장치 및 제어 방법
CN117075335A (zh) 基于眼球追踪的裸眼3d显示方法及装置
CN117092830A (zh) 裸眼3d显示装置及其驱动方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant