KR20150097245A - 3차원 사용자 인터페이스를 제공하는 스테레오스코픽 디스플레이 장치 및 방법 - Google Patents

3차원 사용자 인터페이스를 제공하는 스테레오스코픽 디스플레이 장치 및 방법 Download PDF

Info

Publication number
KR20150097245A
KR20150097245A KR1020140018520A KR20140018520A KR20150097245A KR 20150097245 A KR20150097245 A KR 20150097245A KR 1020140018520 A KR1020140018520 A KR 1020140018520A KR 20140018520 A KR20140018520 A KR 20140018520A KR 20150097245 A KR20150097245 A KR 20150097245A
Authority
KR
South Korea
Prior art keywords
image
user
stereoscopic display
stereoscopic
depth
Prior art date
Application number
KR1020140018520A
Other languages
English (en)
Other versions
KR101560474B1 (ko
Inventor
조준동
박명덕
박종률
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020140018520A priority Critical patent/KR101560474B1/ko
Publication of KR20150097245A publication Critical patent/KR20150097245A/ko
Application granted granted Critical
Publication of KR101560474B1 publication Critical patent/KR101560474B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 실시예들에 따른 3차원 사용자 인터페이스를 제공하는 스테레오스코픽 디스플레이 장치는 스테레오스코픽 디스플레이와 스테레오스코픽 디스플레이의 정면의 3차원 현실 공간에 대한 3차원 깊이 영상을 획득하는 3차원 깊이 센서, 3차원 깊이 영상을 이용하여, 사용자 얼굴 또는 안구의 위치 정보를 각각 획득하는 3차원 동작 분석부, UI 컨트롤들을 포함하는 UI 영상을 생성하는 UI 처리부 및 UI 영상에서 변환되는 스테레오스코픽 UI 영상이 사용자의 팔 길이 이내의 소정 위치에서 인식되도록 UI 깊이 정보를 결정하고, UI 깊이 정보에 따라 UI 영상을 스테레오스코픽 UI 영상으로 변환하는 포맷터를 포함할 수 있다.

Description

3차원 사용자 인터페이스를 제공하는 스테레오스코픽 디스플레이 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING 3D USER INTERFACE USING STEREOSCOPIC IMAGE DISPLAY DEVICE}
본 발명은 스테레오스코픽 영상 기술에 관한 것으로, 더욱 상세하게는, 스테레오스코픽 영상을 위한 사용자 인터페이스 기술에 관한 것이다.
스테레오스코픽 영상(stereoscopic image) 기술은 대표적인 입체 영상 기술로서, 사람의 좌안과 우안에 서로 간섭을 일으키지 않도록 분리된 두 종류의 영상들을 각각 입력하고, 사람의 두뇌가 좌안과 우안에 각각 입력된 영상들을 합성하여 가상의 입체감이 느껴지도록 만드는 기술이다.
좌안과 우안에 각각 입력되기 위한 두 종류의 영상들은 사람의 양안 거리만큼 이격되도록 배치된 두 개의 카메라들로 촬영한 좌영상과 우영상을 기반으로 얻을 수 있다. 두 개의 카메라들에 의해 획득되는 두 스테레오스코픽 영상들은 동일한 피사체에 상응하는 픽셀들 사이에 디스패리티(disparity)를 가지는데, 디스패리티에 의해 피사체의 깊이 정보(뎁스, depth)가 생성되며, 이들 스테레오스코픽 영상들이 각각 좌안과 우안에 입력되면 시청자는 서로 다른 깊이 정보를 가지는 피사체들에 의해 입체감을 느낄 수 있게 된다.
좌안과 우안에 각각 간섭을 일으키지 않는 영상들을 입력하는 방법으로 편광 방식, 시분할 방식 및 스펙트럼 분할 방식이 사용되고 있다.
편광 방식은 스테레오스코픽 디스플레이에는 좌안을 위한 좌영상 라인들에서 발산되는 빛과 우안을 위한 우영상 라인들에서 발산되는 빛을 각각 서로 직교하도록 편광시키는 편광 필터가 부착되고, 시청자는 편광 안경을 착용하여 좌영상과 우영상을 분리 인식하는 방식이다. 좌영상 라인들에서 발산하는 빛은 편광 안경의 좌안 편광 필터만을 통과하여 좌안에만 입사하고 우영상 라인들에서 발산하는 빛은 편광 안경의 우안 편광 필터만을 통과하여 우안에만 입사하므로, 시청자는 좌영상과 우영상을 결합하여 입체감을 느끼게 된다.
시분할 방식은 스테레오스코픽 디스플레이에서 좌안을 위한 좌영상과 우안을 위한 우영상을 각각 번갈아가며 표시하고 사용자는 능동식 셔터 안경을 착용하여 좌영상과 우영상을 분리 인식하는 방식이다. 능동식 셔터 안경은 스테레오스코픽 디스플레이와 동기되어, 좌영상이 표시될 때에는 좌안 셔터를 열어 좌안이 좌영상을 인식하게 하고 우영상이 표시될 때에는 우안 셔터를 열어 우안이 우영상을 인식하게 하며, 시청자는 좌영상과 우영상을 결합하여 입체감을 느끼게 된다.
스펙트럼 방식은 RGB 스펙트럼에서 서로 중첩되지 않는 스펙트럼 대역을 가지는 스펙트럼 필터를 통해 좌우 영상을 스테레오스코픽 디스플레이가 표시하고 사용자는 스펙트럼 필터 안경을 착용하여 좌우 영상을 분리 인식하는 방식이다.
어떤 방식의 스테레오스코픽 방식이든, 사용자가 입체감을 느끼는 것은 피사체의 디스패리티에 따라 깊이 정보가 발생하기 때문이다.
한편 전통적으로 디스플레이 장치는 사용자 인터페이스와 매우 밀접한 관계를 가지고 있다. 종래의 디스플레이용 사용자 인터페이스는 2D 디스플레이 장치에 표시되는 영상에 각종 사용자 인터페이스 오브젝트들이나 컨트롤들을 중첩하여 표시하고, 사용자가 마우스, 키보드, 무선 포인터, 손가락 터치 스크린 등을 이용하여 사용자 인터페이스 오브젝트들이나 컨트롤들을 조작하는 방식이다.
통상적으로 스테레오스코픽 디스플레이 장치에도 이러한 2D 인터페이스가 사용되는데, 깊이감이 있는 스테레오스코픽 영상에 중첩된 평면적인 2D 인터페이스 화면은 사용자가 느끼는 입체감에 혼란을 줄 수 있다. 또한 스테레오스코픽 영상의 감상 중에 마우스나 무선 포인터, 또는 터치 스크린을 이용하려고 시선을 돌리거나 또는 TV 리모컨을 찾으려고 하다 보면 주의가 흐트러져 사용자의 만족감이 떨어질 수 밖에 없다.
본 발명이 해결하고자 하는 과제는 3차원 사용자 인터페이스를 제공하는 스테레오스코픽 디스플레이 장치 및 방법을 제공하는 데에 있다.
본 발명이 해결하고자 하는 과제는 사용자에게 자연스러운 깊이감을 주는 3차원 사용자 인터페이스를 제공하는 스테레오스코픽 디스플레이 장치 및 방법을 제공하는 데에 있다.
본 발명이 해결하고자 하는 과제는 사용자에게 3차원 컨트롤들에 관한 자연스러운 피드백을 주는 3차원 사용자 인터페이스를 제공하는 스테레오스코픽 디스플레이 장치 및 방법을 제공하는 데에 있다.
본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확히 이해될 수 있을 것이다.
본 발명의 일 측면에 따른 3차원 사용자 인터페이스를 제공하는 스테레오스코픽 디스플레이 장치는,
스테레오스코픽 디스플레이;
상기 스테레오스코픽 디스플레이의 정면의 3차원 현실 공간에 대한 3차원 깊이 영상을 획득하는 3차원 깊이 센서;
상기 3차원 깊이 영상을 이용하여, 사용자 얼굴 또는 안구의 위치 정보를 각각 획득하는 3차원 동작 분석부;
UI 컨트롤들을 포함하는 UI 영상을 생성하는 UI 처리부; 및
상기 UI 영상에서 변환되는 상기 스테레오스코픽 UI 영상이 사용자의 팔 길이 이내의 소정 위치에서 인식되도록 UI 깊이 정보를 결정하고, 상기 UI 깊이 정보에 따라 상기 UI 영상을 상기 스테레오스코픽 UI 영상으로 변환하는 포맷터를 포함할 수 있다.
일 실시예에 따라, 상기 3차원 동작 분석부는
사용자 손가락 끝의 위치 정보 및 동작 정보를 획득하도록 동작하고,
상기 UI 처리부는
사용자의 손가락 끝의 위치 정보 및 동작 정보가 스테레오스코픽 UI 영상 내의 특정 UI 컨트롤에 상응하는지 판단하며, 판단 결과에 따라 특정한 UI 컨트롤을 시각적으로 변형한 UI 영상을 생성하도록 동작할 수 있다.
일 실시예에 따라, 상기 3차원 깊이 센서는
상기 스테레오스코픽 디스플레이의 스크린이 이루는 평면 또는 상기 스크린과 평행한 평면 상에서 사용자를 향하도록 배치되는 적어도 두 개의 영상 센서들을 포함하여, 상기 스테레오스코픽 디스플레이의 정면의 3차원 현실 공간에 대한 3차원 깊이 영상을 획득하도록 동작하고,
상기 3차원 동작 분석부는
상기 3차원 깊이 영상 내에서 사용자의 신체 부위에 관한 특징점들을 추출하고, 추출된 특징점들에 의해 사용자의 얼굴 영역을 식별하며, 식별된 얼굴 영역으로부터 사용자 얼굴 또는 안구의 위치 정보를 획득하도록 동작할 수 있다.
일 실시예에 따라, 상기 3차원 깊이 센서는
상기 스테레오스코픽 디스플레이의 스크린이 이루는 평면 또는 스크린과 평행한 평면 상에서 사용자를 향하도록 배치되는 적어도 두 개의 영상 센서들을 포함하여, 상기 스테레오스코픽 디스플레이의 정면의 현실 공간에 대한 3차원 깊이 영상 및 2차원 영상을 각각 획득하도록 동작하고,
상기 3차원 동작 분석부는
상기 2차원 영상에서 사용자의 얼굴로 식별되는 영역을 먼저 추출하고, 상기 2차원 영상에서 추출된 얼굴 영역에 상응하는 3차원 깊이 영상 내의 특정 영역으로부터 사용자 얼굴 또는 안구의 위치 정보를 획득하도록 동작할 수 있다.
일 실시예에 따라, 상기 3차원 깊이 센서는
구조화광을 방출하고 피사체에서 반사되는 반사광을 검출하며, 검출된 반사광의 변형된 형태를 분석하여 상기 3차원 깊이 영상을 획득하도록 동작하고,
상기 3차원 동작 분석부는
상기 3차원 깊이 영상 내에서 사용자의 신체 부위에 관한 특징점들을 추출하고, 추출된 특징점들에 의해 사용자의 얼굴 영역을 식별하며, 식별된 얼굴 영역으로부터 사용자 얼굴 또는 안구의 위치 정보를 획득하도록 동작할 수 있다.
일 실시예에 따라, 상기 스테레오스코픽 UI 영상은
사용자의 안구를 정점으로 하고 사용자의 안구로부터 상기 스테레오스코픽 디스플레이의 스크린을 향하는 시야각이 이루는 사각뿔과, 상기 UI 깊이 정보에 의해 특정되고 상기 스테레오스코픽 디스플레이의 스크린과 평행한 평면이 만나 이루어지는 다각형 내에서, 상기 UI 컨트롤이 인식되도록 형성될 수 있다.
일 실시예에 따라, 상기 UI 깊이 정보는 사용자와 상기 스테레오스코픽 디스플레이 사이의 거리에 따라 결정될 수 있다.
일 실시예에 따라, 상기 스테레오스코픽 디스플레이 장치는,
표시 중이던 스테레오스코픽 컨텐츠 영상에 상기 포맷터로부터 전달된 상기 스테레오스코픽 UI 영상을 합성하고, 합성된 스테레오스코픽 영상을 상기 스테레오스코픽 디스플레이에 전달하는 영상 합성부를 더 포함할 수 있다.
일 실시예에 따라, 상기 UI 처리부는
사용자에게 상기 UI 컨트롤이 상기 스테레오스코픽 컨텐츠 영상의 돌출되어 보이는 물체 레이어들을 피해 배경 레이어 위에 겹쳐 보이도록, 상기 UI 컨트롤을 배치하도록 동작할 수 있다.
본 발명의 다른 측면에 따라, 스테레오스코픽 디스플레이 장치를 이용한 3차원 사용자 인터페이스 제공 방법은,
UI 컨트롤들을 포함하는 UI 영상을 생성하는 단계;
상기 UI 영상에서 변환되는 스테레오스코픽 UI 영상이 사용자의 팔 길이 이내의 소정 위치에서 인식되도록 UI 깊이 정보를 결정하는 단계; 및
상기 UI 깊이 정보에 따라 상기 UI 영상으로부터 변환된 스테레오스코픽 UI 영상을 상기 스테레오스코픽 디스플레이에 표시하는 단계를 포함할 수 있다.
일 실시예에 따라, 상기 UI 깊이 정보를 결정하는 단계는,
상기 스테레오스코픽 디스플레이의 스크린과 동일한 평면 또는 평행하는 평면에 배치된 3차원 깊이 센서를 이용하여 상기 스테레오스코픽 디스플레이의 정면의 3차원 현실 공간에 대한 3차원 깊이 영상을 획득하는 단계;
상기 3차원 깊이 영상으로부터 사용자 얼굴 또는 안구의 위치 정보를 획득하는 단계; 및
상기 사용자 얼굴 또는 안구의 위치 정보로부터 상기 UI 깊이 정보를 결정하는 단계를 포함할 수 있다.
일 실시예에 따라, 상기 3차원 사용자 인터페이스 제공 방법은,
상기 3차원 깊이 영상으로부터 사용자 손가락 끝의 위치 정보 및 동작 정보를 획득하는 단계; 및
상기 사용자의 손가락 끝의 위치 정보 및 동작 정보가 스테레오스코픽 UI 영상 내의 특정 UI 컨트롤에 상응하는지 판단하고, 판단 결과에 따라 특정한 UI 컨트롤을 시각적으로 변형한 UI 영상을 생성하는 단계를 더 포함할 수 있다.
일 실시예에 따라, 상기 스테레오스코픽 디스플레이의 정면의 3차원 현실 공간에 대한 3차원 깊이 영상을 획득하는 단계는
상기 스테레오스코픽 디스플레이의 스크린이 이루는 평면 또는 상기 스크린과 평행한 평면 상에서 사용자를 향하도록 배치되는 적어도 두 개의 영상 센서들을 이용하여, 상기 스테레오스코픽 디스플레이의 정면의 3차원 현실 공간에 대한 3차원 깊이 영상을 획득하는 단계를 포함하고,
상기 3차원 깊이 영상으로부터 사용자 얼굴 또는 안구의 위치 정보를 획득하는 단계는
상기 3차원 깊이 영상 내에서 사용자의 신체 부위에 관한 특징점들을 추출하고, 추출된 특징점들에 의해 사용자의 얼굴 영역을 식별하며, 식별된 얼굴 영역으로부터 사용자 얼굴 또는 안구의 위치 정보를 획득하는 단계를 포함할 수 있다.
일 실시예에 따라, 상기 스테레오스코픽 디스플레이의 정면의 3차원 현실 공간에 대한 3차원 깊이 영상을 획득하는 단계는
상기 스테레오스코픽 디스플레이의 스크린이 이루는 평면 또는 스크린과 평행한 평면 상에서 사용자를 향하도록 배치되는 적어도 두 개의 영상 센서들을 이용하여, 상기 스테레오스코픽 디스플레이의 정면의 현실 공간에 대한 3차원 깊이 영상 및 2차원 영상을 각각 획득하는 단계를 포함하고,
상기 3차원 깊이 영상으로부터 사용자 얼굴 또는 안구의 위치 정보를 획득하는 단계는
상기 2차원 영상에서 사용자의 얼굴로 식별되는 영역을 먼저 추출하고, 상기 2차원 영상에서 추출된 얼굴 영역에 각각 상응하는 3차원 깊이 영상 내의 특정 영역으로부터 사용자 얼굴 또는 안구의 위치 정보를 획득하는 단계를 포함할 수 있다.
일 실시예에 따라, 상기 스테레오스코픽 디스플레이의 정면의 3차원 현실 공간에 대한 3차원 깊이 영상을 획득하는 단계는
구조화광을 방출하고 피사체에서 반사되는 반사광을 검출하며, 검출된 반사광의 변형된 형태를 분석하여 상기 3차원 깊이 영상을 획득하는 단계를 포함하고,
상기 3차원 깊이 영상으로부터 사용자 얼굴 또는 안구의 위치 정보를 획득하는 단계는
상기 3차원 깊이 영상 내에서 사용자의 신체 부위에 관한 특징점들을 추출하고, 추출된 특징점들에 의해 사용자의 얼굴 영역을 식별하며, 식별된 얼굴 영역으로부터 사용자 얼굴 또는 안구의 위치 정보를 획득하는 단계를 포함할 수 있다.
일 실시예에 따라, 상기 스테레오스코픽 UI 영상은
사용자의 안구를 정점으로 하고 사용자의 안구로부터 상기 스테레오스코픽 디스플레이의 스크린을 향하는 시야각이 이루는 사각뿔과, 상기 UI 깊이 정보에 의해 특정되고 상기 스테레오스코픽 디스플레이의 스크린과 평행한 평면이 만나 이루어지는 다각형 내에서, 상기 UI 컨트롤이 인식되도록 형성될 수 있다.
일 실시예에 따라, 상기 UI 깊이 정보는 사용자와 상기 스테레오스코픽 디스플레이 사이의 거리에 따라 결정될 수 있다.
일 실시예에 따라, 상기 3차원 사용자 인터페이스 제공 방법은
상기 스테레오스코픽 디스플레이에 표시 중이던 스테레오스코픽 컨텐츠 영상에 상기 스테레오스코픽 UI 영상을 합성하고, 상기 합성된 스테레오스코픽 영상을 상기 스테레오스코픽 디스플레이에 표시하는 단계를 더 포함할 수 있다.
일 실시예에 따라, 상기 UI 컨트롤들을 포함하는 UI 영상을 생성하는 단계는
사용자에게 상기 UI 컨트롤이 상기 스테레오스코픽 컨텐츠 영상의 돌출되어 보이는 물체 레이어들을 피해 배경 레이어 위에 겹쳐 보이도록, 상기 UI 컨트롤을 배치하여 상기 UI 영상을 생성하는 단계를 포함할 수 있다.
본 발명의 3차원 사용자 인터페이스를 제공하는 스테레오스코픽 디스플레이 장치 및 방법에 따르면, 사용자에게 자연스러운 깊이감을 주는 3차원 사용자 인터페이스를 제공할 수 있다.
본 발명의 3차원 사용자 인터페이스를 제공하는 스테레오스코픽 디스플레이 장치 및 방법에 따르면, 사용자에게 3차원 컨트롤들에 관한 자연스러운 피드백을 주는 3차원 사용자 인터페이스를 제공할 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 3차원 사용자 인터페이스를 제공하는 스테레오스코픽 디스플레이 장치를 예시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 스테레오스코픽 디스플레이 장치가 제공하는 3차원 사용자 인터페이스를 예시한 개념도이다.
도 3은 본 발명의 일 실시예에 따른 스테레오스코픽 디스플레이 장치를 이용한 3차원 사용자 인터페이스 제공 방법을 예시한 순서도이다.
본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 3차원 사용자 인터페이스를 제공하는 스테레오스코픽 디스플레이 장치를 예시한 블록도이다.
도 1을 참조하면, 3차원 사용자 인터페이스(UI, user interface)를 제공하는 스테레오스코픽 디스플레이 장치(10)는 3차원 깊이 센서(11), 3차원 동작 분석부(12), UI 처리부(13), 포맷터(formatter)(14), 영상 합성부(15) 및 스테레오스코픽 디스플레이(16)를 포함할 수 있다.
사용자는 스테레오스코픽 디스플레이(16)의 정면에 일정 거리 떨어진 위치의 편안한 영역(comfort zone) 내에서 스테레오스코픽 디스플레이(16)에 표시되는 스테레오스코픽 영상들을 감상할 수 있다.
또한 사용자는 스테레오스코픽 영상과 조화를 이루면서 표시되는 3차원 오브젝트들 또는 3차원 컨트롤들(이하, UI 컨트롤로 통칭함)에 대해 소정의 깊이감을 느끼는 상태에서 조작할 수 있고, 조작의 결과를 오브젝트의 위치나 형태의 변화에 의해 즉각적으로 스트레오스코픽하게 인식함으로써, 자신의 조작에 대한 피드백을 자연스럽게 인지할 수 있다.
일 실시예에서, 3차원 깊이 센서(11)는 스테레오스코픽 디스플레이(16)의 스크린이 이루는 평면 또는 스크린과 평행한 평면 상에서 사용자를 향하도록 배치되는 적어도 두 개의 영상 센서들을 포함하여, 스테레오스코픽 디스플레이(16)의 정면의 3차원 현실 공간 및 사용자의 신체에 대한 3차원 깊이 영상을 획득한다.
이 경우, 일 실시예에서, 3차원 동작 분석부(12)는, 3차원 깊이 영상을 분석하여, 사용자의 얼굴 또는 안구의 위치 정보와, 사용자 손가락 끝의 위치 정보 및 동작 정보를 각각 획득한다.
예를 들어, 3차원 동작 분석부(12)는 예를 들어 사용자가 스테레오스코픽 디스플레이(16) 앞에 일정 거리 떨어진 위치에 편안한 감상 자세로 곧게 앉아 있다고 가정하고, 스테레오스코픽 디스플레이(16)의 정면의 현실 공간에 대한 3차원 깊이 영상 내에서 신체 부위에 관한 특징점들(features)을 추출하고, 추출된 특징점들에 의해 사용자의 얼굴 영역 및 손가락 끝 영역을 각각 식별하며, 식별된 영역들로부터 사용자 얼굴 또는 안구의 위치 정보와, 손가락 끝의 위치 정보 및 동작 정보를 획득할 수 있다.
여기서, 위치 정보는 3차원 깊이 영상 내에서의 위치 정보이므로, 사용자 얼굴 또는 안구의 위치 정보는 사용자 얼굴 또는 안구의 깊이 정보를 포함하고, 사용자 손가락 끝의 위치 정보는 사용자 손가락 끝의 깊이 정보를 포함한다.
다른 실시예에서, 3차원 깊이 센서(11)는 스테레오스코픽 디스플레이(16)의 스크린이 이루는 평면 또는 스크린과 평행한 평면 상에서 사용자를 향하도록 배치되는 적어도 두 개의 영상 센서들을 포함하여, 스테레오스코픽 디스플레이(16)의 정면의 현실 공간과 사용자 신체에 대한 3차원 깊이 영상 및 2차원 영상을 각각 획득할 수 있다. 이때, 3차원 깊이 영상은 두 개의 영상 센서들에서 촬영된 영상들을 스테레오 정합하여 획득될 수 있고, 2차원 영상은 두 개의 영상 센서들 중 적어도 하나에서 촬영된 영상을 기초로 획득될 수 있다.
이 경우, 일 실시예에서, 3차원 동작 분석부(12)는, 3차원 깊이 영상과 2차원 영상을 함께 이용하여, 사용자 얼굴 또는 안구의 위치 정보와, 사용자 손가락 끝의 위치 정보 및 동작 정보를 각각 획득할 수 있다.
다른 실시예에서, 3차원 동작 분석부(12)는 스테레오스코픽 디스플레이(16)의 정면의 현실 공간과 사용자 신체에 대한 2차원 영상에서 사용자의 얼굴로 식별되는 영역 및 손가락으로 식별되는 영역을 먼저 추출하고, 2차원 영상에서 추출된 식별 영역들에 각각 상응하는 3차원 깊이 영상 내의 특정 영역들로부터 사용자 얼굴 또는 안구의 위치 정보와 사용자 손가락 끝의 위치 정보 및 동작 정보를 각각 획득할 수 있다.
또 다른 실시예에서, 3차원 깊이 센서(11)는 구조화광을 방출하고 피사체에서 반사되는 반사광을 검출하며, 검출된 반사광의 변형된 형태를 분석하여 3차원 깊이 영상을 획득할 수 있다.
이를 위해, 일 실시예에서, 3차원 동작 분석부(12)는 스테레오스코픽 디스플레이(16)의 정면의 현실 공간과 사용자 신체에 대한 3차원 깊이 영상 내에서 신체 부위에 관한 특징점들을 추출하고, 추출된 특징점들에 의해 사용자의 얼굴 영역 및 손가락 끝 영역을 각각 식별하며, 식별된 영역들로부터 사용자 얼굴 또는 안구의 위치 정보와, 손가락 끝의 위치 정보 및 동작 정보를 획득할 수 있다.
3차원 동작 분석부(12)가 생성한 사용자 얼굴 또는 안구의 위치 정보와 사용자 손가락 끝의 위치 정보 및 동작 정보는 사용자가 어떤 UI 컨트롤을 어떻게 조작하였는지 여부를 판단할 수 있도록 UI 처리부(13)에 전달되고, 또한 사용자에게 UI 컨트롤들이 사용자의 손이 닿는 범위 내에서 시각적으로 인식되는 스테레오스코픽 UI 영상이 생성되도록 포맷터(14)에도 전달된다.
한편, 스테레오스코픽 UI 영상에 대한 사용자의 조작은 먼저 스테레오스코픽 UI 기능이 그 전에 활성화되는 것을 전제로 하는데, 그러한 스테레오스코픽 UI 기능의 활성화 또는 초기화는 사용자의 리모컨 조작에 의존하여 구현될 수도 있고 또는 3차원 동작 분석부(12)의 사용자 제스처 분석 결과에 기초하도록 구현될 수도 있다. 예를 들어, 사용자가 UI 조작을 원할 경우에 TV 스크린을 응시하면서 마치 허공에서 어떤 가상적인 버튼을 누르고 싶다는 듯이 검지 손가락만 내민 상태로 네 손가락들을 쥐고 팔을 살짝 앞으로 펴는 자세를 소정 시간, 예를 들어 몇 초간 취할 수 있는데, 이러한 소정의 제스처 조건이 만족되면, 3차원 동작 분석부(12)는 UI 활성화 신호를 UI 처리부(13) 및 포맷터(14)로 전달할 수 있다.
UI 처리부(13)는, 사용자의 리모컨 조작에 따라 또는 제스처에 따라 UI 표시 기능이 활성화되면, 예를 들어 사용자가 3D 영화를 감상 중인지, 화상 회의를 하는 중인지, 게임을 하는 중인지 등의 상황에 따라 적절한 UI 컨트롤들을 포함하는 UI 영상을 생성하고, 생성된 UI 영상을 포맷터(14)에 전달한다.
이때, UI 컨트롤들은 현재 표시 중인 스테레오스코픽 컨텐츠 영상의 감상에 대한 방해를 최소화할 수 있도록, 스테레오스코픽 컨텐츠 영상의 돌출되어 보이는 물체 레이어들을 피해 배경 레이어 위에 겹쳐 보이도록 의도적으로 배치될 수 있다.
UI 표시 기능이 활성화되면, 포맷터(14)는 사용자 얼굴 또는 안구 위치 정보 또는 사용자 손가락 끝 위치 정보에 포함되는 깊이 정보에 기초하여, 사용자가 손을 편안하게 뻗으면 닿을 정도의 깊이감을 느끼는 위치에 소정의 UI 컨트롤들이 입체감을 가지고 인식될 수 있도록 UI 컨트롤들을 위한 UI 깊이 정보를 결정할 수 있다.
나아가 포맷터(14)는 UI 처리부(13)로부터 UI 컨트롤들을 포함하는 UI 영상을 수신하며, 결정된 UI 깊이 정보를 따라, 수신된 UI 영상을 스테레오스코픽 변환하여 스테레오스코픽 UI 영상을 생성할 수 있다.
또한 UI 깊이 정보는 사용자와 스테레오스코픽 디스플레이 사이의 거리에 따라, 다시 말해 사용자의 감상 공간의 크기를 감안하여 상황에 따라 적응적으로 결정될 수 있다. 예를 들어 사용자가 책상 위에 세워진 스테레오스코픽 디스플레이(16)에 가까이 앉아 있다면 UI 깊이 정보는 사용자가 넓은 거실에서 안락하게 스테레오스코픽 디스플레이(16)를 마주하고 있는 경우의 UI 깊이 정보보다 짧게 결정되는 것이 적절할 것이다.
스테레오스코픽 영상에서 깊이 정보는 오브젝트의 좌우 디스패리티 값과 반비례하므로, 깊이 정보가 결정되면 그 깊이 정보에 상응하는 위치에서 오브젝트를 인식시킬 수 있는 좌우 영상의 디스패리티 값이 결정된다. 따라서, UI 깊이 정보가 결정되면 포맷터(14)는 UI 컨트롤을 그 위치에서 사용자로 하여금 인식시킬 수 있다.
이때, UI 깊이 정보, 사용자 얼굴 또는 안구의 위치 정보나 사용자 손가락 끝의 위치 정보는 모두 깊이 정보라는 용어에 기초하여 표현되지만, UI 깊이 정보는 스테레오스코픽 영상 내의 배경 레이어가 인식되는 위치로부터 스테레오스코픽 UI 영상 내의 UI 컨트롤들이 인식되는 위치까지의 기하학적인 거리를 의미하는 반면에, 사용자 얼굴 또는 안구의 위치 정보에 포함되는 깊이 정보와 사용자 손가락 끝 위치 정보에 포함되는 깊이 정보는 3차원 깊이 센서(11)에 의해 측정되는, 스테레오스코픽 디스플레이(16)로부터 사용자까지의 측정 거리를 의미한다는 점을 주의한다.
구체적으로, 포맷터(14)는 사용자가 인식하는 스테레오스코픽 영상의 시야각 내에 사용자가 조작하고자 하는 UI 컨트롤들이 모두 위치하도록, UI 처리부(13)로부터 수신된 UI 영상을 변환하여 스테레오스코픽 UI 영상을 생성할 수 있다.
나아가, 포맷터(14)는 사용자가 인식하는 스테레오스코픽 영상의 시야각 내에 사용자가 조작하고자 하는 UI 컨트롤들이 서로 혼동없이 구별되도록, UI 영상을 변환하여 스테레오스코픽 UI 영상을 생성할 수 있다.
여기서, 사용자가 인식하는 스테레오스코픽 영상의 시야각은 사용자의 위치에서 바라본 스테레오스코픽 디스플레이(16)의 스크린이 차지하는 시야각이다. 소정의 기초적인 기하학적인 관계에 따라, 사용자의 안구를 정점으로 하고 사용자의 안구로부터 스테레오스코픽 디스플레이(16)의 스크린을 향하는 시야각이 이루는 사각뿔과, UI 깊이 정보에 의해 특정되고 스테레오스코픽 디스플레이(16)의 스크린과 평행한 평면이 만나는 다각형, 즉 사각형을 생각해 볼 수 있다. 스테레오스코픽 UI 영상은 이러한 다각형 내에서 UI 컨트롤이 인식되도록 생성될 수 있다. 설명의 편의를 위해 본 명세서에서는 이러한 가상의 다각형을 UI 조작 다각형이라고 부르기로 한다.
UI 컨트롤들은 스테레오스코픽 디스플레이(16) 상의 스테레오스코픽 영상 내에서만 존재하므로, 사용자는 스테레오스코픽 디스플레이(16)의 스크린이 차지하는 시야각을 벗어나서는 결코 UI 컨트롤들을 인식할 수 없다. 결국, 이 UI 조작 다각형 내에서만 사용자의 손동작에 의한 유의미한 조작이 일어날 것이고, UI 조작 다각형을 벗어난 위치에서는 어떠한 사용자의 손동작도 UI 컨트롤의 조작과 관련되어 해석될 수 없다. 따라서 사용자가 UI 조작과 무관하게 수행하는 손동작이나 움직임이 UI 컨트롤에 관련된 조작으로 이해될 가능성은 줄어든다.
또한 UI 컨트롤들이 시각적으로 인식되는 3차원 공간 상의 위치는 스테레오스코픽 변환의 기하학적 원리에 기초하여 쉽게 파악될 수 있으므로, 이러한 UI 컨트롤들이 인식되는 위치와 손가락 끝의 위치 정보를 비교함으로써 UI 처리부(13)는 사용자가 어떤 UI 컨트롤을 조작하려는 중인지 판단할 수 있다.
이에 따라, UI 처리부(13)는 사용자의 손가락 끝의 위치 정보 및 동작 정보가 스테레오스코픽 UI 영상 내의 특정 UI 컨트롤에 상응하는지 판단하고, 판단 결과에 따라 특정한 UI 컨트롤을 시각적으로 변형한 UI 영상을 생성할 수 있다.
구체적으로, UI 처리부(13)는 사용자 얼굴(좀더 바람직하게는 사용자의 안구)의 위치 정보 및 UI 깊이 정보에 따라 UI 조작 다각형을 특정하고, 사용자 손가락 끝의 위치 정보에 따라 UI 조작 다각형 내에서 사용자가 조작을 의도한 UI 컨트롤을 식별하며, 사용자 손가락 끝의 동작 정보에 따라 사용자의 UI 컨트롤에 대한 조작 의도를 식별하고, 식별된 조작 의도에 따라 사용자에게 피드백을 제공할 수 있도록 UI 컨트롤들을 시각적으로 변형하면서 UI 영상을 계속 생성한다. 예를 들어, 사용자의 손가락 끝의 위치 정보에 상응하는 위치의 UI 컨트롤이 버튼 형태이고 사용자 손가락 끝의 동작 정보가 손가락을 앞으로 더 돌출시키는 동작에 상응한다면, UI 컨트롤은 버튼이 눌러지거나 색상이 변화하는 시각적 효과를 나타내도록 변형될 수 있다.
이어서, 포맷터(14)는 UI 깊이 정보에 따라 결정된 디스패리티를 가지고 UI 영상으로부터 스테레오스코픽 UI 영상을 생성하고, 생성된 스테레오스코픽 UI 영상을 영상 합성부(15)에 전달한다.
영상 합성부(15)는 원래 표시 중이던 스테레오스코픽 컨텐츠 영상에 스테레오스코픽 UI 영상을 합성하고 합성된 스테레오스코픽 영상을 스테레오스코픽 디스플레이(16)에 전달한다.
3차원 사용자 인터페이스의 생성과 피드백을 예시하기 위해 도 2를 참조하면, 도 2는 본 발명의 일 실시예에 따른 스테레오스코픽 디스플레이 장치가 제공하는 3차원 사용자 인터페이스를 예시한 개념도이다.
도 2에서, 좌측에 스테레오스코픽 디스플레이(16)에 소정의 스테레오스코픽 영상이 표시되고 있는 중에, 사용자의 UI 활성화 제스처 또는 리모콘 조작에 의해 스테레오스코픽 UI 영상 기능이 활성화된다.
먼저 스테레오스코픽 UI 영상 내의 UI 컨트롤들이 사용자에 의해 인식될 위치를 결정하기 위해, 3차원 깊이 센서(11)에 의해 스테레오스코픽 디스플레이(16)를 기준으로 사용자의 얼굴 또는 안구의 위치 정보가 결정되고, 사용자의 얼굴 또는 안구 위치로부터 사용자가 편안하게 조작할 수 있는 거리에 기초하여, 또한 경우에 따라서는 사용자의 감상 공간의 크기를 감안하여, UI 깊이 정보가 결정된다. 예를 들어 UI 깊이 정보는 사용자 얼굴, 즉 안구에서 50 cm 떨어진 위치에 상응하는 깊이로 결정될 수 있다.
이에 따라, UI 처리부(13)가 생성한 2차원 UI 영상은 포맷터(14)에서 결정된 UI 깊이 정보에 따라 스테레오스코픽 UI 영상으로 변환된다.
사용자는 스테레오스코픽 UI 영상이 마치 자신의 얼굴 앞에 50 cm 정도 떨어진 위치에 떠있는 것처럼 인식할 것이며 정면으로 50 cm 정도 손을 뻗어 손가락 끝을 UI 컨트롤이 인식되는 지점에 위치시켰을 때에 해당 위치의 UI 컨트롤이 시각적으로 변형되는 것을 확인함으로써, UI 컨트롤의 정상적인 조작 여부에 관하여 피드백받을 수 있다.
도 3은 본 발명의 일 실시예에 따른 스테레오스코픽 디스플레이 장치를 이용한 3차원 사용자 인터페이스 제공 방법을 예시한 순서도이다.
도 3을 참조하면, 스테레오스코픽 디스플레이 장치를 이용한 3차원 사용자 인터페이스 제공 방법은 스테레오스코픽 디스플레이(16)의 스크린과 동일한 평면 또는 평행하는 평면에 배치된 3차원 깊이 센서(11)를 가지는 도 1의 스테레오스코픽 디스플레이 장치(10)를 이용한다.
이에 따라, 3차원 사용자 인터페이스 제공 방법은, 단계(S31)에서, UI 컨트롤들을 포함하는 UI 영상을 생성한다.
이어서, 단계(S32)에서, UI 영상에서 변환되는 스테레오스코픽 UI 영상이 사용자의 팔 길이 이내의 소정 위치에서 인식되도록 UI 깊이 정보를 결정한다.
구체적으로, 단계(S32)에서, 스테레오스코픽 디스플레이(16)의 정면의 3차원 현실 공간에 대한 3차원 깊이 영상을 획득하고, 3차원 깊이 영상으로부터 사용자 얼굴 또는 안구의 위치 정보를 획득하며, 사용자 얼굴 또는 안구의 위치 정보로부터 UI 깊이 정보를 결정할 수 있다.
단계(S33)에서, UI 깊이 정보에 따라 UI 영상으로부터 변환된 스테레오스코픽 UI 영상을 스테레오스코픽 디스플레이(16)에 표시한다.
단계(S34)에서, 사용자의 손가락 끝의 위치 정보 및 동작 정보가 스테레오스코픽 UI 영상 내의 특정 UI 컨트롤에 상응하는지 판단하고, 판단 결과에 따라 특정한 UI 컨트롤을 시각적으로 변형한 UI 영상을 생성한다.
UI 영상이 생성된 후에, 절차는 단계(S32)로 되돌아가 반복될 수 있다.
또한, 언제라도 UI 표시 기능이 비활성화되거나 또는 UI 컨트롤에 대한 조작 목적이 달성되면, UI 영상을 생성하는 단계 또는 표시하는 단계에서 절차는 종료될 수 있다.
본 실시예 및 본 명세서에 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형예와 구체적인 실시예는 모두 본 발명의 권리범위에 포함되는 것이 자명하다고 할 것이다.
또한, 본 발명에 따른 장치는 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽힐 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, 광학 디스크, 자기 테이프, 플로피 디스크, 하드 디스크, 비휘발성 메모리 등을 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
10 스테레오스코픽 디스플레이 장치
11 3차원 깊이 센서
12 3차원 동작 분석부
13 UI 처리부
14 포맷터
15 영상 합성부
16 스테레오스코픽 디스플레이

Claims (19)

  1. 스테레오스코픽 디스플레이;
    상기 스테레오스코픽 디스플레이의 정면의 3차원 현실 공간에 대한 3차원 깊이 영상을 획득하는 3차원 깊이 센서;
    상기 3차원 깊이 영상을 이용하여, 사용자 얼굴 또는 안구의 위치 정보를 각각 획득하는 3차원 동작 분석부;
    UI 컨트롤들을 포함하는 UI 영상을 생성하는 UI 처리부; 및
    상기 UI 영상에서 변환되는 상기 스테레오스코픽 UI 영상이 사용자의 팔 길이 이내의 소정 위치에서 인식되도록 UI 깊이 정보를 결정하고, 상기 UI 깊이 정보에 따라 상기 UI 영상을 상기 스테레오스코픽 UI 영상으로 변환하는 포맷터를 포함하는 3차원 사용자 인터페이스를 제공하는 스테레오스코픽 디스플레이 장치.
  2. 청구항 1에 있어서, 상기 3차원 동작 분석부는
    사용자 손가락 끝의 위치 정보 및 동작 정보를 획득하도록 동작하고,
    상기 UI 처리부는
    사용자의 손가락 끝의 위치 정보 및 동작 정보가 스테레오스코픽 UI 영상 내의 특정 UI 컨트롤에 상응하는지 판단하며, 판단 결과에 따라 특정한 UI 컨트롤을 시각적으로 변형한 UI 영상을 생성하도록 동작하는 것을 특징으로 하는 3차원 사용자 인터페이스를 제공하는 스테레오스코픽 디스플레이 장치.
  3. 청구항 1에 있어서, 상기 3차원 깊이 센서는
    상기 스테레오스코픽 디스플레이의 스크린이 이루는 평면 또는 상기 스크린과 평행한 평면 상에서 사용자를 향하도록 배치되는 적어도 두 개의 영상 센서들을 포함하여, 상기 스테레오스코픽 디스플레이의 정면의 3차원 현실 공간에 대한 3차원 깊이 영상을 획득하도록 동작하고,
    상기 3차원 동작 분석부는
    상기 3차원 깊이 영상 내에서 사용자의 신체 부위에 관한 특징점들을 추출하고, 추출된 특징점들에 의해 사용자의 얼굴 영역을 식별하며, 식별된 얼굴 영역으로부터 사용자 얼굴 또는 안구의 위치 정보를 획득하도록 동작하는 것을 특징으로 하는 3차원 사용자 인터페이스를 제공하는 스테레오스코픽 디스플레이 장치.
  4. 청구항 1에 있어서, 상기 3차원 깊이 센서는
    상기 스테레오스코픽 디스플레이의 스크린이 이루는 평면 또는 스크린과 평행한 평면 상에서 사용자를 향하도록 배치되는 적어도 두 개의 영상 센서들을 포함하여, 상기 스테레오스코픽 디스플레이의 정면의 현실 공간에 대한 3차원 깊이 영상 및 2차원 영상을 각각 획득하도록 동작하고,
    상기 3차원 동작 분석부는
    상기 2차원 영상에서 사용자의 얼굴로 식별되는 영역을 먼저 추출하고, 상기 2차원 영상에서 추출된 얼굴 영역에 상응하는 3차원 깊이 영상 내의 특정 영역으로부터 사용자 얼굴 또는 안구의 위치 정보를 획득하도록 동작하는 것을 특징으로 하는 3차원 사용자 인터페이스를 제공하는 스테레오스코픽 디스플레이 장치.
  5. 청구항 1에 있어서, 상기 3차원 깊이 센서는
    구조화광을 방출하고 피사체에서 반사되는 반사광을 검출하며, 검출된 반사광의 변형된 형태를 분석하여 상기 3차원 깊이 영상을 획득하도록 동작하고,
    상기 3차원 동작 분석부는
    상기 3차원 깊이 영상 내에서 사용자의 신체 부위에 관한 특징점들을 추출하고, 추출된 특징점들에 의해 사용자의 얼굴 영역을 식별하며, 식별된 얼굴 영역으로부터 사용자 얼굴 또는 안구의 위치 정보를 획득하도록 동작하는 것을 특징으로 하는 3차원 사용자 인터페이스를 제공하는 스테레오스코픽 디스플레이 장치.
  6. 청구항 1에 있어서, 상기 스테레오스코픽 UI 영상은
    사용자의 안구를 정점으로 하고 사용자의 안구로부터 상기 스테레오스코픽 디스플레이의 스크린을 향하는 시야각이 이루는 사각뿔과, 상기 UI 깊이 정보에 의해 특정되고 상기 스테레오스코픽 디스플레이의 스크린과 평행한 평면이 만나 이루어지는 다각형 내에서, 상기 UI 컨트롤이 인식되도록 형성되는 것을 특징으로 하는 3차원 사용자 인터페이스를 제공하는 스테레오스코픽 디스플레이 장치.
  7. 청구항 1에 있어서, 상기 UI 깊이 정보는 사용자와 상기 스테레오스코픽 디스플레이 사이의 거리에 따라 결정되는 것을 특징으로 하는 3차원 사용자 인터페이스를 제공하는 스테레오스코픽 디스플레이 장치.
  8. 청구항 1에 있어서,
    표시 중이던 스테레오스코픽 컨텐츠 영상에 상기 포맷터로부터 전달된 상기 스테레오스코픽 UI 영상을 합성하고, 합성된 스테레오스코픽 영상을 상기 스테레오스코픽 디스플레이에 전달하는 영상 합성부를 더 포함하는 것을 특징으로 하는 3차원 사용자 인터페이스를 제공하는 스테레오스코픽 디스플레이 장치.
  9. 청구항 8에 있어서, 상기 UI 처리부는
    사용자에게 상기 UI 컨트롤이 상기 스테레오스코픽 컨텐츠 영상의 돌출되어 보이는 물체 레이어들을 피해 배경 레이어 위에 겹쳐 보이도록, 상기 UI 컨트롤을 배치하도록 동작하는 것을 특징으로 하는 3차원 사용자 인터페이스를 제공하는 스테레오스코픽 디스플레이 장치.
  10. 스테레오스코픽 디스플레이 장치를 이용한 3차원 사용자 인터페이스 제공 방법으로서,
    UI 컨트롤들을 포함하는 UI 영상을 생성하는 단계;
    상기 UI 영상에서 변환되는 스테레오스코픽 UI 영상이 사용자의 팔 길이 이내의 소정 위치에서 인식되도록 UI 깊이 정보를 결정하는 단계; 및
    상기 UI 깊이 정보에 따라 상기 UI 영상으로부터 변환된 스테레오스코픽 UI 영상을 상기 스테레오스코픽 디스플레이에 표시하는 단계를 포함하는 스테레오스코픽 디스플레이 장치를 이용한 3차원 사용자 인터페이스 제공 방법.
  11. 청구항 10에 있어서, 상기 UI 깊이 정보를 결정하는 단계는,
    상기 스테레오스코픽 디스플레이의 스크린과 동일한 평면 또는 평행하는 평면에 배치된 3차원 깊이 센서를 이용하여 상기 스테레오스코픽 디스플레이의 정면의 3차원 현실 공간에 대한 3차원 깊이 영상을 획득하는 단계;
    상기 3차원 깊이 영상으로부터 사용자 얼굴 또는 안구의 위치 정보를 획득하는 단계; 및
    상기 사용자 얼굴 또는 안구의 위치 정보로부터 상기 UI 깊이 정보를 결정하는 단계를 포함하는 것을 특징으로 하는 스테레오스코픽 디스플레이 장치를 이용한 3차원 사용자 인터페이스 제공 방법.
  12. 청구항 11에 있어서,
    상기 3차원 깊이 영상으로부터 사용자 손가락 끝의 위치 정보 및 동작 정보를 획득하는 단계; 및
    상기 사용자의 손가락 끝의 위치 정보 및 동작 정보가 스테레오스코픽 UI 영상 내의 특정 UI 컨트롤에 상응하는지 판단하고, 판단 결과에 따라 특정한 UI 컨트롤을 시각적으로 변형한 UI 영상을 생성하는 단계를 더 포함하는 것을 특징으로 하는 스테레오스코픽 디스플레이 장치를 이용한 3차원 사용자 인터페이스 제공 방법.
  13. 청구항 11에 있어서, 상기 스테레오스코픽 디스플레이의 정면의 3차원 현실 공간에 대한 3차원 깊이 영상을 획득하는 단계는
    상기 스테레오스코픽 디스플레이의 스크린이 이루는 평면 또는 상기 스크린과 평행한 평면 상에서 사용자를 향하도록 배치되는 적어도 두 개의 영상 센서들을 이용하여, 상기 스테레오스코픽 디스플레이의 정면의 3차원 현실 공간에 대한 3차원 깊이 영상을 획득하는 단계를 포함하고,
    상기 3차원 깊이 영상으로부터 사용자 얼굴 또는 안구의 위치 정보를 획득하는 단계는
    상기 3차원 깊이 영상 내에서 사용자의 신체 부위에 관한 특징점들을 추출하고, 추출된 특징점들에 의해 사용자의 얼굴 영역을 식별하며, 식별된 얼굴 영역으로부터 사용자 얼굴 또는 안구의 위치 정보를 획득하는 단계를 포함하는 것을 특징으로 하는 스테레오스코픽 디스플레이 장치를 이용한 3차원 사용자 인터페이스 제공 방법.
  14. 청구항 11에 있어서, 상기 스테레오스코픽 디스플레이의 정면의 3차원 현실 공간에 대한 3차원 깊이 영상을 획득하는 단계는
    상기 스테레오스코픽 디스플레이의 스크린이 이루는 평면 또는 스크린과 평행한 평면 상에서 사용자를 향하도록 배치되는 적어도 두 개의 영상 센서들을 이용하여, 상기 스테레오스코픽 디스플레이의 정면의 현실 공간에 대한 3차원 깊이 영상 및 2차원 영상을 각각 획득하는 단계를 포함하고,
    상기 3차원 깊이 영상으로부터 사용자 얼굴 또는 안구의 위치 정보를 획득하는 단계는
    상기 2차원 영상에서 사용자의 얼굴로 식별되는 영역을 먼저 추출하고, 상기 2차원 영상에서 추출된 얼굴 영역에 각각 상응하는 3차원 깊이 영상 내의 특정 영역으로부터 사용자 얼굴 또는 안구의 위치 정보를 획득하는 단계를 포함하는 것을 특징으로 하는 스테레오스코픽 디스플레이 장치를 이용한 3차원 사용자 인터페이스 제공 방법.
  15. 청구항 11에 있어서, 상기 스테레오스코픽 디스플레이의 정면의 3차원 현실 공간에 대한 3차원 깊이 영상을 획득하는 단계는
    구조화광을 방출하고 피사체에서 반사되는 반사광을 검출하며, 검출된 반사광의 변형된 형태를 분석하여 상기 3차원 깊이 영상을 획득하는 단계를 포함하고,
    상기 3차원 깊이 영상으로부터 사용자 얼굴 또는 안구의 위치 정보를 획득하는 단계는
    상기 3차원 깊이 영상 내에서 사용자의 신체 부위에 관한 특징점들을 추출하고, 추출된 특징점들에 의해 사용자의 얼굴 영역을 식별하며, 식별된 얼굴 영역으로부터 사용자 얼굴 또는 안구의 위치 정보를 획득하는 단계를 포함하는 것을 특징으로 하는 스테레오스코픽 디스플레이 장치를 이용한 3차원 사용자 인터페이스 제공 방법.
  16. 청구항 10에 있어서, 상기 스테레오스코픽 UI 영상은
    사용자의 안구를 정점으로 하고 사용자의 안구로부터 상기 스테레오스코픽 디스플레이의 스크린을 향하는 시야각이 이루는 사각뿔과, 상기 UI 깊이 정보에 의해 특정되고 상기 스테레오스코픽 디스플레이의 스크린과 평행한 평면이 만나 이루어지는 다각형 내에서, 상기 UI 컨트롤이 인식되도록 형성되는 것을 특징으로 하는 스테레오스코픽 디스플레이 장치를 이용한 3차원 사용자 인터페이스 제공 방법.
  17. 청구항 10에 있어서, 상기 UI 깊이 정보는 사용자와 상기 스테레오스코픽 디스플레이 사이의 거리에 따라 결정되는 것을 특징으로 하는 스테레오스코픽 디스플레이 장치를 이용한 3차원 사용자 인터페이스 제공 방법.
  18. 청구항 10에 있어서,
    상기 스테레오스코픽 디스플레이에 표시 중이던 스테레오스코픽 컨텐츠 영상에 상기 스테레오스코픽 UI 영상을 합성하고, 상기 합성된 스테레오스코픽 영상을 상기 스테레오스코픽 디스플레이에 표시하는 단계를 더 포함하는 것을 특징으로 하는 스테레오스코픽 디스플레이 장치를 이용한 3차원 사용자 인터페이스 제공 방법.
  19. 청구항 18에 있어서, 상기 UI 컨트롤들을 포함하는 UI 영상을 생성하는 단계는
    사용자에게 상기 UI 컨트롤이 상기 스테레오스코픽 컨텐츠 영상의 돌출되어 보이는 물체 레이어들을 피해 배경 레이어 위에 겹쳐 보이도록, 상기 UI 컨트롤을 배치하여 상기 UI 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 스테레오스코픽 디스플레이 장치를 이용한 3차원 사용자 인터페이스 제공 방법.
KR1020140018520A 2014-02-18 2014-02-18 3차원 사용자 인터페이스를 제공하는 스테레오스코픽 디스플레이 장치 및 방법 KR101560474B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140018520A KR101560474B1 (ko) 2014-02-18 2014-02-18 3차원 사용자 인터페이스를 제공하는 스테레오스코픽 디스플레이 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140018520A KR101560474B1 (ko) 2014-02-18 2014-02-18 3차원 사용자 인터페이스를 제공하는 스테레오스코픽 디스플레이 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150097245A true KR20150097245A (ko) 2015-08-26
KR101560474B1 KR101560474B1 (ko) 2015-10-14

Family

ID=54059283

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140018520A KR101560474B1 (ko) 2014-02-18 2014-02-18 3차원 사용자 인터페이스를 제공하는 스테레오스코픽 디스플레이 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101560474B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220076815A (ko) * 2020-12-01 2022-06-08 서울과학기술대학교 산학협력단 실감형 콘텐츠 생성 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101284797B1 (ko) 2008-10-29 2013-07-10 한국전자통신연구원 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치 및 그 방법
KR101272572B1 (ko) 2011-11-11 2013-06-10 재단법인대구경북과학기술원 3차원 영상 기반의 특징을 이용한 거리 추정 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220076815A (ko) * 2020-12-01 2022-06-08 서울과학기술대학교 산학협력단 실감형 콘텐츠 생성 방법

Also Published As

Publication number Publication date
KR101560474B1 (ko) 2015-10-14

Similar Documents

Publication Publication Date Title
US11036304B2 (en) Mode switching for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
US11599237B2 (en) User interface for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
US10437347B2 (en) Integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
CN109564472B (zh) 用于选取与虚拟对象的交互方法的方法、介质和系统
CN110647237B (zh) 在人工现实环境中基于手势的内容共享
KR102413561B1 (ko) 혼합 현실 환경의 가상 사용자 입력 콘트롤들
JP6057396B2 (ja) ３次元ユーザインタフェース装置及び３次元操作処理方法
JP5936155B2 (ja) ３次元ユーザインタフェース装置及び３次元操作方法
CN105637559B (zh) 使用深度传感器的结构建模
US20130154913A1 (en) Systems and methods for a gaze and gesture interface
US20130050069A1 (en) Method and system for use in providing three dimensional user interface
KR101822471B1 (ko) 혼합현실을 이용한 가상현실 시스템 및 그 구현방법
KR20170026164A (ko) 가상 현실 디스플레이 장치 및 그 장치의 표시 방법
KR101892735B1 (ko) 직관적인 상호작용 장치 및 방법
WO2019069536A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
JP2012038025A (ja) 表示装置及び表示装置の制御方法、プログラム
KR101560474B1 (ko) 3차원 사용자 인터페이스를 제공하는 스테레오스코픽 디스플레이 장치 및 방법
KR20200120467A (ko) Hmd 장치 및 그 동작 방법
US11907434B2 (en) Information processing apparatus, information processing system, and information processing method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190905

Year of fee payment: 5