KR102288039B1 - 관찰자를 추적할 수 있는 공중 3차원 디스플레이 장치 및 방법 - Google Patents

관찰자를 추적할 수 있는 공중 3차원 디스플레이 장치 및 방법 Download PDF

Info

Publication number
KR102288039B1
KR102288039B1 KR1020200029122A KR20200029122A KR102288039B1 KR 102288039 B1 KR102288039 B1 KR 102288039B1 KR 1020200029122 A KR1020200029122 A KR 1020200029122A KR 20200029122 A KR20200029122 A KR 20200029122A KR 102288039 B1 KR102288039 B1 KR 102288039B1
Authority
KR
South Korea
Prior art keywords
image
display
face
feature point
tracked
Prior art date
Application number
KR1020200029122A
Other languages
English (en)
Other versions
KR20200112678A (ko
Inventor
권순철
손현용
강진규
전형준
Original Assignee
광운대학교 산학협력단
(주)딜레토
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단, (주)딜레토 filed Critical 광운대학교 산학협력단
Publication of KR20200112678A publication Critical patent/KR20200112678A/ko
Application granted granted Critical
Publication of KR102288039B1 publication Critical patent/KR102288039B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking

Abstract

본 명세서는 프리폼(free-form) 미러를 이용하되 프리폼 구조적 특성상 좁은 시야각을 극복하기 위해 관찰자를 추적하도록 구성되는 공중 3차원 디스플레이 장치 및 방법을 개시한다. 본 명세서에 따른 공중 3차원 디스플레이 장치는, 영상 내 피사체에 대한 거리 측정이 가능한 뎁스 카메라; 영상을 출력하는 디스플레이 및 상기 디스플레이와 소정의 거리로 이격되어 공중에 3차원을 보여주기 위해 상기 디스플레이에서 출력된 영상을 반사하는 거울을 가진 광학계부; 상기 디스플레이 및 상기 거울의 방향을 조정하는 광학계 조정부; 상기 뎁스 카메라에서 출력된 영상에서 추적 대상자를 선정하고, 상기 선정된 추적 대상자의 얼굴 좌표를 산출하며, 상기 산출된 얼굴 좌표에 따라 상기 디스플레이 및 상기 거울의 방향을 조정하는 제어 신호(이하 '방향 조정 제어 신호')를 출력하는 제어부;를 포함할 수 있다.

Description

관찰자를 추적할 수 있는 공중 3차원 디스플레이 장치 및 방법{OBSERVER TRACKABLE AERIAL THREE-DIMENSIONAL DISPLAY APPARATUS AND METHOD THEREOF}
본 발명은 공중 3차원 디스플레이 장치 및 방법에 관한 것으로, 더욱 상세하게는 관찰자에게 넓은 시야각을 제공할 수 있는 공중 3차원 디스플레이 장치 및 방법에 관한 것이다.
공중 3차원 디스플레이(Aerial 3D Display)란 재생 광학계와 관람자 사이에 보여진 허상으로서, 공중에 영상이 재생된 것 같은 즉, 플로팅 효과를 가진 영상을 표시한다.
도 1은 공중 3차원 디스플레이의 광학계에 대한 참고도이다.
도 1을 참조하면, 일반적인 공중 3차원 디스플레이 장치는 다음과 같은 구조를 가진다. 디스플레이는 일반적인 LCD 패널과 같은 2차원 영상 디스플레이로서 이미지를 출력한다. 이때 이미지의 배경은 검은색으로 하고 객체를 생성하면, 검은색 부분은 프리폼 거울(free-form mirror)에 반사되지 않고 객체 부분만 반사되어, 관람자와 디스플레이 광학계 사이에 허상이 맺힌다. 프리폼 거울 외에 하프미러를 활용하는 경우, 광학계 뒤쪽으로 재생상이 형성될 수 있다. 재생). 확대 및 왜곡 등을 고려 광학계 구성은 여러 형태가 있다.
도 2는 종래 프리폼 미러를 사용하는 공중 3차원 디스플레이 제품에 관한 참고도이다.
도 2를 참조하면, 상용화된 공중 3차원 디스플레이 제품의 예시로서, Holobox FS-4365가 도시되어 있다. 상기 제품은 프리폼 거울을 사용한 제품으로서, 프리폼 거울의 구조적 특성상 매우 한정된 시야각을 가진다. 상기 Holobox FS-4365의 경우 시야각 65도이며, 시야각의 중심부 외에는 심한 왜곡현상이 나타나거나 또는 객체가 안보이는 현상이 발생한다.
대한민국 등록특허공보 제10-0891664호 (2009.03.27)
본 명세서는 프리폼(free-form) 미러를 이용하되 프리폼 구조적 특성상 좁은 시야각을 극복하기 위해 관찰자를 추적하도록 구성되는 공중 3차원 디스플레이 장치 및 방법을 제공하는 것이다.
본 명세서는 상기 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 명세서에 따른 공중 3차원 디스플레이 장치는, 영상 내 피사체에 대한 거리 측정이 가능한 뎁스 카메라; 영상을 출력하는 디스플레이 및 상기 디스플레이와 소정의 거리로 이격되어 공중에 3차원을 보여주기 위해 상기 디스플레이에서 출력된 영상을 반사하는 거울을 가진 광학계부; 상기 디스플레이 및 상기 거울의 방향을 조정하는 광학계 조정부; 상기 뎁스 카메라에서 출력된 영상에서 추적 대상자를 선정하고, 상기 선정된 추적 대상자의 얼굴 좌표를 산출하며, 상기 산출된 얼굴 좌표에 따라 상기 디스플레이 및 상기 거울의 방향을 조정하는 제어 신호(이하 '방향 조정 제어 신호')를 출력하는 제어부;를 포함할 수 있다.
본 명세서의 일 실시예에 따르면, 상기 제어부는 상기 뎁스 카메라에서 출력된 영상에서 다수의 사람이 포함된 경우, 상기 뎁스 카메라로부터 가장 가까이에 위치한 사람을 추적 대상자로 선정할 수 있다.
본 명세서의 일 실시예에 따르면, 상기 제어부는 상기 뎁스 카메라에서 출력된 영상 중 RGB 영상을 그레이 스케일 영상으로 변환하고, 미리 설정된 크기의 적어도 하나 이상의 윈도우 마스크 내 픽셀의 밝기 변화를 이용하여 해당 윈도우 마스크의 대표 밝기 변화 방향 정보를 산출하고, 상기 산출된 대표 밝기 변화 방향 정보와 미리 저장된 기준 얼굴 패턴 데이터와 매칭을 통해 상기 뎁스 카메라에서 출력된 영상에서 사람의 얼굴을 감지할 수 있다.
본 명세서의 일 실시예에 따르면, 상기 제어부는 상기 기준 얼굴 패턴 데이터와 매칭을 통해 감지된 다수의 얼굴(이하 '후보 얼굴')에서 각 후보 얼굴의 중심 좌표를 산출하여, 중심 좌표값이 가장 가까운 후보 얼굴을 상기 추적 대상자로 선정할 수 있다.
본 명세서의 일 실시예에 따르면, 상기 제어부는 기준 영상과 상기 기준 영상의 다음 영상에서 상기 추적 대상자의 얼굴에서 특징점을 각각 검출하고, 두 특징점 사이의 모션 벡터값을 산출할 수 있다.
본 명세서의 일 실시예에 따르면, 상기 제어부는 상기 모션 벡터값에 따라 상기 조정 방향 제어 신호를 출력할 수 있다.
본 명세서의 일 실시예에 따르면, 상기 제어부는 상기 기준 영상에서 상기 추적 대상자의 얼굴에서 특징점을 검출하고 상기 기준 영상의 다음 영상에서 상기 추적 대상자의 얼굴에서 특징점을 검출하지 못한 경우, 이후 미리 설정된 복수의 영상 동안 상기 기준 영상에서 검출된 특징점이 재 검출되는지 여부를 판단할 수 있다.
본 명세서의 일 실시예에 따르면, 상기 제어부는 상기 기준 영상에서 검출된 특징점이 재 검출된 경우, 재 검출된 특징점을 가진 얼굴을 재 추적 대상자로 선정할 수 있다.
본 명세서의 일 실시예에 따르면, 상기 제어부는 상기 미리 설정된 복수의 영상 동안 상기 기준 영상에서 검출된 특징점이 재 검출되지 않은 경우, 상기 디스플레이 및 상기 거울의 방향을 초기화 시키는 제어 신호를 출력할 수 있다.
본 명세서의 일 실시예에 따르면, 상기 제어부는 상기 조정 방향 제어 신호의 출력값이 상기 광학계 조정부가 조정할 수 있는 상기 디스플레이 및 상기 거울의 최대 방향값(임계 방향값)을 초과하면, 상기 디스플레이 및 상기 거울의 방향을 초기화 시키는 제어 신호를 출력할 수 있다.
상술한 과제를 해결하기 위한 본 명세서에 따른 공중 3차원 디스플레이 방법은, 뎁스 카메라, 디스플레이와 거울을 가진 광학계부, 광학계 조정부 및 제어부를 포함하는 공중 3차원 디스플레이 장치를 제어하는 방법으로서, (a) 상기 제어부가 상기 뎁스 카메라에서 출력된 영상에서 추적 대상자를 선정하는 단계; (b) 상기 제어부가 상기 선정된 추적 대상자의 얼굴 좌표를 산출하는 단계; 및 (c) 상기 제어부가 상기 산출된 얼굴 좌표에 따라 상기 디스플레이 및 상기 거울의 방향을 조정하는 제어 신호(이하 '방향 조정 제어 신호')를 출력하는 단계;를 포함할 수 있다.
본 명세서의 일 실시예에 따르면, 상기 (a) 단계는, 상기 제어부가 상기 뎁스 카메라에서 출력된 영상에서 다수의 사람이 포함된 경우, 상기 뎁스 카메라로부터 가장 가까이에 위치한 사람을 추적 대상자로 선정하는 단계일 수 있다.
본 명세서의 일 실시예에 따르면, 상기 (a) 단계는, 상기 제어부가 상기 뎁스 카메라에서 출력된 영상 중 RGB 영상을 그레이 스케일 영상으로 변환하고, 미리 설정된 크기의 적어도 하나 이상의 윈도우 마스크 내 픽셀의 밝기 변화를 이용하여 해당 윈도우 마스크의 대표 밝기 변화 방향 정보를 산출하고, 상기 산출된 대표 밝기 변화 방향 정보와 미리 저장된 기준 얼굴 패턴 데이터와 매칭을 통해 상기 뎁스 카메라에서 출력된 영상에서 사람의 얼굴을 감지하는 단계일 수 있다.
본 명세서의 일 실시예에 따르면, 상기 (a) 단계는, 상기 제어부가 상기 기준 얼굴 패턴 데이터와 매칭을 통해 감지된 다수의 얼굴(이하 '후보 얼굴')에서 각 후보 얼굴의 중심 좌표를 산출하여, 중심 좌표값이 가장 가까운 후보 얼굴을 상기 추적 대상자로 선정하는 단계일 수 있다.
본 명세서의 일 실시예에 따르면, 상기 (b) 단계는, 상기 제어부가 기준 영상과 상기 기준 영상의 다음 영상에서 상기 추적 대상자의 얼굴에서 특징점을 각각 검출하고, 두 특징점 사이의 모션 벡터값을 산출하는 단계일 수 있다.
본 명세서의 일 실시예에 따르면, 상기 (c) 단계는, 상기 제어부가 상기 모션 벡터값에 따라 상기 조정 방향 제어 신호를 출력하는 단계일 수 있다.
본 명세서의 일 실시예에 따르면, 상기 (b) 단계는, 상기 제어부가 상기 기준 영상에서 상기 추적 대상자의 얼굴에서 특징점을 검출하고 상기 기준 영상의 다음 영상에서 상기 추적 대상자의 얼굴에서 특징점을 검출하지 못한 경우, 이후 미리 설정된 복수의 영상 동안 상기 기준 영상에서 검출된 특징점이 재 검출되는지 여부를 판단하는 단계일 수 있다.
본 명세서의 일 실시예에 따르면, 상기 (b) 단계는, 상기 제어부가 상기 기준 영상에서 검출된 특징점이 재 검출된 경우, 재 검출된 특징점을 가진 얼굴을 재 추적 대상자로 선정하는 단계일 수 있다.
본 명세서의 일 실시예에 따르면, 상기 (c) 단계는, 상기 제어부가 상기 미리 설정된 복수의 영상 동안 상기 기준 영상에서 검출된 특징점이 재 검출되지 않은 경우, 상기 디스플레이 및 상기 거울의 방향을 초기화 시키는 제어 신호를 출력할 수 있다.
본 명세서의 일 실시예에 따르면, 상기 (c) 단계는, 상기 제어부가 상기 조정 방향 제어 신호의 출력값이 상기 광학계 조정부가 조정할 수 있는 상기 디스플레이 및 상기 거울의 최대 방향값(임계 방향값)을 초과하면, 상기 디스플레이 및 상기 거울의 방향을 초기화 시키는 제어 신호를 출력하는 단계일 수 있다.
본 명세서에 따른 공중 3차원 디스플레이 방법은 컴퓨터에서 각 단계들을 수행하도록 작성되어 컴퓨터로 독출 가능한 기록 매체에 기록된 컴퓨터프로그램의 형태로 구현될 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명에 따르면, 본 발명은 프리폼 미러를 활용하는 공중 3D 디스플레이의 좁은 시야각 및 왜곡 현상들을 관람자 추적을 통해 해결할 수 있다. 특히 최근 무인 주문 키오스크에 주문자 시점에 따라 제품을 보여주는 기대효과를 가진다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 공중 3차원 디스플레이의 광학계에 대한 참고도이다.
도 2는 종래 프리폼 미러를 사용하는 공중 3차원 디스플레이 제품에 관한 참고도이다.
도 3 및 도 4는 본 명세서에 따른 공중 3차원 디스플레이 장치에 대한 참고도이다.
도 5는 본 명세서에 따른 공중 3차원 디스플레이 장치의 구성을 개략적으로 도시한 블럭도이다.
도 6은 본 명세서에 따른 디스플레이 및 거울의 방향이 조정된 예시도이다.
도 7은 본 명세서에 따른 공중 3차원 디스플레이 방법의 흐름도이다.
도 8은 본 명세서에 따른 제어부가 영상에서 사람의 얼굴을 감지 방법에 대한 흐름도이다.
도 9는 밝기 변화 방향 정보의 산출에 대한 참고도이다.
도 10은 패턴 데이터 매칭에 대한 참고도이다.
도 11은 추적 대상자와 뎁스 카메라 사이에 장애물이 있는 상황의 예시도이다.
도 12는 추적 대상자를 재 선정하는 참고도이다.
본 명세서에 개시된 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 명세서가 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 명세서의 개시가 완전하도록 하고, 본 명세서가 속하는 기술 분야의 통상의 기술자(이하 '당업자')에게 본 명세서의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 명세서의 권리 범위는 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 명세서의 권리 범위를 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 명세서가 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 3 및 도 4는 본 명세서에 따른 공중 3차원 디스플레이 장치에 대한 참고도이다.
본 명세서에 따른 공중 3차원 디스플레이 장치(100)의 특징으로 간략하게 설명하면, 뎁스 카메라를 이용하여 가장 근거리에 위치한 관람자를 선정하고, 선정된 관람자의 이동 방향 또는 시선 방향을 추적하여, 제한된 시야각을 선정된 관람자에게 조절하는 것이다. 도 3을 참조하면, 관람자 1에 대해서 근거리 관람자로 판단한 것을 확인할 수 있다. 이때, 관람자 1이 이동하게 되면, 도 4에 도시된 것과 같이 거울을 조정하여 관람자 1에게 계속해서 3차원 물체를 보여주는 것이다.
도 5는 본 명세서에 따른 공중 3차원 디스플레이 장치의 구성을 개략적으로 도시한 블럭도이다.
도 5를 참조하면, 본 명세서에 따른 공중 3차원 디스플레이 장치(100)는 뎁스 카메라(110), 광학계부(120), 광학계 조정부(130) 및 제어부(140)를 포함할 수 있다.
상기 뎁스 카메라(110)는 영상 내 피사체에 대한 거리 측정이 가능하다. 뎁스 카메라(Depth Camera)는 RGB 영상(RGB Frame)과 깊이 정보를 가진 깊이 영상(Depth Frame)을 출력할 수 있다. 상기 뎁스 카메라(110)의 원리 및 구성에 대해서는 당업자에게 알려진 바, 상세한 설명은 생략하도록 한다.
상기 광학계부(120)는 디스플레이(121) 및 거울(122)을 포함할 수 있다. 상기 디스플레이(121)는 2D 영상을 출력하는 요소로서, 특정 디스플레이 장치에 제한되지 않는다. 상기 거울(122)은 상기 디스플레이(121)와 소정의 거리로 이격되어 공중에 3차원을 보여주기 위해 상기 디스플레이(121)에서 출력된 영상을 반사할 수 있다. 상기 거울(122)은 일반적으로 프리폼 미러(Free-Form Mirror)가 될 수 있으면, 상기 거울(122)의 크기, 배치된 위치 등은 당업자에게 알려진 기술 지식에 따라 다양하게 설정될 수 있음은 자명하다.
상기 광학계 조정부(130)는 상기 디스플레이(121) 및 상기 거울(122)의 방향을 조정할 수 있다. 상기 광학계 조정부(130)는 상기 제어부(140)에서 출력된 신호에 의해 방향을 조정할 수 있도록 구동 모터, 힌지, 지지 프레임 등 필요한 구동 부품을 포함할 수 있다.
도 6은 본 명세서에 따른 디스플레이 및 거울의 방향이 조정된 예시도이다.
도 6을 참조하면, 초기 위치(a)에서 아래로 방향이 조정된 예시(b)와 위로 방향이 조정된 예시(c)를 확인할 수 있다. 본 명세서에서 방향 조정이란, 상기 디스플레이 또는/및 거울의 방향을 변경시켜 허상이 표시되는 위치를 변화시키는 것을 의미한다. 따라서 상기 디스플레이 또는/및 거울의 방향 조정은 허상이 표시되는 방향이 조정되는 것으로 이해할 수 있다. 한편, 도 6에는 상하 방향으로 조정되는 예시를 도시하였지만, 좌우 반향 조정도 가능하다.
상기 제어부(140)는 상기 뎁스 카메라(110)에서 출력된 영상에서 추적 대상자를 선정하고, 상기 선정된 추적 대상자의 얼굴 좌표를 산출하며, 상기 산출된 얼굴 좌표에 따라 상기 디스플레이(121) 및 상기 거울(122)의 방향을 조정하는 제어 신호(이하 '방향 조정 제어 신호')를 출력할 수 있다. 상기 제어부(140)의 제어 알고리즘에 대해서는 본 명세서에 따른 공중 3차원 디스플레이 방법을 통해 보다 자세히 설명하도록 하겠다.
도 7은 본 명세서에 따른 공중 3차원 디스플레이 방법의 흐름도이다.
도 7을 참조하면, 먼저 단계 S100에서 상기 뎁스 카메라(110)가 공중 3차원 디스플레이 장치(100) 전방 영상을 촬영하여 출력할 수 있다.
다음 단계 S110에서 상기 제어부(140)는 상기 뎁스 카메라(110)에서 출력된 영상에서 추적 대상자를 선정할 수 있다. 영상에서 1명의 사람만 포함된 경우, 당연히 그 1명이 추적 대상자로 선정될 것이다. 반면, 상기 제어부(140)는 상기 뎁스 카메라(110)에서 출력된 영상에서 다수의 사람이 포함된 경우, 상기 뎁스 카메라(110)로부터 가장 가까이에 위치한 사람을 추적 대상자로 선정할 수 있다. 이를 위해, 영상에서 사람의 얼굴을 감지하고, 감지된 사람의 얼굴 중에서 가장 가까운 얼굴을 선정하는 과정을 거칠 수 있다.
도 8은 본 명세서에 따른 제어부가 영상에서 사람의 얼굴을 감지 방법에 대한 흐름도이다.
도 8을 참조하면, 상기 제어부(140)는 상기 뎁스 카메라(110)에서 출력된 영상 중 RGB 영상을 그레이 스케일(Gray Scale) 영상으로 변환할 수 있다(S200, S210). 그리고 상기 제어부(140)는 미리 설정된 크기(예: 16 X 16)의 윈도우 마스크를 지정할 수 있다(S220). 그리고 상기 제어부(140)는 상기 윈도우 마스크 내 픽셀에 대한 밝기 변화를 산출할 수 있다. 그리고 상기 제어부(140)는 해당 윈도우 마스크에 대한 대표 밝기 변화 방향 정보를 산출할 수 있다(S230).
도 9는 밝기 변화 방향 정보의 산출에 대한 참고도이다.
도 9의 (a)를 참조하면, 픽셀 단위로 밝기가 다른 것을 확인할 수 있다. 이때, 밝은 픽셀에서 어두운 픽셀 방향으로 정보를 추출할 수 있다. 상기 제어부(140)는 윈도우 마스크 내 모든 픽셀에 대해서 방향 정보를 추출하고, 가장 많이 표현된 방향을 해당 윈도우 마스크의 대표 밝기 변화 방향 정보로 산출할 수 있다. 상기 제어부(140)는 상기 그레이 스케일 영상에 대해서 상기 윈도우 마스크의 크기 단위로 대표 밝기 "??* 정보를 추출할 수 있다. 그 결과 도 9의 (b)와 같이 그레이 스케일 영상이 대표 밝기 "??* 정보로 변화될 수 있다.
다시 도 8을 참조하면, 상기 제어부(140)는 상기 산출된 대표 밝기 변화 방향 정보와 미리 저장된 기준 얼굴 패턴 데이터를 매칭 시킬 수 있다(S240).
도 10은 패턴 데이터 매칭에 대한 참고도이다.
도 10을 참조하면, 기준 얼굴 패턴 데이터를 확인할 수 있다. 상기 기준 얼굴 패턴 데이터는 특정인을 식별하기 위한 데이터가 아니며, 영상 내 사람의 얼굴인지 아닌지 판단하기 위한 기준 자료이다. 상기 제어부(140)는 상기 대표 밝기 "??* 정보로 변화된 영상과 상기 기준 얼굴 패턴 데이터가 미리 설정된 기준 이상 일치할 경우, 해당 영역을 사람의 얼굴로 감지할 수 있다(S250).
한편, 상기 제어부(140)는 상기 기준 얼굴 패턴 데이터와 매칭을 통해 감지된 다수의 얼굴(이하 '후보 얼굴')에서 각 후보 얼굴의 중심 좌표를 산출하여, 중심 좌표값이 가장 가까운 후보 얼굴을 상기 추적 대상자로 선정할 수 있다.
다시 도 7을 참조하면, 단계 S120에서 상기 제어부(140)는 상기 선정된 추적 대상자의 얼굴 좌표를 산출할 수 있다.
이때, 상기 제어부(140)는 기준 영상과 상기 기준 영상의 다음 영상에서 상기 추적 대상자의 얼굴에서 특징점을 각각 검출하고, 두 특징점 사이의 모션 벡터값을 산출할 수 있다.
상기 기준 영상은 현재 영상 프레임을 의미하며, 다음 영상이란 상기 기준 영상의 다음 영상 프레임을 의미한다. 따라서 상기 다음 영상은 그 다음 영상의 기준 영상이 될 수 있다. 한편, 상기 추적 대상자를 선정할 때 사용된 영상은 최초의 기준 영상이 될 수 있다.
상기 특징점 추출은 영상 내 다른 사람의 얼굴과 구별하기 위함이다. 즉, 기준 영상에도 다수의 얼굴이 포함되어 있고, 다음 영상에도 다수의 얼굴이 포함되어 있을 때, 다음 영상에서 어느 얼굴이 추적 대상자의 얼굴인지 식별하기 위함이다.
상기 제어부(140)는 KLT(Kanade-Lucas-Tomasi) 알고리즘을 이용하여 앞 뒤 영상 내에서 추적 대상자의 특징점 사이의 모션 벡터값을 산출할 수 있다. KLT(Kanade-Lucas-Tomasi) 알고리즘은 연속된 영상에서 검색 윈도우 내에 있는 특징점의 이동량은 최소가 된다는 가정하에 이동량을 계산할 수 있다. 보다 구체적으로, 영상에 있는 각각의 영상소에 대해 국소행렬을 계산하여 (local structure matrix) 특징점을 검출한다. 임의의 점(x, y)에 대한 국소행렬을 아래와 같이 나타낼 수 있다. 여기서 Ix, Iy는 x축 및 y축 방향으로의 1차 미분값이다. Wx, Wy는 윈도우 사이즈이다.
Figure 112020024816546-pat00001
상기 행렬의 고유값(eigenvalue)
Figure 112020024816546-pat00002
구했을 때, 영상 변화량은 윈도우를
Figure 112020024816546-pat00003
의　고유벡터(eigenvector) 방향으로 이동(shift)시킬 때 최대가 되고,　
Figure 112020024816546-pat00004
고유벡터 방향으로 이동(shift)시킬　때 최소가 된다. 따라서, 두 고유값　
Figure 112020024816546-pat00005
,
Figure 112020024816546-pat00006
를 구했을 때, 두 값이 모두 큰 값이면 코너점(corner point), 모두 작은 값이면 '평평(flat)'한 지역, 하나는 크고 다른 하나는 작은 값이면 '모서리(edge)' 영역으로 판단할 수 있다. 여기서 코너점을 찾고　
Figure 112020024816546-pat00007
,
Figure 112020024816546-pat00008
중 최소값만을 고려하여 특정 임계치보다 크면 코너점으로 판단하고 이를 특징점으로 검출한다.
Figure 112020024816546-pat00009
는 미리 정의된 임계치이다.
Figure 112020024816546-pat00010
특징점 추적은 영상
Figure 112020024816546-pat00011
의 각 특징점
Figure 112020024816546-pat00012
에 모션 벡터
Figure 112020024816546-pat00013
를 계산하여, 영상
Figure 112020024816546-pat00014
에서 추적 된 위치가
Figure 112020024816546-pat00015
되도록 하는 것이다. 따라서, 모션 벡터
Figure 112020024816546-pat00016
를 구하기 위해, SSD (Sum of squared differences) 공식을 적용한다. 영상
Figure 112020024816546-pat00017
의 특징점 위치와 영상
Figure 112020024816546-pat00018
잠재적 특징점 위치 사이의 이미지 강도 편차
Figure 112020024816546-pat00019
를 구한다. 입력 영상의 프레임이 지나더라도 물체의 intensity는 변하지 않으며, 인접 픽셀들의 움직임은 서로 유사하다는 가정을 가지므로 이 상적인 경우는 ‘0’ 의 값을 가진다.
Figure 112020024816546-pat00020
Figure 112020024816546-pat00021
을 미분 값을 0으로 설정하고, 테일러 급수를 적용한다.
Figure 112020024816546-pat00022
을 기준으로
Figure 112020024816546-pat00023
를 근사화하면 모션 벡터 초기값
Figure 112020024816546-pat00024
얻을 수 있다. 상기 제어부(140)는 이 과정을 여러 번 반복함으로써 업데이트된 모션 벡터값(
Figure 112020024816546-pat00025
)를 얻을 수 있다.
그리고 다음 단계 S130에서 상기 제어부(140)는 상기 산출된 얼굴 좌표에 따라 방향 조정 제어 신호를 출력할 수 있다. 보다 구체적으로, 상기 제어부(140)는 상기 모션 벡터값에 따라 상기 조정 방향 제어 신호를 출력할 수 있다.
한편, 상기 제어부(140)가 영상에서 추적 대상자의 얼굴을 식별하지 못하는 경우가 발생할 수 있다. 일 예로, 추적 대상자와 뎁스 카메라 사이에 장애물이 있는 경우이다. 또 다른 예로, 추적 대상자가 뎁스 카메라의 촬영 각도를 벗어난 경우이다. 따라서 단계 S120에서, 상기 제어부(140)는 상기 기준 영상에서 상기 추적 대상자의 얼굴에서 특징점을 검출하고 상기 기준 영상의 다음 영상에서 상기 추적 대상자의 얼굴에서 특징점을 검출하지 못한 경우, 이후 미리 설정된 복수의 영상 동안 상기 기준 영상에서 검출된 특징점이 재 검출되는지 여부를 판단할 수 있다.
도 11은 추적 대상자와 뎁스 카메라 사이에 장애물이 있는 상황의 예시도이다.
도 11을 참조하면, 추적 대상자가 손을 들어올려서 얼굴을 가린 상황을 확인할 수 있다. 도 2를 함께 참조하면, 사용자가 허상을 만지려고 손을 뻗는 상황을 가정하면 보다 쉽게 상황을 이해할 수 있다. 이 상황에서 상기 제어부(140)는 추적 대상자의 얼굴에서 특징점을 검출하지 못하게 된다. 다만, 사용자가 잠시 후 다시 손을 내려서 뎁스 카메라가 다시 사용자를 촬영할 수 있다고 가정하겠다. 이 경우 발생할 수 있는 문제는 상기 뎁스 카메라(110)에 촬영된 영상에 다수의 얼굴이 존재할 경우, 누가 추적 대상자 였는지 다시 찾아야 하는 것이다. 이 경우, 상기 제어부(140)는 상기 기준 영상에서 검출된 특징점이 재 검출된 경우, 재 검출된 특징점을 가진 얼굴을 재 추적 대상자로 선정할 수 있다.
도 12는 추적 대상자를 재 선정하는 참고도이다.
도 12를 참조하면, (a)는 얼굴을 인식하여 추적 대상자로 선정한 상태이다. (b)는 추적 대상자의 특징점을 검출한 상태이다. (c)는 장애물로 인해 추적 대상자의 특징점을 검출하지 못하는 상태이다. (d) 장애물이 제거되고 다시 얼굴이 인식될 때, 인식된 얼굴과 앞서 선정된 추적 대상자의 특징점의 일치 여부를 확인하는 상태이다. (e) 앞서 선정된 추적 대상자의 특징점과 일치하는 얼굴을 재 추적 대상자로 선정한 상태이다.
반면, 상기 제어부(140) 상기 미리 설정된 복수의 영상 동안 상기 기준 영상에서 검출된 특징점이 재 검출되지 않은 경우, 상기 디스플레이(121) 및 상기 거울(122)의 방향을 초기화 시키는 제어 신호를 출력할 수 있다.
또 다른 예로, 추적 대상자가 뎁스 카메라의 촬영 각도를 벗어난 경우를 고려해 보겠다. 이 경우, 직전까지 추적 대상자의 이동방향에 따라 상기 제어부(140)가 방향 조정 제어 신호를 출력한다. 그러나 상기 디스플레이(121) 및 상기 거울(122)의 방향 제어는 하드웨어적 특성에 의해 최대로 조정될 수 있는 각도에 한계(임계 방향값)에 있을 수 있다. 추적 대상자가 상기 임계 방향값을 넘어서 이동한 경우, 추적 대상자가 더 이상 허상에 관심을 가지지 않고 자리를 이탈한 것으로 판단할 수 있다. 이 경우, 상기 제어부(140)는 상기 조정 방향 제어 신호의 출력값이 상기 광학계 조정부가 조정할 수 있는 상기 디스플레이 및 상기 거울의 최대 방향값(임계 방향값)을 초과하면, 상기 디스플레이 및 상기 거울의 방향을 초기화 시키는 제어 신호를 출력할 수 있다.
상기 제어부(140)는 상기 설명한 산출 및 다양한 제어 로직을 실행하기 위해 본 발명이 속한 기술분야에 알려진 프로세서, ASIC(application-specific integrated circuit), 다른 칩셋, 논리 회로, 레지스터, 통신 모뎀, 데이터 처리 장치 등을 포함할 수 있다. 또한, 상술한 제어 로직이 소프트웨어로 구현될 때, 상기 제어부는 프로그램 모듈의 집합으로 구현될 수 있다. 이 때, 프로그램 모듈은 메모리에 저장되고, 프로세서에 의해 실행될 수 있다.
상기 컴퓨터프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C/C++, C#, JAVA, Python, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
이상, 첨부된 도면을 참조로 하여 본 명세서의 실시예를 설명하였지만, 본 명세서가 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
100 : 공중 3차원 디스플레이 장치
110 : 뎁스 카메라 120 : 광학계부
121 : 디스플레이 122 : 거울
130 : 광학계 조정부 140 : 제어부

Claims (21)

  1. 영상 내 피사체에 대한 거리 측정이 가능한 뎁스 카메라;
    영상을 출력하는 디스플레이 및 상기 디스플레이와 소정의 거리로 이격되어 공중에 3차원을 보여주기 위해 상기 디스플레이에서 출력된 영상을 반사하는 거울을 가진 광학계부;
    상기 디스플레이 및 상기 거울의 방향을 조정하는 광학계 조정부;
    상기 뎁스 카메라에서 출력된 영상에서 추적 대상자를 선정하고, 상기 선정된 추적 대상자의 얼굴 좌표를 산출하며, 상기 산출된 얼굴 좌표에 따라 상기 디스플레이 및 상기 거울의 방향을 조정하는 제어 신호(이하 '방향 조정 제어 신호')를 출력하는 제어부;를 포함하되,
    상기 제어부는,
    상기 뎁스 카메라에서 출력된 영상 중 RGB 영상을 그레이 스케일 영상으로 변환하고, 미리 설정된 크기의 적어도 하나 이상의 윈도우 마스크 내 픽셀의 밝기 변화를 이용하여 해당 윈도우 마스크의 대표 밝기 변화 방향 정보를 산출하고, 상기 산출된 대표 밝기 변화 방향 정보와 미리 저장된 기준 얼굴 패턴 데이터와 매칭을 통해 상기 뎁스 카메라에서 출력된 영상에서 사람의 얼굴을 감지하고,
    기준 영상과 상기 기준 영상의 다음 영상에서 상기 추적 대상자의 얼굴에서 특징점을 각각 검출하고, 두 특징점 사이의 모션 벡터값(
    Figure 112021013009077-pat00038
    )을 아래 수식을 통해 산출하는 공중 3차원 디스플레이 장치.
    Figure 112021013009077-pat00039

    Ix, Iy : x축 및 y축 방향으로의 1차 미분값
    Wx, Wy : 윈도우 사이즈
    Figure 112021013009077-pat00040

    Figure 112021013009077-pat00041
    : 행렬의 고유값(eigenvalue)
    Figure 112021013009077-pat00042
    : 미리 정의된 임계치
    Figure 112021013009077-pat00043

    Figure 112021013009077-pat00044
    : 영상
    Figure 112021013009077-pat00045
    의 각 특징점
    Figure 112021013009077-pat00046
    에 모션 벡터
    Figure 112021013009077-pat00047
    : 영상
    Figure 112021013009077-pat00048
    의 특징점 위치와 영상
    Figure 112021013009077-pat00049
    잠재적 특징점 위치 사이의 이미지 강도 편차
  2. 청구항 1에 있어서,
    상기 제어부는, 상기 뎁스 카메라에서 출력된 영상에서 다수의 사람이 포함된 경우, 상기 뎁스 카메라로부터 가장 가까이에 위치한 사람을 추적 대상자로 선정하는 것을 특징으로 하는 공중 3차원 디스플레이 장치.
  3. 삭제
  4. 청구항 2에 있어서,
    상기 제어부는,
    영상 내 사람의 얼굴인지 아닌지 판단하기 위한 기준 얼굴 패턴 데이터와 매칭을 통해 감지된 다수의 얼굴(이하 '후보 얼굴')에서 각 후보 얼굴의 중심 좌표를 산출하여, 중심 좌표값이 가장 가까운 후보 얼굴을 상기 추적 대상자로 선정하는 것을 특징으로 하는 공중 3차원 디스플레이 장치.
  5. 삭제
  6. 청구항 1에 있어서,
    상기 제어부는,
    상기 모션 벡터값에 따라 상기 방향 조정 제어 신호를 출력하는 것을 특징으로 하는 공중 3차원 디스플레이 장치.
  7. 청구항 1에 있어서,
    상기 제어부는,
    상기 기준 영상에서 상기 추적 대상자의 얼굴에서 특징점을 검출하고 상기 기준 영상의 다음 영상에서 상기 추적 대상자의 얼굴에서 특징점을 검출하지 못한 경우, 이후 미리 설정된 복수의 영상 동안 상기 기준 영상에서 검출된 특징점이 재 검출되는지 여부를 판단하는 것을 특징으로 하는 공중 3차원 디스플레이 장치.
  8. 청구항 7에 있어서,
    상기 제어부는,
    상기 기준 영상에서 검출된 특징점이 재 검출된 경우, 재 검출된 특징점을 가진 얼굴을 재 추적 대상자로 선정하는 것을 특징으로 하는 공중 3차원 디스플레이 장치.
  9. 청구항 7에 있어서,
    상기 제어부는,
    상기 미리 설정된 복수의 영상 동안 상기 기준 영상에서 검출된 특징점이 재 검출되지 않은 경우, 상기 디스플레이 및 상기 거울의 방향을 초기화 시키는 제어 신호를 출력하는 것을 특징으로 하는 공중 3차원 디스플레이 장치.
  10. 청구항 1에 있어서,
    상기 제어부는,
    상기 방향 조정 제어 신호의 출력값이 상기 광학계 조정부가 조정할 수 있는 상기 디스플레이 및 상기 거울의 최대 방향값(임계 방향값)을 초과하면, 상기 디스플레이 및 상기 거울의 방향을 초기화 시키는 제어 신호를 출력하는 것을 특징으로 하는 공중 3차원 디스플레이 장치.
  11. 뎁스 카메라, 디스플레이와 거울을 가진 광학계부, 광학계 조정부 및 제어부를 포함하는 공중 3차원 디스플레이 장치를 제어하는 방법으로서,
    (a) 상기 제어부가 상기 뎁스 카메라에서 출력된 영상에서 추적 대상자를 선정하는 단계;
    (b) 상기 제어부가 상기 선정된 추적 대상자의 얼굴 좌표를 산출하는 단계; 및
    (c) 상기 제어부가 상기 산출된 얼굴 좌표에 따라 상기 디스플레이 및 상기 거울의 방향을 조정하는 제어 신호(이하 '방향 조정 제어 신호')를 출력하는 단계;를 포함하되,
    상기 (a) 단계는, 상기 제어부가 상기 뎁스 카메라에서 출력된 영상 중 RGB 영상을 그레이 스케일 영상으로 변환하고, 미리 설정된 크기의 적어도 하나 이상의 윈도우 마스크 내 픽셀의 밝기 변화를 이용하여 해당 윈도우 마스크의 대표 밝기 변화 방향 정보를 산출하고, 상기 산출된 대표 밝기 변화 방향 정보와 미리 저장된 기준 얼굴 패턴 데이터와 매칭을 통해 상기 뎁스 카메라에서 출력된 영상에서 사람의 얼굴을 감지하는 단계이고,
    상기 (b) 단계는, 상기 제어부가 기준 영상과 상기 기준 영상의 다음 영상에서 상기 추적 대상자의 얼굴에서 특징점을 각각 검출하고, 두 특징점 사이의 모션 벡터값(
    Figure 112021013009077-pat00050
    )을 아래 수식을 통해 산출하는 단계인, 공중 3차원 디스플레이 방법.
    Figure 112021013009077-pat00051

    Ix, Iy : x축 및 y축 방향으로의 1차 미분값
    Wx, Wy : 윈도우 사이즈
    Figure 112021013009077-pat00052

    Figure 112021013009077-pat00053
    : 행렬의 고유값(eigenvalue)
    Figure 112021013009077-pat00054
    : 미리 정의된 임계치
    Figure 112021013009077-pat00055

    Figure 112021013009077-pat00056
    : 영상
    Figure 112021013009077-pat00057
    의 각 특징점
    Figure 112021013009077-pat00058
    에 모션 벡터
    Figure 112021013009077-pat00059
    : 영상
    Figure 112021013009077-pat00060
    의 특징점 위치와 영상
    Figure 112021013009077-pat00061
    잠재적 특징점 위치 사이의 이미지 강도 편차
  12. 청구항 11에 있어서,
    상기 (a) 단계는,
    상기 제어부가 상기 뎁스 카메라에서 출력된 영상에서 다수의 사람이 포함된 경우, 상기 뎁스 카메라로부터 가장 가까이에 위치한 사람을 추적 대상자로 선정하는 단계인 것을 특징으로 하는 공중 3차원 디스플레이 방법.
  13. 삭제
  14. 청구항 12에 있어서,
    상기 (a) 단계는,
    상기 제어부가 영상 내 사람의 얼굴인지 아닌지 판단하기 위한 기준 얼굴 패턴 데이터와 매칭을 통해 감지된 다수의 얼굴(이하 '후보 얼굴')에서 각 후보 얼굴의 중심 좌표를 산출하여, 중심 좌표값이 가장 가까운 후보 얼굴을 상기 추적 대상자로 선정하는 단계인 것을 특징으로 하는 공중 3차원 디스플레이 방법.
  15. 삭제
  16. 청구항 11에 있어서,
    상기 (c) 단계는,
    상기 제어부가 상기 모션 벡터값에 따라 상기 방향 조정 제어 신호를 출력하는 단계인 것을 특징으로 하는 공중 3차원 디스플레이 방법.
  17. 청구항 11에 있어서,
    상기 (b) 단계는,
    상기 제어부가 상기 기준 영상에서 상기 추적 대상자의 얼굴에서 특징점을 검출하고 상기 기준 영상의 다음 영상에서 상기 추적 대상자의 얼굴에서 특징점을 검출하지 못한 경우, 이후 미리 설정된 복수의 영상 동안 상기 기준 영상에서 검출된 특징점이 재 검출되는지 여부를 판단하는 단계인 것을 특징으로 하는 공중 3차원 디스플레이 방법.
  18. 청구항 17에 있어서,
    상기 (b) 단계는,
    상기 제어부가 상기 기준 영상에서 검출된 특징점이 재 검출된 경우, 재 검출된 특징점을 가진 얼굴을 재 추적 대상자로 선정하는 단계인 것을 특징으로 하는 공중 3차원 디스플레이 방법.
  19. 청구항 17에 있어서,
    상기 (c) 단계는,
    상기 제어부가 상기 미리 설정된 복수의 영상 동안 상기 기준 영상에서 검출된 특징점이 재 검출되지 않은 경우, 상기 디스플레이 및 상기 거울의 방향을 초기화 시키는 제어 신호를 출력하는 것을 특징으로 하는 공중 3차원 디스플레이 방법.
  20. 청구항 11에 있어서,
    상기 (c) 단계는,
    상기 제어부가 상기 방향 조정 제어 신호의 출력값이 상기 광학계 조정부가 조정할 수 있는 상기 디스플레이 및 상기 거울의 최대 방향값(임계 방향값)을 초과하면, 상기 디스플레이 및 상기 거울의 방향을 초기화 시키는 제어 신호를 출력하는 단계인 것을 특징으로 하는 공중 3차원 디스플레이 방법.
  21. 컴퓨터에서 청구항 11, 12, 14, 16 내지 20 중 어느 한 청구항에 따른 방법의 각 단계들을 수행하도록 작성되어 컴퓨터로 독출 가능한 기록 매체에 기록된 컴퓨터프로그램.
KR1020200029122A 2019-03-20 2020-03-09 관찰자를 추적할 수 있는 공중 3차원 디스플레이 장치 및 방법 KR102288039B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190031916 2019-03-20
KR20190031916 2019-03-20

Publications (2)

Publication Number Publication Date
KR20200112678A KR20200112678A (ko) 2020-10-05
KR102288039B1 true KR102288039B1 (ko) 2021-08-12

Family

ID=72809536

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200029122A KR102288039B1 (ko) 2019-03-20 2020-03-09 관찰자를 추적할 수 있는 공중 3차원 디스플레이 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102288039B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7075252B2 (ja) * 2018-03-23 2022-05-25 キヤノン株式会社 情報処理装置およびその制御方法、プログラム
KR102260519B1 (ko) * 2021-02-25 2021-06-03 (주)에이피피커뮤니케이션즈 3차원 입체영상 변환방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100571801B1 (ko) * 2001-07-13 2006-04-17 삼성전자주식회사 디지탈 감시 장치 및 방법
KR100904916B1 (ko) * 2008-06-19 2009-07-01 주식회사 다우엑실리콘 얼굴 인식 시스템 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100891664B1 (ko) 2007-05-11 2009-04-02 엘지전자 주식회사 디스플레이 장치
KR102093455B1 (ko) * 2013-10-04 2020-03-25 한국전자통신연구원 하이브리드 카메라에 기초한 동공 추적을 이용한 홀로그램 표시 장치 및 방법
KR102212209B1 (ko) * 2014-04-10 2021-02-05 삼성전자주식회사 시선 추적 방법, 장치 및 컴퓨터 판독가능한 기록 매체

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100571801B1 (ko) * 2001-07-13 2006-04-17 삼성전자주식회사 디지탈 감시 장치 및 방법
KR100904916B1 (ko) * 2008-06-19 2009-07-01 주식회사 다우엑실리콘 얼굴 인식 시스템 및 방법

Also Published As

Publication number Publication date
KR20200112678A (ko) 2020-10-05

Similar Documents

Publication Publication Date Title
US11205274B2 (en) High-performance visual object tracking for embedded vision systems
US8599252B2 (en) Moving object detection apparatus and moving object detection method
US10154190B2 (en) Balancing exposure and gain at an electronic device based on device motion and scene distance
Harville Stereo person tracking with adaptive plan-view templates of height and occupancy statistics
US10304164B2 (en) Image processing apparatus, image processing method, and storage medium for performing lighting processing for image data
US7003136B1 (en) Plan-view projections of depth image data for object tracking
US8432357B2 (en) Tracking object selection apparatus, method, program and circuit
US9600898B2 (en) Method and apparatus for separating foreground image, and computer-readable recording medium
US20080049020A1 (en) Display Optimization For Viewer Position
US20120242794A1 (en) Producing 3d images from captured 2d video
WO2019035155A1 (ja) 画像処理システム、画像処理方法、及びプログラム
JP5743859B2 (ja) 画像処理装置、方法、及び画像表示装置
US11159717B2 (en) Systems and methods for real time screen display coordinate and shape detection
JP5001930B2 (ja) 動作認識装置及び方法
KR102288039B1 (ko) 관찰자를 추적할 수 있는 공중 3차원 디스플레이 장치 및 방법
KR101647969B1 (ko) 사용자 시선을 검출하기 위한 사용자 시선 검출 장치 및 그 방법과, 그 방법을 실행하기 위한 컴퓨터 프로그램
US20210377515A1 (en) Information processing device, information processing method, and program
JP7230345B2 (ja) 情報処理装置及び情報処理プログラム
WO2021084972A1 (ja) 物体追跡装置および物体追跡方法
WO2021146449A1 (en) Visual object history
US11882363B2 (en) Control apparatus and learning apparatus and control method
KR100945307B1 (ko) 스테레오스코픽 동영상에서 이미지를 합성하는 방법 및장치
WO2012153868A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
US20220028109A1 (en) Image processing method and apparatus
US20230005213A1 (en) Imaging apparatus, imaging method, and program

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right