KR20110070326A - 머리 위치 추적을 이용한 입체 영상 표시 장치 및 이의 동작 방법 - Google Patents

머리 위치 추적을 이용한 입체 영상 표시 장치 및 이의 동작 방법 Download PDF

Info

Publication number
KR20110070326A
KR20110070326A KR1020090127115A KR20090127115A KR20110070326A KR 20110070326 A KR20110070326 A KR 20110070326A KR 1020090127115 A KR1020090127115 A KR 1020090127115A KR 20090127115 A KR20090127115 A KR 20090127115A KR 20110070326 A KR20110070326 A KR 20110070326A
Authority
KR
South Korea
Prior art keywords
user
reference point
image
stereoscopic image
users
Prior art date
Application number
KR1020090127115A
Other languages
English (en)
Other versions
KR101313797B1 (ko
Inventor
원종호
박준석
이전우
고은진
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020090127115A priority Critical patent/KR101313797B1/ko
Priority to US12/970,569 priority patent/US8780178B2/en
Publication of KR20110070326A publication Critical patent/KR20110070326A/ko
Application granted granted Critical
Publication of KR101313797B1 publication Critical patent/KR101313797B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/368—Image reproducers using viewer tracking for two or more viewers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Abstract

사용자의 머리 추적을 이용하여 사용자 관점에서 3차원 입체 영상을 표시할 수 있는 입체 영상 표시 장치가 제공된다. 입체 영상 표시 장치는, 기준점으로부터 사용자 위치를 산출하고, 산출된 사용자 위치에 따라 서버로부터 전송된 3차원 콘텐츠를 사용자 관점으로 영상 처리한 3차원 입체 영상을 출력하는 영상 처리부 및 영상 처리부로부터 출력된 3차원 입체 영상을 사용자에게 표시하는 표시부를 포함한다.
Figure P1020090127115
3차원 입체 영상, 사용자 관점, 머리 위치 추적

Description

머리 위치 추적을 이용한 입체 영상 표시 장치 및 이의 동작 방법{Apparatus and method for presenting display of 3D image using head tracking}
본 실시예는 3차원 입체 영상 기술에 관한 것으로서, 보다 상세하게는 사용자의 머리 위치를 추적하여 사용자 관점에서의 3차원 입체 영상을 디스플레이할 수 있는 머리 위치 추적을 이용한 입체 영상 표시 장치 및 이의 동작 방법에 관한 것이다.
본 발명은 지식경제부의 사업의 일환으로 수행한 연구로부터 도출된 것이다 [과제관리번호: , 과제명: 비접촉식 멀티포인트 실감 인터랙션 기술 개발].
최근 3차원 영상처리기술이 교육, 훈련, 의료, 영화, 컴퓨터 게임에 이르기까지 여러 분야에 활용되고 있다. 2차원 영상에 비해서 3차원 영상의 장점은 현장감(presence feeling), 현실감(real feeling), 자연감(natural feeling)을 느낄 수 있다는 점이다.
현재, 이와 같은 3차원 영상 디스플레이 장치의 구현에 많은 연구가 이루어지고 있다. 3차원 영상 디스플레이 장치의 구성에는 입력기술, 처리기술, 전송기술, 표시기술, 소프트웨어(software)기술 등 다양한 기술이 요구되며, 특히 디스플 레이 기술, 디지털 영상 처리 기술, 컴퓨터 그래픽 기술, 인간의 시각 시스템에 관한 연구가 필수적이다.
종래의 3차원 영상 디스플레이 장치는 안경을 이용한 디스플레이 장치와 무안경 방식의 디스플레이 장치가 있다.
안경을 이용한 3차원 디스플레이 장치는 광의 서로 다른 파장을 이용하여 색안경을 통해 보는 색분리 방식, 광의 진동방향이 다른 성질을 이용하는 편광 안경 방식, 그리고 좌우 영상을 시분할 방식으로 분리하여 보는 액정 셔터 방식 등이 사용된다.
무안경 방식의 3차원 디스플레이 장치는 안경을 사용하지 않고 좌우 영상을 분리하여 사용자에게 3차원 입체 영상을 제공하는 방식이 사용된다.
그러나, 종래의 3차원 디스플레이 장치는, 다수의 사용자들 각각이 하나의 3차원 입체 영상을 공유하고 있을 때, 다수의 사용자들 각각의 관점에 따라 서로 다른 3차원 입체 영상을 표현하기가 어려운 문제가 있었다.
본 발명이 해결하고자 하는 과제는, 다수의 사용자들 각각의 관점에 따라 서로 다른 3차원 입체 영상을 표시할 수 있는 입체 영상 표시 장치 및 이의 동작 방법을 제공하고자 하는데 있다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 입체 영상 표시 장치는, 기준점으로부터 사용자 위치를 산출하고, 산출된 사용자 위치에 따라 서버로부터 전송된 3차원 콘텐츠를 사용자 관점으로 영상 처리한 3차원 입체 영상을 출력하는 영상 처리부 및 영상 처리부로부터 출력된 3차원 입체 영상을 사용자에게 표시하는 표시부를 포함한다.
상기 다른 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 입체 영상 표시 장치의 동작 방법은, 기준점으로부터 사용자 위치를 산출하는 단계, 서버로부터 전송된 3차원 콘텐츠를 산출된 사용자 위치에 기초하여 사용자 관점에서 영상 처리하고, 영상 처리된 3차원 입체 영상을 출력하는 단계 및 3차원 입체 영상을 사용자에게 표시하는 단계를 포함한다.
본 발명에 따른 입체 영상 표시 장치는, 다수의 사용자들 각각의 공간상 위치를 산출하여 다수의 사용자들 각각의 관점에서 서로 다른 3차원 입체 영상을 제공할 수 있는 장점이 있다.
또한, 다수의 사용자들이 3차원 입체 영상을 시청하면서 협업할 수 있는 장점이 있다.
또한, 다수의 사용자들이 물리적으로 다른 공간에 위치하더라도 동일한 가상 공간에 위치하여 3차원 입체 영상을 서로 다른 관점으로 시청하고, 협업할 수 있는 효과를 줄 수 있다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시 예에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 실시 예를 예시하는 첨부도면 및 첨부도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일 실시예에 따른 입체 영상 표시 장치를 포함하는 영상 시스템의 일 실시예를 나타내는 도면이고, 도 2a 내지 도 2c는 도 1의 다수의 사용자들 각각의 입체 영상 표시 장치에 표시되는 3차원 입체 영상들의 도면이다. 또한, 도 3은 도 1에 도시된 영상 시스템의 블록도이고, 도 4는 도 3에 도시된 위치 연산부의 블록도이다.
도 1 및 도 3을 참조하면, 본 발명에 일 실시예에 따른 영상 시스템(50)은 다수의 사용자들(A, B, C) 각각에 착용되는 입체 영상 표시 장치(10), 마커(20) 및 콘텐츠 서버(30)를 포함할 수 있다.
다수의 사용자들(A, B, C) 각각에 착용된 입체 영상 표시 장치(10)는 콘텐츠 서버(30)로부터 전송된 가상 공간의 객체, 예컨대 가상 공간의 3차원 콘텐츠(OB)를 수신하고, 이를 3차원 입체 영상(DS)으로 영상 처리하여 다수의 사용자들(A, B, C) 각각에 디스플레이할 수 있다.
이때, 다수의 사용자들(A, B, C) 각각은 입체 영상 표시 장치(10)를 착용한 상태에서 기준점, 예컨대 마커(20)를 응시하고 있을 수 있다. 입체 영상 표시 장치(10)는 다수의 사용자들(A, B, C)의 각각의 관점, 즉 다수의 사용자들(A, B, C) 각각의 위치에 따른 서로 다른 관점에서 다수의 사용자들(A, B, C) 각각에 3차원 입체 영상(DS)을 디스플레이할 수 있다.
다시 말하면, A 사용자(A)에게 장착된 입체 영상 표시 장치(10)는 마커(20)로부터의 A 사용자(A) 위치에 따라 콘텐츠 서버(30)로부터 전송된 3차원 콘텐츠(OB)를 도 2a에 도시된 것과 같이 A 사용자(A)에게 3차원 입체 영상(DS)으로 표시할 수 있다.
또한, B 사용자(B)에게 장착된 입체 영상 표시 장치(10)는 마커(20)로부터의 B 사용자(B) 위치에 따라 콘텐츠 서버(30)로부터 전송된 3차원 콘텐츠(OB)를 도 2b에 도시된 것과 같이 B 사용자(B)에게 3차원 입체 영상(DS)으로 표시할 수 있다.
또한, C 사용자(C)에게 장착된 입체 영상 표시 장치(10)는 마커(20)로부터의 C 사용자(C) 위치에 따라 콘텐츠 서버(30)로부터 전송된 3차원 콘텐츠(OB)를 도 2c에 도시된 것과 같이 C 사용자(C)에게 3차원 입체 영상(DS)으로 표시할 수 있다.
본 실시예에서는 다수의 사용자들(A, B, C) 각각의 위치에 따라 서로 다른 관점에서의 3차원 입체 영상(DS)을 표시하는 것을 설명하였으나, 본 발명은 이에 제한되지는 않는다. 예컨대, A 사용자(A)가 입체 영상 표시 장치(10)를 착용한 상태에서 다른 위치로 이동(B 사용자(B) 위치 또는 C 사용자(C) 위치)하는 경우에도 적용될 수 있음은 자명할 것이다.
마커(20)는 다수의 사용자들(A, B, C) 각각에 소정 거리로 이격되어 배치될 수 있다.
콘텐츠 서버(30)는 마커(20)의 위치에 가상 공간을 설정하고, 설정된 가상 공간에서 다수의 사용자들(A, B, C) 각각에 착용된 입체 영상 표시 장치(10)에 3차원 콘텐츠(OB)를 전송할 수 있다.
이하에서는, 다수의 사용자들(A, B, C) 중에서 A 사용자(A)가 착용한 입체 영상 표시 장치(10)와 이를 이용한 3차원 입체 영상 표시 방법에 대하여 상세히 설명한다.
본 실시예에서는 설명의 편의를 위하여 A 사용자(A)가 착용한 입체 영상 표시 장치(10)에 대하여 설명하나, 도 1에 도시된 B 사용자(B) 또는 C 사용자(C)가 착용한 입체 영상 표시 장치(10)도 A 사용자(A)가 착용한 입체 영상 표시 장치(10)와 동일한 구성을 가질 수 있고, 동일한 3차원 입체 영상 표시 동작을 수행할 수 있다.
도 1 및 도 3을 참조하면, A 사용자(A)는 입체 영상 표시 장치(10)를 착용한 상태에서 기준점, 즉 마커(20)를 응시하고, 입체 영상 표시 장치(10)는 콘텐츠 서버(30)로부터 전송된 3차원 콘텐츠(OB)를 A 사용자(A)의 위치, 예컨대 마커(20)를 중심으로 하는 A 사용자(A)의 공간적 위치에 따라 3차원 콘텐츠(OB)를 영상 처리하고, 영상 처리된 3차원 입체 영상(DS)을 A 사용자(A)에게 디스플레이할 수 있다.
이를 위하여, A 사용자(A)에게 착용된 입체 영상 표시 장치(10)는 영상 처리부(110), 표시부(160) 및 통신부(170)를 포함할 수 있다.
영상 처리부(110)는 콘텐츠 서버(30)로부터 전송된 3차원 콘텐츠(OB)를 A 사용자(A)의 위치에 따른 A 사용자(A) 관점으로 영상 처리하고, 영상 처리된 3차원 콘텐츠, 즉 3차원 입체 영상(DS)을 출력할 수 있다.
또한, 영상 처리부(110)는 A 사용자(A)로부터 입력된 소정의 행위, 즉 사용자 행위(BH)를 3차원 입체 영상(DS)에 반영하여 출력할 수 있다.
여기서, 사용자 행위(BH)는 A 사용자(A)가 3차원 입체 영상(DS)을 시청하고 있는 중에 손, 팔 및 다리 등을 움직여 3차원 입체 영상(DS)에 소정의 행위를 입력하는 것을 의미할 수 있다.
다시 말하면, 도 2a에 도시된 바와 같은 3차원 입체 영상(DS)이 A 사용자(A)에게 표시되고 있는 중에, A 사용자(A)는 팔(또는, 손)을 이용하여 사각형 객체를 이동하는 행위를 할 수 있다.
영상 처리부(110)는 이러한 A 사용자(A)의 행위, 즉 사용자 행위(BH)를 표시되고 있는 3차원 입체 영상(DS)에 반영하여 갱신된 3차원 입체 영상(DS)을 출력할 수 있다.
여기서, 입체 영상 표시 장치(10)는 A 사용자(A)에게 착용되어 A 사용자(A)의 동작을 인식할 수 있는 동작 인식 장치(미도시)를 더 포함할 수도 있다.
또한, 도 1에 도시된 바와 같이, 다수의 사용자들(A, B, C)이 하나의 마커(20)를 공유, 즉 동일한 가상 공간을 공유하고 있는 경우에는, A 사용자(A)로부터 입력된 사용자 행위(BH)는 A 사용자(A)가 착용하고 있는 입체 영상 표시 장치(10)의 통신부(170)를 통해 다수의 사용자들, 예컨대 B 사용자(B) 및 C 사용자(C)가 각각 착용하고 있는 입체 영상 표시 장치(10)로 전송될 수 있다.
이에 따라, B 사용자(B) 및 C 사용자(C)가 각각 착용하고 있는 입체 영상 표시 장치(10)는 전송된 사용자 행위(BH)를 각각이 표시하고 있는 3차원 입체 영상(DS)에 반영하여 출력할 수 있다.
이러한 영상 처리부(110)는 촬영부(120), 위치 연산부(130), 영상 제어부(140) 및 행위 처리부(150)를 포함할 수 있다.
촬영부(120)는 A 사용자(A)의 위치에서 마커(20)를 촬영하고, 촬영된 마커(20)의 마커 이미지(PI)를 출력할 수 있다.
촬영부(120)는 A 사용자(A)의 머리 부근, 예컨대 이마 부근에 착용될 수 있으며, A 사용자(A)가 이동하거나 또는 머리를 움직이는 동작에 따라 서로 다른 마커 이미지(PI)를 출력할 수 있다.
촬영부(120)는 CCD 또는 CMOS 이미지 센서 등과 같은 촬상 소자로 구현될 수 있다.
위치 연산부(130)는 콘텐츠 서버(30)(또는, 마커(20))로부터 마커 좌표(x1, y1, z1)를 전송받고, 촬영부(120)로부터 출력된 마커 이미지(PI)와 마커 좌표(x1, y1, z1)를 이용하여 A 사용자(A)의 위치 좌표(x2, y2, z2), 예컨대 마커(20)로부터의 A 사용자(A)의 공간적 위치에 대한 좌표를 산출할 수 있다.
도 3 및 도 4를 참조하면, 위치 연산부(130)는 거리 계산부(131), 방향 계산부(133) 및 좌표 산출부(135)를 포함할 수 있다.
거리 계산부(131)는 촬영된 마커 이미지(PI)로부터 마커(20)로부터 촬영부(120), 즉 A 사용자(A)까지의 이격 거리(d)를 계산하여 출력할 수 있다.
방향 계산부(133)는 촬영된 마커 이미지(PI)로부터 마커(20)로부터 촬영부(120), 즉 A 사용자(A)까지의 각도(θ)를 계산하여 출력할 수 있다. 여기서, 방향 계산부(133)는 마커(20)의 법선 방향으로 연장된 가상의 선이 촬영부(120)와 형성하는 각도(θ)를 계산하여 출력할 수 있다.
좌표 산출부(135)는 마커 좌표(x1, y1, z1)로부터 산출된 이격 거리(d) 및 산출된 각도(θ)를 이용하여 A 사용자(A)의 위치 좌표(x2, y2, z2)를 계산하여 출력할 수 있다.
좌표 산출부(135)로부터 출력된 위치 좌표(x2, y2, z2)는 마커(20)로부터의 A 사용자(A)의 공간적, 즉 콘텐츠 서버(30)가 마커(20)를 중심으로 설정한 가상 공간에서의 공간적 위치 좌표(x2, y2, z2)일 수 있다.
다시 도 1 및 도 3을 참조하면, 영상 제어부(140)는 콘텐츠 서버(30)가 통신부(170)를 통하여 전송한 3차원 콘텐츠(OB)를 위치 연산부(130)로부터 출력된 A 사용자(A)의 위치 좌표(x2, y2, z2)에 따라 영상 처리하고, 영상 처리된 3차원 입체 영상(DS)을 출력할 수 있다.
영상 제어부(140)는 전송된 3차원 콘텐츠(OB)를 A 사용자(A) 관점에서의 3차원 입체 영상(DS)으로 영상 처리할 수 있다.
행위 처리부(150)는 A 사용자(A)로부터 입력된 사용자 행위(BH)를 영상 제어부(140)로 전송하고, 사용자 행위(BH)에 따라 영상 제어부(140)가 3차원 입체 영상(DS)을 갱신하여 출력하도록 할 수 있다.
표시부(160)는 영상 제어부(140)로부터 출력된 3차원 입체 영상(DS)을 A 사용자(A)에게 디스플레이할 수 있다.
표시부(160)는 A 사용자(A)의 양안에 착용되는 안경형 디스플레이 장치 또는 A 사용자(A)의 머리에 착용되는 헤드마운틴 디스플레이 장치일 수 있다.
통신부(170)는 콘텐츠 서버(30) 또는 마커(20)와 통신하면서, 콘텐츠 서버(30)로부터 3차원 콘텐츠(OB)를 전송받거나 또는 마커 좌표(x1, y1, z1)를 전송받을 수 있다.
또한, 다수의 사용자들(A, B, C) 각각이 입체 영상 표시 장치(10)를 각각 장착한 경우에, 통신부(170)는 다수의 사용자들 각각의 입체 영상 표시 장치(10)와 통신하면서, 3차원 입체 영상(DS) 또는 사용자 행위(BH)를 공유할 수 있다.
이는, 동일한 가상 공간의 다수의 사용자들(A, B, C) 각각이 입체 영상 표시 장치(10)를 착용한 상태에서 서로 다른 관점에서 3차원 입체 영상(DS)을 시청하면서 소정의 행위들을 통하여 협업할 수 있는 것을 의미할 수 있다.
발광/수광부(180)는 마커(20)에 광을 출력하거나 또는 마커(20)로부터 출력 된 광을 수신할 수 있다.
예컨대, 마커(20)는 LED(Light Emitting Diode; LED) 등과 같은 발광 장치로 구현될 수 있다. 이때, 입체 영상 표시 장치(10)의 발광/수광부(180)는 마커(20)로부터 출력된 광을 수신할 수 있다.
또한, 마커(20)는 반사 필름으로 구현될 수 있다. 이때, 입체 영상 표시 장치(10)의 발광/수광부(180)는 마커(20)로 광을 출력하고, 마커(20)로부터 반사되는 광을 수신할 수 있다.
마커(20)는 A 사용자(A)로부터 소정의 거리로 이격되어 위치할 수 있으며, 콘텐츠 서버(30)는 마커(20)의 위치에 가상 공간을 설정하고, 설정된 가상 공간에서 A 사용자(A)의 입체 영상 표시 장치(10)에 3차원 콘텐츠(OB)를 전송할 수 있다.
도 5는 본 발명의 다른 실시예에 따른 입체 영상 표시 장치를 포함하는 영상 시스템의 일 실시예를 나타내는 도면이고, 도 6은 도 5에 도시된 영상 시스템의 블록도이다.
이하, 도 5 및 도 6을 참조하여, 본 발명의 다른 실시예에 따른 입체 영상 표시 장치를 포함하는 영상 시스템에 대하여 설명한다.
본 실시예에서는 설명의 편의를 위하여 도 1 내지 도 4에서 설명한 영상 시스템(50)과 동일한 기능을 갖는 구성 요소는 동일 부호로 나타내고, 그 상세한 설명은 생략한다.
도 5 및 도 6에 도시된 영상 시스템(51)은 다음을 제외하고는 도 1 내지 도 4에 도시된 영상 시스템(50)과 다음을 제외하고는 동일한 구성을 갖는다.
도 5 및 도 6에 도시된 영상 시스템(51)은 다수의 사용자들(A, B, C) 각각에 착용되는 제1 장치(40)와, 제1 장치(40)에 3차원 입체 영상(DS)을 전송하는 제2 장치(11) 및 콘텐츠 서버(30)를 포함할 수 있다.
즉, 본 실시예의 영상 시스템(51)은 도 1 내지 도 4에 도시된 다수의 사용자들(A, B, C) 각각에 착용되는 입체 영상 표시 장치(10)가 하나의 제2 장치(11)로 구현되고, 대신 다수의 사용자들(A, B, C) 각각은 마커(20) 및 표시부(160)가 포함된 제1 장치(40)를 착용할 수 있다. 다시 말하면, 제2 장치(11)가 기준점 역할을 수행할 수 있다.
이하에서는 설명의 편의를 위하여 다수의 사용자들(A, B, C) 중에서 A 사용자(A)가 착용한 제1 장치(40)와 이를 이용한 3차원 입체 영상 표시 동작에 대하여 설명한다.
A 사용자(A)는 제1 장치(40)를 착용할 수 있다. 제1 장치(40)는 A 사용자(A)의 머리 부근에 착용될 수 있다.
제1 장치(40)는 마커(20), 표시부(160) 및 제1 통신부(173)를 포함할 수 있다.
마커(20)는 A 사용자(A)의 머리 부근에 부착될 수 있다. 마커(20)는 발광 장치로 구현되거나 또는 반사 필름으로 구현될 수도 있다.
또한, 마커(20)는 A 사용자(A)의 눈, 코, 또는 입 등과 같은 신체 부위로 대체될 수도 있다.
표시부(160)는 제2 장치(11)로부터 출력된 3차원 입체 영상(DS)을 A 사용자(A)에게 디스플레이할 수 있다.
표시부(160)는 안경형 디스플레이 장치 또는 헤드마운틴 디스플레이 장치로 구현될 수 있다.
제1 통신부(173)는 제2 장치(11)와 통신하면서, 제2 장치(11)로부터 3차원 입체 영상(DS)을 전송받아 표시부(160)로 출력할 수 있다.
한편, 도면에 도시하지는 않았으나, 제1 장치(40)는 A 사용자(A)의 동작을 인식할 수 있는 동작 인식 장치(미도시)를 더 포함할 수도 있다.
제2 장치(11)는 A 사용자(A)로부터 소정 거리로 이격되어 배치될 수 있다. 제2 장치(11)는 A 사용자(A)가 착용하고 있는 제1 장치(40)의 마커(20)로부터 A 사용자(A)의 공간상의 위치를 산출할 수 있다.
제2 장치(11)는 산출된 A 사용자(A)의 위치에 따라 A 사용자(A)의 관점에서 3차원 입체 영상(DS)을 생성하여 출력할 수 있다. 3차원 입체 영상(DS)은 A 사용자(A)가 착용한 제1 장치(40)로 전송될 수 있다.
제2 장치(11)는 영상 처리부(110), 제1 통신부(173) 및 발광/수광부(180)를 포함할 수 있다.
영상 처리부(110)는 콘텐츠 서버(30)로부터 전송된 3차원 콘텐츠(OB)를 A 사용자(A)의 위치에 따른 A 사용자(A) 관점으로 영상 처리하고, 영상 처리된 3차원 콘텐츠, 즉 3차원 입체 영상(DS)을 출력할 수 있다.
또한, 영상 처리부(110)는 A 사용자(A)로부터 입력된 소정의 행위, 즉 사용 자 행위(BH)를 3차원 입체 영상(DS)에 반영하여 출력할 수 있다.
영상 처리부(110)는 촬영부(120), 위치 연산부(130'), 영상 제어부(140) 및 행위 처리부(150)를 포함할 수 있다.
위치 연산부(130')는 거리 계산부(131), 방향 계산부(133) 및 좌표 산출부(135)를 포함할 수 있다.
촬영부(120)는 제1 장치(40)의 마커(20)를 촬영하고, 촬영된 마커(20)의 마커 이미지(PI)를 출력할 수 있다.
위치 연산부(130')는 콘텐츠 서버(30)로부터 촬영부 좌표(x3, y3, z3)를 전송받고, 촬영부(120)로부터 출력된 마커 이미지(PI)와 촬영부 좌표(x3, y3, z3)를 이용하여 A 사용자(A)의 위치 좌표(x2, y2, z2), 예컨대 촬영부(120)로부터의 A 사용자(A)(또는, 마커(20))의 공간적 위치에 대한 좌표를 산출할 수 있다.
위치 연산부(130')의 거리 계산부(131)는 촬영된 마커 이미지(PI)로부터 마커(20), 즉 A 사용자(A)로부터 촬영부(120)까지의 이격 거리(d)를 계산하여 출력할 수 있다.
위치 연산부(130')의 방향 계산부(133)는 촬영된 마커 이미지(PI)로부터 마커(20)로부터 촬영부(120)까지의 각도(θ)를 계산하여 출력할 수 있다.
여기서, 방향 계산부(133)는 촬영부(120)의 법선 방향으로 연장된 가상의 선이 마커(20)와 형성하는 각도(θ)를 계산하여 출력할 수 있다.
좌표 산출부(135)는 촬영부 좌표(x3, y3, z3)로부터 산출된 이격 거리(d) 및 산출된 각도(θ)를 이용하여 A 사용자(A)의 위치 좌표(x2, y2, z2)를 계산하여 출 력할 수 있다.
좌표 산출부(135)로부터 출력된 위치 좌표(x2, y2, z2)는 촬영부(120)로부터 A 사용자(A)의 공간적, 즉 콘텐츠 서버(30)가 촬영부(120)를 중심으로 설정한 가상 공간에서의 공간적 위치 좌표(x2, y2, z2)일 수 있다.
영상 제어부(140)는 콘텐츠 서버(30)로부터 전송된 3차원 콘텐츠(OB)를 위치 연산부(130)로부터 출력된 A 사용자(A)의 위치 좌표(x2, y2, z2)에 따라 영상 처리하고, 영상 처리된 3차원 입체 영상(DS)을 출력할 수 있다.
영상 제어부(140)는 전송된 3차원 콘텐츠(OB)를 A 사용자(A) 관점에서의 3차원 입체 영상(DS)으로 영상 처리할 수 있다. 이에 따라, A 사용자(A)는 제1 장치(40)의 표시부(160)를 통해 도 2a에 도시된 것과 같은 3차원 입체 영상(DS)를 시청할 수 있다.
행위 처리부(150)는 A 사용자(A)로부터 입력된 사용자 행위(BH)를 영상 제어부(140)로 전송하고, 사용자 행위(BH)에 따라 영상 제어부(140)가 3차원 입체 영상(DS)을 갱신하여 출력하도록 할 수 있다.
제2 통신부(171)는 콘텐츠 서버(30)와 통신하면서, 콘텐츠 서버(30)로부터 3차원 콘텐츠(OB)를 전송받거나 또는 촬영부 좌표(x3, y3, z3)를 전송받을 수 있다.
또한, 제2 통신부(171)는 A 사용자(A)가 착용한 제1 장치(40)의 제1 통신부(173)와 통신하면서 A 사용자(A) 관점에서 출력된 3차원 입체 영상(DS)을 제1 통신부(173)로 전송할 수 있다.
또한, 제2 통신부(171)는 다수의 사용자들(A, B, C) 각각이 제1 장치(40)를 착용하고 있는 경우에, 다수의 사용자들(A, B, C) 각각의 제1 장치(40)의 제1 통신부(173)와 통신하면서, 다수의 사용자들(A, B, C) 관점에서 출력된 3차원 입체 영상(DS)을 전송할 수도 있다.
발광/수광부(180)는 제1 장치(40)의 마커(20)로 광을 출력하거나 또는 마커(20)로부터 출력된 광을 수신할 수 있다.
콘텐츠 서버(30)는 제2 장치(11), 즉 촬영부(120)의 위치에 가상 공간을 설정하고, 설정된 가상 공간에서 제2 장치(11)에 3차원 콘텐츠(OB)를 전송할 수 있다.
이상에서와 같이, 서로 동일한 물리적 공간에 위치하는 다수의 사용자들 각각에 착용되어 사용자 관점에서 서로 다른 3차원 입체 영상을 표시하고, 다수의 사용자들 각각이 3차원 입체 영상을 통해 협업할 수 있는 입체 영상 표시 장치를 포함하는 영상 시스템에 대하여 설명하였다.
그러나, 본 발명의 영상 시스템은 다수의 사용자들 각각이 서로 다른 물리적 공간에 위치하는 경우에도 다수의 사용자들 각각의 사용자 관점에서 서로 다른 3차원 입체 영상을 표시하고, 다수의 사용자들 각각이 3차원 입체 영상을 통해 협업할 수 있다.
예컨대, 도 1 및 도 3에 도시된 본 발명의 영상 시스템(50)에서 다수의 사용자들(A, B, C) 각각이 서로 다른 물리적 공간에 위치하는 경우에, 다수의 사용자들(A, B, C) 각각이 공유하던 마커(20)를 다수의 사용자들(A, B, C) 각각의 물리적 공간에 각각 위치시키되, 각각의 마커(20)의 마커 좌표(x1, y1, z1)를 동일하게 설정할 수 있다.
이에 따라, 다수의 사용자들(A, B, C) 각각이 서로 다른 물리적 공간에 위치하더라도 각각의 물리적 공간에서의 마커 좌표(x1, y1, z1)가 동일하므로 동일한 가상 공간에 있는 효과를 가질 수 있다.
또한, 도 5 및 도 6에 도시된 본 발명의 영상 시스템(51)에서 다수의 사용자들(A, B, C) 각각이 서로 다른 물리적 공간에 위치하는 경우에, 다수의 사용자들(A, B, C) 각각이 공유하던 제2 장치(11)를 다수의 사용자들(A, B, C) 각각의 물리적 공간에 각각 위치시키되, 각각의 제2 장치(11)의 촬영부 좌표(x3, y3, z3)를 동일하게 설정할 수 있다.
이에 따라, 다수의 사용자들(A, B, C) 각각이 서로 다른 물리적 공간에 위치하더라도 각각의 물리적 공간에서의 촬영부 좌표(x3, y3, z3)가 동일하므로 동일한 가상 공간에 있는 효과를 가질 수 있다.
본 발명의 내용은 도면에 도시된 일 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 일 실시예에 따른 입체 영상 표시 장치를 포함하는 영상 시스템의 일 실시예를 나타내는 도면이다.
도 2a 내지 도 2c는 도 1의 다수의 사용자들 각각의 입체 영상 표시 장치에 표시되는 3차원 입체 영상들의 도면이다.
도 3은 도 1에 도시된 영상 시스템의 블록도이다.
도 4는 도 3에 도시된 위치 연산부의 블록도이다.
도 5는 본 발명의 다른 실시예에 따른 입체 영상 표시 장치를 포함하는 영상 시스템의 일 실시예를 나타내는 도면이다.
도 6은 도 5에 도시된 영상 시스템의 블록도이다.

Claims (15)

  1. 기준점으로부터 사용자 위치를 산출하고, 산출된 사용자 위치에 따라 서버로부터 전송된 3차원 콘텐츠를 사용자 관점으로 영상 처리한 3차원 입체 영상을 출력하는 영상 처리부; 및
    상기 영상 처리부로부터 출력된 상기 3차원 입체 영상을 사용자에게 표시하는 표시부를 포함하는 입체 영상 표시 장치.
  2. 청구항 1에 있어서, 상기 기준점은 사용자로부터 이격되어 배치되고,
    상기 영상 처리부는,
    사용자의 머리 위치에서 상기 기준점을 촬영하여 기준점 이미지를 출력하는 촬영부; 및
    상기 촬영부로부터 출력된 상기 기준점 이미지로부터 상기 사용자 위치를 산출하는 위치 연산부를 포함하는 입체 영상 표시 장치.
  3. 청구항 2에 있어서, 상기 위치 연산부는,
    상기 기준점 이미지로부터 상기 촬영부와 상기 기준점 사이의 이격 거리를 산출하는 거리 계산부; 및
    상기 기준점 이미지로부터 상기 촬영부와 상기 기준점 사이의 각도를 산출하는 방향 계산부를 포함하고,
    상기 위치 연산부는 기준점 좌표, 산출된 상기 이격 거리 및 산출된 상기 각도에 기초하여 상기 사용자 위치를 산출하는 입체 영상 표시 장치.
  4. 청구항 1에 있어서, 상기 기준점은 사용자에 부착되고,
    상기 영상 처리부는,
    사용자로부터 이격된 위치에서 상기 기준점을 촬영하여 기준점 이미지를 출력하는 촬영부; 및
    상기 촬영부로부터 출력된 상기 기준점 이미지로부터 상기 사용자 위치를 산출하는 위치 연산부를 포함하는 입체 영상 표시 장치.
  5. 청구항 4에 있어서, 상기 위치 연산부는,
    상기 기준점 이미지로부터 상기 촬영부와 상기 기준점 사이의 이격 거리를 산출하는 거리 계산부; 및
    상기 기준점 이미지로부터 상기 촬영부와 상기 기준점 사이의 각도를 산출하는 방향 계산부를 포함하고,
    상기 위치 연산부는 촬영부 좌표, 산출된 상기 이격 거리 및 산출된 상기 각도에 기초하여 상기 사용자 위치를 산출하는 입체 영상 표시 장치.
  6. 청구항 1에 있어서,
    사용자로부터 입력된 사용자 행위에 따라 상기 3차원 입체 영상을 갱신할 수 있는 행위 처리부를 더 포함하는 입체 영상 표시 장치.
  7. 청구항 6에 있어서,
    상기 표시부는 다수의 사용자들 각각에 착용되고,
    상기 다수의 사용자들 중에서 하나의 사용자로부터 입력된 사용자 행위에 따라 갱신된 3차원 입체 영상은 상기 다수의 사용자들 각각이 착용한 상기 표시부에 표시되는 입체 영상 표시 장치.
  8. 청구항 1에 있어서,
    상기 기준점은 발광 장치로 구성되고, 상기 영상 처리부는 상기 발광 장치로부터 출력되는 광을 수광하는 수광 장치를 더 포함하는 입체 영상 표시 장치.
  9. 청구항 1에 있어서,
    상기 기준점을 반사 필름으로 구성되고, 상기 영상 처리부는 상기 반사 필름에 광을 출력하는 발광 장치와 상기 반사 필름에 의해 반사된 광을 수광하는 수광 장치를 더 포함하는 입체 영상 표시 장치.
  10. 기준점으로부터 사용자 위치를 산출하는 단계;
    서버로부터 전송된 3차원 콘텐츠를 산출된 사용자 위치에 기초하여 사용자 관점에서 영상 처리하고, 영상 처리된 3차원 입체 영상을 출력하는 단계; 및
    상기 3차원 입체 영상을 사용자에게 표시하는 단계를 포함하는 입체 영상 표시 장치의 동작 방법.
  11. 청구항 10에 있어서,
    상기 사용자 위치를 산출하는 단계는,
    사용자로부터 이격되어 배치된 상기 기준점을 사용자의 머리 위치에서 촬영하여 기준점 이미지를 출력하는 단계; 및
    상기 기준점 이미지에 기초하여 상기 사용자 위치를 산출하는 단계를 포함하는 입체 영상 표시 장치의 동작 방법.
  12. 청구항 11에 있어서,
    상기 사용자 위치를 산출하는 단계는,
    상기 기준점 이미지로부터 사용자와 상기 기준점 사이의 이격 거리를 산출하는 단계;
    상기 기준점 이미지로부터 사용자와 상기 기준점 사이의 각도를 산출하는 단계; 및
    기준점 좌표, 상기 이격 거리 및 상기 각도에 기초하여 상기 사용자 위치를 산출하는 단계를 포함하는 입체 영상 표시 장치의 동작 방법.
  13. 청구항 10에 있어서,
    상기 사용자 위치를 산출하는 단계는,
    사용자로부터 이격되어 배치된 촬영부를 이용하여 사용자에 부착된 상기 기준점을 촬영하고, 촬영된 기준점 이미지를 출력하는 단계; 및
    상기 기준점 이미지에 기초하여 상기 사용자 위치를 산출하는 단계를 포함하는 입체 영상 표시 장치의 동작 방법.
  14. 청구항 13에 있어서,
    상기 사용자 위치를 산출하는 단계는,
    상기 기준점 이미지로부터 상기 촬영부와 사용자 사이의 이격 거리를 산출하는 단계;
    상기 기준점 이미지로부터 상기 촬영부와 사용자 사이의 각도를 산출하는 단계; 및
    촬영부 좌표, 상기 이격 거리 및 상기 각도에 기초하여 상기 사용자 위치를 산출하는 단계를 포함하는 입체 영상 표시 장치의 동작 방법.
  15. 청구항 10에 있어서,
    상기 3차원 입체 영상은 다수의 사용자들 각각에 표시되고,
    상기 입체 영상 표시 장치의 동작 방법은,
    상기 다수의 사용자들 중에서 하나의 사용자로부터 사용자 행위를 입력받는 단계;
    입력된 사용자 행위를 상기 3차원 입체 영상에 반영하여 갱신하는 단계; 및
    갱신된 3차원 입체 영상을 상기 다수의 사용자들 각각에 표시하는 단계를 더 포함하는 입체 영상 표시 장치의 동작 방법.
KR1020090127115A 2009-12-18 2009-12-18 머리 위치 추적을 이용한 입체 영상 표시 장치 및 이의 동작 방법 KR101313797B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090127115A KR101313797B1 (ko) 2009-12-18 2009-12-18 머리 위치 추적을 이용한 입체 영상 표시 장치 및 이의 동작 방법
US12/970,569 US8780178B2 (en) 2009-12-18 2010-12-16 Device and method for displaying three-dimensional images using head tracking

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090127115A KR101313797B1 (ko) 2009-12-18 2009-12-18 머리 위치 추적을 이용한 입체 영상 표시 장치 및 이의 동작 방법

Publications (2)

Publication Number Publication Date
KR20110070326A true KR20110070326A (ko) 2011-06-24
KR101313797B1 KR101313797B1 (ko) 2013-10-01

Family

ID=44150492

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090127115A KR101313797B1 (ko) 2009-12-18 2009-12-18 머리 위치 추적을 이용한 입체 영상 표시 장치 및 이의 동작 방법

Country Status (2)

Country Link
US (1) US8780178B2 (ko)
KR (1) KR101313797B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013012146A1 (en) * 2011-07-18 2013-01-24 Samsung Electronics Co., Ltd. Content playing method and apparatus
KR101398804B1 (ko) * 2012-05-07 2014-05-22 이영우 양안 식의 안위감지기, 부채꼴의 변형 렌티큘러와 액정식 배리어를 사용한 입체영상표시장치에서의 안위인식방법
US9769467B2 (en) 2012-12-18 2017-09-19 Samsung Electronics Co., Ltd. 3D display device for displaying 3D image using at least one of gaze direction of user or gravity direction

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010009737A1 (de) * 2010-03-01 2011-09-01 Institut für Rundfunktechnik GmbH Verfahren und Anordnung zur Wiedergabe von 3D-Bildinhalten
US9046933B2 (en) * 2011-07-19 2015-06-02 Mckesson Financial Holdings Displaying three-dimensional image data
US9529426B2 (en) * 2012-02-08 2016-12-27 Microsoft Technology Licensing, Llc Head pose tracking using a depth camera
KR102019125B1 (ko) 2013-03-18 2019-09-06 엘지전자 주식회사 3d 디스플레이 디바이스 장치 및 제어 방법
KR102407283B1 (ko) * 2014-05-29 2022-06-10 네버마인드 캐피탈 엘엘씨 콘텐트를 전달 및/또는 콘텐트를 재생하기 위한 방법들 및 장치
US20150346812A1 (en) 2014-05-29 2015-12-03 Nextvr Inc. Methods and apparatus for receiving content and/or playing back content
KR20160067546A (ko) 2014-12-04 2016-06-14 한국전자통신연구원 지향성 백라이트 유닛
WO2016140986A1 (en) 2015-03-01 2016-09-09 Nextvr Inc. Methods and apparatus for supporting content generation, transmission and/or playback
BR112019005855A2 (pt) * 2016-09-29 2019-06-11 Koninklijke Philips Nv aparelho de processamento de imagens, sistema de processamento de imagens, e método para fornecer uma imagem
US11270510B2 (en) * 2017-04-04 2022-03-08 David Peter Warhol System and method for creating an augmented reality interactive environment in theatrical structure
WO2019204012A1 (en) 2018-04-20 2019-10-24 Covidien Lp Compensation for observer movement in robotic surgical systems having stereoscopic displays

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6522312B2 (en) 1997-09-01 2003-02-18 Canon Kabushiki Kaisha Apparatus for presenting mixed reality shared among operators
JP3486536B2 (ja) * 1997-09-01 2004-01-13 キヤノン株式会社 複合現実感提示装置および方法
US6503195B1 (en) * 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
EP1296173B1 (en) 2000-06-30 2012-06-13 Japan Science and Technology Corporation Multiple sharing type display device
HU0401034D0 (en) * 2004-05-24 2004-08-30 Ratai Daniel System of three dimension induting computer technology, and method of executing spatial processes
US8130260B2 (en) * 2005-11-09 2012-03-06 Johns Hopkins University System and method for 3-dimensional display of image data
KR100754202B1 (ko) 2006-01-26 2007-09-03 삼성전자주식회사 눈동자 검출 정보를 이용하는 입체 영상 표시 장치 및 방법
JP4386067B2 (ja) * 2006-12-15 2009-12-16 ブラザー工業株式会社 画像形成装置及び補正量算出プログラム
KR101311303B1 (ko) 2007-09-11 2013-09-25 엘지디스플레이 주식회사 입체영상표시장치
KR20090034430A (ko) 2007-10-04 2009-04-08 조광래 공간 디스플레이 방법 및 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013012146A1 (en) * 2011-07-18 2013-01-24 Samsung Electronics Co., Ltd. Content playing method and apparatus
KR101398804B1 (ko) * 2012-05-07 2014-05-22 이영우 양안 식의 안위감지기, 부채꼴의 변형 렌티큘러와 액정식 배리어를 사용한 입체영상표시장치에서의 안위인식방법
US9769467B2 (en) 2012-12-18 2017-09-19 Samsung Electronics Co., Ltd. 3D display device for displaying 3D image using at least one of gaze direction of user or gravity direction

Also Published As

Publication number Publication date
US8780178B2 (en) 2014-07-15
KR101313797B1 (ko) 2013-10-01
US20110149043A1 (en) 2011-06-23

Similar Documents

Publication Publication Date Title
KR101313797B1 (ko) 머리 위치 추적을 이용한 입체 영상 표시 장치 및 이의 동작 방법
US11199706B2 (en) Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking
US11854171B2 (en) Compensation for deformation in head mounted display systems
US10999412B2 (en) Sharing mediated reality content
US10115235B2 (en) Method for controlling head mounted display, and system for implemeting the method
US10890771B2 (en) Display system with video see-through
KR20160094190A (ko) 시선 추적 장치 및 방법
JP2018050179A (ja) 情報処理装置、画像生成方法およびヘッドマウントディスプレイ
US11956415B2 (en) Head mounted display apparatus
TWI453462B (zh) 智慧型電子裝置之虛擬望遠系統及其方法
WO2021110038A1 (zh) 3d显示设备、3d图像显示方法
JP4580678B2 (ja) 注視点位置表示装置
US10296098B2 (en) Input/output device, input/output program, and input/output method
US20220130116A1 (en) Registration of local content between first and second augmented reality viewers
WO2020189450A1 (ja) 複数のマーカを備えたデバイス
US20180093176A1 (en) Systems and methods for stereoscopic vision with head mounted display
US20180101226A1 (en) Information processing apparatus
KR20180092187A (ko) 증강 현실 제공 시스템
D'Angelo et al. Towards a Low-Cost Augmented Reality Head-Mounted Display with Real-Time Eye Center Location Capability
JP2013131884A (ja) 眼鏡
JP2008250166A (ja) 頭部装着型表示装置

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160826

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee