KR102269395B1 - 입체 영상 디스플레이 방법 및 그를 위한 장치 - Google Patents

입체 영상 디스플레이 방법 및 그를 위한 장치 Download PDF

Info

Publication number
KR102269395B1
KR102269395B1 KR1020140136981A KR20140136981A KR102269395B1 KR 102269395 B1 KR102269395 B1 KR 102269395B1 KR 1020140136981 A KR1020140136981 A KR 1020140136981A KR 20140136981 A KR20140136981 A KR 20140136981A KR 102269395 B1 KR102269395 B1 KR 102269395B1
Authority
KR
South Korea
Prior art keywords
distance
user
objects
display
display device
Prior art date
Application number
KR1020140136981A
Other languages
English (en)
Other versions
KR20160002590A (ko
Inventor
강창환
김진관
이정익
박재환
형다혜
남성우
원주현
Original Assignee
주식회사 알티캐스트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 알티캐스트 filed Critical 주식회사 알티캐스트
Priority to PCT/KR2015/006317 priority Critical patent/WO2016003101A1/en
Publication of KR20160002590A publication Critical patent/KR20160002590A/ko
Application granted granted Critical
Publication of KR102269395B1 publication Critical patent/KR102269395B1/ko

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 복수의 거리 변화 또는 위치 변화에 연동하여 복수의 오브젝트들의 깊이 또는 디스플레이 각도를 조적하여 최적화된 입체 영상 화면을 제공하는 디스플레이 장치 및 방법을 제공한다.

Description

입체 영상 디스플레이 방법 및 그를 위한 장치{Method for Displaying Stereoscopic Image and Apparatus thereof}
본 발명은 입체 영상 디스플레이 방법 및 그를 위한 장치에 있어서, 특히 실시간 인식되는 사용자에서 후벽까지의 거리를 근거로 복수 오브젝트들의 깊이(depth)를 제어하여 디스플레이하는 입체 영상 디스플레이 방법 및 그를 위한 장치에 관한 것이다.
오늘날, 초고속 정보 통신망을 근간으로 구축된 정보의 고속화를 이용하여 단순히 보고 듣는 디지털 단말 중심의 멀티 미디어형 서비스에서 시공간을 초월하여 실감 있고 입체적으로 보고 느끼고 즐기는 초공간형 3차원 입체 정보통신 서비스로 점차 발전해오고 있다.
일반적으로, 3차원을 표현하는 입체 영상은 두 눈을 통한 스테레오 시각의 원리에 의하여 이루어지게 되는데 두 눈의 시차, 즉 사용자의 두 눈이 약 65mm 정도 떨어져서 존재하기 때문에 발생하는 두 눈의 위치의 차이로 인해 왼쪽과 오른쪽 눈은 서로 약간 다른 영상을 보게 된다. 이와 같이, 두 눈의 위치 차이에 의한 영상의 차이점을 양안 시차(binocular disparity)라고 한다. 그리고, 3차원 입체 영상 표시 장치는 이러한 양안 시차를 이용하여 왼쪽 눈은 왼쪽 눈에 대한 영상만 보게 하고 오른쪽 눈은 오른쪽 눈 영상만을 볼 수 있게 한다.
즉, 좌우의 눈은 각각 서로 다른 2차원 화상을 보게 되고, 이 두 화상이 망막을 통해 뇌로 전달되면 뇌는 이를 서로 융합하여 본래 3차원 영상의 깊이감과 실제감을 재생하는 것이다.
입체 영상을 구동하는 방식을 하드웨어에 따라 나누면 크게 무안경 방식과 안경 방식이 있다.
입체 영상 표시 장치에서 하나의 화면으로 두 채널의 화상을 나타내기 위해서는 가로 또는 세로 방향으로 한 줄씩 교대로 바꿔가면서 한 채널씩 출력하게 된다.
이러한 입체 영상 출력 시 무안경 방식은 우안 영상이 오른쪽 눈으로 전달되도록 하고, 좌안 영상이 왼쪽 눈으로만 전달되도록 하여 입체 영상을 표시하는 방식이다.
한편, 안경을 착용하는 방식은 특수한 안경을 통하여 우안 영상을 왼쪽 눈이 볼 수 없게 차단하고, 좌안 영상을 오른쪽 눈이 볼 수 없게 차단하여 입체 영상을 표시하는 방식이다.
그런데 입체 영상 표시 장치에서 사용자의 위치에 상관없이 균일하고 안정적인 입체 영상을 구현하기가 쉽지 않다. 무안경 방식으로 구동하는 입체 영상 표시 장치의 경우에 사용자의 위치를 추적하고 그에 따라 액정 전계 렌즈를 쉬프트하여 위치에 상관없이 입체 영상을 보는 기술이 개발되기도 했다. 그러나, 무안경 방식에서 입체 영상을 볼 수 있는 영역을 넓히는 장점은 있지만 어디에서건 2 시점의 영상만 표시하는 한계가 있다.
또한, 전자 기술의 발달에 힘입어 다양한 분야에서 다양한 유형의 디스플레이 장치가 사용되고 있다. 특히, 최근에는 투명 디스플레이 장치와 같은 차세대 디스플레이 장치에 대한 연구 논의가 가속화되고 있다.
투명 디스플레이 장치란 투명한 성질을 나타내어 장치 뒤쪽의 배경이 그대로 비치는 디스플레이 장치를 의미한다. 종래에는 실리콘(Si), 갈륨비소(GaAs) 등과 같은 불투명 반도체 화합물을 이용하여 디스플레이 패널을 제작하였으나, 기존의 디스플레이 패널로는 감당할 수 없는 다양한 응용분야가 개척되면서, 새로운 형태의 전자 소자에 대한 개발 노력이 이루어졌었다. 이러한 노력 하에 개발된 것 중 하나가 투명 디스플레이 장치이다.
투명 디스플레이 장치는 투명한 산화물 반도체막을 포함하는 형태로 구현되어, 투명한 성질을 가지게 된다. 투명 디스플레이 장치를 사용할 경우, 사용자는 디스플레이 장치 뒤쪽에 위치하는 물체까지 투과해 볼 수 있게 된다. 따라서, 기존 디스플레이 장치들이 가지고 있는 공간적, 시각적 제약을 해소할 수 있는 것이다.
이러한 투명 디스플레이 장치의 경우는 다양한 용도로 다양한 환경에서 사용될 수 있다. 예를 들어, 상점의 쇼윈도가 투명 디스플레이 장치로 구현될 경우, 사용자가 쇼윈도 뒤에 위치한 마네킹이 착용하고 있는 의류나 가방에 대한 관련 정보를 쇼윈도에 표시하여 정보를 제공할 수 있다. 또한, 일반 가정 내에서 창문을 투명 디스플레이 장치로 구현할 경우에는 사용자에 의해 선택된 배경화면을 창문에 표시하여 사용자가 원하는 장소에 위치하는 것과 같은 현장감을 제공할 수도 있다.
상기한 바와 같이, 투명 디스플레이 장치는 그 투명한 성질로 인해 기존 디스플레이 장치에 비해 많은 장점을 가지게 되지만, 반대로 투명한 성질로 인해 화면상의 정보가 잘 보이지 않는다는 등의 문제점이 발생할 수도 있다.
따라서, 투명 디스플레이 장치를 더욱 효과적으로 다양하게 사용할 수 있는 기술에 대한 필요성이 대두되었다.
본 발명은 상기와 같은 종래의 문제점을 해결하기 위해 안출된 것으로서, 본 발명의 목적은 사용자에서 후벽까지의 거리를 근거로 복수 오브젝트들의 깊이(depth)를 조절하여 입체 영상을 디스플레이함으로써, 사용자의 거리 변화에 관계없이 최적화된 크기의 입체 영상 화면을 제공하는 입체 영상 디스플레이 방법 및 그를 위한 장치를 제공하는데 있다.
또한, 본 발명의 또 다른 목적은 사용자의 위치 변화에 연동하여 복수 오브젝트들의 디스플레이 각도를 조절하여 입체 영상을 디스플레이함으로써, 사용자의 위치 변화에 관계없이 최적화된 몰입도의 입체 영상 화면을 제공할 수 있는 입체 영상 디스플레이 방법 및 그를 위한 장치를 제공하는 데 있다.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 투명 플렉서블 디스플레이(Transparent Flexble Display)를 이용한 입체 영상 디스플레이 장치의 입체 영상 디스플레이 방법은, 컨텐츠 영상을 디스플레이하는 단계;와, UI(User Interface)/UX(User eXperience) 제공에 대한 명령이 수신되면, 상기 디스플레이 장치의 전방에 위치한 사용자까지의 제1 거리를 인식하고, 상기 디스플레이 장치의 후방에 위치한 후벽까지의 제2 거리를 인식하는 단계; 및 상기 제1 거리 및 상기 제2 거리 변화에 연동하여 상기 UI(User Interface)/UX(User eXperience)를 구성하는 복수의 오브젝트(object)들 간의 깊이(depth)를 조절하고, 상기 복수의 오브젝트들을 디스플레이하는 단계;를 포함하여 이루어진다.
이상에서 설명한 바와 같이, 본 발명의 일 실시예에 따른 입체 영상 디스플레이 방법 및 그를 위한 장치에 의하면, 사용자에서 후벽까지의 거리를 근거로 복수 오브젝트들의 깊이(depth)를 조절하여 입체 영상을 디스플레이함으로써, 사용자의 거리 변화에 관계없이 최적화된 크기의 입체 영상 화면을 제공할 수 있는 효과가 있다.
또한, 본 발명의 일 실시예에 따른 입체 영상 디스플레이 방법 및 그를 위한 장치에 의하면, 사용자의 위치 변화에 연동하여 복수 오브젝트들의 디스플레이 각도를 조절하여 입체 영상을 디스플레이함으로써, 사용자의 위치 변화에 관계없이 최적화된 몰입도의 입체 영상 화면을 제공할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 입체 영상을 디스플레이하는 디스플레이 장치의 구성을 개략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 제1 거리 및 제2 거리 변화에 연동하여 입체 영상을 디스플레이하는 방법을 설명하기 위해 개략적으로 도시한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 입체 영상 디스플레이에 적용되는 제1 거리 및 제2 거리를 설명하기 위해 개략적으로 도시한 예시도이다.
도 4는 본 발명의 일 실시예에 따른 사용자의 위치 변화에 연동하여 입체 영상을 디스플레이하는 방법을 설명하기 위해 개략적으로 도시한 흐름도이다.
도 5a 내지 도 5c는 본 발명의 일 실시예에 따른 최적화된 입체 영상을 디스플레이하는 방법을 설명하기 위해 도시한 예시도이다.
도 6은 본 발명의 일 실시예에 따른 디스플레이 장치의 제스처 입력에 따른 동작 방법을 설명하기 위해 도시한 예시도이다.
이하, 본 발명의 바람직한 실시예들을 첨부한 도면들을 참조하여 상세히 설명하도록 한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 다양한 양상들이 아래에서 설명된다. 여기에서 제시되는 발명들은 폭넓은 다양한 형태들로 구현될 수 있으며, 여기에서 제시되는 임의의 특정한 구조, 기능 또는 이들 모두는 단지 예시적이라는 것을 이해하도록 한다. 여기에서 제시되는 발명들에 기반하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 여기에서 제시되는 하나의 양상이 임의의 다른 양상들과 독립적으로 구현될 수 있으며, 둘 이상의 이러한 양상들이 다양한 방식들로 결합될 수 있다는 것을 이해할 것이다. 예를 들어, 여기에서 설명되는 임의의 수의 양상들을 이용하여 장치가 구현될 수 있거나 또는 방법이 실시될 수 있다. 또한, 여기에서 설명되는 하나 이상의 양상들에 더하여 또는 이들 양상들이 아닌 다른 구조, 기능 또는 구조 및 기능을 이용하여 이러한 장치가 구현될 수 있거나 또는 이러한 방법이 실시될 수 있다.
이하에서는, 첨부한 도면을 참조하여 본 발명에 따른 바람직한 실시예를 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 입체 영상을 디스플레이하는 디스플레이 장치의 구성을 개략적으로 도시한 블록도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 디스플레이 장치는 영상수신부(110), 명령수신부(120), 인식부(130), 제어부(140) 및 디스플레이부(150)를 포함하여 구성될 수 있다. 상기 영상수신부(110)는 외부로부터 송신되는 컨텐츠 영상을 수신할 수 있다. 상기 영상수신부(110)는 방송국으로부터 송출되는 영상데이터 및 각종 온라인 사이트를 통해 다운로드(Download)되는 각종 컨텐츠(contents)들을 수신할 수 있다. 이때, 상기 영상수신부(110)를 통해 수신되는 영상은 2D 영상 혹은 3D 영상을 포함할 수 있다. 한편, 상기 디스플레이 장치를 통해 디스플레이되는 영상은 상기 영상수신부(110)를 통해 수신되는 영상 외에도, 상기 디스플레이 장치에 구비되는 저장장치에 저장된 영상 및 상기 디스플레이 장치에 연결되는 기록매체에 저장된 영상 등을 더 포함할 수 있다.
상기 명령수신부(120)는 UI(User Interface)/UX(User eXperience) 제공에 대한 명령을 수신할 수 있다. 이 경우, 명령수신부(120)는 사용자 제스처 또는 터치에 의해 UI/UX 제공과 관련된 기능 또는 메뉴가 선택되면, 그에 대응하여 UI/UX 제공에 대한 명령을 수신할 수 있다. 상기 명령수신부(120)는 외부로부터 실시간 수신되는 명령을 수신할 수 있으며, 이때 수신되는 명령은 사용자에 의해 사전에 기설정된 명령을 포함할 수 있다.
상기 인식부(130)는 더욱 상세하게 거리인식부(131) 및 방향인식부(132)로 구분될 수 있다. 상기 거리인식부(130)는 사용자까지의 제1 거리 및 후벽까지의 제2 거리를 인식할 수 있다. 즉, 상기 명령수신부(120)를 통해 UI/UX 제공에 대한 명령이 수신되면, 상기 거리인식부(131)는 상기 디스플레이 장치의 전방에 위치한 사용자까지의 제1 거리 및 상기 디스플레이 장치의 후방에 위치한 후벽까지의 제2 거리를 인식할 수 있다. 이때, 상기 제1 거리 및 상기 제2 거리는 상기 오브젝트들의 디스플레이 깊이(depth)를 제어하기 위한 값으로 사용될 수 있다. 다시 말해서, 상기 디스플레이 장치는 상기 거리인식부(131)를 통해 사용자까지의 거리 및 후벽까지의 거리를 인식함으로써, 상기 사용자가 주변환경과 함께 시각적으로 느끼게 되는 깊이를 반영하여 입체적인 디스플레이 화면을 제공할 수 있다. 한편, 상기 방향인식부(132)는 상기 사용자가 위치한 방향을 실시간 인식할 수 있다. 이때, 상기 방향인식부(132)는 상기 디스플레이 장치를 기준으로 사용자가 위치한 방향을 각도로 인식할 수 있다.
상기 제어부(140)는 상기 제1 거리 및 상기 제2 거리 변화에 연동하여 상기 UI/UX를 구성하는 복수 오브젝트들 간의 깊이(depth)를 제어하고, 상기 복수 오브젝트들을 디스플레이하도록 제어할 수 있다. 이때, 상기 제어부(140)는 상기 제1 거리 및 상기 제2 거리 변화에 연동하여 상기 복수 오브젝트들의 사이즈를 확대 또는 축소할 수 있는데, 상기 복수의 오브젝트들이 디스플레이된 상태에서 사용자설정에 따라 상기 복수 오브젝트들의 사이즈를 변경할 수 있다. 상기 오브젝트들은 컨텐츠 영상과는 독립적으로 구성 및 재생 가능한 별개의 영상으로서, 방송, 영화, 게임, 광고, SNS 등 디스플레이 장치에서 제공 가능한 다양한 컨텐츠와 관련된 UI/UX 화면을 포함할 수 있다. 예를 들어, 상기 오브젝트들은 각 컨텐츠와 관련된 이미지, 동영상 또는 EPG(Electronic Program Guide) 정보 등을 포함할 수 있다.
상기 디스플레이부(150)는 상기 제어부(140)의 제어에 따라 디스플레이되는 입체 영상 화면을 제공할 수 있다. 상기 디스플레이부(150)는 투명 플렉서블 디스플레이(Transparent Flexble Display) 형태로 구현되는 것으로서, 영상을 화면상에 홀로그래피(holography) 방식으로 디스플레이하여 입체감을 표현할 수 있다. 예를 들어, 상기 디스플레이부(150)를 통해 디스플레이되는 정보는 이미지, 텍스트, 컨텐츠 재생 화면, 어플리케이션 실행 화면, 웹 브라우저 화면 및 각종 그래픽 객체 등을 포함할 수 있다. 그리고 상기 디스플레이부(150)는 투명 LCD(Liquid Crystal Display), 투명 OLED(Organic Light-Emitting Diode), 투명 TFD(Thin Film Diod) 등의 다양한 형태로 구현될 수 있다.
도 2는 본 발명의 일 실시예에 따른 제1 거리 및 제2 거리 변화에 연동하여 입체 영상을 디스플레이하는 방법을 설명하기 위해 개략적으로 도시한 흐름도이다.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 디스플레이 장치는 상기 디스플레이 장치의 전방에 위치한 사용자까지의 제1 거리 및 상기 디스플레이 장치의 후방에 위치한 후벽까지의 제2 거리를 인식하고, 상기 인식된 제1 거리 및 제2 거리를 근거로 영상에 포함되는 복수 오브젝트들의 크기(또는 복수 오브젝트들 간의 디스플레이 깊이)를 조절하여 입체감이 표현되도록 디스플레이할 수 있다. 우선, 컨텐츠 영상을 디스플레이 중에, UI/UX 제공 명령을 수신할 수 있다[S210, S220]. 상기 컨텐츠 영상은 방송국으로부터 송출되는 영상데이터 및 각종 온라인 사이트를 통해 다운로드(Download)되는 컨텐츠(contents) 등을 포함할 수 있다. 그리고 상기 UI/UX 제공 명령은 상기 디스플레이 장치에 기설정되어 있는 명령을 포함할 수 있고, 실시간 입력되는 명령을 포함할 수도 있다.
이후, 제1 거리 및 제2 거리가 인식되면, 제1 거리 및 제2 거리 변화에 연동하여 UI/UX를 구성하는 복수 오브젝트 간 디스플레이 깊이를 조절하여 디스플레이할 수 있다[S230, S240]. 상기 제1 거리 및 제2 거리는 상기 디스플레이 장치에 구비되는 카메라 형태의 소정 모듈로 구현되는 거리인식부에 의해 인식될 수 있다. 예를 들어, 상기 소정 모듈 형태의 거리인식부는 복수 개의 카메라를 통해 이루어질 수 있으며, 상기 디스플레이 장치의 전/후면에 구비될 수 있다. 상기 디스플레이 장치는 UI/UX를 구성하는 복수의 오브젝트들 각각에 상이한 깊이를 적용하여 디스플레이함으로써, 상기 복수의 오브젝트들 각각이 서로 상이한 원근감을 나타내도록 영상을 입체적으로 디스플레이할 수 있다. 즉, 상기 디스플레이 장치는 상기 복수의 오브젝트들 간 깊이 조절을 통해 상기 디스플레이되는 영상의 입체감 정도를 자유자재로 조절할 수 있다. 이때, 상기 디스플레이 장치는 상기 사용자까지의 제1 거리를 인식할 때 함께 인식된 상기 디스플레이 장치의 후면에 위치한 후벽까지의 제2 거리도 인식하여 상기 인식된 제1 거리 및 제2 거리를 근거로 상기 복수 오브젝트들의 깊이를 조절할 수도 있다. 또한, 상기 디스플레이 장치는 상기 제1 거리 및 상기 제2 거리 외에도, 안전시청거리를 준수하기 위한 기본거리 값에 해당하는 제3 거리를 더 설정할 수 있다. 상기 제3 거리는 화면 크기에 상응하게 변경 적용되는 것으로서, 상기 디스플레이 화면이 대형화 혹은 소형화됨에 따라 상이하게 적용될 수 있다.
도 3은 본 발명의 일 실시예에 따른 입체 영상을 디스플레이에 적용되는 제1 거리 및 제2 거리를 설명하기 위해 개략적으로 도시한 예시도이다.
도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 디스플레이 장치는 상기 디스플레이 장치의 전방에 위치한 사용자까지의 제1 거리 및 상기 디스플레이 장치의 후방에 위치한 후벽까지의 제2 거리를 인식하여, 상기 제1 거리 및 제2 거리 변화에 연동하여 상기 오브젝트들 간의 깊이를 조절하는 방식으로 영상의 입체감을 변경할 수 있다.
더욱 상세히, 상기 디스플레이 장치(310)는 상기 디스플레이 장치(310)에 장착된 인식 모듈을 통해 입체 영상 디스플레이를 위한 거리들을 인식할 수 있다. 상기 인식 모듈은 입체 영상의 입체감 조절을 위해 요구되는 거리변화를 인식하기 위한 거리인식부 및 최적화된 입체 영상 제공을 위해 요구되는 사용자 위치변화를 인식하기 위한 방향인식부로 구분될 수 있다. 상기 거리인식부를 통해 인식되는 거리에는, 상기 디스플레이 장치(310)의 전방에 위치한 사용자까지의 거리를 의미하는 제1 거리(D1)와, 상기 디스플레이 장치(310)의 후방에 위치하는 후벽(320)까지의 거리를 의미하는 제2 거리(D2) 등이 포함될 수 있다.
이때, 상기 디스플레이 장치(310)를 통한 TV 시청 등의 경우에 적용되는 안전시청거리를 제3 거리(D3)로서 별도 적용할 수 있는데, 상기 입체 영상 디스플레이를 위한 각종 기능 설정 시에 상기 제3 거리(D3)를 기설정해 둘 수 있다. 그러면, 상기 디스플레이 장치(310)가 입체 영상을 디스플레이할 경우에, 상기 제1 거리(D1)와 상기 제2 거리(D2) 외에도, 상기 기설정된 제3 거리(D3)까지 적용하여 최적화된 입체 영상을 사용자에게 제공할 수 있다는 장점이 있다. 즉, 상기 제3 거리(D3)는 사용자의 시력 보호를 위해 적용되는 안전시청거리로서, 디스플레이 장치(310)의 크기에 따라 상이하게 적용될 수 있다. 따라서, 상기 제1 거리(D1)는 상기 디스플레이 장치(310)부터 상기 사용자까지의 거리에서 상기 사용자의 시력보호를 위한 안전시청거리(제3 거리; D3)를 제외한 거리를 의미한다.
또한, 상기 제2 거리(D2)는 상기 디스플레이 장치(310)의 위치 조절에 의해 변경될 수 있다. 본 발명에 따른 디스플레이 장치(310)는 벽이나 천장에 매달려 전/후방으로 이동 가능한 것으로, 상기 디스플레이 장치(310)의 네 귀퉁이에 상기 디스플레이 장치의 위치를 조절할 수 있는 특정 장치(330; 예를 들어, 소형 도르래 디스플레이 장치를 벽면에 밀착 또는 분리시키는 구조)를 구비할 수 있다. 따라서, 상기 특정 장치(330)에 의해 변경되는 디스플레이 장치(310)의 위치를 근거로 상기 디스플레이 장치(330)부터 후벽까지의 제2 거리(D2) 또한 변경될 수 있으므로, 상기 제2 거리(D2)를 반영하여 디스플레이 영상의 입체감을 조절할 수 있다는 점 또한 중요하게 작용할 수 있다.
즉, 상기 디스플레이 장치(310)는 소정 위치에 구비된 인식 모듈을 통해 인식되는 제1 거리(D1) 및 제2 거리(D2)를 적용하여, 사용자가 주변환경과 함께 시각적으로 느끼는 깊이를 상기 디스플레이 장치(310)에 반영하여 화면을 제공할 수 있다. 다시 말해서, 상기 디스플레이 장치(310)는 화면을 시청하는 사용자를 기준으로 한 제1 거리(D1) 및 디스플레이 장치(310)의 후방에 위치한 후벽까지의 제2 거리(D2)를 모두 고려하여 오브젝트들 간의 깊이(혹은 거리)를 조절하여 디스플레이함으로써, 오브젝트들의 원근감 차이에 따라 나타나는 입체감을 표현할 수 있다.
한편, 상기 디스플레이 장치(310)는 상기 인식 모듈의 방향인식부를 통해 인식되는 사용자의 위치변화에 따라, 오브젝트들의 디스플레이 각도를 조절할 수 있다. 즉, 일반적인 디스플레이 장치를 통해 제공되는 3D 디스플레이 화면은 Z축 값에 제한되어 표시될 수 있으나, 본 발명에 따른 디스플레이 장치(310)는 사용자의 위치변화를 실시간 인식하여 사용자의 위치변화를 근거로 변경되는 Z축 값의 변화를 반영하여 사용자로 하여금 자동 인터랙션(interaction) 및 착시효과를 통해 가상 공간감을 현실화하여 전달할 수 있다.
상기한 바와 같이, 본 발명에 따른 디스플레이 장치는 사용자까지의 제1 거리 외에도, 상기 디스플레이 장치의 후방에 존재하는 후벽까지의 제2 거리를 더 고려하여 입체 영상을 제공함으로써, 영상의 입체감을 더욱 부각시켜 최적화된 영상을 사용자에게 제공할 수 있다는 장점이 있다.
도 4는 본 발명의 일 실시예에 따른 사용자의 위치 변화에 연동하여 입체 영상을 디스플레이하는 방법을 설명하기 위해 개략적으로 도시한 흐름도이다.
도 4에 도시된 바와 같이, 본 발명의 일 실시예에 따른 디스플레이 장치는 사용자의 위치 변화를 인식하여 상기 인식된 사용자의 위치 변화를 근거로 복수 오브젝트들의 디스플레이 각도를 실시간 조절하여 화면을 제공하는 것으로서, 상기 사용자가 어느 위치에서 디스플레이 장치를 사용하더라도 항상 최적화된 화면을 제공받을 수 있다.
우선, 디스플레이 장치가 컨텐츠 영상을 디스플레이할 수 있다[S410]. 상기 컨텐츠 영상은 방송국으로부터 송출되는 영상데이터 및 각종 사이트를 통해 다운로드(Download)되는 컨텐츠(contents) 등을 포함할 수 있다.
이후, 사용자 위치 변화가 인식되면, 사용자 위치 변화에 연동하여 UI/UX를 구성하는 복수 오브젝트들의 각도를 제어하여 디스플레이할 수 있다[S420, S430]. 즉, 상기 디스플레이 장치는 소정 영역에 구비된 인식 모듈을 이용해 상기 디스플레이 장치를 기준으로 사용자가 위치한 방향의 각도 및 후벽까지의 각도를 인식할 수 있으며, 상기 인식된 각도들을 근거로 복수 오브젝트들이 상기 사용자가 위치한 방향을 향해 디스플레이 되도록 상기 복수 오브젝트들의 각도를 변경하여 디스플레이할 수 있다. 예를 들어, 상기 사용자가 디스플레이 장치의 오른쪽 방향에서 영상을 시청하고 있을 경우, 상기 디스플레이 장치는 상기 디스플레이 장치의 소정 영역에 장착된 특정 방향인식 모듈을 통해 상기 사용자가 자신의 오른쪽 방향에 위치한 것을 인식하여 상기 디스플레이 장치를 기준으로 사용자의 위치에 대한 각도 및 후벽까지의 각도를 추출할 수 있다. 그런 다음, 상기 추출된 사용자 위치에 대한 각도 및 후벽까지의 각도를 근거로 오브젝트들의 디스플레이 각도를 조절하여 디스플레이할 수 있다.
상기와 같이, 본 발명에 따르면, 사용자가 어느 위치로 이동하는가에 상관없이, 항상 디스플레이 화면을 정면에서 응시할 수 있으므로, 최적화된 화면을 제공받아 몰입도를 극대화시킬 수 있다는 장점이 있다.
도 5a 내지 도 5c는 본 발명의 일 실시예에 따른 디스플레이 장치가 최적화된 입체 영상을 디스플레이하는 방법을 설명하기 위해 도시한 예시도이다.
도 5a는 본 발명의 일 실시예에 따른 디스플레이 장치가 복수 오브젝트들 간의 깊이 조정을 통해 입체감을 조절하는 방법을 설명하기 위한 예시도이다.
도 5a에 도시된 바와 같이, 본 발명의 일 실시예에 따른 디스플레이 장치는 제1 거리(D1) 및 제2 거리(D2)에 연동하여 복수 오브젝트들 깊이를 조절하는 방식으로 디스플레이 화면의 입체감을 조정할 수 있다.
상기 제1 거리(D1)는 상기 디스플레이 장치(510)의 전방에 위치한 사용자(520)까지의 거리를 의미하고, 상기 제2 거리(D2)는 상기 디스플레이 장치(510)의 후방에 위치한 후벽(530)까지의 거리를 의미하는 것으로서, 상기 디스플레이 장치(510)에 구비된 특정 인식 모듈을 통해 상기 제1 거리(D1) 및 상기 제2 거리(D2)가 인식될 수 있다. 그 외에 별도로 적용되는 제3 거리(D3)는 상기 사용자(520)의 시력보호를 위해 권장되는 안전시청거리로서, 상기 사용자에 의해 기설정되어 화면 제공시에 반영될 수 있다. 상기 제3 거리(D3)는 디스플레이 장치(510)의 크기에 따라 상이하게 적용될 수 있다. 따라서, 상기 제1 거리(D1)는 상기 디스플레이 장치(510)부터 상기 사용자(520)까지의 거리에서 상기 사용자(520)의 시력보호를 위한 안전시청거리(제3 거리; D3)를 제외한 거리를 의미한다.
상기 디스플레이 장치(510)는 상기 인식된 제1 거리(D1), 제2 거리(D2) 및 제3 거리(D3)를 모두 고려하여 사용자(520)에게 최적화된 입체감을 나타내는 디스플레이 화면을 제공할 수 있다. 이때, 상기 디스플레이 장치(510)를 통해 디스플레이되는 화면은 복수의 오브젝트들(511, 512, 513, 514)을 포함하여 구성될 수 있는데, 상기 디스플레이 장치(510)는 상기 인식된 제1 거리(D1), 제2 거리(D2) 및 제3 거리(D3)를 근거로 상기 복수 오브젝트들(511, 512, 513, 514) 간의 깊이(
Figure 112015044268992-pat00013
)를 조정할 수 있다.
따라서, 상기 복수 오브젝트들(511, 512, 513, 514) 간의 깊이(
Figure 112015044268992-pat00014
)는 일정하나, 사용자(520)의 위치에서는 오브젝트(511, 512, 513, 514)에 따라 각각 다른 깊이가 적용된 것처럼 인식되어, 화면이 입체적으로 인식되는 효과가 있다.
즉, 도 5a에서와 같이, 디스플레이 장치(510)는 제1 거리(D1) 내지 제2 거리(D2) 간의 전체 거리를 모두 이용하여 복수의 오브젝트들(511, 512, 513, 514)의 깊이를 조정할 수 있다. 구체적으로, 사용자로부터 제3 거리(D3)만큼 떨어진 위치, 즉, 안전시청거리를 고려할 경우, 사용자가 시청 가능한 공간의 최전방(D1과 D3의 경계)에 제1 오브젝트(511)가 위치되고, 후벽(530)에 제4 오브젝트(514)가 위치되며, 제1 오브젝트(511)와 제4 오브젝트(514) 사이에 제2 및 제3 오브젝트(512, 513)가 일정한 깊이로 떨어져 위치될 수 있다. 따라서, 디스플레이 장치(510)는 실질적으로 사용자가 시청 가능한 공간의 최전방에서 후벽(530)까지의 공간을 활용하여 복수의 오브젝트들(511, 512, 513, 514)을 입체적으로 디스플레이할 수 있다.
도 5b는 본 발명의 일 실시예에 따른 디스플레이 장치가 사용자 위치 변화에 따라 오브젝트의 디스플레이 각도를 조절하는 방법을 설명하기 위한 예시도이다.
도 5b에 도시된 바와 같이, 본 발명의 일 실시예에 따른 디스플레이 장치(510)는 상기 사용자(520)가 인식된 방향을 향하도록 복수 오브젝트들(511, 512, 513, 514)의 디스플레이 각도를
Figure 112015044268992-pat00015
각 만큼 조절하여 화면을 디스플레이할 수 있다.
다시 말해서, 상기 디스플레이 장치(510)는 사용자(520) 위치가 변화한 경우, 이를 실시간 인식하여 변경된 사용자(520’) 위치에서도 화면이 변경된 사용자(520’)를 향하도록 복수 오브젝트들(511, 512, 513, 514)의 디스플레이 각도(
Figure 112015044268992-pat00016
)를 조절할 수 있는 것이다. 이때, 상기 오브젝트들(511, 512, 513, 514)의 각도는 상기 디스플레이 장치(510)를 기준으로 원래의 사용자(520) 위치에서 변경된 사용자(520’) 위치까지의 각도(
Figure 112015044268992-pat00017
)를 측정하여 이를 각각의 오브젝트들(511, 512, 513, 514)에 반영할 수 있다. 이에, 상기 오브젝트들(511, 512, 513, 514)의 깊이(
Figure 112015044268992-pat00018
) 및 상기 디스플레이 장치(510)에서부터 변경된 사용자까지의 거리(D1’)가 함께 연동되어 변경될 수 있다. 또한, 상기 변경된 제1 거리(D1’)의 위치를 근거로 사용자에게 제공되는 안전시청거리인 제3 거리(D3’)도 역시 변경될 수 있다.
다시 말해, 사용자가 시청 가능한 공간의 최전방(D1’과 D3’의 경계)에 제1 오브젝트(511)가 위치되고, 후벽(530)에 제4 오브젝트(514)가 위치되며, 제1 오브젝트(511)와 제4 오브젝트(514) 사이에 제2 및 제3 오브젝트(512, 513)가 일정한 깊이(
Figure 112015044268992-pat00019
)로 떨어져 위치됨과 동시에, 이 제1 내지 제4 오브젝트들(511, 512, 513, 514)은 측정된 각도(
Figure 112015044268992-pat00020
)만큼 이동 또는 회전될 수 있다.
따라서, 사용자(520)가 어느 위치에서든 항상 디스플레이 화면을 정면에서 응시할 수 있으므로, 최적화된 입체 화면을 제공하여 사용자의 몰입도를 극대화시킬 수 있다는 장점이 있다.
도 5c는 본 발명의 일 실시예에 따른 디스플레이 장치가 제1 거리 및 제2 거리에 연동한 오브젝트 크기를 조절을 통해 입체감을 조절하는 방법을 설명하기 위한 예시도이다.
도 5c에 도시된 바와 같이, 본 발명의 일 실시예에 따른 디스플레이 장치는 제1 거리(D1) 및 제2 거리(D2)에 연동하여 복수 오브젝트(511, 512, 513, 514)들 간의 크기를 조절하는 방식으로 디스플레이 화면의 입체감을 조정할 수 있다. 상기 디스플레이 장치(510)의 전방에 위치한 사용자(520)까지의 거리를 나타내는 제1 거리(D1) 및 상기 디스플레이 장치(510)의 후방에 위치한 후벽(530)까지의 거리를 나타내는 제2 거리(D2)를 모두 고려하여, 상기 디스플레이 화면을 구성하는 복수 오브젝트(511, 512, 513, 514)들의 크기가 각각 달라지도록 리사이징(resizing, 또는 확대/축소)함으로써, 사용자(520) 위치에서 최적화된 입체감을 느낄 수 있도록 화면을 제공할 수 있다. 이 경우, 복수의 오브젝트들(511, 512, 513, 514)은 사용자(520)로부터 멀리 배치될수록 점점 축소되는 크기를 가질 수 있다. 그러나, 이에 한정되지 않으며, 사용자(520)로부터 멀리 배치될수록 점점 확대되는 크기를 가질 수도 있다.
다시 말해서, 디스플레이 장치(510)는 실질적으로 사용자가 시청 가능한 공간의 최전방(D1과 D3의 경계)에서 후벽(530)까지의 공간을 활용하여 복수의 오브젝트들(511, 512, 513, 514)을 입체적으로 디스플레이하되, 복수의 오브젝트들(511, 512, 513, 514)의 크기를 서로 다르게 디스플레이할 수 있다.
도 6은 본 발명의 일 실시예에 따른 투명 플렉서블 디스플레이를 이용한 입체 영상 디스플레이 구현 방법을 설명하기 위해 도시한 예시도이다.
우선, 사용자가 투명 디스플레이 장치(611, 점선 표시)를 통해 제공되는 화면을 시청할 수 있다[S610]. 상기 디스플레이 화면은 복수의 오브젝트들(612, 613, 614, 615, 616, 617, 618)을 포함할 수 있으며, 상기 복수의 오브젝트들(612, 613, 614, 615, 616, 617, 618)은 다양한 컨텐츠와 관련된 UI/UX 화면으로, UI/UX 제공에 대한 명령에 따라 디스플레이될 수 있다. 이 경우, 복수의 오브젝트들(612, 613, 614, 615, 616, 617, 618)은 사용자로부터 디스플레이 장치(611)의 후벽까지의 공간에 일정한 깊이로 떨어져 입체적으로 디스플레이될 수 있다.
이때, 상기 디스플레이 장치(611)는 사용자 입력(예를 들어, 제스처 입력 등)에 의해서, 상기 디스플레이 장치(611)를 통해 디스플레이되고 있는 복수의 오브젝트들(612, 613, 614) 중 특정 오브젝트(612)를 선택하기 위한 선택신호를 수신하거나[S620], 상기 복수 오브젝트들(612, 613, 614)의 위치를 이동시키기 위한 제어신호를 수신할 수 있다[S630].
그리고 상기 사용자 입력에 의해 영상관련 오브젝트(613)가 선택되면[S640], 상기 디스플레이 장치는 상기 선택된 영상관련 오브젝트에 연동되어 있는 영상을 재생시켜 디스플레이 장치(611) 화면상에 제공할 수 있다[S650].
이상과 같이, 본 발명에서는 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 더욱 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 의해 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
110: 영상수신부 120: 명령수신부
130: 인식부 140: 제어부
150: 디스플레이부

Claims (14)

  1. 투명 플렉서블 디스플레이(Transparent Flexble Display)를 이용한 입체 영상 디스플레이 장치에 있어서,
    컨텐츠 영상을 수신하는 영상수신부;
    UI(User Interface)/UX(User eXperience) 제공에 대한 명령을 수신하는 명령수신부;
    상기 명령수신부를 통해 수신한 UI(User Interface)/UX(User eXperience) 제공에 대한 명령에 대응하여, 거리 또는 방향을 인식하는 인식부;
    상기 인식된 거리의 변화 및 방향의 변화 중 적어도 어느 하나에 연동하여 상기 UI/UX를 구성하는 복수의 오브젝트(object)들 간의 깊이(depth) 및 상기 복수의 오브젝트들의 디스플레이 각도 중 적어도 어느 하나를 조절하여 상기 복수의 오브젝트들을 디스플레이하도록 제어하는 제어부; 및
    상기 제어부의 제어에 따라 디스플레이 화면을 제공하는 디스플레이부;
    를 포함하고,
    상기 인식부는
    상기 명령의 수신에 대응하여 상기 디스플레이 장치의 전방에 위치한 사용자까지의 제1 거리를 인식하고, 상기 디스플레이 장치의 후방에 위치한 후벽까지의 제2 거리, 사용자의 시력 보호를 위해 디스플레이의 크기에 따라 상이하게 적용되는 제3 거리를 인식하는 거리인식부; 및
    상기 사용자가 위치한 방향을 인식하는 방향인식부
    를 포함하며,
    상기 제어부는,
    상기 제1 거리, 제2 거리 및 제3 거리를 근거로 상기 복수 오브젝트들 간의 깊이를 조정하는 입체 영상 디스플레이 장치.
  2. 제 1 항에 있어서,
    상기 제어부는
    상기 인식된 거리의 변화 및 방향의 변화 중 적어도 어느 하나에 연동하여 상기 복수 오브젝트들의 사이즈를 확대 또는 축소하는 것을 특징으로 하는 입체 영상 디스플레이 장치.
  3. 제 1 항에 있어서,
    상기 제어부는
    상기 복수의 오브젝트들이 디스플레이된 상태에서, 사용자 설정에 따라 상기 복수 오브젝트들의 사이즈를 확대 또는 축소하는 것을 특징으로 하는 입체 영상 디스플레이 장치.
  4. 삭제
  5. 제 1 항에 있어서,
    상기 복수의 오브젝트들은, 상기 컨텐츠 영상과 별개의 영상으로, 다양한 컨텐츠와 관련된 UI/UX 화면인 것을 특징으로 하는 입체 영상 디스플레이 장치.
  6. 제 1 항에 있어서,
    상기 제1 거리는,
    상기 디스플레이 장치에서 상기 사용자까지 거리에서, 상기 사용자의 시력 보호를 위한 안전 시청 거리를 제외한 거리인 것을 특징으로 하는 입체 영상 디스플레이 장치.
  7. 투명 플렉서블 디스플레이(Transparent Flexble Display)를 이용한 입체 영상 디스플레이 장치의 입체 영상 디스플레이 방법에 있어서,
    컨텐츠 영상을 수신하는 단계;
    UI(User Interface)/UX(User eXperience) 제공에 대한 명령을 수신하고, 상기 명령에 대응하여 거리 또는 방향을 인식하는 단계; 및
    상기 인식된 거리의 변화 및 방향의 변화 중 적어도 어느 하나에 연동하여 상기 UI/UX 를 구성하는 복수의 오브젝트들 간의 깊이 및 상기 복수의 오브젝트들의 디스플레이 각도 중 적어도 어느 하나를 조절하여 상기 복수의 오브젝트들이 디스플레이 되도록 제어하는 단계
    를 포함하고,
    상기 거리 또는 방향을 인식하는 단계는,
    상기 명령의 수신에 대응하여 상기 디스플레이 장치의 전방에 위치한 사용자까지의 제1 거리를 인식하는 단계;
    상기 디스플레이 장치의 후방에 위치한 후벽까지의 제2 거리, 사용자의 시력 보호를 위해 디스플레이의 크기에 따라 상이하게 적용되는 제3 거리를 인식하는 단계; 및
    상기 사용자가 위치한 방향을 인식하는 단계
    를 포함하며,
    상기 복수의 오브젝트들이 디스플레이 되도록 제어하는 단계는,
    상기 제1 거리, 제2 거리 및 제3 거리를 근거로 상기 복수 오브젝트들 간의 깊이를 조정하는 단계
    를 포함하는 것을 특징으로 하는 입체 영상 디스플레이 방법.
  8. 제 7 항의 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독가능한 기록 매체.
  9. 제 7 항의 방법을 수행하기 위하여 컴퓨터로 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램.
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
KR1020140136981A 2014-06-30 2014-10-10 입체 영상 디스플레이 방법 및 그를 위한 장치 KR102269395B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2015/006317 WO2016003101A1 (en) 2014-06-30 2015-06-22 Method for displaying stereoscopic image and apparatus thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20140081262 2014-06-30
KR1020140081262 2014-06-30

Publications (2)

Publication Number Publication Date
KR20160002590A KR20160002590A (ko) 2016-01-08
KR102269395B1 true KR102269395B1 (ko) 2021-06-28

Family

ID=55170480

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140136981A KR102269395B1 (ko) 2014-06-30 2014-10-10 입체 영상 디스플레이 방법 및 그를 위한 장치

Country Status (1)

Country Link
KR (1) KR102269395B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102655B (zh) * 2020-09-16 2023-07-21 联想(北京)有限公司 一种输出控制方法及电子设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120009897A (ko) * 2010-07-22 2012-02-02 엘지전자 주식회사 3차원 컨텐츠를 출력하는 디스플레이 기기의 사용자 인터페이스 출력 방법 및 그 방법을 채용한 디스플레이 기기
KR20120011520A (ko) * 2010-07-29 2012-02-08 엘지전자 주식회사 3차원 영상 표시 방법 및 그에 따른 3차원 영상 표시 장치
KR20140061098A (ko) * 2012-11-13 2014-05-21 엘지전자 주식회사 영상표시장치, 및 그 동작방법

Also Published As

Publication number Publication date
KR20160002590A (ko) 2016-01-08

Similar Documents

Publication Publication Date Title
KR102415502B1 (ko) 복수의 사용자를 위한 라이트 필드 렌더링 방법 및 장치
TWI523488B (zh) 處理包含在信號中的視差資訊之方法
US9124885B2 (en) Operating system supporting mixed 2D, stereoscopic 3D and multi-view 3D displays
US9030487B2 (en) Electronic device for displaying three-dimensional image and method of using the same
TWI444036B (zh) 2d至3d使用者介面內容資料轉換
KR102121389B1 (ko) 무안경 3d 디스플레이 장치 및 그 제어 방법
US10366642B2 (en) Interactive multiplane display system with transparent transmissive layers
US9049435B2 (en) Image providing apparatus and image providing method based on user's location
US20110271235A1 (en) Method for displaying a setting menu and corresponding device
US9167237B2 (en) Method and apparatus for providing 3-dimensional image
US20120086714A1 (en) 3d image display apparatus and display method thereof
CN105376558A (zh) 多视图图像显示设备及其控制方法
US20140293024A1 (en) Foldable display and method and apparatus for controlling the same
JP5396877B2 (ja) 画像処理装置、プログラム、画像処理方法、および記録方法
JP2012060236A (ja) 画像処理装置、画像処理方法およびコンピュータプログラム
KR102269395B1 (ko) 입체 영상 디스플레이 방법 및 그를 위한 장치
KR102143463B1 (ko) 다시점 영상 디스플레이 장치 및 그 제어 방법
JP6377155B2 (ja) 多視点映像処理装置及びその映像処理方法
KR20140088465A (ko) 디스플레이 방법 및 디스플레이 장치
KR101086305B1 (ko) 3차원 영상 디스플레이 장치 및 방법
WO2016003101A1 (en) Method for displaying stereoscopic image and apparatus thereof
CN111193919B (zh) 一种3d显示方法、装置、设备及计算机可读介质
JP2011244218A (ja) データ伝送システム
KR20120051877A (ko) 시점거리 변화에도 시역을 유지하는 무안경식 3차원 영상표시장치 및 그 제어방법
US9547933B2 (en) Display apparatus and display method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant