KR101914205B1 - 사용자 인터페이스 처리 장치 - Google Patents

사용자 인터페이스 처리 장치 Download PDF

Info

Publication number
KR101914205B1
KR101914205B1 KR1020160113435A KR20160113435A KR101914205B1 KR 101914205 B1 KR101914205 B1 KR 101914205B1 KR 1020160113435 A KR1020160113435 A KR 1020160113435A KR 20160113435 A KR20160113435 A KR 20160113435A KR 101914205 B1 KR101914205 B1 KR 101914205B1
Authority
KR
South Korea
Prior art keywords
independent object
image
sphere
independent
user interface
Prior art date
Application number
KR1020160113435A
Other languages
English (en)
Other versions
KR20180026271A (ko
Inventor
엄윤호
여정근
안재용
Original Assignee
주식회사 씨오티커넥티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 씨오티커넥티드 filed Critical 주식회사 씨오티커넥티드
Priority to KR1020160113435A priority Critical patent/KR101914205B1/ko
Publication of KR20180026271A publication Critical patent/KR20180026271A/ko
Application granted granted Critical
Publication of KR101914205B1 publication Critical patent/KR101914205B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • H04N5/23216—
    • H04N5/23293—

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 사용자 인터페이스 처리 기술에 관한 것으로, 360도 영상으로 구성된 구(sphere)에 사용자 인터랙션을 반영하여 상기 구를 회전시키고 상기 구의 중심점에서 상기 구의 내면을 바라볼 때 해당 구면 영상을 평면 영상으로 변환하는 사용자 인터랙션 처리부, 상기 평면 영상으로 변환될 때 독립 객체를 각각 임베딩하는 적어도 하나의 독립 객체 컨테이너를 검출하고 상기 적어도 하나의 독립 객체 컨테이너에서 해당 독립 객체 처리 규칙에 따라 해당 객체를 각각 처리하는 사용자 인터페이스 제공부 및 상기 평면 영상에서 특정 객체 선택 요청을 수신하고 특정 기준을 초과하지 않는 거리 내에서 상기 구의 중심에서 가장 가까운 독립 객체를 포어그라운드에서 처리하는 객체 처리부를 포함한다.

Description

사용자 인터페이스 처리 장치{APPARATUS OF PROCESSING USER INTERFACE}
본 발명은 사용자 인터페이스 처리 기술에 관한 것으로, 보다 상세하게는 360도 이미지 또는 360도 영상으로 구성되고 적어도 하나의 객체를 임베딩한 구(sphere)에 사용자 인터랙션을 반영하여 특정 객체를 처리할 수 있는 사용자 인터페이스 처리 장치에 관한 것이다.
사용자 인터페이스(UI, User Interface)란 시청자가 TV를 보다 편리하게 이용할 수 있도록 해 주는 환경 또는 장치를 의미한다. TV에서 리모컨은 대단한 UI의 진화로 손꼽힌다. 리모컨의 등장으로 사람들은 더 이상 TV의 음량을 조절하거나 채널을 변경하기 위해 굳이 자리에서 일어나 TV로 다가가지 않아도 되었다.
사용자 인터페이스는 웨어러블 기기와 같은 새로운 기기의 등장으로 인해 리모컨, 마우스 또는 키보드 이외의 사용자 제스처와 같은 다양한 입력들을 수신하도록 설계되어야 하고, 또한, 기존의 단순 그래픽 인터페이스 외에 새로운 환경에서 동작하도록 설계되어야 한다.
한국 등록특허 제10-0614004호는 자동화된 360도 파노라마 이미지 생성 방법에 관한 것으로, 카메라를 한 곳에 고정시킨 채 몸체를 회전시키면서 찍은 다수의 사진들을 이어 붙여서 360도를 포함하는 광각의 파노라마 이미지를 생성하고, 생성된 파노라마 이미지는 파노라믹 VR 뷰어를 통해 보게 되며 사용자에게 마치 촬영 장소에 서서 주위를 살펴보는 것과 같은 효과를 줄 수 있는 기술에 대하여 개시한다.
한국 등록특허 제10-1593123호는 홍보 브이알 시스템 및 방법에 관한 것으로, 카메라를 이용하여 홍보 대상물을 촬영한 후 홍보 VR 이미지 정보를 생성하고, 생성된 홍보 VR 이미지 정보를 360도로 회전, 확대 및 축소시켜 휴대 단말기로 제공하고, 홍보 VR 이미지에 대한 제1 위치정보와 휴대 단말기의 제2 위치정보와 제1 위치정보와 제2 위치정보에 기반한 위치 지도맵을 생성하여 휴대 단말기로 제공하며, 홍보 대상물을 제공한 입주자와 홍보 VR 이미지 정보를 확인한 사용자의 커뮤니티를 위하여 광고 마케팅 커뮤니티를 구현하여 휴대 단말기로 제공하는 기술에 대하여 개시한다.
1. 한국 등록특허 제10-0614004호(2006.08.11) 2. 한국 등록특허 제10-1593123호(2016.02.02)
본 발명의 일 실시예는 360도 영상으로 구성되고 적어도 하나의 객체를 임베딩한 구(sphere)에 사용자 인터랙션을 반영하여 특정 객체를 처리할 수 있는 사용자 인터페이스 처리 장치를 제공하고자 한다.
본 발명의 일 실시예는 360도 영상의 특정 영역이 평면 영상으로 변환될 때 독립 객체 컨테이너를 통해 각각 다른 독립 객체를 해당 독립 객체 규칙에 따라 처리할 수 있는 사용자 인터페이스 처리 장치를 제공하고자 한다.
실시예들 중에서, 사용자 인터페이스 처리 장치는 360도 영상으로 구성된 구(sphere)에 사용자 인터랙션을 반영하여 상기 구를 회전시키고 상기 구의 중심점에서 상기 구의 내면을 바라볼 때 해당 구면 영상을 평면 영상으로 변환하는 사용자 인터랙션 처리부, 상기 평면 영상으로 변환될 때 독립 객체를 각각 임베딩하는 적어도 하나의 독립 객체 컨테이너를 검출하고 상기 적어도 하나의 독립 객체 컨테이너에서 해당 독립 객체 처리 규칙에 따라 해당 객체를 각각 처리하는 사용자 인터페이스 제공부 및 상기 평면 영상에서 특정 객체 선택 요청을 수신하고 특정 기준을 초과하지 않는 거리 내에서 상기 구의 중심에서 가장 가까운 독립 객체를 포어그라운드에서 처리하는 객체 처리부를 포함한다.
상기 사용자 인터랙션 처리부는 복수의 방향키들을 통해 상기 사용자 인터랙션이 입력되는 경우에는 상기 바라본 구의 내면에 관한 방위각과 고도각을 현재의 연산 처리량을 기초로 결정된 등속 간격으로 변경하고, 사용자 헤드 움직임을 통해 상기 사용자 인터랙션이 입력되는 경우에는 상기 바라본 구의 내면에 관한 방위각과 고도각을 현재의 헤드 이동량을 기초로 결정된 가속 간격으로 변경할 수 있다.
상기 사용자 인터페이스 제공부는 상기 적어도 하나의 독립 객체 컨테이너의 영상 워핑 연산을 수행하지 않도록 기 정의된 위치와 양태를 기초로 상기 평면 영상에 상기 적어도 하나의 독립 객체 컨테이너를 오버레이할 수 있다. 상기 사용자 인터페이스 제공부는 상기 구의 회전이 발생할 때마다 해당 평면 영상과 연관된 독립 객체 컨테이너와 특정 평면 영상과 비연관된 독립 객체 컨테이너를 상기 해당 평면 영상에 디스플레이할 수 있다.
상기 사용자 인터페이스 제공부는 상기 비연관된 독립 객체 컨테이너에 상기 사용자 인터랙션을 직접적으로 반영하지 않는 디스플레이 전용 객체를 임베딩할 수 있다.
상기 사용자 인터페이스 제공부는 상기 해당 객체의 유형을 사전에 검출하여 상기 해당 독립 객체 처리 규칙을 선택하고 기 정의된 양태에 따라 상기 해당 객체에 관한 표현을 조절할 수 있다.
상기 객체 처리부는 상기 평면 영상 중에서 디스플레이 장치에서 현재 디스플레이되고 있는 평면 영상의 크기를 기초로 상기 특정 기준을 산출하고, 상기 가장 가까운 독립 객체를 상기 현재 디스플레이되고 있는 평면 영상의 중앙에서 표현할 수 있다. 상기 객체 처리부는 상기 가장 가까운 독립 객체의 해상도와 상기 현재 디스플레이되고 있는 평면 영상의 해상도를 비교하여 상기 표현을 상기 디스플레이 장치의 화면 전체에 디스플레이할 수 있다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 일 실시예에 따른 사용자 인터페이스 처리 장치는 360도 영상으로 구성되고 적어도 하나의 객체를 임베딩한 구(sphere)에 사용자 인터랙션을 반영하여 특정 객체를 처리할 수 있다.
본 발명의 일 실시예에 따른 사용자 인터페이스 처리 장치는 360도 영상의 특정 영역이 평면 영상으로 변환될 때 독립 객체 컨테이너를 통해 각각 다른 독립 객체를 해당 독립 객체 규칙에 따라 처리할 수 있다.
도 1은 본 발명의 일 실시예에 따른 사용자 인터페이스 처리 시스템을 나타내는 도면이다.
도 2는 도 1에 있는 사용자 인터페이스 처리 장치의 구성을 설명하는 블록도이다.
도 3은 도 1에 있는 사용자 인터페이스 처리 장치에서 수행되는 사용자 인터페이스 처리 방법을 설명하는 순서도이다.
도 4는 도 1에 있는 디스플레이 장치를 통해 사용자 인터랙션이 반영된 구의 회전이 발생할 때마다 디스플레이되는 360도 영상을 나타내는 도면이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명의 일 실시예에 따른 사용자 인터페이스 처리 시스템을 나타내는 도면이다.
도 1을 참조하면, 사용자 인터페이스 처리 시스템(10)은 디스플레이 장치(100) 및 사용자 인터페이스 처리 장치(200)를 포함한다.
디스플레이 장치(100)는 사용자 인터페이스 처리 장치(200)와 연결되어 사용자 인터페이스 처리 장치(200)로부터 수신한 360도 이미지 또는 360도 영상을 시각적으로 표현할 수 있는 영상 디스플레이 장치에 해당한다. 예를 들어, 디스플레이 장치(100)는 TV(Television) 또는 모니터(Monitor)에 해당할 수 있다.
사용자 인터페이스 처리 장치(200)는 사용자에 의하여 조작되는 컴퓨팅 장치에 해당할 수 있다. 예를 들어, 사용자 인터페이스 처리 장치(200)는 태블릿 PC(Tablet PC) 또는 모바일 단말에 해당할 수 있다.
일 실시예에서, 사용자 인터페이스 처리 장치(200)는 디스플레이 장치(100)와 적외선 통신, 블루투스(Bluetooth), 초광대역 통신(Ultra-Wideband, UWB), 지그비(Ziegbee), 무선랜(Wireless LAN) 중에서 선택된 적어도 하나의 근거리 무선통신 방식을 통해 연결될 수 있다. 이하, 사용자 인터페이스 처리 장치(200)와 관련한 보다 상세한 설명은 도 2를 참조하여 설명한다.
도 2는 도 1에 있는 사용자 인터페이스 처리 장치의 구성을 설명하는 블록도이다.
도 2를 참조하면, 사용자 인터페이스 처리 장치(200)는 사용자 인터랙션 처리부(210), 사용자 인터페이스 제공부(220), 객체 처리부(230) 및 제어부(240)를 포함한다.
사용자 인터랙션 처리부(210)는 360도 영상으로 구성된 구(sphere)에 사용자 인터랙션을 반영하여 구를 회전시킨다. 여기에서, 사용자 인터랙션(Interaction)은 사용자가 인터페이스를 통해 시스템을 이용하는 일련의 상호작용을 의미한다. 예를 들어, 리모콘의 경우, 사용자 인터랙션은 4방향 버튼들을 통해 입력될 수 있다. 다른 예를 들어, 눈에 착용하는 안경의 경우, 사용자 인터랙션은 머리의 이동을 통해 입력될 수 있다. 사용자 인터랙션 처리부(210)는 구의 중심점에서 구의 내면을 바라볼 때 해당 구면 영상을 평면 영상으로 변환할 수 있다. 즉, 사용자 인터랙션 처리부(210)는 구의 내면에 있는 구면 영상을 평면 영상으로 워핑할 수 있다.
사용자 인터랙션 처리부(210)는 사용자 인터랙션이 발생될 때마다 사용자가 바라보고 있는 360도 영상의 현재 위치를 파악할 수 있다. 일 실시예에서, 사용자 인터랙션 처리부(210)는 해당 위치에서 사용자 헤드 움직임(또는 사용자의 시선)이 변경되었는지 여부를 확인할 수 있고, 사용자 헤드 움직임(또는 사용자의 시선)에 따라 360도 영상으로 구성된 구를 회전시킬 수 있다. 예를 들어, 사용자 인터랙션 처리부(210)는 사용자 헤드 움직임(또는 사용자의 시선)의 이동을 실시간으로 추적하여 360도 영상에 해당 이동을 반영할 수 있다. 일 실시예에서, 사용자 인터랙션 처리부(210)는 사용자 헤드 움직임과 360도 영상 간의 이동 스케일을 동적으로 설정할 수 있다. 다른 일 실시예에서, 사용자 인터랙션 처리부(210)는 사용자에 의하여 조작되는 사용자 입력을 수신할 수 있다. 사용자 인터랙션 처리부(210)는 수신된 사용자 입력에 따라 360도 영상으로 구성된 구를 회전시킬 수 있다. 예를 들어, 사용자 인터랙션 처리부(210)는 상[↑], 하[↓], 좌[←], 우[→] 등으로 구성된 복수의 방향키들을 사용자가 누르면 눌린 방향키에 맞춰 360도 영상으로 구성된 구를 회전시킬 수 있다.
사용자 인터랙션 처리부(210)는 360도 영상으로 구성된 구의 중심점에서 구의 내면을 바라보는 경우에는 해당 구면 영상을 평면 영상으로 변환할 수 있다. 보다 구체적으로, 사용자 인터랙션 처리부(210)는 영상을 바라보는 사용자의 가시성을 향상시키기 위해 구면 영상을 평면 영상으로 워핑할 수 있다. 사용자는 디스플레이 장치(100)를 통해 변환된 평면 영상을 확인할 수 있다.
사용자 인터랙션 처리부(210)는 복수의 방향키들을 통해 사용자 인터랙션이 입력되는 경우에는 바라본 구의 내면에 관한 방위각과 고도각을 현재의 연산 처리량을 기초로 결정된 등속 간격을 변경하고, 사용자 인터랙션 처리부(210)는 사용자 헤드 움직임을 통해 사용자 인터랙션이 입력되는 경우에는 바라본 구의 내면에 관한 방위각과 고도각을 현재의 헤드 이동량을 기초로 결정된 가속 간격으로 변경할 수 있다.
사용자 인터페이스 제공부(220)는 평면 영상으로 변환될 때 독립 객체를 각각 임베딩하는 적어도 하나의 독립 객체 컨테이너를 검출하고, 적어도 하나의 독립 객체 컨테이너에서 해당 독립 객체 처리 규칙에 따라 해당 객체를 각각 처리할 수 있다. 사용자 인터페이스 제공부(220)는 360도 영상으로 구성된 구에 복수의 독립 객체 컨테이너들을 포함할 수 있고, 복수의 독립 객체 컨테이너들은 각각 다른 독립 객체들을 포함할 수 있다.
사용자 인터페이스 제공부(220)는 적어도 하나의 독립 객체 컨테이너의 영상 워핑 연산을 수행하지 않도록 기 정의된 위치와 양태를 기초로 평면 영상에 적어도 하나의 독립 객체 컨테이너를 오버레이할 수 있다. 여기에서, 영상 워핑(Image Warping)은 특정 규칙에 따라 적어도 하나의 입력 영상에 대해 영상의 형태만을 변형시키는 것을 의미하고, 기 정의된 양태는 적어도 하나의 독립 객체 컨테이너의 형상과 크기를 미리 설정한 것을 의미한다.
보다 구체적으로, 사용자 인터페이스 제공부(220)는 독립 객체 컨테이너의 형태만 변형되는 것을 방지하기 위해 평면 영상에서 독립 객체 컨테이너의 위치, 형상 및 크기를 미리 정의할 수 있다. 예를 들어, 독립 객체 컨테이너는 평면 영상에서 오른쪽 상단에 위치할 수 있고, 형상은 사각형에 해당할 수 있고, 해당 사각형의 크기는 가로 8cm, 세로 6cm에 해당할 수 있다. 사용자 인터페이스 제공부(220)는 미리 정의된 독립 객체 컨테이너의 정보들을 기초로 평면 영상에 독립 객체 컨테이너를 오버레이할 수 있다.
사용자 인터페이스 제공부(220)는 구의 회전이 발생할 때마다 해당 평면 영상과 연관된 독립 객체 컨테이너와 특정 평면 영상과 비연관된 독립 객체 컨테이너를 해당 평면 영상에 디스플레이할 수 있다. 보다 구체적으로, 사용자 인터페이스 제공부(220)는 사용자 인터랙션을 직접적으로 반영하는 독립 객체를 임베딩할 수 있다.
일 실시예에서, 사용자 인터페이스 제공부(220)는 비연관된 독립 객체 컨테이너에 사용자 인터랙션을 직접적으로 반영하지 않는 디스플레이 전용 객체를 임베딩할 수 있다. 보다 구체적으로, 사용자 인터페이스 제공부(220)는 사용자 이름, 현재 시간, 포어그라운드(foreground) 객체에 관한 정보 등 사용자 인터랙션을 직접적으로 반영하지 않는 디스플레이 전용 객체를 임베딩할 수 있다.
사용자 인터페이스 제공부(220)는 해당 객체의 유형을 사전에 검출하여 해당 독립 객체 처리 규칙을 선택하고 기 정의된 양태에 따라 상기 해당 객체에 관한 표현을 조절할 수 있다. 여기에서, 객체의 유형은 동영상, 정지영상, 음악, 인터넷 링크 등에 해당한다. 보다 구체적으로, 사용자 인터페이스 제공부(220)는 검출된 독립 객체 컨테이너의 유형에 따라 독립 객체 처리 규칙을 각각 다르게 적용할 수 있고, 적용된 독립 객체 처리 규칙과 기 정의된 위치, 형상 및 크기에 에 따라 다양하게 표현할 수 있다.
객체 처리부(230)는 평면 영상에서 특정 객체 선택 요청을 수신하고, 특정 기준을 초과하지 않는 거리 내에서 구의 중심에서 가장 가까운 독립 객체를 포어그라운드에서 처리할 수 있다. 여기에서, 특정 기준은 디스플레이 장치(100)의 화면(즉, 평면 영상) 크기에 해당할 수 있다. 예를 들어, 객체 처리부(230)는 독립 객체가 비디오 영상에 해당하면 전체 화면 또는 특정 해상도 화면으로 비디오 영상을 재생할 수 있다.
사용자는 평면 영상의 복수의 독립 객체들 중 특정 객체를 객체 처리부(230)가 선택하도록 요청할 수 있고, 객체 처리부(230)는 사용자로부터 특정 객체에 관한 선택 요청을 수신할 수 있다. 예를 들어, 사용자는 독립 객체A, 독립 객체B, 독립 객체C, 독립 객체D 중에서 독립 객체C에서 특정 이벤트를 발생시킬 수 있고, 여기에서, 특정 이벤트는 사용자에 의한 복수의 방향키 조작, 사용자의 터치에 의한 객체 선택, 마우스 커서 이동 등에 해당할 수 있다. 객체 처리부(230)는 사용자에 의해 발생된 특정 이벤트 결과에 따라 특정 객체를 선택할 수 있고, 선택된 특정 객체를 포어그라운드에서 처리할 수 있다.
객체 처리부(230)는 평면 영상 중에서 디스플레이 장치(100)에서 현재 디스플레이 되고 있는 평면 영상의 크기를 기초로 특정 기준을 산출하고, 가장 가까운 독립 객체를 현재 디스플레이되고 있는 평면 영상의 중앙에서 표현할 수 있다. 보다 구체적으로, 객체 처리부(230)는 평면 영상에 독립 객체A, 독립 객체B 및 독립 객체C가 존재하는 경우, 복수의 독립 객체들 중 구의 중심부터 최소 반지름 길이를 가지는 독립 객체를 선택할 수 있다. 예를 들어, 객체 처리부(230)는 구의 중심점으로부터 반지름 길이가 3인 독립 객체A, 반지름 길이가 2.5인 독립 객체B, 반지름 길이가 5.5인 독립 객체C 중에서 반지름 길이가 짧은 독립 객체A를 포어그라운드에서 처리할 수 있다.
일 실시예에서, 객체 처리부(230)는 가장 가까운 독립 객체의 해상도와 현재 디스플레이되고 있는 평면 영상의 해상도를 비교하여 표현을 디스플레이 장치(100)의 화면 전체에 디스플레이할 수 있다. 보다 구체적으로, 객체 처리부(230)는 가장 가까운 독립 객체의 해상도가 평면 영상의 해상도보다 높거나 같을 경우에는 가장 가까운 독립 객체를 디스플레이 장치(100)의 화면 전체에 나타낼 수 있다. 예를 들어, 객체 처리부(230)는 가장 가까운 독립 객체의 해상도가 200만 화소이고 평면 영상의 해상도가 100만 화소에 해당하는 경우, 가장 가까운 독립 객체를 전체 화면을 통해 사용자에게 제공할 수 있다. 즉, 사용자 인터페이스 처리 장치(200)는 가장 가까운 독립 객체에 관한 정보를 디스플레이 장치(100)로 송신할 수 있고, 사용자는 디스플레이 장치(100)의 전제 화면을 확인할 수 있다.
제어부(240)는 사용자 인터페이스 처리 장치(200)의 전체적인 동작을 제어하고, 사용자 인터랙션 처리부(210), 사용자 인터페이스 제공부(220) 및 객체 처리부(230) 간의 제어 흐름 또는 데이터 흐름을 제어할 수 있다.
도 3은 도 1에 있는 사용자 인터페이스 처리 장치에서 수행되는 사용자 인터페이스 처리 방법을 설명하는 순서도이다.
도 3을 참조하면, 사용자 인터랙션 처리부(210)는 360도 영상으로 구성된 구에 사용자 인터랙션을 반영할 수 있다. 보다 구체적으로, 사용자 인터랙션 처리부(210)는 사용자 인터랙션이 반영된 구를 회전시키고 구의 중심점에서 구의 내면을 바라볼 때 해당 구면 영상을 평면 영상으로 변환할 수 있다(단계 S310).
사용자 인터페이스 제공부(220)는 360도 영상을 평면 영상으로 변환될 때 독립 객체를 각각 임베딩하는 적어도 하나의 독립 객체 컨테이너를 검출할 수 있다. 보다 구체적으로, 사용자 인터페이스 제공부(220)는 검출된 적어도 하나의 독립 객체 컨테이너에서 해당 독립 객체 처리 규칙에 따라 해당 객체를 각각 처리할 수 있다(단계 S320).
객체 처리부(230)는 평면 영상에서 특정 객체 선택 요청을 수신할 수 있다. 보다 구체적으로, 객체 처리부(230)는 특정 기준을 초과하지 않는 거리 내에서 구의 중심에서 가장 가까운 독립 객체를 포어그라운드에서 처리할 수 있다(단계 S330).
도 4는 도 1에 있는 디스플레이 장치를 통해 사용자 인터랙션이 반영된 구의 회전이 발생할 때마다 디스플레이되는 360도 영상을 나타내는 도면이다.
도 4a를 참조하면, 평면 영상(400)은 독립 객체 컨테이너(410)를 포함한다. 평면 영상(400)은 사용자 인터랙션 처리부(210)에 의해 360도 영상으로 구성된 구면 영상을 평면으로 변환한 영상이고, 복수의 독립 객체 컨테이너(410)들을 포함할 수 있다. 적어도 하나의 독립 객체 컨테이너(410)는 평면 영상(400)에서 하나 또는 그 이상 존재할 수 있고, 각각 다른 독립 객체들을 임베딩할 수 있다.
사용자 인터페이스 제공부(220)는 구면 영상이 평면 영상(400)으로 변환될 때 독립 객체(420)를 각각 임베딩할 수 있는 독립 객체 컨테이너(410)를 검출할 수 있다. 예를 들어, 독립 객체 컨테이너(410a)는 독립 객체A에 대해 임베딩할 수 있고, 독립 객체 컨테이너(410b)는 독립 객체B에 대해 임베딩할 수 있다.
도 4b를 참조하면, 평면 영상(400)은 독립 객체(420)를 포함한다. 보다 구체적으로, 평면 영상(400)은 독립 객체 컨테이너(410)에서 각각 임베딩되는 적어도 하나의 독립 객체(420)를 포함할 수 있다. 일 실시예에서, 객체 처리부(230)는 360도 영상으로 구성된 구의 중심에서 가장 가까운 독립 객체를 선택할 수 있다. 즉, 객체 처리부(230)는 구의 중심점에서부터 가장 가까운 독립 객체에 해당하는 독립 객체(420b)를 처리할 수 있다.
도 4c를 참조하면, 평면 영상(400)은 독립 객체 컨테이너(410)를 포함한다. 여기에서, 도 4c의 평면 영상(400)은 도 4a의 평면 영상(400)에서 사용자에 의한 복수의 방향키 조작 또는 사용자 헤드 움직임 등에 따라 이동된 위치에 해당하는 영상이다. 보다 구체적으로, 객체 처리부(230)는 사용자 헤드 움직임이 위로 변경되었을 때 독립 객체 컨테이너(410d)에서 임베딩되는 독립 객체에 해당하는 독립 객체(420d)를 처리할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10: 사용자 인터페이스 처리 시스템
100: 디스플레이 장치 200: 사용자 인터페이스 처리 장치
210: 사용자 인터랙션 처리부 220: 사용자 인터페이스 제공부
230: 객체 처리부 240: 제어부
400: 평면 영상 410: 독립 객체 컨테이너
420: 독립 객체

Claims (8)

  1. 360도 영상으로 구성된 구(sphere)에 복수의 방향키들을 통해 입력되는 사용자 인터랙션을 반영하여 상기 구를 회전시키고 상기 구의 중심점에서 상기 구의 내면을 바라볼 때 해당 구면 영상을 평면 영상으로 변환하는 사용자 인터랙션 처리부;
    상기 평면 영상으로 변환될 때 각각은 동영상에 해당하는 독립 객체를 임베딩하고 기 정의된 위치와 양태를 가져서 상기 구면 영상을 상기 평면 영상으로 변환하는 영상 워핑 연산을 수행하지 않는 적어도 하나의 독립 객체 컨테이너를 검출하고 상기 평면 영상에 상기 적어도 하나의 독립 객체 컨테이너를 오버레이하며, 상기 적어도 하나의 독립 객체 컨테이너에서 해당 독립 객체 처리 규칙에 따라 해당 객체를 각각 재생하는 사용자 인터페이스 제공부; 및
    상기 복수의 방향키들 조작에 따라 현재 위치가 변경되면 상기 평면 영상에서 특정 객체 선택 요청을 수신하고 특정 기준을 초과하지 않는 거리 내에서 상기 구의 중심에서 가장 가까운 독립 객체를 선택하고 상기 가장 가까운 독립 객체의 해상도가 상기 현재 디스플레이되고 있는 평면 영상의 해상도 이상이면 상기 독립 객체의 디스플레이 화면을 증가시켜 포어그라운드에서 재생하는 객체 처리부를 포함하는 사용자 인터페이스 처리 장치.
  2. 제1항에 있어서, 상기 사용자 인터랙션 처리부는
    상기 복수의 방향키들을 통해 상기 사용자 인터랙션이 입력되는 경우에는 상기 바라본 구의 내면에 관한 방위각과 고도각을 현재의 연산 처리량을 기초로 결정된 등속 간격으로 변경하고,
    사용자 헤드 움직임을 통해 상기 사용자 인터랙션이 입력되는 경우에는 상기 바라본 구의 내면에 관한 방위각과 고도각을 현재의 헤드 이동량을 기초로 결정된 가속 간격으로 변경하는 것을 특징으로 하는 사용자 인터페이스 처리 장치.
  3. 삭제
  4. 제1항에 있어서, 상기 사용자 인터페이스 제공부는
    상기 구의 회전이 발생할 때마다 해당 평면 영상과 연관된 독립 객체 컨테이너와 특정 평면 영상과 비연관된 독립 객체 컨테이너를 상기 해당 평면 영상에 디스플레이하는 것을 특징으로 하는 사용자 인터페이스 처리 장치.
  5. 제4항에 있어서, 상기 사용자 인터페이스 제공부는
    상기 비연관된 독립 객체 컨테이너에 상기 사용자 인터랙션을 직접적으로 반영하지 않는 디스플레이 전용 객체를 임베딩하는 것을 특징으로 하는 사용자 인터페이스 처리 장치.
  6. 제1항에 있어서, 상기 사용자 인터페이스 제공부는
    상기 해당 객체의 유형을 사전에 검출하여 상기 해당 독립 객체 처리 규칙을 선택하고 기 정의된 양태에 따라 상기 해당 객체에 관한 표현을 조절하는 것을 특징으로 하는 사용자 인터페이스 처리 장치.
  7. 제1항에 있어서, 상기 객체 처리부는
    상기 평면 영상 중에서 디스플레이 장치에서 현재 디스플레이되고 있는 평면 영상의 크기를 기초로 상기 특정 기준을 산출하고, 상기 가장 가까운 독립 객체를 상기 현재 디스플레이되고 있는 평면 영상의 중앙에서 표현하는 것을 특징으로 하는 사용자 인터페이스 처리 장치.
  8. 삭제
KR1020160113435A 2016-09-02 2016-09-02 사용자 인터페이스 처리 장치 KR101914205B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160113435A KR101914205B1 (ko) 2016-09-02 2016-09-02 사용자 인터페이스 처리 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160113435A KR101914205B1 (ko) 2016-09-02 2016-09-02 사용자 인터페이스 처리 장치

Publications (2)

Publication Number Publication Date
KR20180026271A KR20180026271A (ko) 2018-03-12
KR101914205B1 true KR101914205B1 (ko) 2018-11-01

Family

ID=61729162

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160113435A KR101914205B1 (ko) 2016-09-02 2016-09-02 사용자 인터페이스 처리 장치

Country Status (1)

Country Link
KR (1) KR101914205B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100614004B1 (ko) * 2004-11-19 2006-08-21 주식회사 일리시스 자동화된 360°파노라마 이미지 생성 방법
JP5149956B2 (ja) * 2010-11-26 2013-02-20 株式会社コナミデジタルエンタテインメント ゲームプログラム、ゲーム装置、ゲーム制御方法
KR101593123B1 (ko) 2013-05-30 2016-02-12 서영수 홍보 브이알 시스템 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100614004B1 (ko) * 2004-11-19 2006-08-21 주식회사 일리시스 자동화된 360°파노라마 이미지 생성 방법
JP5149956B2 (ja) * 2010-11-26 2013-02-20 株式会社コナミデジタルエンタテインメント ゲームプログラム、ゲーム装置、ゲーム制御方法
KR101593123B1 (ko) 2013-05-30 2016-02-12 서영수 홍보 브이알 시스템 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
잠뜰TV,"마인크래프트 속에 들어간 잠뜨으리!! [VR 게임: 마인크래프트] - VR HTC VIVE - [잠뜰]",YouTube,https://www.youtube.com/watch?v=oThOVlQtTg4,2016.06.09.*

Also Published As

Publication number Publication date
KR20180026271A (ko) 2018-03-12

Similar Documents

Publication Publication Date Title
US11475650B2 (en) Environmentally adaptive extended reality display system
US20220229534A1 (en) Coordinating cursor movement between a physical surface and a virtual surface
JP5966510B2 (ja) 情報処理システム
JP5724543B2 (ja) 端末装置、オブジェクト制御方法及びプログラム
US8253649B2 (en) Spatially correlated rendering of three-dimensional content on display components having arbitrary positions
AU2020202551A1 (en) Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor
JP5776201B2 (ja) 情報処理装置、情報共有方法、プログラム及び端末装置
CN109308205B (zh) 应用程序的显示适配方法、装置、设备及存储介质
JP5205557B2 (ja) 端末の角度に応じて互いに異なる映像情報を提供するための方法、端末およびコンピュータ読取可能な記録媒体
CN114080585A (zh) 在人工现实环境中使用外围设备的虚拟用户界面
Winkler et al. Pervasive information through constant personal projection: the ambient mobile pervasive display (AMP-D)
JP6421670B2 (ja) 表示制御方法、表示制御プログラム、及び情報処理装置
US11107287B2 (en) Information processing apparatus and information processing method
US20100100853A1 (en) Motion controlled user interface
US20120229509A1 (en) System and method for user interaction
WO2022170223A1 (en) User interactions in extended reality
CN112581571B (zh) 虚拟形象模型的控制方法、装置、电子设备及存储介质
KR20230010759A (ko) 전자 디바이스의 현재 위치를 보고 리파인하기 위한 사용자 인터페이스들
KR101914205B1 (ko) 사용자 인터페이스 처리 장치
WO2018192455A1 (zh) 一种生成字幕的方法及装置
CN111445439B (zh) 图像分析方法、装置、电子设备及介质
JP7287172B2 (ja) 表示制御装置、表示制御方法、及びプログラム
TW201413575A (zh) 互動式模擬球體顯示系統
KR20110107148A (ko) 스마트 폰의 지리정보 표시장치
TW201931064A (zh) 具有地圖索引之虛擬實境導覽方法及系統，及其相關電腦程式產品

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)