KR20180062867A - 디스플레이 장치 및 디스플레이 장치의 제어 방법 - Google Patents

디스플레이 장치 및 디스플레이 장치의 제어 방법 Download PDF

Info

Publication number
KR20180062867A
KR20180062867A KR1020160163040A KR20160163040A KR20180062867A KR 20180062867 A KR20180062867 A KR 20180062867A KR 1020160163040 A KR1020160163040 A KR 1020160163040A KR 20160163040 A KR20160163040 A KR 20160163040A KR 20180062867 A KR20180062867 A KR 20180062867A
Authority
KR
South Korea
Prior art keywords
display
indicator
panoramic image
time
dimensional map
Prior art date
Application number
KR1020160163040A
Other languages
English (en)
Other versions
KR102561274B1 (ko
Inventor
김석현
고창석
김정근
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160163040A priority Critical patent/KR102561274B1/ko
Priority to US15/827,779 priority patent/US20180158171A1/en
Publication of KR20180062867A publication Critical patent/KR20180062867A/ko
Application granted granted Critical
Publication of KR102561274B1 publication Critical patent/KR102561274B1/ko

Links

Images

Classifications

    • G06T3/12—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/0012—Context preserving transformation, e.g. by using an importance map
    • G06T3/0018—Fisheye, wide-angle transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/0062—Panospheric to cylindrical image transformation
    • G06T3/047—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H04N5/23216—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N5/275—Generation of keying signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 일 실시 예에 따른 디스플레이 장치는, 3차원 형태로 배치된 파노라마 이미지(panorama image)의 일부 영역을 표시하는 디스플레이; 및 상기 파노라마 이미지에 대응되는 3차원 맵(map)을 상기 디스플레이에 표시하고, 상기 3차원 맵에, 상기 디스플레이에 표시된 상기 파노라마 이미지의 일부 영역에 대응되는 제1 인디케이터(indicator)를 표시하도록 설정된 프로세서;를 포함할 수 있다.
이 외에도 명세서를 통해 파악되는 다양한 실시 예가 가능하다.

Description

디스플레이 장치 및 디스플레이 장치의 제어 방법{DISPLAY APPARATUS AND CONTROLLING METHOD THEREOF}
본 발명은 디스플레이에 표시되는 영역을 3차원 맵에 나타내는 디스플레이 장치 및 디스플레이 장치의 제어 방법에 관한 것이다.
가상 현실(virtual reality)은 전자 장치를 사용한 인공적인 기술로 만들어낸 실제와 유사하지만 실제가 아닌 어떤 특정한 환경이나 상황을 말한다. 사용자는 가상 현실을 통하여 감각 기관으로 느끼고, 상호 작용함으로써 실제와 유사한 감각적 체험을 할 수 있다.
가상 현실 기술은 스마트폰, 태블릿 PC 등과 같은 모바일 기기가 일반화됨으로써 다양하고 쉽게 접할 수 있다. 최근에는 웨어러블 장치(wearable device)가 상용화됨에 따라 가상 현실 기술에 관한 연구가 더욱 활발해 지고 있다.
가상 현실을 구현하기 위하여 카메라 장치는 전방위의 피사체를 일정한 각도로 분할하여 촬영하고, 이미지 처리 장치는 생성된 분할 이미지를 처리하여 전방위의 피사체를 촬영한 하나의 파노라마 이미지(panorama image)를 생성할 수 있다.
가상 현실을 구현하기 위하여 전방위의 피사체를 촬영한 파노라마 이미지를 디스플레이에 표시할 때 파노라마 이미지의 일부 영역을 디스플레이에 표시하게 되는데, 사용자는 파노라마 이미지의 영역 중 어느 영역이 디스플레이에 표시되는지 인지하기 어렵다.
파노라마 이미지의 일부 영역을 디스플레이에 표시할 때 사용자는 파노라마 이미지의 영역 중 디스플레이에 표시되지 않은 영역에 대한 정보를 알기 어렵고, 디스플레이에 표시되지 않은 영역에 주요 장면이 포함되어 있다면 이를 놓칠 수 있다.
본 발명의 다양한 실시 예는 디스플레이에 3차원 맵을 표시하여 디스플레이에 표시되는 파노라마 이미지에 대한 정보를 제공할 수 있는 디스플레이 장치 및 디스플레이 장치의 제어 방법을 제공한다.
본 발명에 따른 디스플레이 장치는, 3차원 형태로 배치된 파노라마 이미지(panorama image)의 일부 영역을 표시하는 디스플레이; 및 상기 파노라마 이미지에 대응되는 3차원 맵(map)을 상기 디스플레이에 표시하고, 상기 3차원 맵에, 상기 디스플레이에 표시된 상기 파노라마 이미지의 일부 영역에 대응되는 제1 인디케이터(indicator)를 표시하도록 설정된 프로세서;를 포함할 수 있다.
본 발명에 따른 디스플레이 장치의 제어 방법은, 3차원 형태로 배치된 파노라마 이미지(panorama image)의 일부 영역을 디스플레이에 표시하는 동작; 상기 파노라마 이미지에 대응되는 3차원 맵(map)을 상기 디스플레이에 표시하는 동작; 및 상기 3차원 맵에, 상기 디스플레이에 표시된 일부 영역에 대응되는 제1 인디케이터(indicator)를 표시하는 동작;을 포함할 수 있다.
본 발명의 디스플레이 장치는 전방위가 촬영된 파노라마 이미지의 일부 영역을 디스플레이에 표시하는 경우 파노라마 이미지에 대응되는 3차원 맵을 디스플레이에 표시하고 수평 방향뿐만 아니라 수직 방향으로 디스플레이에 표시된 파노라마 이미지의 일부 영역을 3차원 맵에 표시함으로써, 사용자가 파노라마 이미지의 영역 중 디스플레이에 표시된 영역을 쉽게 인지할 수 있다.
또한, 디스플레이 장치는 파노라마 이미지의 키 영역의 좌표를 3차원 맵에 표시하여, 사용자가 파노라마 이미지의 영역 중 디스플레이에 표시되지 않은 영역에 대한 정보를 인지할 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 본 발명의 다양한 실시 예에 따른 디스플레이 시스템을 나타낸 도면이다.
도 2는 본 발명의 다양한 실시 예에 따른 디스플레이 장치의 구성을 나타내는 블록도이다.
도 3a 및 도 3b는 본 발명의 일 실시 예에 따른 파노라마 이미지를 도시한 것이다.
도 4a 및 도 4b는 본 발명의 일 실시 예에 따른 3차원 맵에 디스플레이에 표시된 일부 영역에 대응되는 인디케이터(indicator)를 표시하는 것을 도시한 것이다.
도 5a 및 도 5b는 본 발명의 일 실시 예에 따른 3차원 맵의 제1 인디케이터를 방향키로 제어하는 과정을 도시한 것이다.
도 6a, 도 6b 및 도 6c는 본 발명의 일 실시 예에 따른 3차원 맵의 제1 인디케이터를 마우스 포인터로 제어하는 과정을 도시한 것이다.
도 7은 본 발명의 일 실시 예에 따른 키(key) 영역을 지정하는 것을 표시하는 것을 도시한 것이다.
도 8은 본 발명의 일 실시 예에 따른 3차원 맵에 파노라마 이미지의 지정된 좌표에 대응되는 인디케이터를 표시하는 것을 도시한 것이다.
도 9은 본 발명의 일 실시 예에 따른 3차원 맵의, 파노라마 이미지의 복수의 좌표에 대응되는 인디케이터를 표시하는 것을 도시한 것이다.
도 10는 본 발명의 일 실시 예에 따른 3차원 맵의 제2 인디케이터를 표시하는 형태를 도시한 것이다.
도 11은 본 발명의 다양한 실시 예에 따른 디스플레이 장치의 제어 방법을 나타내는 흐름도이다.
이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 문서에서, "가진다", "가질 수 있다", "포함한다", 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B", "A 또는/및 B 중 적어도 하나", 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B", "A 및 B 중 적어도 하나", 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성(또는 설정)된"은 하드웨어적으로 "특별히 설계된(specifically designed to)"것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성(또는 설정)된 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은 관련 기술의 문맥 상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.
도 1은 본 발명의 다양한 실시 예에 따른 디스플레이 시스템을 나타낸 도면이다.
도 1을 참조하면, 디스플레이 시스템(10)은 디스플레이 장치(100) 및 원격 제어 장치(200)를 포함할 수 있다. 디스플레이 시스템(10)은 파노라마 이미지를 디스플레이 장치(100)에 표시할 수 있다. 예를 들어, 상기 파노라마 이미지는 상기 파노라마 이미지를 촬영한 카메라 장치를 중심으로, 전방위 피사체가 촬영된 이미지일 수 있다. 상기 카메라 장치는 복수의 카메라 모듈을 포함할 수 있고, 상기 복수의 카메라 모듈은 지정된 각도에 따라 전방위 이미지를 분할하여 촬영할 수 있다. 상기 분할되어 촬영된 이미지는 서로 스티칭(stitching)되어 상기 파노라마 이미지가 될 수 있다.
일 실시 예에 따르면, 디스플레이 장치(100)는 상기 파노라마 이미지의 일부 영역을 디스플레이에 표시할 수 있다. 디스플레이 장치(100)는 사용자로부터 입력을 수신하고, 사용자 입력에 따라 상기 파노라마 이미지의 일부 영역을 디스플레이에 표시할 수 있다. 예를 들어, 디스플레이 장치(100)는 원격 제어 장치(200) 또는 디스플레이 장치(100)의 입력부를 통하여 사용자 입력을 수신하고, 상기 사용자 입력에 따라 상기 파노라마 이미지의 일부 영역을 디스플레이에 표시할 수 있다. 또 다른 예를 들어, 디스플레이 장치(100)가 HMD(head mounted display) 등과 같은 웨어러블 디바이스(wearable device)인 경우, 디스플레이 장치(100)는 사용자의 머리 방향을 감지하고, 상기 머리 방향에 따라 파노라마 이미지의 일부 영역을 디스플레이에 표시할 수 있다.
원격 제어 장치(200)는 디스플레이 장치(100)와 연결되어 사용자 입력을 디스플레이 장치(100)로 송신할 수 있다. 예를 들어, 원격 제어 장치(200)는 디스플레이 장치(100)와 블루투스, NFC 또는 IR 송수신기 등 근거리 무선 통신 인터페이스를 통하여 연결될 수 있고, 디스플레이 장치(100)로 사용자 입력을 송신할 수 있다.
디스플레이 장치(100)는 사용자의 입력에 따라 전방위 이미지의 일부 영역을 디스플레이에 표시함으로써 가상 현실(virtual reality)을 구현할 수 있다. 디스플레이 장치(100)는 파노라마 이미지의 일부 영역이 표시되기 때문에, 사용자는 파노라마 이미지의 영역 중 어느 영역이 디스플레이에 표시되는지 인지하기 어렵고, 파노라마 이미지의 영역 중 디스플레이에 표시되지 않는 영역에 대한 정보를 알기 어렵다. 이에 따라, 디스플레이 장치(100)는 사용자의 입력에 따라 파노라마 이미지 중 일부 영역을 디스플레이에 표시하는 것만으로, 사용자에게 편리한 사용자 인터페이스(UI: user interface) 및 사용자 경험(UX: user experience)을 제공하지 못한다. 본 발명의 다양한 실시 예에 따른 디스플레이 장치(100)는 파노라마 이미지에 대응되는 3차원 맵(map)을 디스플레이에 표시하여 사용자에게 파노라마 이미지에 대한 정보를 제공할 수 있다.
도 2는 본 발명의 다양한 실시 예에 따른 디스플레이 장치의 구성을 나타내는 블록도이다.
도 2를 참조하면, 디스플레이 장치(100)는 사용자 인터페이스(110), 메모리(120), 디스플레이(130) 및 프로세서(140)를 포함할 수 있다.
사용자 인터페이스(110)는 원격 제어 장치(200), 마우스(mouse), 터치 스크린(touch screen), 모션 센서(motion sensor) 등의 입력 장치를 통해 사용자 입력을 수신할 수 있다. 예를 들어, 사용자 인터페이스(110)는 파노라마 이미지의 일부 영역을 디스플레이(130)에 표시하기 위한 사용자 입력을 수신할 수 있다.
일 실시 예에 따르면, 사용자 인터페이스(100)는 3차원 맵의 인디케이터(indicator)를 제어하기 위한 사용자 입력을 수신할 수 있다. 예를 들어, 사용자 인터페이스(100)는 원격 제어 장치(200)를 통해 상기 인디케이터를 제어하기 위한 사용자 입력을 수신할 수 있다. 사용자 인터페이스(100)는 상기 사용자 입력에 따라 3차원 맵의 인디케이터를 제어하여 파노라마 이미지의 영역 중 디스플레이(140)에 표시되는 영역을 변경할 수 있다.
메모리(120)는 파노라마 이미지 및 상기 파노라마 이미지에 대한 정보를 저장할 수 있다. 예를 들어, 상기 파노라마 이미지는 스틸 이미지(still image)를 포함하는 비디오 이미지일 수 있다. 상기 스틸 이미지는 상기 파노라마 이미지의 프레임(frame)일 수 있다. 상기 파노라마 이미지에 대한 정보는 상기 파노라마 이미지의 좌표 정보 및 시간 정보 중 적어도 하나를 포함할 수 있다. 프로세서(140)는 상기 좌표 정보 및 상기 시간 정보에 기초하여 3차원 맵에 인디케이터를 표시할 수 있다. 메모리(120)는, 예를 들어, 플래시 메모리, 하드 디스크와 같은 비휘발성 메모리일 수 있다.
디스플레이(130)는 파노라마 이미지의 일부 영역을 표시할 수 있다. 예를 들어, 디스플레이(130)는 수신된 사용자 입력에 상기 파노라마 이미지의 일부 영역을 디스플레이에 표시할 수 있다.
프로세서(140)는 디스플레이 장치(100)의 전반적인 동작을 제어할 수 있다. 예를 들어, 프로세서(140)는 사용자 인터페이스(110)를 통하여 사용자 입력을 수신하고, 상기 사용자 입력에 따라 메모리(130)에 저장된 파노라마 이미지의 일부 영역을 디스플레이(130)에 표시할 수 있다.
일 실시 예에 따르면, 디스플레이 장치(100)는 적어도 하나의 프로세서(140)를 포함할 수 있다. 예를 들어, 디스플레이 장치(100)는 적어도 하나의 기능을 수행할 수 있는 복수의 프로세서(140)를 포함할 수 있다. 일 실시 예에 따르면, 프로세서(140)는 CPU(central processing unit), GPU(graphic processing unit), 메모리 등을 포함하는 SoC(system on chip)으로 구현될 수도 있다.
일 실시 예에 따르면, 프로세서(140)는 디스플레이(130)에 파노라마 이미지에 대응되는 3차원 맵을 표시할 수 있다. 예를 들어, 프로세서(140)는 상기 3차원 맵에 파노라마 이미지의 영역 중 디스플레이(130)에 표시되는 영역을 나타낼 수 있다. 다른 예를 들어, 프로세서(140)는 상기 3차원 맵에 파노라마 이미지의 특정 좌표를 나타낼 수 있다.
도 3a 및 도 3b는 본 발명의 일 실시 예에 따른 파노라마 이미지를 도시한 것이다.
도 3a 및 도 3b를 참조하면, 파노라마 이미지(300)는 파노라마 이미지(300)를 촬영한 카메라 장치를 중심으로 전방위 피사체가 촬영된 이미지일 수 있다. 예를 들어, 파노라마 이미지(300)는 분할하여 촬영된 복수의 이미지가 스티칭되어 2차원 형태로 배치된 파노라마 이미지(300)를 형성하고, 상기 2차원 형태로 배치된 파노라마 이미지(300)는 3차원 형태로 배치된 파노라마 이미지(300)로 변경될 수 있다. 파노라마 이미지(300)는, 예를 들어, 파노라마 이미지(300)의 촬영 지점(310)을 중심으로 구면에 배치될 수 있다.
일 실시 예에 따르면, 디스플레이 장치(200)의 프로세서(140)는 파노라마 이미지(300)의 일부 영역(320)을 디스플레이(130)에 표시할 수 있다. 예를 들어, 프로세서(140)는 사용자 인터페이스(110)를 통하여 수신된 사용자 입력에 따라 상기 3차원에 배치된 파노라마 이미지(300)의 일부 영역(320)을 디스플레이(130)에 표시할 수 있다.
도 4a 및 도 4b는 본 발명의 일 실시 예에 따른 3차원 맵에 디스플레이에 표시된 일부 영역에 대응되는 인디케이터(indicator)를 표시하는 것을 도시한 것이다.
도 4a를 참조하면, 디스플레이(130)에 표시된 화면(400)은 표시 이미지(410) 및 3차원 맵(420)을 포함할 수 있다. 디스플레이 장치(200)의 프로세서(140)는 파노라마 이미지(300)의 일부 영역(320) 및 3차원 맵(420)을 디스플레이(130)에 표시할 수 있다.
표시 이미지(410)는 사용자의 입력에 따라 선택된 파노라마 이미지(300)의 일부 영역(310)일 수 있다. 디스플레이 장치(200)의 프로세서(140)는 사용자의 입력에 따라 파노라마 이미지(300)의 일부 영역(310)을 디스플레이(130)에 표시할 수 있다.
3차원 맵(420)은 3차원 형태로 배치된 파노라마 이미지(300)에 대응된 형태일 수 있다. 예를 들어, 3차원 맵(420)은 구면에 배치된 파노라마 이미지(300)에 대응된 구 형태일 수 있다.
일 실시 예에 따르면, 3차원 맵(420)의 사용자 시점(421)은 파노라마 이미지(300)의 촬영 지점(310)과 대응될 수 있다. 예를 들어, 사용자 시점(421)은 3차원 맵(420)의 중심에 위치할 수 있고, 상기 3차원 맵(420)의 중심은 파노라마 이미지(300)의 중심과 대응될 수 있다.
일 실시 예에 따르면, 3차원 맵(420)은 표시 이미지(410)를 나타내기 위한 제1 인디케이터(423)를 포함할 수 있다. 제1 인디케이터(423)는 디스플레이(130)에 표시된 파노라마 이미지(300)의 일부 영역(310)에 대응될 수 있다. 예를 들어, 제1 인디케이터(423)는 디스플레이(130)에 표시된 일부 영역에 대응되는 3차원 맵(420)의 일부 영역에 표시될 수 있다. 3차원 맵(420)의 전체 영역은 파노라마 이미지(300)와 대응되고, 제1 인디케이터(423)는 파노라마 이미지(300)의 영역 중 디스플레이(130)에 표시된 영역의 크기에 비례하여 3차원 맵(420)의 일부 영역에 표시될 수 있다. 이에 따라, 3차원 맵(420)의 제1 인디케이터(423)는, 사용자의 입력에 따라 표시 이미지(410)가 변경되면 표시 이미지(410)에 대응되게 크기, 모양, 위치 등이 변경될 수 있다.
일 실시 예에 따르면, 3차원 맵(420)의 제1 인디케이터(423)는 지정된 방식에 따라 3차원 맵(420)에 표시되는 위치가 결정될 수 있다. 예를 들어, 제1 인디케이터(423)는 파노라마 이미지(300)의 좌표를 기준으로 3차원 맵(420)에 표시되는 위치가 결정될 수 있다. 다른 예를 들어, 제1 인디케이터(423)는 3차원 맵(420)에 처음 표시되는 위치를 기준으로 3차원 맵(420)에 표시되는 위치가 결정될 수 있다.
일 실시 예에 따르면, 3차원 맵(420)은 주요한 각도에 표시된 가이드 선을 포함할 수 있다. 예를 들어, 상기 가이드 선은 수평 및 수직 방향의 위치를 나타낼 수 있는 가로선 및 세로선을 포함할 수 있다. 이에 따라, 3차원 맵(420)에 제1 인디케이터(423)가 표시되었을 때, 제1 인디케이터(423)의 위치가 명확하게 표시될 수 있다.
일 실시 예에 따르면, 디스플레이 장치(200)의 프로세서(140)는 사용자 인터페이스(110)를 통하여 수신된 사용자 입력에 따라 제1 인디케이터(423)를 제어하여 디스플레이(130)에 표시되는 이미지를 변경할 수 있다. 예를 들어, 프로세서(140)는 제1 인디케이터(423)의 위치, 크기 및 모양 중 적어도 하나를 변경하여 디스플레이(130)에 표시되는 이미지를 변경할 수 있다.
일 실시 예에 따르면, 프로세서(140)는 제1 인디케이터(423)의 위치를 제어하여 디스플레이(130)에 표시되는 이미지를 변경할 수 있다.
도 5a 및 도 5b는 본 발명의 일 실시 예에 따른 3차원 맵의 제1 인디케이터의 위치를 방향키로 제어하는 과정을 도시한 것이다.
도 5a 및 도 5b를 참조하면, 프로세서(140)는 방향 키(예: 원격 제어 장치(200)의 방향 키)를 통하여 입력된 사용자 입력을 수신하고, 상기 사용자 입력에 따라 3차원 맵(500)의 제1 인디케이터(520)의 위치를 제어할 수 있다. 예를 들어, 프로세서(140)는 상기 사용자의 입력에 따라 제1 인디케이터(520)의 위치를 3차원 맵(500)의 사용자 시점(510)을 중심으로 제1 위치(A)에서 제2 위치(B)로 이동시킬 수 있다. 이에 따라, 디스플레이(130)에 표시되는 이미지는 파노라마 이미지(300)의 영역 중 제1 위치(A)의 제1 인디케이터(520)에 대응되는 영역의 이미지에서 제2 위치(B)의 제1 인디케이터(520)에 대응되는 이미지로 변경될 수 있다.
도 6a, 도 6b 및 도 6c는 본 발명의 일 실시 예에 따른 3차원 맵의 제1 인디케이터를 마우스 포인터로 제어하는 과정을 도시한 것이다.
도 6a, 도 6b 및 도 6c를 참조하면, 프로세서(140)는 마우스 포인터(630)를 이용하여 입력된 사용자 입력을 수신하고, 상기 사용자 입력에 따라 3차원 맵(600)의 제1 인디케이터(620)의 위치를 제어할 수 있다. 예를 들어, 사용자는 마우스 포인터(630)를 이용하여 제1 인디케이터(620)를 3차원 맵(600)의 원하는 위치로 드래그(drag)할 수 있다.
일 실시 예에 따르면, 제1 인디케이터(620)는 3차원 맵(600)의 사용자 시점(610)을 중심으로 제1 위치(A)(예: 3차원 맵(600)의 후면(또는 정면))에서 제2 위치(B)(예: 3차원 맵(600)의 측면)로 드래그될 수 있다. 예를 들어, 사용자는 마우스 포인터(630)를 3차원 맵(600)의 내부에서 제1 방향(a)으로 이동시킬 수 있고, 제1 인디케이터(620)는 제1 방향(a)과 유사한 방향(a´)으로 드래그 되어 제2 위치(B)로 이동될 수 있다.
일 실시 예에 따르면, 제1 인디케이터(620)는 3차원 맵(600)의 사용자 시점(610)을 중심으로 제2 위치(B)(예: 3차원 맵(600)의 측면)에서 제3 위치(C)(예: 3차원 맵(600)의 전면(또는 후면))로 드래그될 수 있다. 예를 들어, 사용자는 마우스 포인터(630)를 3차원 맵(600)의 내부에서 외부로 향하는 제2 방향(b)으로 이동시킬 수 있고, 제1 인디케이터(620)는 제2 방향(b)과 상이한 방향(c)으로 드래그 되어 제3 위치(C)로 이동될 수 있다.
이에 따라, 디스플레이(130)의 화면에서 3차원 맵(600)의 전면 및 후면이 동일한 픽셀에 표시되므로, 프로세서(140)는 마우스 포인터(630)가 내부에서 외부로 이동하는지 여부를 고려하여 제1 인디케이터(620)가 3차원 맵(600)의 전면에서 후면으로(또는 후면에서 전면으로) 드래그되는지 판단할 수 있다.
일 실시 예에 따르면, 프로세서(140)는 제1 인디케이터(423)의 크기를 제어하여 디스플레이(130)에 표시되는 이미지를 변경할 수 있다. 예를 들어, 프로세서(140)는 제1 인디케이터(423)의 크기를 제어하는 사용자 입력을 수신하고, 상기 사용자 입력에 따라 제1 인디케이터(423)의 크기를 증가 또는 감소시킬 수 있다. 이에 따라, 디스플레이(130)에 표시되는 이미지는 파노라마 이미지(300)의 영역 중 크기가 변경되기 전의 제1 인디케이터(423)에 대응되는 영역의 이미지에서 크기가 변경된 후의 제1 인디케이터(423)에 대응되는 영역의 이미지로 변경될 수 있다.
일 실시 예에 따르면, 프로세서(140)는 제1 인디케이터(423)의 모양을 제어하여 디스플레이(130)에 표시되는 이미지를 변경할 수 있다. 예를 들어, 프로세서(140)는 제1 인디케이터(423)의 모양을 제어하는 사용자 입력을 수신하고, 상기 사용자 입력에 따라 제1 인디케이터(423)의 모양을 변경(예 : 정사각형에서 직사각형으로 변경)할 수 있다. 이에 따라, 디스플레이(130)에 표시되는 이미지는 파노라마 이미지(300)의 영역 중 모양이 변경되기 전의 제1 인디케이터(423)에 대응되는 영역의 이미지에서 모양이 변경된 후의 제1 인디케이터(423)에 대응되는 영역의 이미지로 변경될 수 있다.
도 7 및 도 8은 본 발명의 일 실시 예에 따른 3차원 맵에 파노라마 이미지의 지정된 좌표에 대응되는 인디케이터를 표시하는 것을 도시한 것이다.
도 7을 참조하면, 파노라마 이미지(700)는 전방위 피사체가 촬영된 이미지일 수 있고, 3차원 형태로 배치될 수 있다. 디스플레이 장치(200)의 프로세서(140)는 사용자 입력에 따라 파노라마 이미지(700)의 일부 영역(710)을 디스플레이(130)에 표시할 수 있다.
일 실시 예에 따르면, 파노라마 이미지(700)는 키(key) 영역의 지정된 좌표(720)를 포함할 수 있다. 예를 들어, 상기 키 영역은 파노라마 이미지(700)의 영역 중 사용자 등이 디스플레이(130)에 표시하기를 원하는 영역일 수 있다.
일 실시 예에 따르면, 지정된 좌표(720)에 대한 정보는 파노라마 이미지(700)에 대한 정보에 포함될 수 있다. 예를 들어, 파노라마 이미지(700)의 촬영자, 사용자 등은 특정한 좌표를 지정할 수 있고, 지정된 좌표(720)에 대한 정보는 상기 파노라마 이미지(700)에 대한 정보에 포함되어 저장될 수 있다.
일 실시 예에 따르면, 디스플레이 장치(100)의 프로세서(140)는 파노라마 이미지를 분석하여 지정된 조건을 만족하는 지정된 좌표(720)를 확인할 수 있다. 예를 들어, 상기 지정된 조건은 상기 파노라마 이미지(700) 중 지정된 객체(예: 사람)가 인식되는 것일 수 있다. 상기 지정된 객체가, 예를 들어, 사람인 경우 프로세서(140)는 사람의 안면을 인식하여 지정된 좌표(720)를 확인할 수 있다. 다른 예를 들어, 상기 지정된 조건은 파노라마 이미지(700)가 비디오 이미지인 경우 지정된 시간동안 파노라마 이미지(700)의 지정된 수의 픽셀의 픽셀 값이 변경되는 것일 수 있다.
도 8을 참조하면, 3차원 맵(800)은 3차원 형태로 배치된 파노라마 이미지(700)에 대응된 형태일 수 있다. 3차원 맵(800)의 사용자 시점(810)은 파노라마 이미지(700)의 촬영 지점에 대응될 수 있다. 3차원 맵(800)의 제1 인디케이터(820)는 디스플레이(130)에 표시된 파노라마 이미지(700)의 일부 영역(710)에 대응될 수 있다.
일 실시 예에 따르면, 디스플레이 장치(200)의 프로세서(140)는 3차원 맵(800)의, 파노라마 이미지(700)의 지정된 좌표(720)에 대응되는 위치에 제2 인디케이터(830)를 표시할 수 있다. 예를 들어, 프로세서(140)는 3차원 맵(800)의, 파노라마 이미지(700)에 대한 정보에 포함되어 있는 지정된 좌표 정보에 대응되는 위치에 제2 인디케이터(830)을 표시할 수 있다. 다른 예를 들어, 프로세서(140)는 파노라마 이미지(700)를 분석하여 지정된 조건을 만족하는 지정된 좌표(720)를 확인하고, 3차원 맵(800)의, 상기 지정된 좌표(720)에 대응되는 위치에 제2 인디케이터(830)을 표시할 수 있다. 이에 따라, 프로세서(140)는 상기 키 영역에 대한 정보를 3차원 맵(800)에 표시하여 사용자에게 제공할 수 있다.
일 실시 예에 따르면, 프로세서(140)는 사용자 인터페이스(110)를 통하여 제2 인디케이터(830)에 대한 입력이 수신되면, 파노라마 이미지(700)의 영역 중 제2 인디케이터(830)에 대응되는 좌표를 포함하는 영역(예: 키 영역)을 디스플레이(130)에 표시할 수 있다. 예를 들어, 상기 제2 인디케이터(830)에 대한 입력은 제1 인디케이터(820)의 위치를 3차원 맵의 제2 인디케이터(830)가 포함된 영역으로 변경하여 디스플레이(130)에 표시된 이미지를 변경하기 위한 입력일 수 있다. 상기 제2 인디케이터(830)에 대한 입력은, 예를 들어, 원격 제어 장치(200)를 통하여 입력될 수 있다. 이에 따라, 프로세서(140)는 파노라마 이미지(700)의 키 영역을 디스플레이(130)에 신속하게 표시하여 사용자에게 제공할 수 있다.
도 9은 본 발명의 일 실시 예에 따른 3차원 맵의, 파노라마 이미지의 복수의 좌표에 대응되는 인디케이터를 표시하는 것을 도시한 것이다.
도 9를 참조하면, 3차원 맵(900)은 파노라마 이미지에 대응된 형태일 수 있다. 3차원 맵(900)의 사용자 시점(910)은 상기 파노라마 이미지의 촬영 지점에 대응될 수 있다. 3차원 맵(900)의 제1 인디케이터(920)는 디스플레이(130)에 표시된 상기 파노라마 이미지의 일부 영역에 대응될 수 있다.
일 실시 예에 따르면, 디스플레이 장치(200)의 프로세서(140)는 3차원 맵(900)의, 상기 파노라마 이미지의 복수의 지정된 좌표에 대응되는 위치에 복수의 제2 인디케이터(930)를 표시할 수 있다. 예를 들어, 상기 파노라마 이미지에 대한 정보는 복수의 지정된 좌표 정보를 포함할 수 있다. 다른 예를 들어, 프로세서(140)는 파노라마 이미지를 분석하여 지정된 조건을 만족하는 상기 복수의 지정된 좌표를 확인할 수 있다.
일 실시 예에 따르면, 프로세서(140)는 사용자 인터페이스(110)를 통하여 제2 인디케이터(930)에 대한 입력이 수신되면, 파노라마 이미지의 영역 중 복수의 제2 인디케이터(930)에 대응되는 좌표를 각각 포함하는 복수의 영역을 디스플레이(130)에 순차적으로 표시할 수 있다. 예를 들어, 프로세서(140)는 파노라마 이미지의 제1 인디케이터(920)가 표시된 영역으로부터 제2 인디케이터(930)까지의 거리 순서에 따라서 순차적으로, 파노라마 이미지의 영역 중 제2 인디케이터(390)에 대응되는 좌표를 각각 포함하는 복수의 영역을 디스플레이(130)에 표시할 수 있다. 다른 예를 들어, 프로세서(140)는 파노라마 이미지의 제1 인디케이터(920)를 기준으로 지정된 평면에서 시계 방향 또는 반시계 방향에 따라서 순차적으로, 복수의 제2 인디케이터(930)를 파노라마 이미지의 영역 중 제2 인디케이터(390)에 대응되는 좌표를 각각 포함하는 복수의 영역을 디스플레이(130)에 표시할 수 있다. 이에 따라, 프로세서(140)는 파노라마 이미지의 복수의 키 영역을 디스플레이(130)에 신속하게 표시하여 사용자에게 제공할 수 있다.
도 10는 본 발명의 일 실시 예에 따른 3차원 맵의 제2 인디케이터를 표시하는 형태를 도시한 것이다.
도 10을 참조하면, 파노라마 이미지는 비디오 이미지일 수 있고, 복수의 스틸 이미지를 포함할 수 있다. 상기 파노라마 이미지는 키 영역의 지정된 좌표를 포함할 수 있고, 디스플레이 장치(200)의 프로세서(140)는 상기 파노라마 이미지의 지정된 좌표에 제1 시간(t1)에서 제2 시간(t2)까지 제2 인디케이터를 표시할 수 있다.
일 실시 예에 따르면, 프로세서(420)는 제1 시간(t1)보다 빠른 제3 시간(t3)부터 상기 제2 인디케이터를 표시할 수 있다. 예를 들어, 제3 시간(t3)은 제1 시간(t1)으로부터 지정된 시간(ts) 이전의 시간(t1 - ts)일 수 있다. 예를 들어, 상기 지정된 시간(ts)은 사용자의 입력으로 파노라마 이미지의 영역 중 제2 인디케이터에 대응되는 좌표를 포함하는 영역을 디스플레이(130)에 표시하기 위한 시간을 고려하여 정해질 수 있다.
일 실시 예에 따르면, 프로세서(140)는 제3 시간(t3)부터 제1 시간(t1)까지 제2 인디케이터를 3차원 맵에 표시할 때, 상기 제2 인디케이터의 투명도, 크기, 표시 주기, 색상 및 모양 중 적어도 하나를 변경하여 표시할 수 있다. 예를 들어, 프로세서(140)는 제1 시간(t1)에 가까워 질수록 상기 제2 인디케이터의 투명도를 높일 수 있다(a). 다른 예를 들어, 프로세서(140)는 제1 시간(t1)에 가까워 질수록 상기 제2 인디케이터의 크기를 크게 할 수 있다(b). 또 다른 예를 들어, 프로세서(140)는 제1 시간(t1)에 가까워 질수록 상기 제2 인디케이터의 모양을 주기적으로 변경할 수 있다(c).
일 실시 예에 따르면, 프로세서(140)는 제2 시간(t2)보다 빠르고 제1 시간(t1)보다 느린 제4 시간(t4)부터 상기 제2 인디케이터의 투명도, 크기, 표시 주기, 색상 및 모양 중 적어도 하나를 변경하여 표시할 수 있다. 예를 들어, 프로세서(140)는 제2 시간(t2)에 가까워 질수록 상기 제2 인디케이터의 투명도를 낮출 수 있다(a). 다른 예를 들어, 프로세서(140)는 제2 시간(t2)에 가까워 질수록 상기 제2 인디케이터의 크기를 작게할 수 있다(b). 또 다른 예를 들어, 프로세서(140)는 제2 시간(t2)에 가까워 질수록 상기 제2 인디케이터의 모양을 주기적으로 변경할 수 있다(c).
일 실시 예에 따르면, 프로세서(140)는 서로 다른 시간에 표시되기 시작하는 복수의 상기 제2 인디케이터를 3차원 맵에 표시할 수 있다. 프로세서(140)는 사용자 인터페이스(100)를 통하여 상기 제2 인디케이터에 대한 입력이 수신되면, 파노라마 이미지 영역 중 상기 복수의 제2 인디케이터에 대응되는 좌표를 각각 포함하는 복수의 영역을 디스플레이(130)에 순차적으로 표시할 수 있다. 예를 들어, 프로세서(140)는 상기 제2 인디케이터의 표시가 시작되는 시간의 순서에 따라, 파노라마 이미지의 영역 중 상기 복수의 제2 인디케이터에 대응되는 좌표를 각각 포함하는 복수의 영역을 디스플레이(130)에 순차적으로 표시할 수 있다.
이에 따라, 프로세서(140)는 제2 인디케이터의 표시 시간 및 제2 인디케이터 종료되는 시간 중 적어도 하나를 3차원 맵에 표시함으로써 제2 인디케이터의 표시 시간에 대한 알림을 사용자에게 제공하고, 파노라마 이미지의 복수의 키 영역을 디스플레이(130)에 신속하게 표시하여 사용자에게 제공할 수 있다.
도 1 내지 도 10을 참조하여 설명한 본 발명의 다양한 실시 예에 따르면, 디스플레이 장치(100)는 전방위가 촬영된 파노라마 이미지의 일부 영역을 디스플레이(130)에 표시하는 경우 파노라마 이미지에 대응되는 3차원 맵을 디스플레이에 표시하고 수평 방향뿐만 아니라 수직 방향으로 디스플레이(130)에 표시된 파노라마 이미지의 일부 영역을 3차원 맵에 표시함으로써, 사용자가 파노라마 이미지의 영역 중 디스플레이(130)에 표시된 영역을 쉽게 인지할 수 있다.
또한, 디스플레이 장치(100)는 파노라마 이미지의 키 영역의 좌표를 3차원 맵에 표시하여, 사용자가 파노라마 이미지의 영역 중 디스플레이(130)에 표시되지 않은 영역에 대한 정보를 인지할 수 있다.
도 11은 본 발명의 다양한 실시 예에 따른 디스플레이 장치의 제어 방법을 나타내는 흐름도이다.
도 11에 도시된 흐름도는 상술한 디스플레이 장치(100)에서 처리되는 동작들로 구성될 수 있으며, 3차원 맵을 디스플레이(130)에 표시하기 위한 디스플레이 장치(100)의 제어 방법을 나타낸다. 따라서, 이하에서 생략된 내용이라 하더라도 도 1 내지 도 10을 참조하며 디스플레이 장치(200)에 관하여 기술된 내용은 도 11에 도시된 흐름도에서 적용될 수 있다.
일 실시 예에 따르면, 1010 동작에서, 디스플레이 장치(100)는 파노라마 이미지의 일부 영역을 디스플레이(130)에 표시할 수 있다. 예를 들어, 디스플레이 장치(100)는 사용자 입력을 수신하고, 상기 사용자 입력에 따라 상기 파노라마 이미지의 일부 영역을 디스플레이(130)에 표시할 수 있다.
일 실시 예에 따르면, 1020 동작에서, 디스플레이 장치(100)는 3차원 맵을 디스플레이(130)에 표시할 수 있다. 예를 들어, 디스플레이 장치(100)는 상기 파노라마 이미지에 대응되는 상기 3차원 맵을 디스플레이(130)에 표시할 수 있다.
일 실시 예에 따르면, 1030 동작에서, 디스플레이 장치(100)는 3차원 맵에 제1 인디케이터를 표시할 수 있다. 예를 들어, 디스플레이 장치(100)는 디스플레이(130)에 표시된 파노라마 이미지의 일부 영역에 대응되는 상기 제1 인디케이터를 상기 3차원 맵에 표시할 수 있다.
일 실시 예에 따르면, 1040 동작에서, 디스플레이 장치(100)는 3차원 맵에 제2 인디케이터를 표시할 수 있다. 디스플레이 장치(100)는 파노라마 이미지의 키 영역의 지정된 좌표에 대응되는 위치에 상기 제2 인디케이터를 표시할 수 있다. 예를 들어, 디스플레이 장치(100)는 상기 파노라마 이미지에 대한 정보에 포함된 지정된 좌표 정보에 대응되는 위치에 상기 제2 인디케이터를 표시할 수 있다. 다른 예를 들어, 디스플레이 장치(100)는 파노라마 이미지를 분석하여 지정된 조건을 만족하는 상기 지정된 좌표를 확인하고, 상기 지정된 좌표에 대응되는 위치에 상기 제2 인디케이터를 표시할 수 있다. 디스플레이 장치(100)는 상기 제2 인디케이터를 제1 시간(t1)부터 제2 시간(t2)까지 상기 제2 인디케이터를 표시할 수 있다.
일 실시 예에 따르면, 1050 동작에서, 디스플레이 장치(100)는 제2 인디케이터에 대한 입력을 수신할 수 있다. 예를 들어, 디스플레이 장치(100)는 디스플레이(130)에 표시된 이미지를 변경하기 위한 상기 제2 인디케이터에 대한 입력을 수신할 수 있다.
일 실시 예에 따르면, 1160 동작에서, 디스플레이 장치(100)는 파노라마 이미지의 영역 중 제2 인디케이터에 대응되는 좌표를 포함하는 영역을 디스플레이(130)에 표시할 수 있다.
본 문서에서 사용된 용어 "모듈"은, 예를 들면, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. "모듈"은, 예를 들면, 유닛(unit), 로직(logic), 논리 블록(logical block), 부품(component), 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. "모듈"은, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면, "모듈"은, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
다양한 실시 예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그램 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서(예: 프로세서(140))에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 메모리(130)이 될 수 있다.
컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(magnetic media)(예: 자기테이프), 광기록 매체(optical media)(예: CD-ROM, DVD(Digital Versatile Disc), 자기-광 매체(magneto-optical media)(예: 플롭티컬 디스크(floptical disk)), 하드웨어 장치(예: ROM, RAM, 또는 플래시 메모리 등) 등을 포함할 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 다양한 실시 예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
다양한 실시 예에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 다양한 실시 예에 따른 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
그리고 본 문서에 개시된 실시 예는 개시된, 기술 내용의 설명 및 이해를 위해 제시된 것이며, 본 발명의 범위를 한정하는 것은 아니다. 따라서, 본 문서의 범위는, 본 발명의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시 예를 포함하는 것으로 해석되어야 한다.

Claims (20)

  1. 디스플레이 장치에 있어서,
    3차원 형태로 배치된 파노라마 이미지(panorama image)의 일부 영역을 표시하는 디스플레이; 및
    상기 파노라마 이미지에 대응되는 3차원 맵(map)을 상기 디스플레이에 표시하고, 상기 3차원 맵에, 상기 디스플레이에 표시된 상기 파노라마 이미지의 일부 영역에 대응되는 제1 인디케이터(indicator)를 표시하도록 설정된 프로세서;를 포함하는 디스플레이 장치.
  2. 제1 항에 있어서,
    상기 파노라마 이미지는 구면에 배치되고,
    상기 3차원 맵은 구 형태인 디스플레이 장치.
  3. 제1 항에 있어서,
    상기 제1 인디케이터는 상기 디스플레이에 표시된 일부 영역에 대응되는 상기 3차원 맵의 일부 영역에 표시된 디스플레이 장치.
  4. 제1 항에 있어서,
    사용자 입력을 수신하는 사용자 인터페이스를 더 포함하고,
    상기 프로세서는,
    상기 사용자 인터페이스를 통하여 수신된 상기 사용자 입력에 따라 상기 제1 인디케이터의 크기, 모양 및 위치 중 적어도 하나를 변경하여 상기 디스플레이에 표시되는 이미지를 변경하도록 설정된 디스플레이 장치.
  5. 제1 항에 있어서,
    상기 프로세서는,
    상기 3차원 맵의, 상기 파노라마 이미지의 지정된 좌표에 대응되는 위치에 제2 인디케이터를 표시하도록 설정된 디스플레이 장치.
  6. 제5 항에 있어서,
    상기 프로세서는,
    상기 3차원 맵의, 상기 파노라마 이미지에 대한 정보에 포함된 지정된 좌표 정보에 대응되는 위치에 상기 제2 인디케이터를 표시하도록 설정된 디스플레이 장치.
  7. 제5 항에 있어서,
    상기 프로세서는,
    상기 파노라마 이미지를 분석하여 지정된 조건을 만족하는 상기 지정된 좌표를 확인하고, 상기 3차원 맵의, 상기 지정된 좌표에 대응되는 위치에 상기 제2 인디케이터를 표시하도록 설정된 디스플레이 장치.
  8. 제7 항에 있어서,
    상기 지정된 조건은 지정된 시간동안 상기 파노라마 이미지의 지정된 수의 픽셀의 픽셀 값이 변경되거나, 상기 파노라마 이미지에서 지정된 객체가 인식되는 것인 디스플레이 장치.
  9. 제5 항에 있어서,
    사용자 입력을 수신하는 사용자 인터페이스를 더 포함하고,
    상기 프로세서는,
    상기 사용자 인터페이스를 통하여 상기 제2 인디케이터에 대한 사용자 입력이 수신되면, 상기 파노라마 이미지의 영역 중 상기 제2 인디케이터에 대응되는 좌표를 포함하는 영역을 상기 디스플레이에 표시하도록 설정된 디스플레이 장치.
  10. 제5 항에 있어서,
    상기 프로세서는,
    상기 파노라마 이미지에 대한 정보에 포함된 지정된 시간 정보에 기초하여 제1 시간부터 제2 시간까지 상기 제2 인디케이터를 표시하도록 설정된 디스플레이 장치.
  11. 제10 항에 있어서,
    상기 프로세서는,
    상기 제1 시간보다 빠른 제3 시간부터 상기 제1 시간까지 제2 인디케이터를 표시하고,
    상기 제3 시간부터 상기 제1 시간 동안 상기 제2 인디케이터의 투명도, 크기 표시 주기, 색상 및 모양 중 적어도 하나를 변경하여 표시하도록 설정된 디스플레이 장치.
  12. 제10 항에 있어서,
    상기 프로세서는,
    상기 제2 시간보다 빠르고 상기 제1 시간보다 느린 제4 시간으로부터 상기 제2 시간 동안 상기 제2 인디케이터의 투명도, 크기 표시 주기, 색상 및 모양 중 적어도 하나를 변경하도록 설정된 디스플레이 장치.
  13. 디스플레이 장치의 제어 방법에 있어서,
    3차원 형태로 배치된 파노라마 이미지(panorama image)의 일부 영역을 디스플레이에 표시하는 동작;
    상기 파노라마 이미지에 대응되는 3차원 맵(map)을 상기 디스플레이에 표시하는 동작; 및
    상기 3차원 맵에, 상기 디스플레이에 표시된 일부 영역에 대응되는 제1 인디케이터(indicator)를 표시하는 동작;을 포함하는 방법.
  14. 제13 항에 있어서,
    상기 3차원 맵의, 상기 파노라마 이미지의 지정된 좌표에 대응되는 위치에 제2 인디케이터를 표시하는 동작;을 더 포함하는 방법.
  15. 제14 항에 있어서,
    상기 제2 인디케이터를 표시하는 동작은,
    상기 3차원 맵의, 상기 파노라마 이미지에 대한 정보에 포함된 지정된 좌표 정보에 대응되는 위치에 상기 제2 인디케이터를 표시하는 동작;을 포함하는 방법.
  16. 제14 항에 있어서,
    상기 제2 인디케이터를 표시하는 동작은,
    상기 파노라마 이미지를 분석하여 지정된 조건을 만족하는 상기 지정된 좌표를 확인하는 동작; 및
    상기 3차원 맵의, 상기 지정된 좌표에 대응되는 위치에 상기 제2 인디케이터를 표시하는 동작;을 포함하는 방법.
  17. 제14 항에 있어서,
    사용자 인터페이스를 통하여 상기 제2 인디케이터에 대한 사용자 입력을 수신하는 동작; 및
    상기 파노라마 이미지의 영역 중 상기 제2 인디케이터에 대응되는 좌표를 포함하는 영역을 상기 디스플레이에 표시하는 동작;을 더 포함하는 방법.
  18. 제14 항에 있어서,
    상기 제2 인디케이터를 표시하는 동작은,
    상기 파노라마 이미지에 대한 정보에 포함된 지정된 시간 정보에 기초하여 제1 시간부터 제2 시간까지 상기 제2 인디케이터를 표시하는 동작;을 포함하는 방법.
  19. 제18 항에 있어서,
    상기 제2 인디케이터를 표시하는 동작은,
    상기 제1 시간보다 빠른 제3 시간부터 상기 제1 시간까지 제2 인디케이터를 표시하고, 상기 제3 시간부터 상기 제 시간 동안 상기 제2 인디케이터의 투명도, 크기 표시 주기, 색상 및 모양 중 적어도 하나를 변경하여 표시하는 동작;을 포함하는 방법.
  20. 제18 항에 있어서,
    상기 제2 인디케이터를 표시하는 동작은,
    상기 제2 시간보다 빠르고 상기 제1 시간보다 느린 제4 시간으로부터 상기 제2 시간 동안 상기 제2 인디케이터의 투명도, 크기 표시 주기, 색상 및 모양 중 적어도 하나를 변경하는 동작을 포함하는 방법.
KR1020160163040A 2016-12-01 2016-12-01 디스플레이 장치 및 디스플레이 장치의 제어 방법 KR102561274B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160163040A KR102561274B1 (ko) 2016-12-01 2016-12-01 디스플레이 장치 및 디스플레이 장치의 제어 방법
US15/827,779 US20180158171A1 (en) 2016-12-01 2017-11-30 Display apparatus and controlling method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160163040A KR102561274B1 (ko) 2016-12-01 2016-12-01 디스플레이 장치 및 디스플레이 장치의 제어 방법

Publications (2)

Publication Number Publication Date
KR20180062867A true KR20180062867A (ko) 2018-06-11
KR102561274B1 KR102561274B1 (ko) 2023-07-31

Family

ID=62244021

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160163040A KR102561274B1 (ko) 2016-12-01 2016-12-01 디스플레이 장치 및 디스플레이 장치의 제어 방법

Country Status (2)

Country Link
US (1) US20180158171A1 (ko)
KR (1) KR102561274B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
US10861359B2 (en) * 2017-05-16 2020-12-08 Texas Instruments Incorporated Surround-view with seamless transition to 3D view system and method
US10649638B2 (en) * 2018-02-06 2020-05-12 Adobe Inc. Immersive media content navigation and editing techniques
US11259081B2 (en) 2020-02-28 2022-02-22 Rovi Guides, Inc. Systems and methods for adaptively modifying presentation of media content

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100122208A1 (en) * 2007-08-07 2010-05-13 Adam Herr Panoramic Mapping Display
US20140045484A1 (en) * 2012-08-10 2014-02-13 Samsung Electronics Co., Ltd. Portable terminal device and method for operating the same
JP2014131215A (ja) * 2012-12-28 2014-07-10 Ricoh Co Ltd 画像管理システム、画像管理方法、及びプログラム
KR20160018719A (ko) * 2013-07-08 2016-02-17 가부시키가이샤 리코 표시 제어 장치 및 컴퓨터 판독가능 기록 매체

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2005200888B2 (en) * 2005-02-28 2009-01-08 Canon Kabushiki Kaisha Visualising camera position in recorded video
US10809903B2 (en) * 2014-12-26 2020-10-20 Sony Corporation Information processing apparatus, information processing method, and program for device group management
WO2017014126A1 (ja) * 2015-07-21 2017-01-26 株式会社リコー 画像管理システム、画像管理方法及びプログラム
KR102567803B1 (ko) * 2016-09-06 2023-08-18 엘지전자 주식회사 디스플레이 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100122208A1 (en) * 2007-08-07 2010-05-13 Adam Herr Panoramic Mapping Display
US20140045484A1 (en) * 2012-08-10 2014-02-13 Samsung Electronics Co., Ltd. Portable terminal device and method for operating the same
JP2014131215A (ja) * 2012-12-28 2014-07-10 Ricoh Co Ltd 画像管理システム、画像管理方法、及びプログラム
KR20160018719A (ko) * 2013-07-08 2016-02-17 가부시키가이샤 리코 표시 제어 장치 및 컴퓨터 판독가능 기록 매체

Also Published As

Publication number Publication date
KR102561274B1 (ko) 2023-07-31
US20180158171A1 (en) 2018-06-07

Similar Documents

Publication Publication Date Title
US11262835B2 (en) Human-body-gesture-based region and volume selection for HMD
US10217288B2 (en) Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor
KR102595150B1 (ko) 다수의 가상 캐릭터를 제어하는 방법, 기기, 장치 및 저장 매체
JP6203406B2 (ja) 拡張現実環境内の平面の広がりを判定するためのシステムおよび方法
KR102161510B1 (ko) 포터블 디바이스 및 그 제어 방법
CN111344644B (zh) 用于基于运动的自动图像捕获的技术
US10915993B2 (en) Display apparatus and image processing method thereof
EP3389020B1 (en) Information processing device, information processing method, and program
US20150170418A1 (en) Method to Provide Entry Into a Virtual Map Space Using a Mobile Device's Camera
US20120139907A1 (en) 3 dimensional (3d) display system of responding to user motion and user interface for the 3d display system
JP6558839B2 (ja) 媒介現実
KR20170092632A (ko) 혼합 현실 시각화 및 방법
KR20200123223A (ko) 애플리케이션을 위한 디스플레이 적응 방법 및 장치, 디바이스, 및 저장 매체
CN111353930B (zh) 数据处理方法及装置、电子设备及存储介质
US20180109751A1 (en) Electronic device and method for controlling the same
KR20180062867A (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
CN109448050B (zh) 一种目标点的位置的确定方法及终端
KR20180036408A (ko) 이미지 처리 장치 및 이미지 처리 장치의 제어 방법
KR102337209B1 (ko) 주변 상황 정보를 통지하기 위한 방법, 전자 장치 및 저장 매체
KR20170136797A (ko) 구형 컨텐츠 편집 방법 및 이를 지원하는 전자 장치
US20190066366A1 (en) Methods and Apparatus for Decorating User Interface Elements with Environmental Lighting
US20210406542A1 (en) Augmented reality eyewear with mood sharing
US11922904B2 (en) Information processing apparatus and information processing method to control display of a content image
CN116863107A (zh) 增强现实提供方法、装置以及非暂时性计算机可读介质
KR20230124363A (ko) 전자 장치 및 전자 장치의 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant