KR101666500B1 - 휴대 단말기의 홀로그램 영상 표시 제어 방법 및 이를 이용하는 홀로그램 영상 표시 장치 - Google Patents

휴대 단말기의 홀로그램 영상 표시 제어 방법 및 이를 이용하는 홀로그램 영상 표시 장치 Download PDF

Info

Publication number
KR101666500B1
KR101666500B1 KR1020150104585A KR20150104585A KR101666500B1 KR 101666500 B1 KR101666500 B1 KR 101666500B1 KR 1020150104585 A KR1020150104585 A KR 1020150104585A KR 20150104585 A KR20150104585 A KR 20150104585A KR 101666500 B1 KR101666500 B1 KR 101666500B1
Authority
KR
South Korea
Prior art keywords
user
displaying
screen
gesture
portable terminal
Prior art date
Application number
KR1020150104585A
Other languages
English (en)
Inventor
김관종
송용하
Original Assignee
주식회사 제스트컴퍼니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 제스트컴퍼니 filed Critical 주식회사 제스트컴퍼니
Priority to KR1020150104585A priority Critical patent/KR101666500B1/ko
Application granted granted Critical
Publication of KR101666500B1 publication Critical patent/KR101666500B1/ko

Links

Images

Classifications

    • H04M1/72522—
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/268—Holographic stereogram
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은 휴대용 홀로그램 구현 방법 및 장치에 관한 것으로서, 특히, 휴대 단말기를 이용하여 홀로그램을 구현하는 방법과 이를 이용한 장치에 관한 것이다.
상자체, 상기 상자체에 설치되는 반사판 및 오브젝트를 포함하는 휴대용 홀로그램 보조장치를 이용한 휴대 단말기의 홀로그램 구현 방법에 있어서, 홀로그램 어플리케이션의 메뉴화면을 표시하는 단계; 휴대 단말기의 표시부가 아래방향으로 놓인 상태에서, 사용자 명령 인식부를 통해 사용자의 명령을 입력받는 단계; 및 상기 입력받은 사용자의 명령에 따라 화면을 전환하여 표시하는 단계;를 포함하며, 상기 화면은 상기 반사판에 반사되어 홀로그램으로 구현되는 것을 특징으로 한다.
본 발명을 통하면 휴대 단말기가 상자체에 고정된 상태에서도 사용자는 카메라 모듈부를 통해 조작이 가능하다. 이에 따라, 휴대단말기의 분리 없이 영상 실행 중에도 단순한 동작으로 메뉴를 선택하거나 실행 시킬 수 있으므로 사용 편의성을 증대시킬 수 있다.

Description

휴대 단말기의 홀로그램 영상 표시 제어 방법 및 이를 이용하는 홀로그램 영상 표시 장치{METHOD FOR CONTROLLING DISPLAY OF HOLOGRAM IMAGE IN MOBILE TERMINAL AND APPARATUS FOR DISPLAYING HOLOGRAM IMAGE USING THE SAME}
본 발명은 홀로그램 영상 표시 제어 방법 및 장치에 관한 것으로서, 특히, 휴대 단말기에서 홀로그램 영상 표시를 제어하는 방법과 이를 이용하는 홀로그램 영상 표시 장치에 관한 것이다.
최근 컨텐츠와 디스플레이를 비롯한 영상 기술들이 발전함에 따라 3차원 입체 영상 구현과 같이 좀 더 현실감 있는 영상에 대한 요구가 증가하고 있다. 3차원 입체 영상 구현 기술은 콘텐츠와 디스플레이 등의 직접적인 관련 분야를 포함하여 가정, 통신 산업, 전시회, 예술산업 등 사회의 각 분야에서 수요가 점차 증가하는 추세에 있다.
홀로그램 영상 표시 방식 중, 유사 홀로그램(pseudo hologram) 방식은 프로젝터 또는 디스플레이 장치를 이용하여 영상을 반투명 반사 패널에 투사하여 홀로그램 이미지를 출력하는 방식에 해당하며, 이러한 방식은 현재 대형 공연장, 전시장 등에서 널리 사용되고 있다.
최근에는 스마트폰과 같은 휴대 단말기를 이용하여 유사 홀로그램 방식으로 홀로그램 영상을 출력할 수 있는 홀로그램 영상 표시 장치가 개발되었으며, 이와 관련된 기술은 공개특허공보 제10-2015-0016075호에 개시되어 있다. 홀로그램 영상 표시 장치는 상자체, 입체 오브젝트, 투명판으로 구성되며, 휴대 단말기에서 출력되는 영상을 투명판에 투사하면 입체 오브젝트의 투시 입체 영상과 투명판에 의해 반사된 영상이 중첩되어 상자체의 내부 공간에서 입체 영상으로 구현된다.
그런데 종래의 홀로그램 영상 표시 장치는 사용자가 휴대 단말기에서 컨텐츠 영상을 미리 실행시킨 후, 휴대 단말기를 상자체에 고정시켜 홀로그램 영상이 표시되도록 하는 방식이었다. 즉, 휴대 단말기의 디스플레이 상에서만 조작이 가능하기 때문에, 영상 재생 중에 사용자가 다른 영상으로 변경하고자 하는 경우 휴대 단말기를 상자체에서 분리해서 다른 영상을 선택하는 조작을 한 후에 다시 상자체에 고정시키는 과정이 필요하였다. 영상 재생 멈춤, 영상 재생 개시 등의 간단한 명령을 입력할 때에도 매번 휴대 단말기를 상자에서 분리하여 명령을 입력하고 다시 상자체에 고정시키는 과정을 반복해야 했으며, 이러한 과정으로 인해 사용자는 점차 불편함을 느끼게 되었다.
본 발명의 목적은 전술한 문제점을 해결하기 위한 것으로, 휴대 단말기를 고정시킨 상태에서도 원하는 기능 실행을 위한 명령을 입력할 수 있는 홀로그램 영상 표시 제어 방법과 이를 이용하는 홀로그램 영상 표시 장치를 제공하는데 있다.
본 발명의 실시예에 따른 상자체, 상기 상자체 내부에 설치되는 반사판 및 오브젝트를 이용한 휴대 단말기의 홀로그램 영상 표시 제어 방법은 홀로그램 어플리케이션의 메뉴화면을 표시하는 단계; 휴대 단말기가 상기 상자체에 고정된 상태에서, 휴대 단말기 내에 구비된 사용자 명령 인식부를 통해 사용자의 명령을 입력받는 단계; 및 상기 입력받은 사용자의 명령에 따라 화면을 전환하여 표시하는 단계;를 포함하며, 상기 화면은 상기 반사판에 의해 반사되어 사용자측으로 표시되는 것을 특징으로 한다.
본 발명에서 메뉴화면을 표시하는 단계는 적어도 하나의 컨텐츠 아이콘으로 구성되는 컨텐츠 목록을 표시하는 단계일 수 있다.
본 발명에서 사용자의 명령을 입력받는 단계는 상기 휴대 단말기 내에 구비된 카메라 모듈부를 통해 사용자의 제스쳐(gesture)를 입력받는 단계일 수 있다.
본 발명에서 화면을 전환하여 표시하는 단계는 상기 입력받은 사용자의 제스쳐가 손을 좌방향 또는 우방향으로 이동하는 제스쳐인 경우, 손의 이동방향에 따라 상기 컨텐츠 아이콘을 이동시켜 표시하는 단계일 수 있다.
본 발명에서 화면을 전환하여 표시하는 단계는 상기 입력받은 사용자의 제스쳐가 손을 상기 카메라 모듈부로 근접하는 제스쳐일 경우, 화면의 중앙에 위치하는 컨텐츠 아이콘에 해당하는 컨텐츠를 실행하여 컨텐츠 영상 화면을 표시하는 단계일 수 있다.
본 발명에서 상기 화면을 전환하여 표시하는 단계는 상기 입력받은 사용자의 제스쳐가 손을 상기 카메라 모듈부로 근접하는 제스쳐일 경우, 화면의 중앙에 위치하는 컨텐츠 아이콘에 해당하는 컨텐츠의 하위메뉴 아이콘을 표시하는 단계일 수 있다.
본 발명에서 화면을 전환하여 표시하는 단계는 상기 카메라 모듈부를 통해 사용자의 제스쳐를 입력받는 단계; 상기 입력받은 사용자의 제스쳐가 손을 좌방향 또는 우방향으로 이동하는 제스쳐인 경우, 손의 이동방향에 따라 상기 하위메뉴 아이콘을 이동시켜 표시하는 단계; 및 상기 입력받은 사용자의 제스쳐가 손을 상기 카메라 모듈부로 근접하는 제스쳐일 경우, 화면의 중앙에 위치하는 하위메뉴 아이콘에 해당하는 기능의 실행 화면을 표시하는 단계를 더 포함할 수 있다.
본 발명의 하위메뉴 아이콘은 컨텐츠 영상을 재생하기 위한 영상 재생 아이콘, 컨텐츠에 관한 텍스트 정보를 표시하는 기능의 텍스트 정보 아이콘 및 컨텐츠에 관한 지리적 정보를 표시하는 기능의 지리적 정보 아이콘 중 적어도 하나를 포함할 수 있다.
본 발명에서 화면을 전환하여 표시하는 단계는 상기 입력받은 사용자의 제스쳐가 카메라 모듈부에서 손을 이격시키는 제스쳐일 경우, 상기 컨텐츠 아이콘으로 구성되는 메뉴화면으로 전환하여 표시하는 단계를 더 포함할 수 있다.
본 발명의 휴대 단말기의 홀로그램 영상 표시 제어 방법은 상기 카메라 모듈부를 통해 사용자의 제스쳐를 입력받는 단계; 및 사용자의 손가락이 오므려지는 제스쳐를 입력받을 경우, 상기 컨텐츠 영상 화면 상에 기 저장된 그래픽 객체를 중첩하여 표시하는 단계를 더 포함할 수 있다.
본 발명에서 메뉴화면을 표시하는 단계는 입력 모드 설정 화면을 표시하는 단계; 제스쳐 모드와 터치 모드 중 어느 하나의 모드 선택을 입력받는 단계; 및 상기 제스쳐 모드 선택 시, 사용자 명령 인식부를 구동하는 단계;를 포함할 수 있다.
본 발명에서 메뉴화면을 표시하는 단계 이후, 상기 휴대 단말기 내에 구비된 가속도 센서부를 통해 상기 휴대 단말기가 놓인 방향을 판단하는 단계; 및 상기 휴대 단말기의 표시부가 아래 방향으로 놓인 상태로 판단하는 경우, 상기 메뉴화면을 세로화면 모드에서 가로화면 모드로 전환하여 표시하는 단계;를 더 포함할 수 있다.
상기 사용자의 명령을 입력받는 단계는 상기 휴대 단말기 내에 구비된 오디오부를 통해 사용자의 음성을 입력받는 단계일 수 있다.
본 발명의 실시예에 따른 상자체, 상기 상자체에 설치되는 반사판, 오브젝트 및 휴대 단말기를 포함하는 홀로그램 영상 표시 장치에서 상기 휴대 단말기는 홀로그램 어플리케이션의 메뉴화면을 표시하는 표시부; 카메라 모듈부 또는 오디오부로 구성되며 사용자의 제스쳐 또는 음성을 입력받는 명령 인식부; 상기 입력받은 사용자의 명령에 따라 상기 표시부를 통해 화면을 전환하여 표시하는 제어부;를 포함하며, 상기 화면은 상기 반사판에 의해 반사되어 사용자측으로 표시되는 것을 특징으로 한다.
본 발명에서 상기 상자체는 하부에 상기 상자체의 전면이 향하는 방향을 조절할 수 있는 각도 조절부가 설치될 수 있다.
본 발명을 통하면, 홀로그램 영상 실행 시 사용자는 휴대 단말기를 상자체에 고정시킨 상태에서도 원하는 기능 실행을 위한 명령을 입력할 수 있다. 즉, 간단한 제스쳐나 음성명령을 통해 컨텐츠 선택, 컨텐츠 영상 제어 등을 조작할 수 있어 사용자 편의성이 증대된다.
도 1은 본 발명의 실시예에 따른 휴대용 홀로그램 영상 표시 장치를 도시하는 도면이다.
도 2는 본 발명의 실시예에 따른 휴대 단말기의 내부 구성도를 도시한 도면이다.
도 3은 본 발명의 실시예에 따른 휴대 단말기의 홀로그램 영상 표시 제어 방법을 도시하는 순서도이다.
도 4는 본 발명의 실시예에 따른 휴대단말기의 홀로그램 영상 표시 제어 방법을 도시하는 순서도이다.
도 5는 본 발명의 홀로그램 영상 표시 제어 방법에서 메뉴화면을 도시한 도면이다.
도 6은 본 발명의 홀로그램 영상 표시 제어 방법에서 특정 컨텐츠의 하위메뉴 화면을 도시한 도면이다.
도 7은 본 발명의 실시예에 따른 홀로그램 영상 표시 장치의 컨텐츠 실행 형태를 도시하는 도면이다.
도 8은 본 발명의 실시예에 따른 홀로그램 영상 표시 제어 방법에서 터치모드에서의 출력 화면을 도시하는 도면이다.
도 9는 본 발명의 실시예에 따른 컨텐츠 영상 재생 중 휴대 단말기의 홀로그램 영상 표시 제어 방법을 도시하는 순서도이다.
도 10은 본 발명의 실시예에 따른 홀로그램 영상 표시 장치에서 상자체의 다른 실시예를 도시하는 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서에서 "부"(部)란 하드웨어에 의해 실현되는 유닛, 소프트웨어에 의해 실현되는 유닛, 또는 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1개의 유닛이 2개 이상의 하드웨어를 이용하여 실현될 수 있으며, 2개 이상의 유닛이 1개의 하드웨어에 의해 실현될 수 있다.
도 1은 본 발명의 실시예에 따른 홀로그램 영상 표시 장치(10)를 도시하는 도면이다.
도 1을 참조하면, 홀로그램 영상 표시 장치(10)는 상자체(100), 반사판(200), 오브젝트(300) 및 휴대 단말기(400)로 구성된다. 휴대 단말기(400)는 상자체(100)의 상부에 위치하며, 휴대 단말기(400)의 표시부가 오브젝트(300)가 설치되어 있는 상자체(100)의 바닥면을 향하도록 위치한다. 휴대 단말기(400)의 표시부에서 출력되는 화면은 반사판(200)에 의해 반사되어 사용자 측으로 표시되며, 반사된 영상은 오브젝트(300)와 중첩되어 상자체(100)의 공간 내에서 입체 영상(홀로그램)으로 구현된다.
상자체(100)은 홀로그램 영상이 출력되는 공간을 형성하는 구성요소로서, 두 면이 개방된 육면체로 구성된다. 구체적으로, 상자체(100)는 상부면 및 상부면과 이어진 어느 하나의 측면이 개방되는 형태로 구성된다. 상자체(100)의 내부에는 반사판(200) 및 오브젝트(300)가 위치하고, 상자체(100)의 상부면에는 휴대 단말기(400)가 위치하게 된다. 상자체(100)는 종이, 유리, 플라스틱, 금속, 목재 등 다양한 재질로 제작 가능하며, 육면체 이외의 다른 입체도형 형태로도 형성될 수 있다.
반사판(200)은 휴대 단말기(400)의 표시부가 출력하는 화면을 반사시켜 사용자 측으로 표시되도록 하는 판형의 구성요소이다. 반사판(200)은 상자체(100)의 내부에서 소정의 각도를 형성하도록 비스듬히 거치된다. 반사판(200)은 글라스, 필름 등으로 형성될 수 있으며 이외에도 투과성을 갖는 소재로도 형성될 수 있다.
오브젝트(300)는 상자체(100) 내에 설치되는 입체물로서, 반사판에 의해 반사되는 영상과 중첩되어 홀로그램의 효과를 극대화시키는 구성요소이다. 오브젝트(300)는 3차원(3D) 입체도형으로 형성되고, 반사판(200)을 비스듬히 거치하였을 때, 반사판(200)에 닿지 않는 크기로 형성됨이 바람직하다. 본 발명의 실시예에 따라 오브젝트(300)의 하단에는 고정부(미도시)가 형성될 수 있다. 고정부는 상자체(100)의 위치를 변경하거나 향하는 각도를 변경하는 경우, 오브젝트(300)의 위치가 변경되는 것을 방지하는 역할을 한다.
휴대 단말기(400)는 홀로그램 영상 구현의 소스인 2D 영상을 출력하는 구성요소로서, 상자체(100)의 상부에 위치하여 반사판(200)을 향해 영상을 출력한다. 본 발명에서 휴대 단말기(400)는 스마트폰(Smartphone), 스마트패드(Smartpad), 태블릿 PC 등이 될 수 있으며, 휴대 단말기(400)의 내부 구성에 대해서는 도 2에서 자세히 설명한다.
도 2는 본 발명의 실시예에 따른 휴대 단말기(400)의 내부 구성도를 도시한 도면이다.
도 2를 참조하면, 본 발명의 휴대 단말기(400)는 무선통신부(410), 카메라 모듈부(420), 오디오부(430), 표시부(440), 입력부(450), 저장부(460) 및 제어부(470)를 포함한다.
무선통신부(410)는 휴대 단말기(400)의 무선 통신을 위한 해당 데이터의 송수신 기능을 수행한다. 무선통신부(410)는 송신되는 신호의 주파수를 상승 변환 및 증폭하는 RF송신기와, 수신되는 신호를 저 잡음 증폭하고 주파수를 하강 변환하는 RF수신기 등으로 구성될 수 있다. 또한, 무선통신부(410)는 무선 채널을 통해 데이터를 수신하여 제어부(470)로 출력하고, 제어부(470)로부터 출력된 데이터를 무선 채널을 통해 전송한다. 본 발명에 따른 무선통신부(410)는 홀로그램 어플리케이션을 관리하는 중앙 서버로부터 홀로그램 영상 구현을 위한 컨텐츠를 수신할 수 있다.
카메라 모듈부(420)는 피사체를 촬영하는 구성요소로서, 광 신호를 전기적 신호로 변환하는 카메라 센서와, 아날로그 이미지 신호를 디지털 데이터로 변환하는 신호 처리를 구비한다. 여기서 카메라 센서는 CCD(CHANGE COUPLED DEVICE)센서 또는 CMOS(complementary metal semiconductor) 센서가 될 수 있으며, 신호 처리부는 DSP(Digital signal processor)로 구현될 수 있다. 또한, 카메라 센서 및 신호 처리부는 일체형으로 구현할 수 있으며, 분리하여 구현할 수도 있다. 본 발명에서 카메라 모듈부(420)는 제스쳐 모드에서 사용자의 제스쳐 영상을 입력받아 전기적 신호로 변환하여 제어부(470)로 전송하게 된다.
오디오부(430)는 오디오 신호 또는 출력을 위한 것으로, 스피커(431) 및 마이크(432)를 포함한다. 스피커(431)는 내부의 전기적인 음성데이터를 외부에 음향으로 제공하고, 마이크(432)는 통화모드 또는 녹음모드, 음성인식 모드에서 마이크로폰에 의해 외부의 음향 신호를 입력받아 전기적인 음성데이터로 처리한다. 본 발명의 오디오부(430)는 음성인식 모드에서 사용자의 음성을 전기적 신호로 변환하여 제어부(470)로 전송하게 된다.
표시부(440)는 휴대 단말기(400)의 메뉴, 입력된 데이터, 기능 설정 정보 및 기타 다양한 정보를 사용자에게 시각적으로 제공하는 구성요소로서, 액정표시장치(LCD, Liquid Crystal Display), 유기 발광 다이오드(OLED, Organic Light Emitting Diodes), 능동형 유기 발광 다이오드(AMOLED, Active Matrix Organic Light Emitting Diodes) 등으로 형성될 수 있다. 본 발명에 따른 표시부(440)는 컨텐츠 아이콘으로 구성된 컨텐츠 목록 화면, 컨텐츠 영상을 출력한다.
입력부(450)는 휴대 단말기(400)를 제어하기 위한 사용자의 조작 신호를 입력받아 제어부(470)로 전달하는 구성요소이다. 입력부(450)는 터치 패널(touch panel)로 구성됨이 바람직하나, 버튼 키(button key), 조그 키(jog key), 휠 키(wheel key) 등으로도 구성될 수 있다. 본 발명에서 입력부(450)는 사용자가 제스쳐 모드가 아닌 터치 모드를 선택할 경우, 사용자로부터 컨텐츠 선택, 컨텐츠 영상 제어 등의 명령을 입력 받아 제어부(470)에 전송하게 된다.
저장부(460)는 휴대 단말기(400)의 전반적인 동작 및 특정 기능을 수행하기 위해 필요한 프로그램과 그 프로그램 수행 중에 발생되는 데이터, 사용자가 입력한 데이터 등을 저장할 수 있다. 본 발명에서 저장부(460)는 사용자의 명령(제스쳐 또는 음성)과 명령에 대응하는 실행 기능을 매핑하여 저장할 수 있다. 또한, 저장부(460)는 카메라 모듈부(420)로부터 입력되는 영상에서 사용자의 손을 검출하고 손의 움직임을 추적하여 손의 움직임의 패턴을 분석하는 프로그램을 저장할 수 있다. 또한, 저장부는(460)는 오디오부(430)로 입력되는 사용자 음성을 검출하고 사용자 음성을 분석하는 프로그램을 저장할 수 있다.
제어부(470)는 휴대 단말기(400)의 각 구성 요소에 대한 전반적인 동작을 제어하고, 데이터 처리 기능 등을 수행하는 구성요소이다. 특히 본 발명에서 제어부(470)는 무선통신부(410)를 통해 홀로그램 어플리케이션을 관리하는 중앙 서버로부터 홀로그램 어플리케이션을 다운로드하여 설치한다. 제어부(470)는 입력부(450)을 통해 홀로그램 어플리케이션의 실행 명령을 입력받으면, 표시부(440)을 제어하여 홀로그램 어플리케이션의 메뉴화면을 표시한다. 제어부(470)는 입력부(450)을 통해 제스쳐 모드를 활성화(ON)하는 사용자의 명령이 입력되면, 제어부(470)는 카메라 모듈부(420)를 구동한다. 이때, 제어부(470)는 카메라 모듈부(420)로 입력되는 영상에서 사용자의 손의 움직임 패턴을 분석하여 저장부(460)에 기 저장된 패턴과 비교할 수 있다. 사용자 손의 움직임 패턴마다 특정 기능이 매핑되어 있으며, 비교 결과 일치하는 패턴이 존재하는 경우, 제어부(470)는 일치하는 패턴에 매핑된 특정기능을 실행하게 된다.
제어부(470)는 입력부(450)을 통해 음성인식 모드를 활성화(ON)하는 사용자의 명령이 입력되면, 제어부(470)는 오디오부(430)를 구동한다. 제어부(470)는 오디오부(430)로 입력되는 소리에서 사용자의 음성을 분석하고, 분석된 음성과 저장부(460)에 저장된 음성과 비교할 수 있다. 사용자의 음성 마다 특정 기능이 매핑되어 있으며, 비교 결과 일치하는 음성이 존재하는 경우, 제어부(470)는 일치하는 패턴에 매핑된 특정 기능을 실행하게 된다.
본 발명의 실시예에 따라, 휴대 단말기(400)는 가속도 센서부(미도시)를 더 포함할 수 있다. 가속도 센서부는 물체의 가속도, 진동, 충격 등의 동적 힘을 측정하는 센서로서, 휴대 단말기(400)에 가해지는 동작, 휴대 단말기가 놓인 상태 등을 감지한다. 본 발명에서 홀로그램 어플리케이션이 실행되면, 가속도 센서부가 활성화되어 휴대 단말기(400)의 놓인 상태(자세)를 감지할 수 있다. 제어부(470)는 가속도 센서부로부터 전기적 신호를 수신하며, 휴대 단말기(400)의 표시부(440)가 아래방향으로 놓여져 있다고 판단하는 경우, 표시부(440)의 화면을 세로화면 모드에서 가로화면 모드로 전환할 수 있다.
이상으로 본 발명의 휴대 단말기(400)의 구성요소들을 설명하였으며, 이하에서는 휴대 단말기(400)의 홀로그램 영상 표시 제어 방법에 대해 설명한다.
도 3은 본 발명의 실시예에 따른 휴대 단말기(400)의 홀로그램 영상 표시 제어 방법을 도시하는 순서도이다. 도 2 및 도 3을 참조하면, 제어부(470)는 홀로그램 어플리케이션 실행 명령이 입력부(450)를 통해 입력되면, 홀로그램 어플리케이션을 실행하여, S401단계에서 표시부(440)을 통해 홀로그램 어플리케이션의 메뉴화면을 표시한다. 홀로그램 어플리케이션 메뉴화면에는 컨텐츠 아이콘들로 구성되는 컨텐츠 목록이 포함된다. 그리고 홀로그램 영상 구현을 위해 휴대 단말기(400)는 표시부(440)가 아랫방향을 향하도록 상자체(100)의 상부에 거치된다. 휴대 단말기(400)가 상자체(100)에 고정된 상태에서 제어부(470)는 S402단계에서 사용자 명령 인식부를 구동하여 사용자의 명령 입력을 대기한다. 본 발명에서 사용자 명령 인식부는 도 2의 카메라 모듈부(420)또는 오디오부(430)가 될 수 있다.
S403 단계에서 제어부(470)는 사용자 명령이 입력되는지 여부를 판단한다. 즉, 제어부(470)는 카메라 모듈부(420)를 통해 사용자의 제스쳐가 입력되는지 판단하거나 오디오부(430)를 통해 사용자의 음성이 입력되는지 판단한다. 제어부(470)는 카메라 모듈부(420)로부터 수신하는 영상에서 사용자의 손의 중심점 또는 손의 끝을 검출하고 손의 움직임을 추적하여 사용자 손의 움직임 패턴을 추출하게 된다. 또한 제어부(470)는 오디오부(430)를 통해 입력되는 사용자의 음성을 분석하여 음성 패턴을 추출할 수 있다.
S403단계에서 사용자의 명령이 입력되는 것으로 판단하면, 제어부(470)는 S404단계로 진행하고 표시부(440)를 제어하여 사용자의 명령에 따라 화면을 전환하여 표시한다. 이 때, 사용자 명령 인식부가 카메라 모듈부(420)인 경우, 제어부(470)는 사용자 손의 움직임 패턴을 추출하고, 이와 일치하는 패턴에 매핑된 기능을 검색하여 실행하게 되며, 사용자 명령 인식부가 오디오부(430)인 경우, 제어부(470)는 사용자 음성 패턴을 추출하고, 이와 일치하는 패턴에 매핑된 기능을 검색하여 실행하게 된다. 화면은 반사판(200)에 의해 반사되어 사용자측으로 표시되며, 반사된 영상은 오브젝트(300)와 중첩되어 사용자는 입체영상으로 느낄 수 있게 된다.
제어부(470)는 S403단계에서 카메라 모듈부(420)를 통해 사용자가 손을 좌방향 또는 우방향으로 이동하는 제스쳐를 입력하는 것으로 판단하면, S404단계에서 표시부(440)를 제어하여 컨텐츠 아이콘을 이동시켜 표시할 수 있다. 또한, 제어부(470)는 S404단계에서 카메라 모듈부(420)를 통해 사용자가 손을 카메라 모듈부(420)에 근접하는 제스쳐를 입력하는 것으로 판단하면, S404단계에서 특정 컨텐츠 아이콘에 해당하는 컨텐츠를 실행하여 컨텐츠 영상 화면을 표시할 수 있다. 이때, 제어부(470)는 메뉴화면에 표시된 컨텐츠 아이콘들 중 중앙에 위치하는 컨텐츠 아이콘에 대응하는 컨텐츠를 실행하여 컨텐츠 영상 화면을 표시할 수 있다.
본 발명의 실시예에 따라 제어부(470)가 표시부(440)를 제어하여 특정 컨텐츠 영상 화면을 표시하는 중, 사용자가 손을 카메라 모듈부(420)로부터 이격시키는 제스쳐를 입력한 것으로 판단하는 경우, 제어부(470)는 표시부(440)를 제어하여 컨텐츠 아이콘으로 구성되는 메뉴화면으로 전환하여 표시할 수 있다.
본 발명의 실시예에 따라 제어부(470)는 S401단계에서 메뉴화면을 표시 시, 휴대 단말기(400) 기종 목록을 표시하고, 입력부(450)를 통해 어느 하나의 휴대 단말기(400) 기종의 선택이 입력되면, 선택된 휴대 단말기(400) 기종에 해당하는 메뉴화면을 표시할 수 있다. 이때, 제어부(470)는 휴대 단말기(400)의 표시부(440) 사이즈에 따라 화면 크기를 조절하여 표시하게 된다.
본 발명의 실시예에 따라 제어부(470)는 S401단계에서 표시부(440)를 통해 메뉴화면 표시 시, 입력 모드 설정 화면을 표시하고, 입력부(450)를 통해 제스쳐 모드와 터치 모드 중 어느 하나의 모드 선택이 입력되는지 판단하여, 제스쳐 모드가 선택된 것으로 판단하면, 카메라 모듈부(420) 또는 오디오부(430)를 구동시키면서 표시부(440)를 제어하여 컨텐츠 아이콘으로 구성되는 컨텐츠 목록을 표시할 수 있다.
본 발명의 실시예에 따라 제어부(470)는 S401단계의 메뉴화면 표시 후, 휴대 단말기(400) 내에 구비된 가속도 센서부를 통해 휴대 단말기(400)가 놓인 방향을 판단하고, 휴대 단말기(400)의 표시부(440)가 아래 방향으로 놓인 것으로 판단하는 경우, 표시부(440)를 제어하여 메뉴화면을 세로화면 모드에서 가로화면 모드로 전환하여 표시할 수 있다.
사용자 명령 인식부가 오디오부(430)인 경우, 제어부(470)는 오디오부(430)를 통해 수신하는 사용자의 음성을 분석하고 이에 대응하는 기능을 실행하게 된다.
예를 들어, 제어부(470)가 S403단계에서 오디오부(430)를 통해 "회전"이라는 사용자의 음성을 입력받을 경우, 제어부(470)는 표시부(440)를 제어하여 컨텐츠 아이콘의 위치를 변경하여 표시할 수 있다. 또한, 제어부(470)는 사용자로부터 "실행"이라는 음성을 입력받은 경우, 화면의 중앙에 위치하는 컨텐츠 아이콘(활성화된 컨텐츠 아이콘)에 해당하는 컨텐츠를 실행하여 컨텐츠 영상 화면을 표시할 수 있다. 본 발명의 실시예에 따라 제어부(470)가 표시부(440)를 제어하여 특정 컨텐츠 영상 화면을 표시하는 중, 사용자가 "정지"라는 음성을 입력한 것으로 판단하는 경우, 제어부(470)는 표시부(440)를 제어하여 컨텐츠 아이콘으로 구성되는 메뉴화면으로 전환하여 표시할 수 있다.
도 4는 본 발명의 다른 실시예에 따른 휴대 단말기(400)의 홀로그램 영상 표시 제어 방법을 도시하는 순서도이다. 도 4의 실시예는 도 3의 실시예와 달리 컨텐츠 아이콘 선택 시 하위메뉴가 표시되는 실시예에 해당한다.
제어부(470)는 홀로그램 어플리케이션 실행 명령이 입력부(450)를 통해 입력되면, 홀로그램 어플리케이션을 실행하고, S501단계에서 표시부(440)를 통해 홀로그램 어플리케이션의 메뉴화면을 표시한다. 제어부(470)는 홀로그램 어플리케이션 메뉴화면을 표시하면서 S502단계에서 카메라 모듈부(420)를 구동하여 사용자의 명령 입력을 대기하게 된다.
S503단계에서 제어부(470)는 사용자가 손을 카메라 모듈부(420)로 근접시키는 제스쳐를 입력하는지 판단한다. 제어부(470)는 카메라 모듈부(420)로부터 수신하는 영상에서 사용자의 손의 중심점 또는 손의 끝을 검출하고 손의 움직임을 추적하여 사용자 손의 움직임 패턴을 분석하게 된다.
S503단계에서 사용자가 손을 카메라 모듈부(420)로 근접시키는 제스쳐를 입력한 것으로 판단하는 경우, 제어부(470)는 S506단계에서 표시부(440)를 제어하여 특정 컨텐츠의 하위메뉴 아이콘을 표시한다. 여기서, 제어부(470)는 표시부(440)를 통해 화면의 중앙에 위치하는 컨텐츠 아이콘(활성화 상태의 아이콘)에 해당하는 컨텐츠의 하위메뉴 아이콘들을 표시할 수 있다.
제어부(470)는 사용자가 입력한 제스쳐가 손을 카메라 모듈부(420)로 근접시키는 제스쳐가 아닌 것으로 판단하면, S504단계에서 좌방향 또는 우방향으로 손을 이동시키는 제스쳐인지 판단한다. 좌방향 또는 우방향으로 손을 이동시키는 제스쳐인 경우, 제어부(470)는 S505단계에서 표시부(440)를 통해 컨텐츠 아이콘의 위치를 이동시켜 표시하게 된다.
제어부(470)는 S504단계에서 사용자가 입력한 제스쳐가 좌방향 또는 우방향으로 손을 이동시키는 제스쳐가 아닌 것으로 판단하면, 다시 S503단계로 돌아가 사용자로부터 명령 입력을 대기한다.
하위메뉴 아이콘이 표시된 상태에서, 제어부(470)는 S507단계에서 사용자가 손을 카메라 모듈부(420)로 근접시키는 제스쳐를 입력하는지 판단한다. 해당 제스쳐가 입력된 것으로 판단하면, 제어부(470)는 S510단계에서 특정 하위메뉴 아이콘에 해당하는 기능의 실행 화면을 표시부(440)를 통해 표시하게 된다. 이때, 제어부(470)는 하위메뉴 아이콘들 중 중앙에 위치하는 아이콘(활성화된 아이콘)에 해당하는 기능을 실행할 수 있다. 본 발명에서 하위메뉴 아이콘에는 컨텐츠 영상을 재생하기 위한 영상 재생 아이콘, 컨텐츠에 관한 텍스트 정보를 표시하는 기능의 텍스트 정보 아이콘 및 컨텐츠에 관한 지리적 정보를 표시하는 기능의 지리적 정보 아이콘 등이 포함될 수 있다.
제어부(470)는 S507단계에서 사용자가 입력한 제스쳐가 손을 카메라 모듈부(420)로 근접시키는 제스쳐가 아닌 것으로 판단하면, S508 단계에서 좌방향 또는 우방향으로 손을 이동시키는 제스쳐인지 판단한다. 해당 제스쳐가 입력된 것으로 판단하는 경우, 제어부(470)는 S509단계에서 표시부(440)를 통해 하위메뉴 아이콘의 위치를 이동시켜 표시하게 된다.
제어부(470)는 S508단계에서 사용자가 입력한 제스쳐가 좌방향 또는 우방향으로 손을 이동시키는 제스쳐가 아닌 것으로 판단하면, 다시 S507단계로 돌아가 사용자로부터 명령 입력을 대기한다.
도 5는 본 발명의 홀로그램 영상 표시 제어 방법에서 메뉴화면을 도시한 도면이다. 도 2는 도 5를 참조하면, 도 5의 (a)는 휴대 단말기(400)의 표시부(440)를 통해 메뉴화면이 표시되는 형태이며, 도 5의 (b)는 휴대 단말기(400)가 상자체(100)의 상부에 거치되어 반사된 이미지로 메뉴화면이 표시되는 형태에 해당한다. 메뉴 화면은 컨텐츠 아이콘(441)으로 구성되는 컨텐츠 목록 화면으로 표시된다.
메뉴화면은 중앙에 위치하는 컨텐츠 아이콘(441)과 상기 컨텐츠 아이콘의 컨텐츠에 상응하는 지도 정보가 배경 이미지로 구성되어 있다. 컨텐츠 아이콘(441)은 원형의 그래픽과 컨텐츠 명칭으로 구성되며, 원형의 그래픽 내에 컨텐츠에 상응하는 이미지가 함께 표시될 수 있다. 도 5의 (a)는 하나의 컨텐츠 아이콘(441)이 표시되는 형태를 도시하고 있으나, 복수의 컨텐츠 아이콘(441, 442, 443)들이 메뉴 화면에 모두 표시될 수 있다. 또한, 본 발명의 실시예에 따라 세로화면 모드에서는 중앙에 위치하는 하나의 컨텐츠 아이콘(441)만이 표시되지만, 가로화면모드에서는 컨텐츠 아이콘(441)의 양옆에 위치하는 컨텐츠 아이콘(442, 443)들도 함께 표시될 수 있다.
도 5의 (b)는 메뉴화면이 가로화면 모드로 표시된 형태로서, 복수의 컨텐츠 아이콘(441, 442, 443)들이 모두 표시되어 있다. 본 발명의 실시예에 따라 제어부(470)는 가속도 센서부(미도시)를 통해 휴대 단말기(400)가 놓여진 상태(자세)를 판단하여 표시부(440)가 아래 방향을 향하도록 휴대 단말기(400)가 놓여있다고 판단하는 경우, 표시부(440)를 통해 메뉴화면을 세로화면 모드에서 가로화면 모드로 전환하여 표시할 수 있다. 또한, 사용자가 특정 제스쳐나 음성을 입력하는 경우, 제어부(470)는 입력된 사용자의 명령에 따라 컨텐츠 아이콘(441, 442, 443)들을 이동시켜 표시하게 된다. 본 발명의 실시예에 따라 중앙에 위치하는 컨텐츠 아이콘(441)은 양측에 위치한 컨텐츠 아이콘(442, 443)보다 큰 이미지로 표시될 수 있다. 제어부(470)는 컨텐츠 아이콘의 위치를 변경할 때, 중앙으로 이동하는 컨텐츠 아이콘의 크기는 확대하고, 중앙에서 벗어나는 컨텐츠 아이콘의 크기는 축소하여 표시할 수 있다.
도 6은 본 발명의 홀로그램 영상 표시 제어 방법에서 특정 컨텐츠의 하위메뉴 화면을 도시한 도면이다. 도 6의 (a)는 휴대 단말기(400)의 표시부(440)를 통해 하위메뉴 화면이 표시되는 형태이며, 도 6의 (b)는 휴대 단말기(400)가 상자체(100)의 상부에 거치되어 반사판(200)에 반사된 이미지로 하위메뉴 화면이 표시되는 형태에 해당한다. 하위메뉴 화면은 적어도 하나의 하위메뉴 아이콘(444, 445, 446)로 구성된다.
하위메뉴 아이콘도 컨텐츠 아이콘과 유사하게 원형의 그래픽과 기능 명칭으로 구성될 수 있다. 도 6의 (a)는 휴대 단말기(400)의 가로화면 모드 출력 화면으로서 영상 재생 아이콘(444), 텍스트 정보 아이콘(445), 지리적 정보 아이콘(446)이 포함된 하위메뉴 화면을 표시하고 있다. 본 발명의 실시예에 따라 중앙에 위치하는 하위메뉴 아이콘(444)는 양측에 위치한 하위메뉴 아이콘(445, 446)보다 큰 이미지로 표시될 수 있다. 제어부(470)는 하위메뉴 아이콘의 위치를 변경할 때, 중앙으로 이동하는 하위메뉴 아이콘의 크기는 확대하고, 중앙에서 벗어나는 하위메뉴 아이콘의 크기는 축소하여 표시할 수 있다.
도 6의 (b)도 하위메뉴 화면이 가로화면 모드로 표시된 형태로서, 복수의 하위메뉴 아이콘(444, 445, 446)들이 모두 표시되어 있다. 본 발명의 실시예에 따라 제어부(470)는 가속도 센서부(미도시)를 통해 휴대 단말기(400)가 놓여진 상태(자세)를 판단하여 표시부(440)가 아래 방향을 향하도록 휴대 단말기(400)가 놓여있다고 판단하는 경우, 표시부(440)를 통해 하위메뉴 화면을 세로화면 모드에서 가로화면 모드로 전환하여 표시할 수 있다. 또한, 사용자가 특정 제스쳐나 음성을 입력하는 경우, 제어부(470)는 입력된 사용자의 명령에 따라 하위메뉴 아이콘(444, 445, 446)들을 이동시켜 표시하게 된다. 카메라 모듈부(420)를 통해 좌에서 우로 손을 이동시키는 동작이 입력되는 경우, 제어부(470)는 표시부(440)를 제어하여 중앙에 위치하는 영상 재생 아이콘(444)는 우측으로 이동하고 텍스트 정보 아이콘(445)를 중앙에 위치시킬 수 있다.
도 7은 본 발명의 실시예에 따른 홀로그램 영상 표시 장치(10)의 컨텐츠 실행 형태를 도시하는 도면이다. 도 7의 (a)는 도 6에서 영상 재생 아이콘(444)가 선택되었을 때의 홀로그램 영상 표시 장치(10)의 컨텐츠 실행 형태를 도시한다. 휴대 단말기(400)에서 출력되는 영상은 반사판(200)에 의해 반사되어 사용자 측으로 표시되며, 반사되는 영상은 상자체(100)의 내부에 위치하는 오브젝트(300)와 중첩되어 상자체(100) 내부의 공간에서 입체영상으로 표현된다. 본 발명의 실시예에 따라 컨텐츠 영상이 재생되는 도중 사용자가 특정 제스쳐를 입력하면, 제어부(470)는 표시부(440)를 제어하여 재생되는 컨텐츠 영상에 특정 그래픽 객체를 결합하여 표시할 수 있다.
도 7의 (b)는 도 6에서 지리적 정보 아이콘(446)이 선택되었을 때의 홀로그램 영상 표시 장치(10)의 컨텐츠 실행 형태를 도시한다. 휴대 단말기(400)는 상자체(100)의 상부에 거치되어 있고, 화면에는 사용자가 선택한 컨텐츠와 관련된 지리적 정보가 지도 형태로 표시되어 있다. 본 발명의 실시예에 따라 도 7의 (b)의 화면이 표시된 상태에서 제어부(470)가 카메라 모듈부(420)를 통해 사용자로부터 두 개의 손가락 끝을 맞닿게 하는 동작이 입력된 것으로 판단하면, 표시부(440)를 통해 지도 이미지를 확대하여 표시할 수 있다. 또한, 제어부(470)가 카메라 모듈부(420)를 통해 맞닿은 두 개의 손가락 끝을 이격시키는 동작이 입력된 것으로 판단하면, 표시부(440)를 통해 지도 이미지를 축소하여 표시할 수 있다.
도 7의 (c)는 도 6에서 텍스트 정보 아이콘(445)가 선택되었을 때의 홀로그램 영상 표시 장치(10)의 컨텐츠 실행 형태를 도시한다. 휴대 단말기(400)는 상자체(100)의 상부에 거치되어 있고, 화면에는 사용자가 선택한 컨텐츠와 관련된 텍스트 정보가 표시되어 있다. 텍스트 정보는 아래에서 위로 이동하면서 표시되는데, 사용자가 카메라 모듈부(420)를 통해 특정 제스쳐를 입력하여 텍스트 정보의 표시 속도를 조절할 수 있다. 예를 들어, 사용자가 손을 좌에서 우로 이동하는 제스쳐를 입력한 경우, 제어부(470)는 표시부(440)를 통해 텍스트 정보 표시 속도를 증가시켜 표시할 수 있으며, 사용자가 손을 우에서 좌로 이동하는 제스쳐를 입력한 경우, 텍스트 정보 표시 속도를 낮춰서 표시할 수 있다.
도 8은 본 발명의 실시예에 따른 홀로그램 영상 표시 제어 방법에서 터치 모드에서의 출력 화면을 도시하는 도면이다. 도 8의 (a)는 사용자가 터치 모드를 실행하였을 때의 메뉴화면에 해당한다. 메뉴화면은 중심선을 기준으로 상부 영역과 하부 영역으로 구분되며, 중앙에는 컨텐츠 아이콘이 위치한다. 상부 영역에는 영상 재생, 텍스트 정보 표시, 지리적 정보 표시 및 입력 모드(제스쳐 모드, 터치 모드) 선택에 해당하는 하위메뉴 아이콘들이 컨텐츠 아이콘의 둘레를 따라 표시된다. 하부 영역에는 컨텐츠와 관련된 지리적 정보(지도 이미지)가 표시된다.
도 8의 (b)는 사용자가 입력부(450)를 통해 입력 모드 선택 아이콘을 선택했을 때 변경되는 화면을 도시하는 도면이다. 컨텐츠 아이콘의 둘레에 위치하는 영상 재생 아이콘, 텍스트 정보 아이콘, 지리적 정보 아이콘 및 입력 모드 선택 아이콘 표시는 그대로 유지되며, 하부 영역에 표시된 지리적 정보(지도 이미지)는 사라지고 제스쳐 모드를 선택할 수 있는 스위치가 표시된다. 사용자가 입력부(450)을 통해 제스쳐 모드를 선택하면, 제어부(470)는 표시부(440)를 통해 도 5의 (a) 화면과 같은 제스쳐 모드 메뉴 화면으로 변경하여 표시한다.
도 9는 본 발명의 실시예에 따른 컨텐츠 영상 재생 중 휴대 단말기의 홀로그램 영상 표시 제어 방법을 설명하는 순서도이다. 도 2 및 도 9를 참조하면, S601단계에서 표시부(440)를 통해 컨텐츠 영상을 재생하여 표시하는 상태에서, 제어부(470)는 S602단계에서 사용자가 손을 카메라 모듈부(420)에서 이격시키는 제스쳐를 입력하는지 판단한다. 제어부(470)는 카메라 모듈부(420)로부터 수신하는 영상에서 사용자의 손의 중심점 또는 손의 끝을 검출하고 손의 움직임을 추적하여 사용자 손의 움직임 패턴을 분석하게 된다.
S603단계에서 사용자가 손을 카메라 모듈부(420)에서 이격시키는 제스쳐를 입력한 것으로 판단하는 경우, 제어부(470)는 S603단계에서 표시부(440)를 통해 컨텐츠 영상의 재생을 정지하고, S604단계에서 컨텐츠 아이콘으로 구성된 메뉴화면으로 전환하여 표시할 수 있다. 본 발명의 실시예에 따라 제어부(470)는 먼저 컨텐츠 영상의 재생을 정지하고, 사용자가 손을 카메라 모듈부(420)에서 이격시키는 제스쳐를 한 번 더 입력하였을 때, 표시부(440)를 통해 컨텐츠 아이콘으로 구성된 메뉴화면으로 전환하여 표시할 수 있다.
사용자가 입력한 제스쳐가 손을 카메라 모듈부(420)로 이격시키는 제스쳐가 아닌 것으로 판단하면, 제어부(470)는 S605단계에서 좌방향 또는 우방향으로 손을 이동시키는 제스쳐인지 판단한다. 좌방향 또는 우방향으로 손을 이동시키는 제스쳐인 경우, 제어부(470)는 S606단계에서 컨텐츠 영상의 재생을 정지하고, S607단계에서 다른 버전의 영상을 표시부(440)를 통해 표시한다. 다른 버전의 영상은 동일한 컨텐츠에 대해 여러 홀로그램 효과를 출력할 수 있도록 버전을 달리하는 영상에 해당한다.
S605단계에서 사용자가 입력한 제스쳐가 좌방향 또는 우방향으로 손을 이동시키는 제스쳐가 아닌 것으로 판단하면, 제어부(470)는 S608단계에서 손가락이 오므려지는 제스쳐가 입력되는지 판단한다. 해당 제스쳐가 입력되는 경우, S609단계에서 제어부(470)는 현재 재생 중인 컨텐츠 영상 위에 특정 그래픽 객체를 결합하여 표시할 수 있다. 컨텐츠 영상 위에 결합되는 그래픽 객체는 해당 컨텐츠와 관련되는 이미지로서, 예를 들어, '광화문'에 관한 컨텐츠 영상을 재생 중에 사용자가 손가락을 오므리는 제스쳐를 입력하는 경우, '광화문'과 꽃잎 이미지가 결합되어 표시될 수 있다.
제어부(470)는 S608단계에서 사용자가 입력한 제스쳐가 손가락을 오므리는 제스쳐가 아닌 것으로 판단하면, S602단계로 돌아가 사용자로부터 명령 입력을 대기한다.
도 10은 본 발명의 실시예에 따른 홀로그램 영상 표시 장치(10)에서 상자체의 다른 실시예를 도시하는 도면이다. 도 10의 상자체는 3개의 측면과 밑면으로 구성되는 입체 도형이며, 사용자 측을 향하는 개방부는 밑면을 기준으로 소정 각도를 이루어 형성된다. 개방부가 향하는 방향은 밑면을 기준으로 약 5ㅀ~15ㅀ를 이루는 것이 바람직하다. 개방부가 향하는 방향이 밑면으로부터 일정 각도를 이루고 있기 때문에 사용자가 홀로그램 영상 표시 장치를 눈높이보다 아래의 위치에 놓고 사용할 때에도 고개를 숙이지 않고 홀로그램 영상을 감상할 수 있게 된다.
본 발명의 실시예에 따라 상자체에는 각도 조절부가 형성될 수 있다. 각도 조절부는 상자체의 개방부가 향하는 방향을 조절하는 구성요소로서, 상자체의 바닥면의 일부 영역에 높이 조절 수단(예를 들어, 볼 스크류)으로 형성될 수 있다. 사용자는 각도 조절부를 통해, 상자체의 개방부가 향하는 방향과 사용자가 보는 방향을 일치시킬 수 있으며, 이를 통해 사용자는 보다 안정된 자세로 홀로그램 영상을 감상할 수 있게 된다.
본 발명을 통하면 휴대 단말기(400)가 상자체(100)에 얹어져 있는 상태에서도 간단한 제스쳐나 음성명령을 통해 컨텐츠 선택, 컨텐츠 영상 제어 등을 조작할 수 있어 사용자 편의성이 증대된다.
한편, 본 명세서와 도면에 개시 된 본 발명의 실시예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
10 : 홀로그램 영상 표시 장치
100 : 상자체
200 : 반사판
300 : 오브젝트
400 : 휴대 단말기
410 : 무선통신부
420 : 카메라 모듈부
430 : 오디오부
431 : 스피커
432 : 마이크
440 : 표시부
450 : 입력부
460 : 저장부
470 : 제어부
441, 442, 443 : 컨텐츠 아이콘
444, 445, 446 : 하위메뉴 아이콘

Claims (16)

  1. 상자체, 상기 상자체 내부에 설치되는 반사판 및 오브젝트를 이용한 휴대 단말기의 홀로그램 영상 표시 제어 방법에 있어서,
    홀로그램 어플리케이션의 메뉴화면을 표시하는 단계;
    상기 휴대 단말기 내에 구비된 가속도 센서부를 통해 상기 휴대 단말기가 놓인 방향을 판단하는 단계;
    상기 휴대 단말기의 표시부가 아래 방향으로 놓인 상태로 판단하는 경우, 상기 메뉴화면을 세로화면 모드에서 가로화면 모드로 전환하여 표시하는 단계;
    휴대 단말기의 표시부가 아랫방향으로 향하도록 상기 상자체에 고정된 상태에서, 휴대 단말기 내에 구비된 사용자 명령 인식부를 통해 사용자의 명령을 입력받는 단계; 및
    상기 입력받은 사용자의 명령에 따라 화면을 전환하여 표시하는 단계;를 포함하며,
    상기 화면은 상기 반사판에 의해 반사되어 사용자측으로 표시되는 것을 특징으로 하는 휴대 단말기의 홀로그램 영상 표시 제어 방법.
  2. 제1항에 있어서,
    상기 메뉴화면을 표시하는 단계는
    적어도 하나의 컨텐츠 아이콘으로 구성되는 컨텐츠 목록을 표시하는 단계인 것을 특징으로 하는 휴대 단말기의 홀로그램 영상 표시 제어 방법.
  3. 제2항에 있어서,
    상기 사용자의 명령을 입력받는 단계는
    상기 휴대 단말기 내에 구비된 카메라 모듈부를 통해 사용자의 제스쳐(gesture)를 입력받는 단계인 것을 특징으로 하는 휴대 단말기의 홀로그램 영상 표시 제어 방법.
  4. 제3항에 있어서,
    상기 화면을 전환하여 표시하는 단계는
    상기 입력받은 사용자의 제스쳐가 손을 좌방향 또는 우방향으로 이동하는 제스쳐인 경우, 손의 이동방향에 따라 상기 컨텐츠 아이콘을 이동시켜 표시하는 단계인 것을 특징으로 하는 휴대 단말기의 홀로그램 영상 표시 제어 방법.
  5. 제3항에 있어서,
    상기 화면을 전환하여 표시하는 단계는
    상기 입력받은 사용자의 제스쳐가 손을 상기 카메라 모듈부로 근접하는 제스쳐일 경우, 화면의 중앙에 위치하는 컨텐츠 아이콘에 해당하는 컨텐츠를 실행하여 컨텐츠 영상 화면을 표시하는 단계인 것을 특징으로 하는 휴대 단말기의 홀로그램 영상 표시 제어 방법.
  6. 제3항에 있어서,
    상기 화면을 전환하여 표시하는 단계는
    상기 입력받은 사용자의 제스쳐가 손을 상기 카메라 모듈부로 근접하는 제스쳐일 경우, 화면의 중앙에 위치하는 컨텐츠 아이콘에 해당하는 컨텐츠의 하위메뉴 아이콘을 표시하는 단계인 것을 특징으로 하는 휴대 단말기의 홀로그램 영상 표시 제어 방법.
  7. 제6항에 있어서,
    상기 화면을 전환하여 표시하는 단계는
    상기 카메라 모듈부를 통해 사용자의 제스쳐를 입력받는 단계;
    상기 입력받은 사용자의 제스쳐가 손을 좌방향 또는 우방향으로 이동하는 제스쳐인 경우, 손의 이동방향에 따라 상기 하위메뉴 아이콘을 이동시켜 표시하는 단계; 및
    상기 입력받은 사용자의 제스쳐가 손을 상기 카메라 모듈부로 근접하는 제스쳐일 경우, 화면의 중앙에 위치하는 하위메뉴 아이콘에 해당하는 기능의 실행 화면을 표시하는 단계를 더 포함하는 것을 특징으로 하는 휴대 단말기의 홀로그램 영상 표시 제어 방법.
  8. 제6항에 있어서,
    상기 하위메뉴 아이콘은
    컨텐츠 영상을 재생하기 위한 영상 재생 아이콘, 컨텐츠에 관한 텍스트 정보를 표시하는 기능의 텍스트 정보 아이콘 및 컨텐츠에 관한 지리적 정보를 표시하는 기능의 지리적 정보 아이콘 중 적어도 하나를 포함하는 것을 특징으로 하는 휴대 단말기의 홀로그램 영상 표시 제어 방법.
  9. 제5항 또는 제6항에 있어서,
    상기 화면을 전환하여 표시하는 단계는
    상기 입력받은 사용자의 제스쳐가 카메라 모듈부에서 손을 이격시키는 제스쳐일 경우, 상기 컨텐츠 아이콘으로 구성되는 메뉴화면으로 전환하여 표시하는 단계를 더 포함하는 것을 특징으로 하는 휴대 단말기의 홀로그램 영상 표시 제어 방법.
  10. 제5항에 있어서,
    상기 카메라 모듈부를 통해 사용자의 제스쳐를 입력받는 단계; 및
    사용자의 손가락이 오므려지는 제스쳐를 입력받을 경우, 상기 컨텐츠 영상 화면 상에 기 저장된 그래픽 객체를 중첩하여 표시하는 단계를 더 포함하는 것을 특징으로 하는 휴대 단말기의 홀로그램 영상 표시 제어 방법.
  11. 제1항에 있어서,
    상기 메뉴화면을 표시하는 단계는
    휴대 단말기 기종 목록을 표시하는 단계;
    상기 휴대 단말기 기종 목록 중 어느 하나의 휴대 단말기 기종의 선택을 입력받는 단계;
    상기 선택된 휴대 단말기 기종에 해당하는 메뉴화면을 표시하는 단계;를 포함하는 것을 특징으로 하는 휴대 단말기의 홀로그램 영상 표시 제어 방법.
  12. 제1항에 있어서,
    상기 메뉴화면을 표시하는 단계는
    입력 모드 설정 화면을 표시하는 단계;
    제스쳐 모드와 터치 모드 중 어느 하나의 모드 선택을 입력받는 단계;
    상기 제스쳐 모드 선택 시, 사용자 명령 인식부를 구동하는 단계; 및
    적어도 하나의 컨텐츠 아이콘으로 구성되는 컨텐츠 목록을 표시하는 단계를 포함하는 것을 특징으로 하는 휴대 단말기의 홀로그램 영상 표시 제어 방법.
  13. 삭제
  14. 제1항에 있어서,
    상기 사용자의 명령을 입력받는 단계는
    상기 휴대 단말기 내에 구비된 오디오부를 통해 사용자의 음성을 입력받는 단계인 것을 특징으로 하는 휴대 단말기의 홀로그램 영상 표시 제어 방법.
  15. 상자체, 상기 상자체에 설치되는 반사판, 오브젝트 및 휴대 단말기를 포함하는 홀로그램 영상 표시 장치에 있어서,
    상기 휴대 단말기는
    홀로그램 어플리케이션의 메뉴화면을 표시하는 표시부;
    카메라 모듈부 또는 오디오부로 구성되며 사용자의 제스쳐 또는 음성을 입력받는 명령 인식부;
    상기 입력받은 사용자의 명령에 따라 상기 표시부를 통해 화면을 전환하여 표시하는 제어부; 및
    휴대 단말기가 놓인 방향을 판단하는 가속도 센서부;를 포함하며,
    상기 화면은 상기 반사판에 의해 반사되어 사용자측으로 표시되고, 상기 제어부는 휴대 단말기의 표시부가 아랫방향으로 놓인 상태로 판단하면, 상기 표시부를 제어하여 상기 메뉴화면을 세로화면 모드에서 가로화면 모드로 전환하여 표시하는 것을 특징으로 하는 홀로그램 영상 표시장치.
  16. 제15항에 있어서,
    상기 상자체는
    하부에 상기 상자체의 전면이 향하는 방향을 조절할 수 있는 각도 조절부가 설치되는 것을 특징으로 하는 홀로그램 영상 표시 장치.
KR1020150104585A 2015-07-23 2015-07-23 휴대 단말기의 홀로그램 영상 표시 제어 방법 및 이를 이용하는 홀로그램 영상 표시 장치 KR101666500B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150104585A KR101666500B1 (ko) 2015-07-23 2015-07-23 휴대 단말기의 홀로그램 영상 표시 제어 방법 및 이를 이용하는 홀로그램 영상 표시 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150104585A KR101666500B1 (ko) 2015-07-23 2015-07-23 휴대 단말기의 홀로그램 영상 표시 제어 방법 및 이를 이용하는 홀로그램 영상 표시 장치

Publications (1)

Publication Number Publication Date
KR101666500B1 true KR101666500B1 (ko) 2016-10-17

Family

ID=57250046

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150104585A KR101666500B1 (ko) 2015-07-23 2015-07-23 휴대 단말기의 홀로그램 영상 표시 제어 방법 및 이를 이용하는 홀로그램 영상 표시 장치

Country Status (1)

Country Link
KR (1) KR101666500B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190020434A (ko) 2017-08-21 2019-03-04 이성주 영상 출력 장치의 콘텐츠 제공 방법
WO2020111471A1 (ko) * 2018-11-29 2020-06-04 전자부품연구원 증강현실을 위한 모바일 홀로그램 디스플레이 단말기
US11126140B2 (en) 2018-03-05 2021-09-21 Samsung Electronics Co., Ltd. Electronic device, external device capable of being combined with the electronic device, and a display method thereof
CN116363911A (zh) * 2023-06-02 2023-06-30 厦门奇翼科技有限公司 一种基于全息显示的学习机

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060019211A (ko) * 2004-08-27 2006-03-03 삼성전자주식회사 이동통신 단말기의 홀로그램 메뉴 생성 장치 및 방법
KR20120078407A (ko) * 2010-12-31 2012-07-10 엘지전자 주식회사 이동 단말기 및 그의 홀로그램 제어방법
KR20140035244A (ko) * 2012-09-10 2014-03-21 한국전자통신연구원 사용자 인터페이싱 장치 및 방법, 그리고 이를 이용하는 단말 장치
JP2015031808A (ja) * 2013-08-01 2015-02-16 株式会社バンダイ 映像表示装置及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060019211A (ko) * 2004-08-27 2006-03-03 삼성전자주식회사 이동통신 단말기의 홀로그램 메뉴 생성 장치 및 방법
KR20120078407A (ko) * 2010-12-31 2012-07-10 엘지전자 주식회사 이동 단말기 및 그의 홀로그램 제어방법
KR20140035244A (ko) * 2012-09-10 2014-03-21 한국전자통신연구원 사용자 인터페이싱 장치 및 방법, 그리고 이를 이용하는 단말 장치
JP2015031808A (ja) * 2013-08-01 2015-02-16 株式会社バンダイ 映像表示装置及びプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190020434A (ko) 2017-08-21 2019-03-04 이성주 영상 출력 장치의 콘텐츠 제공 방법
US11126140B2 (en) 2018-03-05 2021-09-21 Samsung Electronics Co., Ltd. Electronic device, external device capable of being combined with the electronic device, and a display method thereof
WO2020111471A1 (ko) * 2018-11-29 2020-06-04 전자부품연구원 증강현실을 위한 모바일 홀로그램 디스플레이 단말기
CN116363911A (zh) * 2023-06-02 2023-06-30 厦门奇翼科技有限公司 一种基于全息显示的学习机
CN116363911B (zh) * 2023-06-02 2023-11-07 厦门奇翼科技有限公司 一种基于全息显示的学习机

Similar Documents

Publication Publication Date Title
US10416789B2 (en) Automatic selection of a wireless connectivity protocol for an input device
US10656715B2 (en) Systems and methods for a haptically-enabled projected user interface
US11640235B2 (en) Additional object display method and apparatus, computer device, and storage medium
KR102524190B1 (ko) 복수의 터치스크린을 가지는 휴대 장치 및 복수의 터치스크린을 가지는 휴대 장치의 제어방법
CN107810470B (zh) 便携式装置和用于改变其屏幕的方法
KR102481878B1 (ko) 휴대 장치 및 휴대 장치의 화면 표시방법
KR102378570B1 (ko) 휴대 장치 및 휴대 장치의 화면 변경방법
KR20120140225A (ko) 터치스크린을 가지는 장치 및 그 화면 변경 방법
KR101666500B1 (ko) 휴대 단말기의 홀로그램 영상 표시 제어 방법 및 이를 이용하는 홀로그램 영상 표시 장치
CN111701238A (zh) 虚拟画卷的显示方法、装置、设备及存储介质
US10474324B2 (en) Uninterruptable overlay on a display
US20180267624A1 (en) Systems and methods for spotlight effect manipulation
US11010051B2 (en) Virtual sound mixing environment
TWI656359B (zh) 用於混合實境之裝置
KR20210055094A (ko) 이동 단말기
CN113132668A (zh) 显示设备、移动设备、由显示设备执行的视频呼叫方法以及由移动设备执行的视频呼叫方法
KR102151206B1 (ko) 이동 단말기 및 그 제어방법
EP4125274A1 (en) Method and apparatus for playing videos
KR20110056000A (ko) 이동 단말기 및 그 제어 방법
KR101781846B1 (ko) 이동 단말기 및 이것의 이미지 디스플레이 제어 방법
KR101537703B1 (ko) 이동 단말기 및 이동 단말기의 유저 인터페이스 제공 방법
KR101604682B1 (ko) 이동 단말기 및 그 제어 방법
CN113094282B (zh) 程序块运行方法、装置、设备及存储介质
EP3850468B1 (en) Snapping range for augmented reality objects
KR20170046122A (ko) 멀티 터치를 이용한 표시 정보 회전 방법 및 이를 구현한 단말기

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant