KR20200041548A - 모바일 장치 및 모바일 장치의 제어 방법 - Google Patents

모바일 장치 및 모바일 장치의 제어 방법 Download PDF

Info

Publication number
KR20200041548A
KR20200041548A KR1020180121724A KR20180121724A KR20200041548A KR 20200041548 A KR20200041548 A KR 20200041548A KR 1020180121724 A KR1020180121724 A KR 1020180121724A KR 20180121724 A KR20180121724 A KR 20180121724A KR 20200041548 A KR20200041548 A KR 20200041548A
Authority
KR
South Korea
Prior art keywords
image
display
grid
virtual
user
Prior art date
Application number
KR1020180121724A
Other languages
English (en)
Other versions
KR102620702B1 (ko
Inventor
박민선
장성현
최은영
한지연
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180121724A priority Critical patent/KR102620702B1/ko
Priority to US17/284,639 priority patent/US11487413B2/en
Priority to EP19871289.5A priority patent/EP3842907B1/en
Priority to PCT/KR2019/001939 priority patent/WO2020075925A1/ko
Publication of KR20200041548A publication Critical patent/KR20200041548A/ko
Application granted granted Critical
Publication of KR102620702B1 publication Critical patent/KR102620702B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas

Abstract

현실감 있는 영상 디바이스의 설치 시뮬레이션을 위해, 일 실시예에 따른 모바일 장치는, 디스플레이, 영상 디바이스를 설치할 공간을 촬영하는 카메라, 사용자의 입력을 수신하는 사용자 인터페이스부, 상기 카메라에 의해 촬영된 공간의 영상을 그리드(Grid)와 함께 표시하도록 상기 디스플레이를 제어하고, 상기 사용자의 입력에 대응하여 크기가 조절된 상기 영상 디바이스의 가상 이미지가 상기 그리드 상에 표시되도록 상기 디스플레이를 제어하는 제어부를 포함한다.

Description

모바일 장치 및 모바일 장치의 제어 방법{A MOBILE APPARATUS AND A METHOD FOR CONTROLLING THE MOBILE APPARATUS}
증강 현실(Augmented Reality) 기술을 이용하여 영상 디바이스의 설치를 시뮬레이션 할 수 있는 모바일 장치 및 모바일 장치의 제어방법에 관한 것이다.
모바일 장치는 이동성을 기반으로 다양한 기능을 제공하는 장치로서, 다양한 분야에서 폭넓게 사용되고 있다. 이러한 모바일 장치는 다양한 기능을 제공하기 위해 여러 가지 기능 모듈을 포함한다. 예를 들면, 모바일 장치는 이미지 수집 기능을 제공하는 카메라 모듈을 포함한다.
모바일 장치의 카메라 모듈을 이용하는 기술로서 증강 현실 기술이 존재한다. 증강 현실 기술은 실제 환경에 가상 사물이나 가상 정보를 합성하여 실제 환경에 존재하는 사물처럼 보이도록 하는 그래픽 기술을 말한다.
증강　현실 기술은 가상의 공간과 가상의 사물로 구현되는 기존의 가상　현실 기술과는　다르게 실제 공간에 가상의 사물을 합성한다. 따라서,　현실　세계만으로는 얻기 어려운 부가적인 정보들을 보강해 제공할 수 있는 특징을 가진다. 이러한 증강 현실 기술은 다양한　현실　환경에 응용이 가능하며, 특히, 유비쿼터스 환경에 적합한 차세대 디스플레이 기술로 각광받고 있다.
일 측면은 영상 디바이스가 설치될 실제 공간의 영상에 실제 크기의 영상 디바이스에 대응하는 가상 이미지를 함께 표시함으로써, 사용자가 현실감 있게 영상 디바이스의 설치를 시뮬레이션 할 수 있도록 하는 모바일 장치 및 모바일 장치의 제어 방법을 제공하는 것을 목적으로 한다.
다른 측면은 모바일 장치의 카메라를 이용하여 복수의 디스플레이 모듈을 포함하는 디스플레이 장치의 화소 값에 대한 캘리브레이션을 수행할 수 있는 모바일 장치 및 모바일 장치의 제어 방법을 제공하는 것을 목적으로 한다.
일 실시예에 따른 모바일 장치는 디스플레이, 영상 디바이스를 설치할 공간을 촬영하는 카메라, 사용자의 입력을 수신하는 사용자 인터페이스부, 상기 카메라에 의해 촬영된 공간의 영상을 그리드(Grid)와 함께 표시하도록 상기 디스플레이를 제어하고, 상기 사용자의 입력에 대응하여 크기가 조절된 상기 영상 디바이스의 가상 이미지가 상기 그리드 상에 표시되도록 상기 디스플레이를 제어하는 제어부를 포함한다.
또한, 상기 제어부는 상기 그리드에 포함된 적어도 하나의 셀을 선택하는 상기 사용자의 입력에 대응하여, 선택된 적어도 하나의 셀 상에 상기 영상 디바이스의 가상 이미지를 표시하도록 상기 디스플레이를 제어할 수 있다.
또한, 상기 제어부는 상기 그리드에서 추가 셀을 선택하는 상기 사용자의 입력에 대응하여, 선택된 추가 셀 상에 추가 영상 디바이스의 가상 이미지를 표시하도록 상기 디스플레이를 제어할 수 있다.
또한, 상기 제어부는 상기 공간의 영상에서 특정 패턴 및 특정 물체 중 적어도 하나를 인식하여 상기 영상 디바이스의 설치가 가능한 평면을 인식하고, 상기 인식된 평면에 상기 그리드를 표시하도록 상기 디스플레이를 제어할 수 있다.
또한, 상기 제어부는 상기 공간의 영상과 가이드 선을 함께 표시하도록 상기 디스플레이를 제어하고, 상기 가이드 선을 기준으로 상기 평면을 인식하고, 상기 인식된 평면에 상기 그리드를 표시하도록 상기 디스플레이를 제어할 수 있다.
또한, 상기 제어부는 상기 그리드의 셀의 크기를 변경하는 상기 사용자의 입력에 대응하여, 변경된 크기의 셀을 갖는 상기 그리드를 상기 공간의 영상과 함께 표시하도록 상기 디스플레이를 제어할 수 있다.
또한, 상기 제어부는 상기 영상 디바이스의 가상 이미지를 선택하는 상기 사용자의 입력에 대응하여, 상기 영상 디바이스의 가상 이미지 주변에 적어도 하나의 가상 컨텐츠 이미지를 표시하도록 상기 디스플레이를 제어할 수 있다.
또한, 상기 제어부는 상기 적어도 하나의 가상 컨텐츠 이미지 중 어느 하나를 선택하는 상기 사용자의 입력에 대응하여, 선택된 가상 컨텐츠 이미지에 대응하는 제1 컨텐츠를 상기 영상 디바이스의 가상 이미지 영역에 표시하도록 상기 디스플레이를 제어할 수 있다.
또한, 상기 제어부는 상기 가상 컨텐츠 이미지를 추가 선택하는 상기 사용자의 입력에 대응하여, 상기 영상 디바이스의 가상 이미지 영역을 제1 영역과 제2 영역으로 분할하고, 상기 제1 컨텐츠 및 추가 선택된 상기 가상 컨텐츠 이미지에 대응하는 제2 컨텐츠를 각각 상기 제1 영역과 상기 제2 영역에 표시하도록 상기 디스플레이를 제어할 수 있다.
또한, 일 실시예에 따른 모바일 장치는 외부 서버와 연결하는 통신부; 더 포함하고, 상기 제어부는 상기 영상 디바이스의 가상 이미지에 대응하는 상기 영상 디바이스의 구매 정보를 상기 외부 서버로부터 획득하고, 상기 영상 디바이스의 구매 정보를 상기 영상 디바이스의 가상 이미지와 함께 표시하도록 상기 디스플레이를 제어할 수 있다.
일 실시예에 따른 모바일 장치의 제어 방법은 카메라를 이용하여 영상 디바이스를 설치할 공간을 촬영하는 단계, 상기 카메라에 의해 촬영된 공간의 영상을 그리드와 함께 디스플레이에 표시하는 단계, 사용자의 입력에 대응하여 크기가 조절된 상기 영상 디바이스의 가상 이미지를 상기 그리드 상에 표시하는 단계를 포함한다.
또한, 상기 영상 디바이스의 가상 이미지를 상기 그리드 상에 표시하는 단계는 상기 그리드에 포함된 적어도 하나의 셀을 선택하는 상기 사용자의 입력에 대응하여, 선택된 적어도 하나의 셀 상에 상기 영상 디바이스의 가상 이미지를 표시하는 단계를 포함할 수 있다.
또한, 상기 영상 디바이스의 가상 이미지를 상기 그리드 상에 표시하는 단계는 상기 그리드에서 추가 셀을 선택하는 상기 사용자의 입력에 대응하여, 선택된 추가 셀 상에 추가 영상 디바이스의 가상 이미지를 표시하는 단계;를 더 포함할 수 있다.
또한, 상기 촬영된 공간의 영상을 그리드와 함께 디스플레이에 표시하는 단계는 상기 공간의 영상에서 특정 패턴 및 특정 물체 중 적어도 하나를 인식하여 상기 영상 디바이스의 설치가 가능한 평면을 인식하고, 상기 인식된 평면에 상기 그리드를 표시하는 단계;를 더 포함할 수 있다.
또한, 상기 촬영된 공간의 영상을 그리드와 함께 디스플레이에 표시하는 단계는 상기 공간의 영상과 가이드 선을 함께 상기 디스플레이에 표시하는 단계; 및 상기 가이드 선을 기준으로 상기 평면을 인식하고, 상기 인식된 평면에 상기 그리드를 표시하는 단계;를 더 포함할 수 있다.
또한, 상기 촬영된 공간의 영상을 그리드와 함께 디스플레이에 표시하는 단계는 상기 그리드의 셀의 크기를 변경하는 상기 사용자의 입력에 대응하여, 변경된 크기의 셀을 갖는 상기 그리드를 상기 공간의 영상과 함께 표시하는 단계;를 포함할 수 있다.
또한, 일 실시예에 따른 모바일 장치의 제어 방법은 상기 영상 디바이스의 가상 이미지를 선택하는 상기 사용자의 입력에 대응하여, 상기 영상 디바이스의 가상 이미지 주변에 적어도 하나의 가상 컨텐츠 이미지를 표시하는 단계;를 더 포함할 수 있다.
또한, 또한, 일 실시예에 따른 모바일 장치의 제어 방법은 상기 적어도 하나의 가상 컨텐츠 이미지 중 어느 하나를 선택하는 상기 사용자의 입력에 대응하여, 선택된 가상 컨텐츠 이미지에 대응하는 제1 컨텐츠를 상기 영상 디바이스의 가상 이미지 영역에 표시하는 단계;를 더 포함할 수 있다.
또한, 일 실시예에 따른 모바일 장치의 제어 방법은 상기 가상 컨텐츠 이미지를 추가 선택하는 상기 사용자의 입력에 대응하여, 상기 영상 디바이스의 가상 이미지 영역을 제1 영역과 제2 영역으로 분할하는 단계; 및 상기 제1 컨텐츠 및 상기 추가 선택된 가상 컨텐츠 이미지에 대응하는 제2 컨텐츠를 각각 상기 제1 영역과 상기 제2 영역에 표시하는 단계;를 더 포함할 수 있다.
또한, 일 실시예에 따른 모바일 장치의 제어 방법은 상기 영상 디바이스의 가상 이미지에 대응하는 상기 영상 디바이스의 구매 정보를 상기 외부 서버로부터 획득하는 단계; 및 상기 영상 디바이스의 구매 정보를 상기 영상 디바이스의 가상 이미지와 함께 표시하는 단계;를 더 포함할 수 있다.
일 측면에 따른 모바일 장치 및 모바일 장치의 제어 방법에 의하면, 영상 디바이스가 설치될 실제 공간의 영상에 실제 크기의 영상 디바이스에 대응하는 가상 이미지를 함께 표시함으로써, 사용자가 현실감 있게 영상 디바이스의 설치를 시뮬레이션 할 수 있다.
또한, 일 측면에 따른 모바일 장치 및 모바일 장치의 제어 방법에 의하면, 실제 크기의 영상 디바이스에 대응하는 가상 이미지 영역에 컨텐츠를 재생하여 보다 현실감 있는 영상 디바이스의 설치 시뮬레이션을 수행할 수 있다.
다른 측면에 따른 모바일 장치 및 모바일 장치의 제어 방법에 의하면, 모바일 장치의 카메라를 이용하여 복수의 디스플레이 모듈을 포함하는 디스플레이 장치의 화소 값에 대한 캘리브레이션을 수행할 수 있다.
도 1은 일 실시예에 따른 모바일 장치의 제어 블록도이다.
도 2는 도 1에 도시된 제어부의 상세 블록도이다.
도 3은 일 실시예에 따른 모바일 장치 제어 방법의 흐름도이다.
도 4 내지 도 6은 영상 디바이스를 설치할 공간의 영상에서 평면을 인식하고, 그리드를 표시하는 여러 가지 방법을 설명하기 위한 도면이다.
도 7 내지 도 9는 영상 디바이스의 가상 이미지를 표시하는 것을 설명하기 위한 도면이다.
도 10 및 도 11은 그리드의 셀 크기를 변경하는 것을 설명하기 위한 도면이다.
도 12 내지 도 16은 영상 디바이스의 가상 이미지를 추가로 표시하는 것을 설명하기 위한 도면이다.
도 17 및 도 18은 영상 디바이스의 가상 이미지 상에 컨텐츠를 표시하는 것을 설명하기 위한 도면이다.
도 19 및 도 20은 영상 디바이스의 가상 이미지 영역을 분할하여 컨텐츠를 표시하는 것을 설명하기 위한 도면이다.
도 21은 다른 실시예에 따른 모바일 장치 제어 방법의 흐름도이다.
도 22는 복수의 디스플레이 모듈의 화소 값을 캘리브레이션 하는 것을 설명하기 위한 도면이다.
본 명세서에 기재된 실시예와 도면에 도시된 구성은 개시된 발명의 바람직한 일 예에 불과할 뿐이며, 본 출원의 출원시점에 있어서 본 명세서의 실시예와 도면을 대체할 수 있는 다양한 변형 예들이 있을 수 있다. 본 명세서에서 사용한 용어는 실시예를 설명하기 위해 사용된 것이고, 개시된 발명을 제한 및/또는 한정하려는 의도가 아니다.
명세서에서 사용되는 '부'라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부'가 하나의 구성 요소로 구현되거나, 하나의 '부'가 복수의 구성 요소들을 포함하는 것도 가능하다. 본 명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 또한, 제 1 이나 제 2 등의 용어는 하나의 부분을 다른 부분으로부터 구별하기 위해 사용되는 것으로, 특별한 기재가 없는 이상 이들이 순차적인 표현을 의미하는 것은 아니다.
또한, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들의 조합이 존재함을 표현하고자 하는 것이며, 하나 또는 그 이상의 다른 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들의 조합의 추가적인 존재 또는 부가 가능성을 배제하지 않는다.
또한, "제1", "제2" 등과 같이 서수를 포함하는 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위하여 사용되며, 상기 하나의 구성요소들을 한정하지 않는다. 또한, "~부", "~기", "~블록", "~부재", "~모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미할 수 있다. 예를 들어, 상기 용어들은 적어도 하나의 하드웨어/메모리에 저장된 적어도 하나의 소프트웨어 또는 프로세서에 의하여 처리되는 적어도 하나의 프로세스를 의미할 수 있다.
이하에서는 첨부한 도면을 참조하여 개시된 발명의 일 실시예가 상세하게 설명된다. 첨부된 도면에서 제시된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낼 수 있다.
도 1은 일 실시예에 따른 모바일 장치의 제어 블록도이고, 도 2는 도 1에 도시된 제어부의 상세 블록도이다.
먼저, 일 실시예에 따른 모바일 장치(1)는 이동 가능한 장치로서 증강 현실을 제공할 수 있는 장치를 포함한다. 예를 들면, 모바일 장치(1)는 휴대 전화기, PMP(Portable Multimedia Player), 디지털 방송 플레이어, PDA(Personal Digital Assistant), 음악 파일 재생기(예컨대, MP3 플레이어), 휴대 게임 단말기, 태블릿 PC 및 스마트폰(Smart Phone) 등 카메라를 구비하여 증강 현실을 제공할 수 있는 장치로 구현될 수 있다. 이하에서는 설명의 편의를 위해 모바일 장치(1)가 스마트폰인 것으로 가정한다.
도 1을 참조하면, 일 실시예에 따른 모바일 장치(1)는 카메라(100), 사용자 인터페이스부(210), 마이크(220), 출력부(300), 통신부(400), 저장부(500) 및 제어부(600)를 포함할 수 있다.
카메라(100)는 영상 디바이스를 설치할 공간을 촬영할 수 있다. 카메라(100)는 모바일 장치(1)에 통상적으로 장착되는 카메라 모듈로서, 렌즈, CCD, CMOS와 같은 영상 센서 및 아날로그 디지털 컨버터를 포함할 수 있다. 카메라(100)는 피사체를 포착하여 획득한 영상을 디지털 신호로 변환하여 제어부(600)로 전송한다. 후술할 제어부(600)는 디지털 신호로 변환된 영상에 대한 처리를 수행할 수 있다.
사용자 인터페이스부(210)는 사용자의 입력을 수신하여 제어부(600)에 전달한다. 사용자 인터페이스부(210)는 키 패드(key pad) 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등 다양한 사용자 입력 수단을 포함할 수 있다.
또한, 사용자 인터페이스부(210)는 터치 패널을 장착한 디스플레이(310)일 수 있다. 사용자 인터페이스부(210)는 터치 제스처와 같은 사용자의 입력을 감지하고 동시에 사용자의 입력에 대한 처리 결과를 이미지로 표시하는 디스플레이(310)와 동일하게 취급될 수 있다. 사용자 인터페이스부(210)는 디스플레이(310) 상에 모바일 장치(1)의 제어를 가능하게 하는 UI 엘리먼트(User Interface Element)를 표시할 수 있다.
마이크(220)는 오디오 신호를 수신하고 전기적 신호로 변환하여 제어부(600)에 전송할 수 있다. 마이크(220)는 사용자의 음성 명령을 입력 받아 제어부(600)로 전송하고, 제어부(600)는 사용자의 음성 명령에 대응하여 모바일 장치(1)를 제어할 수 있다.
출력부(300)는 영상 신호 또는 오디오 신호를 출력할 수 있는 장치로서 다양한 장치에 해당할 수 있다. 구체적으로, 출력부(300)는 디스플레이(310) 및 스피커(320) 중 적어도 하나를 포함할 수 있다. 스피커(320)는 모바일 장치(1)의 각종 기능과 관련된 오디오 신호를 출력할 수 있다.
디스플레이(310)는 사용자가 입력한 정보 또는 사용자에게 제공되는 정보를 다양한 화면으로 표시할 수 있다. 디스플레이(310) 제어부(600)에서 처리되는 정보를 표시한다. 예를 들면, 디스플레이(310)는 카메라(100)에 의해 촬영된 공간의 영상을 표시하고, 공간의 영상에 가상 이미지가 합성된 증강 현실 영상을 표시할 수 있다. 디스플레이(310)는 모바일 장치(1)의 각종 기능과 관련된 GUI(Graphic User Interface)를 표시할 수 있다.
또한, 디스플레이(310)는 터치 패널을 포함하여 입력 장치로도 사용될 수 있다. 디스플레이(310)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystaldisplay), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등으로 구현될 수 있다.
통신부(400)는 네트워크 또는 통신 채널을 통해 모바일 장치(1)를 외부 디바이스, 서버 등과 연결한다. 통신부(400)는 다양한 통신 모듈을 포함할 수 있다. 예를 들면, 통신부(400)는 블루투스(Bluetooth), 지그비(Zigbee), 무선 랜((wireless local area network), 홈 RF(Home Radio Frequency), UWB(Ultra-wide band), 인터넷 등과 같은 다양한 통신 네트워크와 연결 가능한 통신 모듈을 포함할 수 있다.
저장부(500)는 모바일 장치(1)의 작동을 제어하기 위한 프로그램 및 데이터를 기억/저장할 수 있다. 또한, 저장부(500)는 입/출력되는 데이터(예를 들어, 메시지, 정지 영상, 동영상 등)를 저장할 수 있다.
이러한 저장부(500)는 메모리에 해당할 수 있고, S-램(Static Random Access Memory, S-RAM), D-램(Dynamic Random Access Memory) 등과 같은 휘발성 메모리, 데이터를 장기간 저장하기 위한 롬(Read Only Memory), 이피롬(Erasable Programmable Read Only Memory: EPROM), 이이피롬(Electrically Erasable Programmable Read Only Memory: EEPROM) 등과 같은 비휘발성 메모리를 포함할 수 있다.
제어부(600)는 저장부(500)에 저장/기억된 프로그램 및 데이터에 따라 모바일 장치(1)의 작동을 제어하기 위한 제어 신호를 생성하는 프로세서를 포함할 수 있다. 프로세서는 논리 회로와 연산 회로를 포함할 수 있으며, 저장부(500)로부터 제공된 프로그램에 따라 데이터를 처리하고, 처리 결과에 따라 제어 신호를 생성할 수 있다.
또한, 프로세서와 메모리는 별도의 칩으로 구현되거나, 단일의 칩으로 구현될 수 있다. 제어부(600)는 복수의 프로세서와 복수의 메모리를 포함할 수도 있다.
도 2를 참조하면, 제어부(600)는 공간 인식부(610), 가상 이미지 생성부(620) 및 증강 현실 처리부(630)를 포함할 수 있다. 공간 인식부(610), 가상 이미지 생성부(620) 및 증강 현실 처리부(630)는 각각 별개의 프로세서로 구현되거나, 하나의 프로세서로 구현될 수 있다.
공간 인식부(610)는 사용자의 입력에 대응하여, 카메라(100)에 의해 촬영된 영상 디바이스를 설치할 공간의 영상에서 평면(plane)을 인식할 수 있다. 구체적으로, 공간 인식부(610)는 실제 공간의 영상에 포함된 벽면(W), 바닥면(10) 및 천장면을 구별하여 인식할 수 있다. 영상 디바이스는 평면 또는 곡면의 형상을 가질 수 있으나, 설명의 편의를 위하여 영상 디바이스가 평면 형상을 갖는 것으로 가정한다. 또한, 영상 디바이스는 다양한 위치에 설치될 수 있으나, 일반적으로 벽면 상에 설치된다.
영상 디바이스는 영상을 표시할 수 있는 전자 장치로서, 디스플레이 모듈을 의미한다. 디스플레이 모듈은 적어도 하나의 LED 화소를 포함하는 LED 모듈 또는 복수의 LED 모듈들이 연결된 LED 캐비넷(cabinet)일 수 있다. 디스플레이 모듈은 복수 개가 물리적으로 연결되어 하나의 스크린을 형성할 수 있다. 즉, 영상 디바이스는 복수의 디스플레이 모듈이 연결 및 조립된 장치일 수 있다.
또한, 공간 인식부(610)는 특정 공간의 영상에서 인식한 평면에 관한 데이터를 저장부(500)에 저장할 수 있고, 평면에 관한 데이터를 저장부(500)로부터 가져올 수 있다. 카메라(100)에 의해 촬영된 공간의 영상이 저장부(500)에 저장되어 있는 공간의 영상과 동일한 경우, 공간 인식부(610)는 저장부(500)로부터 촬영된 공간에 포함된 평면에 관한 데이터를 가져올 수 있다.
이와 같이, 일 실시예에 따른 모바일 장치(1)는 영상 디바이스가 설치될 수 있는 공간 또는 평면을 자동으로 인식할 수 있으므로, 사용자가 영상 디바이스 설치의 시뮬레이션이 보다 용이해질 수 있다.
가상 이미지 생성부(620)는 객체의 가상 이미지를 생성할 수 있다. 생성된 객체의 가상 이미지는 사용자의 입력과 인터랙션 가능한 것으로서, 사용자는 객체의 가상 이미지를 선택, 이동, 변경할 수 있다.
예를 들면, 가상 이미지 생성부(620)는 공간의 영상에서 인식된 평면에 표시될 그리드(Grid) 이미지를 생성할 수 있다. 그리드(Grid) 이미지는 격자 무늬의 이미지로서 일정한 크기의 복수의 셀(cell)을 갖는 이미지이다. 그리드 셀의 크기는 사용자의 입력에 대응하여 변경될 수 있고, 가상 이미지 생성부(620)는 그리드의 셀의 크기를 변경하는 사용자의 입력에 대응하여 변경된 크기의 셀을 갖는 그리드 이미지를 생성할 수 있다.
또한, 가상 이미지 생성부(620)는 영상 디바이스의 가상 이미지 및 영상 디바이스의 가상 이미지 주변에 표시될 수 있는 가상 컨텐츠 이미지를 생성할 수 있다. 컨텐츠는 사진, 비디오, 오디오, 텍스트 등의 다양한 형태의 데이터로서, 가상 컨텐츠 이미지는 이러한 컨텐츠 정보를 포함하는 가상 이미지이다. 또한, 가상 컨텐츠 이미지에 대응하는 컨텐츠는 저장부(500)에 저장된 것이거나, 통신부(400)를 통해 외부 서버 등으로부터 수신되는 것일 수 있다.
증강 현실 처리부(630)는 실제 공간의 영상과 가상 이미지를 디스플레이(310)에 함께 표시할 수 있다. 구체적으로, 증강 현실 처리부(630)는 실제 공간의 영상과 가상 이미지를 합성한 증강 현실 영상을 생성하고, 생성된 증강 현실 영상을 디스플레이(310)에 표시할 수 있다.
증강 현실 처리부(630)는 가상 이미지 생성부(620)에 의해 생성된 그리드 이미지를 카메라(100)에 의해 촬영된 공간의 영상에 표시하고, 사용자의 입력에 대응하여 그리드 상에 영상 디바이스의 가상 이미지를 함께 표시하도록 디스플레이(310)를 제어할 수 있다. 또한, 증강 현실 처리부(630)는 실제 공간의 영상, 영상 디바이스의 가상 이미지 및 가상 컨텐츠 이미지를 함께 표시하도록 디스플레이(310)를 제어할 수 있다.
이와 같이, 영상 디바이스가 설치될 실제 공간의 영상에 실제 크기의 영상 디바이스에 대응하는 가상 이미지를 함께 표시함으로써, 사용자가 현실감 있게 영상 디바이스의 설치를 시뮬레이션 할 수 있다.
도 3은 일 실시예에 따른 모바일 장치 제어 방법의 흐름도이다. 도 3은 영상 디바이스 설치 시뮬레이션의 전체 과정을 보여준다.
도 3을 참조하면, 모바일 장치(1)의 카메라(100)는 영상 디바이스를 설치할 실제 공간을 촬영하여 영상을 획득한다(701). 제어부(600)는 카메라(100)에 의해 촬영된 공간의 영상에 포함된 평면에 관한 데이터가 저장부(500)에 존재하는지 확인한다(702). 평면에 관한 데이터가 저장부(500)에 존재하는 경우, 제어부(600)는 해당 평면에 관한 데이터를 가져올 수 있다. 평면에 관한 데이터가 저장부(500)에 저장되어 있지 않으면, 제어부(600)는 카메라(100)에 의해 촬영된 공간의 영상에서 평면을 인식한다(704).
제어부(600)는 촬영된 공간의 영상을 그리드와 함께 표시하도록 디스플레이(310)를 제어한다. 구체적으로, 제어부(600)는 촬영된 공간의 영상에서 인식된 평면에 일정 크기를 갖는 복수의 셀을 포함하는 그리드를 표시할 수 있다(705). 사용자 인터페이스부(210)는 사용자로부터 표시된 그리드 상에서 적어도 하나의 셀을 선택하는 입력을 수신한다(706). 제어부(600)는 적어도 하나의 셀을 선택하는 사용자의 입력에 대응하여, 선택된 적어도 하나의 셀 상에 영상 디바이스의 가상 이미지를 생성하고, 생성한 영상 디바이스의 가상 이미지를 촬영된 공간의 영상, 그리드 이미지와 함께 표시하도록 디스플레이(310)를 제어할 수 있다(707).
또한, 사용자 인터페이스부(210)를 통해 표시된 영상 디바이스의 가상 이미지를 선택하는 사용자의 입력이 수신되면, 제어부(600)는 영상 디바이스의 가상 이미지 주변에 적어도 하나의 가상 컨텐츠 이미지를 생성하고, 가상 컨텐츠 이미지를 표시하도록 디스플레이(310)를 제어할 수 있다. 적어도 하나의 가상 컨텐츠 이미지 중 어느 하나를 선택하는 사용자의 입력이 수신되면, 제어부(600)는 선택된 가상 컨텐츠 이미지에 대응하는 제1 컨텐츠를 영상 디바이스의 가상 이미지 영역에 표시하도록 디스플레이(310)를 제어할 수 있다(708).
이와 같이, 영상 디바이스가 설치될 실제 공간의 영상에 실제 크기의 영상 디바이스에 대응하는 가상 이미지를 함께 표시하고, 실제 크기의 영상 디바이스에 대응하는 가상 이미지 영역에 컨텐츠를 재생함으로써, 보다 현실감 있는 영상 디바이스의 설치 시뮬레이션을 수행할 수 있다.
또한, 제어부(600)는 영상 디바이스의 가상 이미지에 대응하는 실제 영상 디바이스의 구매 정보를 외부 서버(미도시)로부터 획득하고, 영상 디바이스의 구매 정보를 영상 디바이스의 가상 이미지와 함께 표시하도록 디스플레이(310)를 제어할 수 있다(709).
사용자는 자신이 시뮬레이션 해본 것과 동일한 영상 디바이스를 구매하여 설치할 수 있으므로, 영상 디바이스를 실제로 설치할 때 발생할 수 있는 오차를 최소화 할 수 있다.
이하 도 4 내지 도 20에서 본 발명의 특징이 보다 자세히 설명된다.
도 4 내지 도 6은 다양한 방식으로 영상 디바이스를 설치할 공간의 영상에서 평면을 인식하고, 그리드를 표시하는 것을 보여준다.
도 4를 참조하면, 제어부(600)는 카메라(100)에 의해 촬영된 공간의 영상에서 특정 패턴을 인식하여 벽면(W)을 인식할 수 있다. 벽면(W)은 반복되는 패턴을 갖는 타일 또는 벽지로 구성될 수 있고, 공간 인식부(610)는 이러한 패턴이 포함된 평면을 영상 디바이스가 설치될 수 있는 평면으로 인식할 수 있다. 제어부(600)는 인식된 벽면(W) 상에 그리드(20)를 표시하도록 디스플레이(310)를 제어할 수 있다.
도 5를 참조하면, 제어부(600)는 카메라(100)에 의해 촬영된 공간의 영상에서 특정 물체를 인식하여 벽면(W)을 인식할 수 있다. 벽면(W)에는 액자와 같은 특정 물체가 설치되어 있을 수 있으므로, 공간 인식부(610)는 특정 물체가 포함된 평면을 영상 디바이스가 설치될 수 있는 평면으로 인식할 수 있다. 제어부(600)는 인식된 벽면(W) 상에 그리드(20)를 표시하도록 디스플레이(310)를 제어할 수 있다.
도 6을 참조하면, 제어부(600)는 평면을 인식하기 위한 가이드 선을 디스플레이(310) 상에 표시할 수 있다. 제어부(600)는 카메라(100)에 의해 촬영된 공간의 영상과 가이드 선을 함께 디스플레이(310) 상에 표시하고, 가이드 선을 기준으로 평면을 인식할 수 있다. 구체적으로, 디스플레이(310)에 표시된 가이드 선이 벽면(W)과 바닥면(10)의 경계선과 맞추어지면, 제어부(600)는 가이드 선을 기준으로 상부 면을 벽면(W)으로 인식하고 하부 면을 바닥면(10)으로 인식할 수 있다. 제어부(600)는 인식된 벽면(W) 상에 그리드(20)를 표시하도록 디스플레이(310)를 제어할 수 있다.
이와 같이, 영상 디바이스가 설치될 수 있는 공간 또는 평면을 자동으로 인식할 수 있으므로, 사용자가 영상 디바이스 설치의 시뮬레이션이 보다 용이해질 수 있다. 또한, 영상 디바이스의 설치가 가능한 평면에 그리드를 표시함으로써, 사용자가 영상 디바이스의 크기를 쉽게 조절하여 시뮬레이션 할 수 있다. 또한, 실제 영상 디바이스의 크기와 동일한 영상 디바이스의 가상 이미지를 표시함으로써, 보다 현실감 있는 시뮬레이션이 가능하다.
도 7 내지 도 9는 영상 디바이스의 가상 이미지를 표시하는 것을 설명하기 위한 도면이다.
도 7을 참조하면, 제어부(600)는 그리드(20)에 포함된 적어도 하나의 셀(21)을 선택하는 사용자의 입력에 대응하여, 선택된 적어도 하나의 셀(21) 상에 영상 디바이스의 가상 이미지(30)를 표시하도록 디스플레이(310)를 제어할 수 있다. 구체적으로, 사용자가 그리드(20) 상의 임의의 위치에 있는 셀(21)을 터치하고 드래그 앤 드랍을 통해 복수의 셀(21)을 선택할 수 있다. 제어부(600)는 선택된 복수의 셀(21)에 대응하는 크기를 갖는 영상 디바이스의 가상 이미지(30)를 생성하고, 이를 디스플레이(310) 상에 표시할 수 있다.
이 때, 영상 디바이스의 가상 이미지(30)는 복수의 셀(21)이 선택된 이후 표시되거나, 복수의 셀(21)이 선택되는 동안 선택된 셀(21)의 순서에 따라 순차적으로 표시될 수 있다. 또한, 제어부(600)는 복수의 셀(21)이 선택되는 동안 선택된 셀(21)이 구별되어 표시되도록 디스플레이(310)를 제어할 수 있다. 예를 들면, 선택된 셀(21)의 색상이 변경되어 표시될 수 있다.
도 7에는 14개의 셀(7x2)에 대응하는 크기(43인치)를 갖는 영상 디바이스의 가상 이미지(30)가 표시되어 있다. 하나의 셀(21)의 크기는 실제 영상 디바이스의 크기에 대응하여 미리 설정되어 있는 것일 수 있다. 그리드(20)는 일정 크기를 갖는 복수의 셀(21)로 구성되고, 사용자는 선택하는 셀(21)의 개수를 조절할 수 있으므로, 영상 디바이스의 가상 이미지의 크기를 다양하게 조절할 수 있다.
또한, 하나의 셀(21)의 크기는 사용자의 입력에 대응하여 변경될 수도 있다. 셀(21)의 크기 변경은 도 10 및 도 11에서 자세히 설명된다.
또한, 제어부(600)는 영상 디바이스 설치 시뮬레이션에 필요한 그래픽 유저 인터페이스(GUI)를 디스플레이(310) 상에 표시할 수 있다. 구체적으로, 제어부(600)는 그리드(20)의 표시 여부를 설정하기 위한 가이드(Guide) 아이콘(40), 셀(21)의 크기를 변경하기 위한 셀(Cell) 아이콘(50), 표시된 영상 디바이스의 가상 이미지(30)에 대한 구매 정보 또는 구매를 요청하기 위한 구매(Order) 아이콘(60) 및 표시된 영상 디바이스의 가상 이미지(30)를 삭제하기 위한 클리어(Clear) 아이콘(70)을 생성하여 디스플레이(310) 상에 표시할 수 있다.
도 8을 참조하면, 사용자가 가이드(Guide) 아이콘(40)에 터치 입력한 경우, 디스플레이(310) 상에 표시된 그리드(20)가 제거될 수 있다. 즉, 제어부(600)는 카메라(100)에 의해 촬영된 공간의 영상과 영상 디바이스의 가상 이미지(30)만 표시하도록 디스플레이(310)를 제어할 수 있다. 따라서 사용자는 실제 공간의 벽면(W)에 영상 디바이스가 어떻게 설치될 수 있는지 보다 쉽게 확인할 수 있다.
이 때, 사용자가 모바일 장치(1)를 움직여 카메라(100)가 바라보는 방향이 변경되더라도, 영상 디바이스의 가상 이미지(30)는 실제 공간의 벽면에 고정되어 있는 것처럼 표시될 수 있다.
또한, 카메라(100)가 벽면(W)의 다른 영역을 바라보게 되는 경우, 사용자는 벽면(W)의 다른 영역에 표시된 그리드(20)의 셀(21)을 연결하여 선택할 수 있다. 다시 말해, 그리드(20) 내에서 사용자의 셀(21) 선택 입력이 유지되고 있는 경우, 제어부(600)는 이미 선택되어 디스플레이(310) 상에 표시되지 않는 셀(21)과 디스플레이(310) 상에 표시되어 선택되는 셀(21)을 연결할 수 있다. 따라서, 사용자가 그리드(20)의 셀(21)을 선택함에 있어서, 카메라(100)의 응시 방향이 고정되어야 하는 것은 아니다.
도 9를 참조하면, 제어부(600)는 영상 디바이스의 가상 이미지(30)의 위치를 변경하는 사용자의 입력에 대응하여, 영상 디바이스의 가상 이미지(30)가 표시되는 위치를 변경할 수 있다. 즉, 사용자의 드래그 앤 드랍 입력에 따라, 그리드(20) 또는 벽면(W) 상에서 영상 디바이스의 가상 이미지(30)가 위치 변경되어 표시될 수 있다.
도 10 및 도 11은 그리드의 셀 크기를 변경하는 것을 설명하기 위한 도면이다.
도 10을 참조하면, 제어부(600)는 그리드(20)의 셀(21)의 크기를 변경하는 사용자의 입력에 대응하여, 그리드(20)의 단위 셀(21)의 크기를 변경할 수 있다. 사용자가 셀(Cell) 아이콘(50)에 터치 입력한 경우, 제어부(600)는 단위 셀(21)의 크기 메뉴(51)를 생성하여 디스플레이(310) 상에 표시할 수 있다.
단위 셀의 크기 메뉴(51)는 가로 길이 및 세로 길이의 비율이 1:1인 단위 셀(51a) 또는 가로 길이 및 세로 길이의 비율이 16:9인 단위 셀(51b)을 선택할 수 있도록 제공될 수 있다. 단위 셀(21)의 가로 길이, 세로 길이, 가로 길이와 세로 길이의 비율은 영상 디바이스의 실제 크기에 따라 다양하게 정해질 수 있다. 또한, 단위 셀(21)의 크기는 영상 디바이스를 구성할 디스플레이 모듈의 크기에 따라 정해질 수 있다.
도 10에서, 1:1 비율의 단위 셀(51a)을 갖는 그리드(20)가 디스플레이(310) 상에 표시되어 있는 경우, 제어부(600)가 사용자의 16:9 비율의 단위 셀(51b)에 대한 선택 입력에 대응하여, 16:9 비율의 단위 셀을 갖는 그리드(20)를 디스플레이(310) 상에 표시한다.
도 11을 참조하면, 제어부(600)는 변경된 크기의 셀(21)을 갖는 그리드(20)를 표시하기 전에, 그리드(20)의 변경을 확인하는 질의 화면을 생성하여 디스플레이(310)에 표시할 수 있다. 구체적으로, 그리드(20) 상에 영상 디바이스의 가상 이미지(30)가 표시되어 있는 상태에서 셀 아이콘(50)에 사용자의 터치가 입력된 경우, 제어부(600)는 '셀 크기를 변경하면 기존 시뮬레이션 한 데이터가 사라집니다. 계속 할까요?'와 같은 질의가 포함된 화면을 디스플레이(310)에 표시할 수 있다. 따라서 사용자의 잘못된 입력 또는 사용자의 의도와 다르게 시뮬레이션 데이터가 삭제되는 것을 방지할 수 있다.
도 12 내지 도 16은 영상 디바이스의 가상 이미지를 추가로 표시하는 것을 설명하기 위한 도면이다.
제어부(600)는 그리드(20) 상에서 추가 셀을 선택하는 사용자의 입력에 대응하여, 선택된 추가 셀 상에 추가 영상 디바이스의 가상 이미지(31)를 표시하도록 디스플레이(310)를 제어할 수 있다.
도 12 및 도 13을 참조하면, 사용자가 그리드(20) 상에 이미 존재하는 영상 디바이스의 가상 이미지(30)에 대응하는 셀(21)의 개수와 다른 개수로 셀(21)을 선택하는 경우, 제어부(600)는 기존의 영상 디바이스의 가상 이미지(30)와 추가 영상 디바이스의 가상 이미지(31)를 구별하여 디스플레이(310)에 표시할 수 있다.
예를 들면, 기존의 영상 디바이스의 가상 이미지(30)가 14개 셀(7x2)을 포함하는 것인데, 추가 선택된 셀의 개수가 12개(6x2) 또는 8개(2X4)인 경우, 제어부(600)는 기존의 영상 디바이스의 가상 이미지(30)와 추가 영상 디바이스의 가상 이미지(31)가 구별 표시되도록 디스플레이(310)를 제어할 수 있다.
다시 말해, 추가 선택된 복수의 셀에 대응하는 추가 영상 디바이스의 가로 길이 또는 세로 길이가 기존 영상 디바이스의 가상 이미지(30)의 가로 길이 또는 세로 길이와 다른 경우, 추가 영상 디바이스의 가상 이미지(31)는 기존 영상 디바이스의 가상 이미지(30)와 구별되어 표시될 수 있다.
또한, 사용자가 기존 영상 디바이스의 가상 이미지(30) 영역까지 포함되도록 추가 셀을 선택하는 경우, 제어부(600)는 기존 영상 디바이스의 가상 이미지(30) 영역을 제외한 영역에만 추가 영상 디바이스의 가상 이미지(30)가 표시되도록 할 수 있다.
이와 다르게, 도 14를 참조하면, 기존 영상 디바이스의 가상 이미지(30) 영역과 연결되는 영역에서, 기존 영상 디바이스의 가상 이미지(30)에 포함된 셀(21)의 개수와 동일한 개수로 셀(21)이 선택될 수 있다. 이 경우, 제어부(600)는 기존의 영상 디바이스의 가상 이미지(30)와 추가 영상 디바이스의 가상 이미지를 연결하여, 크기가 확장된 영상 디바이스의 가상 이미지(31)를 디스플레이(310)에 표시할 수 있다.
또한, 도 15를 참조하면, 기존 영상 디바이스의 가상 이미지(30)가 표시된 영역과 연결되지 않는 다른 영역에서 추가 셀이 선택된 경우에는, 기존 영상 디바이스의 가상 이미지(31)와 추가 영상 디바이스의 가상 이미지(32)는 구별되어 표시될 수 있다.
한편, 도 16을 참조하면, 그리드(20) 상에 영상 디바이스의 가상 이미지(31, 32)가 표시되어 있는 상태에서, 사용자가 클리어 아이콘(70)에 터치 입력하는 경우, 영상 디바이스의 가상 이미지(31, 32)가 삭제될 수 있다.
이와 같이, 사용자가 영상 디바이스의 가상 이미지의 크기 및 개수를 쉽게 조절할 수 있으므로, 영상 디바이스 설치를 다양하게 시뮬레이션 할 수 있다.
도 17 및 도 18은 영상 디바이스의 가상 이미지 상에 컨텐츠를 표시하는 것을 설명하기 위한 도면이다.
도 17을 참조하면, 제어부(600)는 영상 디바이스의 가상 이미지(31)를 선택하는 사용자의 입력에 대응하여, 영상 디바이스의 가상 이미지(31) 주변에 적어도 하나의 가상 컨텐츠 이미지(80a)를 표시하도록 디스플레이(310)를 제어할 수 있다.
구체적으로, 사용자가 영상 디바이스의 가상 이미지(31)에 대해 터치 입력하면, 영상 디바이스의 가상 이미지(31)에서 재생 가능한 컨텐츠의 썸네일(Thumnail) 이미지를 포함하는 가상 컨텐츠 이미지(80a)가 생성되어 디스플레이(310)에 표시된다.
적어도 하나의 가상 컨텐츠 이미지(80a)는 다양한 패턴으로 배열될 수 있다. 예를 들면, 적어도 하나의 가상 컨텐츠 이미지(80a)는 영상 디바이스의 가상 이미지(31)를 둘러싸도록 원형으로 배열되거나, 영상 디바이스의 가상 이미지(31)를 중심으로 상하 방향 또는 대각선 방향으로 배열될 수 있다.
또한, 제어부(600)는 적어도 하나의 가상 컨텐츠 이미지(80a) 중 어느 하나를 선택하는 사용자의 입력에 대응하여, 선택된 가상 컨텐츠 이미지(80a)에 대응하는 제1 컨텐츠를 영상 디바이스의 가상 이미지(31) 영역에 표시하도록 디스플레이(310)를 제어할 수 있다.
즉, 도 17에서 사용자가 가상 컨텐츠 이미지(80a) 중 Movie 4의 컨텐츠 정보를 포함하는 가상 컨텐츠 이미지(80a)를 선택하면, 영상 디바이스의 가상 이미지 영역(31)에서 Movie 4가 재생될 수 있다. 적어도 하나의 가상 컨텐츠 이미지(80a)는 각각 서로 다른 컨텐츠 정보를 포함할 수 있고, Movie 4는 동영상일 수 있다.
도 18을 참조하면, 적어도 하나의 가상 컨텐츠 이미지(80a)는 카테고리 별로 표시될 수 있다. 카테고리 별 컨텐츠는 저장부(500)에 저장되어 있을 수 있다. 예를 들면, 컨텐츠 카테고리는 뮤직 비디오 카테고리, 영화 카테고리, 사진 카테고리 등으로 분류될 수 있고, 각각의 카테고리에 대응하는 컨텐츠가 저장부(500)에 저장되어 있을 수 있다.
영상 디바이스의 가상 이미지(31) 주변에 제1 카테고리에 해당하는 적어도 하나의 가상 컨텐츠 이미지(80a)가 표시되어 있는 상태에서, 디스플레이(310) 상의 임의의 영역에 사용자의 스와이프(swipe) 제스처가 입력되는 경우, 제어부(600)는 영상 디바이스의 가상 이미지(31) 주변에 제2 카테고리에 해당하는 적어도 하나의 가상 컨텐츠 이미지(80b)를 디스플레이(310)에 표시할 수 있다. 이 때, 제1 카테고리에 해당하는 적어도 하나의 가상 컨텐츠 이미지(80a)는 디스플레이(310)에서 표시되지 않으며, 사용자의 스와이프(swipe) 제스처 입력에 따라 다시 표시될 수 있다.
이와 같이, 다양한 카테고리에 속하는 다양한 컨텐츠를 영상 디바이스의 가상 이미지 영역에서 재생할 수 있으므로, 사용자는 보다 현실감 있는 시뮬레이션을 할 수 있다.
도 19 및 도 20은 영상 디바이스의 가상 이미지 영역을 분할하여 컨텐츠를 표시하는 것을 설명하기 위한 도면이다.
도 19를 참조하면, 제어부(600)는 가상 컨텐츠 이미지를 추가 선택하는 사용자의 입력에 대응하여, 영상 디바이스의 가상 이미지 영역(31)을 제1 영역(31a)과 제2 영역(31b)으로 분할하고, 제1 컨텐츠 및 추가 선택된 상기 가상 컨텐츠 이미지에 대응하는 제2 컨텐츠를 각각 1 영역(31a)과 제2 영역(31b)에 표시하도록 디스플레이(310)를 제어할 수 있다. 또한, 제어부(600)는 사용자의 입력에 대응하여, 제1 영역(31a)과 제2 영역(31b)의 위치를 변경할 수 있다.
구체적으로, 영상 디바이스의 가상 이미지 영역(31)에 제1 컨텐츠가 표시되고 있는 상태에서, 사용자가 제2 컨텐츠 정보를 포함하는 가상 컨텐츠 이미지를 선택하여 영상 디바이스의 가상 이미지 영역(31)으로 이동시키는 제스처를 입력한 경우, 영상 디바이스의 가상 이미지 영역(31)에는 제1 컨텐츠와 제2 컨텐츠가 모두 표시될 수 있다.
즉, 제어부(60)는 사용자의 입력에 대응하여, 영상 디바이스의 가상 이미지 영역(31)을 복수 개로 분할하고, 분할된 복수의 영역에 복수의 컨텐츠를 동시에 표시할 수 있다.
반대로, 도 20을 참조하면, 영상 디바이스의 가상 이미지 영역(31)에서 제1 컨텐츠와 제2 컨텐츠가 모두 표시되고 있는 상태에서, 제1 컨텐츠 표시 영역을 선택하여 영상 디바이스의 가상 이미지 영역(31) 밖으로 이동시키는 제스처가 입력되면, 제1 컨텐츠에 대응하는 가상 컨텐츠 이미지(80a)가 영상 디바이스의 가상 이미지 영역(31) 밖에서 다시 표시될 수 있다. 이 때, 제2 컨텐츠는 영상 디바이스의 가상 이미지 영역(31)에서 표시될 수 있다.
이와 같이, 영상 디바이스의 가상 이미지 영역(31)을 복수 개로 분할하여, 복수의 컨텐츠를 동시에 표시할 수 있으므로, 사용자는 멀티 스크린의 설치를 현실감 있게 시뮬레이션 할 수 있다.
또한, 상술한 바와 같이, 일 측면에 따른 모바일 장치 및 모바일 장치의 제어 방법에 의하면, 영상 디바이스가 설치될 실제 공간의 영상에 실제 크기의 영상 디바이스에 대응하는 가상 이미지를 함께 표시함으로써, 사용자가 현실감 있게 영상 디바이스의 설치를 시뮬레이션 할 수 있다.
또한, 일 측면에 따른 모바일 장치 및 모바일 장치의 제어 방법에 의하면, 실제 크기의 영상 디바이스에 대응하는 가상 이미지 영역에 컨텐츠를 재생하여 보다 현실감 있는 영상 디바이스의 설치 시뮬레이션을 수행할 수 있다.
도 21은 다른 실시예에 따른 모바일 장치 제어 방법의 흐름도이다. 구체적으로, 도 21은 모바일 장치(1)의 카메라(100)를 이용하여 복수의 디스플레이 모듈을 포함하는 디스플레이 장치의 화소 값에 대한 캘리브레이션을 수행하는 방법을 설명한다.
도 21을 참조하면, 모바일 장치(1)는 통신부(400)를 통해 복수의 디스플레이 모듈(S1, S2, S3, S4, S5, S6, S7, S8) 각각과 연결된다(2101). 모바일 장치(1)의 제어부(600)는 사용자의 입력에 대응하여 캘리브레이션 기능을 실행한다(2102). 캘리브레이션 기능은 캘리브레이션을 위한 어플리케이션의 실행으로 수행될 수 있다.
모바일 장치(1)의 제어부(600)는 통신부(400)를 통해 저장부(500)에 저장되어 있는 기준 영상을 복수의 디스플레이 모듈(S1, S2, S3, S4, S5, S6, S7, S8) 각각에 전송한다(2103). 기준 영상은 캘리브레이션 과정에서 기준이 되는 화소 값을 갖는 영상을 의미한다. 복수의 디스플레이 모듈(S1, S2, S3, S4, S5, S6, S7, S8) 각각은 모두 동일한 기준 영상을 표시할 수 있다. 또한, 복수의 디스플레이 모듈(S1, S2, S3, S4, S5, S6, S7, S8) 각각은 서로 다른 기준 영상을 표시할 수도 있다.
모바일 장치(1)의 카메라(100)는 복수의 디스플레이 모듈(S1, S2, S3, S4, S5, S6, S7, S8)을 포함하는 디스플레이 장치를 촬영하고, 기준 영상을 표시하는 복수의 디스플레이 모듈(S1, S2, S3, S4, S5, S6, S7, S8)의 영상을 획득한다(2104).
제어부(600)는 기준 영상을 표시하는 복수의 디스플레이 모듈(S1, S2, S3, S4, S5, S6, S7, S8)의 영상으로부터 복수의 디스플레이 모듈(S1, S2, S3, S4, S5, S6, S7, S8) 각각의 화소 값을 추출한다(2105).
복수의 디스플레이 모듈(S1, S2, S3, S4, S5, S6, S7, S8) 각각은 복수의 화소(Pixel)을 포함하고, 복수의 화소 각각은 색상, 휘도, 밝기 등의 화소 값을 갖는다. 또한, 복수의 디스플레이 모듈(S1, S2, S3, S4, S5, S6, S7, S8) 각각은 독립적으로 전원을 공급받고, 독립적으로 작동하므로, 각각의 디스플레이 모듈(S1, S2, S3, S4, S5, S6, S7, S8)의 화소 값은 상이할 수 있다.
복수의 디스플레이 모듈(S1, S2, S3, S4, S5, S6, S7, S8) 각각의 화소 값이 다를 경우, 디스플레이 장치를 시청하는 사용자가 눈의 피로를 느낄 수 있다. 따라서 각각의 디스플레이 모듈(S1, S2, S3, S4, S5, S6, S7, S8)의 화소 값은 균일하게 조정될 필요가 있다.
제어부(600)는 추출한 복수의 디스플레이 모듈(S1, S2, S3, S4, S5, S6, S7, S8) 각각의 화소 값과 기준 영상을 비교하고, 각각의 디스플레이 모듈(S1, S2, S3, S4, S5, S6, S7, S8)에 적용될 보정 값을 산출한다(2106). 또한, 제어부(600)는 산출한 보정 값을 이용하여 복수의 디스플레이 모듈(S1, S2, S3, S4, S5, S6, S7, S8) 각각의 화소 값이 균일해지도록 복수의 디스플레이 모듈(S1, S2, S3, S4, S5, S6, S7, S8) 각각을 제어한다(2107).
제어부(600)는 복수의 디스플레이 모듈(S1, S2, S3, S4, S5, S6, S7, S8) 각각의 화소 값의 차이가 미리 정해진 범위 내인 경우, 복수의 디스플레이 모듈(S1, S2, S3, S4, S5, S6, S7, S8)의 화소 값이 균일한 것으로 판단하여 캘리브레이션 과정을 종료한다(2108).
복수의 디스플레이 모듈(S1, S2, S3, S4, S5, S6, S7, S8) 각각의 화소 값의 차이가 미리 정해진 범위 밖인 경우, 제어부(600)는 화소 값이 보정된 영상을 표시하는 복수의 디스플레이 모듈(S1, S2, S3, S4, S5, S6, S7, S8)을 다시 촬영하도록 카메라(100)를 제어할 수 있다. 이후, 제어부(600)는 카메라(100)에 의해 촬영된 영상을 기초로 캘리브레이션 과정을 반복 수행한다.
이와 같이, 복수의 디스플레이 모듈 각각에 대해 수동으로 화소 값을 조정하는 대신에, 모바일 장치(1)의 카메라(100)를 이용하여 복수의 디스플레이 모듈의 화소 값을 캘리브레이션 할 수 있다. 따라서 캘리브레이션을 수행하는 사용자의 편의성이 증대되고, 캘리브레이션에 소요되는 시간이 단축될 수 있다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 게시된 실시예가 속하는 기술분야에서 통상의 지식을 가진 자는 게시된 실시예의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되지 않아야 한다.
1: 모바일 장치
100: 카메라
210: 사용자 인터페이스부
220: 마이크
310: 디스플레이
320: 스피커
400: 통신부
500: 저장부
600: 제어부

Claims (20)

  1. 디스플레이;
    영상 디바이스를 설치할 공간을 촬영하는 카메라;
    사용자의 입력을 수신하는 사용자 인터페이스부;
    상기 카메라에 의해 촬영된 공간의 영상을 그리드(Grid)와 함께 표시하도록 상기 디스플레이를 제어하고, 상기 사용자의 입력에 대응하여 크기가 조절된 상기 영상 디바이스의 가상 이미지가 상기 그리드 상에 표시되도록 상기 디스플레이를 제어하는 제어부; 를 포함하는 모바일 장치.
  2. 제1항에 있어서,
    상기 제어부는
    상기 그리드에 포함된 적어도 하나의 셀을 선택하는 상기 사용자의 입력에 대응하여, 선택된 적어도 하나의 셀 상에 상기 영상 디바이스의 가상 이미지를 표시하도록 상기 디스플레이를 제어하는 모바일 장치.
  3. 제2항에 있어서,
    상기 제어부는
    상기 그리드에서 추가 셀을 선택하는 상기 사용자의 입력에 대응하여, 선택된 추가 셀 상에 추가 영상 디바이스의 가상 이미지를 표시하도록 상기 디스플레이를 제어하는 모바일 장치.
  4. 제1항에 있어서,
    상기 제어부는
    상기 공간의 영상에서 특정 패턴 및 특정 물체 중 적어도 하나를 인식하여 상기 영상 디바이스의 설치가 가능한 평면을 인식하고, 상기 인식된 평면에 상기 그리드를 표시하도록 상기 디스플레이를 제어하는 모바일 장치.
  5. 제1항에 있어서,
    상기 제어부는
    상기 공간의 영상과 가이드 선을 함께 표시하도록 상기 디스플레이를 제어하고, 상기 가이드 선을 기준으로 상기 평면을 인식하고, 상기 인식된 평면에 상기 그리드를 표시하도록 상기 디스플레이를 제어하는 모바일 장치.
  6. 제1항에 있어서,
    상기 제어부는
    상기 그리드의 셀의 크기를 변경하는 상기 사용자의 입력에 대응하여, 변경된 크기의 셀을 갖는 상기 그리드를 상기 공간의 영상과 함께 표시하도록 상기 디스플레이를 제어하는 모바일 장치.
  7. 제1항에 있어서,
    상기 제어부는
    상기 영상 디바이스의 가상 이미지를 선택하는 상기 사용자의 입력에 대응하여, 상기 영상 디바이스의 가상 이미지 주변에 적어도 하나의 가상 컨텐츠 이미지를 표시하도록 상기 디스플레이를 제어하는 모바일 장치.
  8. 제7항에 있어서,
    상기 제어부는
    상기 적어도 하나의 가상 컨텐츠 이미지 중 어느 하나를 선택하는 상기 사용자의 입력에 대응하여, 선택된 가상 컨텐츠 이미지에 대응하는 제1 컨텐츠를 상기 영상 디바이스의 가상 이미지 영역에 표시하도록 상기 디스플레이를 제어하는 모바일 장치.
  9. 제8항에 있어서,
    상기 제어부는
    상기 가상 컨텐츠 이미지를 추가 선택하는 상기 사용자의 입력에 대응하여, 상기 영상 디바이스의 가상 이미지 영역을 제1 영역과 제2 영역으로 분할하고, 상기 제1 컨텐츠 및 추가 선택된 상기 가상 컨텐츠 이미지에 대응하는 제2 컨텐츠를 각각 상기 제1 영역과 상기 제2 영역에 표시하도록 상기 디스플레이를 제어하는 모바일 장치.
  10. 제1항에 있어서,
    외부 서버와 연결하는 통신부; 더 포함하고,
    상기 제어부는
    상기 영상 디바이스의 가상 이미지에 대응하는 상기 영상 디바이스의 구매 정보를 상기 외부 서버로부터 획득하고, 상기 영상 디바이스의 구매 정보를 상기 영상 디바이스의 가상 이미지와 함께 표시하도록 상기 디스플레이를 제어하는 모바일 장치.
  11. 카메라를 이용하여 영상 디바이스를 설치할 공간을 촬영하는 단계;
    상기 카메라에 의해 촬영된 공간의 영상을 그리드와 함께 디스플레이에 표시하는 단계;
    사용자의 입력에 대응하여 크기가 조절된 상기 영상 디바이스의 가상 이미지를 상기 그리드 상에 표시하는 단계;를 포함하는 모바일 장치의 제어 방법.
  12. 제11항에 있어서,
    상기 영상 디바이스의 가상 이미지를 상기 그리드 상에 표시하는 단계는
    상기 그리드에 포함된 적어도 하나의 셀을 선택하는 상기 사용자의 입력에 대응하여, 선택된 적어도 하나의 셀 상에 상기 영상 디바이스의 가상 이미지를 표시하는 단계;를 포함하는 모바일 장치의 제어 방법.
  13. 제12항에 있어서,
    상기 영상 디바이스의 가상 이미지를 상기 그리드 상에 표시하는 단계는
    상기 그리드에서 추가 셀을 선택하는 상기 사용자의 입력에 대응하여, 선택된 추가 셀 상에 추가 영상 디바이스의 가상 이미지를 표시하는 단계;를 더 포함하는 모바일 장치의 제어 방법.
  14. 제11항에 있어서,
    상기 촬영된 공간의 영상을 그리드와 함께 디스플레이에 표시하는 단계는
    상기 공간의 영상에서 특정 패턴 및 특정 물체 중 적어도 하나를 인식하여 상기 영상 디바이스의 설치가 가능한 평면을 인식하고, 상기 인식된 평면에 상기 그리드를 표시하는 단계;를 더 포함하는 모바일 장치의 제어 방법.
  15. 제11항에 있어서,
    상기 촬영된 공간의 영상을 그리드와 함께 디스플레이에 표시하는 단계는
    상기 공간의 영상과 가이드 선을 함께 상기 디스플레이에 표시하는 단계; 및
    상기 가이드 선을 기준으로 상기 평면을 인식하고, 상기 인식된 평면에 상기 그리드를 표시하는 단계;를 더 포함하는 모바일 장치의 제어 방법.
  16. 제11항에 있어서,
    상기 촬영된 공간의 영상을 그리드와 함께 디스플레이에 표시하는 단계는
    상기 그리드의 셀의 크기를 변경하는 상기 사용자의 입력에 대응하여, 변경된 크기의 셀을 갖는 상기 그리드를 상기 공간의 영상과 함께 표시하는 단계;를 포함하는 모바일 장치의 제어 방법.
  17. 제11항에 있어서,
    상기 영상 디바이스의 가상 이미지를 선택하는 상기 사용자의 입력에 대응하여, 상기 영상 디바이스의 가상 이미지 주변에 적어도 하나의 가상 컨텐츠 이미지를 표시하는 단계;를 더 포함하는 모바일 장치의 제어 방법.
  18. 제17항에 있어서,
    상기 적어도 하나의 가상 컨텐츠 이미지 중 어느 하나를 선택하는 상기 사용자의 입력에 대응하여, 선택된 가상 컨텐츠 이미지에 대응하는 제1 컨텐츠를 상기 영상 디바이스의 가상 이미지 영역에 표시하는 단계;를 더 포함하는 모바일 장치의 제어 방법.
  19. 제18항에 있어서,
    상기 가상 컨텐츠 이미지를 추가 선택하는 상기 사용자의 입력에 대응하여, 상기 영상 디바이스의 가상 이미지 영역을 제1 영역과 제2 영역으로 분할하는 단계; 및
    상기 제1 컨텐츠 및 상기 추가 선택된 가상 컨텐츠 이미지에 대응하는 제2 컨텐츠를 각각 상기 제1 영역과 상기 제2 영역에 표시하는 단계;를 더 포함하는 모바일 장치의 제어 방법.
  20. 제11항에 있어서,
    상기 영상 디바이스의 가상 이미지에 대응하는 상기 영상 디바이스의 구매 정보를 상기 외부 서버로부터 획득하는 단계; 및
    상기 영상 디바이스의 구매 정보를 상기 영상 디바이스의 가상 이미지와 함께 표시하는 단계;를 더 포함하는 모바일 장치의 제어 방법.
KR1020180121724A 2018-10-12 2018-10-12 모바일 장치 및 모바일 장치의 제어 방법 KR102620702B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020180121724A KR102620702B1 (ko) 2018-10-12 2018-10-12 모바일 장치 및 모바일 장치의 제어 방법
US17/284,639 US11487413B2 (en) 2018-10-12 2019-02-19 Mobile device and control method for mobile device
EP19871289.5A EP3842907B1 (en) 2018-10-12 2019-02-19 Mobile device and control method for mobile device
PCT/KR2019/001939 WO2020075925A1 (ko) 2018-10-12 2019-02-19 모바일 장치 및 모바일 장치의 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180121724A KR102620702B1 (ko) 2018-10-12 2018-10-12 모바일 장치 및 모바일 장치의 제어 방법

Publications (2)

Publication Number Publication Date
KR20200041548A true KR20200041548A (ko) 2020-04-22
KR102620702B1 KR102620702B1 (ko) 2024-01-04

Family

ID=70164960

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180121724A KR102620702B1 (ko) 2018-10-12 2018-10-12 모바일 장치 및 모바일 장치의 제어 방법

Country Status (4)

Country Link
US (1) US11487413B2 (ko)
EP (1) EP3842907B1 (ko)
KR (1) KR102620702B1 (ko)
WO (1) WO2020075925A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200137594A (ko) * 2019-05-31 2020-12-09 삼성전자주식회사 모바일 장치 및 모바일 장치의 제어 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110074045A (ko) * 2009-12-24 2011-06-30 삼성전자주식회사 피사체의 실제 크기를 가늠할 수 있는 그래픽을 디스플레이하는 촬영장치 및 방법
KR20110133295A (ko) * 2010-06-04 2011-12-12 엘지전자 주식회사 휴대 단말기 및 그 동작방법
KR20140069124A (ko) * 2011-09-19 2014-06-09 아이사이트 모빌 테크놀로지 엘티디 증강 현실 시스템용 터치프리 인터페이스
US20160364907A1 (en) * 2015-06-10 2016-12-15 Michael John Schoenberg Selective surface mesh regeneration for 3-dimensional renderings

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050068290A1 (en) * 2003-09-28 2005-03-31 Denny Jaeger Method for creating and using user-friendly grids
JP4373286B2 (ja) * 2004-05-06 2009-11-25 オリンパス株式会社 頭部装着型表示装置
US8957835B2 (en) * 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
KR101651620B1 (ko) 2009-08-11 2016-08-29 엘지이노텍 주식회사 카메라 모듈을 이용한 디스플레이 장치의 컬러 보정 방법 및 장치
US20120206334A1 (en) * 2010-02-28 2012-08-16 Osterhout Group, Inc. Ar glasses with event and user action capture device control of external applications
US20110273369A1 (en) * 2010-05-10 2011-11-10 Canon Kabushiki Kaisha Adjustment of imaging property in view-dependent rendering
KR20120076541A (ko) * 2010-11-30 2012-07-09 안명호 증강 현실 코드를 이용한 광고 방법 및 그 시스템
KR101252169B1 (ko) * 2011-05-27 2013-04-05 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US9342610B2 (en) * 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
US9443353B2 (en) 2011-12-01 2016-09-13 Qualcomm Incorporated Methods and systems for capturing and moving 3D models and true-scale metadata of real world objects
US9330478B2 (en) * 2012-02-08 2016-05-03 Intel Corporation Augmented reality creation using a real scene
US20160210514A9 (en) * 2012-02-14 2016-07-21 Kenneth B. Mitchell Mobile device ball speed tracking
US9453734B2 (en) * 2012-06-05 2016-09-27 Apple Inc. Smart loading of map tiles
US9874936B2 (en) * 2012-06-22 2018-01-23 Cape Evolution Limited Wearable electronic device
US9201625B2 (en) * 2012-06-22 2015-12-01 Nokia Technologies Oy Method and apparatus for augmenting an index generated by a near eye display
US9791897B2 (en) * 2012-06-29 2017-10-17 Monkeymedia, Inc. Handheld display device for navigating a virtual environment
US20140037189A1 (en) * 2012-08-02 2014-02-06 Qualcomm Incorporated Fast 3-D point cloud generation on mobile devices
US9530232B2 (en) * 2012-09-04 2016-12-27 Qualcomm Incorporated Augmented reality surface segmentation
US9335547B2 (en) * 2013-03-25 2016-05-10 Seiko Epson Corporation Head-mounted display device and method of controlling head-mounted display device
US9361732B2 (en) * 2014-05-01 2016-06-07 Microsoft Technology Licensing, Llc Transitions between body-locked and world-locked augmented reality
US9948911B2 (en) * 2014-09-05 2018-04-17 Qualcomm Incorporated Method and apparatus for efficient depth image transformation
KR102243656B1 (ko) * 2014-09-26 2021-04-23 엘지전자 주식회사 모바일 디바이스, hmd 및 시스템
US9734634B1 (en) 2014-09-26 2017-08-15 A9.Com, Inc. Augmented reality product preview
US20160163063A1 (en) * 2014-12-04 2016-06-09 Matthew Ashman Mixed-reality visualization and method
KR102332524B1 (ko) * 2015-01-12 2021-11-29 삼성전자주식회사 모바일 디바이스를 구부리는 사용자 입력에 따라 기설정된 서비스를 제공하는 방법 및 모바일 디바이스
US10102674B2 (en) * 2015-03-09 2018-10-16 Google Llc Virtual reality headset connected to a mobile computing device
US10281976B2 (en) * 2015-07-07 2019-05-07 Seiko Epson Corporation Display device, control method for display device, and computer program
KR101805056B1 (ko) 2015-07-21 2017-12-05 (주)월드트렌드 증강현실을 이용한 안경착용 시뮬레이션 방법
US10151960B2 (en) 2015-09-25 2018-12-11 Microsoft Technology Licensing, Llc Backlight assembly with tunable grating layer for local dimming
CN105867855A (zh) * 2015-12-04 2016-08-17 乐视致新电子科技（天津）有限公司 虚拟设备图像的显示方法及设备
US20170256096A1 (en) * 2016-03-07 2017-09-07 Google Inc. Intelligent object sizing and placement in a augmented / virtual reality environment
US10331319B2 (en) * 2016-06-29 2019-06-25 Adobe Inc. Objects alignment and distribution layout
KR20180058048A (ko) 2016-11-23 2018-05-31 삼성전자주식회사 디스플레이 장치, 캘리브레이션 장치 및 그 제어 방법
US10692287B2 (en) * 2017-04-17 2020-06-23 Microsoft Technology Licensing, Llc Multi-step placement of virtual objects
US10262226B1 (en) * 2017-05-16 2019-04-16 State Farm Mutual Automobile Insurance Company Systems and methods regarding 2D image and 3D image ensemble prediction models
JP6342038B1 (ja) * 2017-05-26 2018-06-13 株式会社コロプラ 仮想空間を提供するためのプログラム、当該プログラムを実行するための情報処理装置、および仮想空間を提供するための方法
DK180470B1 (en) * 2017-08-31 2021-05-06 Apple Inc Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments
CA3089311A1 (en) * 2018-01-22 2019-07-25 The Goosebumps Factory Bvba Calibration to be used in an augmented reality method and system
US11145096B2 (en) * 2018-03-07 2021-10-12 Samsung Electronics Co., Ltd. System and method for augmented reality interaction
US11049322B2 (en) * 2018-06-18 2021-06-29 Ptc Inc. Transferring graphic objects between non-augmented reality and augmented reality media domains

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110074045A (ko) * 2009-12-24 2011-06-30 삼성전자주식회사 피사체의 실제 크기를 가늠할 수 있는 그래픽을 디스플레이하는 촬영장치 및 방법
KR20110133295A (ko) * 2010-06-04 2011-12-12 엘지전자 주식회사 휴대 단말기 및 그 동작방법
KR20140069124A (ko) * 2011-09-19 2014-06-09 아이사이트 모빌 테크놀로지 엘티디 증강 현실 시스템용 터치프리 인터페이스
US20160364907A1 (en) * 2015-06-10 2016-12-15 Michael John Schoenberg Selective surface mesh regeneration for 3-dimensional renderings

Also Published As

Publication number Publication date
WO2020075925A1 (ko) 2020-04-16
US20210397332A1 (en) 2021-12-23
US11487413B2 (en) 2022-11-01
EP3842907B1 (en) 2023-04-26
EP3842907A4 (en) 2021-11-03
KR102620702B1 (ko) 2024-01-04
EP3842907A1 (en) 2021-06-30

Similar Documents

Publication Publication Date Title
CN107113226B (zh) 用于识别周边设备的电子装置及其方法
CN110636354A (zh) 一种显示设备
CN111414225B (zh) 三维模型远程展示方法、第一终端、电子设备及存储介质
KR20220093216A (ko) 정보 재생 방법, 장치, 컴퓨터 판독 가능 저장 매체 및 전자기기
KR102431712B1 (ko) 전자장치, 그 제어방법 및 그 컴퓨터프로그램제품
EP2597623A2 (en) Apparatus and method for providing augmented reality service for mobile terminal
CN109792561A (zh) 图像显示设备及其操作方法
US20190012129A1 (en) Display apparatus and method for controlling display apparatus
CN108986117B (zh) 视频图像分割方法及装置
CN108205431A (zh) 显示设备及其控制方法
US20200336676A1 (en) Electronic device and operation method thereof
CN108665510B (zh) 连拍图像的渲染方法、装置、存储介质及终端
CN112581571A (zh) 虚拟形象模型的控制方法、装置、电子设备及存储介质
US10609305B2 (en) Electronic apparatus and operating method thereof
KR20150079387A (ko) 카메라 광 데이터로 가상 환경을 조명하는 방법
KR102620702B1 (ko) 모바일 장치 및 모바일 장치의 제어 방법
US20220084299A1 (en) Mobile device and mobile device control method
CN113196791B (zh) 用于显示各种类型的内容的显示设备
CN114365504A (zh) 电子设备及其控制方法
CN116801027A (zh) 显示设备和投屏方法
KR102620363B1 (ko) 모바일 장치 및 모바일 장치의 제어 방법
US11182968B2 (en) Electronic device and control method thereof
CN108540726B (zh) 连拍图像的处理方法、装置、存储介质及终端
CN112399235A (zh) 一种智能电视的摄像头拍照效果增强方法及显示设备
TWI628634B (zh) 互動式教學系統以及方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right