KR20220111821A - 증강현실 기반 전자 장치의 제어 방법 - Google Patents

증강현실 기반 전자 장치의 제어 방법 Download PDF

Info

Publication number
KR20220111821A
KR20220111821A KR1020210015028A KR20210015028A KR20220111821A KR 20220111821 A KR20220111821 A KR 20220111821A KR 1020210015028 A KR1020210015028 A KR 1020210015028A KR 20210015028 A KR20210015028 A KR 20210015028A KR 20220111821 A KR20220111821 A KR 20220111821A
Authority
KR
South Korea
Prior art keywords
information
movement
code
processor
display
Prior art date
Application number
KR1020210015028A
Other languages
English (en)
Inventor
조광희
Original Assignee
한국부라스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국부라스 주식회사 filed Critical 한국부라스 주식회사
Priority to KR1020210015028A priority Critical patent/KR20220111821A/ko
Publication of KR20220111821A publication Critical patent/KR20220111821A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

전자 장치의 제어 방법이 제공된다. 상기 제어 방법은, 상기 카메라가, QR 코드를 포함하는 제품 영상을 획득하는 단계; 상기 프로세서가, 상기 QR 코드 이미지를 획득하는 단계; 상기 프로세서가, 상기 메모리로부터 기 저장된 QR 코드의 크기 정보를 획득하는 단계; 상기 프로세서가, 상기 기 저장된 QR 코드의 크기 정보 및 상기 QR 코드의 이미지 정보를 바탕으로, 상기 디스플레이에 표시되는 제품의 크기 및 시선 정보를 획득하는 단계; 상기 프로세서가, 상기 디스플레이에 표시되는 제품의 크기 및 시선 정보를 바탕으로 상기 QR 코드에 대응되는 오브젝트에 대한 정보를 획득하는 단계; 상기 프로세서가, 상기 디스플레이에 표시되는 제품의 크기 및 시선 정보를 바탕으로 상기 오브젝트가 표시될 영역을 획득하는 단계; 및 상기 디스플레이가, 상기 획득된 오브젝트를 상기 영역에 표시하는 단계; 를 포함한다.

Description

증강현실 기반 전자 장치의 제어 방법{Control method of electronic device based on augmented reality display}
본 발명은 증강현실 기반 전자 장치의 제어 방법에 관한 것이다.
가상현실(Virtual Reality)은 컴퓨터로 만들어 놓은 가상의 세계에서 사람이 실제와 같은 체험을 할 수 있도록 하는 기술이다.
한편, 가상현실(VR·virtual reality)과 현실 세계에 가상정보를 더해 보여주는 기술인 증강현실(AR:augmented reality)을 혼합한 기술은 혼합현실(MR:mixed reality)이라고 한다. VR과 AR, MR은 모두 실제로 존재하지 않은 현실을 구현해 사람이 이를 인지할 수 있도록 하는 기술이라는 점에서 공통점이 있다. 다만 AR은 실제 현실에 가상의 정보를 더해 보여주는 방식이고, VR은 모두 허구의 상황이 제시된다는 점에서 차이가 있다. MR은 AR과 VR을 혼합해 현실 배경에 현실과 가상의 정보를 혼합시켜 제공하는데, 대용량 데이터를 처리할 수 있는 기술이 필요하다.
근래에는 스마트폰과 같은 전자 장치로 간단한 증강현실을 생성하여 표시하는 방법에 대한 연구가 활발한 실정이다.
이에 따라, 증강현실 기반 전자 장치의 제어 방법에 대한 다양한 활용법이 필요한 시점이다.
등록특허공보 제10-1397873호, 2014.07.01
본 발명이 해결하고자 하는 과제는 증강현실 기반 전자 장치의 제어 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 카메라, 메모리, 디스플레이 및 프로세서를 포함하는 전자 장치의 제어 방법은, 상기 카메라가, QR 코드를 포함하는 제품 영상을 획득하는 단계; 상기 프로세서가, 상기 QR 코드 이미지를 획득하는 단계; 상기 프로세서가, 상기 메모리로부터 기 저장된 QR 코드의 크기 정보를 획득하는 단계; 상기 프로세서가, 상기 기 저장된 QR 코드의 크기 정보 및 상기 QR 코드의 이미지 정보를 바탕으로, 상기 디스플레이에 표시되는 제품의 크기 및 시선 정보를 획득하는 단계; 상기 프로세서가, 상기 디스플레이에 표시되는 제품의 크기 및 시선 정보를 바탕으로 상기 QR 코드에 대응되는 오브젝트에 대한 정보를 획득하는 단계; 상기 프로세서가, 상기 디스플레이에 표시되는 제품의 크기 및 시선 정보를 바탕으로 상기 오브젝트가 표시될 영역을 획득하는 단계; 및 상기 디스플레이가, 상기 획득된 오브젝트를 상기 영역에 표시하는 단계; 를 포함한다.
이때, 상기 제어 방법은, 상기 전자 장치의 이동에 따라 상기 QR 코드의 이미지의 크기 및 시선 정보가 기 설정된 비율 이상 변경되는 경우, 상기 프로세서가, 상기 기 저장된 QR 코드의 크기 정보 및 상기 변경된 QR 코드의 이미지 정보를 바탕으로, 상기 디스플레이에 표시되는 변경된 제품의 크기 및 변경된 시선 정보를 획득하는 단계; 상기 프로세서가, 상기 디스플레이에 표시되는 제품의 변경된 크기 및 변경된 시선 정보를 바탕으로 상기 QR 코드에 대응되는 변경된 오브젝트에 대한 정보 및 상기 오브젝트가 표시될 변경된 영역을 획득하는 단계; 및 상기 디스플레이가, 상기 획득된 변경된 오브젝트를 상기 변경된 영역에 표시하는 단계; 를 포함할 수 있다.
이때, 상기 오브젝트가 모닥불 오브젝트인 경우, 상기 제어 방법은, 상기 디스플레이의 상단 중앙 영역에, 상기 모닥불 오브젝트의 화력 세기를 조절하기 위한 UI를 표시하는 단계; 상기 UI를 통해 상기 모닥불 오브젝트의 화력 세기를 조절하기 위한 사용자 명령이 입력되면, 상기 사용자 명령에 대응되게 상기 모닥불 오브젝트를 변경하여 표시하는 단계;를 포함할 수 있다.
이때, 상기 오브젝트가 물고기 오브젝트인 경우, 상기 표시하는 단계는, 상기 획득된 영역 내부에서 상기 물고기 오브젝트를 이동시키는 단계; 및 상기 물고기 오브젝트를 제어하기 위한 사용자 명령이 입력되면, 상기 사용자 명령에 대응되게 상기 물고기 오브젝트를 이동시키는 단계; 를 포함할 수 있다.
이때, 상기 제어 방법은, 상기 카메라가, 기 설정된 주기마다 상기 QR 코드에 대한 정보를 업데이트 하는 단계; 및 상기 카메라가, 기 설정된 주기마다 상기 QR 코드 이미지를 업데이트 하는 단계;를 포함하고, 상기 QR 코드에 대한 정보를 업데이트 하는 단계는, 상기 카메라와 상기 QR 코드 사이에 장애물이 존재하여, 상기 QR 코드의 일부만 촬영되는 경우, 촬영된 상기 QR 코드의 일부를 바탕으로 QR 코드의 이미지 형상을 복원하는 단계; 및 상기 복원된 QR 코드의 이미지 형상을 바탕으로 상기 QR 코드에 대응되는 변경된 오브젝트에 대한 정보 및 상기 오브젝트가 표시될 변경된 영역을 획득하는 단계;를 포함할 수 있다.
이때, 상기 물고기 오브젝트를 이동시키는 단계는, 상기 전자 장치의 사용자로부터 음성 신호를 입력 받아 음성 인식 데이터를 생성하는 단계; 상기 음성 인식 데이터에 기초하여 상기 물고기 오브젝트의 이동을 제어하는 이동 제어 블록 및 상기 이동 제어 블록에 대응되는 명령문을 생성하는 단계; 상기 이동 제어 블록에 대응하여 상기 물고기 오브젝트의 이동을 제어하는 단계; 상기 이동 제어 블록을 나타내는 명령블록 이미지를 생성하는 단계; 및 상기 명령블록 이미지를 표시하는 단계; 를 포함할 수 있다.
이때, 상기 이동 제어 블록이 이동 속도 제어 명령문을 포함하는 경우, 상기 이동 제어 블록 및 상기 이동 제어 블록에 대응되는 명령문을 생성하는 단계는, 상기 음성 인식 데이터에 이동 속도 정보가 포함된 경우, 상기 이동 속도 정보에 대응하는 이동 속도 제어 명령문을 생성하는 단계; 및 상기 음성 인식 데이터에 이동 속도 정보가 포함되지 않은 경우 경우, 상기 음성 인식 데이터에 기초하여 음절 간격 정보를 생성하고, 상기 음절 간격 정보에 대응하여 상기 이동 속도 정보를 생성하고, 상기 생성된 이동 속도 정보에 대응하는 이동 속도 제어 명령문을 생성하는 단계; 를 포함할 수 있다.
이때, 상기 이동 제어 블록이 이동 반복수 제어 명령문을 포함하는 경우, 상기 이동 제어 블록 및 상기 이동 제어 블록에 대응되는 명령문을 생성하는 단계는, 상기 음성 인식 데이터에 이동 반복수 정보가 포함된 경우, 상기 이동 반복수 정보에 대응하는 이동 반복수 제어 명령문을 생성하는 단계; 및 상기 음성 인식 데이터에 이동 반복수 정보가 포함되지 않은 경우, 상기 음성 신호에 기초하여 신호 세기 정보를 생성하고, 상기 신호 세기 정보에 대응하여 상기 이동 반복수 정보를 생성하고, 상기 생성된 이동 반복수 정보에 대응하는 이동 반복수 제어 명령문을 생성하는 단계;를 포함할 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
상술한 본 발명의 다양한 실시에 따라, 전자 장치는 QR 코드에 대응되는 증강 현실을 표시하고, 증강현실로 표시된 오브젝트를 제어할 수 있는 새로운 효과가 존재한다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 증강 현실을 제공하기 위한 전자 장치를 도시한 예시도이다.
도 2는 본 발명의 일 실시예에 따른 전자 장치의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 QR 코드의 구성을 설명하기 위한 예시도이다.
도 4a 내지 도 4d는 본 발명의 일 실시예에 따른 증강 현실 표시 방법을 도시한 예시도이다.
도 5a 내지 도 5d는 본 발명의 또 다른 실시예에 따른 증강 현실 표시 방법을 도시한 예시도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.
본 명세서에서, 컴퓨터는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, 컴퓨터는 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.
이하에서는 도 1 내지 도 5d를 바탕으로, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
본 명세서에서 설명되는 각 단계들은 컴퓨터에 의하여 수행되는 것으로 설명되나, 각 단계의 주체는 이에 제한되는 것은 아니며, 실시 예에 따라 각 단계들의 적어도 일부가 서로 다른 장치에서 수행될 수도 있다.
도 1에 도시된 바와 같이, 전자 장치(100)는 QR 코드를 포함하는 제품을 촬영할 수 있다. 전자 장치(100)는 카메라(110)을 통해 획득된 배경 영상을 디스플레이(130)에 표시함과 함께 QR 코드 정보에 대응되는 오브젝트를 디스플레이(130)에 중첩하여 표시할 수 있다.
도 2는 본 발명의 일 실시예에 따른 전자 장치의 블록도이다.
본 발명에 따른 전자 장치(100)는 카메라(110), 프로세서(120), 디스플레이(130), 입력부(140), 마이크(150), 스피커(160), 메모리(170) 및 통신부(180)를 포함할 수 있다
카메라(110)는 배경 영상을 촬영할 수 있다. 구체적으로 카메라(110)는 배경 영상에 포함된 QR 코드를 촬영하여 배경 영상과 오브젝트를 중첩하여 표시할 수 있다.
카메라(110)는 상술한 바와 같이 이미지를 촬영할 수 있는 구성이다. 카메라(110)는 렌즈, 셔터, 조리개, 이미지 센서, AFE(Analog Front End), TG(Timing Generator)를 포함할 수 있다.
구체적으로, 렌즈(미도시)는, 피사체에 반사된 광이 입사하는 구성으로, 줌 렌즈 및 포커스 렌즈 중 적어도 하나의 렌즈를 포함할 수 있다. 셔터(미도시)는 빛이 이미지 촬영 장치(100)로 들어오는 시간을 조절한다. 셔터 스피드에 따라 이미지 센서의 노광된 픽셀에 축적되는 광량이 결정된다. 조리개(미도시)는 렌즈를 통과하여 이미지 촬영 장치(100) 내부로 입사되는 광의 양을 조절하는 구성이다. 이미지 센서(미도시)는 렌즈를 통과한 피사체의 상이 결상되는 구성이다.
이미지 처리부(170)는 카메라(110)에 의해 촬영된 로우 이미지 데이터를 처리하여 YCbCr 데이터로 만들 수 있다. 또한, 이미지 블랙 레벨을 결정하며, 색상별 감도비를 조정할 수 있다. 그 외에도 이미지 처리부(170)는 화이트 밸런스를 조정하고, 감마 보정, 색 보간, 색 보정, 해상도 변환을 수행할 수 있다.
프로세서(120)는 전자 장치(100)의 전반적인 동작을 제어한다.
프로세서(120)는 RAM, ROM, 메인 CPU, 제1 내지 n 인터페이스, 버스를 포함할 수 있다. 이때, RAM, ROM, 메인 CPU, 제1 내지 n 인터페이스 등은 버스를 통해 서로 연결될 수 있다.
ROM에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴 온 명령이 입력되어 전원이 공급되면, 메인 CPU는 ROM에 저장된 명령어에 따라 메모리(170)에 저장된 O/S를 RAM에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU는 메모리(170)에 저장된 각종 어플리케이션 프로그램을 RAM에 복사하고, RAM에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
메인 CPU는 메모리(170)에 액세스하여, 메모리(170)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고 메인 CPU는 메모리(170)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
제1 내지 n 인터페이스는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
디스플레이(130)는 다양한 형태의 디스플레이 패널로 구현될 수 있다. 예를 들어, 디스플레이 패널은 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes), AM-OLED(Active-Matrix Organic Light-Emitting Diode), LcoS(Liquid Crystal on Silicon) 또는 DLP(Digital Light Processing) 등과 같은 다양한 디스플레이 기술로 구현될 수 있다. 또한, 디스플레이(130)는 플렉서블 디스플레이(flexible display)의 형태로 전자 장치(100)의 전면 영역 및, 측면 영역 및 후면 영역 중 적어도 하나에 결합될 수도 있다.
입력부(140)는 사용자 명령을 입력 받을 수 있다. 입력부(140)는 다양한 형태로 구성될 수 있다. 예를 들어 입력부(140)는 디스플레이(130) 및 터치 감지부(미도시)와 결합하여 터치 스크린으로 구현될 수 있다. 그러나 이러한 구성에 한정되는 것은 아니며, 입력부(140)는 버튼을 포함하거나, 외부 리모컨으로 구성될 수 있으며, 음성 입력을 위한 마이크(150)로 구성될 수도 있으며, 카메라(110)와 결합하여 모션 입력을 수행할 수도 있다.
특히, 입력부(140)는 제품 이미지를 편집하기 위한 사용자 명령을 입력받을 수 있다. 이때, 입력된 사용자 명령은 롱프레스 명령, 더블 탭 명령, 스와이프 명령 등 일 수 있다.
메모리(170)는 전자 장치(100)를 구동시키기 위한 O/S(Operating System)가 저장될 수 있다. 또한, 메모리(170)는 본 개시의 다양한 실시 예들에 따라 전자 장치(100)가 동작하기 위한 각종 소프트웨어 프로그램이나 어플리케이션이 저장될 수도 있다. 메모리(170)는 프로그램 또는 어플리케이션의 실행 중에 입력되거나 설정 또는 생성되는 각종 데이터 등과 같은 다양한 정보가 저장될 수 있다.
또한, 메모리(170)는 본 개시의 다양한 실시 예들에 따라 전자 장치(100)가 동작하기 위한 각종 소프트웨어 모듈을 포함할 수 있으며, 프로세서(120)는 메모리(170)에 저장된 각종 소프트웨어 모듈을 실행하여 본 개시의 다양한 실시 예들에 따른 전자 장치(100)의 동작을 수행할 수 있다.
또한, 메모리(170)는 카메라(110)에 의해 촬영된 공간 이미지 및 외부로부터 수신한 다양한 이미지를 저장할 수 있다. 이를 위해, 메모리(150)는 플래시 메모리(Flash Memory) 등과 같은 반도체 메모리나 하드디스크(Hard Disk) 등과 같은 자기 저장 매체 등을 포함할 수 있다.
통신부(180)는 외부 장치와 통신을 수행할 수 있다. 특히, 통신부(180)는 와이파이 칩, 블루투스 칩, NFC칩, 무선 통신 칩 등과 같은 다양한 통신 칩을 포함할 수 있다. 이때, 와이파이 칩, 블루투스 칩, NFC 칩은 각각 LAN 방식, WiFi 방식, 블루투스 방식, NFC 방식으로 통신을 수행한다. 와이파이 칩이나 블루투스칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신 하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다.특히, 통신부(180)는 외부 장치(예를 들어, 제품 이미지를 제공하는 컨텐츠 서버 등)로부터 다양한 정보를 수신할 수 있다. 예를 들어, 통신부(180)는 외부 장치로부터 다양한 실내 이미지 및 제품 정보, 제품 이미지를 수신하고 수신된 정보를 메모리(170)에 저장할 수 있다.
도 3은 본 발명의 일 실시예에 따른 QR 코드의 구성을 설명하기 위한 예시도이다.
하나의 QR Code는 기능 패턴(function pattern)과 인코딩 영역(encoding region)으로 구분되며, 세부적인 기능 패턴에는 finder pattern, alignment pattern, timing pattern 등으로 구성되며, 인코딩 영역에는 format information, version information, data and error correction codewords 등의 요소들로 구성될 수 있다.
이때 기능 패턴(function pattern)들은 항상 QR Code의 같은 자리와 공간을 차지할 수 있다. 기능 패턴들로 하여금 고속 인식과 인식률 향상에 도움이 된다.
또한, 각 구성요소들의 상세 정보는 다음과 같다. 첫째, finder pattern은 고정적으로 세 개의 방향에 사각형이 위치할 수 있다. 둘째, 세 개의 finder pattern을 이어주는 2개 점선의 timing pattern이 존재할 수 있다. 셋째, format information은 finder pattern 주변을 둘러싸고 있는 사각형 박스일 수 있다. 넷째, 버전 정보는 버전 7 이상부터 방향 패턴 좌측과 상측에 version information이 자리하고 버전 2 이상부터는 alignment pattern이 고정된 위치에 자리할 수 있다. 하지만 QR Code의 구성요소는 버전에 따라 다소 상이하게 구성될 수 있음은 물론이다.
이하에서는 상술한 전자 장치(100)의 구성을 바탕으로 본 발명의 동작에 대하여 구체적으로 설명한다.
먼저, 카메라(110)는, QR 코드를 포함하는 제품 영상을 획득할 수 있다. 이후, 프로세서(120)는, QR 코드 이미지를 획득할 수 있다. 이후, 프로세서(120)는, 메모리(170)로부터 기 저장된 QR 코드의 크기 정보를 획득할 수 있다.
이후, 프로세서(120)는, 기 저장된 QR 코드의 크기 정보 및 QR 코드의 이미지 정보를 바탕으로, 디스플레이(130)에 표시되는 제품의 크기 및 시선 정보(또는 기울기 정보)를 획득할 수 있다.
이후, 프로세서(120)는, 디스플레이(130)에 표시되는 제품의 크기 및 시선 정보(또는 기울기 정보)를 바탕으로 QR 코드에 대응되는 오브젝트에 대한 정보를 획득할 수 있다.
구체적으로, 동일한 제품을 촬영하는 경우라고 하더라도, 촬영 각도에 따라 제품이 디스플레이에 표시되는 모양이 상이할 수 있다. 예를 들어, 도 4a, 도 4b 및 도 5a, 도 5b에 도시된 바와 같이, 전자 장치(100)와 제품이 평행한 평면 상에서 촬영되는 경우와 도 4c, 도 4d 및 도 5c, 도 5d에 도시된 바와 같이, 전자 장치(100)와 제품이 평행하지 않은(즉, 비스듬한) 평면 상에서 촬영되는 경우 전자 장치(100)에 표시되는 배경 영상은 상이할 수 있다.
따라서, 전자 장치(100)는 QR 코드의 크기 정보(예를 들어, 가로 3cm, 세로 3cm의 정사각형)를 메모리(170)에 기 저장하고, 카메라(110)를 통해 촬영된 이미지 상의 QR 코드의 크기 정보를 바탕으로 후술하는 오브젝트의 크기 및 기울기를 결정할 수 있다.예를 들어, 촬영된 이미지 상의 QR 코드의 크기 정보가 가로 2cm, 세로 2cm의 정사각형인 경으, 전자 장치(100)는 오브젝트의 크기를 기 설정된 크기(즉, 3cm, 세로 3cm의 정사각형인 QR 코드에 대응되는 크기)보다 1.5배 확대할 수 있다. 또 다른 예로, 촬영된 이미지 상의 QR 코드의 크기 정보가 가로 3cm, 세로 2cm의 사각형인 경우, 전자 장치(100)는 오브젝트를 기 설정된 크기에서 3cm, 세로 3cm의 정사각형인 QR 코드에 대응되는 기울기로 변환할 수 있다.
이후, 프로세서(120)는, 디스플레이(130)에 표시되는 제품의 크기 및 시선 정보(또는 기울기 정보)를 바탕으로 오브젝트가 표시될 영역을 획득할 수 있다.
즉, 전자 장치(100)는 카메라(110)를 통해 촬영된 이미지 상의 QR 코드의 크기 정보를 바탕으로 오브젝트의 크기 및 기울기를 결정할 수 있을 뿐만 아니라, 오브젝트가 표시될 영역을 결정할 수 있다.
즉, 도 5b에 도시된 바와 같이, 전자 장치(100)와 QR 코드가 평행한 평면 상에 위치하는 경우의 영역은 도 5d에 도시된 바와 같이, 전자 장치(100)와 QR 코드가 평행한 평면 상에 위치하지 않는 경우의 영역보다 큰 영역일 수 있다.
상술한 과정을 통해, 전자 장치(100)는 도 5a 내지 도 5d와 같이 제품이 물고기 오브젝트를 포함하는 경우, 전자 장치(100) 상에서 물 영역 안에만 물고기가 위치하도록 할 수 있다.
이후, 디스플레이(130)는, 획득된 오브젝트를 영역에 표시할 수 있다.
한편, 전자 장치의 이동에 따라 QR 코드의 이미지의 크기 및 시선 정보(또는 기울기 정보)가 기 설정된 비율 이상 변경되는 경우, 프로세서(120)는, 기 저장된 QR 코드의 크기 정보 및 변경된 QR 코드의 이미지 정보를 바탕으로, 디스플레이(130)에 표시되는 변경된 제품의 크기 및 변경된 시선 정보(또는 기울기 정보)를 획득할 수 있다.
이후, 프로세서(120)는, 디스플레이(130)에 표시되는 제품의 변경된 크기 및 변경된 시선 정보(또는 기울기 정보)를 바탕으로 QR 코드에 대응되는 변경된 오브젝트에 대한 정보 및 오브젝트가 표시될 변경된 영역을 획득할 수 있다.
이후, 디스플레이(130)는, 획득된 변경된 오브젝트를 변경된 영역에 표시할 수 있다.
즉, 전자 장치(100)가 스마트 폰으로 구현되는 경우, 일반적으로 QR 코드를 촬영하는 스마트폰은 고정된 위치에 존재하는 경우보다 자유롭게 이동하는 경우가 많을 것이다. 손떨림과 같은 경미한 이동에 대하여는, 전자 장치(100)는 오브젝트 또는 오브젝트가 표시되는 영역을 변경할 필요성이 적으나, 큰 이동의 경우에는 오브젝트 또는 오브젝트가 표시되는 영역을 변경할 필요성이 증가한다.
따라서, 전자 장치(100)는 카메라(100)에 의해 촬영된 QR 코드가 기 설정된 비율(예를 들어 10%) 이상 변경되는 경우, 오브젝트의 크기 및 기울기, 오브젝트가 표시될 영역을 변경할 수 있다.
한편, 본 발명의 일 실시예에 따라, 도 4a 내지 도 4d에 도시된 바와 같이, 오브젝트가 모닥불 오브젝트인 경우, 전자 장치(100)는 디스플레이(130)의 상단 중앙 영역에, 모닥불 오브젝트의 화력 세기를 조절하기 위한 UI를 표시할 수 있다.
본 발명의 또 다른 실시예에 따라, 전자 장치(100)는 UI를 통해 모닥불 오브젝트의 화력 세기를 조절하기 위한 사용자 명령이 입력되면, 사용자 명령에 대응되게 모닥불 오브젝트를 변경하여 표시할 수 있다.
한편, 도 5a 내지 도 5d에 도시된 바와 같이, 전자 장치(100)는 오브젝트가 물고기 오브젝트인 경우, 획득된 영역 내부에서 물고기 오브젝트를 이동시킬 수 있다.
이후, 물고기 오브젝트를 제어하기 위한 사용자 명령이 입력되면, 전자 장치(100)는 사용자 명령에 대응되게 물고기 오브젝트를 이동시킬 수 있다.
한편, 카메라(110)는, 기 설정된 주기마다 QR 코드에 대한 정보(즉, 표시될 오브젝트의 종류 및 오브젝트가 표시될 영역 정보)를 업데이트 할 수 있다.
즉, 기 설정된 주기마다 QR 코드에 대한 정보가 업데이트 되지 않는다면, QR 코드가 디스플레이(130) 상에서 사라진 경우에도 전자 장치(100)는 오브젝트를 계속하여 표시하게 된다.
따라서, 전자 장치(100)는 기 설정된 주기마다 QR 코드가 카메라(110)에 의해 촬영되는지를 판단하고, QR 코드가 카메라(110)에 의해 촬영되지 않는 경우, 오브젝트 표시를 중단할 수 있다.
이후, 카메라(110)는, 기 설정된 주기마다 QR 코드 이미지를 업데이트 할 수 있다.
구체적으로, QR 코드가 카메라(110)에 의해 촬영되는 경우라도, 전자 장치(100)의 위치가 변경되어 오브젝트의 크기 및 기울기, 오브젝트가 표시될 영역이 변경될 필요성이 존재한다. 따라서, 전자 장치(100)는 QR 코드의 정보 뿐만 아니라, (크기 정보를 포함하는)QR 코드 이미지를 함께 업데이트 할 수 있다.
한편, QR 코드에 대한 정보를 업데이트 하는 단계는, 카메라(110)와 QR 코드 사이에 장애물이 존재하여, QR 코드의 일부만 촬영되는 경우, 촬영된 QR 코드의 일부를 바탕으로 QR 코드의 이미지 형상을 복원할 수 있다.
구체적으로, 최초 오브젝트를 표시하는 경우, 전자 장치(100) QR 코드의 정보를 완벽하게 수신하여야 하지만, 오브젝트가 표시된 이후에는, 전자 장치(100)는 QR 코드를 촬영하고 있는지 여부만이 중요하다. 이때, 카메라(110)와 QR 코드 사이에 장애물이 존재하여 QR 코드 일부가 장애물에 의해 디스플레이(130) 상에서 사라지는 경우가 존재할 수 있다.
그러나, QR 코드 일부가 장애물에 의해 디스플레이(130) 상에서 사라지는 경우라도, 전자 장치(100)가 오브젝트를 계속하여 표시하는 것이 원활한 증강 현실을 구축하기 위한 하나의 대안이 될 수 있다.
따라서, 전자 장치(100)는 QR 코드 일부가 장애물에 의해 디스플레이(130) 상에서 사라지는 경우라도, 디스플레이(130)에 의해 획득된 QR 코드의 일부 영역을 바탕으로 QR 코드의 이미지 형상을 획득할 수 있다. 즉, 이 경우 전자 장치(100)가 획득하는 QR 코드의 이미지 형상은 QR 코드를 디코딩하여 얻는 정보가 아닌, QR 코드의 크기 및 기울기 정보일 수 있다.
이후, 복원된 QR 코드의 이미지 형상을 바탕으로 QR 코드에 대응되는 변경된 오브젝트에 대한 정보 및 오브젝트가 표시될 변경된 영역을 획득할 수 있다.
한편, 본 발명의 다양한 실시예에 따라, 도 5a 내지 도 5d에 도시된 물고기 오브젝트는 사용자 명령에 따라 위치를 이동할 수 있다. 이때, 사용자 명령은 음성 명령일 수 있으나, 이에 한정되는 것은 아니다.
예를 들어, 사용자 명령은 디스플레이(130) 상에 표시된 물고기를 드래그 하여 이동시키는 명령일 수 있다. 또는, 사용자 명령은 호버링 명령, 더블탭 입력 등일 수 있음은 물론이다.
이하에서는 음성 명령을 바탕으로 물고기 오브젝트를 이동시키는 과정에 대해 설명한다.
전자 장치(100)는 사용자로부터 음성 신호를 입력 받아 음성 인식 데이터를 생성할 수 있다. 일 실시예로, 프로세서(120)는 디스플레이(130) 상에 사용자로부터 음성 명령 입력 버튼을 표시하고, 사용자로부터 음성 명령 입력 버튼을 통한 명령이 입력되면, 음성 명령을 입력받도록 마이크(150)를 활성화시킬 수 있다.
여기서, 음성 인식 데이터는 프로세서(120)에 의해 음성 신호를 전처리하고, 전처리된 음성 신호로부터 음성 특징을 추출하며, 추출된 음성 특징을 음성 모델과 비교하고, 비교 결과에 기초하여 생성되는 데이터일 수 있다. 예를 들어, 음성 인식 데이터는 음성 명령에 대응되는 텍스트일 수 있다.
이때, 프로세서(120)가 음성 명령에 대응되는 음성 인식 데이터를 생성하는데 사용하는 음성 인식 방법의 종류는 음성 인식 데이터를 생성하는 한 제한되지 않음은 물론이다.
일 실시예로, 프로세서(120)는 인식된 음성 인식 데이터를 나타내는 음성 인식 데이터 이미지를 표시하도록 디스플레이(130)를 제어할 수 있다.
또 다른 실시예로, 프로세서(120)는 인식된 음성 인식 데이터가 음성 명령과 대응되는지 여부를 사용자로부터 입력받을 수 있는 확인 입력 영역을 표시하도록 디스플레이(130)를 제어할 수 있다.
프로세서(120)는 인식된 음성 인식 데이터가 음성 명령과 대응됨을 나타내는 확인 입력이 입력되면 이동동 제어 블록을 생성하는 과정을 수행할 수 있다. 반대로, 프로세서(120)는 인식된 음성 인식 데이터가 음성 명령과 대응되지 않음을 나타내는 비확인 입력이 입력되면 음성 명령을 재입력받는 과정을 수행할 수 있다.
이후, 프로세서(120)는 음성 인식 데이터에 기초하여 물고기 오브젝트의 이동을 제어하는 이동 제어 블록 및 이동 제어 블록에 대응되는 명령문을 생성하고, 이동 제어 블록에 대응하여 물고기 오브젝트의 이동을 제어할 수 있다.
이후, 프로세서(120)는 이동 제어 블록을 나타내는 명령블록 이미지를 생성하고, 명령블록 이미지를 표시하기 위해 디스플레이(130)를 제어할 수 있다.
이때, 이동 제어 블록은 설정된 프로그래밍 언어 종류에 대응되는 이동 종류 제어 명령문, 이동 속도 제어 명령문 및 이동 반복수 제어 명령문 중 하나 이상을 포함할 수 있다.
또한, 이동 종류 제어 명령문은 설정된 프로그래밍 언어 종류에 대응되는 이동 종류 제어 명령어와 이동 종류 제어 변수를 포함하고, 이동 속도 제어 명령문은 설정된 프로그래밍 언어 종류에 대응되는 이동 속도 제어 명령어와 이동 속도 제어 변수를 포함하고, 이동 반복수 제어 명령문은 설정된 프로그래밍 언어 종류에 대응되는 이동 반복수 제어 명령어와 이동 반복수 제어 변수를 포함할 수 있다.
프로세서(120)는 음성 인식 데이터에서 이동 종류 정보를 검색하고, 이동 종류 정보가 검색되면 검색된 이동 종류 정보에 대응하는 이동 종류 제어 명령문을 생성할 수 있다.
예를 들어, 음성 인식 데이터가 "오른쪽으로 빠르게 움직여"인 경우, 이동 종류 정보는 "오른쪽", 이동 종류 정보에 대응하는 이동 종류 제어 명령문은 "#move right"일 수 있다. 이를 위해, 이동 종류 정보에 해당하는 텍스트가 프로그래밍 언어 종류별 이동 종류 제어 명령문에 매칭되어 메모리(170)에 저장될 수 있다.
한편, 이동 제어 블록이 이동 속도 제어 명령문을 포함하는 경우, 프로세서(120)는, 음성 인식 데이터에 이동 속도 정보가 포함된 경우, 이동 속도 정보에 대응하는 이동 속도 제어 명령문을 생성할 수 있다.
반면에, 음성 인식 데이터에 이동 속도 정보가 포함되지 않은 경우, 프로세서(120)는, 음성 인식 데이터에 기초하여 음절 간격 정보를 생성하고, 음절 간격 정보에 대응하여 이동 속도 정보를 생성하고, 생성된 이동 속도 정보에 대응하는 이동 속도 제어 명령문을 생성할 수 있다.
구체적으로, 프로세서(120)는 음성 인식 데이터에서 이동 속도 정보를 검색하고, 이동 속도 정보가 검색되면 검색된 이동 속도 정보에 대응하는 이동 속도 제어 명령문을 생성할 수 있다. 예를 들어, 음성 인식 데이터가 "오른쪽으로 빠르게 움직여"인 경우, 이동 속도 정보는 "빠르게", 이동 속도 정보에 대응하는 이동 종류 제어 명령문은 "#speed up"일 수 있다.
이를 위해, 이동 속도 정보에 해당하는 텍스트가 프로그래밍 언어 종류별 이동 속도 제어 명령문)에 매칭되어 메모리(170)에 저장될 수 있다.
반대로, 프로세서(120)는 음성 인식 데이터에서 이동 속도 정보가 검색되지 않으면, 음성 인식 데이터에 기초하여 음절 간격 정보를 생성하고, 음절 간격 정보에 대응하여 이동 속도 정보를 생성하고, 생성된 이동 속도 정보에 대응하는 이동 속도 제어 명령문을 생성할 수 있다.
구체적으로, 프로세서(120)는 음성 인식 데이터에 포함된 음절 중에서 어느 하나의 음절의 종료 시점과 어느 하나의 음절의 다음 음절의 시작 시점 간에 제1 시간차를 산출하고, 복수의 제1 시간차의 평균 시간차를 음절 간격 정보로 생성할 수 있다.
이후, 프로세서(120)는 기준 시간차 대비 음절 간격 정보가 나타내는 평균 시간차의 시간차 비율을 산출하고, 기본 이동 속도에 시간차 비율을 적용하여 이동 속도 정보로 생성할 수 있다.
예를 들어, 프로세서(120)는 평균 시간차가 "12msec"이고, 기준 시간차가 "10msec"이며, 기본 이동 속도가 "1배속"인 경우, 시간차 비율을 "120%"로 산출하고, 기본 이동 속도 "1배속"에 시간차 비율 "120%"를 적용하여 이동 속도 정보를 "1.2배속"으로 생성할 수 있다.
한편, 이동 제어 블록이 이동 반복수 제어 명령문을 포함하는 경우, 프로세서(120)는, 음성 인식 데이터에 이동 반복수 정보가 포함된 경우, 이동 반복수 정보에 대응하는 이동 반복수 제어 명령문을 생성할 수 있다.
반면에, 음성 인식 데이터에 이동 반복수 정보가 포함되지 않은 경우, 프로세서(120)는 음성 신호에 기초하여 신호 세기 정보를 생성하고, 신호 세기 정보에 대응하여 이동 반복수 정보를 생성하고, 생성된 이동 반복수 정보에 대응하는 이동 반복수 제어 명령문을 생성할 수 있다.
구체적으로, 한편, 프로세서(120)는 음성 인식 데이터에서 이동 반복수 정보를 검색하고, 이동 반복수 정보가 검색되면 검색된 이동 반복수 정보에 대응하는 이동 반복수 제어 명령문을 생성할 수 있다. 예를 들어, 음성 인식 데이터가 "호수를 두번 왕복해"인 경우, 이동 반복수 정보는 "두번", 이동 반복수 정보에 대응하는 이동 종류 제어 명령문은 "#two"일 수 있다.
이를 위해, 이동 반복수 정보에 해당하는 텍스트가 프로그래밍 언어 종류별 이동 반복수 제어 명령문에 매칭되어 메모리(170)에 저장될 수 있다.
반대로, 프로세서(120)는 음성 인식 데이터에서 이동 반복수 정보 검색되지 않으면, 음성 신호에 기초하여 신호 세기 정보를 생성하고, 신호 세기 정보에 대응하여 이동 반복수 정보를 생성하고, 생성된 이동 반복수 정보에 대응하는 이동 반복수 제어 명령문을 생성할 수 있다.
구체적으로, 프로세서(120)는 음성 신호의 시간에 따른 신호 세기 중에서 최대 신호 세기를 신호 세기 정보로 생성할 수 있다.
이후, 프로세서(120)는 기준 신호 세기 대비 신호 세기 정보가 나타내는 최대 신호 세기의 신호 세기 비율을 산출하고, 기본 이동 반복수에 신호 세기 비율을 적용하여 이동 반복수 정보로 생성할 수 있다.
예를 들어, 프로세서(120)는 최대 신호 세기가 "200DB"이고, 기준 신호 세기가 "100DB"이며, 기본 이동 반복수가 "1회"인 경우, 신호 세기 비율을 "200%"로 산출하고, 기본 이동 반복수 "1회"에 신호 세기 비율 "200%"를 적용하여 이동 반복수 정보를 "2회"로 생성할 수 있다. 이때, 이동 반복수 정보는 반올림되어 자연수로 생성될 수 있다.
한편, 프로세서(120)는 음성 신호에 기초하여 사용자의 사용자 특성 정보를 생성하고, 사용자 특성 정보에 대응하여 이동 제어 블록의 프로그래밍 언어 종류를 설정할 수 있다.
여기서, 사용자 특성 정보는 사용자 성별 정보 및 사용자 연령 정보를 포함할 수 있다.
구체적으로, 프로세서(120)는 음성 신호의 시간에 따른 주파수로부터 평균 주파수를 산출하고, 음성 주파수 별로 사용자 연령 정보가 매핑된 주파수-사용자 특성 테이블로부터 평균 주파수에 대응되는 사용자의 사용자 연령 정보를 독출할 수 있다.
한편, 본 발명의 다양한 실시예에 따라, 이동 제어 블록은 다양한 명령문을 포함할 수 있음은 물론이다. 일 실시예로, 프로세서(120)는 입력된 음성의 주파수에 따라 특정 동작을 수행하도록 오브젝트를 제어할 수 있다. 예를 들어 입력된 음성의 주파수가 기 설정된 범위(예를 들어 60헤르츠 내지 80헤르츠)를 벗어나는 경우, 프로세서(120)는 물고기 오브젝트가 물밖으로 뛰쳐나오는 동작을 수행하도록 오브젝트를 제어할 수 있다. 구체적으로, 입력된 주파수가 60헤르츠 미만인 경우, 프로세서(120)는 디스플레이(130)에 표시된 복수의 물고기 오브젝트 중 기 설정된 크기 이상의 물고기 오브젝트가 물밖으로 뛰쳐나오는 동작을 수행하도록 오브젝트를 제어할 수 있다. 또는 입력된 주파수가 80헤르츠 초과인 경우, 프로세서(120)는 디스플레이(130)에 표시된 복수의 물고기 오브젝트 중 기 설정된 크기 이하의 물고기 오브젝트가 물밖으로 뛰쳐나오는 동작을 수행하도록 오브젝트를 제어할 수 있다.
또 다른 실시예로, 프로세서(120)는 입력된 음성의 주파수가 높을수록 물고기 오브젝트가 높게 뛰쳐오르는 동작을 수행할 수 있음은 물론이다.
한편, 본 발명의 또 다른 실시예에 따라, 전자 장치(100)는 디스플레이(130)에 표시된 배경 영상의 초점 거리에 따라, 오브젝트를 다르게 표시할 수 있다. 예를 들어, 디스플레이(130)에 표시된 제품에 카메라(110)의 초점이 맞춰진 경우, 프로세서(120)는 오브젝트를 선명하게 표시하고, 디스플레이(130)에 표시된 제품이 아닌 다른 영역에 카메라(110)의 초점이 맞춰진 경우, 프로세서(120)는 오브젝트를 흐릿하게 표시할 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
본 발명의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
100 : 전자 장치

Claims (10)

  1. 카메라, 메모리, 디스플레이 및 프로세서를 포함하는 전자 장치의 제어 방법에 있어서,
    상기 카메라가, QR 코드를 포함하는 제품 영상을 획득하는 단계;
    상기 프로세서가, 상기 QR 코드 이미지를 획득하는 단계;
    상기 프로세서가, 상기 메모리로부터 기 저장된 QR 코드의 크기 정보를 획득하는 단계;
    상기 프로세서가, 상기 기 저장된 QR 코드의 크기 정보 및 상기 QR 코드의 이미지 정보를 바탕으로, 상기 디스플레이에 표시되는 제품의 크기 및 시선 정보를 획득하는 단계;
    상기 프로세서가, 상기 디스플레이에 표시되는 제품의 크기 및 시선 정보를 바탕으로 상기 QR 코드에 대응되는 오브젝트에 대한 정보를 획득하는 단계;
    상기 프로세서가, 상기 디스플레이에 표시되는 제품의 크기 및 시선 정보를 바탕으로 상기 오브젝트가 표시될 영역을 획득하는 단계; 및
    상기 디스플레이가, 상기 획득된 오브젝트를 상기 영역에 표시하는 단계; 를 포함하는 제어 방법.
  2. 제1항에 있어서,
    상기 제어 방법은,
    상기 전자 장치의 이동에 따라 상기 QR 코드의 이미지의 크기 및 시선 정보가 기 설정된 비율 이상 변경되는 경우, 상기 프로세서가, 상기 기 저장된 QR 코드의 크기 정보 및 상기 변경된 QR 코드의 이미지 정보를 바탕으로, 상기 디스플레이에 표시되는 변경된 제품의 크기 및 변경된 시선 정보를 획득하는 단계;
    상기 프로세서가, 상기 디스플레이에 표시되는 제품의 변경된 크기 및 변경된 시선 정보를 바탕으로 상기 QR 코드에 대응되는 변경된 오브젝트에 대한 정보 및 상기 오브젝트가 표시될 변경된 영역을 획득하는 단계; 및
    상기 디스플레이가, 상기 획득된 변경된 오브젝트를 상기 변경된 영역에 표시하는 단계; 를 포함하는 제어 방법.
  3. 제1항에 있어서,
    상기 오브젝트가 모닥불 오브젝트인 경우,
    상기 제어 방법은,
    상기 디스플레이의 상단 중앙 영역에, 상기 모닥불 오브젝트의 화력 세기를 조절하기 위한 UI를 표시하는 단계;
    상기 UI를 통해 상기 모닥불 오브젝트의 화력 세기를 조절하기 위한 사용자 명령이 입력되면, 상기 사용자 명령에 대응되게 상기 모닥불 오브젝트를 변경하여 표시하는 단계;를 포함하는 제어 방법.
  4. 제1항에 있어서,
    상기 오브젝트가 물고기 오브젝트인 경우,
    상기 표시하는 단계는,
    상기 획득된 영역 내부에서 상기 물고기 오브젝트를 이동시키는 단계; 및
    상기 물고기 오브젝트를 제어하기 위한 사용자 명령이 입력되면, 상기 사용자 명령에 대응되게 상기 물고기 오브젝트를 이동시키는 단계; 를 포함하는 제어 방법.
  5. 제2항에 있어서,
    상기 제어 방법은,
    상기 카메라가, 기 설정된 주기마다 상기 QR 코드에 대한 정보를 업데이트 하는 단계; 및
    상기 카메라가, 기 설정된 주기마다 상기 QR 코드 이미지를 업데이트 하는 단계;를 포함하고,
    상기 QR 코드에 대한 정보를 업데이트 하는 단계는,
    상기 카메라와 상기 QR 코드 사이에 장애물이 존재하여, 상기 QR 코드의 일부만 촬영되는 경우, 촬영된 상기 QR 코드의 일부를 바탕으로 QR 코드의 이미지 형상을 복원하는 단계; 및
    상기 복원된 QR 코드의 이미지 형상을 바탕으로 상기 QR 코드에 대응되는 변경된 오브젝트에 대한 정보 및 상기 오브젝트가 표시될 변경된 영역을 획득하는 단계;를 포함하는 제어 방법.
  6. 제4항에 있어서,
    상기 물고기 오브젝트를 이동시키는 단계는,
    상기 전자 장치의 사용자로부터 음성 신호를 입력 받아 음성 인식 데이터를 생성하는 단계;
    상기 음성 인식 데이터에 기초하여 상기 물고기 오브젝트의 이동을 제어하는 이동 제어 블록 및 상기 이동 제어 블록에 대응되는 명령문을 생성하는 단계;
    상기 이동 제어 블록에 대응하여 상기 물고기 오브젝트의 이동을 제어하는 단계;
    상기 이동 제어 블록을 나타내는 명령블록 이미지를 생성하는 단계; 및
    상기 명령블록 이미지를 표시하는 단계; 를 포함하는 제어 방법.
  7. 제6항에 있어서,
    상기 이동 제어 블록이 이동 속도 제어 명령문을 포함하는 경우, 상기 이동 제어 블록 및 상기 이동 제어 블록에 대응되는 명령문을 생성하는 단계는,
    상기 음성 인식 데이터에 이동 속도 정보가 포함된 경우, 상기 이동 속도 정보에 대응하는 이동 속도 제어 명령문을 생성하는 단계; 및
    상기 음성 인식 데이터에 이동 속도 정보가 포함되지 않은 경우 경우, 상기 음성 인식 데이터에 기초하여 음절 간격 정보를 생성하고, 상기 음절 간격 정보에 대응하여 상기 이동 속도 정보를 생성하고, 상기 생성된 이동 속도 정보에 대응하는 이동 속도 제어 명령문을 생성하는 단계; 를 포함하는 제어 방법.
  8. 제6항에 있어서,
    상기 이동 제어 블록이 이동 반복수 제어 명령문을 포함하는 경우, 상기 이동 제어 블록 및 상기 이동 제어 블록에 대응되는 명령문을 생성하는 단계는,
    상기 음성 인식 데이터에 이동 반복수 정보가 포함된 경우, 상기 이동 반복수 정보에 대응하는 이동 반복수 제어 명령문을 생성하는 단계; 및
    상기 음성 인식 데이터에 이동 반복수 정보가 포함되지 않은 경우, 상기 음성 신호에 기초하여 신호 세기 정보를 생성하고, 상기 신호 세기 정보에 대응하여 상기 이동 반복수 정보를 생성하고, 상기 생성된 이동 반복수 정보에 대응하는 이동 반복수 제어 명령문을 생성하는 단계;를 포함하는 제어 방법.
  9. 하나 이상의 인스트럭션을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고,
    상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    제1 항의 방법을 수행하는, 장치.
  10. 하드웨어인 컴퓨터와 결합되어, 제1 항의 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터프로그램.
KR1020210015028A 2021-02-02 2021-02-02 증강현실 기반 전자 장치의 제어 방법 KR20220111821A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210015028A KR20220111821A (ko) 2021-02-02 2021-02-02 증강현실 기반 전자 장치의 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210015028A KR20220111821A (ko) 2021-02-02 2021-02-02 증강현실 기반 전자 장치의 제어 방법

Publications (1)

Publication Number Publication Date
KR20220111821A true KR20220111821A (ko) 2022-08-10

Family

ID=82846772

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210015028A KR20220111821A (ko) 2021-02-02 2021-02-02 증강현실 기반 전자 장치의 제어 방법

Country Status (1)

Country Link
KR (1) KR20220111821A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240052586A (ko) 2022-10-14 2024-04-23 명지대학교 산학협력단 스마트 홈에서 증강 현실 인터페이스를 이용한 소비자 장치를 제어하기 위한 장치 및 이를 위한 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101397873B1 (ko) 2011-11-04 2014-07-01 인하대학교 산학협력단 증강 현실 표시 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101397873B1 (ko) 2011-11-04 2014-07-01 인하대학교 산학협력단 증강 현실 표시 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240052586A (ko) 2022-10-14 2024-04-23 명지대학교 산학협력단 스마트 홈에서 증강 현실 인터페이스를 이용한 소비자 장치를 제어하기 위한 장치 및 이를 위한 방법

Similar Documents

Publication Publication Date Title
EP3209012B1 (en) Electronic device and operating method thereof
US10628670B2 (en) User terminal apparatus and iris recognition method thereof
JP6631181B2 (ja) 画像投射システム、プロジェクター、及び、画像投射システムの制御方法
US9838597B2 (en) Imaging device, imaging method, and program
US20180165862A1 (en) Method for communication via virtual space, program for executing the method on a computer, and information processing device for executing the program
US9952667B2 (en) Apparatus and method for calibration of gaze detection
US11748968B2 (en) Target tracking method and system, readable storage medium, and mobile platform
KR20160135242A (ko) 시선 검출을 통한 원격 디바이스 제어
KR20110109883A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
KR20150012274A (ko) 이미지 내 원형 객체 검출에 의한 계산장치 동작
JPWO2012001755A1 (ja) 情報処理システム、情報処理装置および情報処理方法
KR20170027266A (ko) 영상 촬영 장치 및 그 동작 방법
US20180357036A1 (en) Display system, display device, and method of controlling display system
EP3974950A1 (en) Interactive method and apparatus in virtual reality scene
KR102214338B1 (ko) 증강현실 표시를 위한 전자 장치의 제어 방법, 장치 및 프로그램
KR20220111821A (ko) 증강현실 기반 전자 장치의 제어 방법
JP2019114194A (ja) 仮想空間を提供するためにコンピュータで実行されるプログラム、方法、およびプログラムを実行するための情報処理装置
JP5571895B2 (ja) 情報表示装置
JP6374203B2 (ja) 表示システム及びプログラム
KR100843586B1 (ko) 무접점 기능을 수행하는 장치 및 방법
WO2022042570A1 (zh) 图像处理方法及装置
KR20080073181A (ko) 원격 포인팅 장치를 이용한 제어 시스템
US9860480B2 (en) Method for processing information and electronic device
KR102260751B1 (ko) 전자 장치 및 그의 제어 방법
CN114281185A (zh) 基于嵌入式平台的体态识别及体感交互系统和方法