KR101683676B1 - 사운드를 이용한 증강 현실 서비스 제공 장치 및 방법 - Google Patents

사운드를 이용한 증강 현실 서비스 제공 장치 및 방법 Download PDF

Info

Publication number
KR101683676B1
KR101683676B1 KR1020100070994A KR20100070994A KR101683676B1 KR 101683676 B1 KR101683676 B1 KR 101683676B1 KR 1020100070994 A KR1020100070994 A KR 1020100070994A KR 20100070994 A KR20100070994 A KR 20100070994A KR 101683676 B1 KR101683676 B1 KR 101683676B1
Authority
KR
South Korea
Prior art keywords
augmented reality
reality service
sound signal
additional information
information
Prior art date
Application number
KR1020100070994A
Other languages
English (en)
Other versions
KR20120009131A (ko
Inventor
정희원
고준호
권동욱
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020100070994A priority Critical patent/KR101683676B1/ko
Priority to EP11174891.9A priority patent/EP2410714B1/en
Priority to CN201110207359.2A priority patent/CN102348014B/zh
Priority to US13/189,042 priority patent/US8749584B2/en
Publication of KR20120009131A publication Critical patent/KR20120009131A/ko
Priority to US14/299,607 priority patent/US9269373B2/en
Priority to US15/049,640 priority patent/US9860661B2/en
Application granted granted Critical
Publication of KR101683676B1 publication Critical patent/KR101683676B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/20—Services signaling; Auxiliary data signalling, i.e. transmitting data via a non-traffic channel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/004—Monitoring arrangements; Testing arrangements for microphones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/69—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for evaluating synthetic or decoded voice signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/04—Protocols specially adapted for terminals or networks with limited capabilities; specially adapted for terminal portability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/52—Network services specially adapted for the location of the user terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/53—Network services using third party service providers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Otolaryngology (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)

Abstract

본 발명은 사운드를 이용한 증강 현실 서비스를 제공할 수 있는 장치 및 방법을 제공한다. 이를 위해 본 발명은 이동 통신 단말기에서 사용자에 의해 증강 현실 서비스 제공 기능이 시작되면, 사운드 신호를 수신하는 과정과, 수신된 사운드 신호를 분석하여 부가 정보의 포함 여부를 판단한 후, 만일 사운드 신호에 부가 정보가 결합되어 있을 경우 부가 정보를 추출하고, 추출된 부가 정보와 연관된 데이터를 획득함으로써 획득된 데이터를 이용하여 증강 현실 서비스를 제공하는 과정으로 이루어진다. 이에 따라 본 발명은 현재 위치에서의 다양한 부가 정보를 제공할 수 있을 뿐만 아니라 공간의 제약을 받지 않고도 증강 현실 서비스의 제공이 가능한 이점이 있다.

Description

사운드를 이용한 증강 현실 서비스 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING AUGMENTED REALITY SERVICE USING SOUND}
본 발명은 이동 통신 단말기에 관한 것으로, 특히 이동 통신 단말기에서 사운드를 이용한 증강 현실 서비스 제공 장치 및 방법에 관한 것이다.
이동 통신 단말기에 있어서 다양한 서비스 및 부가 기능들이 점차 확대되는 가운데, 사용자에게 각종 정보를 제공하는 다양한 서비스 시스템들이 개발되고 있다. 예를 들면, 임의의 사용자가 자신의 현 위치를 알고 싶을 때, 소지하고 있는 이동 통신 단말기를 이용하여 자신의 위치에 대한 정보 즉, 그 이동 통신 단말기의 현 위치 정보를 요구했을 경우, 그 이동 통신 단말기에 대한 기본적인 위치 정보를 제공해주는 시스템이 최근 소개되고 있다.
이러한 위치 정보를 제공해주는 기술의 하나로써, 종래에는 증강 현실 분야에서 사용자의 위치를 위치 측정 장치(Global Position System: 이하 GPS)와 자이로(GYRO)를 이용하여 파악하고 난 후 씨-쓰루(See-Through) 헤드 마운트 디스플레이(HMD:Head Mounted Display) 장치를 이용하여 사용자에게 실사 영상과 함께 부가 정보를 정합하여 제공하는 기술이 있었다. 이러한 기술은 현실 세계에서는 불가능한 영상 표현이나 정보 제공을 위하여 최근 실세계와 컴퓨터로 생성한 사이버 세계를 혼합하여 보다 유용한 정보를 제공하는 기술이며, 이러한 기술을 증강 현실 (Augmented Reality) 기술이라고 한다. 이러한 기술은 예를 들어, 관광을 하는 여행객에게 주변 관광 정보를 비롯한 여러 정보를 제공하는 기술로써 활용될 수 있다.
상기한 바와 같이 종래의 증강 현실 기술은 현재의 위치에서의 실사 영상에 관련된 부가 정보를 제공할 수 있었다. 그러나, 현재 위치에서의 부가 정보를 제공하기 위해서는 반드시 실사 영상을 획득해야만 했다. 하지만 실사 영상을 얻을 수 없는 공간 또는 특징점을 찾을 수 없는 공간에 위치할 경우에서도 증강 현실 서비스를 제공할 수 있다면, 유용성을 향상시킬 수 있을 것이다.
따라서 본 발명은 실사 영상을 얻을 수 없는 공간에서도 증강 현실 서비스를 제공할 수 있는 장치 및 방법을 제공한다.
또한 본 발명은 실사 영상 대신 사운드를 이용하여 증강 현실 서비스를 제공할 수 있는 장치 및 방법을 제공한다.
또한 본 발명은 증강 현실 기반의 부가 정보를 제공할 수 있는 장치 및 방법을 제공한다.
상기한 바를 달성하기 위한 본 발명은, 마이크로폰을 구비한 이동 통신 단말기에서 증강 현실 서비스를 제공하는 방법에 있어서, 상기 마이크로폰을 통해 상기 증강 현실 서비스와 관련된 부가 정보가 결합된 사운드 신호를 수신하는 단계와, 상기 사운드 신호로부터 상기 부가 정보를 추출하는 단계와, 상기 추출된 부가 정보를 이용하여 상기 증강 현실 서비스를 제공하는데 필요한 데이터를 획득하는 단계와, 상기 획득된 데이터를 기반으로 증강 현실 서비스 화면을 구성하여 출력하는 단계를 포함함을 특징으로 한다.
또한 본 발명은, 증강 현실 서비스를 제공하기 위한 장치에 있어서, 상기 증강 현실 서비스와 관련된 부가 정보가 결합된 사운드 신호를 수신하는 마이크로폰과, 상기 마이크로폰을 통해 수신되는 상기 사운드 신호로부터 상기 부가 정보를 추출하고, 상기 추출된 부가 정보를 이용하여 상기 증강 현실 서비스를 제공하는데 필요한 데이터를 획득한 후, 상기 획득된 데이터를 기반으로 증강 현실 서비스 화면을 구성하는 제어부와, 상기 증강 현실 서비스 화면을 출력하는 표시부를 포함함을 특징으로 한다.
본 발명에 따르면, 실사 영상 대신 사운드를 이용하여 증강 현실 기반의 부가 정보를 제공함으로써, 지하철, 건물 안 등 특정 공간에 대한 특징을 찾을 수 없는 공간 또는 촬영이 어려워 실사 영상을 얻을 수 없는 공간에서도 다양한 부가 정보를 제공할 수 있는 이점이 있다. 또한 본 발명은 현재 위치에서 수신된 사운드로부터 부가 정보를 추출함으로써 현재 위치에서의 맵, 관광 정보 등을 제공할 수 있을 뿐만 아니라 다양한 부가 서비스의 이용 증대를 기대할 수 있는 이점이 있다.
도 1은 본 발명의 실시예에 따른 증강 현실 서비스 제공을 위한 시스템 구성도,
도 2는 본 발명의 실시예에 따른 증강 현실 서비스를 제공하기 위한 이동 통신 단말기의 내부블록 구성도,
도 3은 본 발명의 실시예에 따라 증강 현실 서비스의 일례를 보인 도면,
도 4는 본 발명의 실시예에 따른 증강 현실 서비스 제공 방법의 흐름도.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다. 도면에서 동일한 구성요소들에 대해서는 비록 다른 도면에 표시되더라도 가능한 한 동일한 참조번호 및 부호로 나타내고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.
본 발명은 사운드를 이용한 증강 현실 서비스를 제공할 수 있는 장치 및 방법을 제공한다. 이를 위해 본 발명은 이동 통신 단말기에서 사용자에 의해 증강 현실 서비스 제공 기능이 시작되면, 사운드 신호를 수신하는 과정과, 수신된 사운드 신호를 분석하여 부가 정보의 포함 여부를 판단한 후, 만일 사운드 신호에 부가 정보가 결합되어 있을 경우 부가 정보를 추출하고, 추출된 부가 정보와 연관된 데이터를 획득함으로써 획득된 데이터를 이용하여 증강 현실 서비스를 제공하는 과정으로 이루어진다. 이에 따라 본 발명은 현재 위치에서의 다양한 부가 정보를 제공할 수 있을 뿐만 아니라 공간의 제약을 받지 않고도 증강 현실 서비스의 제공이 가능한 이점이 있다.
이하, 본 발명의 실시예에 따른 증강 현실 서비스 제공을 위한 시스템 구성을 도 1을 참조하여 설명하기로 한다.
도 1을 참조하면, 본 발명의 실시예에 따른 증강 현실 서비스 제공을 위한 시스템은 크게 사운드 신호를 제공하는 사운드 소스 장치(110)와 그 사운드 신호를 수신하는 이동 통신 단말기(100)를 포함하여 구성된다.
먼저, 사운드 소스 장치(110)는 부가 정보를 미리 설정된 인코딩 방식에 따라 사운드 신호에 결합하여 전송한다. 사운드 소스 장치(110)는 이러한 부가 정보가 실린 사운드 신호를 스피커(120)를 통해 방송한다. 여기서, 사운드 소스 장치(110)는 지하철, 건물 안 등 특정 공간에 구비될 수 있는 장치이다. 사운드 신호는 사용자가 들을 수 있는 가청 주파수 대역의 신호이며, 그 사운드 신호에 결합되는 부가 정보는 노이즈 등으로 체감되지 않도록 사용자의 청취가 불가능한 주파수 대역의 비사운드 신호임이 바람직하다. 이에 따라 부가 정보가 사운드 신호에 결합되더라도 사용자가 이를 들어봤을 때 일반적인 사운드 신호와 다름을 느끼지 못하게 된다.
이동 통신 단말기(100)는 사용자에 의해 증강 현실 서비스 기능이 구동되면, 마이크로폰을 통해 사운드 신호를 수신하기 시작한다. 이동 통신 단말기(100)는 수신된 사운드 신호에 부가 정보가 결합되어 있는지를 판단하고, 부가 정보가 결합된 사운드 신호를 수신한 경우에 수신된 사운드 신호에 실려서 전송된 부가 정보를 추출하기 위한 디코딩을 수행한다. 이동 통신 단말기(100)는 이러한 디코딩을 통해 부가 정보가 추출되면 추출된 부가 정보를 데이터베이스에 저장되어 있는 정보와 비교함으로써 그 부가 정보와 연관된 데이터를 검색한다. 이어, 이동 통신 단말기(100)는 검색된 데이터를 이용하여 증강 현실 서비스 제공 화면을 구성한 후, 구성된 화면을 출력한다. 이때, 이동 통신 단말기(100)는 검색된 데이터를 이용한 증강 현실 서비스를 음성 형태로 스피커를 통해 출력할 수도 있다.
또한, 이동 통신 단말기(100)는 사운드 신호로부터 추출된 부가 정보를 서버에 전송함으로써 그 서버로부터 부가 정보에 대응하는 증강 현실 데이터를 수신하고, 그 증강 현실 데이터를 이용하여 증강 현실 서비스 제공 화면을 구성할 수도 있다.
여기서, 부가 정보와 연관된 데이터에는 현재 위치에서의 관련 영상, 맵, 주변 지역 정보 등 현재 위치에서의 유용한 정보가 포함되며, 사운드 신호가 음악일 경우에는 음악 관련 정보가 포함될 수 있다. 이와 같이 부가 정보는 사운드 신호가 수신되는 현재 위치에서의 관련 정보 또는 사운드 음원 자체와 관련된 부가 정보일 수 있다. 또한 이동 통신 단말기(100)는 보다 많은 유용한 정보를 제공하기 위해 외부 서버에 있는 데이터베이스와 연동함으로써 부가 정보와 연관된 데이터를 검색할 수 있다.
상기와 같은 구성될 수 있는 시스템에서, 이동 통신 단말기(100)의 동작 및 그 구성요소를 구체적으로 살펴보기 위해 도 2를 참조한다. 도 2를 참조하면, 이동 통신 단말기(100)는 사운드 신호 처리부(200), 마이크로폰(210), 스피커(220), 제어부(230), 표시부(240) 및 메모리(250)를 포함한다. 또한 이동 통신 단말기(100)는 사운드 신호에 실린 부가 정보를 이용하여 실사 영상에 부가 정보를 중첩한 증강 현실 서비스를 제공할 수 있도록 실사 영상을 촬영하는 카메라(도시하지 않음)와, 외부 서버로 사운드 신호로부터 추출된 부가 정보를 전송한 후 그 외부 서버로부터 그 전송에 대응하는 증강 현실 데이터를 수신하는 통신부(도시하지 않음)도 더 포함할 수 있다.
사운드 신호 처리부(200)는 마이크로폰(210)을 통해 사운드 신호를 입력받아 입력된 사운드 신호를 증폭하는 등의 처리를 통해 제어부(230)로 전달한다. 마이크로폰(210)은 사용자에 의해 증강 현실 서비스 기능이 시작됨에 따라 구동되어 사운드 신호를 입력받는다. 또한 사운드 신호 처리부(200)는 제어부(230)로부터의 증강 현실 서비스를 위한 사운드 신호가 외부로 출력되도록 스피커(220)와 연결된다.
표시부(240)는 일반적으로 제어부(230)의 제어하에 이동 통신 단말기(100)의 동작 상태 및 다수의 정보를 표시한다. 또한 표시부(240)는 제어부(230)의 제어하에 사용자가 필요한 기능을 설정하거나 구동시킴에 있어 그 상태를 가시적으로 알 수 있도록 한다. 또한, 본 발명이 적용되는 표시부(240)는 증강 현실 서비스 제공 화면을 표시한다. 이와 같이 표시부(240)는 사용자가 위치한 공간에서의 부가 정보에 연관된 데이터를 그래픽 기술을 이용한 영상으로 표시한다. 예를 들어, 사용자는 수신되는 사운드 신호에 실린 부가 정보에 따라 동적으로 변하는 현재 위치에서의 영상과 함께 그 부가 정보와 연관된 데이터를 볼 수 있으며, 그 사운드 신호가 음악일 경우에는 그 음악에 대한 자세한 정보를 볼 수 있게 된다.
여기서, 현재 위치에서의 영상은 부가 정보에 포함된 영상이거나, 카메라를 통해 입력된 실사 영상일 수 있다. 만일 카메라를 통해 실사 영상이 입력되는 경우 이동 통신 단말기(100)는 GPS와 자이로 등을 통해 현재 위치 및 방위를 파악하고, 사운드 신호에 실린 부가 정보를 통해 얻어진 주변 정보 예컨대, 음식점의 경우 그 음식점의 메뉴 정보 등을 실사 영상에 부가하여 표시할 수도 있다.
메모리(250)는 다수의 프로그램과 데이터를 저장하기 위한 롬(ROM: Read Only Memory) 및 램(RAM: Random Access Memory) 등으로 이루어진다. 이러한 메모리(250)는 사운드 신호로부터 추출된 부가 정보에 연관된 데이터를 저장하고 있다. 즉, 메모리(250)는 증강 현실 서비스 제공에 필요한 데이터를 저장하는 데이터베이스를 포함한다.
제어부(230)는 이동 통신 단말기(100)의 전반적인 동작을 제어하며, 본 발명의 실시예에 따라 수신되는 사운드 신호에 실려 전송되는 부가 정보가 있는지를 판단하고, 그 부가 정보에 대응하는 데이터를 데이터베이스에서 검색한다. 이어, 제어부(230)는 검색된 데이터를 이용하여 증강 현실 서비스 제공 화면을 구성하여 출력한다. 여기서, 사운드 신호에서의 부가 정보의 위치를 식별해줄 수 있도록 사운드 신호에는 특징점이 삽입되는 것이 바람직하다. 이러한 특징점은 특정 코드 또는 공백 형태로 삽입될 수 있다. 이에 따라 제어부(230)는 사운드 신호 내에 삽입된 특징점들을 검출한 후, 그 검출된 특징점들 사이의 부가 정보를 추출한다.
한편, 본 발명의 실시예에 따라 부가 정보는 다음과 같은 형태를 가질 수 있다. 먼저, 부가 정보는 그 자체가 메타 데이터일 수 있으며, 다르게는 데이터베이스에서의 관련 데이터의 위치를 찾을 수 있도록 링크 정보 형태를 가질 수도 있다. 만일 부가 정보가 메타 데이터 형태일 경우 제어부(230)는 메타 데이터만으로도 증강 현실 서비스를 제공할 수 있으며, 데이터베이스로부터 그 메타 데이터와 관련된 내용을 검색하여 보다 자세한 정보를 출력할 수도 있다. 이와 같이 메타 데이터는 데이터베이스와 연계하여 수신된 사운드 신호에 대해 다양한 정보를 제공해주는 역할을 한다. 예를 들어, 부가 정보로써 장르, 가사, 판매 정보 등 음악과 관련한 각종 정보가 실린 사운드 신호를 수신하게 되면, 제어부(230)는 이러한 사운드 신호를 분석함으로써 증강 현실 서비스를 제공하는데 유용하게 쓸 수 있는 정보를 얻을 수 있는 것이다.
이러한 증강 현실 서비스 제공 과정을 도 3을 참조하여 설명하면 다음과 같다. 본 발명은 크게 부가 정보와 결합된 사운드 신호(300)로부터 부가 정보를 추출하는 과정과, 데이터베이스(310)를 참조하여 추출된 부가 정보와 연관된 데이터를 검색(320)하는 과정과, 검색된 데이터를 기반으로 한 증강 현실 서비스를 제공하는 과정으로 이루어진다.
이러한 과정을 통해 구성된 증강 현실 서비스 제공 화면은 도 3에서와 같이 사용자에게 제공된다. 도 3에 도시된 내용을 참조하여 설명하면, 사용자가 지하철 안에 위치할 경우 지하철 안내 방송을 수신함에 따라 표시부(240) 상에 증강 현실 서비스 화면이 제공되는 것을 예시한다.
예를 들어, 사용자가 지하철 안내 방송을 들으면서 현재 위치에서의 증강 현실 서비스를 제공받고자 하는 경우 이동 통신 단말기(100)의 증강 현실 서비스 기능을 구동할 수 있다. 이에 따라 이동 통신 단말기(100)는 마이크로폰(210)을 통해 지하철 안내 방송을 수신하기 시작한다. 이러한 지하철 안내 방송은 사운드 신호에 해당하며, 본 발명의 실시예에 따라 부가 정보가 결합된 안내 방송일 수 있다. 따라서 부가 정보가 결합된 지하철 안내 방송을 수신하는 경우 현재 위치에서의 관련 영상과 함께 출구 정보, 주변 맛집 정보 등 다양한 정보가 표시되는 경우를 예시하고 있다.
또한 도 3에서는 출구 정보가 선택된 경우 현재 위치에서의 관련 영상에 출구 정보가 중첩되어 표시되는 경우를 예시하고 있으나, 주변 맛집 정보가 선택된 경우 그 관련 영상에 맛집 위치 정보가 중첩되어 표시되는 등 증강 현실 서비스 제공 화면의 다양한 변형이 가능함은 물론이다. 즉, 이와 같이 증강 현실 서비스를 위한 화면 내용에 대해서는 다양한 형태로 제공이 가능하다.
전술한 도 3에서는 지하철 등 대중 교통 수단에서의 증강 현실 서비스에 대한 예시를 하고 있지만, 이는 단지 예시일 뿐 본 발명의 내용이 여기에 한정되는 것은 아니다. 예를 들어, 사용자가 지나가는 길에 들리는 음악에 대해 추가적인 정보를 얻고 싶은 경우, 이동 통신 단말기(100)는 수신되는 음악에 대한 부가 정보를 획득하여 관련 데이터를 보여줄 수 있다. 이와 유사하게 이동 통신 단말기(100)는 음원 자판기 앞에서 일부 음원을 수신한 후 그 음원에 대한 부가 정보를 사용자에게 보여줄 수도 있다. 이러한 경우 전체 음악을 다 듣지 않더라도 사용자는 일부의 음원만으로도 원하는 부가 정보를 충분히 얻을 수 있게 된다. 또한 본 발명에 따르면, 이동 통신 단말기(100)는 특정 공간 예컨대, 상점 내에서는 안내 방송의 수신만으로도 사용자에게 물품에 대한 상세 정보를 제공할 수도 있다. 이와 같이 서비스 제공자 등의 선택에 따라 다양한 사운드 신호에 부가 정보를 부여하는 것이 가능하다.
도 4는 본 발명에 따른 이동 통신 단말기에서 사운드 신호를 이용한 증강 현실 서비스 제공 방법에 대한 일실시예 동작 흐름도이다. 이하의 설명에서 특징점을 찾아 부가 정보를 추출하는 방법을 예로 들어 설명을 하지만, 본 발명에 의한 부가 정보의 추출 방법이 이에 한정되는 것은 아니다.
도 4를 참조하면, 이동 통신 단말기는 사용자에 의해 증강 현실 서비스 기능이 시작되면, 400단계에서 마이크로폰(210)을 통해 사운드 신호를 수신하기 시작한다. 이어, 410단계에서 부가 정보가 결합된 사운드 신호인지를 판단한다. 만일 부가 정보가 결합된 사운드 신호일 경우 미리 설정된 디코딩 방식에 따라 사운드 신호를 디코딩하여 420단계에서 디코딩된 사운드 신호로부터의 부가 정보 추출을 위한 특징점을 검출한다. 여기서, 부가 정보가 삽입된 사운드 신호의 경계를 파악하기 위해 검출된 특징점이 이용될 수 있다. 이에 따라 이동 통신 단말기(100)는 검출된 특징점을 이용하여 430단계에서 사운드 신호에 결합된 부가 정보를 추출한다. 이어, 이동 통신 단말기(100)는 440단계에서 추출된 부가 정보에 대응하는 데이터를 데이터베이스로부터 검색하여 획득한 후 450단계에서 획득된 데이터를 이용한 증강 현실 서비스를 제공한다.
상기한 바와 같이 사운드 신호에 결합되어 전송되는 부가 정보는 그 사운드 신호와 관련된 내용이 출력될 수 있도록 하는 역할을 하는 것이다. 이에 따라 사용자는 현재 위치에서 들리는 사운드와 연관된 다양한 정보를 영상, 그래픽, 음성 등의 다양한 형태로 실시간으로 제공받을 수 있게 된다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.

Claims (16)

  1. 마이크로폰을 구비한 이동 통신 단말기에서 증강 현실 서비스를 제공하는 방법에 있어서,
    상기 마이크로폰을 통해 가청 주파수 대역의 사운드 신호 및 비사운드 신호가 결합된 신호를 수신하는 단계와,
    제어부에서, 상기 증강 현실 서비스와 관련된 부가 정보를 추출하기 위해, 상기 비사운드 신호로부터 특정 코드 또는 공백의 형태로 삽입된 특징점들을 검출하는 단계와,
    상기 제어부에서 상기 검출된 특징점들 사이의 부가 정보를 상기 비사운드 신호로부터 추출하는 단계와,
    상기 제어부에서 상기 추출된 부가 정보를 데이터베이스에 저장된 정보와 비교하여, 상기 증강 현실 서비스를 제공하는데 필요한 데이터를 획득하는 단계와,
    상기 획득된 데이터를 기반으로 사용자가 위치한 공간에서의 영상을 증강 현실 서비스 화면으로 구성하여 표시부를 통해 출력하는 단계를 포함함을 특징으로 하는 증강 현실 서비스를 제공하는 방법.
  2. 삭제
  3. 제1항에 있어서, 상기 획득된 데이터는,
    상기 사운드 신호가 수신되는 위치에서의 관련 영상, 맵, 주변 정보 중 적어도 하나를 포함함을 특징으로 하는 증강 현실 서비스를 제공하는 방법.
  4. 제1항에 있어서, 상기 획득된 데이터는,
    상기 사운드 신호가 음악일 경우 음악 관련 정보를 포함함을 특징으로 하는 증강 현실 서비스를 제공하는 방법.
  5. 제1항에 있어서, 상기 증강 현실 서비스를 제공하는데 필요한 데이터를 획득하는 단계는,
    상기 데이터베이스를 참조하여 상기 추출된 부가 정보와 연관된 데이터를 검색하는 단계임을 특징으로 하는 증강 현실 서비스를 제공하는 방법.
  6. 제1항에 있어서, 상기 증강 현실 서비스를 제공하는데 필요한 데이터를 획득하는 단계는,
    상기 추출된 부가 정보를 서버에 전송하는 단계와,
    상기 서버로부터 상기 증강 현실 서비스 화면을 구성하는데 필요한 상기 전송한 부가 정보에 해당되는 데이터를 수신하는 단계를 포함함을 특징으로 하는 증강 현실 서비스를 제공하는 방법.
  7. 삭제
  8. 삭제
  9. 증강 현실 서비스를 제공하기 위한 장치에 있어서,
    가청 주파수 대역의 사운드 신호 및 비사운드 신호가 결합된 신호를 수신하는 마이크로폰과,
    상기 비사운드 신호로부터 특정 코드 또는 공백 형태로 삽입된 특징점들을 검출하고, 상기 증강 현실 서비스와 관련된 부가 정보를 추출하기 위해 상기 검출된 특징점들 사이의 부가 정보를 상기 비사운드 신호로부터 추출하고, 상기 추출된 부가 정보를 데이터베이스에 저장된 정보와 비교하여, 상기 증강 현실 서비스를 제공하는데 필요한 데이터를 획득한 후, 상기 획득된 데이터를 기반으로 사용자가 위치한 공간에서의 영상을 증강 현실 서비스 화면으로 구성하는 제어부와,
    상기 증강 현실 서비스 화면을 출력하는 표시부를 포함함을 특징으로 하는 증강 현실 서비스를 제공하기 위한 장치.
  10. 삭제
  11. 제9항에 있어서, 상기 획득된 데이터는,
    상기 사운드 신호가 수신되는 위치에서의 관련 영상, 맵, 주변 정보 중 적어도 하나를 포함함을 특징으로 하는 증강 현실 서비스를 제공하기 위한 장치.
  12. 제9항에 있어서, 상기 획득된 데이터는,
    상기 사운드 신호가 음악일 경우 음악 관련 정보를 포함함을 특징으로 하는 증강 현실 서비스를 제공하기 위한 장치.
  13. 제9항에 있어서, 상기 데이터베이스는,
    상기 증강 현실 서비스를 제공하는데 필요한 데이터를 저장하는 것을 포함함을 특징으로 하는 증강 현실 서비스를 제공하기 위한 장치.
  14. 제9항에 있어서, 상기 제어부는,
    상기 추출된 부가 정보를 서버에 전송한 후, 상기 서버로부터 상기 전송한 부가 정보에 해당되는 데이터를 수신하여 상기 수신된 데이터를 기반으로 상기 증강 현실 서비스 화면을 구성함을 특징으로 증강 현실 서비스를 제공하기 위한 장치.
  15. 삭제
  16. 제9항에 있어서, 상기 제어부는,
    사용자에 의해 증강 현실 서비스 기능이 구동됨에 따라 상기 마이크로폰을 구동하고, 상기 마이크로폰을 통해 상기 사운드 신호를 수신하기 시작함을 특징으로 하는 증강 현실 서비스를 제공하기 위한 장치.
KR1020100070994A 2010-07-22 2010-07-22 사운드를 이용한 증강 현실 서비스 제공 장치 및 방법 KR101683676B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020100070994A KR101683676B1 (ko) 2010-07-22 2010-07-22 사운드를 이용한 증강 현실 서비스 제공 장치 및 방법
EP11174891.9A EP2410714B1 (en) 2010-07-22 2011-07-21 Apparatus and method for providing augmented reality service using sound
CN201110207359.2A CN102348014B (zh) 2010-07-22 2011-07-22 用于使用声音提供增强现实服务的装置和方法
US13/189,042 US8749584B2 (en) 2010-07-22 2011-07-22 Apparatus and method for providing augmented reality service using sound
US14/299,607 US9269373B2 (en) 2010-07-22 2014-06-09 Apparatus and method for providing augmented reality service using sound
US15/049,640 US9860661B2 (en) 2010-07-22 2016-02-22 Apparatus and method for providing augmented reality service using sound

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100070994A KR101683676B1 (ko) 2010-07-22 2010-07-22 사운드를 이용한 증강 현실 서비스 제공 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120009131A KR20120009131A (ko) 2012-02-01
KR101683676B1 true KR101683676B1 (ko) 2016-12-07

Family

ID=44514521

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100070994A KR101683676B1 (ko) 2010-07-22 2010-07-22 사운드를 이용한 증강 현실 서비스 제공 장치 및 방법

Country Status (4)

Country Link
US (3) US8749584B2 (ko)
EP (1) EP2410714B1 (ko)
KR (1) KR101683676B1 (ko)
CN (1) CN102348014B (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101683676B1 (ko) * 2010-07-22 2016-12-07 삼성전자 주식회사 사운드를 이용한 증강 현실 서비스 제공 장치 및 방법
JP5729161B2 (ja) * 2010-09-27 2015-06-03 ヤマハ株式会社 通信端末、無線機、及び無線通信システム
US10044448B2 (en) * 2011-05-18 2018-08-07 Sparcq, Inc. Sonic signaling communication for user devices
US9563265B2 (en) * 2012-01-12 2017-02-07 Qualcomm Incorporated Augmented reality with sound and geometric analysis
EP2658291B1 (de) * 2012-04-24 2018-06-13 Scheidt & Bachmann GmbH Verfahren zur automatisierten Ermittlung des Aufenthaltsortes einer Person
KR101316616B1 (ko) * 2012-06-27 2013-10-15 주식회사 비엔에스웍스 소리 신호를 이용한 위치 기반 서비스 제공 방법
JP2016004340A (ja) * 2014-06-16 2016-01-12 セイコーエプソン株式会社 情報配信システム、頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
CN105681991A (zh) * 2016-01-04 2016-06-15 恩平市亿歌电子有限公司 一种基于不可闻声波的无线麦克风信号传输方法以及系统
JP2017134581A (ja) * 2016-01-27 2017-08-03 ヤマハ株式会社 情報処理装置および情報処理方法
WO2017188863A1 (ru) * 2016-04-30 2017-11-02 Виталий Витальевич АВЕРЬЯНОВ Устройство для воздействия на виртуальные объекты дополненной реальности
CN110362204A (zh) * 2019-07-11 2019-10-22 Oppo广东移动通信有限公司 信息提示方法、装置、存储介质及增强现实设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100964096B1 (ko) 2008-02-29 2010-06-16 서울시립대학교 산학협력단 음향 신호에서 부가정보를 추출하는 시스템 및 추출방법

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5513129A (en) * 1993-07-14 1996-04-30 Fakespace, Inc. Method and system for controlling computer-generated virtual environment in response to audio signals
US7224819B2 (en) * 1995-05-08 2007-05-29 Digimarc Corporation Integrating digital watermarks in multimedia content
US7711564B2 (en) * 1995-07-27 2010-05-04 Digimarc Corporation Connected audio and other media objects
US6064335A (en) * 1997-07-21 2000-05-16 Trimble Navigation Limited GPS based augmented reality collision avoidance system
DE19951546C2 (de) * 1999-10-26 2002-03-21 Siemens Ag Verfahren zum Benachrichtigen eines Benutzers über eine Verkehrsinformation und Navigationsgerät
US20010055391A1 (en) * 2000-04-27 2001-12-27 Jacobs Paul E. System and method for extracting, decoding, and utilizing hidden data embedded in audio signals
US7359889B2 (en) * 2001-03-02 2008-04-15 Landmark Digital Services Llc Method and apparatus for automatically creating database for use in automated media recognition system
KR20050026641A (ko) * 2003-09-09 2005-03-15 삼성전자주식회사 오디오 신호에 가라오케 정보를 삽입하기 위한 방법,삽입된 가라오케 정보의 재생 방법, 및 그 장치와 이를구현하기 위한 프로그램이 기록된 기록 매체
KR100651508B1 (ko) 2004-01-30 2006-11-29 삼성전자주식회사 증강현실을 이용한 지역 정보 제공 방법 및 이를 위한지역 정보 서비스 시스템
US7669148B2 (en) * 2005-08-23 2010-02-23 Ricoh Co., Ltd. System and methods for portable device for mixed media system
US7672543B2 (en) * 2005-08-23 2010-03-02 Ricoh Co., Ltd. Triggering applications based on a captured text in a mixed media environment
DE102004050383A1 (de) * 2004-10-15 2006-04-27 Siemens Ag Übertragung von Daten in und aus Automatisierungskomponenten
TWM282159U (en) 2005-07-08 2005-12-01 Jabil Circuit Taiwan Ltd GPS receiver for simultaneously receiving the GPS signal and the FM sub carrier wave signal
US20070096909A1 (en) * 2005-10-28 2007-05-03 Matthew Lally Interactive networking device
EP1855436A1 (en) * 2006-05-12 2007-11-14 Deutsche Thomson-Brandt Gmbh Method and apparatus for encrypting encoded audio signal
KR20080029446A (ko) * 2006-09-29 2008-04-03 (주)이스트랩 오디오 워터마킹을 이용하여 정보를 제공하는 시스템 및 그제공 방법.
US9667365B2 (en) * 2008-10-24 2017-05-30 The Nielsen Company (Us), Llc Methods and apparatus to perform audio watermarking and watermark detection and extraction
US9788043B2 (en) * 2008-11-07 2017-10-10 Digimarc Corporation Content interaction methods and systems employing portable devices
US8508357B2 (en) * 2008-11-26 2013-08-13 The Nielsen Company (Us), Llc Methods and apparatus to encode and decode audio for shopper location and advertisement presentation tracking
KR101683676B1 (ko) * 2010-07-22 2016-12-07 삼성전자 주식회사 사운드를 이용한 증강 현실 서비스 제공 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100964096B1 (ko) 2008-02-29 2010-06-16 서울시립대학교 산학협력단 음향 신호에서 부가정보를 추출하는 시스템 및 추출방법

Also Published As

Publication number Publication date
CN102348014B (zh) 2016-05-18
US8749584B2 (en) 2014-06-10
US20120019558A1 (en) 2012-01-26
KR20120009131A (ko) 2012-02-01
CN102348014A (zh) 2012-02-08
US20160174007A1 (en) 2016-06-16
EP2410714B1 (en) 2016-02-10
US20140358550A1 (en) 2014-12-04
EP2410714A1 (en) 2012-01-25
US9860661B2 (en) 2018-01-02
US9269373B2 (en) 2016-02-23

Similar Documents

Publication Publication Date Title
KR101683676B1 (ko) 사운드를 이용한 증강 현실 서비스 제공 장치 및 방법
KR101796429B1 (ko) 단말 디바이스, 정보 제공 시스템, 정보 제시 방법, 및 정보 제공 방법
KR101796428B1 (ko) 정보 관리 시스템 및 정보 관리 방법
TW200811422A (en) Route planning systems and trigger methods thereof
KR20060103837A (ko) 콘텐츠 추천 시스템, 통신 단말 및 콘텐츠 추천 방법
KR101864892B1 (ko) 휴대단말기에서 사용자의 검색패턴 제공 장치 및 방법
US20140324858A1 (en) Information processing apparatus, keyword registration method, and program
JP5948901B2 (ja) 情報処理装置及び情報処理プログラム
JP2009276081A (ja) ナビゲーション装置及び情報提供方法
CN106055671B (zh) 一种多媒体数据处理方法及其设备
KR20100079639A (ko) 지도 정보를 이용한 음원 탐색 시스템 및 그 방법
JP2005004782A (ja) 情報処理システム、情報処理装置および情報処理方法、並びに携帯型情報端末装置
KR101786974B1 (ko) 사운드를 이용한 소셜 네트워크 서비스 제공 장치 및 방법
KR100716711B1 (ko) 광고 서비스를 제공하는 휴대용 단말기 및 그 방법
KR20200053278A (ko) 음성인식을 이용한 정보 제공 시스템 및 그 방법
JP5593831B2 (ja) 情報処理装置、情報処理システム及び情報処理プログラム。
TWI593248B (zh) 以聲波編碼傳送展覽訊息的方法、裝置與系統
JP2003219304A (ja) 受信装置および放送システム
JP2015158916A (ja) 音声システム
JP2006058887A (ja) 情報処理システム、並びに、情報処理装置および方法
KR20180063814A (ko) 청각적인 수단을 이용하여 메타데이터를 제공하는 장치 및 방법
KR20090033991A (ko) 길 안내 방법 및 장치
JP2018132634A (ja) 情報提供装置および情報提供システム
KR20020004421A (ko) 이동통신 단말기 및 텔레비젼을 위한 문자 및 음성정보서비스 시스템

Legal Events

Date Code Title Description
G170 Re-publication after modification of scope of protection [patent]
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E902 Notification of reason for refusal
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191128

Year of fee payment: 4