WO2016192457A1 - Ar图书及基于ar图书的索引式增强现实系统和方法 - Google Patents

Ar图书及基于ar图书的索引式增强现实系统和方法 Download PDF

Info

Publication number
WO2016192457A1
WO2016192457A1 PCT/CN2016/078283 CN2016078283W WO2016192457A1 WO 2016192457 A1 WO2016192457 A1 WO 2016192457A1 CN 2016078283 W CN2016078283 W CN 2016078283W WO 2016192457 A1 WO2016192457 A1 WO 2016192457A1
Authority
WO
WIPO (PCT)
Prior art keywords
module
data
augmented reality
book
information
Prior art date
Application number
PCT/CN2016/078283
Other languages
English (en)
French (fr)
Inventor
桂超
Original Assignee
西安教育文化数码有限责任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 西安教育文化数码有限责任公司 filed Critical 西安教育文化数码有限责任公司
Publication of WO2016192457A1 publication Critical patent/WO2016192457A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code

Definitions

  • the present invention relates to an AR book and an AR-based indexed augmented reality system and method.
  • the common AR application experiences are all based on collecting images through a camera, parsing through related image recognition algorithms, and matching related features to establish a relationship between image and resource indexing. And to establish an image feature library, it is necessary to provide a sample in advance, and then upload it to a server that provides image recognition, and the service provider feeds back the feature library to provide an analysis service.
  • the recognition rate is low and the recognition speed is slow. Because the pixels in the picture collection process are different for different cameras, the diversity of the collection environment greatly reduces the recognition speed and recognition rate. This affects the user experience of the relevant application implementation.
  • the present invention provides an AR book and an AR-based indexed augmented reality system and method.
  • An AR book including a book body, is characterized in that: a mark information layer for identifying book content is printed on the book body, and the mark information layer is composed of a plurality of OID codes representing different contents.
  • the above-mentioned flag information layer includes a carrier and an OID code attached to the carrier, and the OID code is divided into a function code, a page number, and a content code.
  • An index-based augmented reality system based on AR books including AR books, augmented reality input pens, terminals and display modules,
  • the augmented reality input pen is configured to read an AR book and parse the OID code of the encoding rule carried by the object to obtain feature information, and transmit the feature information to the terminal;
  • the terminal includes a decryption module, a data factory control module, a query module, a play module, a network data control module, a data download module, a network data interface, and a cloud platform;
  • the decryption module is configured to decrypt a feature signal transmitted from the augmented reality input pen
  • the data factory control module includes a content extraction module, an information processing module, and a task distribution module; the content extraction module is configured to extract a data header and a data address in the feature signal; and the information processing module is configured to use the data header and the data address according to the data header And encoding rules, organizing task instructions; the task distribution module is configured to perform corresponding distribution according to the task instructions;
  • the query module is configured to go to the local database to find a corresponding resource when receiving the query task instruction sent by the task distribution module;
  • the playing module is configured to perform resource playback when receiving a play task instruction sent by the task distribution module;
  • the network data control module is connected to the cloud platform through the network data interface when receiving the download task instruction sent by the task distribution module;
  • the data downloading module is configured to download a corresponding resource package in the cloud platform through the network data interface, store the data information in a local database, and store the file information in the local storage.
  • the display module is configured to display resources played by the play module.
  • the terminal further includes a prompting module, where the prompting module is configured to issue a prompt when the cloud platform does not find the corresponding resource package.
  • the terminal further includes a function control module, and the function control module is configured to operate the play module and the data download module according to the task instruction sent by the task distribution module.
  • the augmented reality input pen includes a housing in which an optical head 1, a decoding chip 2, an MCU 3, a radio frequency module 4, and a power module 5 are disposed.
  • the optical head 1 is connected to the decoding chip 2, and the decoding chip 2 is connected to the MCU 3.
  • the MCU 3 is connected to the radio frequency module, and the power module 5 supplies power to the decoding chip 2, the optical head 1, the MCU 3, and the radio frequency module 4.
  • An index-based augmented reality method based on AR books which is special in that it includes the following steps:
  • each object includes a data header and a data address
  • the data header represents an object instruction
  • the data address represents an overall resource encoding of the object information:
  • the object is the content to be presented by the AR book
  • Augmented reality input pen for feature encoding extraction of objects
  • the optical head triggers the OID encoding on the AR book object and transmits it to the decoding chip;
  • the decoding chip parses the OID encoding to obtain the feature encoding of the object, and outputs the feature encoding of the object to the MCU;
  • the MCU encrypts the feature code of the object, and forwards the encrypted feature code to the RF module;
  • the radio frequency module sends the encrypted feature code to the terminal
  • the terminal processes the encrypted feature code sent by the augmented reality input pen:
  • the feedback information is sent to the information processing module of the data factory control module, and the information processing module generates a play task instruction according to the feedback information, and distributes the task to the play module through the task distribution module, and then performs step 5.2];
  • the feedback information is sent to the information processing module in the data factory control module, and the information processing module generates a search task instruction according to the feedback information, and sends the search task instruction to the network data control module through the task distribution module, and then performs step 5.3]
  • the feedback information includes the module type and module address corresponding to the function module.
  • the playback module plays the corresponding resource, and step 6];
  • the network data control module connects to the cloud platform through the network data interface, and searches for the corresponding resource package on the cloud platform:
  • the data download module downloads the corresponding information in the cloud platform through the network data interface.
  • the resource package analyzes the resource package to obtain data information and file information, stores the data information in a local database, and stores the file information in local storage;
  • the display module displays the resources played by the playback module.
  • the AR book-based indexed augmented reality method further includes prompting step 5.4] that the corresponding resource is not found in the cloud platform, and the feedback information is sent to the data factory control module, and the data factory control module controls the prompting module to issue the prompt information.
  • the above method further includes a function control step: when the function control module receives the function control task instruction, the function control module controls the play module and the data download mode.
  • the augmented reality input pen and the terminal are connected through a Bluetooth or wireless network.
  • the present invention employs OID encoding, and each OID encoded graphic is composed of a number of subtle and difficult points to be determined by specific rules and corresponds to a specific set of values.
  • the biggest difference from other optical identification codes is that the minimized bottom code not only has the characteristics of confidentiality and low visual interference, but also hides under the color pattern of printed matter.
  • the patent has a high recognition rate and a fast response mechanism.
  • the invention relies on its own intelligent game and multimedia resource management platform, directly links AR toys and mobile terminal applications through wireless Bluetooth dot reading pen, without the intervention of a third party service provider, the operation tool is simple and easy to find, and is suitable for daily life. Used by ordinary public operations.
  • the system of the invention is perfect, and the hardware product and the software framework included therein have the characteristics of strong portability, and can be copied and used in fields other than toys. And wherein the hardware product can be further extended from the mobile terminal, for example, replaced by a TV box.
  • FIG. 1 is a schematic structural diagram of an AR book according to the present invention.
  • FIG. 2 is a block diagram of an index-based augmented reality system based on AR books according to the present invention
  • FIG. 3 is a flow chart of augmented reality method of the present invention.
  • An AR book as shown in FIG. 1 includes a book body 11 on which a book body 11 is printed for marking
  • the mark information layer 13 of the book content 12 is identified by a plurality of OID codes representing different contents.
  • the logo information layer includes a carrier and an OID code attached to the carrier.
  • the OID code is divided into a function code, a page number, and a content code, and is distributed at different positions of the carrier according to the book layout.
  • an indexed augmented reality system includes an augmented reality input pen, a terminal, and a display module.
  • the augmented reality input pen is used to read and parse the OID code of the encoding rule carried by the object to obtain feature information, and transmit the feature information.
  • the terminal includes a decryption module, a data factory control module, a query module, a play module, a network data control module, a data download module, a network data interface, and a cloud platform; the decryption module is configured to decrypt the feature signal transmitted from the augmented reality input pen;
  • the data factory control module includes a content extraction module (Crawler Module), an information processing module (Information Process Center), and a task distribution module (Distribution Center); the content extraction module is configured to extract data headers and data addresses in the feature signals; Support for multi-threading.
  • the information processing module is configured to organize task instructions according to the data header, the data address, and the encoding rule; the task distribution module is configured to perform corresponding distribution according to the task instruction; and the query module is configured to: when receiving the query task instruction sent by the task distribution module, go to The local database finds the corresponding resource;
  • the play module is configured to perform resource play when receiving the play task instruction sent by the task distribution module; the network data control module connects to the cloud platform through the network data interface when receiving the download task instruction sent by the task distribution module; the data download module It is used to download the corresponding resource package in the cloud platform through the network data interface, store the data information in the local database, and store the file information in the local storage.
  • the display module is used to display the resources played by the play module.
  • the terminal further includes a prompting module, where the prompting module is configured to issue a prompt when the cloud platform does not find the corresponding resource package.
  • the terminal further includes a function control module, and the function control module is configured to operate the play module and the data download module according to the task instruction sent by the task distribution module. For example, pause playback, pause download, and so on.
  • the augmented reality input pen comprises a housing, and the housing is provided with an optical head 1, a decoding chip 2, an MCU3, a radio frequency module 4 and a power module 5, the optical head 1 is connected to the decoding chip 2, the decoding chip 2 is connected to the MCU3, and the MCU3 and the radio frequency module are connected.
  • the power module 5 supplies power to the decoding chip 2, the optical head 1, the MCU 3, and the radio frequency module 4.
  • the optical head is used to trigger the OID encoding on the object and transmitted to the decoding chip in the augmented reality input pen; the decoding chip is used to parse the OID encoding and transmit the data to the MCU; the MCU is used to encrypt the protocol data and forward the encrypted data. Protocol data to the RF module; 2.4g or Bluetooth wireless transceiver Used to establish the connection between the augmented reality input pen and the resource terminal.
  • an indexed augmented reality method includes the following steps:
  • each object includes a data header and a data address
  • the data header represents an object instruction
  • the data address represents an overall resource encoding of the object information:
  • the object is the content to be presented by the AR book
  • the password is compiled by combining the initials and numbers of the English names of the resource categories.
  • the letter I represents a picture, according to the data of the picture, the data addresses represented by I0001, I0002, I0003, ..., 001, 002, etc.;
  • the letter V represents a resource, and according to the data of the resource, the code is V0001, V0002, V0003...
  • the letter M stands for music, and is coded as M0001, M0002, M0003, etc. according to the data of the resource.
  • Augmented reality input pen for feature encoding extraction of objects
  • the optical head triggers the OID encoding on the AR book object and transmits it to the decoding chip;
  • the decoding chip parses the OID encoding to obtain the feature encoding of the object, and outputs the feature encoding of the object to the MCU;
  • the MCU encrypts the feature code of the object, and forwards the encrypted feature code to the RF module;
  • the radio frequency module sends the encrypted feature code to the terminal
  • the terminal processes the encrypted feature code sent by the augmented reality input pen:
  • the feedback information is sent to the information processing module of the data factory control module, and the information processing module generates a play task instruction according to the feedback information, and distributes the task to the play module through the task distribution module, and then performs step 5.2];
  • the feedback information is sent to the information processing module in the data factory control module, and the information processing module generates a search task instruction according to the feedback information, and sends the search task instruction to the network data control module through the task distribution module, and then performs step 5.3] ;; feedback information includes the module type and module address corresponding to the function module.
  • the playback module plays the corresponding resource, and step 6];
  • the network data control module connects to the cloud platform through the network data interface, and searches for the corresponding resource package on the cloud platform:
  • the data downloading module downloads the corresponding resource package in the cloud platform through the network data interface, parses the resource package to obtain the data information and the file information, stores the data information in the local database, and stores the file information in the local storage. ;
  • the display module displays the resources played by the playback module.
  • the method further includes prompting step 5.4: if the corresponding resource is not found in the cloud platform, the feedback information is sent to the data factory control module, and the data factory control module controls the prompting module to issue the prompt information.
  • Function control step When the function control module receives the function control task instruction, the function control module controls the play module and the data download mode.
  • the augmented reality input pen and the terminal are connected via Bluetooth or wireless network.
  • the design and application scope of the invention relates to but is not limited to the following platforms: android platform, IOS platform, LINUX platform, WINDOWS platform.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

一种AR图书及基于AR图书的索引式增强现实系统和方法，其系统包括AR图书、增强现实输入笔、终端和显示模块，增强现实输入笔用于读取AR图书并解析对象携带的编码规则的OID编码得到特征信息，并将特征信息传输给终端；终端包括解密模块、数据工厂控制模块、查询模块、播放模块、网络数据控制模块、数据下载模块、网络数据接口和云平台；采用OID编码，每个OID编码图形均是由许多细微而人眼难辩的点依特定规则所组成，并对应到一组特定数值。与其他光学辨识码最大的不同特点是微小化的底码不仅具有保密与低视觉干扰的特性，更能隐藏在印刷品的彩色图案之下，保证了高识别率及快速响应机制。

Description

AR图书及基于AR图书的索引式增强现实系统和方法 技术领域
本发明涉及AR图书及基于AR图书的索引式增强现实系统和方法。
背景技术
目前常见的AR应用体验全部基于通过摄像头采集图像，通过相关图像识别算法解析，一一匹配相关特征达到建立图片与资源索引关系。并且建立图像特征库，需要提前提供样本，然后上传至提供图像识别的服务商服务器，由服务商反馈特征库，才能提供解析服务。
但是，现有的处理方式存在一下缺点：
1、识别率低，识别速度慢。由于图片采集过程中对应不同摄像头像素都不一样，伴随采集环境的多样性，大大降低识速度与识别率。从而影响相关应用实施的用户体验。
2、适用性差，配置繁琐，易用性差。由于以上技术配置特征库必须建立在第三方服务商的基础上，通过网络操作来配置服务商的特征库，建立该特征库对所提供的图片有很多限制和要求。使得建立数据模型的过程比较繁琐。
3、移植性、扩展性差。由于特征库必须依托第三方服务商，从而自助的想定制自助的一些AR用户体验，必须满足第三方的技术支持，如果第三方不做支持(包括功能及平台)，那么使用者将无法自己定义相关功能。
发明内容
为了解决现有的增强现实系统存在背景技术中所出现的技术问题，本发明提AR图书及基于AR图书的索引式增强现实系统和方法。
本发明的技术解决方案：
一种AR图书，包括图书本体，其特殊之处在于：所述图书本体的上印刷有用于标识图书内容的标志信息层，所述标志信息层由多个代表有不同内容的OID码组成。
上述标志信息层包括载体和附着在载体上的OID码，所述OID码分为功能码、页码和内容码。
一种基于AR图书的索引式增强现实系统，包括AR图书、增强现实输入笔、终端和显示模块，
所述增强现实输入笔用于读取AR图书并解析对象携带的编码规则的OID编码得到特征信息，并将特征信息传输给终端；
所述终端包括解密模块、数据工厂控制模块、查询模块、播放模块、网络数据控制模块、数据下载模块、网络数据接口和云平台；
所述解密模块用于解密从增强现实输入笔传输的特征信号；
所述数据工厂控制模块包括内容提取模块、信息处理模块以及任务分发模块；所述内容提取模块用于提取特征信号中的数据头和数据地址；所述信息处理模块用于根据数据头、数据地址和编码规则，组织任务指令；所述任务分发模块用于根据任务指令进行对应的分发；
所述查询模块用于在接受到任务分发模块发送的查询任务指令时，去本地数据库查找对应的资源；
所述播放模块用于在接受到任务分发模块发送的播放任务指令时，进行资源播放；
所述网络数据控制模块在接受到任务分发模块发送的下载任务指令时，通过网络数据接口与云平台连接；
所述数据下载模块用于通过网络数据接口在云平台中下载对应资源包，将数据信息存储在本地数据库中，将文件信息存储在本地存储中。
所述显示模块用于将播放模块播放的资源进行显示。
上述终端还包括提示模块，所述提示模块用于在云平台未查找到对应资源包时发出提示。
上述终端还包括功能控制模块，所述功能控制模块用于根据任务分发模块发送的任务指令，对播放模块、数据下载模块进行操作。
上述增强现实输入笔包括壳体，所述壳体内设置有光头1、解码芯片2、MCU3、射频模块4以及电源模块5，所述光头1与解码芯片2连接，所述解码芯片2与MCU3连接，所述MCU3与射频模块连接，所述电源模块5向解码芯片2、光头1、MCU3以及射频模块4供电。
一种基于AR图书的索引式增强现实方法，其特殊之处在于，包括以下步骤：
1】对AR图书上的每个对象进行特征编码：
特征编码规则为：每个对象包括数据头和数据地址，所述数据头代表对象指令，所述数据地址代表对象信息的整体资源编码：
所述对象为AR图书所要展现的内容；
2】增强现实输入笔对对象进行特征编码提取：
2.1】光头触发AR图书对象上的OID编码，并传输给解码芯片；
2.2】解码芯片解析OID编码得到对象的特征编码，并将对象的特征编码输给MCU；
2.3】MCU对对象的特征编码进行加密，并将加密后的特征编码转发给射频模块；
2.4】射频模块将加密后的特征编码发送给终端；
3】终端处理增强现实输入笔发送的加密后的特征编码：
3.1】对加密后的特征编码进行解密处理，得到特征信号；
3.2】提取特征信号中的数据头和数据地址；
3.3】根据数据头、数据地址和特征编码规则，组织任务指令；
3.4】根据任务指令将任务进行分发；
5】操作：
5.1】当查询模块收到的查询任务指令时，去本地数据库查找符合任务指令中数据地址所对应的相应资源：
如果找到对应资源，则反馈信息给数据工厂控制模块的信息处理模块，信息处理模块根据反馈信息，生成播放任务指令，并通过任务分发模块分送给播放模块，后执行步骤5.2】；
如果未找到对应资源包，则反馈信息给数据工厂控制模块中的信息处理模块，信息处理模块根据反馈信息，生成查找任务指令，并通过任务分发模块发送给网络数据控制模块，后执行步骤5.3】；反馈信息包括功能模块对应的模块类型、模块地址。
5.2】播放模块播放对应的资源，执行步骤6】；
5.3】网络数据控制模块通过网络数据接口与云平台连接，在云平台查找对应资源包：
如果找到资源包，数据下载模块通过网络数据接口在云平台中下载对应 资源包，将资源包进行解析得到数据信息和文件信息，将数据信息存储在本地数据库中，将文件信息存储在本地存储中；
6】显示模块显示播放模块所播放的资源。
上述的基于AR图书的索引式增强现实方法，还包括提示步骤5.4】在云平台中未查找到对应资源，则反馈信息给数据工厂控制模块，数据工厂控制模块控制提示模块发出提示信息。
上述方法还包括功能控制步骤：当功能控制模块收到功能控制任务指令时，功能控制模块控制播放模块和数据下载模。
上述增强现实输入笔和终端之间通过蓝牙、无线网络连接。
本发明所具有的优点：
1、识别率高、响应速度快
本发明采用OID编码，每个OID编码图形均是由许多细微而人眼难办的点依特定规则所组成，并对应到一组特定数值。与其他光学辨识码最大的不同特点是微小化的底码不仅具有保密与低视觉干扰的特性，更能隐藏在印刷品的彩色图案之下。保证了该专利项的高识别率及快速响应机制。
2、适用性、易用性强
本发明依托于自有的智能游戏及多媒体资源管理平台，通过无线蓝牙点读笔，直接链接起AR玩具与移动终端应用，无需第三方服务商的介入，操作工具简单易寻，适用于日常生活中普通大众操作使用。
3.移植性、扩展性强
本发明体系完善，其中包涵的硬件产品及软件框架具有移植性强的特征，可复制用于玩具以外的领域。且其中硬件产品也可从移动终端进一步拓展，例如替换成电视盒子。
附图说明
图1为本发明一种AR图书的结构示意图；
图2为本发明基于AR图书的索引式增强现实系统框图；
图3为本发明增强现实方法的流程图。
具体实施方式
如图1所示一种AR图书，包括图书本体11，图书本体11的上印刷有用于标 识图书内容12的标志信息层13，标志信息层由多个代表有不同内容的OID码组成。标志信息层包括载体和附着在载体上的OID码，OID码分为功能码、页码和内容码，根据图书布局分布在载体的不同位置。
如图2，一种索引式增强现实系统，包括增强现实输入笔、终端和显示模块，增强现实输入笔用于读取并解析对象携带的编码规则的OID编码得到特征信息，并将特征信息传输给终端；终端包括解密模块、数据工厂控制模块、查询模块、播放模块、网络数据控制模块、数据下载模块、网络数据接口和云平台；解密模块用于解密从增强现实输入笔传输的特征信号；数据工厂控制模块包括内容提取模块(Crawler Module)、信息处理模块(Information Process Center)以及任务分发模块(Distribution Center)；内容提取模块用于提取特征信号中的数据头和数据地址；各个模块部分均支持多线程。
信息处理模块用于根据数据头、数据地址和编码规则，组织任务指令；任务分发模块用于根据任务指令进行对应的分发；查询模块用于在接受到任务分发模块发送的查询任务指令时，去本地数据库查找对应的资源；
播放模块用于在接受到任务分发模块发送的播放任务指令时，进行资源播放；网络数据控制模块在接受到任务分发模块发送的下载任务指令时，通过网络数据接口与云平台连接；数据下载模块用于通过网络数据接口在云平台中下载对应资源包，将数据信息存储在本地数据库中，将文件信息存储在本地存储中。显示模块用于将播放模块播放的资源进行显示。
终端还包括提示模块，提示模块用于在云平台未查找到对应资源包时发出提示。终端还包括功能控制模块，功能控制模块用于根据任务分发模块发送的任务指令，对播放模块、数据下载模块进行操作。例如暂停播放，暂停下载等。
增强现实输入笔包括壳体，壳体内设置有光头1、解码芯片2、MCU3、射频模块4以及电源模块5，光头1与解码芯片2连接，解码芯片2与MCU3连接，所述MCU3与射频模块连接，所述电源模块5向解码芯片2、光头1、MCU3以及射频模块4供电。光头，用于触发对象上的OID编码，并传输给增强现实输入笔中的解码芯片；解码芯片，用于解析OID编码并将数据传输给MCU；MCU，用于加密协议数据及转发加密后的协议数据给射频模块；2.4g或蓝牙无线收发 器，用于建立增强现实输入笔和资源终端间的联系。
如图3所示，一种索引式增强现实方法，包括以下步骤：
1】对AR图书上的每个对象进行特征编码：
特征编码规则为：每个对象包括数据头和数据地址，所述数据头代表对象指令，所述数据地址代表对象信息的整体资源编码：
所述对象为AR图书所要展现的内容；
例如：采用资源类别的英文名称首字母与数字组合的方式进行密码编译。如字母I代表图片，根据图片的数据，编码为I0001、I0002、I0003……，001、002……代表的数据地址；字母V代表资源，根据资源的数据，编码为V0001、V0002、V0003……；字母M代表音乐，根据资源的数据，编码为M0001、M0002、M0003……。
特殊编码：不同的增强现实实物采用对象自身的唯一条码号来编译；资源播放功能键同样为特殊编码，以A开头，A0001代表播放，A0002代表暂停，A0003代表前进，A0004代表后退，以此类推资源播放器功能。
2】增强现实输入笔对对象进行特征编码提取：
2.1】光头触发AR图书对象上的OID编码，并传输给解码芯片；
2.2】解码芯片解析OID编码得到对象的特征编码，并将对象的特征编码输给MCU；
2.3】MCU对对象的特征编码进行加密，并将加密后的特征编码转发给射频模块；
2.4】射频模块将加密后的特征编码发送给终端；
3】终端处理增强现实输入笔发送的加密后的特征编码：
3.1】对加密后的特征编码进行解密处理，得到特征信号；
3.2】提取特征信号中的数据头和数据地址；
3.3】根据数据头、数据地址和特征编码规则，组织任务指令；
3.4】根据任务指令将任务进行分发；
5】操作：
5.1】当查询模块收到的查询任务指令时，去本地数据库查找符合任务指令中数据地址所对应的相应资源：
如果找到对应资源，则反馈信息给数据工厂控制模块的信息处理模块，信息处理模块根据反馈信息，生成播放任务指令，并通过任务分发模块分送给播放模块，后执行步骤5.2】；
如果未找到对应资源包，则反馈信息给数据工厂控制模块中的信息处理模块，信息处理模块根据反馈信息，生成查找任务指令，并通过任务分发模块发送给网络数据控制模块，后执行步骤5.3】；；反馈信息包括功能模块对应的模块类型、模块地址。
5.2】播放模块播放对应的资源，执行步骤6】；
5.3】网络数据控制模块通过网络数据接口与云平台连接，在云平台查找对应资源包：
如果找到资源包，数据下载模块通过网络数据接口在云平台中下载对应资源包，将资源包进行解析得到数据信息和文件信息，将数据信息存储在本地数据库中，将文件信息存储在本地存储中；
6】显示模块显示播放模块所播放的资源。
还包括提示步骤5.4】在云平台中未查找到对应资源，则反馈信息给数据工厂控制模块，数据工厂控制模块控制提示模块发出提示信息。
功能控制步骤：当功能控制模块收到功能控制任务指令时，功能控制模块控制播放模块和数据下载模。
增强现实输入笔和终端之间通过蓝牙、无线网络连接。
本发明设计使用范围涉及但不限于以下平台：android平台、IOS平台、LINUX平台、WINDOWS平台。

Claims (10)

  1. 一种AR图书，包括图书本体，其特征在于：所述图书本体的上印刷有用于标识图书内容的标志信息层，所述标志信息层由多个代表有不同内容的OID码组成。
  2. 根据权利要求1所述的AR图书，其特征在于：所述标志信息层包括载体和附着在载体上的OID码，所述OID码分为功能码、页码和内容码。
  3. 一种基于AR图书的索引式增强现实系统，包括AR图书、增强现实输入笔、终端和显示模块，
    所述增强现实输入笔用于读取AR图书并解析对象携带的编码规则的OID编码得到特征信息，并将特征信息传输给终端；
    所述终端包括解密模块、数据工厂控制模块、查询模块、播放模块、网络数据控制模块、数据下载模块、网络数据接口和云平台；
    所述解密模块用于解密从增强现实输入笔传输的特征信号；
    所述数据工厂控制模块包括内容提取模块、信息处理模块以及任务分发模块；所述内容提取模块用于提取特征信号中的数据头和数据地址；所述信息处理模块用于根据数据头、数据地址和编码规则，组织任务指令；所述任务分发模块用于根据任务指令进行对应的分发；
    所述查询模块用于在接受到任务分发模块发送的查询任务指令时，去本地数据库查找对应的资源；
    所述播放模块用于在接受到任务分发模块发送的播放任务指令时，进行资源播放；
    所述网络数据控制模块在接受到任务分发模块发送的下载任务指令时，通过网络数据接口与云平台连接；
    所述数据下载模块用于通过网络数据接口在云平台中下载对应资源包，将数据信息存储在本地数据库中，将文件信息存储在本地存储中；
    所述显示模块用于将播放模块播放的资源进行显示。
  4. 根据权利要求3所述的基于AR图书的索引式增强现实系统，其特征在于：所述终端还包括提示模块，所述提示模块用于在云平台未查找到对应资源包时发出提示。
  5. 根据权利要求3或4所述的基于AR图书的索引式增强现实系统，其特征在于：所述终端还包括功能控制模块，所述功能控制模块用于根据任务分发模块发送的任务指令，对播放模块、数据下载模块进行操作。
  6. 根据权利要求5所述的基于AR图书的索引式增强现实系统，其特征在于：所述增强现实输入笔包括壳体，所述壳体内设置有光头1、解码芯片2、MCU3、射频模块4以及电源模块5，所述光头1与解码芯片2连接，所述解码芯片2与MCU3连接，所述MCU3与射频模块连接，所述电源模块5向解码芯片2、光头1、MCU3以及射频模块4供电。
  7. 一种基于AR图书的索引式增强现实方法，其特征在于，包括以下步骤：
    1】对AR图书上的每个对象进行特征编码：
    特征编码规则为：每个对象包括数据头和数据地址，所述数据头代表对象指令，所述数据地址代表对象信息的整体资源编码：
    所述对象为AR图书所要展现的内容；
    2】增强现实输入笔对对象进行特征编码提取：
    2.1】光头触发AR图书对象上的OID编码，并传输给解码芯片；
    2.2】解码芯片解析OID编码得到对象的特征编码，并将对象的特征编码输给MCU；
    2.3】MCU对对象的特征编码进行加密，并将加密后的特征编码转发给射频模块；
    2.4】射频模块将加密后的特征编码发送给终端；
    3】终端处理增强现实输入笔发送的加密后的特征编码：
    3.1】对加密后的特征编码进行解密处理，得到特征信号；
    3.2】提取特征信号中的数据头和数据地址；
    3.3】根据数据头、数据地址和特征编码规则，组织任务指令；
    3.4】根据任务指令将任务进行分发；
    5】操作：
    5.1】当查询模块收到的查询任务指令时，去本地数据库查找符合任务指令中数据地址所对应的相应资源：
    如果找到对应资源，则反馈信息给数据工厂控制模块的信息处理模块，信息处理模块根据反馈信息，生成播放任务指令，并通过任务分发模块分送给播放模块，后执行步骤5.2】；
    如果未找到对应资源包，则反馈信息给数据工厂控制模块中的信息处理模块，信息处理模块根据反馈信息，生成查找任务指令，并通过任务分发模块发送给网络数据控制模块，后执行步骤5.3】；反馈信息包括功能模块对应的模块类型、模块地址；
    5.2】播放模块播放对应的资源，执行步骤6】；
    5.3】网络数据控制模块通过网络数据接口与云平台连接，在云平台查找对应资源包：
    如果找到资源包，数据下载模块通过网络数据接口在云平台中下载对应资源包，将资源包进行解析得到数据信息和文件信息，将数据信息存储在本地数据库中，将文件信息存储在本地存储中；
    6】显示模块显示播放模块所播放的资源。
  8. 根据权利要求7所述的基于AR图书的索引式增强现实方法，其特征在于，还包括提示步骤5.4】在云平台中未查找到对应资源，则反馈信息给数据工厂控制模块，数据工厂控制模块控制提示模块发出提示信息。
  9. 根据权利要求7或8所述的基于AR图书的索引式增强现实方法，其特征在于，还包括功能控制步骤：当功能控制模块收到功能控制任务指令时，功能控制模块控制播放模块和数据下载模。
  10. 根据权利要求9所述的基于AR图书的索引式增强现实方法，其特征在于，所述增强现实输入笔和终端之间通过蓝牙、无线网络连接。
PCT/CN2016/078283 2015-06-04 2016-04-01 Ar图书及基于ar图书的索引式增强现实系统和方法 WO2016192457A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510305917.7A CN104992205B (zh) 2015-06-04 2015-06-04 基于ar图书的索引式增强现实系统和方法
CN201510305917.7 2015-06-04

Publications (1)

Publication Number Publication Date
WO2016192457A1 true WO2016192457A1 (zh) 2016-12-08

Family

ID=54304018

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/078283 WO2016192457A1 (zh) 2015-06-04 2016-04-01 Ar图书及基于ar图书的索引式增强现实系统和方法

Country Status (2)

Country Link
CN (1) CN104992205B (zh)
WO (1) WO2016192457A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210003033A (ko) 2019-07-01 2021-01-11 최해용 Vr 영상 구현용 책자
CN113792128A (zh) * 2021-09-16 2021-12-14 广州童年科技有限公司 一种点读笔信息交互方法及其系统

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104766502A (zh) * 2015-04-13 2015-07-08 西安教育文化数码有限责任公司 一种现实增强输入笔
CN104992205B (zh) * 2015-06-04 2018-11-06 西安教育文化数码有限责任公司 基于ar图书的索引式增强现实系统和方法
CN105374240A (zh) * 2015-11-23 2016-03-02 东莞市凡豆信息科技有限公司 一种幼儿自助阅读系统
CN105374241A (zh) * 2015-11-23 2016-03-02 东莞市凡豆信息科技有限公司 一种幼儿自助阅读系统
CN105427687A (zh) * 2015-11-23 2016-03-23 东莞市凡豆信息科技有限公司 一种幼儿自助阅读系统
US10169921B2 (en) 2016-08-03 2019-01-01 Wipro Limited Systems and methods for augmented reality aware contents
CN109213303A (zh) * 2017-06-29 2019-01-15 深圳市掌网科技股份有限公司 基于增强现实的图书浏览方法及系统
CN108022158A (zh) * 2017-12-14 2018-05-11 安徽新华传媒股份有限公司 一种基于增强现实技术的智能出版物管理系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110102605A1 (en) * 2009-11-02 2011-05-05 Empire Technology Development Llc Image matching to augment reality
US20110164116A1 (en) * 2010-01-04 2011-07-07 Disney Enterprises, Inc. Video capture system control using virtual cameras for augmented reality
CN103035134A (zh) * 2012-12-10 2013-04-10 张肃 一种图像点读播放系统及方法
CN104992205A (zh) * 2015-06-04 2015-10-21 西安教育文化数码有限责任公司 Ar图书及基于ar图书的索引式增强现实系统和方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202662172U (zh) * 2011-12-08 2013-01-09 王际昀 一种点读系统
GB2501921B (en) * 2012-05-11 2017-05-03 Sony Computer Entertainment Europe Ltd Augmented reality system
GB2502591B (en) * 2012-05-31 2014-04-30 Sony Comp Entertainment Europe Apparatus and method for augmenting a video image
CN104461318B (zh) * 2013-12-10 2018-07-20 苏州梦想人软件科技有限公司 基于增强现实技术的点读方法及系统
CN204740607U (zh) * 2015-06-04 2015-11-04 西安教育文化数码有限责任公司 一种ar图书

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110102605A1 (en) * 2009-11-02 2011-05-05 Empire Technology Development Llc Image matching to augment reality
US20110164116A1 (en) * 2010-01-04 2011-07-07 Disney Enterprises, Inc. Video capture system control using virtual cameras for augmented reality
CN103035134A (zh) * 2012-12-10 2013-04-10 张肃 一种图像点读播放系统及方法
CN104992205A (zh) * 2015-06-04 2015-10-21 西安教育文化数码有限责任公司 Ar图书及基于ar图书的索引式增强现实系统和方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210003033A (ko) 2019-07-01 2021-01-11 최해용 Vr 영상 구현용 책자
CN113792128A (zh) * 2021-09-16 2021-12-14 广州童年科技有限公司 一种点读笔信息交互方法及其系统

Also Published As

Publication number Publication date
CN104992205A (zh) 2015-10-21
CN104992205B (zh) 2018-11-06

Similar Documents

Publication Publication Date Title
WO2016192457A1 (zh) Ar图书及基于ar图书的索引式增强现实系统和方法
CN103035134B (zh) 一种图像点读播放系统及方法
CN114868106A (zh) 使用连接资源投影、控制和管理用户设备应用程序
CN104813642A (zh) 用于触发手势辨识模式以及经由非触摸手势的装置配对和共享的方法、设备和计算机可读媒体
CN105446679B (zh) 计算机、记录介质以及计算服务器
US20160253143A1 (en) Terminal device, screen sharing method, and screen sharing system
JP2017139628A (ja) 通信装置、通信システム、通信制御方法およびコンピュータプログラム
CN104025610A (zh) 用于基于一批图像来提供内容的系统、方法和装置
WO2022057575A1 (zh) 一种多媒体数据的发布方法、装置、设备及介质
KR20200009594A (ko) 파노라마 형식의 이미지를 이용한 가상현실 만화 서비스 제공 방법
CN102750121A (zh) 电子显示装置的智能扩展与精确控制系统及其多用户多任务加密共享方法
CN113891105A (zh) 画面显示方法和装置、存储介质及电子设备
CN104239842B (zh) 一种实现视觉识别的方法、装置和系统
CN113791750A (zh) 一种虚拟内容显示方法、装置和计算机可读存储介质
CN204740607U (zh) 一种ar图书
KR101583039B1 (ko) 전자펜을 이용한 컨텐츠 재생 시스템 및 재생 방법
CN108023856B (zh) 一种信息共享的方法及装置
JP2010003264A (ja) 情報提示制御装置及び情報提示制御方法
CN201060665Y (zh) 非可视点码辨识多功能旅游导览装置
CN106844456A (zh) 基于二维码的增强现实富媒体内容呈现方式
CN104850582B (zh) 一种索引式增强现实系统
KR20080048157A (ko) 사용자 폰트 생성 장치, 그 사용자 폰트 생성 방법 및사용자 폰트 서비스 제공 방법
WO2022262724A1 (zh) 多消息分发方法、装置、电子设备和可读存储介质
CN104834680B (zh) 一种索引式增强现实方法
CN106339191B (zh) 一种演唱会互动及信息展示系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16802380

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16802380

Country of ref document: EP

Kind code of ref document: A1