WO2017101420A1 - 基于全景视频的区域识别方法及设备 - Google Patents

基于全景视频的区域识别方法及设备 Download PDF

Info

Publication number
WO2017101420A1
WO2017101420A1 PCT/CN2016/089547 CN2016089547W WO2017101420A1 WO 2017101420 A1 WO2017101420 A1 WO 2017101420A1 CN 2016089547 W CN2016089547 W CN 2016089547W WO 2017101420 A1 WO2017101420 A1 WO 2017101420A1
Authority
WO
WIPO (PCT)
Prior art keywords
coordinates
panoramic video
feature
feature area
display screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2016/089547
Other languages
English (en)
French (fr)
Inventor
谭傅伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Le Holdings Beijing Co Ltd
LeTV Information Technology Beijing Co Ltd
Original Assignee
Le Holdings Beijing Co Ltd
LeTV Information Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Le Holdings Beijing Co Ltd, LeTV Information Technology Beijing Co Ltd filed Critical Le Holdings Beijing Co Ltd
Priority to US15/242,252 priority Critical patent/US20170169572A1/en
Publication of WO2017101420A1 publication Critical patent/WO2017101420A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Definitions

  • the present patent application relates to the field of panoramic video, and in particular to a method and device for identifying a region based on panoramic video.
  • the panoramic video can convert the static panoramic image into a dynamic video image.
  • the panoramic video can watch the dynamic video 360 degrees up and down at the shooting angle, so that the user has a true sense of immersiveness, and it is not subject to time, Space and geographical restrictions.
  • the panoramic video is not a single static panoramic picture form, but has an all-encompassing depth of field, moving images, sounds, etc., and has the sound and picture alignment, sound and picture synchronization.
  • the user may wish to place some advertisements in the panoramic video or switch the next scene based on some markers in the panoramic video.
  • it is necessary to perform area recognition based on the panoramic video but in the prior art, There is no relevant research on area recognition for panoramic video.
  • An object of some embodiments of the present invention is to provide a region recognition method and device based on panoramic video, which can conveniently and accurately perform region recognition judgment.
  • the present invention provides an area recognition method based on panoramic video, the method comprising: determining whether the panoramic video includes a feature area in a current display page of the display screen. a field; if the feature area is included in the current display page, determining whether the current operation position is located in the feature area; and in a case where the current operation position is located in the feature area, triggering for the feature area event.
  • determining whether the panoramic video includes a feature area in a current display page of the display screen comprises: corresponding one or more feature points in the feature area of the panoramic video to the The coordinates in the panoramic video are converted to coordinates corresponding to the display screen; and it is determined whether the coordinates of the one or more feature points corresponding to the display screen are included in a coordinate range of the display screen.
  • determining whether the current operation location is located in the feature area comprises: calculating the current operation location and the a distance of one or more feature points; and in a case where at least one of the calculated one or more distances is less than a predetermined distance, determining that the current operating position is located in the feature area.
  • the one or more feature points are selected from one or more of the following: one or more of the edge points of the feature area, a center point of the feature area.
  • the present invention further provides an area identification device based on a panoramic video, the device comprising: a feature area determining module, configured to determine whether the panoramic video includes a feature area in a current display page of the display screen; and a position determining module, And determining, in a case where the feature area is included in the current display page, determining whether a current operation position is located in the feature area; and triggering a module, where the current operation position is located in the feature area, Triggering for the feature area The event of the domain.
  • a feature area determining module configured to determine whether the panoramic video includes a feature area in a current display page of the display screen
  • a position determining module And determining, in a case where the feature area is included in the current display page, determining whether a current operation position is located in the feature area; and triggering a module, where the current operation position is located in the feature area, Triggering for the feature area The event of the domain.
  • the feature area determining module includes: a coordinate conversion unit, configured to convert one or more feature points of the mark in the feature area of the panoramic video to coordinates in the panoramic video into Corresponding to the coordinates of the display screen; and the coordinate determining unit determining whether the coordinates of the one or more feature points corresponding to the display screen are included in a coordinate range of the display screen.
  • the feature point is the coordinates of the panoramic video
  • H is a conversion matrix that converts coordinates in the panoramic video into coordinates of the display screen.
  • the location determining module further includes: a distance calculating unit, configured to calculate a distance between the current operating location and the one or more feature points based on the current display page; and a distance determining unit, configured to: In case the at least one of the calculated one or more distances is less than the predetermined distance, it is determined that the current operating position is located in the feature area.
  • the one or more feature points are selected from one or more of the following: one or more of the edge points of the feature area, a center point of the feature area.
  • the area recognition judgment can be conveniently and simply performed, and the application of the panoramic video is better expanded.
  • FIG. 1 is a flowchart of a method for identifying a region based on a panoramic video according to an embodiment of the present invention
  • FIG. 2 is a view showing an interface of a spherical video source converted to a viewing screen provided by an embodiment of the present invention
  • FIG. 3 is a structural block diagram of a panoramic video based area identifying apparatus according to an embodiment of the present invention.
  • FIG. 1 is a flowchart of a method for identifying a region based on panoramic video provided by an embodiment of the present invention. As shown in FIG. 1 , the panoramic video based area identification method provided by the present invention includes steps S10 to S30.
  • Step S10 Determine whether the panoramic video includes a feature area in a current display page of the display screen.
  • the feature area may be some trademarks, animals, plants or landmark buildings included in the panoramic video.
  • One or more feature points may be marked in advance in the feature area of the panoramic video.
  • the one or more feature points are selected from one or more of the following: one of the edge points of the feature area or More, the center point of the feature area. For example, for a hanging trademark, its top, bottom, left, and right or center points can be selected as feature points.
  • the coordinates (x1, y1) of the feature points in the two-dimensional panoramic video can then be converted to their coordinates (x2, y2) in the display screen, and the coordinate plane in the two-dimensional panoramic video is in pixels, assuming the video
  • FIG. 2 is a view showing an interface of a spherical video source converted to a viewing screen provided by an embodiment of the present invention.
  • the point A is the position of the human eye, that is, the position of the human eye is located at the center of the sphere
  • the plane L1 is the viewing screen.
  • the spherical video source is switched to the interface for viewing the screen, in the plane L2 and in FIG.
  • the plane L1 (viewing screen) is the far plane and the near plane in the perspective projection theory, respectively.
  • the interface for how to convert the spherical video source to the viewing screen belongs to the common knowledge in the field of perspective projection, and will not be specifically described here.
  • the rotation matrix of the eye observation position, M23 is the projection matrix.
  • M3 is a matrix related to the display screen resolution, which converts the view plane coordinates into display screen coordinates.
  • the coordinates (x2, y2) of the coordinate points (x1, y1) in the two-dimensional panoramic video in the display screen can be realized by the formula (1).
  • the view plane coordinate range may be set to the x-axis coordinate range of ⁇ 1.
  • the y-axis coordinate range is -1 to 1. If the view plane coordinate (x", y") satisfies -1 ⁇ x" ⁇ 1, -1 ⁇ y" ⁇ 1 after conversion, it indicates that the coordinate point (x1, y1) in the original panoramic video is included in the current display. In the page.
  • a feature point is included in the display page, it can be considered to correspond to the The feature area of the feature point is included in the currently displayed page.
  • Step S20 In a case where the feature area is included in the current display page, it is determined whether the current operation position is located in the feature area.
  • the current operation position may be a current placement position of the cursor or the finger on the screen.
  • determining whether the current operating position is located in the feature area comprises: calculating, according to the current display page, a distance between a coordinate position (X, Y) of the current operation and the one or more feature points (x2, y2),
  • the distance between the two can be calculated by the respective coordinates, for example, the distance between the two is calculated according to the Euclidean distance, which can be expressed as: (X-x2) 2 + (Y-y2) 2 .
  • the current operating position may be identified by the position of the cursor or finger.
  • Step S30 In the case that the current operating position is located in the feature area, an event for the feature area is triggered. For example, if the feature area is a trademark, then a product description corresponding to the trademark may be triggered or an advertisement video for the trademark may be triggered for the trademark; if the feature area is an iconic building, an introduction to the building may be triggered; or It is possible to switch to another scene or the like for the feature area.
  • an event for the feature area is triggered. For example, if the feature area is a trademark, then a product description corresponding to the trademark may be triggered or an advertisement video for the trademark may be triggered for the trademark; if the feature area is an iconic building, an introduction to the building may be triggered; or It is possible to switch to another scene or the like for the feature area.
  • FIG. 3 is a structural block diagram of a panoramic video based area identifying apparatus according to an embodiment of the present invention.
  • the present invention further provides an area recognition device based on a panoramic video, the device includes: a feature area determination module 100, configured to determine whether the panoramic video is included in a current display page of the display screen.
  • a location determining unit 200 configured to determine, in a case where the feature area is included in the current display page, whether the current operating position is located in the feature area, and a triggering module 300, configured to be in the current operating position In the case of the feature area, an event for the feature area is triggered.
  • the feature area determining module 100 includes: a coordinate converting unit 110, configured to correspond one or more feature points in the feature area of the panoramic video to the Coordinates in the panoramic video are converted into coordinates corresponding to the display screen; and the coordinate determining unit 120 determines whether the coordinates of the one or more feature points corresponding to the display screen are included in a coordinate range of the display screen Inside.
  • the feature point is the coordinates of the panoramic video
  • H is a conversion matrix that converts coordinates in the panoramic video into coordinates of the display screen.
  • the location determining module 200 further includes: a distance calculating unit 210, configured to calculate a distance between the current operating location and the one or more feature points based on the current display page; and a distance determining unit 220, For determining that the current operating position is located in the feature area if at least one of the calculated one or more distances is less than the predetermined distance.
  • the one or more feature points are selected from one or more of the following: one or more of the edge points of the feature area, a center point of the feature area.
  • the panoramic video-based area identification device provided by the present invention is similar to the above-described panoramic video-based area recognition method, and details are not described herein again.
  • the area recognition based on the panoramic video can be conveniently and simply performed, and the application of the panoramic video is further extended, so that the user can add some regions based on the panoramic video. Identify the application.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

一种基于全景视频的区域识别方法及设备，其中所述方法包括：判断所述全景视频在显示屏幕的当前显示页面中是否包括特征区域（S10）；在所述当前显示页面中包括所述特征区域的情况下，判断当前操作位置是否位于所述特征区域（S20）；以及在当前操作位置位于所述特征区域的情况下，触发针对所述特征区域的事件（S30）。通过该方法及设备能够方便简单且准确进行区域识别判断，并且更好的扩展了全景视频的应用。

Description

基于全景视频的区域识别方法及设备
交叉引用
本申请引用于2015年12月15日递交的名称为“基于全景视频的区域识别方法及设备”的第201510930068.4号中国专利申请，其通过引用被全部并入本申请。
技术领域
本专利申请涉及全景视频领域，具体地，涉及一种基于全景视频的区域识别方法及设备。
背景技术
全景视频能够将静态的全景图片转化为动态的视频图像，全景视频可以在拍摄角度左右上下360度的任意观看动态视频，让用户有一种真正意义上身临其境的感觉，并且其不受时间、空间和地域的限制。全景视频不是单一的静态全景图片形式，而是具有景深、动态图像、声音等包罗万象，同时具备声画对位、声画同步。
在一些情况下，用户可能希望在全景视频中投放一些广告，或者基于全景视频中的一些标志物进行下一场景的切换，此时，需要基于全景视频进行区域识别，但是现有技术中，并没有针对全景视频的区域识别的相关研究。
发明内容
本发明部分实施例的目的是提供一种基于全景视频的区域识别方法及设备，其能够方便简单且准确进行区域识别判断。
为了实现上述目的，本发明提供一种基于全景视频的区域识别方法，该方法包括：判断所述全景视频在显示屏幕的当前显示页面中是否包括特征区 域；在所述当前显示页面中包括所述特征区域的情况下，判断当前操作位置是否位于所述特征区域；以及在当前操作位置位于所述特征区域的情况下，触发针对所述特征区域的事件。
在一个实施例中，所述判断所述全景视频在显示屏幕的当前显示页面中是否包括特征区域包括：将所述全景视频的所述特征区域中标记的一个或多个特征点相应于所述全景视频中的坐标转换为相应于所述显示屏幕的坐标；以及判断所述一个或多个特征点相应于所述显示屏幕的坐标是否包含在所述显示屏幕的坐标范围内。
在一个实施例中，通过以下公式将所述一个或多个特征点相应于所述全景视频中的坐标转换为相应于所述显示屏幕的坐标：(x2,y2)＝(x1,y1)*H；其中，(x2,y2)是指所述一个或多个特征点在所述当前显示页面的坐标，(x1,y1)是指所述一个或多个特征点在所述全景视频的坐标，H是指将所述全景视频中的坐标转换为所述显示屏幕的坐标的转换矩阵。
在一个实施例中，在所述当前显示页面中包括所述特征区域的情况下，判断当前操作位置是否位于所述特征区域包括：基于所述当前显示页面，计算所述当前操作位置与所述一个或多个特征点的距离；以及在所计算的一个或多个距离中至少一者小于预定距离的情况下，判断所述当前操作位置位于所述特征区域。
在一个实施例中，所述一个或多个特征点选自下列中的一者或多者：所述特征区域的边缘点中的一者或多者、所述特征区域的中心点。
相应地，本发明还提供一种基于全景视频的区域识别设备，该设备包括：特征区域判断模块，用于判断所述全景视频在显示屏幕的当前显示页面中是否包括特征区域；位置判断模块，用于在所述当前显示页面中包括所述特征区域的情况下，判断当前操作位置是否位于所述特征区域；以及触发模块，用于在所述当前操作位置位于所述特征区域的情况下，触发针对所述特征区 域的事件。
在一个实施例中，所述特征区域判断模块包括：坐标转换单元，用于将所述全景视频的所述特征区域中标记的一个或多个特征点相应于所述全景视频中的坐标转换为相应于所述显示屏幕的坐标；以及坐标判断单元，判断所述一个或多个特征点相应于所述显示屏幕的坐标是否包含在所述显示屏幕的坐标范围内。
在一个实施例中，所述坐标转换模块还用于通过以下公式将所述一个或多个特征点相应于所述全景视频中的坐标转换为相应于所述当前显示页面的坐标：(x2,y2)＝(x1,y1)*H；其中，(x2,y2)是指所述一个或多个特征点在所述当前显示页面的坐标，(x1,y1)是指所述一个或多个特征点在所述全景视频的坐标，H是指将所述全景视频中的坐标转换为所述显示屏幕的坐标的转换矩阵。
在一个实施例中，所述位置判断模块还包括：距离计算单元，用于基于所述当前显示页面，计算当前操作位置与所述一个或多个特征点的距离；以及距离判断单元，用于在所计算的一个或多个距离中至少一者小于预定距离的情况下，判断当前操作位置位于所述特征区域。
在一个实施例中，所述一个或多个特征点选自下列中的一者或多者：所述特征区域的边缘点中的一者或多者、所述特征区域的中心点。
通过上述技术方案，能够方便简单且准确进行区域识别判断，并且更好的扩展了全景视频的应用。
本发明的其它特征和优点将在随后的具体实施例部分予以详细说明。
附图说明
附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施例一起用于解释本发明，但并不构成对本发明的限制。在附 图中：
图1示出了本发明实施例所提供的基于全景视频的区域识别方法的流程图；
图2示出了本发明实施例所提供的球形的视频源转换至观看屏幕的界面视图；以及
图3示出了本发明实施例所提供的基于全景视频的区域识别设备的结构框图。
附图标记说明
100  特征区域判断模块     200  位置判断模块
300  触发模块             110  坐标转换单元
120  坐标判断单元         210  距离计算单元
220  距离判断单元
具体实施例
以下结合附图对本发明的具体实施例进行详细说明。应当理解的是，此处所描述的具体实施例仅用于说明和解释本发明，并不用于限制本发明。
图1示出了本发明实施例所提供的基于全景视频的区域识别方法的流程图。如图1所示，本发明所提供的基于全景视频的区域识别方法包括步骤S10～步骤S30。
步骤S10：判断所述全景视频在显示屏幕的当前显示页面中是否包括特征区域。
该特征区域可以是全景视频中包含的一些商标、动植物或者标志性建筑物等。可以预先在全景视频的特征区域中标记一个或多个特征点。所述一个或多个特征点选自下列中的一者或多者：所述特征区域的边缘点中的一者或 多者、所述特征区域的中心点。例如，对于一个悬挂的商标，可以选择其上下左右或中心点来作为特征点。
在实际使用中，欲将所拍摄的一幅二维的全景视频在显示屏幕中播放，需将二维的全景视频进行转换。步骤如下：(1)将原始二维视频源粘贴至三维球体模型上，生成球形的视频源(相当于将原二维的全景视频贴在球面上进行播放)；(2)截取球形视频源的一部分并将其投影至二维的显示屏幕上；(3)用户通过滑动屏幕遍历球面的不同部位即可以观看到全景视频所包含的所有视图。
在判断当前显示页面中是否包括特征区域时，首先在二维的全景视频中标记特征区域的一个或多个特征点，并记录该一个或多个特征点在二维的全景视频中的坐标，然后可以将特征点在二维的全景视频中的坐标(x1,y1)转换为其在显示屏幕中的坐标(x2,y2)，二维的全景视频中的坐标平面以像素为单位，假设视频分辨率为800*600，则0<x1<800，0<y1<600，屏幕坐标(x2，y2)以像素为单位，若屏幕分辨率为1920*1080，则0<x2<1920，0<y2<1080。下面将具体描述如何将二维的全景视频中的坐标点(x1,y1)转换为在显示屏幕中的坐标(x2,y2)。
图2示出了本发明实施例所提供的球形的视频源转换至观看屏幕的界面视图。如图2所示，点A为人眼位置，即人眼位置位于球心，平面L1为观看屏幕，根据透视投影理论来将球形的视频源转换至观看屏幕的界面，在图2中平面L2和平面L1(观看屏幕)分别为透视投影理论中的远平面和近平面，对于如何将球形的视频源转换至观看屏幕的界面属于透视投影领域的公知常识，这里将不再具体阐述。
二维的全景视频中的坐标点(x1,y1)在球形视频源的坐标可以表示为(x′，y′，z′)，其中，(x′，y′，z′)＝(x1，y1)*M1，M1为将原二维的全景视频的坐标转换为球形视频源的坐标的转换矩阵，矩阵M1属于本领域 公知常识，这里不再赘述。
根据透视投影原理可以先将球形视频源的该点坐标(x′，y′，z′)经转换矩阵M2转换为视平面坐标(x″，y″)，表示为(x″，y″)＝(x′，y′，z′)*M2，在本发明中转换矩阵M2与透视投影矩阵、球形视频源中的点与人眼观察位置的相对位置以及球形视频源的球模型与人眼观察位置的相对旋转角度相关，这里记为M2＝M21*M22*M23，其中，M21为球形视频源中的点与人眼观察位置的相对位置矩阵，M22为球形视频源的球模型相对于人眼观察位置的旋转矩阵，M23为投影矩阵。则二维的全景视频中的坐标为(x1，y1)的点的视平面坐标(x″，y″)可以表示为：
(x″，y″)＝(x1，y1)*M1*M2，
坐标点(x1，y1)的视平面坐标(x″，y″)经转换矩阵M3以后可以转换为屏幕坐标(x2，y2)，即(x2，y2)＝(x1，y1)*M1*M2*M3。M3是一个与显示屏幕分辨率相关的矩阵，能够将视平面坐标转换为显示屏幕坐标。
综上，二维的全景视频中的坐标点(x1,y1)在显示屏幕中的坐标(x2,y2)可以通过公式(1)来实现，
(x2,y2)＝(x1,y1)*H，         (1)
其中，H＝M1*M2*M3，如果转换后的x2,y2均满足显示屏幕的坐标范围，则原全景视频中的坐标点(x1,y1)必定包含在当前显示页面中。
此外，也可以通过判断视平面坐标(x″，y″)是否满足视平面坐标范围来判断当前显示页面中是否包括特征区域，这里，视平面坐标范围可以设定为x轴坐标范围为-1至1，y轴坐标范围为-1至1。如果经转换后，视平面坐标(x″，y″)满足-1<x″<1，-1<y″<1，则表明原全景视频中的坐标点(x1,y1)包含在当前显示页面中。
在一个例子中，只要有一特征点包含在显示页面中，则可认为相应于该 特征点的特征区域包括于当前显示页面中。
步骤S20：在所述当前显示页面中包括所述特征区域的情况下，判断当前操作位置是否位于所述特征区域，这里，当前操作位置可以是光标或手指在屏幕上的当前放置位置。
具体地，判断当前操作位置是否位于所述特征区域包括：基于所述当前显示页面，计算当前操作的坐标位置(X，Y)与所述一个或多个特征点(x2,y2)的距离，在一个例子中，可以通过各自的坐标来计算二者之间的距离，例如根据欧式距离来计算二者之间的距离，可表示为：(X-x2)2+(Y-y2)2。在所计算的光标或手指的位置与所述一个或多个特征点的距离中，只要有一个距离小于预定距离(以像素为单位)，则可判断当前操作位置位于该特征区域。可选地，可以采用光标或手指的位置标识当前操作位置。
步骤S30：在当前操作位置位于所述特征区域的情况下，触发针对所述特征区域的事件。例如，如果特征区域是商标，则针对该商标可以触发相应于该商标的一些产品介绍或者触发针对该商标的广告视频；如果特征区域标志性建筑物，则可以触发针对该建筑物的介绍；或者可以针对特征区域切换至另一场景等。
图3示出了本发明实施例所提供的基于全景视频的区域识别设备的结构框图。如图3所示，相应地，本发明还提供一种基于全景视频的区域识别设备，该设备包括：特征区域判断模块100，用于判断所述全景视频在显示屏幕的当前显示页面中是否包括特征区域；位置判断模块200，用于在所述当前显示页面中包括所述特征区域的情况下，判断当前操作位置是否位于所述特征区域；以及触发模块300，用于在所述当前操作位置位于所述特征区域的情况下，触发针对所述特征区域的事件。
在一个例子中，所述特征区域判断模块100包括：坐标转换单元110，用于将所述全景视频的所述特征区域中标记的一个或多个特征点相应于所 述全景视频中的坐标转换为相应于所述显示屏幕的坐标；以及坐标判断单元120，判断所述一个或多个特征点相应于所述显示屏幕的坐标是否包含在所述显示屏幕的坐标范围内。
在一个例子中，所述坐标转换模块120还用于通过以下公式将所述一个或多个特征点相应于所述全景视频中的坐标转换为相应于所述当前显示页面的坐标：(x2,y2)＝(x1,y1)*H；其中，(x2,y2)是指所述一个或多个特征点在所述当前显示页面的坐标，(x1,y1)是指所述一个或多个特征点在所述全景视频的坐标，H是指将所述全景视频中的坐标转换为所述显示屏幕的坐标的转换矩阵。
在一个例子中，所述位置判断模块200还包括：距离计算单元210，用于基于所述当前显示页面，计算当前操作位置与所述一个或多个特征点的距离；以及距离判断单元220，用于在所计算的一个或多个距离中至少一者小于预定距离的情况下，判断当前操作位置位于所述特征区域。
在一个例子中，所述一个或多个特征点选自下列中的一者或多者：所述特征区域的边缘点中的一者或多者、所述特征区域的中心点。
本发明所提供的基于全景视频的区域识别设备与上文中的基于全景视频的区域识别方法的工作原理相似，这里不再赘述。
根据本发明所提供的基于全景视频的方法及设备，能够方便简单且准确进行基于全景视频的区域识别判断，并且更好的扩展了全景视频的应用，使得用户可以在全景视频中添加一些基于区域识别的应用。
以上结合附图详细描述了本发明的实施例，但是，本发明并不限于上述例子中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。
另外需要说明的是，在上述具体例子中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重 复，本发明对各种可能的组合方式不再另行说明。
此外，本发明的各种不同的例子之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。

Claims (10)

  1. 一种基于全景视频的区域识别方法，包括：
    判断所述全景视频在显示屏幕的当前显示页面中是否包括特征区域；
    在所述当前显示页面中包括所述特征区域的情况下，判断当前操作位置是否位于所述特征区域；以及
    在当前操作位置位于所述特征区域的情况下，触发针对所述特征区域的事件。
  2. 根据权利要求1所述的方法，其中，所述判断当前显示页面中是否包括特征区域包括：
    将所述全景视频的所述特征区域中标记的一个或多个特征点相应于所述全景视频中的坐标转换为相应于所述显示屏幕的坐标；以及
    判断所述一个或多个特征点相应于所述显示屏幕的坐标是否包含在所述显示屏幕的坐标范围内。
  3. 根据权利要求2所述的方法，其中，通过以下公式将所述一个或多个特征点相应于所述全景视频中的坐标转换为相应于所述显示屏幕的坐标：
    (x2,y2)＝(x1,y1)*H；
    其中，(x2,y2)是指所述一个或多个特征点在所述当前显示页面的坐标，(x1,y1)是指所述一个或多个特征点在所述全景视频的坐标，H是指将所述全景视频中的坐标转换为所述显示屏幕的坐标的转换矩阵。
  4. 根据权利要求2或3所述的方法，其中，在所述当前显示页面中包含所述特征区域的情况下，判断当前操作位置是否位于所述特征区域包括：
    基于所述当前显示页面，计算所述当前操作位置与所述一个或多个特征点的距离；以及
    在所计算的一个或多个距离中至少一者小于预定距离的情况下，判断所述当前操作位置位于所述特征区域。
  5. 根据权利要求2、3或4所述的方法，其中，所述一个或多个特征点选自下列中的一者或多者：所述特征区域的边缘点中的一者或多者、所述特征区域的中心点。
  6. 一种基于全景视频的区域识别设备，包括：
    特征区域判断模块，用于判断所述全景视频在显示屏幕的当前显示页面中是否包括特征区域；
    位置判断模块，用于在所述当前显示页面中包括所述特征区域的情况下，判断当前操作位置是否位于所述特征区域；以及
    触发模块，用于在所述当前操作位置位于所述特征区域的情况下，触发针对所述特征区域的事件。
  7. 根据权利要求6所述的设备，其中，所述特征区域判断模块包括：
    坐标转换单元，用于将所述全景视频的所述特征区域中标记的一个或多个特征点相应于所述全景视频中的坐标转换为相应于所述显示屏幕的坐标；以及
    坐标判断单元，判断所述一个或多个特征点相应于所述显示屏幕的坐标是否包含在所述显示屏幕的坐标范围内。
  8. 根据权利要求7所述的设备，其中，所述坐标转换模块还用于通过以下公式将所述一个或多个特征点相应于所述全景视频中的坐标转换为相应于所述当前显示页面的坐标：
    (x2,y2)＝(x1,y1)*H；
    其中，(x2,y2)是指所述一个或多个特征点在所述当前显示页面的坐标，(x1,y1)是指所述一个或多个特征点在所述全景视频的坐标，H是指将所述全景视频中的坐标转换为所述显示屏幕的坐标的转换矩阵。
  9. 根据权利要求7或8所述的设备，其中，所述位置判断模块包括：
    距离计算单元，用于基于所述当前显示页面，计算所述当前操作位置与所述一个或多个特征点的距离；以及
    距离判断单元，用于在所计算的一个或多个距离中至少一者小于预定距离的情况下，判断所述当前操作位置位于所述特征区域。
  10. 根据权利要求7、8或9所述的设备，其中，所述一个或多个特征点选自下列中的一者或多者：所述特征区域的边缘点中的一者或多者、所述特征区域的中心点。
PCT/CN2016/089547 2015-12-15 2016-07-10 基于全景视频的区域识别方法及设备 Ceased WO2017101420A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/242,252 US20170169572A1 (en) 2015-12-15 2016-08-19 Method and electronic device for panoramic video-based region identification

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510930068.4 2015-12-15
CN201510930068.4A CN105912973A (zh) 2015-12-15 2015-12-15 基于全景视频的区域识别方法及设备

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/242,252 Continuation US20170169572A1 (en) 2015-12-15 2016-08-19 Method and electronic device for panoramic video-based region identification

Publications (1)

Publication Number Publication Date
WO2017101420A1 true WO2017101420A1 (zh) 2017-06-22

Family

ID=56744277

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/089547 Ceased WO2017101420A1 (zh) 2015-12-15 2016-07-10 基于全景视频的区域识别方法及设备

Country Status (2)

Country Link
CN (1) CN105912973A (zh)
WO (1) WO2017101420A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114051089B (zh) * 2021-10-12 2023-09-15 聚好看科技股份有限公司 一种全景视频中投放资源的方法及显示设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080106593A1 (en) * 2006-11-07 2008-05-08 The Board Of Trustees Of The Leland Stanford Jr. University System and process for synthesizing location-referenced panoramic images and video
CN101877139A (zh) * 2009-04-30 2010-11-03 爱国者全景(北京)网络科技发展有限公司 一种实现三维视频全景空间热点的方法和系统
CN104219584A (zh) * 2014-09-25 2014-12-17 广州市联文信息科技有限公司 基于增强现实的全景视频交互方法和系统
EP2824883A1 (en) * 2013-07-12 2015-01-14 Alcatel Lucent A video client and video server for panoramic video consumption
CN104838425A (zh) * 2012-10-11 2015-08-12 谷歌公司 导航与兴趣点相关联的视觉数据

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3389490B2 (ja) * 1998-03-05 2003-03-24 三洋電機株式会社 連続画像撮影装置
CN103226693B (zh) * 2013-03-21 2016-05-25 浙江工业大学 基于全景立体视觉的捕捞对象的识别和空间定位装置及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080106593A1 (en) * 2006-11-07 2008-05-08 The Board Of Trustees Of The Leland Stanford Jr. University System and process for synthesizing location-referenced panoramic images and video
CN101877139A (zh) * 2009-04-30 2010-11-03 爱国者全景(北京)网络科技发展有限公司 一种实现三维视频全景空间热点的方法和系统
CN104838425A (zh) * 2012-10-11 2015-08-12 谷歌公司 导航与兴趣点相关联的视觉数据
EP2824883A1 (en) * 2013-07-12 2015-01-14 Alcatel Lucent A video client and video server for panoramic video consumption
CN104219584A (zh) * 2014-09-25 2014-12-17 广州市联文信息科技有限公司 基于增强现实的全景视频交互方法和系统

Also Published As

Publication number Publication date
CN105912973A (zh) 2016-08-31

Similar Documents

Publication Publication Date Title
WO2022057579A1 (zh) 定位追踪方法和平台、头戴显示系统和计算机可读存储介质
CN103477348B (zh) 色彩通道和光学标记
TWI574223B (zh) 運用擴增實境技術之導航系統
CN104081434B (zh) 经配置以基于运动传感器数据计算3d模型的移动装置
CN104427230B (zh) 增强现实的方法和增强现实的系统
WO2017164971A3 (en) Spatial relationships for integration of visual images of physical environment into virtual reality
US9361731B2 (en) Method and apparatus for displaying video on 3D map
TW201142745A (en) Information processing apparatus, information processing system, and information processing method
CN108735052B (zh) 一种基于slam的增强现实自由落体实验方法
JP2017129904A (ja) 情報処理装置、情報処理方法、及び記録媒体
CN112912936B (zh) 混合现实系统、程序、移动终端装置和方法
CN104571511A (zh) 一种3d场景中重现物体的系统和方法
CN116057577A (zh) 用于增强现实的地图
CN105190695A (zh) 图像处理装置、图像处理方法及程序
CN106780757A (zh) 一种增强现实的方法
CN110599432A (zh) 影像处理系统及影像处理方法
JP2016029591A (ja) 情報処理装置、情報処理方法およびプログラム
WO2023095392A1 (ja) 情報処理装置、情報処理システム、情報処理方法、及びプログラム
WO2017101420A1 (zh) 基于全景视频的区域识别方法及设备
US20200211275A1 (en) Information processing device, information processing method, and recording medium
TW201126451A (en) Augmented-reality system having initial orientation in space and time and method
CN101986346B (zh) 人脸图像处理方法及装置
US20170169572A1 (en) Method and electronic device for panoramic video-based region identification
CN107403406B (zh) 实体影像与虚拟影像之间转换的方法及其系统
CN113160270A (zh) 视觉地图生成方法、装置、终端及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16874481

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16874481

Country of ref document: EP

Kind code of ref document: A1