JP7277119B2 - Image processing system and image processing method - Google Patents
Image processing system and image processing method Download PDFInfo
- Publication number
- JP7277119B2 JP7277119B2 JP2018225717A JP2018225717A JP7277119B2 JP 7277119 B2 JP7277119 B2 JP 7277119B2 JP 2018225717 A JP2018225717 A JP 2018225717A JP 2018225717 A JP2018225717 A JP 2018225717A JP 7277119 B2 JP7277119 B2 JP 7277119B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- user
- additional
- virtual space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Description
本発明は、画像処理システム、及び画像処理方法に関するもので、特に、表示画像を配信する際に用いる画像処理システム、及び画像処理方法に係わる。 The present invention relates to an image processing system and an image processing method, and more particularly to an image processing system and an image processing method used when distributing display images.
ヘッドマウントディスプレイ（以下、ＨＭＤという）と称される三次元画像表示デバイスでは、ユーザの左右の眼それぞれを対象として、画像を相互に独立して表示され、その独立した画像の各々を左右の眼で同時に視ることにより、ユーザは三次元の仮想空間画像を認識できる。また、ＨＭＤには、ユーザの頭部の動きや視線の動きを検出するセンサが設けられている。このようなＨＭＤを利用して、スポーツや音楽イベントの画像を仮想空間画像で配信するようなサービスが注目されている。また、このような仮想空間画像の配信サービスの普及とともに、仮想空間画像に広告画像を埋め込むことで、高い広告効果が期待できる。また、仮想空間画像から、特定の仮想物体の画像を抽出する技術が知られている（例えば、特許文献１）。 In a three-dimensional image display device called a head-mounted display (hereinafter referred to as HMD), images are displayed independently of each other for the left and right eyes of a user, and each of the independent images is displayed by the left and right eyes. The user can perceive a three-dimensional virtual space image by simultaneously viewing the . In addition, the HMD is provided with a sensor that detects the movement of the user's head and the movement of the line of sight. Attention is paid to a service that distributes images of sports and music events as virtual space images using such HMDs. In addition, with the spread of such virtual space image distribution services, embedding an advertisement image in a virtual space image can be expected to have a high advertising effect. Also, there is known a technique for extracting an image of a specific virtual object from a virtual space image (for example, Patent Document 1).
特許文献１には、画像から特徴量を算出し、算出した特徴量と、予め記憶しておいた所定の物体の特徴量とを比較し、画像に描画されている物体が所定の物体か否かを判定する技術が開示されている。このような技術を用いれば、抽出した仮想物体に応じて、広告画像を挿入したり、画像を効果的に演出させたり強調させたりする画像を追加することができ、仮想空間画像の付加価値を高めることができる。しかしながら、画像の特徴量が大きくなると、画像付加するための処理負荷が増える。 In Patent Document 1, a feature amount is calculated from an image, and the calculated feature amount is compared with the feature amount of a predetermined object stored in advance to determine whether the object drawn in the image is the predetermined object. A technique for determining whether is disclosed. By using such technology, it is possible to insert an advertisement image or add an image that effectively directs or emphasizes the image according to the extracted virtual object, thereby increasing the added value of the virtual space image. can be enhanced. However, when the feature amount of the image increases, the processing load for image addition increases.
上述の課題を鑑み、本発明は画像付加するための処理負荷を増大させずに、表示画像に対して適切な位置に付加画像を挿入できる画像処理システム、及び画像処理方法を提供することを目的とする。 SUMMARY OF THE INVENTION In view of the above problems, it is an object of the present invention to provide an image processing system and an image processing method capable of inserting an additional image at an appropriate position in a displayed image without increasing the processing load for image addition. and
上述の課題を解決するために、本発明の一態様に係る画像処理システムは、仮想空間画像に含まれる所定のパターンを認識するパターン認識部であり、ユーザの視線方向が変わることに応じて前記仮想空間画像が変形した場合、前記仮想空間画像の変形量に基づき前記所定のパターンを変形するパターン認識部と、前記パターン認識部により変形された前記所定のパターンに基づいて、前記変形された所定のパターンに応じた形状の領域であって前記仮想空間画像に付加する付加画像を表示させる表示領域を、前記仮想空間画像から抽出する抽出部と、前記表示領域に応じて前記付加画像の形状を前記変形した所定のパターンの形状に対応するように変換する変換部と、前記抽出部により抽出された前記表示領域に、前記変換部により変換された前記付加画像を表示させる表示設定部と、を備える。 In order to solve the above-described problems, an image processing system according to an aspect of the present invention is a pattern recognition unit that recognizes a predetermined pattern included in a virtual space image, and the above-described a pattern recognition unit that transforms the predetermined pattern based on a deformation amount of the virtual space image when the virtual space image is deformed ; an extraction unit for extracting from the virtual space image a display region having a shape corresponding to the pattern of the virtual space image and displaying an additional image to be added to the virtual space image; and a display setting unit configured to display the additional image converted by the conversion unit in the display area extracted by the extraction unit. Prepare.
また、本発明の一態様に係る画像処理システムは、表示画像に含まれる所定のパターンを認識するパターン認識部であり、ユーザの視線方向が変わることに応じて前記表示画像が変形した場合、前記表示画像の変形量に基づき前記所定のパターンを変形するパターン認識部と、前記パターン認識部により変形された前記所定のパターンに基づいて、前記変形された所定のパターンに応じた形状の領域であって前記表示画像に付加する付加画像を表示させる表示領域を、前記表示画像から抽出する抽出部と、前記抽出部により抽出された前記表示領域に、前記変形した所定のパターンの形状に対応するように変形された前記付加画像を表示させる設定を行う表示設定部と、を備える。 Further, an image processing system according to an aspect of the present invention is a pattern recognition unit that recognizes a predetermined pattern included in a display image, and when the display image is deformed according to a change in the line-of-sight direction of the user, the above a pattern recognition unit that transforms the predetermined pattern based on a deformation amount of a display image; an extraction unit for extracting from the display image a display area in which an additional image to be added to the display image is displayed, and a display area extracted by the extraction unit so as to correspond to the deformed predetermined pattern shape. and a display setting unit for setting to display the additional image that has been deformed into the image.
また、本発明の一態様に係る画像処理方法は、画像処理システムにおける画像処理方法であって、パターン認識部が、仮想空間画像に含まれる所定のパターンを認識し、ユーザの視線方向が変わることに応じて前記仮想空間画像が変形した場合、前記仮想空間画像の変形量に基づき前記所定のパターンを変形し、抽出部が、前記パターン認識部により変形された前記所定のパターンに基づいて、前記変形された所定のパターンに応じた形状の領域であって前記仮想空間画像に付加する付加画像を表示させる表示領域を、前記仮想空間画像から抽出し、変換部が、前記表示領域に応じて前記付加画像の形状を前記変形した所定のパターンの形状に対応するように変換し、表示設定部が、前記抽出部により抽出された前記表示領域に、前記変換部により変換された前記付加画像を表示させる画像処理方法である。 Further, an image processing method according to an aspect of the present invention is an image processing method in an image processing system, in which a pattern recognition unit recognizes a predetermined pattern included in a virtual space image, and changes a user's line-of-sight direction. When the virtual space image is deformed according to the A display area having a shape corresponding to a deformed predetermined pattern and displaying an additional image to be added to the virtual space image is extracted from the virtual space image, and the conversion unit extracts the display area according to the display area. The shape of the additional image is converted so as to correspond to the shape of the deformed predetermined pattern , and the display setting unit displays the additional image converted by the conversion unit in the display area extracted by the extraction unit. This is an image processing method that allows
また、本発明の一態様に係る画像処理システムにおける画像処理方法であって、パターン認識部が、表示画像に含まれる所定のパターンを認識し、ユーザの視線方向が変わることに応じて前記表示画像が変形した場合、前記表示画像の変形量に基づき前記所定のパターンを変形し、抽出部が、前記パターン認識部により変形された前記所定のパターンに基づいて、前記変形された所定のパターンに応じた形状の領域であって前記表示画像に付加する付加画像を表示させる表示領域を、前記表示画像から抽出し、表示設定部が、前記抽出部により抽出された前記表示領域に、前記変形した所定のパターンの形状に対応するように変形された前記付加画像を表示させる設定を行う画像処理方法である。 Further, in the image processing method in the image processing system according to one aspect of the present invention , the pattern recognition unit recognizes a predetermined pattern included in the display image, and the display image is detected in response to a change in the line-of-sight direction of the user. is deformed, the predetermined pattern is deformed based on the amount of deformation of the display image, and the extracting unit deforms the predetermined pattern according to the deformed predetermined pattern based on the predetermined pattern deformed by the pattern recognition unit a display area in which an additional image to be added to the display image is displayed is extracted from the display image, and a display setting unit adds the deformed predetermined The image processing method performs setting for displaying the additional image deformed so as to correspond to the shape of the pattern .
本発明によれば、パターン認識により認識された所定のパターンに基づいて、表示画像に付加する付加画像を表示させる表示領域を抽出することで、より少ない処理負荷で、効果的に付加画像のコンテンツを表示させることができる。 According to the present invention, a display area for displaying an additional image to be added to a display image is extracted based on a predetermined pattern recognized by pattern recognition. can be displayed.
以下、本実施の形態について図面を参照しながら説明する。
＜第１の実施形態＞
図１は、第１の実施の形態の画像処理システム１の概要を示す図である。図１に示すように、第１の実施の形態に係る画像処理システム１は、仮想空間画像配信サーバ１０と、付加画像配信サーバ１１と、ユーザ端末装置１２と、三次元画像表示デバイス１３とを含む。仮想空間画像配信サーバ１０、付加画像配信サーバ１１、及びユーザ端末装置１２は、ネットワーク１５を介して接続されている。
Hereinafter, this embodiment will be described with reference to the drawings.
<First Embodiment>
FIG. 1 is a diagram showing an outline of an image processing system 1 according to the first embodiment. As shown in FIG. 1, an image processing system 1 according to the first embodiment includes a virtual space
仮想空間画像配信サーバ１０は、表示画像の一つである仮想空間画像のコンテンツを配信するサーバである。仮想空間画像配信サーバ１０には、仮想空間画像として３６０度全天球の三次元画像が蓄積されている。仮想空間画像配信サーバ１０は、ユーザ端末装置１２からの要求に基づいて、仮想空間画像をユーザ端末装置１２に送信する。表示画像は、複数の静止画が連続して表示することで構成される動画（映像ともいう）である。なお、仮想空間画像配信サーバ１０は、仮想空間画像のコンテンツを配信しているが、配信の対象は、仮想空間画像のコンテンツに限定されるものではなく、表示が可能な表示画像のコンテンツであればよい。例えば、二次元画像のコンテンツであってもよい。
The virtual space
付加画像配信サーバ１１は、主コンテンツに付加する広告画像等の付加コンテンツの画像（付加画像ともいう）を配信するサーバである。付加画像配信サーバ１１には、広告画像等の付加コンテンツの画像が蓄積されている。
The additional
なお、この例では、ネットワーク１５上に１つの仮想空間画像配信サーバ１０及び付加画像配信サーバ１１のみ図示されているが、仮想空間画像配信サーバ１０や付加画像配信サーバ１１は１つである必要はなく、複数に分散した構成としても良い。また、仮想空間画像配信サーバ１０と付加画像配信サーバ１１とは、物理的に同一のサーバ上に構築できる。
In this example, only one virtual space
ユーザ端末装置１２は、ユーザ１４が保有する端末である。ユーザ端末装置１２としては、ＰＣ（Personal Computer）、タブレット端末、スマートフォン、ゲーム端末等が利用できる。また、ユーザ端末装置１２として専用の端末を用意しても良い。ユーザ端末装置１２には、三次元画像表示デバイス１３が接続されている。また、ユーザ端末装置１２には、仮想空間画像のデータから仮想空間画像を再生するためのアプリケーションプログラムがインストールされている。ここでいうユーザ１４が保有するとは、ユーザ１４が用いることができる状態のことをいう。
The
三次元画像表示デバイス１３は、ユーザ１４の左右の眼夫々を対象として、表示画像を相互に独立して表示し、その独立した表示画像の夫々を左右の眼で同時に視ることにより、ユーザに三次元の仮想空間画像を認識可能とする。三次元画像表示デバイス１３としては、ユーザ１４の頭部に装着するような所謂ＨＭＤが用いられる。三次元画像表示デバイス１３には、左右の眼それぞれを対象とした表示部が設けられる。また、三次元画像表示デバイス１３には、ユーザ１４の頭部の動きを検出するセンサや、ユーザ１４の視線を検出するカメラ等の撮像部等が設けられる。
The three-dimensional
なお、三次元画像表示デバイス１３は、ＨＭＤに限定されるものではない。メガネ型の表示デバイスや、裸眼立体ディスプレイ等、他の方式の三次元表示デバイスを用いても良い。また、ユーザ端末装置１２と三次元画像表示デバイス１３との間は、ワイヤで接続しても良いし、又はＢｌｕｅｔｏｏｔｈ（登録商標）等によりワイヤレスで接続しても良い。また、ユーザ端末装置１２と三次元画像表示デバイス１３とを一体的に構成しても良い。また、この例では、１つのユーザ端末装置１２及び三次元画像表示デバイス１３のみが図示されているが、ユーザ端末装置１２及び三次元画像表示デバイス１３は、複数存在しても良い。
Note that the three-dimensional
ネットワーク１５は、例えばインターネットやイントラネットと称されるＩＰ（Internet Protocol）ネットワークである。物理層及びデータリンク層の構成としては、ＬＡＮ（Local Area Network）、無線ＬＡＮ、ＣＡＴＶ（Community Antenna TeleVision）通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が想定される。
The
図２は、第１の実施の形態の仮想空間画像配信サーバ１０及び付加画像配信サーバ１１の概要を示すブロック図である。図２に示すように、仮想空間画像配信サーバ１０及び付加画像配信サーバ１１は、プロセッサ１０１と、メモリ１０２と、データベース１０３と、通信インターフェース１０４とを備えている。
FIG. 2 is a block diagram showing an outline of the virtual space
プロセッサ１０１はＣＰＵ（Central Processing Unit）からなり、プログラムに基づいて、各種の処理を実行する。メモリ１０２は、ＲＯＭ( Read Only Memory)、ＲＡＭ( Random Access Memory )、ストレージデバイス等からなる。データベース１０３は、ＨＤＤ（Hard Disk Drive）等の大容量のストレージデバイスから構成されている。通信インターフェース１０４は、ネットワーク１５を介して、データを送受するためのインターフェースである。
The
なお、仮想空間画像配信サーバ１０と付加画像配信サーバ１１は、その基本的な構成は同様であるが、仮想空間画像配信サーバ１０のデータベース１０３には、主コンテンツとなる仮想空間画像のデータが蓄積されているのに対して、付加画像配信サーバ１１のデータベース１０３には、広告画像等の付加コンテンツの画像が蓄積されている。
Although the virtual space
図３は、第１の実施の形態のユーザ端末装置１２の概要を示すブロック図である。図３に示すように、ユーザ端末装置１２は、プロセッサ２０１と、メモリ２０２と、ストレージデバイス２０３と、通信インターフェース２０４と、入出力インターフェース２０５とを備えている。
FIG. 3 is a block diagram showing an overview of the
プロセッサ２０１はＣＰＵからなり、プログラムに基づいて、各種の処理を実行する。メモリ２０２は、ＲＯＭ、ＲＡＭ等からなり、プログラムに従って各種の処理を実行する。ストレージデバイス２０３は、ＨＤＤ、フラッシュメモリドライブ、光ディスクドライブ等からなり、各種のプログラムやデータを保存する。通信インターフェース２０４は、ネットワーク１５を介して、データを送受するためのインターフェースである。通信インターフェース２０４としては、有線ＬＡＮ（Ethernet（登録商標））、無線ＬＡＮ（IEEE802.11）等が用いられる。また、通信インターフェース２０４は、ＷＣＤＭＡ（登録商標）（Wideband Code Division Multiple Access）やＬＴＥ（Long Term Evolution）等の移動体通信網の規格のものであっても良い。入出力インターフェース２０５は、ユーザ端末装置１２に各種の機器を接続するインターフェースである。入出力インターフェース２０５としては、例えばＵＳＢ（Universal Serial Bus）、ＩＥＥＥ１３９４、及びＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）が用いられる。また、入出力インターフェース２０５としては、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＩｒＤＡ（Infrared Data Association）のようなワイヤレスのインターフェースを用いても良い。入出力インターフェース２０５には、三次元画像表示デバイス１３が接続される。
The
図４は、第１の実施の形態の三次元画像表示デバイス１３の概要を示すブロック図である。図４に示すように、三次元画像表示デバイス１３は、入出力インターフェース３０１と、画像処理部３０２と、表示部であるディスプレイ３０３（３０３ａ及び３０３ｂ）と、プロセッサ３０５と、メモリ３０６と、操作入力部３０７と、撮像部である視線検出カメラ３０８（３０８ａ及び３０８ｂ）と、センサである姿勢センサ３０９とを含む。
FIG. 4 is a block diagram showing an outline of the three-dimensional
入出力インターフェース３０１は、ユーザ端末装置１２と接続されるインターフェースである。入出力インターフェース３０１としては、例えばＵＳＢ、ＩＥＥＥ１３９４、及びＨＤＭＩ等が用いられる。また、入出力インターフェース３０１としては、ＢｌｕｅｔｏｏｔｈやＩｒＤＡのようなワイヤレスのインターフェースを用いても良い。
The input/
画像処理部３０２は、プロセッサ３０５の制御の下に、入出力インターフェース３０１から入力された仮想空間画像のデータから、左眼を対象とした左眼用の表示画像の映像信号と右眼を対象とした右眼用の表示画像の映像信号を生成する。また、画像処理部３０２は、左眼用の表示画像と右眼用の表示画像とのディスプレイ３０３への出力タイミングの同期を図る同期制御を行う。
Under the control of the
ディスプレイ３０３ａ及び３０３ｂは、画像処理部３０２からの左眼用の表示画像の映像信号及び右眼用の表示画像の映像信号に基づいて、それぞれ、左眼用の表示画像及び右眼用の表示画像を映し出す。ディスプレイ３０３ａ及び３０３ｂとしては、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）ディスプレイが用いられる。また、ディスプレイ３０３ａ及び３０３ｂは、画像処理部３０２によって左眼用の画像と右眼用の画像との出力タイミングを同期制御する同期制御信号に基づいて、左右の視界を交互に遮蔽するシャッターを備えている。
The
プロセッサ３０５は、プログラムに基づいて、装置全体の制御を行っている。メモリ３０６は、プログラムに基づいて、各種の処理データの読み出し／書き込みを行う。操作入力部３０７は、各種のボタンからなり、各種の動作設定を行う。なお、操作入力部３０７としては、リモートコントローラを用いても良い。
A
視線検出カメラ３０８ａ及び３０８ｂは、ユーザ１４の視点、もしくは視点及び視線を検出するために、ユーザ１４の左右の眼の画像である眼画像を撮影する。第１の実施の形態は、非接触型の測定方法によるアイトラッキングを行い、ユーザ１４の視点を検出できる視点検出用のカメラを用いている。ここでの非接触型の測定方法は、ユーザ１４の眼に弱い赤外線を当てながら視線検出カメラ３０８でユーザの眼を撮像することにより視点を検出する方法である。なお、第１の実施の形態では、視線検出カメラ３０８が、非接触型の測定方法により、赤外線を用いた撮像を行うことにより視点を検出する場合を例示した。しかしながら、これに限定されるものではなく、視線検出カメラ３０８は、少なくともユーザ１４の視点を検出することができればよく、撮像形態は問わない。また、視線検出カメラ３０８が、接触型など任意の測定方法を採用してもよいし、赤外線が用いられなくてもよい。
The line-of-
姿勢センサ３０９は、ユーザ１４の姿勢を検出するために、ユーザ１４の頭部の動きを検出する。姿勢センサ３０９として、例えば三軸ジャイロセンサ、三軸加速度センサ等が用いられる。なお、本実施形態では、三次元画像表示デバイス１３としてＨＭＤを適用しているため、ユーザ１４の頭部の動きを検出している。しかしながら、これに限定されるものでなく、三次元画像表示デバイス１３は、ユーザ１４の眼の情報（視点情報や視線情報）と傾き情報とを検出できるものであれば、デバイス形態は問わない。
The
次に、第１の実施の形態に係る画像処理システム１の動作の概要について説明する。図５は、第１の実施形態の画像処理システム１の動作の概要を示す説明図である。以下の説明では、主コンテンツとして、コンサートのライブ映像を、表示画像としての仮想空間画像で配信する場合について説明する。なお、主コンテンツを、コンサートのライブ映像としているが、スポーツのライブ映像や、他のエンターテインメントのライブ映像であってもよい。また、主コンテンツとして、録画された録画ライブ映像であってもよい。録画ライブ映像では、録画後に動画編集などをすることが可能である。録画ライブ映像に比べて、ライブ映像は、リアルタイムでの生の映像であるため、アクシデントが起こりやすい。しかしながら、ライブ映像は、宣伝の鮮度が良く広告効果が見込める。第１の実施の形態は、ライブ映像に適した形態である。 Next, an overview of the operation of the image processing system 1 according to the first embodiment will be described. FIG. 5 is an explanatory diagram showing an overview of the operation of the image processing system 1 of the first embodiment. In the following description, a case will be described in which a live video of a concert is distributed as a main content in the form of a virtual space image as a display image. Although the main content is a concert live video, it may be a sports live video or other entertainment live video. Also, the main content may be recorded live video. With recorded live video, it is possible to edit the video after recording. Compared to recorded live video, live video is raw video in real time, so accidents are more likely to occur. However, with live video, the freshness of advertisements is good and advertising effects can be expected. The first embodiment is suitable for live video.
主コンテンツとしてコンサートのライブ映像を仮想空間画像で配信する場合、例えば、３６０度全天球のカメラ４０２を用いてコンサートのライブ映像４０１が撮影され、この実写を基に、ライブ会場の仮想空間画像のコンテンツ画像が生成される。このコンテンツ画像が仮想空間画像配信サーバ１０に保存される。
When distributing a live video of a concert as a virtual space image as the main content, for example, a
ユーザ１４は、三次元画像表示デバイス１３を頭部に装着し、ユーザ端末装置１２により仮想空間画像配信サーバ１０にアクセスする。そして、ユーザ操作を基に、コンサートのライブ映像の要求をユーザ端末装置１２から仮想空間画像配信サーバ１０に送信する。仮想空間画像配信サーバ１０は、コンサートのライブ映像の要求を受信すると、仮想空間画像配信サーバ１０から、コンサートの３６０度全天球のライブ映像の仮想空間画像を読み出す。
The
ユーザ端末装置１２は、受信した主コンテンツの三次元画像４０３を再生し、三次元画像表示デバイス１３に送る。三次元画像表示デバイス１３は、ユーザ１４の視野（視野領域）に応じて、コンサートのライブ映像の三次元画像４０３を表示する。ここで、ユーザ１４が頭部を動かしたり、視線を動かしたりして、視野角を変化させると、三次元画像表示デバイス１３に表示される三次元画像４０３が視野に応じて変化する。これにより、ユーザ１４は、恰もコンサート会場でライブ映像を見ているような感覚でライブ映像を楽しむことができる。ここでいう視野角は、中心視領域と周辺視領域とから構成される視野領域のことを意味する（以下、同様）。
The
また、ユーザ１４は、三次元画像表示デバイス１３により主コンテンツの画像（三次元画像４０３）を見ることで、ライブ映像を楽しんでいる。ここで、画像処理システム１を用いたライブ鑑賞は、直にライブを鑑賞しに行くのに比べて、次に示すメリットがある。
Also, the
例えば、図５に示すように、映像アングルを変えることで、複数の鑑賞位置から、ライブを鑑賞することができ、手軽に好きな撮影アングルからのライブ鑑賞が可能となる。特に、実際にライブに行っても、現場では見ることができない、観客席や観客エリアが存在しない例えば上空からのライブ鑑賞などができる。図５に示す例では、１つの主コンテンツに対して、４つの異なる鑑賞位置から撮影した撮影アングルの画像４０４ａ、４０４ｂ、４０４ｃ、４０４ｄとする。このように、１つの主コンテンツを予め設定した視聴条件に基づき、主コンテンツに対して複数の異なる画像を提供する。
For example, as shown in FIG. 5, by changing the video angle, the live performance can be viewed from a plurality of viewing positions, making it possible to easily view the live performance from any shooting angle. In particular, even if you actually go to a live performance, you can watch the live performance from the sky, for example, where there are no spectator seats or spectator areas, which you cannot see on site. In the example shown in FIG. 5,
第１の実施の形態では、主コンテンツに対して複数の異なる画像のことを、それぞれ視聴ルームと定義し、図５では、４つの異なる撮影アングルの主コンテンツの画像４０４ａ、４０４ｂ、４０４ｃ、４０４ｄを、視聴ルーム４０４ａ、４０４ｂ、４０４ｃ、４０４ｄとする。なお、ここでは、視聴条件として、異なる撮影アングルを条件としているが、これに限定されるものではなく、ルーム属性情報（下記参照）やユーザ属性情報（下記参照）等に基づく付加価値を視聴条件としてもよい。
In the first embodiment, a plurality of different images for the main content are defined as viewing rooms, and in FIG. ,
例えば、コンサートのライブ映像では、撮影アングルの異なるライブ映像の視聴ルーム４０４ａ、４０４ｂ、４０４ｃ、４０４ｄに限定されずに、スタンダードルーム、スポンサードルーム、デコレートルーム、ファンルーム等、同一対象のライブ映像（主コンテンツの三次元画像４０３）で視点や装飾を変えた幾つかの視聴ルーム４０４ａ、４０４ｂ、４０４ｃ、４０４ｄが用意（設定）されてもよい。この場合、ユーザ１４は、視聴時の選択、ルーム属性情報、各自の嗜好に応じたユーザ属性情報等に応じて、視聴ルーム４０４ａ、４０４ｂ、４０４ｃ、４０４ｄを切り替えることができる。また、ユーザ１４が制作したユーザ１４の視聴ルームで視聴することもできる。ユーザ属性情報は、ユーザ１４が予め設定登録したユーザ１４の嗜好情報のことをいう。ユーザ属性情報は、予め設定した複数のユーザ１４に関する属性の属性項目の情報である。ユーザ属性情報は、属性項目に対してユーザ１４が自ら個別入力した情報であってもよい。ユーザ属性情報は、ユーザ自身がユーザ端末装置２を用いて入力し、入力したユーザ１４の行動（入力情報）を、仮想空間画像配信サーバ１０、付加画像配信サーバ１１、ユーザ端末装置２、三次元画像表示デバイス１３の少なくとも１つに記録し、記録したユーザ１４の入力情報に基づいて機械学習を行い、その結果、最適とされるユーザ行動情報であってもよい。例えば、ユーザ属性情報として、年齢、性別、出身地、現在住所などの個人情報がある。また、ユーザ属性情報として、好きなアーティスト、好きな音楽のジャンル、ライブへの視聴回数、実際のライブへの参加回数、ファン歴、会員登録しているアーティスト名などの音楽に関する音楽情報がある。また、ユーザ属性情報として、アウトドアの趣味、インドアの趣味、グルメの趣味、ファッションの趣味など、個人嗜好に関する嗜好情報がある。
For example, live video of a concert is not limited to live
また、主コンテンツの画像５０１（図６参照）には、広告画像のような付加コンテンツの画像を挿入できる。図６は、第１の実施の形態の画像処理システム１における付加コンテンツを挿入する処理の概要を示す説明図である。前述したように、付加画像配信サーバ１１には、広告画像等の付加コンテンツの画像５１１（５１１ａ、５１１ｂ）が蓄積されている。付加コンテンツの表示領域枠５０２（５０２ａ、５０２ｂ）は、主コンテンツの画像５０１の特徴の抽出により設定される。そして、付加画像配信サーバ１１は、付加コンテンツの画像５１１をユーザ端末装置１２に配信する。これにより、図６に示すように、主コンテンツの画像５０１に、広告画像等の付加コンテンツの画像５１１ａ及び５１１ｂが付加される。
Also, an additional content image such as an advertisement image can be inserted into the main content image 501 (see FIG. 6). FIG. 6 is an explanatory diagram showing an outline of processing for inserting additional content in the image processing system 1 according to the first embodiment. As described above, the additional
このように、第１の実施の形態に係る画像処理システム１では、広告画像や、仮想空間画像のコンテンツを強調させる画像等を付加コンテンツの画像５１１ａ及び５１１ｂとして主コンテンツの画像５０１上に付加して表示できる。主コンテンツの画像５０１に対してこのような付加コンテンツの画像５１１ａ及び５１１ｂを付加することで、ユーザ１４に多様な情報を提供することができ、また、収益の増大を図ることができる。
As described above, in the image processing system 1 according to the first embodiment, the advertisement image, the image for emphasizing the content of the virtual space image, and the like are added to the
次に、第１の実施の形態に係る画像処理システム１における付加コンテンツの挿入について詳述する。付加コンテンツの画像５１１は、主コンテンツに対して自然に合致するようにするとともに、ユーザ１４の注目度が高く、広告効果が高い場所に付加することが望まれる。また、仮想空間画像では、ユーザ１４の視野角は、動的に変化する。このため、ユーザ１４の視野角によって、最適な付加コンテンツの位置や形状は変化する。そこで、第１の実施の形態では、付加コンテンツの領域を以下のような事項に基づいて決定している。なお、以下の事項では数字（１）～（４）を付けて説明しているが、付加コンテンツの領域の決定の説明をし易くするために列挙しているだけである。
Next, insertion of additional content in the image processing system 1 according to the first embodiment will be described in detail. The
（１）表示中の表示画像に含まれる３６０度全天球空間内にある所望のパターンをパターン認識し、このパターン認識に基づいて、付加コンテンツの表示領域枠５０２を設定する。
（２）認識したパターンに対して、視線方向に応じて射影変換マトリクスを計算し、付加コンテンツの表示領域枠５０２の形状を変換する。
（３）変換した表示領域枠がユーザ１４にとって見にくい表示となる場合には、付加コンテンツを表示しない。
（４）ユーザ１４の視線滞留時間を判定し、ユーザ１４の視線滞留時間が一定時間以上の場合のみ、付加コンテンツを表示する。
(1) A desired pattern in the 360-degree omnidirectional space included in the display image being displayed is pattern-recognized, and the
(2) For the recognized pattern, a projective transformation matrix is calculated according to the line-of-sight direction, and the shape of the additional content
(3) If the converted display area frame is difficult for the
(4) The
以下、（１）～（４）に示した事項について説明する。まず、事項（１）のパターン認識による付加コンテンツの領域設定について説明する。図７～図１１は、第１の実施の形態における付加コンテンツの領域設定の説明図である。図７～図１１において、破線Ｘは、主コンテンツの映像の３６０度全天球を示している。 The items shown in (1) to (4) will be described below. First, area setting of additional content by pattern recognition of item (1) will be described. 7 to 11 are explanatory diagrams of area setting for additional content according to the first embodiment. 7 to 11, the broken line X indicates the 360-degree omnidirectional sphere of the video of the main content.
図７は、ユーザ１４が正面を向いているときの画像を示している。ユーザ１４が正面を向いているときには、図７に示すように、主コンテンツの画像５０１が映し出される。この場合、画像処理システム１によれば、主コンテンツの画像５０１の中で例えば長方形のパターンをパターン認識し、認識されたパターンの部分に付加コンテンツの表示領域枠５０２ａ及び５０２ｂを設定すると、自然な感覚で主コンテンツに付加コンテンツの画像５１１ａ及び５１１ｂを挿入できる。
FIG. 7 shows the image when the
つまり、広告画像のような付加コンテンツの形状は、長方形であることが多い。このことから、画像処理システム１によれば、主コンテンツの画像５０１の中で長方形の形状をパターン認識し、この長方形の形状の部分に長方形の形状の付加コンテンツの画像５１１を挿入すれば、自然な感覚で付加コンテンツを挿入できる。同様に、付加コンテンツの形状が円形なら、主コンテンツの画像５０１の中で円形の形状をパターン認識し、この円形の形状の部分に円形の形状の付加コンテンツの画像５１１を挿入すれば、自然な感覚で付加コンテンツを挿入できる。また、付加コンテンツの全体の色が赤色なら、主コンテンツの画像５０１の中で、赤色の部分をパターン認識し、この赤色の部分に赤色の付加コンテンツの画像５１１を挿入すれば、自然な感覚で付加コンテンツを挿入できる。更に、特定の目印（マーク）をパターン認識しても良い。また、予め学習したパターンでも良い。このように、主コンテンツの画像５０１中の所望のパターンをパターン認識し、このパターン認識に基づいて、付加コンテンツの表示領域枠５０２を設定すれば、主コンテンツの画像５０１に溶け込んだ自然な感覚で付加コンテンツを挿入できる。
In other words, the shape of additional content such as advertisement images is often rectangular. Therefore, according to the image processing system 1, if the rectangular shape is pattern-recognized in the
なお、従来技術のような物体認識システムのみによって物体を特定する場合、特定しようとする物体の種類が多いと、全ての物体ごとの特徴量を予め取得しておく必要があり、物体認識の処理に負荷がかかる。また撮像対象の特徴量を全ての種類の物体の特徴量と比較する処理負荷がかかる。この例では、例えば長方形のように、特定の特徴量のみでパターン認識が行える。このため、より少ない処理負荷で、パターン認識が行える。 When an object is specified only by an object recognition system like the conventional technology, if there are many types of objects to be specified, it is necessary to acquire the feature amount for each object in advance, and the object recognition process is loaded. In addition, a processing load is required to compare the feature amount of the object to be imaged with the feature amounts of all types of objects. In this example, pattern recognition can be performed using only specific feature amounts, such as rectangles. Therefore, pattern recognition can be performed with less processing load.
次に、事項（２）について説明する。前述の図７では、主コンテンツの画像５０１は、ユーザ１４の視線が正面にあるときの仮想空間画像である。つまり、主コンテンツの画像５０１は、ユーザ１４が、仮想で主コンテンツの画像５０１に対して向かって正面に居る状態で、主コンテンツの画像５０１を視たときの仮想空間画像である。このため、主コンテンツ５０１の画像においてパターン認識した長方形の形状は、そのまま長方形の形状となる。つまり、主コンテンツ５０１の画像は視覚的な効果が生じずにパターン認識した長方形の形状のままである。このことから、画像処理システム１は、図７に示したように、主コンテンツ５０１以外の長方形の形状のパターンを認識し、認識されたパターンの部分に、付加コンテンツの表示領域枠５０２ａ及び５０２ｂを設定している。
Next, matter (2) will be described. In FIG. 7 described above, the
これに対して、図８の例では、主コンテンツの画像５０１は、ユーザが、仮想で主コンテンツの画像５０１に対して向かって正面右側に居る状態で、主コンテンツの画像５０１を視たときの仮想空間画像である。ユーザ１４は、仮想で主コンテンツの画像５０１に対して向かって正面右側に居る状態であるので、主コンテンツの画像５０１は、ユーザ１４が、視線を主コンテンツの画像５０１に向くように左側に動かした状態の画像となる。図８に示すように、遠近法に基づき、ユーザ１４の視点を軸にして対象物までの距離が近いところが大きく、対象物までの距離が多いところが小さくなるように視野が成形される。図８に示す主コンテンツの画像５０１では、主コンテンツの画像５０１の図面右側端縁が最大に視え、図面左側端縁が最小に視える台形の形状となる。つまり、仮想でユーザ１４の視点が、図７に示す視点から、図８に示す視点に変わることで、主コンテンツの画像５０１は、長方形の形状から台形の形状に変わる。このようにユーザ１４の視点が変化し、ユーザ１４の視線が動くと、図８に示すように、主コンテンツの画像５０１は、視覚的な効果から、長方形の形状は台形の形状に変化する。このことから、画像処理システム１は、主コンテンツの画像５０１を画像のパターン認識の基準とし、図８に示す表示画像では、主コンテンツの画像５０１の画像の形状に基づいて、パターン認識する形状を台形とする。そこで、付加コンテンツの表示領域枠５０２ａ及び５０２ｂを視線方向に応じて長方形の形状から台形の形状に変換する必要がある。付加コンテンツの表示領域枠５０２ａ及び５０２ｂの形状変換は、射影変換マトリクス（ホモグラフィ）を計算することで達成できる。図９は射影変換の説明図である。射影変換では、図９に示すように、長方形の形状を他の方向から見たときの形状に変換できる。このように、第１の実施の形態では、認識したパターンに対して、視線方向に応じて射影変換マトリクスを計算し、付加コンテンツの形状を設定している。
On the other hand, in the example of FIG. 8, the
なお、第１の実施の形態では付加コンテンツを、表示領域枠５０２ｂの形状に変換する場合、付加コンテンツの内容に応じた変換をおこなってもよい。具体的には、付加コンテンツの輪郭の形状を変換する場合に、付加コンテンツにおいて視認され易い箇所（例えば、長方形）の縦横比率を所定閾値以上に変更しないようにしてもよい。視認され易い箇所の縦横比率が大きく変化すると、視認するユーザ１４に違和感を想起させてしまう可能性があるためである。
In addition, in the first embodiment, when the additional content is converted into the shape of the
次に、事項（３）について説明する。図７の例では、主コンテンツの映像の３６０度全天球の仮想空間画像から、長方形のパターンを認識して付加コンテンツの表示領域枠５０２ａ及び５０２ｂを設定している。しかしながら、ユーザ１４の後ろ側の画像のように、ユーザ１４にとって死角となる位置では、付加コンテンツを表示しても、ユーザ１４は視認できない。また、図８に示したように、認識したパターンに対して、視線方向に応じて射影変換マトリクスを計算し、付加コンテンツの形状を変換すると、付加コンテンツの領域がユーザ１４にとって見にくい表示となる場合がある。このことから、第１の実施の形態では、ユーザ１４にとって見にくい表示となる場合には、図９に示すように、付加コンテンツを表示しないようにする。図９に示す形態の場合、付加コンテンツの表示領域枠５０２aが非表示もしくは別の予め設定した予備コンテンツが表示される。予備コンテンツの画像は、ユーザ１４が、主コンテンツの画像５０１や表示領域枠５０２ｂに表示された付加コンテンツの画像５１１ｂに没頭するような背景的な画像である。付加コンテンツの表示の有無のより具体的な条件は、図１０を参照して、付加コンテンツの表示領域枠５０２を射影マトリクスにより変換し、この変換した付加コンテンツの表示領域枠５０２の面積が所定の閾値以上なら付加コンテンツの画像５１１の表示を行い、付加コンテンツの表示領域枠５０２の面積が所定の閾値未満なら付加コンテンツの画像５１１の表示は行わない。更に、変換した付加コンテンツの表示領域枠５０２の形状の縦横比率、表示領域枠５０２が多角形の場合に、その内角の大きさ等を条件として、ユーザ１４にとって見にくい表示となるか否かを判定しても良い。図８，図９では、付加コンテンツの表示領域枠５０２ａ及び５０２ｂの形状を射影変換マトリクスを計算して変換した結果、付加コンテンツの表示領域枠５０２ａの面積が小さくなり、ユーザ１４にとって見にくい表示となっている。このため、図９に示す形態では、付加コンテンツの表示領域枠５０２ａには付加コンテンツを表示しないようにしている。
Next, matter (3) will be described. In the example of FIG. 7, the
次に、事項（４）について説明する。図７に示すように、主コンテンツの画像５０１が映し出されているとき、ユーザ１４の視線が一定であるとは限らない。ここで、ユーザ１４が頻繁に目線を向けている部分の表示は広告効果は高いが、ユーザ１４が殆ど目線を移動させない部分の表示では、広告効果は期待できない。そこで、第１の実施の形態では、ユーザ１４の視線滞留時間を判定し、ユーザの視線滞留時間が一定時間以上の場合のみ、付加コンテンツを表示している。例えば、ユーザ１４の視線滞留時間は付加コンテンツの表示領域枠５０２ａに対しては一定時間以上長くなっているが、付加コンテンツの表示領域枠５０２ｂに対しては一定時間未満であると判定した際、図１１に示すように、付加コンテンツの表示領域枠５０２ｂには、付加コンテンツを表示しないようにしている。
Next, matter (4) will be described. As shown in FIG. 7, when the
また、第１の実施の形態では、各視聴ルームに応じて、付加コンテンツの内容が異なるようにしている。図１２は、各視聴ルームＡ，Ｂ，Ｃに付加される付加コンテンツの画像５１１を示している。図１２では、視聴ルームＡ、視聴ルームＢ、視聴ルームＣの３つの視聴ルームの画像が示されている。視聴ルームＡの付加コンテンツの画像５２１ａ及び５２１ｂ、視聴ルームＢの付加コンテンツの画像５２２ａ及び５２２ｂ、視聴ルームＣの付加コンテンツの画像５２３ａ及び５２３ｂとしては、各視聴ルームＡ，Ｂ，Ｃの属性情報（以下、ルーム属性情報とする）に基づいて互いに内容の異なる付加コンテンツの画像（５２１ａ及び５２１ｂ、５２２ａ及び５２２ｂ、５２３ａ及び５２３ｂ）が付加されている。なお、各視聴ルームＡ，Ｂ，Ｃに付加した付加コンテンツの画像（５２１ａ及び５２１ｂ、５２２ａ及び５２２ｂ、５２３ａ及び５２３ｂ）は、コンテンツが重複してもよい。ユーザ１４は、複数の視聴ルームＡ，Ｂ，Ｃの中から、所望の視聴ルームＡ，Ｂ，Ｃの画像を見ることができる。
Also, in the first embodiment, the content of the additional content is different depending on each viewing room. FIG. 12 shows an
視聴ルームＡ，Ｂ，Ｃのルーム属性情報は、予め設定した複数の視聴に関する属性（属性項目）の情報である。ルーム属性情報は、各視聴ルームＡ，Ｂ，Ｃの趣向に合わせて予め設定した設定情報であってもよい。または、ルーム属性情報は、属性項目に対してユーザ１４が自ら個別入力した情報であってもよい。ルーム属性情報がユーザ１４が自ら個別入力した情報である場合、ユーザ１４自身がユーザ端末装置２を用いて入力し、入力した入力情報を、仮想空間画像配信サーバ１０、付加画像配信サーバ１１、ユーザ端末装置２、三次元画像表示デバイス１３の少なくとも１つに記録し、記録したユーザ１４の入力情報に基づいて機械学習を行った結果、最適とされるユーザ行動情報であってもよい。
The room attribute information of the viewing rooms A, B, and C is information of preset attributes (attribute items) related to viewing. The room attribute information may be setting information preset according to the preference of each of the viewing rooms A, B, and C. FIG. Alternatively, the room attribute information may be information individually input by the
例えば、視聴ルームＡがスポンサードルーム、視聴ルームＢがデコレートルーム、視聴ルームＣがファンルームなら、視聴ルームＡの付加コンテンツの画像５２１ａ及び５２１ｂはそのスポンサーの製品の広告画像とし、視聴ルームＢの付加コンテンツの画像５２２ａ及び５２２ｂはゴージャスな製品の広告画像とし、視聴ルームＣの付加コンテンツの画像５２３ａ及び５２３ｂはアーティストの関連製品の広告画像とする。これにより、視聴ルームを見ているであろうユーザ１４の嗜好に合わせた製品の広告画像を表示でき、広告効果の向上が期待できる。
For example, if the viewing room A is a sponsored room, the viewing room B is a decorated room, and the viewing room C is a fan room, the
さらに詳説すると、視聴ルームＡの場合、ルーム属性情報は、スポンサードに関するスポンサー属性情報である。視聴ルームＡでは、スポンサー属性情報について、ライブの開催者やスポンサーの意向に基づき、スポンサー属性情報の各情報に対して重み付けを行い、表示する付加コンテンツの画像５２１ａ及び５２１ｂの表示順、表示時間などが設定される。例えば、スポンサー属性情報には、広告対象となる製品やサービスの情報、広告ジャンルの情報、広告内容の情報などの広告に関する広告情報がある。スポンサー属性情報には、広告対象となる製品やサービスの表示順に関する情報、広告対象となる製品やサービスの表示時間に関する情報、スポンサー費用の情報、季節や曜日など表示する時期の情報などの表示出力に関する出力情報がある。スポンサー属性情報には、マーケティングで用いられるターゲット層の情報などの広告マッチングに用いるマッチング情報がある。
More specifically, in the case of viewing room A, the room attribute information is sponsor attribute information regarding sponsorship. In the viewing room A, each item of the sponsor attribute information is weighted based on the intention of the organizer of the live event and the sponsor, and the display order and display time of the
視聴ルームＢの場合、ルーム属性情報は、デコレートに関するデコレート属性情報である。視聴ルームＢでは、デコレート属性情報について、ユーザ属性情報に基づきデコレート属性情報の各情報に対して重み付けを行い、表示する付加コンテンツの画像５２２ａ及び５２２ｂの表示順、表示時間などが設定される。もしくは、デコレート属性情報について、ユーザ１４によって事前にデコレート属性情報の各情報に対して任意の取捨選択による重み付けを行い、表示する付加コンテンツの画像５２２ａ及び５２２ｂの表示順、表示時間などが設定される。例えば、デコレート属性情報には、広告対象となる製品やサービスの情報、広告ジャンルの情報、広告内容の情報などの広告に関する広告情報がある。デコレート属性情報には、マーケティングで用いられるターゲット層の情報などの広告マッチングに用いるマッチング情報がある。
In the case of viewing room B, the room attribute information is decorating attribute information relating to decorating. In the viewing room B, each piece of decorating attribute information is weighted based on the user attribute information, and the display order and display time of the
視聴ルームＣの場合、ルーム属性情報は、ファンに関するファン属性情報である。視聴ルームＣでは、ファン属性情報について、ユーザ属性情報に基づきファン属性情報の各情報に対して重み付けを行い、表示する付加コンテンツの画像５２３ａ及び５２３ｂの表示順、表示時間などが設定される。もしくは、ファン属性情報について、ユーザ１４によって事前にファン属性情報の各情報に対して任意の取捨選択による重み付けを行い、表示する付加コンテンツの画像５２３ａ及び５２３ｂの表示順、表示時間などが設定される。例えば、ファン属性情報には、アーティストの関連製品や関連サービスの情報、アーティストの情報などのアーティストに関するアーティスト情報がある。ファン属性情報には、ライブへの視聴回数、実際のライブへの参加回数、ファン歴、アーティストのファンクラブの有無などのファンに関するファン情報がある。
In the case of the viewing room C, the room attribute information is fan attribute information regarding fans. In the viewing room C, each item of the fan attribute information is weighted based on the user attribute information, and the display order and display time of the
次に、第１の実施の形態に係る画像処理システム１における付加コンテンツの付加について具体的に説明する。 Next, addition of additional content in the image processing system 1 according to the first embodiment will be specifically described.
図１３は、第１の実施の形態の画像処理システム１において付加画像の処理を説明するための機能ブロック図である。図１３に示すように、第１の実施の形態に係る画像処理システム１において付加コンテンツの画像５１１の処理を行うための機能は、コンテンツ制御部１５１とコンテンツデータベース部１５２とで実現できる。コンテンツ制御部１５１の機能は、仮想空間画像配信サーバ１０のサイト、付加画像配信サーバ１１のサイト、或いは専用のサーバのサイトのプログラムやスクリプトで実現できる。また、コンテンツ制御部１５１の機能は、ユーザ端末装置１２のプログラムやスクリプトで実現しても良い。更に、仮想空間画像配信サーバ１０のサイト、付加画像配信サーバ１１のサイト、或いは専用のサーバのサイトのプログラムやスクリプトと、ユーザ端末装置１２のプログラムやスクリプトとを協働させて、コンテンツ制御部１５１の機能を実現しても良い。コンテンツデータベース部１５２は、仮想空間画像配信サーバ１０や付加画像配信サーバ１１により構築されるデータベースである。
FIG. 13 is a functional block diagram for explaining additional image processing in the image processing system 1 of the first embodiment. As shown in FIG. 13, the function for processing the
コンテンツ制御部１５１は、パターン認識部１６１と、抽出部１６２と、変換部１６３と、表示設定部１６４とからなる。
The
パターン認識部１６１は、ディスプレイ３０３に表示中の表示画像（主コンテンツの画像５０１）に含まれる所定のパターンを認識する。ここで、所定のパターンは、予め設定した幾何学に関するパターンであり、例えば、四角や円形などの外周端の形状である。
The
また、パターン認識部１６１は、ユーザ１４の視線方向に基づき主コンテンツの画像５０１が変形した場合、主コンテンツの画像５０１の変形量に基づき所定のパターンを変形する。例えば、所定のパターンが長方形である場合、主コンテンツの画像５０１の変形量に基づき長方形が台形などに変形する。この変形に基づき、変換部１６３が付加コンテンツの画像５１１の形状を変換する。
Further, when the
パターン認識部１６１は、予め設定した数の連続した複数の静止画において、主コンテンツの画像５０１の同一位置に表示される所定のパターン、もしくは主コンテンツの画像５０１の表示位置を変位して表示される所定のパターンを認識する。ここでいう予め設定した数は、例えば、フレームレートを６０ｆｐｓとした場合、１０とする。なお、本実施の形態では、数を１０としているが、これは好適な例であり、これに限定されるものではない。フレームレートに対して所定の数であればよく、最大で１秒以内での認識が可能であればよく、０．１ｓｅｃ以下であることがライブのコンテンツに対しての広告出力に好ましい。
The
パターン認識部１６１は、例えば、いわゆる画像認識により主コンテンツの画像５０１に含まれる幾何学に関する形状を認識する。この場合、パターン認識部１６１は、予め記憶させた形状と、仮想空間画像に含まれる形状とを比較することにより所定のパターンを認識する。具体的には、パターン認識部１６１は、幾何学に関する形状を予め記憶した記憶部（不図示）を参照し、記憶部に記憶された形状と画像に含まれる形状とが一致すると判定した場合に、その形状に対応するものが画像に含まれていると認識する。この場合において、パターン認識部１６１は、記憶部に記憶された形状と画像に含まれる形状とが完全に一致しない場合であっても、記憶部に記憶された形状に示される複数の特徴のうちの所定の割合以上の特徴が、画像に含まれる形状に示される特徴と一致する場合に、記憶部に記憶された形状と画像に含まれる形状とが一致すると判定するようにしてもよい。
The
抽出部１６２は、図６に示すように、パターン認識部１６１により認識された所定のパターンに基づいて、仮想空間画像に付加する付加コンテンツの画像５１１を表示させる表示領域枠５０２を抽出する。
As shown in FIG. 6, the
変換部１６３は、射影変換に基づいて、ユーザ１４の視野角に応じて付加コンテンツの画像５１１の形状を変換する。ここでいう射影変換に関して、射影評価（射影変換の定量的評価）のことをいう。
The
表示設定部１６４は、図６に示すように、抽出部１６２により抽出された表示領域枠５０２に、変換部１６３により変換された付加コンテンツの画像５１１を表示させる設定を行う。表示設定部１６４は、変換部１６３により変換された付加コンテンツの画像５１１の形状が所定の条件を満たすか否かを判定し、所定の条件を満たす場合のみ、変換部１６３により変換された付加コンテンツの画像５１１を表示するように設定する。また、表示設定部１６４は、ユーザ１４にとって見にくい表示となる場合には、付加コンテンツの画像５１１を表示しないように設定する。すなわち、表示設定部１６４は、変換部１６３により変換された付加コンテンツの表示領域枠５０２の面積が所定の閾値以上の場合のみ、変換された付加コンテンツの画像５１１の表示を行うように設定する。つまり、表示設定部１６４は、射影評価に基づいて追加コンテンツの画像５１１の表示を制御する。また、本構成では、変換部１６３により変換された付加コンテンツの画像５１１の表示の有無としているが、これに限定されるものではなく、表示設定部１６４は、射影評価に基づいて濃淡やぼかし処理などの付加コンテンツの画像５１１の表示の変更を行ってよい。
As shown in FIG. 6, the
また、表示設定部１６４は、ユーザ１４の視線が滞留する時間を取得し、取得された時間に基づいて、所定の閾値以上の視線が滞留した場合の視線方向に表示領域枠がある場合、この表示領域枠５０２に付加コンテンツの画像５１１を表示するように設定する。つまり、表示設定部１６４は、ユーザ１４の視線の滞留時間に基づいて追加コンテンツの画像５１１の表示を制御する。また、本構成では、変換部１６３により変換された付加コンテンツの画像５１１の表示の有無としているが、これに限定されるものではなく、表示設定部１６４は、ユーザ１４の視線の滞留時間に基づいて濃淡やぼかし処理などの付加コンテンツの画像５１１の表示の変更を行ってよい。
Further, the
また、表示設定部１６４は、同一の対象で視点を変えた複数の視聴ルームの仮想空間画像に対して、それぞれ独立して付加コンテンツの画像５１１を選択可能とする。表示設定部１６４により、１つの主コンテンツを予め設定した視聴条件に基づき、主コンテンツに対して複数の異なる画像を提供することができる。
In addition, the
図１４は、第１の実施の形態に係る画像処理システム１における付加コンテンツの付加処理を説明するためのフローチャートである。 FIG. 14 is a flowchart for explaining additional content addition processing in the image processing system 1 according to the first embodiment.
（ステップＳ１０１）ユーザ１４が仮想空間画像の視聴を開始すると、ユーザ端末装置１２は、ユーザ１４の頭部の動きを検出するセンサやユーザの視線を検出するカメラの撮影画像から、三次元画像表示デバイス１３を装着しているユーザ１４の姿勢情報を取得する。ここでいう姿勢情報とは、姿勢センサ３０９による傾き情報や、視線検出カメラ３０８による視点情報および視線情報などを含む情報群のことをいう。
(Step S101) When the
（ステップＳ１０２）ユーザ端末装置１２は、表示する主コンテンツの画像を仮想空間画像配信サーバ１０から取得する。そして、ユーザ端末装置１２は、コンテンツ制御部１５１に、表示する主コンテンツの識別と姿勢情報を送信する。
(Step S<b>102 ) The
（ステップＳ１０３）コンテンツ制御部１５１は、ユーザ１４の姿勢情報から視野角を判定し、表示する主コンテンツの識別と、この視野角の情報をコンテンツデータベース部１５２に送る。
(Step S<b>103 ) The
（ステップＳ１０４）コンテンツデータベース部１５２は、ユーザ端末装置１２に表示している主コンテンツの画像５０１のうち、ユーザ１４の視野部分の画像を仮想空間画像配信サーバ１０から取得し、コンテンツ制御部１５１に送る。ここでいう視野部分とは、ステップＳ１０３で判定した視野角の情報に基づく視野領域のことをいう（以下、同様）。
(Step S104) The
（ステップＳ１０５）コンテンツ制御部１５１は、ユーザ１４の視野部分の主コンテンツの画像５０１からパターン認識を行い、付加コンテンツの表示領域枠５０２を設定できるか否かを判定する。付加コンテンツの表示領域枠５０２が設定できれば（ステップＳ１０５：Ｙｅｓ）、処理をステップＳ１０６に進め、表示領域枠５０２が設定できなければ（ステップＳ１０５：Ｎｏ）、処理をステップＳ１０９に進める。
(Step S105) The
（ステップＳ１０６）コンテンツ制御部１５１は、付加コンテンツの表示領域枠５０２に対して射影変換マトリクスを計算し、表示領域枠５０２が見やすい角度にあるか否かを判定する。更に、コンテンツ制御部１５１は、視線滞留時間が十分であるか否かを判定する。表示領域枠５０２が見やすい角度にあり、且つ、視線滞留時間が十分である場合には（ステップＳ１０６：Ｙｅｓ）、処理をステップＳ１０７に進める。表示領域枠５０２が見やすい角度にない又は視線滞留時間が十分でない場合には（ステップＳ１０６：Ｎｏ）、処理をステップＳ１０９に進める。
(Step S106) The
（ステップＳ１０７）コンテンツデータベース部１５２は、主コンテンツに付加すべき付加コンテンツの画像５１１を取得して、この付加コンテンツの画像５１１をコンテンツ制御部１５１に送る。
(Step S<b>107 ) The
（ステップＳ１０８）コンテンツ制御部１５１は、付加コンテンツの画像５１１に対して射影変換マトリクスを計算して、付加コンテンツの画像５１１の視野角の補正を行う。
(Step S<b>108 ) The
（ステップＳ１０９）コンテンツ制御部１５１は、表示画像の調整を行い、視野角補正を行った付加コンテンツの画像５１１をユーザ端末装置１２に送る。
(Step S<b>109 ) The
（ステップＳ１１０）ユーザ端末装置１２は、主コンテンツの画像５０１上に、付加コンテンツの画像５１１を挿入して、三次元画像表示デバイス１３に表示する。なお、本実施の形態では、ユーザ端末装置１２において主コンテンツの画像５０１上に、付加コンテンツの画像５１１を挿入する処理を行っているが、これは好適な例の一つである。そのため、例えば、仮想空間画像配信サーバ１０と付加画像配信サーバ１１との少なくとも一方において（つまり、ネットワーク１５上において）、主コンテンツの画像５０１上に、付加コンテンツの画像５１１を挿入する処理を行ってもよい。または、ユーザ端末装置１２の構成部材を三次元画像表示デバイス１３が含有した形態の場合、三次元画像表示デバイス１３において、主コンテンツの画像５０１上に、付加コンテンツの画像５１１を挿入する処理を行ってもよい。
(Step S<b>110 ) The
以上の処理により、前述の事項（１）から事項（４）に基づいて、付加コンテンツの表示領域枠５０２を設定し、主コンテンツの画像５０１上に付加コンテンツの画像５１１を挿入することができる。
By the above processing, it is possible to set the
第１の実施の形態によれば、表示画像に没入できる付加画像の表示領域枠５０２を抽出することができる。また、第１の実施の形態によれば、ライブなどの事前に記憶していないライブなどの映像（動画）であっても、所定のパターンを認識することができる。その結果、主コンテンツの画像５０１が、ライブ映像である場合、ライブ映像における空き空間を有効活用できる。また、第１の実施の形態によれば、ユーザ１４の視線方向が変わり、表示画像が変形した場合であっても、所定のパターンも表示画像の変形量に基づいて変形させて、表示画像に没入できる所定のパターンを認識することができる。
According to the first embodiment, it is possible to extract the
＜第２の実施の形態＞
次に、第２の実施の形態について説明する。前述の第１の実施の形態では、図１３にフローチャートで示したように、主コンテンツの画像５０１のうち、ユーザ１４の視野部分の画像を取得して、この視野部分の画像から、表示中の表示画像に含まれる所定のパターンを認識して付加コンテンツの表示領域枠５０２を設定している。これに対して、この第２の実施の形態では、予め主コンテンツの画像５０１を処理して、付加コンテンツの表示領域枠５０２を設定している。
<Second Embodiment>
Next, a second embodiment will be described. In the first embodiment described above, as shown in the flow chart of FIG. The
図１５は、第２の実施の形態に係る画像処理システム１における付加コンテンツの付加処理を説明するためのフローチャートである。 FIG. 15 is a flowchart for explaining additional content addition processing in the image processing system 1 according to the second embodiment.
（ステップＳ２０１）コンテンツ制御部１５１は、主コンテンツのプリアノテーションを開始すると、主コンテンツの全天球画像を取得し、主コンテンツの画像５０１をコンテンツデータベース部１５２に送る。
(Step S<b>201 ) When starting the pre-annotation of the main content, the
（ステップＳ２０２）コンテンツデータベース部１５２は、エクイレクタングラー（equirectangular）形式の主コンテンツの画像５０１のデータを抽出し、主コンテンツの全天球画像を仮想空間画像配信サーバ１０に送信する。
(Step S<b>202 ) The
（ステップＳ２０３）：コンテンツ制御部１５１は、全天球画像であるエクイレクタングラー形式の画像からキューブ（cube）投影を行う。
(Step S203): The
（ステップＳ２０４）コンテンツ制御部１５１は、キューブ投影を行った主コンテンツの画像５０１からパターン認識を行い、付加コンテンツの表示領域枠５０２を設定できるか否かを判定する。付加コンテンツの表示領域枠５０２が設定できれば（ステップＳ２０４：Ｙｅｓ）、処理をステップＳ２０５に進め、表示領域枠５０２が設定できなければ（ステップＳ２０４：Ｎｏ）、プリアノテーションを終了する。
(Step S204) The
（ステップＳ２０５）コンテンツデータベース部１５２は、主コンテンツに付加すべき付加コンテンツの画像５１１を取得する。
(Step S205) The
（ステップＳ２０６）コンテンツデータベース部１５２は、該当する画像座標領域にメタデータとして付加コンテンツを格納する。
(Step S206) The
（ステップＳ２０７）ユーザ１４が仮想空間画像の視聴を開始すると、ユーザ端末装置１２は、ユーザ１４の頭部の動きを検出する姿勢センサ３０９やユーザ１４の視線を検出する視線検出カメラ３０８の撮影画像から、三次元画像表示デバイス１３を装着しているユーザ１４の姿勢情報を取得する。
(Step S207) When the
（ステップＳ２０８）ユーザ端末装置１２は、仮想空間画像配信サーバ１０から、表示する主コンテンツの画像５０１を取得する。そして、ユーザ端末装置１２は、コンテンツ制御部１５１に姿勢情報を送信する。
(Step S<b>208 ) The
（ステップＳ２０９）コンテンツ制御部１５１は、ユーザ１４の姿勢情報から視野角を判定する。
(Step S209) The
（ステップＳ２１０）コンテンツ制御部１５１は、メタデータから、ユーザ１４の視野内（視野部分）に付加コンテンツ領域（付加コンテンツの表示領域枠５０２）が入っているか否かを判定する。ユーザ１４の視野内に付加コンテンツ領域が入っている場合には（ステップＳ２１０：Ｙｅｓ）、処理をステップＳ２１０に進める。ユーザ１４の視野内に付加コンテンツ領域が入っていない場合には（ステップＳ２１０：Ｎｏ）、処理をステップＳ２１３に進める。
(Step S210) The
（ステップＳ２１１）コンテンツ制御部１５１は、付加コンテンツの表示領域枠５０２に対して射影変換マトリクスを計算し、表示領域枠５０２が見やすい角度にあるか否かを判定する。更に、コンテンツ制御部１５１は、視線滞留時間が十分であるか否かを判定する。表示領域枠５０２が見やすい角度にあり、且つ、視線滞留時間が十分である場合には（ステップＳ２１１：Ｙｅｓ）、処理をステップＳ２１２に進める。表示領域枠５０２が見やすい角度にない又は視線滞留時間が十分でない場合には（ステップＳ２１１：Ｎｏ）、処理をステップＳ２１３に進める。
(Step S211) The
（ステップＳ２１３）コンテンツ制御部１５１は、表示画像の調整を行い、視野角補正を行った付加コンテンツの画像５１１をユーザ端末装置１２に送る。
(Step S<b>213 ) The
（ステップＳ２１４）ユーザ端末装置１２は、主コンテンツの画像５０１上に、付加コンテンツの画像５１１を挿入して、三次元画像表示デバイス１３に表示する。
(Step S<b>214 ) The
第２の実施の形態では、事前に、エクイレクタングラー形式の画像からキューブ投影を行って、パターン認識しているため、パターン認識率が向上し、高精度にパターン認識を行うことができる。 In the second embodiment, since pattern recognition is performed by performing cube projection from an equirectangular image in advance, the pattern recognition rate is improved and pattern recognition can be performed with high accuracy.
上述した第１の実施の形態と第２の実施の形態では、主コンテンツの画像５０１の主コンテンツ（例えば、コンサートのライブ映像）が描画された箇所とは異なる箇所を付加コンテンツの表示領域枠５０２として抽出する場合を例示して説明したが、これに限定されることはない。第１の実施の形態と第２の実施の形態の画像処理システム１では、主コンテンツの画像５０１における主コンテンツの領域において特定のパターンを認識するようにしてもよい。また、上述した第１の実施の形態と第２の実施の形態では、表示画像として仮想空間画像を適用しているが、これに限定されるものではなく、仮想の画像だけではなく、現在位置において、画像表示デバイスが、図示しない撮像部を通して表示させた画像や、他の通信インターフェースを介して受信した画像であってもよい。また、表示画像に関して、三次元画像に限定されるものではなく、二次元画像であってもよい。
In the above-described first and second embodiments, a portion of the
上述した第１の実施の形態と第２の実施の形態における画像処理システム１の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。 All or part of the image processing system 1 in the above-described first and second embodiments may be realized by a computer. In that case, a program for realizing this function may be recorded in a computer-readable recording medium, and the program recorded in this recording medium may be read into a computer system and executed. It should be noted that the "computer system" referred to here includes hardware such as an OS and peripheral devices. The term "computer-readable recording medium" refers to portable media such as flexible discs, magneto-optical discs, ROMs and CD-ROMs, and storage devices such as hard discs incorporated in computer systems. Furthermore, "computer-readable recording medium" means a medium that dynamically retains a program for a short period of time, like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. It may also include something that holds the program for a certain period of time, such as a volatile memory inside a computer system that serves as a server or client in that case. Further, the program may be for realizing a part of the functions described above, or may be capable of realizing the functions described above in combination with a program already recorded in the computer system. It may be implemented using a programmable logic device such as FPGA.
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。 Some or all of the above-described embodiments can also be described in the following supplementary remarks, but are not limited to the following.
（付記１）仮想空間画像に含まれる所定のパターンを認識するパターン認識部と、
前記パターン認識部により認識された前記所定のパターンに基づいて、前記仮想空間画像に付加する付加画像を表示させる表示領域を、前記仮想空間画像から抽出する抽出部と、前記表示領域に応じて前記付加画像を変換する変換部と、前記抽出部により抽出された前記表示領域に、前記変換部により変換された前記付加画像を表示させる表示設定部と、を備えることを特徴とする画像処理システム。
(Appendix 1) A pattern recognition unit that recognizes a predetermined pattern included in a virtual space image;
an extraction unit for extracting from the virtual space image a display area for displaying an additional image to be added to the virtual space image based on the predetermined pattern recognized by the pattern recognition unit; An image processing system comprising: a conversion unit that converts an additional image; and a display setting unit that displays the additional image converted by the conversion unit in the display area extracted by the extraction unit.
（付記２）前記パターン認識部は、予め記憶させた形状と、仮想空間画像に含まれる形状とを比較することにより前記所定のパターンを認識する付記１に記載の画像処理システム。 (Supplementary note 2) The image processing system according to Supplementary note 1, wherein the pattern recognition unit recognizes the predetermined pattern by comparing a shape stored in advance with a shape included in the virtual space image.
（付記３）前記パターン認識部は、前記仮想空間画像に含まれる人物の顔、又は前記仮想空間画像に含まれる物体の形状のうち少なくともいずれかを認識する付記１又は付記２に記載の画像処理システム。 (Supplementary note 3) The image processing according to Supplementary note 1 or Supplementary note 2, wherein the pattern recognition unit recognizes at least one of a person's face included in the virtual space image and a shape of an object included in the virtual space image. system.
（付記４）前記変換部は、射影変換マトリクスに基づいて、前記付加画像を変換する付記１に記載の画像処理システム。 (Appendix 4) The image processing system according to Appendix 1, wherein the conversion unit converts the additional image based on a projective transformation matrix.
（付記５）前記パターン認識部は、前記仮想空間画像のうち、ユーザの視点位置からユーザの視線方向にある所定の視野角の範囲にある画像に含まれる所定のパターンを認識する付記１に記載の画像処理システム。 (Supplementary Note 5) According to Supplementary note 1, the pattern recognition unit recognizes a predetermined pattern included in an image within a predetermined viewing angle range from the user's viewpoint position to the user's line-of-sight direction in the virtual space image. image processing system.
（付記６）前記パターン認識部は、全天球画像の仮想空間画像をキューブ画像に変換した画像に含まれる所定のパターンを認識する付記１に記載の画像処理システム。 (Supplementary note 6) The image processing system according to Supplementary note 1, wherein the pattern recognition unit recognizes a predetermined pattern included in an image obtained by converting a virtual space image of an omnidirectional image into a cube image.
（付記７）前記表示設定部は、前記変換部により変換された前記付加画像の形状が所定の条件を満たすか否かを判定し、前記所定の条件を満たす場合に、前記表示領域に前記変換部により変換された前記付加画像を表示させる付記１から付記４のいずれか一項に記載の画像処理システム。 (Additional Note 7) The display setting unit determines whether or not the shape of the additional image converted by the conversion unit satisfies a predetermined condition, and if the predetermined condition is satisfied, the display area is converted into the display area. 5. The image processing system according to any one of appendices 1 to 4, wherein the additional image converted by the unit is displayed.
（付記８）前記所定の条件は、変換された前記付加画像の面積が所定の閾値以上である付記７に記載の画像処理システム。 (Supplementary Note 8) The image processing system according to Supplementary Note 7, wherein the predetermined condition is that the area of the converted additional image is equal to or greater than a predetermined threshold.
（付記９）前記表示設定部は、前記抽出部により抽出された前記表示領域へのユーザの視線の滞留時間を取得し、前記ユーザの視線の滞留時間が所定の閾値以上か否かを判定し、前記ユーザの視線の滞留時間が所定の閾値以上となる場合に、前記表示領域に前記変換部により変換された前記付加画像を表示させる付記１に記載の画像処理システム。 (Supplementary Note 9) The display setting unit acquires a dwell time of the user's line of sight in the display area extracted by the extraction unit, and determines whether the dwell time of the user's line of sight is equal to or greater than a predetermined threshold. 2. The image processing system according to claim 1, wherein the additional image converted by the conversion unit is displayed in the display area when the user's gaze retention time is equal to or greater than a predetermined threshold.
（付記１０）前記表示設定部は、同一の対象で視点や装飾を変えた複数の仮想空間画像に対して、それぞれ独立して付加画像を選択可能とする付記１から付記９の何れか一項に記載の画像処理システム。 (Supplementary Note 10) Any one of Supplementary Note 1 to Supplementary Note 9, wherein the display setting unit is capable of independently selecting an additional image for each of a plurality of virtual space images of the same object with different viewpoints and decorations. The image processing system described in .
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 Although the embodiment of the present invention has been described in detail with reference to the drawings, the specific configuration is not limited to this embodiment, and design and the like are included within the scope of the gist of the present invention.
１：画像処理システム、１０：仮想空間画像配信サーバ、１１：付加画像配信サーバ、１２：ユーザ端末装置、１３：三次元画像表示デバイス、１６１：パターン認識部、１６２：抽出部、１６３：変換部、１６４：表示設定部。 1: Image processing system 10: Virtual space image distribution server 11: Additional image distribution server 12: User terminal device 13: Three-dimensional image display device 161: Pattern recognition unit 162: Extraction unit 163: Conversion unit , 164: a display setting unit;
Claims (11)
前記パターン認識部により変形された前記所定のパターンに基づいて、前記変形された所定のパターンに応じた形状の領域であって前記仮想空間画像に付加する付加画像を表示させる表示領域を、前記仮想空間画像から抽出する抽出部と、
前記表示領域に応じて前記付加画像の形状を前記変形した所定のパターンの形状に対応するように変換する変換部と、
前記抽出部により抽出された前記表示領域に、前記変換部により変換された前記付加画像を表示させる表示設定部と、
を備えることを特徴とする画像処理システム。 A pattern recognition unit that recognizes a predetermined pattern included in a virtual space image, and when the virtual space image is deformed in response to a change in the line-of-sight direction of a user, the predetermined pattern is determined based on the amount of deformation of the virtual space image. a pattern recognition unit that transforms the
Based on the predetermined pattern deformed by the pattern recognition unit, a display region having a shape corresponding to the deformed predetermined pattern and in which an additional image to be added to the virtual space image is displayed is the virtual space image. an extraction unit that extracts from the spatial image;
a conversion unit that converts the shape of the additional image so as to correspond to the shape of the deformed predetermined pattern according to the display area;
a display setting unit configured to display the additional image converted by the conversion unit in the display area extracted by the extraction unit;
An image processing system comprising:
前記パターン認識部により変形された前記所定のパターンに基づいて、前記変形された所定のパターンに応じた形状の領域であって前記表示画像に付加する付加画像を表示させる表示領域を、前記表示画像から抽出する抽出部と、
前記抽出部により抽出された前記表示領域に、前記変形した所定のパターンの形状に対応するように変形された前記付加画像を表示させる設定を行う表示設定部と、
を備えることを特徴とする画像処理システム。 A pattern recognition unit that recognizes a predetermined pattern included in a display image, and transforms the predetermined pattern based on the amount of deformation of the display image when the display image is deformed according to a change in the line-of-sight direction of the user. a pattern recognition unit;
Based on the predetermined pattern deformed by the pattern recognition unit, a display area having a shape corresponding to the predetermined pattern that is deformed and in which an additional image to be added to the display image is displayed is selected from the display image. an extractor that extracts from
a display setting unit configured to display the additional image deformed so as to correspond to the shape of the predetermined deformed pattern in the display area extracted by the extracting unit;
An image processing system comprising:
請求項２に記載の画像処理システム。 3. The image processing system according to claim 2, wherein the pattern recognition section recognizes the predetermined pattern included in the display image being displayed.
前記パターン認識部は、予め設定した数の連続して表示する複数の前記静止画において、前記表示画像の同一位置に表示する前記所定のパターン、もしくは前記表示画像の表示位置を変位して表示する前記所定のパターンを認識する
請求項２または請求項３に記載の画像処理システム。 The display image is a moving image configured by continuously displaying a plurality of still images,
The pattern recognition unit displays the predetermined pattern displayed at the same position of the display image, or displaces the display position of the display image, among the plurality of still images that are displayed in a preset number. 4. The image processing system according to claim 2, wherein said predetermined pattern is recognized.
請求項２から請求項４の何れか一項に記載の画像処理システム。 5. The image processing system according to any one of claims 2 to 4 , further comprising a conversion section that transforms the shape of the additional image based on the predetermined pattern recognized by the pattern recognition section.
請求項２から請求項５の何れか一項に記載の画像処理システム。 The display setting unit determines whether or not the shape of the additional image satisfies a predetermined condition, and performs setting to display the additional image in the display area when the predetermined condition is satisfied. 6. The image processing system according to claim 5 .
前記表示設定部は、前記付加画像の面積が所定の閾値以上である場合に前記所定の条件を満たすと判定し、前記表示領域に前記付加画像を表示させる
請求項６に記載の画像処理システム。 The predetermined condition is that the area of the additional image is equal to or greater than a predetermined threshold;
The display setting unit determines that the predetermined condition is satisfied when the area of the additional image is equal to or greater than a predetermined threshold value, and displays the additional image in the display area.
The image processing system according to claim 6 .
請求項２から請求項７の何れか一項に記載の画像処理システム。 The display setting unit obtains a dwell time of the user's line of sight in the display area extracted by the extracting unit, determines whether the dwell time of the user's line of sight is equal to or greater than a predetermined threshold, 8. The image processing system according to any one of claims 2 to 7 , wherein a setting is made to display the additional image in the display area when a line-of-sight retention time is equal to or greater than a predetermined threshold.
請求項２から請求項８の何れか一項に記載の画像処理システム。 9. The display setting unit according to any one of claims 2 to 8 , wherein an additional image can be independently selected for each of a plurality of virtual space images of the same object with different viewpoints and decorations. image processing system.
パターン認識部が、仮想空間画像に含まれる所定のパターンを認識し、ユーザの視線方向が変わることに応じて前記仮想空間画像が変形した場合、前記仮想空間画像の変形量に基づき前記所定のパターンを変形し、
抽出部が、前記パターン認識部により変形された前記所定のパターンに基づいて、前記変形された所定のパターンに応じた形状の領域であって前記仮想空間画像に付加する付加画像を表示させる表示領域を、前記仮想空間画像から抽出し、
変換部が、前記表示領域に応じて前記付加画像の形状を前記変形した所定のパターンの形状に対応するように変換し、
表示設定部が、前記抽出部により抽出された前記表示領域に、前記変換部により変換された前記付加画像を表示させる
画像処理方法。 An image processing method in an image processing system,
A pattern recognition unit recognizes a predetermined pattern included in a virtual space image, and when the virtual space image is deformed in response to a change in the line-of-sight direction of the user, the predetermined pattern is determined based on the amount of deformation of the virtual space image. transform the
A display area having a shape corresponding to the predetermined pattern deformed by the pattern recognition section and displaying an additional image to be added to the virtual space image. is extracted from the virtual space image,
a conversion unit converting the shape of the additional image so as to correspond to the shape of the deformed predetermined pattern according to the display area;
The image processing method, wherein a display setting unit causes the additional image converted by the conversion unit to be displayed in the display area extracted by the extraction unit.
パターン認識部が、表示画像に含まれる所定のパターンを認識し、ユーザの視線方向が変わることに応じて前記表示画像が変形した場合、前記表示画像の変形量に基づき前記所定のパターンを変形し、
抽出部が、前記パターン認識部により変形された前記所定のパターンに基づいて、前記変形された所定のパターンに応じた形状の領域であって前記表示画像に付加する付加画像を表示させる表示領域を、前記表示画像から抽出し、
表示設定部が、前記抽出部により抽出された前記表示領域に、前記変形した所定のパターンの形状に対応するように変形された前記付加画像を表示させる設定を行う
画像処理方法。 An image processing method in an image processing system,
A pattern recognition unit recognizes a predetermined pattern included in a display image, and when the display image is deformed in response to a change in the line-of-sight direction of the user, deforms the predetermined pattern based on the amount of deformation of the display image. ,
Based on the predetermined pattern transformed by the pattern recognition unit, the extraction unit selects a display area having a shape corresponding to the transformed predetermined pattern and displaying an additional image to be added to the display image. , extracted from the displayed image;
The image processing method, wherein a display setting unit performs setting to display the additional image deformed so as to correspond to the shape of the deformed predetermined pattern in the display area extracted by the extracting unit.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017231152 | 2017-11-30 | ||
| JP2017231152 | 2017-11-30 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019102091A JP2019102091A (en) | 2019-06-24 |
| JP7277119B2 true JP7277119B2 (en) | 2023-05-18 |
Family
ID=66973870
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018225717A Active JP7277119B2 (en) | 2017-11-30 | 2018-11-30 | Image processing system and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7277119B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7254112B2 (en) * | 2021-03-19 | 2023-04-07 | 本田技研工業株式会社 | Virtual experience providing device, virtual experience providing method, and program |
| WO2023105750A1 (en) * | 2021-12-10 | 2023-06-15 | 株式会社ソニー・インタラクティブエンタテインメント | Information processing system, and information processing method |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014041259A (en) | 2012-08-22 | 2014-03-06 | Yahoo Japan Corp | Advertisement distribution device, advertisement distribution method, and advertisement distribution program |
| WO2017056229A1 (en) | 2015-09-30 | 2017-04-06 | 楽天株式会社 | Information processing device, information processing method, and program for information processing device |
| JP2017068411A (en) | 2015-09-29 | 2017-04-06 | 株式会社コロプラ | Device, method, and program for forming images |
-
2018
- 2018-11-30 JP JP2018225717A patent/JP7277119B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014041259A (en) | 2012-08-22 | 2014-03-06 | Yahoo Japan Corp | Advertisement distribution device, advertisement distribution method, and advertisement distribution program |
| JP2017068411A (en) | 2015-09-29 | 2017-04-06 | 株式会社コロプラ | Device, method, and program for forming images |
| WO2017056229A1 (en) | 2015-09-30 | 2017-04-06 | 楽天株式会社 | Information processing device, information processing method, and program for information processing device |
Non-Patent Citations (1)
| Title |
|---|
| 内山 寛之、他５名，市街地構造物への拡張現実型画像情報提示手法，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，2012年03月22日，Ｖｏｌ．１１１ Ｎｏ．４９９，141～146 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019102091A (en) | 2019-06-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111148554B (en) | Virtual reality presentation in real world space | |
| KR102265996B1 (en) | Devices, systems and methods of capturing and displaying appearances | |
| US20190222776A1 (en) | Augmenting detected regions in image or video data | |
| US11587292B2 (en) | Triggered virtual reality and augmented reality events in video streams | |
| US20170286993A1 (en) | Methods and Systems for Inserting Promotional Content into an Immersive Virtual Reality World | |
| US11256091B2 (en) | Dynamic objects in virtual reality environments | |
| JP2020507221A (en) | Improved method and system for video conferencing using HMD | |
| US20180199023A1 (en) | Information processing device, information processing method, and program | |
| JP2004145448A (en) | Terminal device, server device, and image processing method | |
| JP7277119B2 (en) | Image processing system and image processing method | |
| US20180249075A1 (en) | Display method and electronic device | |
| WO2018178229A1 (en) | Dynamic objects in virtual reality environments | |
| US10391408B2 (en) | Systems and methods to facilitate user interactions with virtual objects depicted as being present in a real-world space | |
| CN110958463A (en) | Method, device and equipment for detecting and synthesizing virtual gift display position | |
| US20190313133A1 (en) | Selected replacement of digital imagery portions using augmented reality | |
| US20220230400A1 (en) | Image processing apparatus, image distribution system, and image processing method | |
| CN114625468B (en) | Display method and device of augmented reality picture, computer equipment and storage medium | |
| US20200225467A1 (en) | Method for projecting immersive audiovisual content | |
| JP7258620B2 (en) | Image processing system and image processing method | |
| US20230291883A1 (en) | Image processing system, image processing method, and storage medium | |
| JP7403256B2 (en) | Video presentation device and program | |
| WO2022172259A1 (en) | Program, method, information processing device, and system | |
| TW202239201A (en) | An image synthesis system and method therefor | |
| TW202126035A (en) | An image synthesis system and method therefor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181217 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211109 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221025 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221122 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230113 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230418 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230508 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7277119 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |