JP5348114B2 - Information display system, apparatus, method and program - Google Patents
Information display system, apparatus, method and program Download PDFInfo
- Publication number
- JP5348114B2 JP5348114B2 JP2010258149A JP2010258149A JP5348114B2 JP 5348114 B2 JP5348114 B2 JP 5348114B2 JP 2010258149 A JP2010258149 A JP 2010258149A JP 2010258149 A JP2010258149 A JP 2010258149A JP 5348114 B2 JP5348114 B2 JP 5348114B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- area
- information
- head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、所定の情報を表示する情報表示システム、ウェアラブル端末、ヘッドマウントディスプレイ装置、情報表示方法及び情報表示プログラムに関する。 The present invention relates to an information display system, a wearable terminal, a head mounted display device, an information display method, and an information display program for displaying predetermined information.
特許文献１には、デジタル放送信号を受信するデジタル放送受信装置において、映像に字幕を重ねて表示したときに、映像の激しい動きによって、映像も字幕も見え難くなってしまうことを回避する技術が記載されている。 Patent Document 1 discloses a technique for avoiding a situation in which, when a digital broadcast receiving apparatus that receives a digital broadcast signal displays a caption superimposed on a video, it is difficult to see the video and the subtitle due to intense movement of the video. Have been described.
特許文献１に記載された装置では、映像情報信号のデコードを行う際に、映像情報信号のデコードの際に用いる動きベクトルに基づいて、映像表示領域Ｒｖにおける４つの字幕表示領域Ｒｓ１〜Ｒｓ４のうちから、最も映像の動きが小さい領域を特定する。そして、特定した領域に字幕が表示するように、デコードした映像データとデコードした字幕データとを合成する。 In the apparatus described in Patent Document 1, when decoding a video information signal, based on a motion vector used for decoding the video information signal, among the four subtitle display areas Rs1 to Rs4 in the video display area Rv From this, an area where the motion of the image is the smallest is identified. Then, the decoded video data and the decoded caption data are combined so that the caption is displayed in the specified area.
特許文献１に記載された方法を用いれば、字幕を映像の動きの激しくない部分に表示させることで、映像に字幕を重ねて表示したときに、映像の激しい動きによって、映像も字幕も見え難くなってしまうことを回避することができる。 If the method described in Patent Document 1 is used, subtitles are displayed in a portion where the motion of the video is not intense, and when the subtitles are superimposed on the video, the video and the subtitles are difficult to see due to the intense motion of the video. Can be avoided.
しかし、特許文献１に記載された技術は、映像に字幕を重ねて表示装置で表示する用途に適用できるものであり、劇場やコンサート会場のように鑑賞者が舞台上で行われる営為（例えば、演劇や演奏）を鑑賞する場において、鑑賞者に対して字幕など舞台に付随する情報を表示する用途には適用できない。 However, the technique described in Patent Document 1 can be applied to a use in which captions are superimposed on a video and displayed on a display device, and a performance performed by a viewer on the stage like a theater or a concert venue (for example, It is not applicable for the purpose of displaying information attached to the stage such as subtitles to the viewer in a place for viewing theater or performance.
鑑賞者に字幕など舞台に付随する情報を見せる手段としては、舞台の端に電光掲示板を設置する方式・鑑賞者の手元にある小型モニターに字幕を表示する方式・非透過型のヘッドマウントディスプレイに字幕を表示させる方式など、様々な表示デバイスを活用した方式が実施されている。 As a means to show viewers information such as subtitles attached to the stage, there is a method of installing an electric bulletin board at the end of the stage, a method of displaying subtitles on a small monitor at the viewer's hand, and a non-transparent head-mounted display Various methods utilizing display devices such as a method for displaying subtitles have been implemented.
ただし、いずれの方式を採用しても、舞台と字幕とを融合させて見る事、すなわち舞台と字幕情報とを継ぎ目なく見る事ができず、鑑賞者は舞台と字幕とを交互に見るために頭や視線を動かし続ける必要がある。 However, no matter which method is adopted, the stage and subtitles can be seen together, that is, the stage and subtitle information cannot be seen seamlessly, so that the viewer can see the stage and subtitles alternately. You need to keep your head and eyes moving.
そこで、頭や視線を移動することなく舞台と字幕とを融合させて見ることができるように、透過型ヘッドマウントディスプレイ装置を使った字幕表示方式を採用することが考えられる。この方式では、鑑賞者の視界の上に半透明の字幕が舞台に重なって表示されるため、鑑賞者は、頭や目線を動かす事なく字幕を見ることができる。 Therefore, it is conceivable to adopt a caption display method using a transmissive head-mounted display device so that the stage and caption can be combined and viewed without moving the head or line of sight. In this method, since the translucent subtitle is displayed on the stage so as to overlap the viewer's field of view, the viewer can view the subtitle without moving his head or eyes.
しかしながら、透過型のヘッドマウントディスプレイ装置を用いて舞台に重なって見えるように字幕を表示することによって生ずる問題もある。具体的には、鑑賞者の座席位置と舞台上の人物の立ち位置との関係や、鑑賞者の目線の向きと字幕の表示位置との関係によっては、舞台上の人物に重なるように字幕が表示されてしまい、鑑賞の妨げになるという問題である。 However, there is also a problem caused by displaying subtitles so that they appear on the stage using a transmissive head-mounted display device. Specifically, depending on the relationship between the viewer's seat position and the standing position of the person on the stage, and the relationship between the viewer's line of sight and the display position of the caption, the subtitles may overlap with the person on the stage. It is a problem that it is displayed and hinders viewing.
そこで、本発明は、舞台上で行われる営為等の鑑賞者に対して、鑑賞の妨げとならないように字幕等の情報を表示することができる情報表示システム、ウェアラブル端末、ヘッドマウントディスプレイ装置、情報表示方法及び情報表示プログラムを提供することを目的とする。 Therefore, the present invention provides an information display system, a wearable terminal, a head-mounted display device, and information that can display information such as subtitles so as not to hinder the viewing of viewers who perform on the stage. It is an object to provide a display method and an information display program.
本発明による情報表示システムは、所定の情報を表示可能なヘッドマウントディスプレイ装置と、ユーザの目線方向を撮影する撮影手段と、撮影手段が撮影したユーザの目線方向の画像を複数の画像領域に分割して画像領域ごとに人物像の検出を行う人物検出手段と、複数の画像領域のうち、人物検出手段によって検出された人物像が最も少ない画像領域を特定する領域特定手段と、ヘッドマウントディスプレイ装置の表示領域のうち、領域特定手段が特定した画像領域に対応する領域に所定の情報を表示するように制御する表示制御手段とを含むことを特徴とする。 An information display system according to the present invention includes a head-mounted display device capable of displaying predetermined information, a photographing unit that photographs a user's eye direction, and a user's eye direction image captured by the photographing unit is divided into a plurality of image regions. A person detecting means for detecting a person image for each image area, an area specifying means for specifying an image area having the least number of human images detected by the person detecting means, and a head mounted display device. Display control means for controlling to display predetermined information in an area corresponding to the image area specified by the area specifying means .
本発明によるウェアラブル端末は、撮影手段が撮影したユーザの目線方向の画像を複数の画像領域に分割して画像領域ごとに人物像の検出を行う人物検出手段と、複数の画像領域のうち、人物検出手段によって検出された人物像が最も少ない画像領域を特定する領域特定手段と、所定の情報を表示可能なヘッドマウントディスプレイ装置の表示領域のうち、領域特定手段が特定した画像領域に対応する領域に所定の情報を表示するように制御する表示制御手段とを備えたことを特徴とする。 A wearable terminal according to the present invention includes a person detection unit that divides an image in a user's line of sight captured by a photographing unit into a plurality of image regions and detects a person image for each image region, and a person among the plurality of image regions. a region specifying unit that human image detected by the detecting means to identify the smallest image area, in the display area of the display can be a head-mounted display device Jo Tokoro information, corresponding to the image region area identification means has identified And display control means for controlling to display predetermined information in the area.
本発明によるヘッドマウントディスプレイ装置は、所定の情報を表示可能なヘッドマウントディスプレイ装置であって、撮影手段が撮影したユーザの目線方向の画像を複数の画像領域に分割して画像領域ごとに人物像の検出を行う人物検出手段と、複数の画像領域のうち、人物検出手段によって検出された人物像が最も少ない画像領域を特定する領域特定手段と、当該ヘッドマウントディスプレイ装置の表示領域のうち、領域特定手段が特定した画像領域に対応する領域に所定の情報を表示するように制御する表示制御手段とを備えたことを特徴とする。 A head-mounted display device according to the present invention is a head-mounted display device capable of displaying predetermined information, and divides an image of a user's line of sight taken by a photographing unit into a plurality of image regions, and a human image for each image region. a person detecting unit for detecting a, among the plurality of image areas, and the area specifying means the person image detected to identify the smallest image area by a person detecting means, of the display region of this the head-mounted display device, And display control means for controlling to display predetermined information in an area corresponding to the image area specified by the area specifying means .
本発明による情報表示方法は、撮影手段が撮影したユーザの目線方向の画像を複数の画像領域に分割して画像領域ごとに人物像の検出を行い、複数の画像領域のうち、検出された人物像が最も少ない画像領域を特定し、所定の情報を表示可能なヘッドマウントディスプレイ装置の表示領域のうち、特定した画像領域に対応する領域に所定の情報を表示するように制御することを特徴とする。 An information display method according to the present invention divides an image of a user's line of sight taken by a photographing unit into a plurality of image regions, detects a human image for each image region, and detects a detected person among the plurality of image regions. image will identify the smallest image area, in the display area of the display can be a head-mounted display device Jo Tokoro information, wherein the controller controls so as to display predetermined information on the area corresponding to the specified image area And
本発明による情報表示プログラムは、コンピュータに、撮影手段が撮影したユーザの目線方向の画像を複数の画像領域に分割して画像領域ごとに人物像の検出を行う人物検出処理と、複数の画像領域のうち、検出された人物像が最も少ない画像領域を特定する領域特定処理と、所定の情報を表示可能なヘッドマウントディスプレイ装置の表示領域のうち、特定した画像領域に対応する領域に所定の情報を表示するように制御する表示制御処理とを実行させることを特徴とする。 An information display program according to the present invention comprises: a person detection process that divides an image in a user's line of sight captured by a photographing unit into a plurality of image regions and detects a person image for each image region; and a plurality of image regions of the area specifying processing for the person image detected to identify the smallest image area, in the display area of the display can be a head-mounted display device Jo Tokoro information, a predetermined in a region corresponding to the specified image area Display control processing for controlling to display information is executed.
本発明によれば、舞台上で行われる営為等の鑑賞者に対して、鑑賞の妨げとならないように字幕等の情報を表示することができる。 According to the present invention, it is possible to display information such as subtitles so as not to hinder appreciation for appreciators who perform on the stage.
以下、本発明の実施形態について図面を参照して説明する。図１は、本発明による情報表示システムの実施形態の一例を示す説明図である。図１に示すように、本発明による情報表示システムは、無線通信等で各ウェアラブル端末２３に字幕等の情報を配信するサーバ装置１１、鑑賞者の目線方向を撮影するカメラ２１、字幕等の情報を表示するヘッドマウントディスプレイ装置２２およびサーバ装置１１と通信可能な通信手段を有するウェアラブル端末２３を含む。なお、情報表示システムは、ウェアラブル端末２３に限らず、通信可能な他の携帯端末を含むようにしてもよい。また、本実施形態では、舞台上で行われる営為等の鑑賞者に字幕等の情報を表示する例について説明するが、これに限らず、例えば、スポーツを観戦するような場面に適用してもよい。 Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is an explanatory diagram showing an example of an embodiment of an information display system according to the present invention. As shown in FIG. 1, the information display system according to the present invention includes a server device 11 that distributes information such as subtitles to each wearable terminal 23 by wireless communication, a camera 21 that captures the viewer's eye direction, and information such as subtitles. And a wearable terminal 23 having communication means capable of communicating with the server device 11. Note that the information display system is not limited to the wearable terminal 23 and may include other portable terminals that can communicate. Further, in this embodiment, an example in which information such as captions is displayed to an audience such as an activity performed on the stage will be described. However, the present invention is not limited to this, and for example, the present invention may be applied to a scene of watching sports. Good.
サーバ装置１１は、具体的には、プログラムに従って動作するパーソナルコンピュータ等の情報処理装置によって実現される。サーバ装置１１は、無線通信等でウェアラブル端末２３に字幕等の情報を配信する機能を備えている。 Specifically, the server device 11 is realized by an information processing device such as a personal computer that operates according to a program. The server device 11 has a function of distributing information such as captions to the wearable terminal 23 by wireless communication or the like.
図２は、鑑賞者が装着する装置の一例を示す説明図である。図２に示すように、鑑賞者は、カメラ２１、ヘッドマウントディスプレイ装置２２およびウェアラブル端末２３を装着している。なお、カメラ２１とヘッドマウントディスプレイ装置２２とは、ウェアラブル端末２３と相互に接続されている。 FIG. 2 is an explanatory diagram illustrating an example of a device worn by a viewer. As shown in FIG. 2, the viewer wears a camera 21, a head mounted display device 22, and a wearable terminal 23. The camera 21 and the head mounted display device 22 are mutually connected to the wearable terminal 23.
カメラ２１は、鑑賞者の目線方向を撮影する機能を備えている。また、カメラ２１は、鑑賞者の目線方向を撮影した目線画像（例えば、動画像や静止画像）を画像情報受信手段２３２に出力する機能を備えている。目線画像は、鑑賞者の目線方向を撮影した画像であるので、鑑賞者の視野を表していると推定できる。 The camera 21 has a function of photographing the viewing direction of the viewer. Further, the camera 21 has a function of outputting a line-of-sight image (for example, a moving image or a still image) obtained by capturing the direction of the line of sight of the viewer to the image information receiving unit 232. Since the line-of-sight image is an image obtained by photographing the viewer's line-of-sight direction, it can be estimated that the line-of-sight image represents the viewer's field of view.
なお、本実施形態では、カメラ２１がヘッドマウントディスプレイ装置２２に搭載されている形態を例に説明するが、これに限らず、例えばヘッドマウントディスプレイ装置２２とは別の装置としてカメラを鑑賞者の頭部に装着するような形態であってもよい。 In this embodiment, an example in which the camera 21 is mounted on the head-mounted display device 22 will be described as an example. However, the present invention is not limited to this. For example, the camera is used as a device different from the head-mounted display device 22. It may be configured to be worn on the head.
また、本実施形態では、図２に示すようにメガネ型のヘッドマウントディスプレイ装置２２を用いるが、これに限らず、頭部に装着可能であれば、例えばヘルメット型であってもよい。また、ヘッドマウントディスプレイ装置２２は、少なくとも透過型であって、例えば、網膜上に映像を投影する方式やハーフミラーを用いた光学方式等で情報を表示する。本実施形態では、一般的な用法に従い、メガネ型やヘルメット型、網膜照射型や光学方式型等を全て包括してヘッドマウントディスプレイ装置という。 Further, in the present embodiment, the glasses-type head mounted display device 22 is used as shown in FIG. 2. However, the present invention is not limited thereto, and may be a helmet type, for example, as long as it can be mounted on the head. The head mounted display device 22 is at least a transmission type, and displays information by, for example, a method of projecting an image on the retina or an optical method using a half mirror. In the present embodiment, in accordance with general usage, glasses-type, helmet-type, retinal irradiation-type, optical-type, and the like are collectively referred to as a head-mounted display device.
図３は、情報表示システムの機能構成の一例を示す機能ブロック図である。図３に示すように、携帯可能なウェアラブル端末２３は、表示情報受信手段２３１、画像情報受信手段２３２、人物検出手段２３３、情報表示可能象限決定手段２３４、表示画像生成手段２３５および表示画像出力手段２３６を含む。 FIG. 3 is a functional block diagram illustrating an example of a functional configuration of the information display system. As shown in FIG. 3, the portable wearable terminal 23 includes a display information receiving means 231, an image information receiving means 232, a person detecting means 233, an information displayable quadrant determining means 234, a display image generating means 235, and a display image outputting means. 236.
表示情報受信手段２３１は、具体的には、プログラムに従って動作する情報処理端末のネットワークインターフェース部によって実現される。表示情報受信手段２３１は、サーバ装置１１が無線通信等で配信する表示すべき字幕等の情報（以下、表示情報ともいう）を受信する機能を備えている。 Specifically, the display information receiving unit 231 is realized by a network interface unit of an information processing terminal that operates according to a program. The display information receiving unit 231 has a function of receiving information such as subtitles to be displayed (hereinafter also referred to as display information) distributed by the server device 11 through wireless communication or the like.
画像情報受信手段２３２は、具体的には、プログラムに従って動作する情報処理端末のネットワークインターフェース部によって実現される。画像情報受信手段２３２は、カメラ２１が出力する目線画像を受信する機能を備えている。 Specifically, the image information receiving unit 232 is realized by a network interface unit of an information processing terminal that operates according to a program. The image information receiving unit 232 has a function of receiving a line-of-sight image output from the camera 21.
人物検出手段２３３は、具体的には、プログラムに従って動作する情報処理端末のＣＰＵによって実現される。人物検出手段２３３は、例えば、目線画像を部分画像に分割することによって、目線画像をｎ個の領域に切り分ける機能を備えている。以下、この切り分けた領域を象限という。また、人物検出手段２３３は、切り分けた象限ごとに人物の検出処理を行う機能を備えている。例えば、人物検出手段２３３は、目線画像と人物のパターン画像とを照合し、一致度が所定の閾値以上である場合に人物と認識して検出する。 Specifically, the person detection means 233 is realized by a CPU of an information processing terminal that operates according to a program. The person detection unit 233 has a function of dividing the eye image into n regions by dividing the eye image into partial images, for example. Hereinafter, this separated area is referred to as a quadrant. The person detection means 233 has a function of performing a person detection process for each divided quadrant. For example, the person detection unit 233 collates the eye line image with the person pattern image, and recognizes and detects the person when the degree of coincidence is a predetermined threshold value or more.
情報表示可能象限決定手段２３４は、具体的には、プログラムに従って動作する情報処理端末のＣＰＵによって実現される。情報表示可能象限決定手段２３４は、人物検出手段２３３の検出結果に基づいて、字幕等の情報の表示が可能である象限（以下、表示可能象限ともいう）を決定する機能を備えている。表示可能象限決定手段２３１は、例えば、人物が写っていない象限や最も写っている人物が少ない象限、最も人物の動きが少ない象限を表示可能象限として決定する。 Specifically, the information displayable quadrant determining means 234 is realized by a CPU of an information processing terminal that operates according to a program. The information displayable quadrant determination unit 234 has a function of determining a quadrant in which information such as captions can be displayed (hereinafter also referred to as a displayable quadrant) based on the detection result of the person detection unit 233. The displayable quadrant determining means 231 determines, for example, a quadrant in which no person is shown, a quadrant in which there are few people in the image, or a quadrant in which there is the least number of person movements as displayable quadrants.
最も人物の動きが少ない象限を特定する場合には、例えば、情報表示可能象限決定手段２３４は、現在の目線画像と所定期間後にカメラ２１が出力した目線画像とを比較して画像（人物像）の変化量を求め、同一象限において画像（人物像）の変化量が最も小さい象限を特定する。具体的には、情報表示可能象限決定手段２３４は、画像間の類似度を算出し、類似度が高ければ変化量が少ないと判断する。 When specifying the quadrant where the person's movement is the least, for example, the information displayable quadrant determination means 234 compares the current eye image with the eye image output from the camera 21 after a predetermined period of time, and displays an image (person image). And the quadrant in which the change amount of the image (person image) is the smallest in the same quadrant. Specifically, the information displayable quadrant determination means 234 calculates the similarity between images, and determines that the amount of change is small if the similarity is high.
表示画像生成手段２３５は、具体的には、プログラムに従って動作する情報処理端末のＣＰＵによって実現される。表示画像生成手段２３５は、表示可能象限を示す情報（以下、表示可能象限情報ともいう）と字幕等の情報とに基づいて、ヘッドマウントディスプレイ装置２２が表示する画像（以下、表示画像ともいう）を生成する機能を備えている。 Specifically, the display image generation unit 235 is realized by a CPU of an information processing terminal that operates according to a program. The display image generation unit 235 displays an image (hereinafter also referred to as a display image) displayed by the head mounted display device 22 based on information indicating a displayable quadrant (hereinafter also referred to as displayable quadrant information) and information such as captions. It has a function to generate.
具体的には、表示画像生成手段２３５は、ヘッドマウントディスプレイ装置２２の表示領域のうち、表示可能象限に対応する領域に字幕等の情報が表示される表示画像を生成する。以下、表示可能象限に字幕等の情報を表示するとの表現を用いるが、具体的には、ヘッドマウントディスプレイ装置２２の表示領域のうち、表示可能象限に対応する領域に字幕等の情報を表示することである。 Specifically, the display image generation unit 235 generates a display image in which information such as captions is displayed in an area corresponding to the displayable quadrant in the display area of the head mounted display device 22. Hereinafter, the expression of displaying information such as subtitles in the displayable quadrant will be used. Specifically, information such as subtitles is displayed in an area corresponding to the displayable quadrant in the display area of the head mounted display device 22. That is.
表示画像生成手段２３５は、表示可能象限内に収まるように字幕等の情報の表示位置を決定する。また、例えば、表示画像生成手段２３５は、字幕等の情報の表示形態（例えば、文字の向きや色彩等）を含むレイアウトを決定する。 The display image generation means 235 determines the display position of information such as subtitles so as to be within the displayable quadrant. In addition, for example, the display image generation unit 235 determines a layout including a display form of information such as captions (for example, the direction of characters and colors).
ここで、表示画像生成手段２３５が実行する処理の一例を示す。まず、カメラ２１が撮影する視野の画像の座標（以下、画像座標）と、ヘッドマウントディスプレイ装置２２が表示する画像の座標（以下、表示座標）とを、予め対応づけて記憶部に記憶させておく。そして、表示画像生成手段２３５は、画像座標において、表示可能象限から、字幕等の情報を表示する位置を特定する。次いで、表示画像生成手段２３５は、画像座標において特定した位置を、画像座標に対応づけた表示座標において特定する。そして、表示画像生成手段２３５は、表示座標において特定した位置に字幕等の情報を表示した表示画像を生成する。 Here, an example of processing executed by the display image generation unit 235 is shown. First, the coordinates of the image of the visual field captured by the camera 21 (hereinafter referred to as image coordinates) and the coordinates of the image displayed by the head mounted display device 22 (hereinafter referred to as display coordinates) are stored in the storage unit in association with each other in advance. deep. Then, the display image generation unit 235 specifies a position for displaying information such as subtitles from the displayable quadrant in the image coordinates. Next, the display image generation unit 235 specifies the position specified in the image coordinates in the display coordinates associated with the image coordinates. Then, the display image generation unit 235 generates a display image in which information such as captions is displayed at the position specified in the display coordinates.
表示画像出力手段２３６は、プログラムに従って動作する情報処理端末のＣＰＵ及びネットワークインターフェース部によって実現される。表示画像出力手段２３６は、ヘッドマウントディスプレイ装置２２に表示画像を出力する機能を備えている。 The display image output unit 236 is realized by a CPU and a network interface unit of an information processing terminal that operates according to a program. The display image output means 236 has a function of outputting a display image to the head mounted display device 22.
以上の各手段が処理を実行することにより、ウェアラブル端末２３は、カメラ２１が撮影した鑑賞者の目線方向の画像をｎ個の象限に切り分け、切り分けた象限ごとに人物検出を行い、人物が写っていない象限を特定する。次いで、ウェアラブル端末２３は、人物が写っていない象限が１つ以上ある場合には、人物が写っていないと判定した象限のいずれか又は全てを表示可能象限と決定する。そして、ウェアラブル端末２３は、表示可能象限の範囲内に字幕等の情報が表示される表示画像を生成し、ヘッドマウントディスプレイ装置に出力する。 When each of the above means executes the processing, the wearable terminal 23 divides the image of the viewer's line of sight taken by the camera 21 into n quadrants, performs person detection for each of the divided quadrants, and captures the person. Identify the quadrants that are not. Next, when there are one or more quadrants in which no person is shown, the wearable terminal 23 determines any or all of the quadrants in which it is determined that no person is shown as a displayable quadrant. The wearable terminal 23 generates a display image in which information such as subtitles is displayed within the displayable quadrant, and outputs the display image to the head mounted display device.
なお、図３に示される構成に限らず、例えば、サーバ装置１１が、上記の人物検出手段２３３、情報表示可能象限決定手段２３４、表示画像生成手段２３５の一部又は全てを備えている構成であってもよい。この場合には、例えば、ウェアラブル端末２３は、カメラ２１から受信した目線画像をサーバ装置１１に送信する。すると、サーバ装置１１は、受信した目線画像に基づいて表示可能象限を決定し、決定した表示可能象限と表示情報とに基づいて表示画像を生成してウェアラブル端末２３に送信する。 3, for example, the server device 11 includes a part or all of the person detection unit 233, the information displayable quadrant determination unit 234, and the display image generation unit 235. There may be. In this case, for example, the wearable terminal 23 transmits the eye line image received from the camera 21 to the server device 11. Then, the server device 11 determines a displayable quadrant based on the received eye image, generates a display image based on the determined displayable quadrant and display information, and transmits the display image to the wearable terminal 23.
また、例えば、ヘッドマウントディスプレイ装置２３が、上記の人物検出手段２３３、情報表示可能象限決定手段２３４、表示画像生成手段２３５の一部又は全てを備えている構成であってもよい。この場合には、例えば、ウェアラブル端末２３は、サーバ装置１１から受信した表示情報とともに、カメラ２１から受信した目線画像をヘッドマウントディスプレイ装置２３送信する。すると、ヘッドマウントディスプレイ装置２３は、受信した目線画像に基づいて表示可能象限を決定し、決定した表示可能象限と表示情報とに基づいて表示画像を生成して表示する。 Further, for example, the head mounted display device 23 may be configured to include a part or all of the person detecting unit 233, the information displayable quadrant determining unit 234, and the display image generating unit 235. In this case, for example, the wearable terminal 23 transmits the line-of-sight image received from the camera 21 together with the display information received from the server device 11 to the head mounted display device 23. Then, the head mounted display device 23 determines a displayable quadrant based on the received eye image, and generates and displays a display image based on the determined displayable quadrant and display information.
次に、画像を象限に切り分ける例について図面を参照して説明する。図４は、鑑賞者の目線方向の画像を象限１から４までの４象限に切り分けた例を示す説明図である。図４に示す例では、便宜上４つの象限をそれぞれ四角形で囲っており、象限１から象限４までを合計した領域が鑑賞者の視野をあらわしている。なお、本実施形態では、４象限に切り分ける例について説明するが、これに限らず、２以上であれば象限の数はいくつであってもよい。 Next, an example of dividing an image into quadrants will be described with reference to the drawings. FIG. 4 is an explanatory diagram illustrating an example in which an image in the viewer's eye direction is divided into four quadrants from quadrants 1 to 4. In the example shown in FIG. 4, four quadrants are surrounded by a rectangle for convenience, and the total area from quadrant 1 to quadrant 4 represents the viewer's field of view. In this embodiment, an example of dividing into four quadrants will be described. However, the present invention is not limited to this, and the number of quadrants may be any number as long as it is two or more.
図４に示す画像から人物検出処理を行うと、象限１及び象限２からは人物像が検出できない。したがって、人物像が検出できない象限１及び象限２を表示可能領域として決定する。 If person detection processing is performed from the image shown in FIG. 4, a person image cannot be detected from quadrant 1 and quadrant 2. Therefore, quadrant 1 and quadrant 2 in which a person image cannot be detected are determined as displayable areas.
次に、字幕等の情報の表示イメージについて図面を参照して説明する。図５は、図４に示す例において字幕を表示するイメージの一例を示す説明図である。 Next, a display image of information such as captions will be described with reference to the drawings. FIG. 5 is an explanatory diagram illustrating an example of an image for displaying captions in the example illustrated in FIG. 4.
図５に示すように、人物がいない象限の範囲内に字幕を表示するため、鑑賞者は、鑑賞の妨げとなることなく、ヘッドマウントディスプレイ装置が表示する字幕を舞台上にいる人物と同時に見る事ができる。 As shown in FIG. 5, since the subtitles are displayed in a quadrant where there is no person, the viewer can watch the subtitles displayed on the head mounted display device at the same time as the person on the stage without disturbing the viewing. I can do things.
なお、鑑賞者が舞台に近い場所に位置している場合には、図６に示すように、鑑賞者の目線方向の画像の全体に人物が写ってしまい、画像をｎ個の象限に切り分けて人物検出を行った結果、全て（ｎ個）の象限から人物像が検出されてしまうということが想定される。この場合には、例えば、ｎ個の象限の中から最も人物の少ない領域や、最も人物の動きが少ない領域を特定して表示可能象限と決定する。このように決定した表示可能象限に字幕を表示する事により、表示した字幕が鑑賞の妨げになるという可能性を最小限に抑えることができる。 When the viewer is located near the stage, as shown in FIG. 6, a person appears in the entire image in the direction of the viewer's eyes, and the image is divided into n quadrants. As a result of the person detection, it is assumed that a person image is detected from all (n) quadrants. In this case, for example, an area with the least number of people or an area with the least amount of person movement is identified from the n quadrants and determined as the displayable quadrant. By displaying subtitles in the displayable quadrant determined in this way, it is possible to minimize the possibility that the displayed subtitles hinder viewing.
また、ウェアラブル装置２３は、カメラ２１が撮影した鑑賞者の目線方向の画像の人物検出処理等を随時実行している。そのため、鑑賞者が首を動かした場合や舞台上の人物が移動した場合、すなわち、カメラ２１が撮影した鑑賞者の目線方向の画像が変化した場合には、字幕の表示位置は変更される。 In addition, the wearable device 23 executes a person detection process or the like of an image in the direction of the viewer's eyes taken by the camera 21 as needed. Therefore, when the viewer moves his / her head or a person on the stage moves, that is, when the image of the viewer's line of sight taken by the camera 21 changes, the subtitle display position is changed.
次に、情報表示システムの動作について説明する。図７は、情報表示システムが実行する処理例を示す流れ図である。 Next, the operation of the information display system will be described. FIG. 7 is a flowchart illustrating an example of processing executed by the information display system.
鑑賞者が各装置を起動して舞台等の鑑賞を開始すると、カメラ２１は撮影を開始し、鑑賞者の目線方向を撮影した目線画像を画像情報受信手段２３２に出力する（ステップＳ１）。 When the viewer activates each device and starts viewing the stage or the like, the camera 21 starts shooting, and outputs a line-of-sight image of the direction of the viewer's line of sight to the image information receiving means 232 (step S1).
次いで、画像情報受信手段２３２が目線画像を受信すると、人物検出手段２３３は、目線画像をｎ個の象限に切り分け（ステップＳ２）、象限ごとに人物検出処理を行う（ステップＳ３）。なお、字幕等の表示情報が常にあるものでない場合には、人物検出手段２３３は、サーバ装置１１から表示情報を受信した時のみ処理を実行するようにしてもよい。 Next, when the image information receiving unit 232 receives the eye image, the person detecting unit 233 cuts the eye image into n quadrants (step S2), and performs person detection processing for each quadrant (step S3). If the display information such as subtitles is not always present, the person detection unit 233 may execute the process only when the display information is received from the server device 11.
次いで、情報表示可能象限決定手段２３４は、人物検出手段２３３の検出結果に基づいて、表示可能象限を決定する。具体的には、情報表示可能象限決定手段２３４は、人物が写っていない象限が１つ以上存在するか否かを判定する（ステップＳ４）。そして、存在すると判定した場合には、情報表示可能象限決定手段２３４は、人物が写っていない象限を表示可能象限と決定する（ステップＳ５）。 Next, the information displayable quadrant determination unit 234 determines a displayable quadrant based on the detection result of the person detection unit 233. Specifically, the information displayable quadrant determination means 234 determines whether or not there are one or more quadrants in which no person is shown (step S4). And when it determines with existing, the information displayable quadrant determination means 234 determines the quadrant which a person is not reflected in as a displayable quadrant (step S5).
ここで、情報表示可能象限決定手段２３４は、人物が写っていないと判定した象限が複数存在すると判断した場合には、複数の象限のうちのいずれか又は全てを表示可能象限と決定する。例えば、情報表示可能象限決定手段２３４は、人物が写っていないと判定した複数の象限のうち、画像中の最も下部に位置する象限を表示可能象限と決定する。 Here, the information displayable quadrant determination means 234 determines any or all of the plurality of quadrants as displayable quadrants when determining that there are a plurality of quadrants in which it is determined that no person is captured. For example, the information displayable quadrant determination means 234 determines the quadrant located at the lowest position in the image as the displayable quadrant from among a plurality of quadrants determined not to include a person.
また、ステップＳ４において存在しないと判定した場合には、情報表示可能象限決定手段２３４は、ｎ個の象限のうち最も人物の動きが少ない象限を特定する（ステップＳ６）。そして、情報表示可能象限決定手段２３４は、特定した象限を表示可能象限と決定する（ステップＳ５）。なお、情報表示可能象限決定手段２３４は、ステップＳ６において、ｎ個の象限のうち最も人物が少ない象限を特定するようにしてもよい。 If it is determined in step S4 that there is no quadrant, the information displayable quadrant determination means 234 specifies the quadrant in which the person moves the least out of the n quadrants (step S6). Then, the information displayable quadrant determining means 234 determines the specified quadrant as a displayable quadrant (step S5). Note that the information displayable quadrant determination means 234 may specify a quadrant having the smallest number of persons out of the n quadrants in step S6.
また、上記処理と平行して、ウェアラブル端末２３の表示装置受信手段２３１は、サーバ装置１１が配信する字幕等の情報を随時受信する（ステップＳ７）。このように随時受信することで、鑑賞者のヘッドマウントディスプレイ装置２２が表示する字幕等の情報が切り替わる仕組みになっている。 In parallel with the above processing, the display device receiving means 231 of the wearable terminal 23 receives information such as subtitles distributed by the server device 11 as needed (step S7). In this manner, information such as subtitles displayed on the viewer's head mounted display device 22 is switched by receiving the information as needed.
次いで、表示画像生成手段２３５は、表示可能象限情報と字幕等の情報とに基づいて、ヘッドマウントディスプレイ装置２２の表示領域のうち、表示可能象限に対応する領域に字幕等の情報が表示される表示画像を生成する（ステップＳ８）。 Next, the display image generating unit 235 displays information such as subtitles in an area corresponding to the displayable quadrant in the display area of the head mounted display device 22 based on the displayable quadrant information and information such as subtitles. A display image is generated (step S8).
具体的には、表示画像生成手段２３５は、画像座標において、表示可能象限から、字幕等の情報を表示する位置を特定する。次いで、表示画像生成手段２３５は、画像座標において特定した位置を、画像座標に対応づけた表示座標において特定する。そして、表示画像生成手段２３５は、表示座標において特定した位置に字幕等の情報を表示した表示画像を生成する。 Specifically, the display image generation unit 235 specifies a position for displaying information such as subtitles from the displayable quadrant in the image coordinates. Next, the display image generation unit 235 specifies the position specified in the image coordinates in the display coordinates associated with the image coordinates. Then, the display image generation unit 235 generates a display image in which information such as captions is displayed at the position specified in the display coordinates.
その後、表示画像生成手段２３５が表示画像を生成すると、表示画像出力手段２３６は、ヘッドマウントディスプレイ装置２２に表示画像を出力する。そして、ヘッドマウントディスプレイ装置２２は、表示画像出力手段２３６が出力した表示画像を表示する（ステップＳ９）。 Thereafter, when the display image generation unit 235 generates a display image, the display image output unit 236 outputs the display image to the head mounted display device 22. Then, the head mounted display device 22 displays the display image output by the display image output unit 236 (step S9).
以上のように、本実施形態では、鑑賞者は、透過型のヘッドマウントディスプレイ装置とカメラと通信手段を有するウェアラブル端末とを装着する。そして、カメラが鑑賞者の目線方向を撮影すると、ウェアラブル端末は、カメラが撮影した目線方向の画像を複数の象限に切り分け、人物が写っていない象限を特定し、特定した象限内に字幕等の情報を表示する表示画像を生成する。次いで、ヘッドマウントディスプレイ装置は、ウェアラブル端末が生成した表示画像を表示する。 As described above, in this embodiment, a viewer wears a transmissive head-mounted display device, a camera, and a wearable terminal having communication means. When the camera captures the viewer's line of sight, the wearable terminal divides the image of the line of sight captured by the camera into a plurality of quadrants, identifies a quadrant in which no person is captured, and includes subtitles and the like within the identified quadrant. A display image for displaying information is generated. Next, the head mounted display device displays a display image generated by the wearable terminal.
このように、本実施形態では、目線画像に含まれる舞台上の人物の位置に基づいて字幕等の情報の表示位置を定めるため、表示する字幕等の情報が舞台上の人物に重なることを回避することができる。そのため、劇場やコンサート会場のように鑑賞者が舞台上で行われる営為等を鑑賞する場において、鑑賞者に対して、鑑賞の妨げとならないように字幕等の情報を表示することができる。 As described above, in this embodiment, since the display position of information such as subtitles is determined based on the position of the person on the stage included in the eye-gaze image, it is avoided that the information such as subtitles to be displayed overlaps with the person on the stage. can do. Therefore, information such as subtitles can be displayed to the viewer so as not to hinder the viewing in a place where the viewer appreciates the activities performed on the stage, such as a theater or a concert venue.
また、本実施形態では、随時表示位置を定め直しているため、鑑賞者の目線の変化や舞台上の人物の位置の変化に対応することができ、常に鑑賞の妨げとならないように字幕等の情報を表示することができる。 In addition, in this embodiment, the display position is redefined at any time, so that it is possible to cope with a change in the viewer's line of sight or a change in the position of a person on the stage. Information can be displayed.
次に、本発明による情報表示システムの最小構成について説明する。図８は、情報表示システムの最小の構成例を示すブロック図である。図８に示すように、情報表示システムは、最小の構成要素として、所定の情報を表示可能なヘッドマウントディスプレイ装置１と、ユーザの目線方向を撮影する撮影手段２と、人物検出手段３と、表示制御手段４とを含む。 Next, the minimum configuration of the information display system according to the present invention will be described. FIG. 8 is a block diagram illustrating a minimum configuration example of the information display system. As shown in FIG. 8, the information display system includes, as minimum components, a head mounted display device 1 capable of displaying predetermined information, an imaging unit 2 that captures a user's eye direction, a person detection unit 3, Display control means 4.
図８に示す最小構成の情報表示システムでは、人物検出手段３は、撮影手段２が撮影したユーザの目線方向の画像から人物像の検出を行う。そして、表示制御手段４は、人物検出手段３の検出結果に基づいて、ヘッドマウントディスプレイ装置１の表示領域のうち、撮影手段が撮影した画像中の人物像が検出されなかった画像領域に対応する領域に所定の情報を表示するように制御する。 In the information display system with the minimum configuration shown in FIG. 8, the person detection unit 3 detects a person image from an image in the direction of the user's line of sight captured by the photographing unit 2. Then, the display control unit 4 corresponds to an image area in which a human image in the image captured by the imaging unit is not detected in the display area of the head mounted display device 1 based on the detection result of the person detection unit 3. Control is performed so that predetermined information is displayed in the area.
従って、最小構成の情報表示システムによれば、表示する字幕等の情報が舞台上の人物に重なることを回避することができ、鑑賞者に対して鑑賞の妨げとならないように字幕等の情報を表示することができる。 Therefore, according to the information display system with the minimum configuration, it is possible to avoid the information such as captions to be displayed overlapping the person on the stage, and to display the information such as captions so as not to hinder the appreciation for the viewer. Can be displayed.
なお、本実施形態では、以下の（１）〜（５）に示すような情報表示システムの特徴的構成が示されている。 In this embodiment, the characteristic configuration of the information display system as shown in the following (1) to (5) is shown.
（１）情報表示システムは、所定の情報（例えば、字幕など）を表示可能なヘッドマウントディスプレイ装置（例えば、ヘッドマウントディスプレイ装置２２によって実現される）と、ユーザの目線方向を撮影する撮影手段（例えば、カメラ２１によって実現される）と、撮影手段が撮影したユーザの目線方向の画像から人物像の検出を行う人物検出手段（例えば、人物検出手段２３３によって実現される）と、人物検出手段の検出結果に基づいて、ヘッドマウントディスプレイ装置の表示領域のうち、撮影手段が撮影した画像中の人物像が検出されなかった画像領域（例えば、表示可能象限）に対応する領域に情報を表示するように制御する表示制御手段（例えば、情報表示可能象限決定手段２３４や、表示画像生成手段２３５、表示画像出力手段２３６によって実現される）とを含むことを特徴とする。 (1) The information display system includes a head-mounted display device (for example, realized by the head-mounted display device 22) capable of displaying predetermined information (for example, subtitles) and photographing means for photographing a user's eye-gaze direction ( (For example, realized by the camera 21), a person detection unit (for example, realized by the person detection unit 233) that detects a human image from an image in the direction of the user's line of sight captured by the imaging unit, and a person detection unit Based on the detection result, information is displayed in an area corresponding to an image area (for example, displayable quadrant) in which a human image in an image captured by the imaging unit is not detected, among display areas of the head mounted display device. Display control means (for example, information displayable quadrant determination means 234, display image generation means 235, display image Characterized in that it comprises a to) and implemented by the force means 236.
（２）情報表示システムにおいて、人物検出手段は、画像を複数の画像領域（例えば、ｎ個の象限）に分割して画像領域ごとに人物像の検出を行い、複数の画像領域のうち、人物像が検出されなかった画像領域を特定する領域特定手段（例えば、情報表示可能象限決定手段２３４によって実現される）を備え、表示制御手段は、ヘッドマウントディスプレイ装置の表示領域のうち、領域特定手段が特定した画像領域に対応する領域に所定の情報を表示するように制御するように構成されていてもよい。 (2) In the information display system, the person detecting means divides the image into a plurality of image areas (for example, n quadrants), detects a person image for each image area, and among the plurality of image areas, a person is detected. An area specifying unit (for example, realized by the information displayable quadrant determining unit 234) that specifies an image area in which no image is detected is provided, and the display control unit includes an area specifying unit among the display areas of the head mounted display device. May be configured to control to display predetermined information in an area corresponding to the specified image area.
（３）情報表示システムにおいて、領域特定手段は、人物検出手段が人物像を検出した画像領域ごとに画像の変化量を求め、検出した画像領域のうち、変化量が最も少ない画像領域を特定し、表示制御手段は、ヘッドマウントディスプレイ装置の表示領域のうち、領域特定手段が特定した画像領域に対応する領域に情報を表示するように制御するように構成されていてもよい。 (3) In the information display system, the area specifying unit obtains an image change amount for each image area in which the person detection unit has detected the person image, and specifies an image area having the smallest change amount among the detected image areas. The display control means may be configured to control to display information in an area corresponding to the image area specified by the area specifying means in the display area of the head mounted display device.
（４）情報表示システムにおいて、ヘッドマウントディスプレイ装置の表示領域のうち、特定した画像領域に対応する領域に情報を表示する画像を生成する画像生成手段（例えば、表示画像生成手段２３５によって実現される）を備え、表示制御手段は、画像生成手段が生成した画像を表示するように制御するように構成されていてもよい。 (4) In the information display system, it is realized by an image generation means (for example, display image generation means 235) that generates an image for displaying information in an area corresponding to the specified image area among the display areas of the head mounted display device. The display control means may be configured to control to display the image generated by the image generation means.
（５）情報表示システムにおいて、画像中の座標を表す画像座標と、ヘッドマウントディスプレイ装置が表示する画像中の座標を表す表示座標とを対応づけて記憶する記憶手段を備え、画像生成手段は、記憶手段が記憶する撮影座標と表示座標とに基づいて、ヘッドマウントディスプレイ装置の表示領域のうち、特定した画像領域に対応する領域を特定するように構成されていてもよい。 (5) The information display system includes storage means for storing image coordinates representing coordinates in the image and display coordinates representing coordinates in the image displayed by the head mounted display device in association with each other. Based on the imaging coordinates and display coordinates stored in the storage means, an area corresponding to the specified image area may be specified in the display area of the head mounted display device.
本発明は、芝居やミュージカル、バレエ、コンサート、ライブなど、リアルタイムで鑑賞者に対して演目を披露するような場で字幕等を表示する用途に適用可能である。上記のような場においては、リアルタイムで演目が進行していくため、事前にヘッドマウントディスプレイ装置への字幕表示位置などをプログラミングする事は難しく、本発明のようにリアルタイムで字幕表示位置を決定するシステムが役立つと考えられる。 INDUSTRIAL APPLICABILITY The present invention can be applied to the use of displaying subtitles or the like in a place where a performance is shown to a viewer in real time, such as a play, a musical, a ballet, a concert, or a live performance. In the above situation, since the program proceeds in real time, it is difficult to program the subtitle display position on the head mounted display device in advance, and the subtitle display position is determined in real time as in the present invention. The system is considered useful.
１ ヘッドマウントディスプレイ装置
２ 撮影手段
３ 人物検出手段
４ 表示制御手段
１１ サーバ装置
２１ カメラ
２２ ヘッドマウントディスプレイ装置
２３ ウェアラブル端末
２３１ 表示情報受信手段
２３２ 画像情報受信手段
２３３ 人物検出手段
２３４ 情報表示可能象限決定手段
２３５ 表示画像生成手段
２３６ 表示画像出力手段
DESCRIPTION OF SYMBOLS 1 Head mounted display apparatus 2 Imaging | photography means 3 Person detection means 4 Display control means 11 Server apparatus 21 Camera 22 Head mounted display apparatus 23 Wearable terminal 231 Display information reception means 232 Image information reception means 233 Person detection means 234 Information displayable quadrant determination means 235 Display image generation means 236 Display image output means
Claims (8)
ユーザの目線方向を撮影する撮影手段と、
前記撮影手段が撮影したユーザの目線方向の画像を複数の画像領域に分割して画像領域ごとに人物像の検出を行う人物検出手段と、
前記複数の画像領域のうち、前記人物検出手段によって検出された人物像が最も少ない画像領域を特定する領域特定手段と、
前記ヘッドマウントディスプレイ装置の表示領域のうち、前記領域特定手段が特定した画像領域に対応する領域に前記所定の情報を表示するように制御する表示制御手段とを
含むことを特徴とする情報表示システム。 A head-mounted display device capable of displaying predetermined information;
Photographing means for photographing the user's eye direction;
A human detection unit that divides an image in the user's eye direction captured by the imaging unit into a plurality of image regions and detects a human image for each image region ;
An area specifying means for specifying an image area having the smallest number of human images detected by the person detecting means among the plurality of image areas;
Of the display area before Symbol head-mounted displays device information display which comprises a display control means for displaying the predetermined information on the area corresponding to the image area in which the area specifying means has specified system.
表示制御手段は、ヘッドマウントディスプレイ装置の表示領域のうち、前記領域特定手段が特定した画像領域に対応する領域に情報を表示するように制御する
請求項１記載の情報表示システム。 The area specifying means obtains an image change amount for each image area in which the person detection means has detected a person image, and specifies an image area having the smallest change amount among the detected image areas,
Display control means, a head mount of the display area of the display device, information display system according to claim 1, wherein the control so as to display the information in a region corresponding to the image region in which the area specifying means has specified.
表示制御手段は、前記画像生成手段が生成した画像を表示するように制御する
請求項１または請求項２記載の情報表示システム。 Image generating means for generating an image for displaying information in an area corresponding to the specified image area of the display area of the head mounted display device,
Display control means according to claim 1 or claim 2 information display system according to the control to display an image by the image generating means has generated.
画像生成手段は、前記記憶手段が記憶する撮影座標と前記表示座標とに基づいて、ヘッドマウントディスプレイ装置の表示領域のうち、特定した画像領域に対応する領域を特定する
請求項３記載の情報表示システム。 Storage means for storing image coordinates representing coordinates in the image and display coordinates representing coordinates in the image displayed by the head mounted display device in association with each other;
4. The information display according to claim 3 , wherein the image generation unit specifies an area corresponding to the specified image area in the display area of the head mounted display device based on the photographing coordinates stored in the storage unit and the display coordinates. system.
前記複数の画像領域のうち、前記人物検出手段によって検出された人物像が最も少ない画像領域を特定する領域特定手段と、
所定の情報を表示可能なヘッドマウントディスプレイ装置の表示領域のうち、前記領域特定手段が特定した画像領域に対応する領域に前記所定の情報を表示するように制御する表示制御手段とを
備えたことを特徴とするウェアラブル装置。 A person detection unit that divides an image in a user's eye direction captured by the imaging unit into a plurality of image regions and detects a human image for each image region ;
An area specifying means for specifying an image area having the smallest number of human images detected by the person detecting means among the plurality of image areas;
Of the display area of the display can be a head-mounted display device Jo Tokoro information, and a display control means for displaying the predetermined information in the area corresponding to the image region in which the area specifying means has specified A wearable device characterized by that.
撮影手段が撮影したユーザの目線方向の画像を複数の画像領域に分割して画像領域ごとに人物像の検出を行う人物検出手段と、
前記複数の画像領域のうち、前記人物検出手段によって検出された人物像が最も少ない画像領域を特定する領域特定手段と、
当該ヘッドマウントディスプレイ装置の表示領域のうち、前記領域特定手段が特定した画像領域に対応する領域に前記所定の情報を表示するように制御する表示制御手段とを
備えたことを特徴とするヘッドマウントディスプレイ装置。 A head mounted display device capable of displaying predetermined information,
A person detection unit that divides an image in a user's eye direction captured by the imaging unit into a plurality of image regions and detects a human image for each image region ;
An area specifying means for specifying an image area having the smallest number of human images detected by the person detecting means among the plurality of image areas;
Of the display region of this the head mounted display, the head being characterized in that a display control means for displaying the predetermined information in the area corresponding to the image region in which the area specifying means has specified Mount display device.
前記複数の画像領域のうち、検出された人物像が最も少ない画像領域を特定し、
所定の情報を表示可能なヘッドマウントディスプレイ装置の表示領域のうち、特定した画像領域に対応する領域に前記所定の情報を表示するように制御する
ことを特徴とする情報表示方法。 The image of the user's eye direction captured by the image capturing means is divided into a plurality of image areas, and a human image is detected for each image area ,
Among the plurality of image areas, identify an image area with the least number of detected human images,
Of the display area of the display can be a head-mounted display device Jo Tokoro information, the information display method and controls so as to display the predetermined information in the area corresponding to the specified image region.
撮影手段が撮影したユーザの目線方向の画像を複数の画像領域に分割して画像領域ごとに人物像の検出を行う人物検出処理と、
前記複数の画像領域のうち、検出された人物像が最も少ない画像領域を特定する領域特定処理と、
所定の情報を表示可能なヘッドマウントディスプレイ装置の表示領域のうち、特定した画像領域に対応する領域に前記所定の情報を表示するように制御する表示制御処理とを
実行させるための情報表示プログラム。 On the computer,
A person detection process in which an image in the user's line of sight captured by the photographing means is divided into a plurality of image areas and a human image is detected for each image area ;
An area specifying process for specifying an image area with the smallest number of detected human images among the plurality of image areas;
Of the display area of the display can be a head-mounted display device Jo Tokoro information, the information display program for executing a display control process for controlling so as to display the predetermined information in the area corresponding to the specified image area .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010258149A JP5348114B2 (en) | 2010-11-18 | 2010-11-18 | Information display system, apparatus, method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010258149A JP5348114B2 (en) | 2010-11-18 | 2010-11-18 | Information display system, apparatus, method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012108793A JP2012108793A (en) | 2012-06-07 |
| JP5348114B2 true JP5348114B2 (en) | 2013-11-20 |
Family
ID=46494336
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010258149A Expired - Fee Related JP5348114B2 (en) | 2010-11-18 | 2010-11-18 | Information display system, apparatus, method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5348114B2 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2014192103A1 (en) * | 2013-05-29 | 2017-02-23 | 三菱電機株式会社 | Information display device |
| US9568997B2 (en) * | 2014-03-25 | 2017-02-14 | Microsoft Technology Licensing, Llc | Eye tracking enabled smart closed captioning |
| JP6432197B2 (en) * | 2014-07-31 | 2018-12-05 | セイコーエプソン株式会社 | Display device, display device control method, and program |
| JP6646361B2 (en) | 2015-04-27 | 2020-02-14 | ソニーセミコンダクタソリューションズ株式会社 | Image processing apparatus, imaging apparatus, image processing method, and program |
| JP6350705B2 (en) * | 2017-03-16 | 2018-07-04 | セイコーエプソン株式会社 | Display device and control method of display device |
| JP2019057047A (en) | 2017-09-20 | 2019-04-11 | 株式会社東芝 | Display control system, display control method and program |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3033198B2 (en) * | 1990-12-26 | 2000-04-17 | 松下電器産業株式会社 | Monitoring video signal recording device |
| JPH06268897A (en) * | 1993-03-12 | 1994-09-22 | Hitachi Ltd | Date display device |
| JP4569471B2 (en) * | 2003-09-26 | 2010-10-27 | 株式会社ニコン | Electronic image storage method, electronic image storage device, and electronic image storage system |
| JP4720167B2 (en) * | 2004-12-03 | 2011-07-13 | 株式会社ニコン | Electronic camera and program |
| JP2007266800A (en) * | 2006-03-28 | 2007-10-11 | Hitachi Ltd | Information reproducing device |
| JP4984975B2 (en) * | 2007-03-02 | 2012-07-25 | 株式会社ニコン | Camera and image processing program |
| JP2009206774A (en) * | 2008-02-27 | 2009-09-10 | Canon Inc | System and device for transmitting image, and control method |
| JP2010061265A (en) * | 2008-09-02 | 2010-03-18 | Fujifilm Corp | Person retrieval and registration system |
| JP2010185962A (en) * | 2009-02-10 | 2010-08-26 | Sharp Corp | Information display device and information display method |
| JP5363157B2 (en) * | 2009-03-24 | 2013-12-11 | オリンパスイメージング株式会社 | Imaging device and live view display method |
-
2010
- 2010-11-18 JP JP2010258149A patent/JP5348114B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012108793A (en) | 2012-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10579320B2 (en) | Display system, display device, information display method, and program | |
| JP6511386B2 (en) | INFORMATION PROCESSING APPARATUS AND IMAGE GENERATION METHOD | |
| US20240070947A1 (en) | Information processing apparatus and information processing method | |
| US10009542B2 (en) | Systems and methods for environment content sharing | |
| CN109952759B (en) | Improved method and system for video conferencing with HMD | |
| JP6375591B2 (en) | Head-mounted display device, head-mounted display device control method, and image display system | |
| JP5464130B2 (en) | Information display system, apparatus, method and program | |
| JP5348114B2 (en) | Information display system, apparatus, method and program | |
| JP6845111B2 (en) | Information processing device and image display method | |
| JP2008033891A (en) | Display apparatus and control method thereof | |
| US20180270441A1 (en) | System and method for augmented video production workflow | |
| JPWO2017047173A1 (en) | Information processing apparatus and information processing method | |
| CN109511004B (en) | Video processing method and device | |
| US20190347864A1 (en) | Storage medium, content providing apparatus, and control method for providing stereoscopic content based on viewing progression | |
| JP2011010126A (en) | Image processing apparatus, and image processing method | |
| CN109587471A (en) | Image display system, image display method and image display program | |
| WO2018216402A1 (en) | Information processing apparatus, information processing method, and program | |
| JPWO2018168823A1 (en) | Image processing device and electronic equipment | |
| WO2021015035A1 (en) | Image processing apparatus, image delivery system, and image processing method | |
| KR102140077B1 (en) | Master device, slave device and control method thereof | |
| JP6534972B2 (en) | Image display apparatus, image display method and image display program | |
| JP2018088604A (en) | Image display device, image display method, and system | |
| GB2582106A (en) | Display device and display device control method | |
| JP6655751B1 (en) | Video display control device, method and program | |
| JP2018180496A (en) | Moving image processing device, moving image processing system, moving image processing method, and moving image processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121114 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121120 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130118 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130723 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130805 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |