JP6726889B2

JP6726889B2 - Video display system

Info

Publication number: JP6726889B2
Application number: JP2016122041A
Authority: JP
Inventors: 大三郎松木; 高士山田; 岩田　芳明; 芳明岩田
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2016-06-20
Filing date: 2016-06-20
Publication date: 2020-07-22
Anticipated expiration: 2036-06-20
Also published as: JP2017228848A

Description

本開示は、透明な表示装置に表示する映像と当該表示装置の背景との両方を同時に視認できる映像表示システムに関する。 The present disclosure relates to a video display system capable of visually recognizing both a video displayed on a transparent display device and a background of the display device at the same time.

特許文献１は、映像を表示する映像表示システムを開示する。この映像表示システムは、映像表示装置としてＣＲＴや液晶ディスプレイだけではなく、スクリーンに映像を写すプロジェクタを利用し、表示する映像を視認できるシステムである。 Patent Document 1 discloses a video display system for displaying a video. This video display system is a system in which not only a CRT or a liquid crystal display as a video display device but also a projector that projects a video on a screen can be used to visually recognize the video to be displayed.

特開２０１０−１１４７６８号公報JP, 2010-114768, A

近年、映像表示システムとして、透明なスクリーンや透明なＥＬ表示装置等の透明な表示装置に映像を表示して当該映像と表示装置越しの背景との両方を同時に視認できるシステムが知られている。 In recent years, as a video display system, a system is known in which a video is displayed on a transparent display device such as a transparent screen or a transparent EL display device and both the video and the background through the display device can be visually recognized at the same time.

本開示は、透明な表示装置において背景と映像とが重なることに起因して、表示装置の背景の視認性が低下することを防止する映像表示システムを提供する。 The present disclosure provides a video display system that prevents the visibility of the background of a display device from decreasing due to the background and the video overlapping in a transparent display device.

本開示における映像表示システムは、映像信号が示す映像を表示し、かつ、背景を透過する透明な表示装置と、表示装置の映像及び背景を鑑賞する鑑賞者の位置、鑑賞者が注目する鑑賞者の注目位置、及び／または、鑑賞者が注目することが予測される対象物に対応する背景の注目範囲を検出する検出装置と、映像信号を表示装置に送信するとともに、検出装置によって検出された鑑賞者の位置、鑑賞者の注目位置、及び／または、背景の注目範囲に基づいて表示装置における映像の表示位置を決定する映像処理装置とを備える。 A video display system according to the present disclosure displays a video image represented by a video signal, and a transparent display device that transmits a background, a position of a viewer who views the video of the display device and the background, and a viewer who the viewer pays attention to. Of interest, and/or a detection device that detects the attention range of the background corresponding to the object predicted to be noticed by the viewer, and a video signal transmitted to the display device and detected by the detection device. An image processing device that determines the display position of an image on the display device based on the position of the viewer, the position of interest of the viewer, and/or the range of interest of the background.

本開示における映像表示システムは、透明な表示装置において背景と映像とが重なることに起因して、表示装置の背景の視認性が低下することを防止する。 The video display system according to the present disclosure prevents the visibility of the background of the display device from being reduced due to the background and the video overlapping on the transparent display device.

本開示にかかる映像表示システムの構成を示す図The figure which shows the structure of the video display system concerning this indication. 本開示にかかる映像処理装置の構成を示す図The figure which shows the structure of the video processing apparatus concerning this indication. 実施の形態１にかかる映像処理装置による映像処理動作を示すフローチャートFlowchart showing video processing operation by the video processing apparatus according to the first embodiment 実施の形態２にかかる映像処理装置による映像処理動作を示すフローチャートFlowchart showing video processing operation by the video processing apparatus according to the second embodiment （ａ）元映像に含まれる文字の加工の一例を説明するための図、（ｂ）元映像に含まれる人の静止画像の加工の一例を説明するための図(A) The figure for demonstrating an example of the process of the character contained in original video, (b) The figure for demonstrating an example of the process of the still image of the person contained in original video 実施の形態３にかかる映像処理装置による映像処理動作を示すフローチャートFlowchart showing video processing operation by the video processing apparatus according to the third embodiment （ａ）透明スクリーンに表示する元映像の一例を示す図、（ｂ）透明スクリーンに表示された映像と背景とが重なった表示映像の一例を示す図(A) The figure which shows an example of the original image displayed on a transparent screen, (b) The figure which shows an example of the display image in which the image displayed on the transparent screen and the background overlap. 実施の形態４にかかる映像処理装置による映像処理動作を示すフローチャートFlowchart showing video processing operation by the video processing apparatus according to the fourth embodiment 第２の撮像装置で撮影された背景の一例を示す図The figure which shows an example of the background image|photographed with the 2nd imaging device. 実施の形態５にかかる映像処理装置による映像処理動作を示すフローチャートThe flowchart which shows the video processing operation by the video processing apparatus concerning Embodiment 5. 透明スクリーン１１に映像を表示した一例を示す図The figure which shows an example which displayed the image on the transparent screen 11. 実施の形態６にかかる映像処理装置による映像処理動作を示すフローチャート6 is a flowchart showing a video processing operation by the video processing device according to the sixth embodiment. （ａ）及び（ｂ）映像処理装置による表示映像の表示位置の決定動作の一例を説明するための図6A and 6B are views for explaining an example of an operation of determining a display position of a display image by the image processing device. 実施の形態７にかかる映像処理装置による映像処理動作を示すフローチャートFlowchart showing video processing operation by the video processing apparatus according to the seventh embodiment 映像処理装置による表示映像の表示位置の決定動作の一例を説明するための図FIG. 4 is a diagram for explaining an example of an operation of determining a display position of a display image by the image processing device

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。 Hereinafter, embodiments will be described in detail with reference to the drawings as appropriate. However, more detailed description than necessary may be omitted. For example, detailed description of well-known matters and duplicate description of substantially the same configuration may be omitted. This is for avoiding unnecessary redundancy in the following description and for facilitating understanding by those skilled in the art.

なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。 It should be noted that the inventor (s) provide the accompanying drawings and the following description for those skilled in the art to fully understand the present disclosure, and intend to limit the subject matter described in the claims by these. Not something to do.

（実施の形態１）
以下、図１〜３を用いて、実施の形態１を説明する。 (Embodiment 1)
The first embodiment will be described below with reference to FIGS.

［１−１．構成］
図１は、本開示にかかる映像表示システムの構成を示す図である。図１に示す映像表示システム１は、透明スクリーン１１と、投影装置１２と、第１の撮像装置２１と、第２の撮像装置２２と、検出装置２３と、映像処理装置３０とを備える。 [1-1. Constitution]
FIG. 1 is a diagram showing a configuration of a video display system according to the present disclosure. The video display system 1 shown in FIG. 1 includes a transparent screen 11, a projection device 12, a first imaging device 21, a second imaging device 22, a detection device 23, and a video processing device 30.

実施の形態１にかかる映像表示システム１は、透明スクリーン１１に映像を投影する。映像表示システム１は、透明スクリーン１１に投影された映像と透明スクリーン１１の背景との両方を同時に視認できる映像表示システムである。例えば、この映像表示システム１の透明スクリーン１１をサッカースタジアム等の鑑賞室の窓ガラスに適用することにより、鑑賞者は、透明スクリーン１１越しに試合（背景）を鑑賞しながら、透明スクリーン１１に表示される選手情報等の様々な情報をも見ることができる。 The video display system 1 according to the first embodiment projects a video on the transparent screen 11. The video display system 1 is a video display system capable of simultaneously visually recognizing both the video projected on the transparent screen 11 and the background of the transparent screen 11. For example, by applying the transparent screen 11 of the video display system 1 to the window glass of a viewing room such as a soccer stadium, the viewer can display the game on the transparent screen 11 while watching the game (background) through the transparent screen 11. You can also see various information such as player information.

透明スクリーン１１は、ガラスや樹脂等の透明な板に、光拡散機能を有するシートを貼り付けて構成される。透明スクリーン１１は、一部の光を透過するとともに、一部の光を拡散反射させる。すなわち、透明スクリーン１１は、背景を透過するとともに、投影装置１２によって投影される映像を拡散反射させて表示する。 The transparent screen 11 is configured by attaching a sheet having a light diffusion function to a transparent plate such as glass or resin. The transparent screen 11 transmits a part of the light and diffusely reflects the part of the light. That is, the transparent screen 11 transmits the background and diffusely reflects and displays the image projected by the projection device 12.

投影装置１２は、映像処理装置３０からの映像信号に基づいて、映像光を透明スクリーン１１に投影する。 The projection device 12 projects the image light on the transparent screen 11 based on the image signal from the image processing device 30.

第１の撮像装置２１は、例えば鑑賞室の室内の天井に設置され、透明スクリーン１１に投影された映像と透明スクリーン１１を通して視認される背景とを撮像し、表示映像データとして映像処理装置３０に送信する。第１の撮像装置２１の一例はカメラやビデオカメラなどである。 The first image pickup device 21 is installed, for example, on the ceiling in the room of the viewing room, picks up an image projected on the transparent screen 11 and a background visually recognized through the transparent screen 11, and displays it on the image processing device 30 as display image data. Send. An example of the first imaging device 21 is a camera, a video camera, or the like.

第２の撮像装置２２は、例えば鑑賞室の室外の上方に設置され、透明スクリーン１１の背景を直接撮像し、背景画像データとして映像処理装置３０に送信する。第２の撮像装置２２の一例はカメラやビデオカメラなどである。なお、第２の撮像装置２２は、照度及び輝度を検出するセンサであってもよい。この場合、第２の撮像装置２２は、検出した背景の照度及び輝度を映像処理装置３０に送信する。 The second imaging device 22 is installed, for example, above the outside of the viewing room, directly captures the background of the transparent screen 11, and transmits it as background image data to the video processing device 30. An example of the second imaging device 22 is a camera, a video camera, or the like. The second imaging device 22 may be a sensor that detects illuminance and brightness. In this case, the second imaging device 22 transmits the detected background illuminance and brightness to the video processing device 30.

検出装置２３は、例えば鑑賞室の室内の天井に設置され、鑑賞者の位置を検出して映像処理装置３０に送信する。また、検出装置２３は、鑑賞者の注目位置を検出して映像処理装置３０に送信する。鑑賞者の注目位置とは、鑑賞者が透明スクリーン１１上で注目する位置を示す。例えば、検出装置２３はヘッドトラッキング装置を用いて鑑賞者の頭の向きを検出することにより鑑賞者の注目位置を検出する。或いは、検出装置２３は視線検出装置を用いて鑑賞者の視線を検出することにより鑑賞者の注目位置を検出してもよい。位置検出のための検出装置２３の一例は位置検出センサやウェアラブル装置などであり、注目位置検出のための検出装置２３の一例はヘッドトラッキング装置や視線検出装置などである。 The detection device 23 is installed, for example, on the ceiling in the viewing room, and detects the position of the viewer and transmits it to the video processing device 30. Further, the detection device 23 detects the attention position of the viewer and transmits it to the video processing device 30. The viewer's attention position indicates a position on the transparent screen 11 where the viewer pays attention. For example, the detection device 23 detects a viewer's attention position by detecting the viewer's head direction using a head tracking device. Alternatively, the detection device 23 may detect the viewer's attention position by detecting the viewer's line of sight using the line-of-sight detection device. An example of the detection device 23 for position detection is a position detection sensor, a wearable device, or the like, and an example of the detection device 23 for detection of the attention position is a head tracking device, a line-of-sight detection device, or the like.

映像処理装置３０は、第１の撮像装置２１から取得した表示映像データが示す透明スクリーン１１の表示映像（映像＋背景）、第２の撮像装置２２から取得した背景画像データが示す透明スクリーン１１の背景、及び、後述する予め分かっている透明スクリーン１１の特性の何れかに基づいて、透明スクリーン１１において背景と映像とが重なるときに映像の視認性を向上するように、映像の変換処理を行う。 The video processing device 30 displays the display video (video+background) of the transparent screen 11 indicated by the display video data acquired from the first imaging device 21 and the transparent screen 11 indicated by the background image data acquired from the second imaging device 22. A video conversion process is performed based on any of the background and a known characteristic of the transparent screen 11 to be described later so that the visibility of the image is improved when the background and the image overlap on the transparent screen 11. ..

また、映像処理装置３０は、第２の撮像装置２２から取得した背景画像データが示す透明スクリーン１１の背景、及び、検出装置２３から取得した鑑賞者の位置及び注目位置の何れかに基づいて、鑑賞者が注目する注目位置又は鑑賞者が注目するであろうと予測される対象物を含む背景の注目範囲の視認性を向上するように、当該背景の注目範囲に映像が重ならないように透明スクリーン１１における映像の表示位置を決める。なお、「背景の注目範囲」については、一例を示しながら後述する。 In addition, the video processing device 30, based on either the background of the transparent screen 11 indicated by the background image data acquired from the second imaging device 22 or the position of the viewer or the position of interest acquired from the detection device 23, In order to improve the visibility of the attention position of the viewer or the attention range of the background including the object predicted to be noticed by the viewer, a transparent screen is provided so that the image does not overlap the attention range of the background. The display position of the image in 11 is determined. The “background attention range” will be described later with an example.

図２は、本開示にかかる映像処理装置３０の構成を示す図である。図２に示す映像処理装置３０は、第１及び第２の通信部３１、３２と、記憶部３３と、制御部３４とを備える。 FIG. 2 is a diagram showing a configuration of the video processing device 30 according to the present disclosure. The video processing device 30 illustrated in FIG. 2 includes first and second communication units 31 and 32, a storage unit 33, and a control unit 34.

第１の通信部３１は、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ等の規格に準拠して、ネットワークを介してデータ通信を行う通信モジュールである。第２の通信部３２は、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ−Ｆｉ等の規格に準拠して、投影装置１２とデータ通信を行う通信モジュールである。 The first communication unit 31 is a communication module that performs data communication via a network according to standards such as IEEE 802.11, Bluetooth (registered trademark), Wi-Fi. The second communication unit 32 is a communication module that performs data communication with the projection device 12 in accordance with standards such as IEEE 802.11, Bluetooth, and Wi-Fi.

記憶部３３は、ＨＤＤやＳＳＤなどの記憶装置である。記憶部３３は、各種のプログラム、及び、投影装置１２に送信する映像信号であって、透明スクリーン１１に投影する映像を示す映像信号（例えば、試合のスコア、選手に関する情報や顔写真などを示す映像信号）を格納する。なお、映像信号は第１の通信部３１及びネットワークを介して外部装置から提供されるものであってもよい。また、記憶部３３は、透明スクリーン１１の特性（表示装置の背景を透過するときの表示特性）を記憶している。例えば、透明スクリーン１１の特性としては、予め第１の撮像装置２１で撮影した透明スクリーン１１越しの背景を示す背景画像情報を含む。 The storage unit 33 is a storage device such as an HDD or SSD. The storage unit 33 is a video signal that is a video signal that is transmitted to the various projection programs and the projection device 12 and that is projected on the transparent screen 11 (for example, a score of a match, information about a player, a facial photograph, etc.). Video signal) is stored. The video signal may be provided from an external device via the first communication unit 31 and the network. The storage unit 33 also stores the characteristics of the transparent screen 11 (display characteristics when the background of the display device is transmitted). For example, the characteristics of the transparent screen 11 include background image information indicating a background through the transparent screen 11 captured by the first imaging device 21 in advance.

制御部３４は、ＣＰＵやＭＰＵなどで構成され、映像処理装置３０の全体の動作を制御する。制御部３４は、記憶部３３に格納されたプログラムを実行することによって、各種の機能を実現する。制御部３４の各種の機能については、後述する動作の説明において詳細に説明する。 The control unit 34 includes a CPU, an MPU, and the like, and controls the overall operation of the video processing device 30. The control unit 34 realizes various functions by executing the programs stored in the storage unit 33. Various functions of the control unit 34 will be described in detail in the description of the operation described later.

なお、制御部３４の機能は、ハードウェアとソフトウェアの協同により実現したが、制御部３４を所定の機能を実現するように専用に設計されたハードウェア回路のみで実現してもよい。例えば、制御部３４は、ＣＰＵ、ＭＰＵのみならず、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣ等で構成することができる。 The function of the control unit 34 is realized by cooperation of hardware and software, but the control unit 34 may be realized only by a hardware circuit specially designed to realize a predetermined function. For example, the control unit 34 can be configured not only by the CPU and MPU, but also by DSP, FPGA, ASIC and the like.

以上、本開示の映像表示システム１及び映像処理装置３０の構成について説明したが、実施の形態１の映像表示システム１は、第１の撮像装置２１で予め撮影した透明スクリーン１１越しの背景を示す背景画像情報（透明スクリーン１１の特性）に基づいて元映像の変換処理を行う。 The configurations of the video display system 1 and the video processing device 30 according to the present disclosure have been described above, but the video display system 1 according to the first embodiment shows the background through the transparent screen 11 captured in advance by the first imaging device 21. The conversion process of the original video is performed based on the background image information (characteristics of the transparent screen 11).

［１−２．動作］
以上のように構成された実施の形態１の映像表示システム１について、その動作を以下説明する。 [1-2. motion]
The operation of the video display system 1 of the first embodiment configured as described above will be described below.

本実施の形態１の映像表示システム１では、透明スクリーン１１の特性、すなわち、予め第１の撮像装置２１で撮影した透明スクリーン１１越しの背景を示す背景画像情報に基づいて、透明スクリーン１１において背景と映像とが重なるときに映像の視認性を向上するように、映像の変換処理を行う。これにより、透明スクリーン１１において背景と映像とが重なるときに、透明スクリーン１１の背景に起因して映像の視認性が低下することを抑制することができる。 In the video display system 1 according to the first embodiment, the background of the transparent screen 11 is based on the characteristics of the transparent screen 11, that is, the background image information indicating the background over the transparent screen 11 captured by the first imaging device 21 in advance. And the video are overlapped with each other, the video conversion processing is performed so as to improve the visibility of the video. Accordingly, when the background and the image overlap on the transparent screen 11, it is possible to prevent the visibility of the image from being reduced due to the background of the transparent screen 11.

図３は、実施の形態１にかかる映像表示システム１の映像処理装置３０による映像処理動作を示すフローチャートである。図３に示すように、映像処理装置３０の制御部３４は、記憶部３３に記憶している映像信号が示す元映像の輝度及び色度を分析する（Ｓ１１）。また、制御部３４は、第１の撮像装置２１で撮影されて記憶部３３に記憶されている背景画像情報が示す背景の輝度及び色度を分析する（Ｓ１２）。 FIG. 3 is a flowchart showing a video processing operation by the video processing device 30 of the video display system 1 according to the first exemplary embodiment. As shown in FIG. 3, the control unit 34 of the image processing device 30 analyzes the luminance and chromaticity of the original image indicated by the image signal stored in the storage unit 33 (S11). Further, the control unit 34 analyzes the brightness and chromaticity of the background indicated by the background image information captured by the first imaging device 21 and stored in the storage unit 33 (S12).

次に、制御部３４は、これらの分析結果に基づいて、元映像の補正が必要か否かの判断を行う（Ｓ１３）。具体的には、制御部３４は、透明スクリーン１１において背景と映像とが重なるときに背景に起因して映像の視認性が低下する場合に、元映像の補正が必要と判断する（Ｓ１３のＹＥＳ）。例えば、制御部３４は、元映像の輝度が背景の輝度を考慮した所定のしきい値よりも低い場合、又は、元映像の色と背景の色との差が少ない場合に、元映像の補正が必要と判断する。また、例えば、制御部３４は、元映像のコントラストが所定量よりも小さい場合、又は、元映像と背景とのコントラストが所定量よりも小さい場合に、元映像の補正が必要と判断する。 Next, the control unit 34 determines whether or not the original image needs to be corrected based on these analysis results (S13). Specifically, the control unit 34 determines that the correction of the original image is necessary when the visibility of the image decreases due to the background when the background and the image overlap each other on the transparent screen 11 (YES in S13). ). For example, the control unit 34 corrects the original image when the luminance of the original image is lower than a predetermined threshold value considering the luminance of the background or when the difference between the color of the original image and the color of the background is small. Determine that is necessary. Further, for example, the control unit 34 determines that the correction of the original image is necessary when the contrast of the original image is smaller than a predetermined amount, or when the contrast between the original image and the background is smaller than the predetermined amount.

制御部３４は、元映像の補正が必要であると判断した場合、制御部３４は、透明スクリーン１１において背景と映像とが重なるときに映像の視認性が向上するように、元映像の補正を行う（Ｓ１４）。例えば、制御部３４は、元映像の輝度、色度、コントラストの補正、及び、輪郭強調等を行う。より具体的には、制御部３４は、元映像の輝度の補正において、背景の輝度が明るい場合には元映像の輝度を高める。また、制御部３４は、色度の補正において、背景が黒色や青色、赤色等の暗い色である場合には元映像の色を白色や黄色、水色等の明るい色に変更する。 When the control unit 34 determines that the original image needs to be corrected, the control unit 34 corrects the original image so that the visibility of the image is improved when the background and the image overlap on the transparent screen 11. Perform (S14). For example, the control unit 34 corrects the brightness, chromaticity, and contrast of the original image, and enhances the contour. More specifically, in the correction of the luminance of the original image, the control unit 34 increases the luminance of the original image when the background luminance is bright. Further, in the chromaticity correction, the control unit 34 changes the color of the original image to a bright color such as white, yellow, or light blue when the background is a dark color such as black, blue, or red.

その後、制御部３４は、補正した映像を示す映像信号を投影装置１２に送信する（Ｓ１５）。 After that, the control unit 34 transmits a video signal indicating the corrected video to the projection device 12 (S15).

一方、ステップＳ１３において、制御部３４は、元映像の補正が必要でないと判断した場合、元映像を示す映像信号を投影装置１２に送信する（Ｓ１６）。 On the other hand, when it is determined in step S13 that the correction of the original image is not necessary, the control unit 34 transmits a video signal indicating the original image to the projection device 12 (S16).

これにより、投影装置１２は、映像信号に基づいて投影光を生成し、投影光を透明スクリーン１１に投影する。 Thereby, the projection device 12 generates projection light based on the video signal and projects the projection light on the transparent screen 11.

［１−３．効果等］
以上のように、本実施の形態において、映像表示システム１は、透明スクリーン１１と、投影装置１２と、映像処理装置３０とを備える。透明スクリーン１１と投影装置１２とは、映像信号が示す映像を表示し、かつ、背景を透過する。映像処理装置３０は、投影装置１２に送信する映像信号が示す影像を、透明スクリーン１１の特性（表示装置の背景を透過するときの表示特性）に基づいて変換処理する。 [1-3. Effects, etc.]
As described above, in the present embodiment, video display system 1 includes transparent screen 11, projection device 12, and video processing device 30. The transparent screen 11 and the projection device 12 display the image indicated by the image signal and transmit the background. The video processing device 30 performs conversion processing on the image represented by the video signal transmitted to the projection device 12 based on the characteristics of the transparent screen 11 (display characteristics when the background of the display device is transparent).

これにより、透明スクリーン１１の特性、例えば、予め第１の撮像装置２１で撮影した透明スクリーン１１越しの背景を示す背景画像情報に基づいて、透明スクリーン１１において背景と映像とが重なるときに映像の視認性を向上するように、映像の変換処理を行うことができる。そのため、透明スクリーン１１において背景と映像とが重なるときに、透明スクリーン１１の背景に起因して映像の視認性が低下することを抑制することができる。 Thereby, based on the characteristics of the transparent screen 11, for example, the background image information indicating the background over the transparent screen 11 captured by the first imaging device 21 in advance, when the background overlaps the image on the transparent screen 11, Image conversion processing can be performed so as to improve the visibility. Therefore, when the background and the image overlap on the transparent screen 11, it is possible to prevent the visibility of the image from being reduced due to the background of the transparent screen 11.

（実施の形態２）
実施の形態１では、映像処理装置３０は、映像信号が示す元映像全体を補正した。実施の形態２では、映像信号が示す元映像が文字、又は、人や動物等の静止画像を含む場合、映像処理装置３０は、映像信号が示す元映像から文字、又は、人や動物等の静止画像を抽出し、抽出した文字や静止画像を加工する。 (Embodiment 2)
In the first embodiment, the video processing device 30 corrects the entire original video represented by the video signal. In the second embodiment, when the original image indicated by the image signal includes a character or a still image of a person, an animal, or the like, the image processing device 30 causes the image processing device 30 to change the original image indicated by the image signal to a character, or a person, an animal, or the like. Extract a still image and process the extracted characters and still images.

実施の形態２にかかる映像表示システム１の構成は、図１及び図２を参照して説明した実施の形態１のものと基本的に同様であるが、映像処理装置３０の制御部３４の機能、動作が前述のものと異なる。なお、実施の形態２の映像表示システム１は、第１の撮像装置２１で撮影した透明スクリーン１１越しの背景を示す背景画像情報（透明スクリーン１１の特性）に基づいて元映像の文字や静止画像の変換処理を行う。 The configuration of the video display system 1 according to the second embodiment is basically the same as that of the first embodiment described with reference to FIGS. 1 and 2, but the function of the control unit 34 of the video processing device 30. , The operation is different from that described above. The video display system 1 according to the second embodiment is based on the background image information (characteristics of the transparent screen 11) indicating the background over the transparent screen 11 captured by the first imaging device 21 and the characters or the still image of the original video. Conversion processing of.

以下、図４及び図５を用いて、実施の形態２にかかる映像処理装置３０の動作を説明する。図４は、実施の形態２にかかる映像処理装置３０による映像処理動作を示すフローチャートである。 The operation of the video processing device 30 according to the second embodiment will be described below with reference to FIGS. 4 and 5. FIG. 4 is a flowchart showing a video processing operation by the video processing device 30 according to the second embodiment.

図４に示すように、映像処理装置３０の制御部３４は、記憶部３３に記憶している映像信号が示す元映像から文字、又は、人や動物等の静止画像を抽出する（Ｓ２１）。制御部３４は、文字を抽出した場合、この文字の輝度、色度、フォントの種類、サイズ等を分析する（Ｓ２２）。また、制御部３４は、人や動物等の静止画像を抽出した場合、この静止画像の輝度、色度等を分析する（Ｓ２２）。また、制御部３４は、記憶部３３に記憶している背景画像情報が示す背景の輝度、色度等を分析する（Ｓ２３）。 As shown in FIG. 4, the control unit 34 of the video processing device 30 extracts a character or a still image of a person, an animal, or the like from the original video indicated by the video signal stored in the storage unit 33 (S21). When the character is extracted, the control unit 34 analyzes the brightness, chromaticity, font type, size, etc. of the character (S22). When extracting a still image of a person, an animal, or the like, the control unit 34 analyzes the brightness, chromaticity, etc. of this still image (S22). Further, the control unit 34 analyzes the brightness, chromaticity, etc. of the background indicated by the background image information stored in the storage unit 33 (S23).

次に、制御部３４は、これらの分析結果に基づいて、文字や静止画像の加工が必要か否かの判断を行う（Ｓ２４）。具体的には、制御部３４は、透明スクリーン１１において背景と文字又は静止画像とが重なるときに背景に起因して文字又は静止画像の視認性が低下する場合に、文字や静止画像の加工が必要と判断する。制御部３４は、文字や静止画像の加工が必要であると判断した場合、透明スクリーン１１において背景と文字又は静止画像とが重なるときに文字又は静止画像の視認性が向上するように、文字や静止画像の加工を行う（Ｓ２５）。文字や静止画像の加工の必要性判断、及び、文字や静止画像の加工の一例について以下に説明する。 Next, the control unit 34 determines whether or not the processing of the character or the still image is necessary based on these analysis results (S24). Specifically, when the background and the character or the still image are overlapped on the transparent screen 11 and the visibility of the character or the still image is deteriorated due to the background, the control unit 34 processes the character or the still image. Judge as necessary. When the control unit 34 determines that the character or the still image needs to be processed, the character or the still image is improved so that the visibility of the character or the still image is improved when the background and the character or the still image overlap with each other on the transparent screen 11. The still image is processed (S25). An example of determining the necessity of processing a character or a still image and an example of processing a character or a still image will be described below.

図５（ａ）は、元映像に含まれる文字の加工の一例を説明するための図であり、図５（ｂ）は、元映像に含まれる人の静止画像の加工の一例を説明するための図である。図５（ａ）の一例では、長方形状の元映像Ａ１０は文字Ａ１１を含み、元映像Ａ１０における文字Ａ１１以外の部分は無色である。また、図５（ｂ）の一例では、長方形状の元映像Ａ２０は人の静止画像Ａ２１を含み、元映像Ａ２０における静止画像Ａ２１以外の部分は無色である。 FIG. 5A is a diagram for explaining an example of processing the characters included in the original video, and FIG. 5B is an example for processing the still image of the person included in the original video. FIG. In the example of FIG. 5A, the rectangular original image A10 includes the characters A11, and the parts of the original image A10 other than the characters A11 are colorless. Further, in the example of FIG. 5B, the rectangular original image A20 includes a still image A21 of a person, and the portion of the original image A20 other than the still image A21 is colorless.

ここで、本願発明者らは、透明スクリーン１１の背景が黒色等の暗い色である場合（いわゆる、黒背景）、この透明スクリーン１１に表示する文字が青色や赤色等の暗い色であり、かつ、文字のサイズが所定サイズ以下であると、透明スクリーン１１に表示したこの文字を視認し難いことを見出した。また、本願発明者らは、透明スクリーン１１の背景が黒色等の暗い色である場合、この透明スクリーン１１に表示する人や動物等の静止画像を視認し難いことを見出した。このような知見に基づき、本実施の形態では、文字や静止画像が視認し難いときに、これらが視認し易くなるように、文字や静止画像の加工を行う。 Here, when the background of the transparent screen 11 is a dark color such as black (a so-called black background), the characters displayed on the transparent screen 11 are a dark color such as blue or red, and It has been found that it is difficult to visually recognize the character displayed on the transparent screen 11 when the character size is equal to or smaller than a predetermined size. Further, the inventors of the present application have found that when the background of the transparent screen 11 is a dark color such as black, it is difficult to visually recognize a still image of a person, an animal or the like displayed on the transparent screen 11. Based on such knowledge, in the present embodiment, when a character or a still image is difficult to be visually recognized, the character or the still image is processed so that the character or the still image can be easily visually recognized.

すなわち、制御部３４は、例えば図５（ａ）に示すように、元映像Ａ１０から文字Ａ１１を抽出したとき、背景画像情報が示す透明スクリーン１１の背景が黒色等の暗い色であり、かつ、文字Ａ１１が青色や赤色等の暗い色であり、さらに文字Ａ１１のサイズが所定サイズ以下である場合に、文字Ａ１１の加工が必要であると判断する（Ｓ２４のＹＥＳ）。一方、制御部３４は、透明スクリーン１１の背景が黒色等の暗い色であり、かつ、文字Ａ１１が青色や赤色等の暗い色であっても、文字Ａ１１のサイズが所定サイズよりも大きい場合には、文字Ａ１１の加工は必要でないと判断する（Ｓ２４のＮＯ）。また、制御部３４は、透明スクリーン１１の背景が黒色等の暗い色であり、かつ、文字Ａ１１が白色や黄色等の明るい色である場合にも、文字Ａ１１の加工は必要でないと判断する（Ｓ２４のＮＯ）。 That is, for example, as illustrated in FIG. 5A, when the character A11 is extracted from the original image A10, the control unit 34 indicates that the background of the transparent screen 11 indicated by the background image information is a dark color such as black, and If the character A11 is a dark color such as blue or red and the size of the character A11 is equal to or smaller than the predetermined size, it is determined that the character A11 needs to be processed (YES in S24). On the other hand, even if the background of the transparent screen 11 is a dark color such as black and the character A11 is a dark color such as blue or red, the control unit 34 determines that the size of the character A11 is larger than the predetermined size. Determines that the processing of the character A11 is not necessary (NO in S24). In addition, the control unit 34 determines that the processing of the character A11 is not necessary even when the background of the transparent screen 11 is a dark color such as black and the character A11 is a bright color such as white or yellow ( (NO in S24).

制御部３４は、文字Ａ１１の加工が必要であると判断した場合、例えば、文字Ａ１１を水色等の明るい色に変更したり、白色等の明るい色で縁取りをしたり、サイズを所定サイズよりも大きくしたり、フォントの種類を変更したり（例えば、明朝体をゴシック体に変更）して、文字Ａ１１のシルエットを強調する加工を行う（Ｓ２５）。 When the control unit 34 determines that the character A11 needs to be processed, for example, the character A11 is changed to a light color such as light blue or the character A11 is bordered with a light color such as white, and the size is larger than a predetermined size. The size of the font is increased or the font type is changed (for example, the Mincho font is changed to the Gothic font) to emphasize the silhouette of the character A11 (S25).

また、制御部３４は、例えば図５（ｂ）に示すように、元映像Ａ２０から人の静止画像Ａ２１を抽出したとき、背景画像情報が示す透明スクリーン１１の背景が黒色等の暗い色である場合に、静止画像Ａ２１の加工が必要であると判断する（Ｓ２４のＹＥＳ）。 Further, when the control unit 34 extracts a still image A21 of a person from the original image A20, for example, as illustrated in FIG. 5B, the background of the transparent screen 11 indicated by the background image information is a dark color such as black. In this case, it is determined that the still image A21 needs to be processed (YES in S24).

制御部３４は、静止画像Ａ２１の加工が必要であると判断した場合、例えば、人の静止画像Ａ２１の周りに白色等の明るい色の円形の領域Ａ２２を追加したり（丸抜き、いわゆる縁取り処理）、元映像Ａ２０における静止画像Ａ２１以外の部分に水色等の明るい色を設定したり（背景ベタ、いわゆる縁取り処理）、静止画像Ａ２１の周りに光っているようにみえる領域Ａ２３を設ける光彩処理（いわゆる縁取り処理）を施したりして、人の静止画像Ａ２１のシルエットを強調する加工を行う（Ｓ２５）。 When it is determined that the still image A21 needs to be processed, the control unit 34 adds, for example, a circular area A22 of a bright color such as white around the human still image A21 (circle-cutting, so-called edging processing). ), a bright color such as light blue is set in a portion other than the still image A21 in the original image A20 (background solid, so-called edging process), and an iris process for providing an area A23 that seems to shine around the still image A21 ( Processing for emphasizing the silhouette of the still image A21 of a person is performed by performing so-called edging processing) (S25).

その後、制御部３４は、加工した文字や静止画像を含む映像を示す映像信号を投影装置１２に送信する（Ｓ２６）。 After that, the control unit 34 transmits a video signal indicating a video including the processed characters and the still image to the projection device 12 (S26).

一方、ステップＳ２４において加工が必要でないと判断した場合、制御部３４は、元映像を示す映像信号を投影装置１２に送信する（Ｓ２７）。 On the other hand, when it is determined in step S24 that the processing is not necessary, the control unit 34 transmits a video signal indicating the original video to the projection device 12 (S27).

以上のように、本実施の形態２の映像表示システム１によれば、映像信号が示す元映像が文字、又は、人や動物等の静止画像を含む場合、映像から文字、又は、人や動物等の静止画像を抽出し、透明スクリーン１１の特性、すなわち、予め第１の撮像装置２１で撮影した透明スクリーン１１越しの背景を示す背景画像情報に基づいて、透明スクリーン１１において背景と文字又は静止画像とが重なるときに文字又は静止画像の視認性を向上するように、文字又は静止画像のシルエットを強調する加工を行う。これにより、透明スクリーン１１において背景と映像とが重なるときに、透明スクリーン１１の背景に起因して映像の視認性が低下することを抑制することができる。 As described above, according to the video display system 1 of the second embodiment, when the original video indicated by the video signal includes a character or a still image of a person or an animal, the character is converted from the video or the person or the animal. And the like on the transparent screen 11 based on the characteristics of the transparent screen 11, that is, background image information indicating the background over the transparent screen 11 captured by the first imaging device 21 in advance. A process of emphasizing the silhouette of a character or a still image is performed so that the visibility of the character or the still image is improved when the image and the image overlap. Accordingly, when the background and the image overlap on the transparent screen 11, it is possible to prevent the visibility of the image from being reduced due to the background of the transparent screen 11.

（実施の形態３）
実施の形態１及び２では、予め第１の撮像装置２１で撮影した透明スクリーン１１越しの背景を示す背景画像情報（透明スクリーン１１の特性）に基づいて元映像の変換処理を行った。実施の形態３では、透明スクリーン１１に表示された表示映像（映像＋背景）に基づいて元映像の変換処理を行う。 (Embodiment 3)
In the first and second embodiments, the conversion process of the original video is performed based on the background image information (characteristic of the transparent screen 11) indicating the background over the transparent screen 11 captured by the first imaging device 21 in advance. In the third embodiment, the conversion process of the original image is performed based on the display image (image+background) displayed on the transparent screen 11.

実施の形態３にかかる映像表示システム１の構成は、図１及び図２を参照して説明した実施の形態１のものと基本的に同様であるが、映像処理装置３０の制御部３４の機能、動作が前述のものと異なる。なお、実施の形態３の映像表示システム１は、第１の撮像装置２１の出力に基づいて元映像の変換処理を行う。 The configuration of the video display system 1 according to the third embodiment is basically the same as that of the first embodiment described with reference to FIGS. 1 and 2, but the function of the control unit 34 of the video processing device 30. , The operation is different from that described above. The video display system 1 according to the third embodiment performs the conversion process of the original video based on the output of the first imaging device 21.

以下、図６及び図７を用いて、実施の形態３にかかる映像処理装置３０の動作を説明する。図６は、実施の形態３にかかる映像処理装置３０による映像処理動作を示すフローチャートである。 The operation of the video processing device 30 according to the third embodiment will be described below with reference to FIGS. 6 and 7. FIG. 6 is a flowchart showing a video processing operation by the video processing device 30 according to the third exemplary embodiment.

図６に示すように、映像処理装置３０の制御部３４は、記憶部３３に記憶している元映像を示す映像信号を投影装置１２に送信する（Ｓ３１）。これにより、投影装置１２は、映像信号に基づいて投影光を生成し、投影光を透明スクリーン１１に投影する。第１の撮像装置２１は、透明スクリーン１１に表示された映像と透明スクリーン１１を通して視認される背景とが重なった表示映像を撮像する。 As shown in FIG. 6, the control unit 34 of the video processing device 30 transmits a video signal indicating the original video stored in the storage unit 33 to the projection device 12 (S31). Thereby, the projection device 12 generates projection light based on the video signal and projects the projection light on the transparent screen 11. The first imaging device 21 captures a display image in which the image displayed on the transparent screen 11 and the background visually recognized through the transparent screen 11 overlap each other.

次に、制御部３４は、第１の撮像装置２１で撮像された表示映像を示す表示映像データを取得する（Ｓ３２）。次に、制御部３４は、取得した表示映像データから表示映像の輝度及び色度を分析する（Ｓ３３）。また、制御部３４は、記憶部３３に記憶している映像信号が示す元映像の輝度及び色度を分析する（Ｓ３４）。 Next, the control unit 34 acquires display video data indicating a display video imaged by the first imaging device 21 (S32). Next, the control unit 34 analyzes the luminance and chromaticity of the display image from the acquired display image data (S33). Further, the control unit 34 analyzes the luminance and chromaticity of the original image indicated by the image signal stored in the storage unit 33 (S34).

次に、制御部３４は、分析した表示映像の輝度及び色度と元映像の輝度及び色度とを比較し（Ｓ３５）、この分析比較結果に基づいて、元映像の輝度及び色度の変更が必要か否かの判断を行う（Ｓ３６）。具体的には、制御部３４は、表示映像の視認性が低下する場合に元映像の輝度及び色度の変更が必要と判断する。制御部３４は、元映像の輝度及び色度の変更が必要であると判断した場合、表示映像がより視認し易くなるように、元映像の輝度及び色度の変更処理を行う（Ｓ３７）。元映像の輝度及び色度の変更の必要性判断、及び、元映像の輝度及び色度の変更処理の一例について以下に説明する。 Next, the control unit 34 compares the luminance and chromaticity of the analyzed display image with the luminance and chromaticity of the original image (S35), and changes the luminance and chromaticity of the original image based on the analysis comparison result. It is determined whether or not is necessary (S36). Specifically, the control unit 34 determines that it is necessary to change the luminance and chromaticity of the original image when the visibility of the displayed image decreases. When the control unit 34 determines that the luminance and chromaticity of the original image need to be changed, the control unit 34 performs the luminance and chromaticity changing process of the original image so that the display image can be more easily visually recognized (S37). An example of determining the necessity of changing the luminance and chromaticity of the original image and an example of a process of changing the luminance and chromaticity of the original image will be described below.

図７（ａ）は透明スクリーン１１に表示する元映像Ａ３１の一例を示す図であり、図７（ｂ）は透明スクリーン１１に表示された映像と背景とが重なった映像Ａ３２の一例を示す図である。図７（ａ）の例では、元映像Ａ３１は異なる色の円形形状の複数の画像を含む。より具体的には、元映像Ａ３１は、各色において６個ずつからなる白色の画像の列、黄色の画像の列、水色の画像の列、緑色の画像の列、赤色の画像の列、及び、青色の画像の列を含む。 FIG. 7A is a diagram showing an example of the original image A31 displayed on the transparent screen 11, and FIG. 7B is a diagram showing an example of an image A32 in which the image displayed on the transparent screen 11 and the background overlap. Is. In the example of FIG. 7A, the original image A31 includes a plurality of circular images of different colors. More specifically, the original image A31 includes a white image row, a yellow image row, a light blue image row, a green image row, a red image row, and a red image row, each of which includes six pieces in each color. Contains a column of blue images.

図７（ｂ）の例では、透明スクリーン１１はサッカースタジアムのピッチ及び鑑賞席を含む背景を透過するとともに、図７（ａ）の元映像Ａ３１に基づく映像を表示する。これにより、鑑賞者は、映像と背景とが重なった映像Ａ３２を視認する。透明スクリーン１１に映像を表示する場合、透明スクリーン１１の背景の輝度及び色度に起因して、元映像Ａ３１の明るさや色調が再現されなかったり、視認し難くなったりする。図７（ｂ）の例では、透明スクリーン１１の背景におけるサッカースタジアムのピッチの輝度は明るく、鑑賞席の輝度は暗い。また、図９の説明において後述するように、サッカースタジアムのピッチは主に緑色を含み、鑑賞席は青色や赤色、白色等を含む。このように、透明スクリーン１１の背景は領域ごとに輝度及び色度が異なることがある。 In the example of FIG. 7B, the transparent screen 11 allows the background including the pitch of the soccer stadium and the viewing seats to pass through and displays an image based on the original image A31 of FIG. 7A. As a result, the viewer visually recognizes the image A32 in which the image and the background overlap. When an image is displayed on the transparent screen 11, the brightness and color tone of the original image A31 may not be reproduced or may be difficult to visually recognize due to the brightness and chromaticity of the background of the transparent screen 11. In the example of FIG. 7B, the pitch of the soccer stadium on the background of the transparent screen 11 is bright, and the luminance of the viewing seat is dark. As will be described later in the description of FIG. 9, the pitch of the soccer stadium mainly includes green, and the viewing seats include blue, red, white, and the like. As described above, the background of the transparent screen 11 may have different brightness and chromaticity for each area.

制御部３４は、例えば、映像Ａ３２において元映像Ａ３１の明るさや色調が再現されていない場合に、又は、映像Ａ３２の明るさや色調が背景の明るさや色調に近く映像Ａ３２が視認し難い場合に、元映像Ａ３１の輝度及び色度の変更が必要であると判断する（Ｓ３６のＹＥＳ）。制御部３４は、元映像Ａ３１の輝度及び色度の変更が必要であると判断した場合、例えば、映像Ａ３２において元映像Ａ３１の明るさや色調がより再現されるように、又は、映像Ａ３２がより視認し易くなるように、元映像Ａ３１の輝度及び色度を変更する（Ｓ３７）。このとき、制御部３４は、上述した実施の形態１の元映像の補正処理、及び／又は、実施の形態２の元映像における文字、人や動物等の静止画像の抽出及び加工処理をさらに行ってもよい。 The control unit 34, for example, when the brightness or color tone of the original image A31 is not reproduced in the image A32, or when the brightness or color tone of the image A32 is close to the brightness or color tone of the background and the image A32 is difficult to visually recognize, It is determined that the luminance and chromaticity of the original image A31 need to be changed (YES in S36). When the control unit 34 determines that the luminance and chromaticity of the original image A31 need to be changed, for example, the brightness and color tone of the original image A31 are reproduced more in the image A32, or the image A32 is more reproduced. The luminance and chromaticity of the original image A31 are changed so that they can be easily viewed (S37). At this time, the control unit 34 further performs the correction processing of the original video of the first embodiment described above, and/or the extraction processing of the still image of the character, person, animal or the like in the original video of the second embodiment. May be.

その後、制御部３４は、変更処理を行った映像を示す映像信号を投影装置１２に送信する（Ｓ３８）。 After that, the control unit 34 transmits a video signal indicating the changed video to the projection device 12 (S38).

ステップＳ３６において変更が必要でないと判断した場合、制御部３４は、元映像を示す映像信号を投影装置１２に送信する（Ｓ３９）。 When it is determined that the change is not necessary in step S36, the control unit 34 transmits a video signal indicating the original video to the projection device 12 (S39).

以上のように、本実施の形態３の映像表示システム１によれば、透明スクリーン１１に表示された映像と透明スクリーン１１を通して視認される背景とが重なった表示映像を第１の撮像装置２１で撮像し、この表示映像の輝度及び色度に基づいて、表示映像がより視認し易くなるように、元映像の輝度及び色度の変更処理を行う。これにより、透明スクリーン１１において背景と映像とが重なるときに、透明スクリーン１１の背景の輝度及び色度に起因して映像の視認性が低下することを抑制することができる。 As described above, according to the video display system 1 of the third embodiment, the display image in which the video displayed on the transparent screen 11 and the background visually recognized through the transparent screen 11 overlap each other is displayed by the first imaging device 21. An image is captured, and based on the luminance and chromaticity of this display image, the luminance and chromaticity change processing of the original image is performed so that the display image can be seen more easily. As a result, when the background and the image overlap on the transparent screen 11, it is possible to prevent the visibility of the image from being reduced due to the brightness and chromaticity of the background of the transparent screen 11.

（実施の形態４）
実施の形態３では、実際に元映像が透明スクリーン１１上で視認できる映像（元映像＋背景）に基づいて元映像の変換処理を行った。実施の形態４では、透明スクリーン１１の背にある背景に基づいて元映像の変換処理を行う。 (Embodiment 4)
In the third embodiment, the conversion process of the original image is performed based on the image (original image+background) which is actually visible on the transparent screen 11. In the fourth embodiment, the conversion process of the original image is performed based on the background behind the transparent screen 11.

実施の形態４にかかる映像表示システム１の構成は、図１及び図２を参照して説明した実施の形態１のものと基本的に同様であるが、映像処理装置３０の制御部３４の機能、動作が前述のものと異なる。なお、実施の形態４の映像表示システム１は、第２の撮像装置２２の出力に基づいて元映像の変換処理を行う。 The configuration of the video display system 1 according to the fourth embodiment is basically the same as that of the first embodiment described with reference to FIGS. 1 and 2, but the function of the control unit 34 of the video processing device 30. , The operation is different from that described above. The video display system 1 according to the fourth embodiment performs the conversion process of the original video based on the output of the second imaging device 22.

以下、図８及び図９を用いて、実施の形態３にかかる映像処理装置３０の動作を説明する。図８は、実施の形態４にかかる映像処理装置３０による映像処理動作を示すフローチャートである。 Hereinafter, the operation of the video processing device 30 according to the third embodiment will be described with reference to FIGS. 8 and 9. FIG. 8 is a flowchart showing a video processing operation by the video processing device 30 according to the fourth embodiment.

まず、第２の撮像装置２２が透明スクリーン１１の背景を直接に撮像する。次に、図８に示すように、映像処理装置３０の制御部３４は、第２の撮像装置２２で撮影された背景を示す背景画像データを取得する（Ｓ４１）。次に、制御部３４は、取得した背景画像データから背景の輝度、色度、及び後述する背景の注目範囲を分析する（Ｓ４２）。また、制御部３４は、記憶部３３に記憶している映像信号が示す元映像の輝度及び色度を分析する（Ｓ４３）。 First, the second imaging device 22 directly images the background of the transparent screen 11. Next, as shown in FIG. 8, the control unit 34 of the video processing device 30 acquires background image data indicating the background imaged by the second imaging device 22 (S41). Next, the control unit 34 analyzes the brightness of the background, the chromaticity, and the attention range of the background, which will be described later, from the acquired background image data (S42). Further, the control unit 34 analyzes the luminance and chromaticity of the original image indicated by the image signal stored in the storage unit 33 (S43).

次に、制御部３４は、これらの分析結果に基づいて、元映像の輝度及び色度の変更が必要か否かの判断を行う（Ｓ４４）。具体的には、制御部３４は、表示映像の視認性が低下する場合に元映像の輝度及び色度の変更が必要と判断する。制御部３４は、元映像の輝度及び色度の変更が必要であると判断した場合、表示映像がより視認し易くなるように、元映像の輝度及び色度の変更処理を行う（Ｓ４５）。元映像の輝度及び色度の変更の必要性判断、及び、元映像の輝度及び色度の変更処理の一例について以下に説明する。 Next, the control unit 34 determines whether or not it is necessary to change the luminance and chromaticity of the original image based on these analysis results (S44). Specifically, the control unit 34 determines that it is necessary to change the luminance and chromaticity of the original image when the visibility of the displayed image decreases. When it is determined that the luminance and chromaticity of the original image need to be changed, the control unit 34 performs the luminance and chromaticity changing process of the original image so that the displayed image can be more easily visually recognized (S45). An example of determining the necessity of changing the luminance and chromaticity of the original image and an example of a process of changing the luminance and chromaticity of the original image will be described below.

図９は第２の撮像装置２２で撮影された背景Ｂ４０の一例を示す図である。図９の例では、サッカースタジアムのピッチ及び鑑賞席を含む背景Ｂ４０が示されており、背景Ｂ４０は異なる輝度及び色度の３つの領域Ｂ４１、Ｂ４２、Ｂ４３からなる。上下方向の中央領域Ｂ４１は、サッカースタジアムのピッチに相当し、主に芝の緑色を含む。本実施の形態では、中央領域Ｂ４１は選手のユニホーム等の白色も含む。この領域Ｂ４１の輝度は明るい。また、上下方向の上部領域Ｂ４２及び下部領域Ｂ４３は、鑑賞席に相当し、青色や赤色、白色を含む。これらの領域Ｂ４２、Ｂ４３の輝度は暗い。このように、第２の撮像装置２２で撮影された背景Ｂ４０に、異なる輝度及び色度の複数の領域が存在する場合、背景の注目範囲を分析する。背景の注目範囲とは、第２の撮像装置２２で撮影された背景画像において、鑑賞者が注目するであろうと予測される対象物の範囲又は対象物を含んでそれよりも広い所定の範囲である。例えば、対象物がサッカースタジアムのピッチである場合、背景の注目範囲はピッチの範囲である。対象物がサッカーボールである場合、背景の注目範囲はサッカーボールを含む所定の範囲である。例えば、図９の例では、サッカースタジアムのピッチ（対象物）の範囲Ｂ４１を注目範囲とする（Ｓ４２）。 FIG. 9 is a diagram showing an example of the background B40 photographed by the second imaging device 22. In the example of FIG. 9, a background B40 including the pitch of a soccer stadium and viewing seats is shown, and the background B40 is composed of three regions B41, B42, and B43 having different luminance and chromaticity. The central region B41 in the up-down direction corresponds to the pitch of the soccer stadium, and mainly includes green grass. In the present embodiment, the central area B41 also includes white such as the uniform of the player. The brightness of this area B41 is bright. The upper area B42 and the lower area B43 in the up-down direction correspond to the viewing seats and include blue, red, and white. The brightness of these areas B42 and B43 is dark. In this way, when the background B40 photographed by the second imaging device 22 has a plurality of regions having different luminance and chromaticity, the attention range of the background is analyzed. The attention range of the background is a range of an object or a predetermined range wider than the range of the object predicted to be noticed by the viewer in the background image captured by the second imaging device 22. is there. For example, when the object is the pitch of a soccer stadium, the attention range of the background is the pitch range. When the object is a soccer ball, the attention range of the background is a predetermined range including the soccer ball. For example, in the example of FIG. 9, the range B41 of the pitch (object) of the soccer stadium is set as the attention range (S42).

制御部３４は、例えば、元映像が背景の注目範囲Ｂ４１と重なったとき、元映像の明るさや色調が再現されないことが予測される場合に、又は、元映像の明るさや色調が背景の明るさや色調に近く元映像が視認し難いと予測される場合に、元映像の輝度及び色度の変更が必要と判断する（Ｓ４４のＹＥＳ）。制御部３４は、元映像の輝度及び色度の変更が必要であると判断した場合、例えば、元映像が背景の注目範囲Ｂ４１と重なったとき、元映像の明るさや色調がより再現されるように、又は、元映像がより視認し易くなるように、背景の注目範囲Ｂ４１の輝度及び色度に合わせて元映像の輝度及び色度を変更する（Ｓ４５）。このとき、制御部３４は、上述した実施の形態１の元映像の補正処理、及び／又は、実施の形態２の元映像における文字、人や動物等の静止画像の抽出及び加工処理をさらに行ってもよい。 The control unit 34, for example, when it is predicted that the brightness and color tone of the original image will not be reproduced when the original image overlaps the attention range B41 of the background, or the brightness and color tone of the original image are different from those of the background. When it is predicted that the original image is difficult to be visually recognized due to its color tone, it is determined that the luminance and chromaticity of the original image need to be changed (YES in S44). When the control unit 34 determines that the luminance and chromaticity of the original image need to be changed, for example, when the original image overlaps the attention range B41 of the background, the brightness and color tone of the original image are reproduced more. Alternatively, the luminance and chromaticity of the original image are changed according to the luminance and chromaticity of the attention range B41 of the background so that the original image can be more easily viewed (S45). At this time, the control unit 34 further performs the correction processing of the original video of the first embodiment described above, and/or the extraction processing of the still image of the character, person, animal or the like in the original video of the second embodiment. May be.

その後、制御部３４は、変更処理を行った映像を示す映像信号を投影装置１２に送信する（Ｓ４６）。 After that, the control unit 34 transmits a video signal indicating the changed video to the projection device 12 (S46).

ステップＳ４４において変更が必要でないと判断した場合、制御部３４は、元映像を示す映像信号を投影装置１２に送信する（Ｓ４７）。 When it is determined that the change is not necessary in step S44, the control unit 34 transmits a video signal indicating the original video to the projection device 12 (S47).

以上のように、本実施の形態４の映像表示システム１によれば、透明スクリーン１１の背景を直接に撮像し、この背景の輝度及び色度に基づいて、表示映像がより視認し易くなるように、元映像の輝度及び色度の変更処理を行う。これにより、透明スクリーン１１において背景と映像とが重なるときに、透明スクリーン１１の背景の輝度及び色度等に起因して映像の視認性が低下することを抑制することができる。 As described above, according to the video display system 1 of the fourth embodiment, the background of the transparent screen 11 is directly imaged, and the displayed video can be more easily viewed based on the brightness and chromaticity of the background. Then, the process of changing the luminance and chromaticity of the original image is performed. As a result, when the background and the image overlap on the transparent screen 11, it is possible to prevent the visibility of the image from being reduced due to the brightness and chromaticity of the background of the transparent screen 11.

（実施の形態５）
実施の形態１〜４では、透明スクリーン１１に表示される映像の視認性を向上することを目的として元映像の変換処理を行う態様について説明した。実施の形態５では、透明スクリーン１１を通して視認される背景の視認性を向上することを目的として元映像の表示位置を変更する態様について説明する。 (Embodiment 5)
In the first to fourth embodiments, the aspect in which the conversion process of the original image is performed for the purpose of improving the visibility of the image displayed on the transparent screen 11 has been described. In the fifth embodiment, a mode in which the display position of the original image is changed for the purpose of improving the visibility of the background visually recognized through the transparent screen 11 will be described.

実施の形態５にかかる映像表示システム１の構成は、図１及び図２を参照して説明した実施の形態１のものと基本的に同様であるが、映像処理装置３０の制御部３４の機能、動作が前述のものと異なる。なお、実施の形態５の映像表示システム１は、第２の撮像装置２２の出力に基づいて映像の表示位置を決定する。 The configuration of the video display system 1 according to the fifth embodiment is basically the same as that of the first embodiment described with reference to FIGS. 1 and 2, but the function of the control unit 34 of the video processing device 30. , The operation is different from that described above. The video display system 1 according to the fifth embodiment determines the video display position based on the output of the second imaging device 22.

以下、図１０、図１１及び図９を用いて、実施の形態５にかかる映像処理装置３０の動作を説明する。図１０は、実施の形態５にかかる映像処理装置３０による映像処理動作を示すフローチャートである。 The operation of the video processing device 30 according to the fifth embodiment will be described below with reference to FIGS. 10, 11 and 9. FIG. 10 is a flowchart showing a video processing operation by the video processing device 30 according to the fifth embodiment.

まず、第２の撮像装置２２が透明スクリーン１１の背景を直接に撮像する。次に、図１０に示すように、映像処理装置３０の制御部３４は、第２の撮像装置２２で撮影された透明スクリーン１１の背景を示す背景画像データを取得する（Ｓ５１）。次に、制御部３４は、取得した背景画像データから背景の輝度及び色度を分析し、上述したサッカースタジアムのピッチである背景の注目範囲を検出する（Ｓ５２）。次に、制御部３４は、検出した背景の注目範囲、又は、分析した背景の輝度及び色度に基づいて、透明スクリーン１１において映像が背景の注目範囲に重ならないように、透明スクリーン１１における表示映像の表示位置を決定する（Ｓ５３）。以下、表示映像の表示位置の決定の具体的一例について説明する。 First, the second imaging device 22 directly images the background of the transparent screen 11. Next, as shown in FIG. 10, the control unit 34 of the video processing device 30 acquires background image data indicating the background of the transparent screen 11 captured by the second image capturing device 22 (S51). Next, the control unit 34 analyzes the brightness and chromaticity of the background from the acquired background image data, and detects the attention range of the background, which is the pitch of the soccer stadium described above (S52). Next, the control unit 34 displays the image on the transparent screen 11 based on the detected background attention range or the analyzed background luminance and chromaticity so that the image does not overlap the background attention range. The display position of the image is determined (S53). Hereinafter, a specific example of determining the display position of the display image will be described.

図１１は、透明スクリーン１１に映像を表示した一例を示す図である。図１１の例では、透明スクリーン１１の背景は図９に示すサッカースタジアムの背景Ｂ４０と同一である。 FIG. 11 is a diagram showing an example in which an image is displayed on the transparent screen 11. In the example of FIG. 11, the background of the transparent screen 11 is the same as the background B40 of the soccer stadium shown in FIG.

制御部３４は、図９に示すように、また上述したように、取得した背景画像データから背景Ｂ４０の輝度及び色度を分析し、サッカースタジアムのピッチの領域Ｂ４１を、鑑賞者が注目するであろうと予測される対象物（例えば、サッカースタジアムのピッチ）を含む背景の注目範囲として決定する（Ｓ５２）。そして、制御部３４は、図１１に示すように、透明スクリーン１１において背景の注目範囲Ｂ４１に重ならないように、すなわちサッカースタジアムのピッチに重ならないように、映像Ａ１の表示位置を決定する（Ｓ５３）。なお、制御部３４は、分析した背景の輝度及び色度に基づいて、例えば最も暗い輝度の領域（図９の領域Ｂ４２又はＢ４３）を表示位置として決定してもよい。 As shown in FIG. 9 and as described above, the control unit 34 analyzes the luminance and chromaticity of the background B40 from the acquired background image data, and the viewer can pay attention to the pitch area B41 of the soccer stadium. It is determined as the attention range of the background including the target object (for example, the pitch of the soccer stadium) predicted to be likely (S52). Then, as shown in FIG. 11, the control unit 34 determines the display position of the image A1 so that it does not overlap the attention range B41 of the background on the transparent screen 11, that is, it does not overlap the pitch of the soccer stadium (S53). ). Note that the control unit 34 may determine, for example, the region with the darkest luminance (region B42 or B43 in FIG. 9) as the display position based on the analyzed luminance and chromaticity of the background.

次に、制御部３４は、決定した表示位置に映像を表示するように制御信号を投影装置１２に送信する（Ｓ５４）。これにより、投影装置１２は、制御信号に従って表示位置の変更を行う。 Next, the control unit 34 transmits a control signal to the projection device 12 so as to display the image at the determined display position (S54). Thereby, the projection device 12 changes the display position according to the control signal.

ところで、本実施の形態では、映像Ａ１は注目範囲Ｂ４１とは異なる背景の注目範囲の拡大映像である。具体的には、この背景の注目範囲は、上述したサッカーボールを含む所定の範囲である。この背景の注目位置の拡大映像Ａ１は、例えば以下のように生成される。 By the way, in the present embodiment, the image A1 is an enlarged image of the attention range in the background different from the attention range B41. Specifically, the attention range of this background is a predetermined range including the above-mentioned soccer ball. The enlarged image A1 of the position of interest on the background is generated as follows, for example.

制御部３４は、背景画像データが示す背景からサッカーボールを検出し、サッカーボールを含む所定の範囲を背景の注目範囲Ｂ１として決定し、この注目範囲Ｂ１の画像を拡大した拡大映像を透明スクリーン１１に表示する映像Ａ１として生成する。これにより、注目位置Ｂ１を強調表示することができる。このとき、分析した背景の輝度及び色度に基づいて、映像Ａ１を表示する位置の背景が黒等の暗い色である場合、映像Ａ１に白色等の明るい色で縁取りを行う映像変換処理を行ってもよい。 The control unit 34 detects a soccer ball from the background indicated by the background image data, determines a predetermined range including the soccer ball as the attention range B1 of the background, and enlarges the enlarged image of the image of the attention range B1 to the transparent screen 11 It is generated as an image A1 to be displayed on. As a result, the attention position B1 can be highlighted. At this time, based on the analyzed luminance and chromaticity of the background, when the background at the position where the image A1 is displayed is a dark color such as black, the image conversion process of edging the image A1 with a bright color such as white is performed. May be.

以上のように、本実施の形態５の映像表示システム１によれば、鑑賞者が注目することが予測される対象物を含む注目範囲Ｂ４１を検出し、検出された注目範囲Ｂ４１に基づいて、透明スクリーン１１において別の注目範囲の映像Ａ１が注目範囲Ｂ４１に重ならないように、透明スクリーン１１における映像Ａ１の表示位置を決定する。これにより、透明スクリーン１１において背景と映像とが重なることに起因して、透明スクリーン１１の背景の視認性が低下することを防止することができる。 As described above, according to the video display system 1 of the fifth embodiment, the attention range B41 including the object predicted to be noticed by the viewer is detected, and based on the detected attention range B41, The display position of the image A1 on the transparent screen 11 is determined so that the image A1 of another attention range on the transparent screen 11 does not overlap the attention range B41. As a result, it is possible to prevent the visibility of the background of the transparent screen 11 from being lowered due to the background and the image overlapping on the transparent screen 11.

（実施の形態６）
実施の形態５では、背景の注目範囲（例えばサッカースタジアムのピッチ）に基づいて表示映像の表示位置を決定した。実施の形態６では、鑑賞者の位置、及び、鑑賞者の注目位置に基づいて映像の表示位置を決定する。 (Embodiment 6)
In the fifth embodiment, the display position of the display image is determined based on the attention range of the background (for example, the pitch of the soccer stadium). In the sixth embodiment, the display position of the image is determined based on the viewer's position and the viewer's attention position.

実施の形態６にかかる映像表示システム１の構成は、図１及び図２を参照して説明した実施の形態１のものと基本的に同様であるが、映像処理装置３０の制御部３４の機能、動作が前述のものと異なる。なお、実施の形態６の映像表示システム１は、検出装置２３の出力に基づいて映像の表示位置を決定する。 The configuration of the video display system 1 according to the sixth embodiment is basically the same as that of the first embodiment described with reference to FIGS. 1 and 2, but the function of the control unit 34 of the video processing device 30. , The operation is different from that described above. The video display system 1 according to the sixth embodiment determines the video display position based on the output of the detection device 23.

以下、図１２及び図１３を用いて、実施の形態６にかかる映像処理装置３０の動作を説明する。図１２は、実施の形態６にかかる映像処理装置３０による映像処理動作を示すフローチャートである。 The operation of the video processing device 30 according to the sixth embodiment will be described below with reference to FIGS. 12 and 13. FIG. 12 is a flowchart showing a video processing operation by the video processing device 30 according to the sixth embodiment.

図１２に示すように、映像処理装置３０の制御部３４は、記憶部３３に記憶している元映像を示す映像信号を投影装置１２に送信する（Ｓ６１）。これにより、投影装置１２は、映像信号に基づいて投影光を生成し、投影光を透明スクリーン１１に投影する。検出装置２３は、この透明スクリーン１１に表示された映像及び背景を鑑賞する鑑賞者の位置及び鑑賞者の注目位置を検出する。次に、制御部３４は、検出装置２３で検出された鑑賞者の位置及び鑑賞者の注目位置を取得する（Ｓ６２）。次に、制御部３４は、鑑賞者の位置及び鑑賞者の注目位置に基づいて、透明スクリーン１１における表示映像の表示位置を決定する（Ｓ６３）。例えば、制御部３４は、鑑賞者が背景に注目しているときには背景を見易いように、一方、鑑賞者が映像に注目しているときには映像を見易いように、映像の表示位置を決定する。次に、制御部３４は、決定した表示位置に映像を表示するように制御信号を投影装置１２に送信する（Ｓ６４）。以下、表示映像の表示位置の決定の具体的一例について説明する。 As shown in FIG. 12, the control unit 34 of the video processing device 30 transmits a video signal indicating the original video stored in the storage unit 33 to the projection device 12 (S61). Thereby, the projection device 12 generates projection light based on the video signal and projects the projection light on the transparent screen 11. The detection device 23 detects the position of the viewer who views the image and background displayed on the transparent screen 11 and the position of the viewer's attention. Next, the control unit 34 acquires the viewer's position and the viewer's attention position detected by the detection device 23 (S62). Next, the control unit 34 determines the display position of the display image on the transparent screen 11 based on the viewer's position and the viewer's attention position (S63). For example, the control unit 34 determines the display position of the image so that the viewer can easily see the background when paying attention to the background and the viewer can easily see the image when the viewer pays attention to the image. Next, the control unit 34 transmits a control signal to the projection device 12 so that the image is displayed at the determined display position (S64). Hereinafter, a specific example of determining the display position of the display image will be described.

図１３（ａ）及び図１３（ｂ）は、映像処理装置３０による表示映像の表示位置の決定動作の一例を説明するための図である。図１３（ａ）及び図１３（ｂ）の例では、透明スクリーン１１の背景Ｂ１はサッカースタジアムであり、投影装置１２が透明スクリーン１１に投影する映像Ａ１は選手の背番号を示す情報（背景の対象物に関する情報）（バナー表示）である。 13A and 13B are diagrams for explaining an example of the operation of determining the display position of the display image by the image processing device 30. In the example of FIGS. 13A and 13B, the background B1 of the transparent screen 11 is a soccer stadium, and the image A1 projected by the projection device 12 on the transparent screen 11 is information indicating the player's uniform number (background). This is information about the object) (banner display).

図１３（ａ）の例では、最初に、映像Ａ１は透明スクリーン１１において背景Ｂ１の上部に表示される。このとき、鑑賞者Ｃ１が透明スクリーン１１に対して所定距離内に接近し、かつ、鑑賞者Ｃ１の注目位置Ｃ２が背景Ｂ１にある場合、制御部３４は、鑑賞者Ｃ１が背景Ｂ１を見易いように、映像Ａ１の表示位置を例えば透明スクリーン１１の上方に設けられた情報表示部Ｂ２に決定する（Ｓ６３）。そして、制御部３４は、決定した表示位置に映像Ａ１を移動するように投影装置１２を制御する（Ｓ６４）。なお、制御部３４は、映像Ａ１の表示位置を透明スクリーン１１の下方や横方向に決定してもよい。このとき、制御部３４は、映像Ａ１を縮小表示するように投影装置１２を制御してもよい。これにより、投影装置１２は、制御信号に従って表示位置の変更を行う。 In the example of FIG. 13A, the image A1 is first displayed on the transparent screen 11 above the background B1. At this time, when the viewer C1 approaches the transparent screen 11 within a predetermined distance and the attention position C2 of the viewer C1 is on the background B1, the control unit 34 makes the viewer C1 easily see the background B1. Then, the display position of the image A1 is determined, for example, in the information display portion B2 provided above the transparent screen 11 (S63). Then, the control unit 34 controls the projection device 12 to move the image A1 to the determined display position (S64). Note that the control unit 34 may determine the display position of the image A1 below or in the horizontal direction of the transparent screen 11. At this time, the control unit 34 may control the projection device 12 to display the image A1 in a reduced size. Thereby, the projection device 12 changes the display position according to the control signal.

一方、図１３（ｂ）に示すように、鑑賞者Ｃ１が透明スクリーン１１に対して所定距離内に接近しておらず、かつ、鑑賞者Ｃ１の注目位置Ｃ２が透明スクリーン１１上方の情報表示部Ｂ２における映像Ａ１にある場合、制御部３４は、鑑賞者Ｃ１が映像Ａ１を見易いように、映像Ａ１が透明スクリーン１１の全面（例えばサッカースタジアムのピッチの全面）に表示されるように映像Ａ１の表示位置及び拡大表示サイズを決定する（Ｓ６３）。そして、制御部３４は、決定した表示位置に映像Ａ１を移動して拡大表示するように投影装置１２を制御する（Ｓ６４）。これにより、投影装置１２は、制御信号に従って表示位置の変更を行う。 On the other hand, as shown in FIG. 13B, the viewer C1 is not close to the transparent screen 11 within a predetermined distance, and the attention position C2 of the viewer C1 is above the transparent screen 11. In the case of the image A1 in B2, the control unit 34 controls the image A1 to be displayed on the entire surface of the transparent screen 11 (for example, the entire pitch of the soccer stadium) so that the viewer C1 can easily see the image A1. The display position and the enlarged display size are determined (S63). Then, the control unit 34 controls the projection device 12 so that the image A1 is moved to the determined display position and enlarged and displayed (S64). Thereby, the projection device 12 changes the display position according to the control signal.

なお、鑑賞者Ｃ１が複数人いる場合、複数の鑑賞者Ｃ１の重心位置を上述した鑑賞者Ｃ１の位置としてもよい。また、複数の鑑賞者Ｃ１の複数の注目位置Ｃ２に基づいて、所定時間ごとに映像Ａ１の表示位置を変更してもよい。 When there are a plurality of viewers C1, the positions of the centers of gravity of the viewers C1 may be the positions of the viewers C1 described above. Further, the display position of the image A1 may be changed every predetermined time based on the plurality of attention positions C2 of the plurality of viewers C1.

以上のように、本実施の形態６の映像表示システム１によれば、鑑賞者Ｃ１の位置及び鑑賞者Ｃ１の注目位置Ｃ２を検出し、検出された鑑賞者Ｃ１の位置及び鑑賞者Ｃ１の注目位置Ｃ２に基づいて、鑑賞者Ｃ１が透明スクリーン１１の背景Ｂ１に注目しているときには、映像Ａ１が背景Ｂ１に重ならないように、透明スクリーン１１における映像Ａ１の表示位置を決定する（図１３（ａ））。これにより、透明スクリーン１１において背景と映像とが重なることに起因して、透明スクリーン１１の背景の視認性が低下することを防止することができる。 As described above, according to the video display system 1 of the sixth embodiment, the position of the viewer C1 and the attention position C2 of the viewer C1 are detected, and the detected position of the viewer C1 and the attention of the viewer C1 are detected. Based on the position C2, when the viewer C1 is paying attention to the background B1 of the transparent screen 11, the display position of the image A1 on the transparent screen 11 is determined so that the image A1 does not overlap the background B1 (FIG. 13( a)). As a result, it is possible to prevent the visibility of the background of the transparent screen 11 from being lowered due to the background and the image overlapping on the transparent screen 11.

一方、鑑賞者Ｃ１が映像Ａ１に注目しているときには、映像Ａ１が背景Ｂ１に重なるように、透明スクリーン１１における映像Ａ１の表示位置を決定する（図１３（ｂ））。これにより、映像Ａ１と背景Ｂ１との両方が同時に視認可能となる。 On the other hand, when the viewer C1 is paying attention to the image A1, the display position of the image A1 on the transparent screen 11 is determined so that the image A1 overlaps the background B1 (FIG. 13B). As a result, both the image A1 and the background B1 can be visually recognized at the same time.

（実施の形態７）
実施の形態６では、鑑賞者が透明スクリーン１１に接近し、かつ、鑑賞者の注目位置が背景にある場合に映像が背景に重ならないようにした。実施の形態７では、鑑賞者が透明スクリーン１１に接近した場合に映像が背景に重なるようにする。さらに、実施の形態７では、鑑賞者の注目位置の近傍に追加の映像を表示する。 (Embodiment 7)
In the sixth embodiment, the image does not overlap the background when the viewer approaches the transparent screen 11 and the viewer's attention position is in the background. In the seventh embodiment, when the viewer approaches the transparent screen 11, the image is overlapped with the background. Furthermore, in the seventh embodiment, an additional image is displayed near the attention position of the viewer.

実施の形態７にかかる映像表示システム１の構成は、図１及び図２を参照して説明した実施の形態１のものと基本的に同様であるが、映像処理装置３０の制御部３４の機能、動作が前述のものと異なる。なお、実施の形態７の映像表示システム１は、第２の撮像装置２２の出力及び検出装置２３の出力に基づいて映像の表示位置を決定する。 The configuration of the video display system 1 according to the seventh embodiment is basically the same as that of the first embodiment described with reference to FIGS. 1 and 2, but the function of the control unit 34 of the video processing device 30. , The operation is different from that described above. The video display system 1 according to the seventh embodiment determines the display position of the video based on the output of the second imaging device 22 and the output of the detection device 23.

以下、図１４及び図１５を用いて、実施の形態７にかかる映像処理装置３０の動作を説明する。図１４は、実施の形態７にかかる映像処理装置３０による映像処理動作を示すフローチャートである。 The operation of the video processing device 30 according to the seventh embodiment will be described below with reference to FIGS. 14 and 15. FIG. 14 is a flowchart showing a video processing operation by the video processing device 30 according to the seventh embodiment.

図１４に示すように、映像処理装置３０の制御部３４は、記憶部３３に記憶している元映像を示す映像信号を投影装置１２に送信する（Ｓ７１）。これにより、投影装置１２は、映像信号に基づいて投影光を生成し、投影光を透明スクリーン１１に投影する。検出装置２３は、この透明スクリーン１１に表示された映像及び背景を鑑賞する鑑賞者の位置及び鑑賞者の注目位置を検出する。また、第２の撮像装置２２は透明スクリーン１１の背景を撮像する。 As shown in FIG. 14, the control unit 34 of the video processing device 30 transmits a video signal indicating the original video stored in the storage unit 33 to the projection device 12 (S71). Thereby, the projection device 12 generates projection light based on the video signal and projects the projection light on the transparent screen 11. The detection device 23 detects the position of the viewer who views the image and background displayed on the transparent screen 11 and the position of the viewer's attention. Further, the second image pickup device 22 picks up an image of the background of the transparent screen 11.

次に、制御部３４は、第２の撮像装置２２で撮影された背景を示す背景画像データを取得し（Ｓ７２）、取得した背景画像データから背景の輝度及び色度を分析し、上述した背景の注目範囲を検出する（Ｓ７３）。また、制御部３４は、検出装置２３で検出された鑑賞者の位置及び鑑賞者の注目位置を取得する（Ｓ７４）。次に、制御部３４は、検出した背景の注目範囲、鑑賞者の位置及び鑑賞者の注目位置に基づいて、透明スクリーン１１における表示映像の表示位置を決定する（Ｓ７５）。例えば、制御部３４は、背景及び映像を見易いように、映像の表示位置を決定する。次に、制御部３４は、決定した表示位置に映像を表示するように制御信号を投影装置１２に送信する（Ｓ７６）。以下、表示映像の表示位置の決定の具体的一例について説明する。 Next, the control unit 34 acquires the background image data indicating the background imaged by the second imaging device 22 (S72), analyzes the brightness and chromaticity of the background from the acquired background image data, and analyzes the background described above. The attention range of is detected (S73). Further, the control unit 34 acquires the position of the viewer and the position of attention of the viewer detected by the detection device 23 (S74). Next, the control unit 34 determines the display position of the display image on the transparent screen 11 based on the detected attention range of the background, the viewer's position, and the viewer's attention position (S75). For example, the control unit 34 determines the display position of the image so that the background and the image are easy to see. Next, the control unit 34 transmits a control signal to the projection device 12 so that the image is displayed at the determined display position (S76). Hereinafter, a specific example of determining the display position of the display image will be described.

図１５は、映像処理装置３０による表示映像の表示位置の決定動作の一例を説明するための図である。図１５の例でも、図１３（ａ）及び図１３（ｂ）の例と同様に、透明スクリーン１１の背景Ｂ１はサッカースタジアムであり、投影装置１２が透明スクリーン１１に投影する映像Ａ１は選手の背番号を示す情報である。 FIG. 15 is a diagram for explaining an example of the operation of determining the display position of the display image by the image processing device 30. In the example of FIG. 15 as well, as in the examples of FIGS. 13A and 13B, the background B1 of the transparent screen 11 is a soccer stadium, and the image A1 projected by the projection device 12 on the transparent screen 11 is of the player. This is information indicating a uniform number.

図１５に示すように、鑑賞者Ｃ１が透明スクリーン１１に対して所定距離内に接近した場合に、制御部３４は、映像Ａ１が背景の注目範囲である透明スクリーン１１の全面（例えばサッカースタジアムのピッチの全面）に表示されるように映像Ａ１の表示位置及び拡大表示サイズを決定する（Ｓ７５）。そして、制御部３４は、決定した表示位置に映像Ａ１を移動して拡大表示するように投影装置１２を制御する（Ｓ７６）。これにより、投影装置１２は、制御信号に従って表示位置の変更を行い、サッカースタジアムのピッチの全面に映像Ａ１が重なって表示される。 As shown in FIG. 15, when the viewer C1 approaches the transparent screen 11 within a predetermined distance, the control unit 34 controls the entire surface of the transparent screen 11 where the image A1 is the attention range of the background (for example, in a soccer stadium). The display position and the enlarged display size of the image A1 are determined so that they are displayed on the entire surface of the pitch (S75). Then, the control unit 34 controls the projection device 12 so that the image A1 is moved to the determined display position and enlarged and displayed (S76). As a result, the projection device 12 changes the display position in accordance with the control signal, and the image A1 is displayed so as to overlap the entire pitch of the soccer stadium.

また、ステップＳ７５において、鑑賞者Ｃ１が特定の選手（対象物）を含む注目位置Ｃ２に注目している場合、制御部３４は、第２の撮像装置２２からの背景画像データから鑑賞者Ｃ１の注目位置Ｃ２を含む所定の範囲の画像を拡大した拡大映像（追加の映像）Ａ２を生成し、この拡大映像Ａ２の表示位置を鑑賞者Ｃ１の注目位置Ｃ２の近傍に決定する。そして、ステップＳ７６において、制御部３４は、決定した表示位置に拡大映像Ａ２を表示するように投影装置１２を制御する。これにより、投影装置１２は、制御信号に従って表示位置に拡大映像Ａ２を表示し、鑑賞者Ｃ１の注目位置Ｃ２の近傍に拡大映像Ａ２が表示される。このとき、上述したように、分析した背景の輝度及び色度に基づいて、拡大映像Ａ２に白色等の明るい色で縁取りを行う映像変換処理を行ってもよい。 Further, in step S75, when the viewer C1 is paying attention to the attention position C2 including the specific player (object), the control unit 34 determines the viewer C1 from the background image data from the second imaging device 22. An enlarged image (additional image) A2 in which an image in a predetermined range including the attention position C2 is enlarged is generated, and the display position of this enlarged image A2 is determined in the vicinity of the attention position C2 of the viewer C1. Then, in step S76, the control unit 34 controls the projection device 12 to display the enlarged image A2 at the determined display position. As a result, the projection device 12 displays the enlarged image A2 at the display position according to the control signal, and the enlarged image A2 is displayed in the vicinity of the attention position C2 of the viewer C1. At this time, as described above, based on the analyzed luminance and chromaticity of the background, the image conversion process of edging the enlarged image A2 with a bright color such as white may be performed.

以上のように、本実施の形態７の映像表示システム１によれば、鑑賞者Ｃ１の位置及び背景の注目範囲（例えばサッカースタジアムのピッチ）を検出し、鑑賞者Ｃ１が透明スクリーン１１に接近したときに、映像Ａ１が背景の注目範囲である例えばサッカースタジアムのピッチの全面に重なるように、透明スクリーン１１における映像Ａ１の表示位置を決定する。これにより、例えば背景Ｂ１の選手と映像Ａ１の選手情報との両方が同時に視認可能となる。 As described above, according to the image display system 1 of the seventh embodiment, the position of the viewer C1 and the attention range of the background (for example, the pitch of the soccer stadium) are detected, and the viewer C1 approaches the transparent screen 11. At this time, the display position of the image A1 on the transparent screen 11 is determined so that the image A1 overlaps the entire attention range of the background, for example, the entire pitch of the soccer stadium. Thereby, for example, both the player in the background B1 and the player information in the image A1 can be visually recognized at the same time.

また、本実施の形態７の映像表示システム１によれば、鑑賞者Ｃ１の注目位置Ｃ２を検出し、注目位置Ｃ２の近傍に、この注目位置Ｃ２を含む所定の範囲の拡大映像（追加の映像）Ａ２を表示するように、透明スクリーン１１における拡大映像Ａ２の表示位置を決定する。これにより、例えば鑑賞者Ｃ１が注目する選手の拡大映像Ａ２をも同時に視認可能となる。 Further, according to the image display system 1 of the seventh embodiment, the attention position C2 of the viewer C1 is detected, and an enlarged image of a predetermined range including the attention position C2 (additional image is detected in the vicinity of the attention position C2. ) The display position of the enlarged image A2 on the transparent screen 11 is determined so that A2 is displayed. Thereby, for example, the enlarged image A2 of the player who the viewer C1 pays attention to can be visually recognized at the same time.

なお、実施の形態５では、背景の注目範囲に基づいて透明スクリーン１１における映像の表示位置を決定し、実施の形態６では、鑑賞者の位置や鑑賞者の注目位置に基づいて透明スクリーン１１における映像の表示位置を決定したが、実施の形態７のように、背景の注目範囲、及び、鑑賞者の位置や鑑賞者の注目位置の両方に基づいて映像の表示位置を決定してもよい。 In the fifth embodiment, the display position of the image on the transparent screen 11 is determined based on the attention range of the background, and in the sixth embodiment, the image display position on the transparent screen 11 is determined based on the viewer's position or the viewer's attention position. Although the display position of the image is determined, the display position of the image may be determined based on both the attention range of the background and the position of the viewer or the position of the viewer as in the seventh embodiment.

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１〜７を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置換、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１〜７で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。 (Other embodiments)
As described above, the first to seventh embodiments have been described as examples of the technique disclosed in the present application. However, the technique in the present disclosure is not limited to this, and is also applicable to the embodiment in which changes, replacements, additions, omissions, etc. are appropriately made. It is also possible to combine the components described in the first to seventh embodiments to form a new embodiment. Therefore, other embodiments will be exemplified below.

（１）本実施の形態では、映像信号が示す映像を表示し、かつ、背景を透過する透明な表示装置として、透明スクリーン１１と投影装置１２とを例示した。しかし、表示装置は、自発光方式の透明型ＥＬ表示装置や透明型液晶表示装置等であってもよい。 (1) In the present embodiment, the transparent screen 11 and the projection device 12 are illustrated as the transparent display device that displays the image represented by the image signal and that transmits the background. However, the display device may be a self-luminous transparent EL display device, a transparent liquid crystal display device, or the like.

（２）本実施の形態では、第２の撮像装置２２と制御部３４とが協働して、サッカースタジアムのピッチやボール等の鑑賞者が注目するであろうと予測される対象物を含む背景の注目範囲の検出を行った。しかし、第２の撮像装置２２が、背景の注目範囲の検出を単独で行える機能を備えてもよい。 (2) In the present embodiment, the second imaging device 22 and the control unit 34 cooperate with each other, and a background including an object such as a pitch or a ball of a soccer stadium that is expected to be noticed by the viewer. The range of interest was detected. However, the second imaging device 22 may have a function of independently detecting the attention range of the background.

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。 As described above, the embodiments have been described as examples of the technology according to the present disclosure. To that end, the accompanying drawings and detailed description are provided.

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。 Therefore, among the components described in the accompanying drawings and the detailed description, not only the components essential for solving the problem but also the components not essential for solving the problem in order to exemplify the above technology Can also be included. Therefore, it should not be immediately recognized that these non-essential components are essential, even if those non-essential components are described in the accompanying drawings or the detailed description.

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置換、付加、省略などを行うことができる。 Further, since the above-described embodiment is intended to exemplify the technique of the present disclosure, various changes, substitutions, additions, omissions, etc. can be made within the scope of the claims or the scope equivalent thereto.

本開示は、透明な表示装置に表示する映像と当該表示装置の背景との両方を同時に視認できる映像表示システムに適用可能である。 The present disclosure can be applied to a video display system in which both a video displayed on a transparent display device and a background of the display device can be visually recognized at the same time.

１映像表示システム
１１透明スクリーン
１２投影装置
２１第１の撮像装置
２２第２の撮像装置
２３検出装置
３０映像処理装置
３１第１の通信部
３２第２の通信部
３３記憶部
３４制御部 1 Video Display System 11 Transparent Screen 12 Projection Device 21 First Imaging Device 22 Second Imaging Device 23 Detection Device 30 Video Processing Device 31 First Communication Unit 32 Second Communication Unit 33 Storage Unit 34 Control Unit

Claims

A transparent display device that displays the image represented by the image signal and that transmits the background,
Position of the viewer to watch the video and the background of the display device, the target position of the viewer that the viewer interest, and / or the corresponding to the object that the viewer interest is predicted A detection device for detecting the attention range of the background,
Transmits the video signal to the display device, the position of the viewer detected by the detection device, the target position of the viewer, and / or, wherein in said display device based on the target range of the background A video processing device that determines the display position of the video ,
The video processing device,
When it is determined that the viewer's attention position is the background, a process of determining the display position of the image on the display device so that the image does not overlap the attention position of the background or the attention range of the background. Done,
When it is determined that the viewer's attention position is the image, a process of determining the display position of the image is performed on the display device so that the image overlaps the attention position of the background or the attention range of the background. ,
Video display system.

When the image processing device performs processing of determining the display position of the image on the display device so that the image does not overlap the attention position of the background or the attention range of the background, the image is displayed on the display device. The display position of the image is determined so as to be displayed in the vicinity of the viewer's attention position ,
The video display system according to claim 1.

The detection device acquires the line-of-sight direction of the viewer,
The video processing device determines whether the viewer's attention position is the background or the video based on the line-of-sight direction of the viewer acquired by the detection device.
The video display system according to claim 1 .

The detection device detects a distance between the viewer and the display device,
The video processing device determines, based on the detected distance between the viewer and the display device, whether the viewer's attention position is the background or the video.
The video display system according to claim 1 .

The display device is
A transparent screen that diffuses and reflects a part of the incident light on the main surface, and transmits a part of the incident light on the main surface,
A projection device that projects the image on the screen ,
Video display system according to Izu Re of claims 1 to 4.

The display device is a transparent EL display device or a transparent liquid crystal display device ,
Video display system according to Izu Re of claims 1 to 4.