JP5120181B2

JP5120181B2 - Image processing apparatus and program

Info

Publication number: JP5120181B2
Application number: JP2008250946A
Authority: JP
Inventors: 祐次寺岡; 秀彦河西; 真一加賀谷; 雄一郎近藤
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2008-09-29
Filing date: 2008-09-29
Publication date: 2013-01-16
Anticipated expiration: 2028-09-29
Also published as: JP2010087547A

Description

本発明は、画像処理装置およびプログラムに関する。 The present invention relates to an image processing apparatus and a program.

レストランのような飲食店やパチンコ店のような遊技場において、内装の改装は新たな顧客を吸引する効果がある。しかし一方で改装にはコストがかかるという問題があった。そこで、改装する代わりに壁にかける絵を変更することが行われている。
ここで、例えば特許文献１には、３次元仮想空間内で任意の画像を抽出するシステムが、特許文献２には、スクリーンに全体画像を投影する際に複数の部分画像に分けて投影する技術が開示されている。 In restaurants such as restaurants and amusement halls such as pachinko parlors, interior refurbishment has the effect of attracting new customers. However, on the other hand, there was a problem that the renovation was expensive. Therefore, instead of refurbishing, the painting on the wall is changed.
Here, for example, Patent Document 1 discloses a system for extracting an arbitrary image in a three-dimensional virtual space, and Patent Document 2 discloses a technique for projecting an entire image on a screen by dividing it into a plurality of partial images. Is disclosed.

特開平９−２１２６８６号公報JP-A-9-212686 特開２００４−３４９９８４号公報JP 2004-349984 A

特許文献１および２に記載された技術によっても、店舗等の部屋の内観を変更することはできなかった。
これに対し本発明は、より低コストで店舗等の部屋の内観を変更する技術を提供する。 Even with the techniques described in Patent Documents 1 and 2, the inside view of a room such as a store cannot be changed.
In contrast, the present invention provides a technique for changing the interior view of a room such as a store at a lower cost.

本発明は、あらかじめ決められた大きさおよび形状を有する仮想スクリーン上に描かれる画像を取得する画像取得手段と、前記仮想スクリーンと所定の位置関係にある部屋の壁に設けられた窓の位置および形状を特定する窓情報を取得する窓情報取得手段と、前記窓情報により特定される窓と前記窓の枠を通して見える位置に画像を形成する画像形成装置とを対応させる対応情報を取得する対応情報取得手段と、前記部屋の中に存在する特定点の位置を特定する特定点情報を取得する特定点情報取得手段と、前記画像取得手段により取得された画像に対して前記特定点情報により特定される特定点を光源としたときの前記窓における射影を示す画像を抽出する画像抽出手段と、前記画像抽出手段により抽出された画像を、前記対応情報により特定された、前記窓に対応する画像形成装置に出力する出力手段とを有する画像処理装置を提供する。
この画像処理装置によれば、部屋の窓の内観が変更される。 The present invention provides an image acquisition means for acquiring an image drawn on a virtual screen having a predetermined size and shape, a position of a window provided on a wall of a room having a predetermined positional relationship with the virtual screen, and Corresponding information for acquiring correspondence information for associating window information obtaining means for obtaining window information for specifying a shape, and an image forming apparatus that forms an image at a position that is visible through the window frame and the window specified by the window information. Specific point information acquisition means for acquiring specific point information for specifying the position of a specific point existing in the room, and the specific point information for the image acquired by the image acquisition means. An image extracting means for extracting an image showing a projection in the window when a specific point as a light source is used, and an image extracted by the image extracting means is determined based on the correspondence information. It is a constant, to provide an image processing apparatus and an output means for outputting to an image forming apparatus corresponding to the window.
According to this image processing apparatus, the interior view of the room window is changed.

好ましい態様において、前記特定点情報取得手段は、前記部屋の中に設けられたセンサから前記特定点情報を取得してもよい。
この画像処理装置によれば、センサにより取得された特定点情報により特定点が特定される。 In a preferred aspect, the specific point information acquisition means may acquire the specific point information from a sensor provided in the room.
According to this image processing apparatus, the specific point is specified by the specific point information acquired by the sensor.

別の好ましい態様において、前記画像抽出手段は、前記特定点情報により示される特定点の位置が変化すると、前記射影を示す画像を抽出してもよい。
この画像処理装置によれば、特定点が変化した場合でも、その変化に追従した画像が抽出される。 In another preferred aspect, the image extracting means may extract an image showing the projection when the position of the specific point indicated by the specific point information changes.
According to this image processing apparatus, even when a specific point changes, an image following the change is extracted.

さらに別の好ましい態様において、前記特定点情報が、前記特定点を基準とする向きを示す情報を含み、前記画像抽出手段は、前記窓の位置が前記特定点および前記向きと所定の条件を満たす場合に、前記射影を示す画像を抽出してもよい。
この画像処理装置によれば、画像抽出の処理量が軽減される。 In still another preferred aspect, the specific point information includes information indicating an orientation with respect to the specific point, and the image extraction unit is configured such that the position of the window satisfies a predetermined condition with the specific point and the direction. In this case, an image showing the projection may be extracted.
According to this image processing apparatus, the processing amount of image extraction is reduced.

さらに別の態様において、前記画像処理装置は、前記仮想スクリーン上に描かれる画像を生成する画像生成手段を有し、前記画像取得手段は、前記画像生成手段により生成された画像を取得してもよい。
この画像処理装置によれば、他の装置とのデータ通信量が低減される。 In still another aspect, the image processing device includes an image generation unit that generates an image drawn on the virtual screen, and the image acquisition unit acquires the image generated by the image generation unit. Good.
According to this image processing apparatus, the amount of data communication with other apparatuses is reduced.

さらに別の好ましい態様において、前記画像処理装置は、ネットワークを介してサーバと通信する通信手段を有し、前記画像取得手段は、前記通信手段を介して前記サーバから前記仮想スクリーン上に描かれる画像を取得してもよい。
この画像処理装置によれば、自装置の処理負荷が軽減される。 In still another preferred aspect, the image processing apparatus includes a communication unit that communicates with a server via a network, and the image acquisition unit is an image drawn on the virtual screen from the server via the communication unit. May be obtained.
According to this image processing apparatus, the processing load of the own apparatus is reduced.

さらに別の好ましい態様において、前記通信手段は、前記窓情報を前記サーバに送信し、前記仮想スクリーン上に描かれる画像のうち前記窓情報により特定される窓の位置を基準とする所定の範囲内の画像を、前記仮想スクリーン上に描かれる画像として受信してもよい。
この画像処理装置によれば、サーバ装置から受信するデータ量が低減される。 In still another preferred aspect, the communication means transmits the window information to the server, and within a predetermined range based on a window position specified by the window information among images drawn on the virtual screen. May be received as an image drawn on the virtual screen.
According to this image processing apparatus, the amount of data received from the server apparatus is reduced.

さらに別の好ましい態様において、前記窓情報が、複数の窓に係る情報を含み、画像抽出手段は、窓を単位として射影を示す画像を抽出し、前記対応情報が、複数の画像形成装置と前記複数の窓とを一対一に対応させる情報を含み、前記出力手段は、前記画像抽出手段が窓を単位として抽出した画像を、前記複数の画像形成装置のうち前記対応情報により前記窓に対応することが示される画像形成装置に出力してもよい。
この画像処理装置によれば、複数の窓がある部屋でも、複数の窓で連携した画像が形成される。 In still another preferred aspect, the window information includes information related to a plurality of windows, and the image extraction unit extracts an image showing a projection in units of windows, and the correspondence information includes a plurality of image forming apparatuses and the Including information that makes a plurality of windows correspond one-to-one, and wherein the output unit corresponds to the window based on the correspondence information among the plurality of image forming apparatuses, the image extracted by the image extraction unit as a unit. May be output to the image forming apparatus.
According to this image processing apparatus, even in a room having a plurality of windows, an image linked with the plurality of windows is formed.

また、本発明は、画像形成装置に画像を出力する出力手段を有する画像処理装置に、あらかじめ決められた大きさおよび形状を有する仮想スクリーン上に描かれる画像を取得するステップと、前記仮想スクリーンと所定の位置関係にある部屋の壁に設けられた窓の位置および形状を特定する窓情報を取得するステップと、前記窓情報により特定される窓と前記窓の枠を通して見える位置に画像を形成する画像形成装置とを対応させる対応情報を取得するステップと、前記部屋の中に存在する特定点の位置を特定する特定点情報を取得するステップと、前記取得された画像に対して前記特定点情報により特定される特定点を光源としたときの前記窓における射影を示す画像を抽出するステップと、前記出力手段が、前記抽出された画像を、前記対応情報により特定された、前記窓に対応する画像形成装置に出力するステップとを実行させるためのプログラムを提供する。
このプログラムによれば、部屋の窓の内観が変更される。 According to another aspect of the present invention, there is provided an image processing apparatus having an output unit that outputs an image to an image forming apparatus, obtaining an image drawn on a virtual screen having a predetermined size and shape, and the virtual screen; Obtaining window information for specifying a position and shape of a window provided on a wall of a room having a predetermined positional relationship, and forming an image at a position visible through the window specified by the window information and the window frame; Acquiring correspondence information for associating with the image forming apparatus; acquiring specific point information for specifying a position of a specific point existing in the room; and the specific point information for the acquired image. Extracting the image showing the projection in the window when the specific point specified by the light source is a light source, and the output means, the extracted image, It identified by response information and provides a program for executing a step of outputting to an image forming apparatus corresponding to the window.
According to this program, the interior view of the room window is changed.

１．構成
図１は、本発明の一実施形態に係る画像形成システム１の構成を示すブロック図である。画像形成システム１は、いわゆるデジタルサイネージシステムである。画像形成システム１は、店舗等の部屋の中（室内）に画像を形成する。画像形成システム１は、複数の画像形成装置４０（画像形成装置４０−１、画像形成装置４０−２、画像形成装置４０−３）と、複数のスクリーン５０（スクリーン５０−１、スクリーン５０−２、スクリーン５０−３）と、複数のセンサ６０（センサ６０−１、センサ６０−２、センサ６０−３）と、情報処理装置１０と、サーバ２０とを有する。 1. Configuration FIG. 1 is a block diagram showing a configuration of an image forming system 1 according to an embodiment of the present invention. The image forming system 1 is a so-called digital signage system. The image forming system 1 forms an image in a room such as a store (indoor). The image forming system 1 includes a plurality of image forming apparatuses 40 (image forming apparatus 40-1, image forming apparatus 40-2, image forming apparatus 40-3) and a plurality of screens 50 (screen 50-1, screen 50-2). , Screen 50-3), a plurality of sensors 60 (sensor 60-1, sensor 60-2, sensor 60-3), information processing apparatus 10, and server 20.

画像形成装置４０およびスクリーン５０は、室内に設置されている。画像形成装置４０とスクリーン５０とは、一対一に対応している。情報処理装置１０とサーバ２０とは、ネットワーク３０（例えばインターネット）を介して接続されている。この例で、部屋の壁に設けられた窓がスクリーン５０として用いられる。 The image forming apparatus 40 and the screen 50 are installed indoors. There is a one-to-one correspondence between the image forming apparatus 40 and the screen 50. The information processing apparatus 10 and the server 20 are connected via a network 30 (for example, the Internet). In this example, a window provided on the wall of the room is used as the screen 50.

１−１．情報処理装置１０
図２は、情報処理装置１０の機能構成を示す図である。情報処理装置１０は、複数の画像形成装置４０を制御する、画像処理装置の一例である。画像取得手段１１は、あらかじめ決められた大きさおよび形状を有する仮想スクリーン上に描かれる画像（以下、「全体画像」という）を取得する。窓情報取得手段１２は、窓情報を取得する。「窓情報」とは、仮想スクリーンと所定の位置関係にある部屋の壁に設けられた窓の位置および形状を特定する情報である。対応情報取得手段１３は、対応情報を取得する。「対応情報」とは、窓と画像形成装置４０とを対応させる情報である。画像形成装置４０は、窓の枠を通して見える位置に画像を形成する。「窓の枠を通して見える位置に画像を形成する」とは、部屋の内部から窓を見たときに、画像形成装置４０により形成される画像の少なくとも一部が、窓の枠の中に形成されることをいう。特定点情報取得手段１４は、特定点情報を取得する。「特定点情報」とは、その室内に存在する特定点の位置を特定する情報である。「特定点」とは、所定の対象物を代表する点（この例では、店舗内における客の目の位置（より詳細には、２つの目の中点の位置））である。画像抽出手段１５は、画像取得手段１１により取得された画像に対して特定点情報により特定される特定点を光源としたときの窓における射影を示す画像を抽出する。以下、この射影を示す画像を「射影画像」という。出力手段１６は、画像抽出手段１５により抽出された画像を、対応情報により窓に対応することが示される画像形成装置４０に出力する。 1-1. Information processing apparatus 10
FIG. 2 is a diagram illustrating a functional configuration of the information processing apparatus 10. The information processing apparatus 10 is an example of an image processing apparatus that controls a plurality of image forming apparatuses 40. The image acquisition means 11 acquires an image (hereinafter referred to as “whole image”) drawn on a virtual screen having a predetermined size and shape. The window information acquisition unit 12 acquires window information. “Window information” is information that specifies the position and shape of a window provided on the wall of a room that has a predetermined positional relationship with the virtual screen. The correspondence information acquisition unit 13 acquires correspondence information. “Correspondence information” is information that associates the window with the image forming apparatus 40. The image forming apparatus 40 forms an image at a position that can be seen through the window frame. “To form an image in a position that can be seen through the window frame” means that at least a part of the image formed by the image forming apparatus 40 is formed in the window frame when the window is viewed from inside the room. That means. The specific point information acquisition unit 14 acquires specific point information. “Specific point information” is information for specifying the position of a specific point existing in the room. The “specific point” is a point representing a predetermined object (in this example, the position of the customer's eyes in the store (more specifically, the position of the middle point of the two eyes)). The image extraction unit 15 extracts an image showing the projection in the window when the specific point specified by the specific point information is used as the light source for the image acquired by the image acquisition unit 11. Hereinafter, an image showing this projection is referred to as a “projection image”. The output unit 16 outputs the image extracted by the image extraction unit 15 to the image forming apparatus 40 indicated by the correspondence information to correspond to the window.

この例で、特定点情報取得手段１４は、室内に設けられたセンサ６０から特定点情報を取得する。画像抽出手段１５は、特定点情報により示される特定点の位置が変化すると、射影画像を抽出する。特定点情報は、特定点を基準とする向きを示す情報を含んでおり、画像抽出手段１５は、窓の位置が特定点およびその向きと所定の条件を満たす場合に、射影画像を抽出する。 In this example, the specific point information acquisition unit 14 acquires specific point information from the sensor 60 provided in the room. The image extraction means 15 extracts a projected image when the position of the specific point indicated by the specific point information changes. The specific point information includes information indicating a direction with respect to the specific point, and the image extraction unit 15 extracts a projected image when the position of the window satisfies the specific point, its direction, and a predetermined condition.

さらにこの例で、画像生成手段１７は、仮想スクリーン上に描かれる画像を生成する。画像抽出手段１５は、前記画像生成手段により生成された画像を取得する。記憶手段１８は、システムの動作に用いられるプログラムやデータを記憶する。通信手段１９は、ネットワーク３０を介した通信を行う。 Furthermore, in this example, the image generation means 17 generates an image drawn on the virtual screen. The image extraction unit 15 acquires the image generated by the image generation unit. The storage means 18 stores programs and data used for system operation. The communication unit 19 performs communication via the network 30.

図３は、情報処理装置１０のハードウェア構成を示す図である。この例で、情報処理装置１０はいわゆるパーソナルコンピュータである。ＣＰＵ（Central Processing Unit）１１０は、情報処理装置１０の構成要素を制御する制御装置である。ＲＯＭ（Read Only Memory）１２０は、情報処理装置１０の起動に必要なデータおよびプログラムを記憶する記憶装置である。ＲＡＭ（Random Access Memory）１３０は、ＣＰＵ１１０がプログラムを実行する際の作業領域として機能する記憶装置である。Ｉ／Ｆ（Interface）１４０は、種々の入出力装置や記憶装置との間でデータおよび制御信号の入出力をするインターフェースである。ＨＤＤ（Hard Disk Drive）１５０は、各種プログラムおよびデータを記憶する記憶装置である。キーボード・マウス１６０は、ユーザが情報処理装置１０に対して指示入力を行うのに用いられる入力装置である。ディスプレイ１７０は、データの内容あるいは処理の状況などを表示する出力装置である。ネットワークＩＦ１８０は、ネットワーク３０を介して接続された他の装置との間でデータの送受信を行うためのインターフェースである。ＵＳＢ（Universal Serial Bus）−ＩＦ１８５は、ＵＳＢ規格に従ったインターフェースである。バス１９０は、データの伝送路である。ＣＰＵ１１０、ＲＯＭ１２０、ＲＡＭ１３０、およびＩ／Ｆ１４０は、バス１９０を介して接続されている。 FIG. 3 is a diagram illustrating a hardware configuration of the information processing apparatus 10. In this example, the information processing apparatus 10 is a so-called personal computer. A CPU (Central Processing Unit) 110 is a control device that controls components of the information processing apparatus 10. A ROM (Read Only Memory) 120 is a storage device that stores data and programs necessary for starting the information processing apparatus 10. A RAM (Random Access Memory) 130 is a storage device that functions as a work area when the CPU 110 executes a program. An I / F (Interface) 140 is an interface for inputting / outputting data and control signals to / from various input / output devices and storage devices. An HDD (Hard Disk Drive) 150 is a storage device that stores various programs and data. The keyboard / mouse 160 is an input device used by a user to input instructions to the information processing apparatus 10. The display 170 is an output device that displays data contents or processing status. The network IF 180 is an interface for transmitting and receiving data to and from other devices connected via the network 30. The USB (Universal Serial Bus) -IF 185 is an interface according to the USB standard. The bus 190 is a data transmission path. CPU 110, ROM 120, RAM 130, and I / F 140 are connected via a bus 190.

情報処理装置１０は、ＵＳＢ−ＩＦ１８５を介して画像形成装置４０と接続されている。情報処理装置１０は、ＵＳＢ−ＩＦ１８５を介して、画像形成装置４０にデータおよび制御信号を出力する。 The information processing apparatus 10 is connected to the image forming apparatus 40 via the USB-IF 185. The information processing apparatus 10 outputs data and control signals to the image forming apparatus 40 via the USB-IF 185.

ＨＤＤ１５０は、情報処理装置１０を制御する制御プログラムを記憶している。ＣＰＵ１１０が制御プログラムを実行することにより、図２に示される機能が情報処理装置１０に実装される。この例で、制御プログラムを実行しているＣＰＵ１１０は、画像取得手段１１、対応情報取得手段１３、対応情報取得手段１３、特定点情報取得手段１４、画像抽出手段１５、および画像生成手段１７の一例である。制御プログラムは複数のプログラムモジュールまたはサブルーチンを有し、各プログラムモジュールまたはサブルーチンが、各機能構成要素に対応する。ＵＳＢ−ＩＦ１８５は、出力手段１６の一例である。ＲＯＭ１２０、ＲＡＭ１３０、およびＨＤＤ１５０は、記憶手段１８の一例である。ネットワークＩＦ１８０は、通信手段１９の一例である。 The HDD 150 stores a control program for controlling the information processing apparatus 10. When the CPU 110 executes the control program, the functions shown in FIG. In this example, the CPU 110 executing the control program is an example of the image acquisition unit 11, the correspondence information acquisition unit 13, the correspondence information acquisition unit 13, the specific point information acquisition unit 14, the image extraction unit 15, and the image generation unit 17. It is. The control program has a plurality of program modules or subroutines, and each program module or subroutine corresponds to each functional component. The USB-IF 185 is an example of the output unit 16. The ROM 120, the RAM 130, and the HDD 150 are examples of the storage unit 18. The network IF 180 is an example of the communication unit 19.

１−２．サーバ２０
図４は、サーバ２０の機能構成を示す図である。記憶手段２１は、全体画像の生成に用いられるデータを記憶している。「全体画像の生成に用いられるデータ」とは、全体画像そのもの、あるいは、全体画像の素材を示すデータ（以下、「素材データ」という）である。「全体画像の素材」は、背景画像および前景画像を含む。「前景画像」は複数のオブジェクトを含む。例えば、背景画像は海の中の風景（海底、岩、海水など）を示す画像であり、前景画像は、海の中で動いているもの（魚、海藻など）を示す画像である。「画像」は静止画および動画を含む概念である。選択手段２２は、あらかじめ決められたアルゴリズムに従って、選択手段２２に記憶されているデータの中から、情報処理装置１０に出力するデータを選択する。このアルゴリズムは、例えば、情報処理装置１０のリクエストに応じてデータを選択するものである。あるいは、このアルゴリズムは、情報処理装置１０の属性（情報処理装置１０が設置されている場所、設置されている部屋の大きさまたは用途、情報処理装置１０が設置されている場所の時刻など）に応じてデータを選択するものである。出力手段２３は、選択手段２２により選択されたデータを情報処理装置１０に出力する。 1-2. Server 20
FIG. 4 is a diagram illustrating a functional configuration of the server 20. The storage unit 21 stores data used for generating the entire image. “Data used to generate the entire image” is the entire image itself or data indicating the material of the entire image (hereinafter referred to as “material data”). The “entire image material” includes a background image and a foreground image. The “foreground image” includes a plurality of objects. For example, the background image is an image showing a landscape in the sea (the seabed, rocks, seawater, etc.), and the foreground image is an image showing what is moving in the sea (a fish, seaweed, etc.). “Image” is a concept including still images and moving images. The selection unit 22 selects data to be output to the information processing apparatus 10 from the data stored in the selection unit 22 according to a predetermined algorithm. This algorithm selects data in response to a request from the information processing apparatus 10, for example. Alternatively, this algorithm is based on attributes of the information processing apparatus 10 (location where the information processing apparatus 10 is installed, size or usage of the installed room, time of the place where the information processing apparatus 10 is installed, etc.). Data is selected accordingly. The output unit 23 outputs the data selected by the selection unit 22 to the information processing apparatus 10.

図５は、サーバ２０のハードウェア構成を示す図である。ＣＰＵ２１０は、サーバ２０の構成要素を制御する制御装置である。ＲＯＭ２２０は、サーバ２０の起動に必要なデータおよびプログラムを記憶する記憶装置である。ＲＡＭ２３０は、ＣＰＵ２１０がプログラムを実行する際の作業領域として機能する記憶装置である。Ｉ／Ｆ２４０は、種々の入出力装置や記憶装置との間でデータおよび制御信号の入出力をするインターフェースである。ＨＤＤ２５０は、各種プログラムおよびデータを記憶する記憶装置である。キーボード・マウス２６０は、ユーザがサーバ２０に対して指示入力を行うのに用いられる入力装置である。ディスプレイ２７０は、データの内容あるいは処理の状況などを表示する出力装置である。ネットワークＩＦ２８０は、ネネットワーク３０を介して接続された他の装置との間でデータの送受信を行うためのインターフェースである。バス２９０は、データの伝送路である。ＣＰＵ２１０、ＲＯＭ２２０、ＲＡＭ２３０、およびＩ／Ｆ２４０は、バス２９０を介して接続されている。 FIG. 5 is a diagram illustrating a hardware configuration of the server 20. The CPU 210 is a control device that controls the components of the server 20. The ROM 220 is a storage device that stores data and programs necessary for starting the server 20. The RAM 230 is a storage device that functions as a work area when the CPU 210 executes a program. The I / F 240 is an interface for inputting / outputting data and control signals to / from various input / output devices and storage devices. The HDD 250 is a storage device that stores various programs and data. The keyboard / mouse 260 is an input device used when a user inputs an instruction to the server 20. The display 270 is an output device that displays data contents or processing status. The network IF 280 is an interface for transmitting and receiving data to and from other devices connected via the network 30. The bus 290 is a data transmission path. CPU 210, ROM 220, RAM 230, and I / F 240 are connected via a bus 290.

ＨＤＤ２５０は、サーバ２０を制御する制御プログラムを記憶している。ＣＰＵ２１０が制御プログラムを実行することにより、図４に示される機能がサーバ２０に実装される。この例で、制御プログラムを実行しているＣＰＵ２１０は、記憶手段２１、選択手段２２、および出力手段２３としての機能を有する。制御プログラムは複数のプログラムモジュールまたはサブルーチンを有し、各プログラムモジュールまたはサブルーチンが、各機能構成要素に対応する。 The HDD 250 stores a control program for controlling the server 20. The function shown in FIG. 4 is implemented in the server 20 by the CPU 210 executing the control program. In this example, the CPU 210 executing the control program has functions as the storage unit 21, the selection unit 22, and the output unit 23. The control program has a plurality of program modules or subroutines, and each program module or subroutine corresponds to each functional component.

１−３．画像形成装置４０
画像形成装置４０は、スクリーン５０（より具体的には、窓枠を通して見える位置）に画像を形成する装置である。この例で、画像形成装置４０は、スクリーン５０に映像を投射するプロジェクタである。画像形成装置４０はＵＳＢ−ＩＦ１８５を介して情報処理装置１０に接続されている。情報処理装置１０は、形成する画像を示すデータを、ＵＳＢ−ＩＦ１８５を介して画像形成装置４０に供給する。 1-3. Image forming apparatus 40
The image forming apparatus 40 is an apparatus that forms an image on a screen 50 (more specifically, a position that can be seen through a window frame). In this example, the image forming apparatus 40 is a projector that projects an image on the screen 50. The image forming apparatus 40 is connected to the information processing apparatus 10 via the USB-IF 185. The information processing apparatus 10 supplies data indicating the image to be formed to the image forming apparatus 40 via the USB-IF 185.

図６は、画像形成装置４０とスクリーン５０との位置関係を例示する図である。この例で、部屋は壁７１により仕切られている。壁７１の内部にはさらに壁７２が設けられている。壁７２には、窓枠７３が設けられている。壁７１は窓枠７３の外側に位置し、スクリーン５０として機能する。画像形成装置４０は、壁７１と壁７２の間に設置されている。このような配置により、室内にいるユーザから画像形成装置４０が見えない（あるいは見えにくい）状態になり、室内の美観が損なわれない。 FIG. 6 is a diagram illustrating the positional relationship between the image forming apparatus 40 and the screen 50. In this example, the room is partitioned by a wall 71. A wall 72 is further provided inside the wall 71. A window frame 73 is provided on the wall 72. The wall 71 is located outside the window frame 73 and functions as the screen 50. The image forming apparatus 40 is installed between the wall 71 and the wall 72. With such an arrangement, the image forming apparatus 40 becomes invisible (or difficult to see) from the user in the room, and the indoor aesthetics are not impaired.

１−４．センサ６０
センサ６０は、室内の状態をセンシングする装置である。この例で、センサ６０はカメラすなわち画像センサである。センサ６０は、室内の所定の位置に複数設置されている。センサ６０はＵＳＢ−ＩＦ１８５を介して情報処理装置１０に接続されている。情報処理装置１０は、カメラが取得した画像を、ＵＳＢ−ＩＦ１８５を介して取得する。 1-4. Sensor 60
The sensor 60 is a device that senses indoor conditions. In this example, sensor 60 is a camera or image sensor. A plurality of sensors 60 are installed at predetermined positions in the room. The sensor 60 is connected to the information processing apparatus 10 via the USB-IF 185. The information processing apparatus 10 acquires an image acquired by the camera via the USB-IF 185.

２．動作
続いて、画像形成システム１の動作を説明する。ここでは、部屋がレストランの店舗であり、店舗内の窓に映像を投影する例について説明する。また、この例で仮想スクリーンは半球のドーム状の形状を有している。この半球は、中心が店舗の床の重心と一致するように設定されている。 2. Operation Next, the operation of the image forming system 1 will be described. Here, an example in which a room is a restaurant store and an image is projected onto a window in the store will be described. In this example, the virtual screen has a hemispherical dome shape. The hemisphere is set so that the center coincides with the center of gravity of the store floor.

図７は、画像形成システム１のうち、特に情報処理装置１０の動作を示すフローチャートである。図７のフローは、例えばユーザが情報処理装置１０に対し制御プログラムの実行を指示したことを契機として開始される。ＣＰＵ１１０が制御プログラムを実行することにより、以下の処理が行われる。 FIG. 7 is a flowchart showing the operation of the information processing apparatus 10 in the image forming system 1. The flow in FIG. 7 is started when, for example, the user instructs the information processing apparatus 10 to execute the control program. The following processing is performed by the CPU 110 executing the control program.

ステップＳ１００において、ＣＰＵ１１０は、全体画像を取得する。この例で、制御プログラムは、全体画像を生成するモジュールを有しており、ＣＰＵ１１０は、このモジュールを実行した結果得られるデータを全体画像として取得する。 In step S100, the CPU 110 acquires an entire image. In this example, the control program has a module that generates an entire image, and the CPU 110 acquires data obtained as a result of executing this module as an entire image.

全体画像を生成するモジュールの機能は以下のとおりである。ＣＰＵ１１０は、サーバ２０から、全体画像の素材データを取得する。素材データは、背景画像のデータおよび前景画像のデータを含んでいる。いま、背景画像として海中の風景の画像が、前景画像として魚の画像が用いられる例について説明する。 The function of the module that generates the entire image is as follows. The CPU 110 acquires material data of the entire image from the server 20. The material data includes background image data and foreground image data. Now, an example in which an underwater landscape image is used as a background image and a fish image is used as a foreground image will be described.

ＨＤＤ１５０は、仮想スクリーンの位置および大きさを特定するパラメータ（例えば、球の中心の座標および球の半径）を記憶している。ＣＰＵ１１０は、このパラメータをＨＤＤ１５０から読み出す。ＣＰＵ１１０は、読み出したパラメータにより特定される仮想スクリーンに相当する記憶領域を、ＲＡＭ１３０上に確保する。この記憶領域は、背景用記憶領域、前景用記憶領域および合成用記憶領域を含んでいる。ＣＰＵ１１０は、背景用記憶領域に背景画像のデータを書き込み、前景用記憶領域に前景画像のデータを書き込む。この例で、前景画像は動画である。また、前景画像は、複数のオブジェクト（例えば、複数の魚の画像）を含む。前景画像はオブジェクトを単位として更新される。すなわち、複数の魚が１匹づつ異なる動きをするように、前景画像が更新される。オブジェクトの変化のさせ方（例えば魚の動き）は、あらかじめプログラムされている。ＣＰＵ１１０は、所定の時間間隔で、前景画像を書き替える。これにより、例えば魚が泳いで移動する様子が表現される。ＣＰＵ１１０は、前景画像と背景画像を合成した画像のデータを合成用記憶領域に書き込む。こうして、全体画像が生成される。 The HDD 150 stores parameters (for example, the coordinates of the center of the sphere and the radius of the sphere) that specify the position and size of the virtual screen. CPU 110 reads this parameter from HDD 150. The CPU 110 secures a storage area on the RAM 130 corresponding to the virtual screen specified by the read parameter. This storage area includes a background storage area, a foreground storage area, and a composition storage area. The CPU 110 writes the background image data in the background storage area, and writes the foreground image data in the foreground storage area. In this example, the foreground image is a moving image. The foreground image includes a plurality of objects (for example, a plurality of fish images). The foreground image is updated in units of objects. That is, the foreground image is updated so that a plurality of fish move differently one by one. How to change the object (for example, fish movement) is programmed in advance. The CPU 110 rewrites the foreground image at predetermined time intervals. Thereby, for example, a state where a fish swims and moves is expressed. The CPU 110 writes image data obtained by combining the foreground image and the background image into the combining storage area. In this way, an entire image is generated.

ステップＳ１１０において、ＣＰＵ１１０は、窓情報を取得する。この例で、窓情報はＨＤＤ１５０にあらかじめ記憶されており、ＣＰＵ１１０は、ＨＤＤ１５０から窓情報を読み出すことにより、窓情報を取得する。 In step S110, the CPU 110 acquires window information. In this example, the window information is stored in advance in the HDD 150, and the CPU 110 acquires the window information by reading the window information from the HDD 150.

図８は、窓情報を例示する図である。この例で、窓情報は、窓を特定する識別子（窓ＩＤ）と、窓枠の頂点の座標とを含む。 FIG. 8 is a diagram illustrating window information. In this example, the window information includes an identifier (window ID) that identifies the window and the coordinates of the vertex of the window frame.

再び図７を参照する。ステップＳ１２０において、ＣＰＵ１１０は、対応情報を取得する。この例で、対応情報はＨＤＤ１５０にあらかじめ記憶されており、ＣＰＵ１１０は、ＨＤＤ１５０から対応情報を読み出すことにより、対応情報を取得する。 Refer to FIG. 7 again. In step S120, the CPU 110 acquires correspondence information. In this example, the correspondence information is stored in advance in the HDD 150, and the CPU 110 acquires the correspondence information by reading the correspondence information from the HDD 150.

図９は、対応情報を例示する図である。この例で、対応情報は、窓ＩＤと、その窓に画像を形成する画像形成装置４０の識別子（画像形成装置ＩＤ）とを含む。すなわち、対応情報は、複数の画像形成装置４０と複数の窓とを一対一に対応させる情報を含む。 FIG. 9 is a diagram illustrating correspondence information. In this example, the correspondence information includes a window ID and an identifier (image forming apparatus ID) of the image forming apparatus 40 that forms an image in the window. That is, the correspondence information includes information that makes the plurality of image forming apparatuses 40 and the plurality of windows correspond one-to-one.

再び図７を参照する。ステップＳ１３０において、ＣＰＵ１１０は、特定点情報を取得する。この例で、特定点情報として、カメラ（センサ６０）により取得された画像を示す画像データが用いられる。また、この例で、制御プログラムは、画像データを用いて特定点の座標を算出するモジュールを有しており、ＣＰＵ１１０は、このモジュールを実行した結果から特定点の座標を取得する。 Refer to FIG. 7 again. In step S130, the CPU 110 acquires specific point information. In this example, image data indicating an image acquired by the camera (sensor 60) is used as the specific point information. In this example, the control program has a module that calculates the coordinates of the specific point using the image data, and the CPU 110 acquires the coordinates of the specific point from the result of executing this module.

図１０は、特定点の座標を算出する処理を示すフローチャートである。ステップＳ１３１において、ＣＰＵ１１０は、カメラから画像データを取得する。画像データの取得は、所定のタイミングで（例えば、所定の時間間隔、あるいは所定のイベントをトリガとして）行われる。ＣＰＵ１１０は、カメラを特定する識別子（カメラＩＤ）とともに、得られた画像データをＲＡＭ１３０に記憶する。カメラはアングルが固定されており、店内の所定の座席に座っている客を撮影できる位置に設置されている。その座席に客が座っていれば、客の顔の画像が取得される。その座席が空席であれば、得られた画像に人間は写っていない。 FIG. 10 is a flowchart showing a process for calculating the coordinates of a specific point. In step S131, the CPU 110 acquires image data from the camera. Acquisition of image data is performed at a predetermined timing (for example, a predetermined time interval or a predetermined event as a trigger). CPU 110 stores the obtained image data in RAM 130 together with an identifier (camera ID) that identifies the camera. The camera has a fixed angle and is installed at a position where it can take a picture of a customer sitting in a predetermined seat in the store. If the customer is sitting on the seat, an image of the customer's face is acquired. If the seat is vacant, no person is shown in the obtained image.

ステップＳ１３２において、ＣＰＵ１１０は、取得した画像に対して顔認識処理を行う。顔認識処理には、公知のアルゴリズムが用いられる。座席に客が座っていた場合、顔認識処理により、その客の目の位置が特定される。ステップＳ１３３において、ＣＰＵ１１０は、顔認識処理の結果を用いて、店舗内における客の目の位置（より詳細には、２つの目の中点の位置）の座標を算出する。ＨＤＤ１５０は、カメラＩＤとカメラにより撮影される領域の座標（例えば、カメラのフレームの端点または中心の座標）を対応させる情報をあらかじめ記憶している。ＣＰＵ１１０は、ＨＤＤ１５０からこの情報を読み出し、顔認識処理の結果とあわせて、店舗内における客の目の位置を、特定点の座標として算出する。ＣＰＵ１１０は、算出した特定点の座標を現在の特定点の座標としてＲＡＭ１３０に記憶する。さらに、ＣＰＵ１１０は、１サイクル前に算出した特定点の座標を前回の特定点の座標としてＲＡＭ１３０に記憶する。 In step S132, the CPU 110 performs face recognition processing on the acquired image. A known algorithm is used for the face recognition process. When a customer is sitting on the seat, the position of the customer's eyes is specified by face recognition processing. In step S133, the CPU 110 calculates the coordinates of the customer's eye position (more specifically, the position of the middle point of the two eyes) in the store using the result of the face recognition process. The HDD 150 stores in advance information that associates the camera ID with the coordinates of the area photographed by the camera (for example, the coordinates of the end point or center of the camera frame). The CPU 110 reads this information from the HDD 150 and calculates the position of the customer's eyes in the store as the coordinates of the specific point together with the result of the face recognition process. The CPU 110 stores the calculated coordinates of the specific point in the RAM 130 as the coordinates of the current specific point. Further, the CPU 110 stores the coordinates of the specific point calculated one cycle before in the RAM 130 as the coordinates of the previous specific point.

ステップＳ１３４において、ＣＰＵ１１０は、顔における目の位置に基づいて、視線の向きを算出する。すなわち、画像データは、目の位置を基準として視線の向きを示す方向ベクトルを算出する。このように画像から視線の向きが算出されるので、画像データは、特定点を基準とする向きを示す情報を含んでいるといえる。ＣＰＵ１１０は、算出した方向ベクトルをＲＡＭ１３０に記憶する。 In step S134, the CPU 110 calculates the direction of the line of sight based on the position of the eyes in the face. That is, the image data calculates a direction vector indicating the direction of the line of sight with reference to the eye position. Since the line-of-sight direction is thus calculated from the image, it can be said that the image data includes information indicating the direction with reference to the specific point. CPU 110 stores the calculated direction vector in RAM 130.

再び図７を参照する。ステップＳ１４０において、ＣＰＵ１１０は、現在の特定点の位置と前回の特定点の位置の差が所定の範囲（誤差の範囲）を超えたか、すなわち特定点の位置が変化したか判断する。特定点の位置が変化したと判断された場合（Ｓ１４０：ＹＥＳ）、ＣＰＵ１１０は、処理をステップＳ１５０に移行する。特定点の位置が変化していないと判断された場合（Ｓ１４０：ＮＯ）、ＣＰＵ１１０は、処理をステップＳ１３０に移行する。ステップＳ１５０で説明する射影画像の抽出は、所定の時間間隔で繰り返し行われるが、それに加えて特定点が変化したというような特定のイベントが起こったときにも、射影画像の抽出が行われる。 Refer to FIG. 7 again. In step S140, the CPU 110 determines whether the difference between the current specific point position and the previous specific point position exceeds a predetermined range (error range), that is, whether the specific point position has changed. When it is determined that the position of the specific point has changed (S140: YES), the CPU 110 shifts the processing to step S150. When it is determined that the position of the specific point has not changed (S140: NO), the CPU 110 shifts the processing to step S130. The projection image extraction described in step S150 is repeatedly performed at predetermined time intervals. In addition, the projection image is also extracted when a specific event such as a specific point change occurs.

ステップＳ１５０において、ＣＰＵ１１０は、全体画像から射影画像を抽出する。射影画像の抽出は、窓を単位として、すなわち窓毎に行われる。詳細には以下のとおりである。まず、ＣＰＵ１１０は、あらかじめ決められたアルゴリズムに従って、処理対象となる窓（以下「対象窓」という）を特定する。この例で、ＣＰＵ１１０は、まず、特定点および方向ベクトルに対して所定の位置関係を満たす窓、より具体的には、特定点を基準とし、方向ベクトルとなす角度が所定の角度（例えば、人間の視野角に相当する角度）内にある窓を対象窓の候補として特定する。さらに、ＣＰＵ１１０は、対象窓の候補として絞り込んだ窓の中から、特定点を基準とし、方向ベクトルとなす角度が小さい窓から１つずつ順番に対象窓を特定する。ＣＰＵ１１０は、特定点を光源とし、仮想スクリーン上に対象窓を射影したときの射影の頂点の座標を算出する。 In step S150, CPU 110 extracts a projected image from the entire image. Projection images are extracted in units of windows, that is, for each window. Details are as follows. First, the CPU 110 specifies a window to be processed (hereinafter referred to as “target window”) according to a predetermined algorithm. In this example, the CPU 110 first satisfies a predetermined positional relationship with respect to a specific point and a direction vector. More specifically, the CPU 110 uses a specific point as a reference and the angle formed with the direction vector is a predetermined angle (for example, human A window within an angle) corresponding to the viewing angle of the target window. Further, the CPU 110 specifies the target windows one by one from the windows that have been narrowed as the direction vector with reference to the specific point from among the windows narrowed down as candidates for the target window. The CPU 110 calculates the coordinates of the projection vertex when the target window is projected onto the virtual screen using the specific point as the light source.

図１１は、特定点を光源とし、仮想スクリーン上への対象窓の射影を例示する図である。特定点Ｐ_Sから対象窓Ｗの窓枠の頂点の座標を結ぶ直線と仮想スクリーンが交わる点Ｐ₁、Ｐ₂、Ｐ₃、およびＰ₄が、射影の頂点の座標である。ＣＰＵ１１０は、仮想スクリーン上において射影により切り取られる画像を、対象窓にマッピングする。マッピングにより得られた画像が、射影画像である。 FIG. 11 is a diagram illustrating projection of a target window onto a virtual screen using a specific point as a light source. P ₁ point straight and the virtual screen intersect connecting vertex coordinates of the window frame of the target window W from a particular point _{_{_{P S, P 2, P 3}}} , and P ₄ are the coordinates of the vertices of the projection. The CPU 110 maps an image cut out by projection on the virtual screen to the target window. An image obtained by mapping is a projected image.

再び図７を参照する。ステップＳ１６０において、ＣＰＵ１１０は、得られた射影画像を、対象窓に対応する画像形成装置４０に出力する。対象窓に対応する画像形成装置４０は、対応情報により特定される。特に図７には示していないが、前景画像または背景画像が動画である場合に、ステップＳ１３０−１６０の処理は、所定の時間間隔で繰り返し行われる。 Refer to FIG. 7 again. In step S160, the CPU 110 outputs the obtained projected image to the image forming apparatus 40 corresponding to the target window. The image forming apparatus 40 corresponding to the target window is specified by the correspondence information. Although not particularly shown in FIG. 7, when the foreground image or the background image is a moving image, the processing in steps S130-160 is repeatedly performed at predetermined time intervals.

図１２は、画像形成システム１により形成される画像を例示する図である。この例で、窓と窓の間には壁がある。仮想スクリーンには海の中を魚が泳いでいる画像が描かれ、窓には客の視点から見た射影画像が形成される。したがって、客から見ると窓にはあたかも自分が海中にいるような画像が形成される。例えば魚が窓と窓の間を泳いでいる途中では壁に隠れて魚の姿が見えなくなるので、店舗の内部によりリアルな画像が提供される。レストランやパチンコ店の改装にはコストと時間がかかるが、画像形成システム１によればコストと時間をかけずに、店の内観を変えることができる。 FIG. 12 is a diagram illustrating an image formed by the image forming system 1. In this example, there is a wall between the windows. On the virtual screen, an image of fish swimming in the sea is drawn, and a projected image viewed from the customer's viewpoint is formed on the window. Therefore, when viewed from the customer, an image is formed on the window as if you were in the sea. For example, while the fish is swimming between the windows, it is hidden behind the wall and the fish can no longer be seen, so a realistic image is provided inside the store. Renovation of a restaurant or pachinko store takes cost and time, but the image forming system 1 can change the interior of the store without cost and time.

３．他の実施形態
本発明は上述の実施形態に限定されるものではなく、これ以外の態様でも実施が可能である。以下、変形例をいくつか説明する。以下で説明する変形例のうち２つ以上のものが組み合わせて用いられてもよい。以下において、上述の実施形態と共通する事項については説明を省略し、また、共通する要素には共通の参照符号を用いて説明する。 3. Other Embodiments The present invention is not limited to the above-described embodiments, and can be implemented in other modes. Hereinafter, some modifications will be described. Two or more of the modifications described below may be used in combination. In the following, description of matters common to the above-described embodiment will be omitted, and common elements will be described using common reference numerals.

３−１．変形例１
情報処理装置１０は、全体画像を生成する機能、すなわち画像生成手段１７を有していなくてもよい。この場合、情報処理装置１０は、通信手段１９を介して、サーバ２０から全体画像を取得する。またこの場合、サーバ２０は、全体画像を生成する機能を有する。サーバ２０は、情報処理装置１０に対していわゆるストリーミング配信の技術を用いて、全体画像を送信する。 3-1. Modification 1
The information processing apparatus 10 may not have the function of generating the entire image, that is, the image generation unit 17. In this case, the information processing apparatus 10 acquires the entire image from the server 20 via the communication unit 19. In this case, the server 20 has a function of generating an entire image. The server 20 transmits the entire image to the information processing apparatus 10 using a so-called streaming distribution technique.

３−２．変形例２
変形例１の場合において、情報処理装置１０は、全体画像のうち一部のみをサーバ２０から取得してもよい。この場合、まず情報処理装置１０は、窓情報をサーバ２０に送信する。サーバ２０は、受信した窓情報を記憶する。サーバ２０は、全体情報から、窓情報により特定される窓の位置に応じて全体画像の一部を切り出し、切り出した部分を情報処理装置１０に送信する。 3-2. Modification 2
In the case of the first modification, the information processing apparatus 10 may acquire only a part of the entire image from the server 20. In this case, the information processing apparatus 10 first transmits window information to the server 20. The server 20 stores the received window information. The server 20 cuts out a part of the whole image from the whole information according to the position of the window specified by the window information, and transmits the cut out part to the information processing apparatus 10.

窓の位置に応じて全体画像から一部を切り出すアルゴリズムとしては、例えば、窓との距離が所定の範囲内にある部分を切り出すアルゴリズムが採用される。実際に画像形成装置４０により形成されるのは窓の部分の画像だけであるから、窓の近傍の画像だけを送信すれば、ネットワークのトラフィックおよび処理すべきデータ量が削減される。 As an algorithm for cutting out a part from the entire image according to the position of the window, for example, an algorithm for cutting out a part whose distance from the window is within a predetermined range is adopted. Since only the image of the window portion is actually formed by the image forming apparatus 40, if only the image in the vicinity of the window is transmitted, the network traffic and the amount of data to be processed are reduced.

３−３．変形例３
特定点情報は向きを示す情報を含んでいなくてもよい。あるいは、特定点情報が向きを示す情報を含んでいた場合でも、情報処理装置１０は、向きを示す情報に応じた処理をしなくてもよい。すなわち、図１０のステップＳ１３４の処理は省略されてもよい。この場合、ＣＰＵ１１０は、視線の向きに応じた対象窓の絞り込みを行わなくてもよい。 3-3. Modification 3
The specific point information may not include information indicating the direction. Alternatively, even when the specific point information includes information indicating the direction, the information processing apparatus 10 may not perform processing according to the information indicating the direction. That is, the process of step S134 of FIG. 10 may be omitted. In this case, the CPU 110 does not have to narrow down the target window according to the direction of the line of sight.

３−４．変形例４
射影画像の抽出を行うタイミングは、実施形態で説明したものに限定されない。図７のステップＳ１４０の割り込み判定が行わなくてもよい。この場合、射影画像は、所定の時間間隔で定期的に抽出される。 3-4. Modification 4
The timing for extracting the projected image is not limited to that described in the embodiment. The interrupt determination in step S140 in FIG. 7 may not be performed. In this case, the projected image is periodically extracted at a predetermined time interval.

３−５．変形例５
情報処理装置１０に特定点情報を供給するセンサ６０は、実施形態で説明したカメラに限定されない。特定点情報を供給できるものであれば、どのようなセンサが用いられてもよい。例えば、センサ６０としてＲＦＩＤ（Radio Frequency IDentification）リーダが用いられてもよい。この場合、客はＲＦＩＤタグを身に付ける。ＲＦＩＤリーダをレストランのフロアやテーブルに一定の間隔で配置することにより、客の位置を特定することができる。その他、光センサ、温度センサ、タッチセンサ、静電センサなどが用いられてもよい。 3-5. Modification 5
The sensor 60 that supplies the specific point information to the information processing apparatus 10 is not limited to the camera described in the embodiment. Any sensor that can supply the specific point information may be used. For example, an RFID (Radio Frequency IDentification) reader may be used as the sensor 60. In this case, the customer wears an RFID tag. By arranging RFID readers on a restaurant floor or table at regular intervals, it is possible to specify the position of the customer. In addition, an optical sensor, a temperature sensor, a touch sensor, an electrostatic sensor, or the like may be used.

また、センサの配置は、特定点の位置を、システムが要求する精度で特定できるものであれば、どのような配置であってもよい。例えば、一つのテーブルを囲むように複数のカメラを配置してもよいし、スクリーン５０の周辺に１台のカメラを配置してもよい。 The sensor may be arranged in any arrangement as long as the position of the specific point can be specified with the accuracy required by the system. For example, a plurality of cameras may be arranged so as to surround one table, or one camera may be arranged around the screen 50.

３−６．変形例６
特定点情報の取得元は、センサ６０に限定されない。特定点情報取得手段１４は、ＲＡＭ１３０等の記憶手段１８から特定点情報を取得してもよい。この場合、店員が特定点情報として客の位置を情報処理装置１０にマニュアルで入力し、情報処理装置１０のＣＰＵ１１０は、入力された特定点情報をＲＡＭ１３０に記憶する。図７のステップＳ１３０において、ＣＰＵ１１０は、ＲＡＭ１３０から特定点情報を読み出すことにより、特定点情報を取得する。別の例で、特定点の位置は、システムの設計上ある位置に固定されていてもよい。この場合、特定点情報は、システムのパラメータとしてＨＤＤ１５０に記憶されている。ＣＰＵ１１０は、ＨＤＤ１５０から特定点情報を読み出すことにより、特定点情報を取得する。 3-6. Modification 6
The acquisition source of the specific point information is not limited to the sensor 60. The specific point information acquisition unit 14 may acquire specific point information from the storage unit 18 such as the RAM 130. In this case, the store clerk manually inputs the customer's position into the information processing apparatus 10 as specific point information, and the CPU 110 of the information processing apparatus 10 stores the input specific point information in the RAM 130. In step S <b> 130 of FIG. 7, the CPU 110 acquires the specific point information by reading the specific point information from the RAM 130. In another example, the position of the specific point may be fixed at a certain position in the system design. In this case, the specific point information is stored in the HDD 150 as a system parameter. The CPU 110 acquires specific point information by reading the specific point information from the HDD 150.

３−７．変形例７
仮想スクリーンは、実施形態で説明したものに限定されない。あらかじめ決められた大きさおよび形状を有し、部屋（窓）との位置関係が規定されているものであれば、どのような仮想スクリーンが用いられてもよい。例えば、仮想スクリーンの形状は半球でなく、球、直方体、多角形、またはこれらの組み合わせなど、どのような形状でもよい。また、図１１では仮想スクリーンが部屋の外側にある例を説明したが、仮想スクリーンはその一部または全部が部屋の中にあってもよい。 3-7. Modification 7
The virtual screen is not limited to that described in the embodiment. Any virtual screen may be used as long as it has a predetermined size and shape and a positional relationship with the room (window) is defined. For example, the shape of the virtual screen is not a hemisphere, but may be any shape such as a sphere, a rectangular parallelepiped, a polygon, or a combination thereof. Further, although an example in which the virtual screen is outside the room has been described with reference to FIG. 11, a part or all of the virtual screen may be inside the room.

３−８．変形例８
画像形成装置４０とスクリーン５０の位置関係は、図６で説明したものに限定されない。店舗の壁が一枚であり、店舗内にある画像形成装置４０から窓に画像を投射する構成としてもよい。あるいは図６の例で、１つのスクリーン５０に対して複数の画像形成装置４０を用いて画像を形成してもよい。例えば、スクリーン５０を上下方向および左右方向にそれぞれ２分割、計４分割し、分割された領域に対し１つの画像形成装置４０が画像を形成する構成としてもよい（すなわち、４分割された場合は４台の画像形成装置４０が用いられる）。この場合、情報処理装置１０は、射影画像を４分割し、分割した画像をそれぞれ対応する画像形成装置４０に出力する。 3-8. Modification 8
The positional relationship between the image forming apparatus 40 and the screen 50 is not limited to that described with reference to FIG. A single store wall may be used, and an image may be projected onto the window from the image forming apparatus 40 in the store. Alternatively, in the example of FIG. 6, an image may be formed on a single screen 50 using a plurality of image forming apparatuses 40. For example, the screen 50 may be divided into two parts in the vertical direction and the horizontal direction, for a total of four parts, and one image forming apparatus 40 may form an image in the divided area (that is, in the case where the image is divided into four parts Four image forming apparatuses 40 are used). In this case, the information processing apparatus 10 divides the projected image into four and outputs the divided images to the corresponding image forming apparatuses 40.

３−９．変形例９
画像形成装置４０はプロジェクタに限定されない。スクリーン５０に画像を形成できるのであれば、どのような装置であってもよい。また、画像形成装置４０は、スクリーン５０を内蔵していてもよい。例えば、画像形成装置４０は、リアプロジェクションディスプレイ、液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ、プラズマディスプレイであってもよい。 3-9. Modification 9
The image forming apparatus 40 is not limited to a projector. Any device that can form an image on the screen 50 may be used. Further, the image forming apparatus 40 may incorporate a screen 50. For example, the image forming apparatus 40 may be a rear projection display, a liquid crystal display, an organic EL (Electro-Luminescence) display, or a plasma display.

３−１０．変形例１０
本稿でいう「窓」は、現実および仮想の窓の双方を含む。「現実の窓」とは、物理的な構造体としての窓をいう。この場合、図６のように窓枠とスクリーン５０とが異なる面に形成される構造であってもよいし、スクリーン５０が窓枠と同じ面（すなわち窓枠の中）に形成される構造であってもよい。「仮想の窓」とは、物理的な構造体としての窓ではないスクリーン５０に窓枠も含めた画像を形成したもの、すなわち壁に窓枠も含めた画像を形成したものをいう。 3-10. Modification 10
“Window” in this paper includes both real and virtual windows. “Real window” means a window as a physical structure. In this case, as shown in FIG. 6, the window frame and the screen 50 may be formed on different surfaces, or the screen 50 may be formed on the same surface as the window frame (that is, in the window frame). There may be. The “virtual window” refers to an image in which an image including a window frame is formed on a screen 50 that is not a window as a physical structure, that is, an image in which an image including a window frame is formed on a wall.

３−１１．変形例１１
窓情報の取得元は、ＨＤＤ１５０に限定されない。窓情報取得手段１２は、情報処理装置１０以外の他の装置から窓情報を取得してもよい。特に、仮想の窓が用いられ、窓の位置が変化する場合に、窓の位置を検出する装置から窓情報を取得してもよい。 3-11. Modification 11
The acquisition source of the window information is not limited to the HDD 150. The window information acquisition unit 12 may acquire window information from a device other than the information processing device 10. In particular, when a virtual window is used and the position of the window changes, the window information may be acquired from a device that detects the position of the window.

３−１２．変形例１２
全体画像、窓情報、対応情報、および特定点情報を取得する順番は図７に示されるものに限定されない。射影画像を抽出する時点で処理に用いられる情報が取得できていれば、これらの情報がどのような順番で取得されてもよい。 3-12. Modification 12
The order of acquiring the whole image, window information, correspondence information, and specific point information is not limited to that shown in FIG. As long as information used for processing can be acquired at the time of extracting the projected image, these pieces of information may be acquired in any order.

３−１３．他の変形例
情報処理装置１０のハードウェア構成は図３で示されるものに限定されない。必要な機能構成を実現できるものであれば、どのようなハードウェア構成を有する装置が用いられてもよい。また、情報処理装置１０の機能構成とハードウェア構成の対応関係は、実施形態で説明したものに限定されない。例えば上述の実施形態では、制御プログラムを実行しているＣＰＵ１１０が、画像取得手段１１、対応情報取得手段１３、対応情報取得手段１３、特定点情報取得手段１４、画像抽出手段１５、および画像生成手段１７としての機能を兼ね備えていたが、これらのうち１つ以上の機能が、ＣＰＵ１１０以外のプロセッサにより実装されてもよい。また、各機能構成要素は、汎用プロセッサとプログラムの協働により実装されてもよいし、ＡＳＩＣ（Application Specific Integrated Circuit）のように特定の機能を有するプロセッサとして実装されてもよい。あるいは、物理的に別体の複数のプロセッサが協働して、これらの要素として機能してもよい。サーバ２０についても同様である。 3-13. Other Modifications The hardware configuration of the information processing apparatus 10 is not limited to that shown in FIG. An apparatus having any hardware configuration may be used as long as the necessary functional configuration can be realized. The correspondence relationship between the functional configuration and the hardware configuration of the information processing apparatus 10 is not limited to that described in the embodiment. For example, in the above-described embodiment, the CPU 110 executing the control program includes the image acquisition unit 11, the correspondence information acquisition unit 13, the correspondence information acquisition unit 13, the specific point information acquisition unit 14, the image extraction unit 15, and the image generation unit. However, one or more of these functions may be implemented by a processor other than the CPU 110. Each functional component may be implemented by cooperation of a general-purpose processor and a program, or may be implemented as a processor having a specific function such as an ASIC (Application Specific Integrated Circuit). Alternatively, a plurality of physically separate processors may cooperate to function as these elements. The same applies to the server 20.

画像形成装置４０が、情報処理装置１０としての機能を兼ね備えていてもよい。 The image forming apparatus 40 may have a function as the information processing apparatus 10.

実施形態では部屋の壁に複数の窓が存在する例について説明したが、窓の数はひとつであってもよい。 In the embodiment, an example in which a plurality of windows exist on the wall of the room has been described, but the number of windows may be one.

上述の実施形態においてＣＰＵ１１０またはＣＰＵ２１０によって実行されるプログラムは、磁気記録媒体（磁気テープ、磁気ディスク（ＨＤＤ（Hard Disk Drive）、ＦＤ（Flexible Disk））など）、光記録媒体（光ディスク（ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk））など）、光磁気記録媒体、半導体メモリ（フラッシュＲＯＭなど）などのコンピュータ読取り可能な記録媒体に記憶した状態で提供されてもよい。また、このプログラムは、インターネットのようなネットワーク経由でダウンロードされてもよい。 In the above-described embodiment, the program executed by the CPU 110 or the CPU 210 is a magnetic recording medium (magnetic tape, magnetic disk (HDD (Hard Disk Drive), FD (Flexible Disk), etc.)), optical recording medium (optical disk (CD (Compact)). Disk), DVD (Digital Versatile Disk), etc.), magneto-optical recording medium, semiconductor memory (flash ROM, etc.), etc. The program may be downloaded via a network such as the Internet.

一実施形態に係る画像形成システム１の構成を示すブロック図である。1 is a block diagram illustrating a configuration of an image forming system 1 according to an embodiment. 情報処理装置１０の機能構成を示す図である。2 is a diagram illustrating a functional configuration of the information processing apparatus 10. 情報処理装置１０のハードウェア構成を示す図である。2 is a diagram illustrating a hardware configuration of the information processing apparatus 10. FIG. サーバ２０の機能構成を示す図である。2 is a diagram illustrating a functional configuration of a server 20. FIG. サーバ２０のハードウェア構成を示す図である。2 is a diagram illustrating a hardware configuration of a server 20. FIG. 画像形成装置４０とスクリーン５０との位置関係を例示する図である。2 is a diagram illustrating a positional relationship between an image forming apparatus 40 and a screen 50. FIG. 情報処理装置１０の動作を示すフローチャートである。3 is a flowchart showing the operation of the information processing apparatus 10. 窓情報を例示する図である。It is a figure which illustrates window information. 対応情報を例示する図である。It is a figure which illustrates correspondence information. 特定点の座標を算出する処理を示すフローチャートである。It is a flowchart which shows the process which calculates the coordinate of a specific point. 仮想スクリーン上への対象窓の射影を例示する図である。It is a figure which illustrates the projection of the object window on a virtual screen. 画像形成システム１により形成される画像を例示する図である。2 is a diagram illustrating an image formed by the image forming system 1. FIG.

Explanation of symbols

１…画像形成システム、１０…情報処理装置、１１…画像取得手段、１２…窓情報取得手段、１３…対応情報取得手段、１４…特定点情報取得手段、１５…画像抽出手段、１６…出力手段、１７…画像生成手段、１８…記憶手段、１９…通信手段、２０…サーバ、２１…記憶手段、２２…選択手段、２３…出力手段、３０…ネットワーク、４０…画像形成装置、５０…スクリーン、６０…センサ、７１…壁、７２…壁、７３…窓枠、１１０…ＣＰＵ、１２０…ＲＯＭ、１３０…ＲＡＭ、１４０…Ｉ／Ｆ、１５０…ＨＤＤ、１６０…キーボード・マウス、１７０…ディスプレイ、１８０…ネットワークＩＦ、１８５…ＵＳＢ−ＩＦ、１９０…バス、２１０…ＣＰＵ、２２０…ＲＯＭ、２３０…ＲＡＭ、２４０…Ｉ／Ｆ、２５０…ＨＤＤ、２６０…キーボード・マウス、２７０…ディスプレイ、２８０…ネットワークＩＦ、２９０…バス DESCRIPTION OF SYMBOLS 1 ... Image forming system, 10 ... Information processing apparatus, 11 ... Image acquisition means, 12 ... Window information acquisition means, 13 ... Corresponding information acquisition means, 14 ... Specific point information acquisition means, 15 ... Image extraction means, 16 ... Output means , 17 ... Image generation means, 18 ... Storage means, 19 ... Communication means, 20 ... Server, 21 ... Storage means, 22 ... Selection means, 23 ... Output means, 30 ... Network, 40 ... Image forming apparatus, 50 ... Screen, 60 ... sensor, 71 ... wall, 72 ... wall, 73 ... window frame, 110 ... CPU, 120 ... ROM, 130 ... RAM, 140 ... I / F, 150 ... HDD, 160 ... keyboard / mouse, 170 ... display, 180 ... Network IF, 185 ... USB-IF, 190 ... Bus, 210 ... CPU, 220 ... ROM, 230 ... RAM, 240 ... I / F, 250 ... HDD, 260 Keyboard and mouse, 270 ... display, 280 ... network IF, 290 ... bus

Claims

Image acquisition means for acquiring an image drawn on a virtual screen having a predetermined size and shape;
Window information acquisition means for acquiring window information for specifying the position and shape of the window provided on the wall of the room in a predetermined positional relationship with the virtual screen;
Correspondence information acquisition means for acquiring correspondence information that associates the window specified by the window information with an image forming apparatus that forms an image at a position that can be seen through the window frame;
Specific point information acquisition means for acquiring specific point information for specifying the position of a specific point existing in the room;
Image extracting means for extracting an image showing a projection in the window when a specific point specified by the specific point information is used as a light source for the image acquired by the image acquiring means;
An image processing apparatus comprising: output means for outputting the image extracted by the image extraction means to an image forming apparatus corresponding to the window specified by the correspondence information.

The image processing apparatus according to claim 1, wherein the specific point information acquisition unit acquires the specific point information from a sensor provided in the room.

The image processing apparatus according to claim 1, wherein the image extraction unit extracts an image showing the projection when a position of a specific point indicated by the specific point information changes.

The specific point information includes information indicating an orientation with respect to the specific point;
The said image extraction means extracts the image which shows the said projection, when the position of the said window satisfy | fills the said specific point, the said direction, and predetermined conditions. The statement in any one of Claims 1-3 characterized by the above-mentioned. The image processing apparatus described.

Image generating means for generating an image drawn on the virtual screen;
The image processing apparatus according to claim 1, wherein the image acquisition unit acquires an image generated by the image generation unit.

Having a communication means for communicating with the server via the network;
The image processing apparatus according to claim 1, wherein the image acquisition unit acquires an image drawn on the virtual screen from the server via the communication unit.

The communication means transmits the window information to the server, and among the images drawn on the virtual screen, displays an image within a predetermined range based on the position of the window specified by the window information. The image processing apparatus according to claim 6, wherein the image processing apparatus is received as an image drawn above.

The window information includes information on a plurality of windows;
The image extraction means extracts an image showing a projection in units of windows,
The correspondence information includes information that makes a plurality of image forming apparatuses and the plurality of windows correspond one-to-one,
The output means outputs the image extracted by the image extraction means in units of windows to an image forming apparatus indicated as corresponding to the window by the correspondence information among the plurality of image forming apparatuses. The image processing apparatus according to claim 1.

An image processing apparatus having output means for outputting an image to the image forming apparatus,
Obtaining an image drawn on a virtual screen having a predetermined size and shape;
Obtaining window information for specifying a position and shape of a window provided on a wall of a room in a predetermined positional relationship with the virtual screen;
Obtaining correspondence information that associates the window specified by the window information with an image forming apparatus that forms an image at a position that can be seen through a frame of the window;
Obtaining specific point information for specifying the position of a specific point existing in the room;
Extracting an image showing a projection in the window when a specific point specified by the specific point information is used as a light source for the acquired image;
A program for causing the output means to output the extracted image to an image forming apparatus corresponding to the window identified by the correspondence information.