JP5193347B2 - Image processing apparatus, image processing system, image processing method, and program - Google Patents
Image processing apparatus, image processing system, image processing method, and program Download PDFInfo
- Publication number
- JP5193347B2 JP5193347B2 JP2011216519A JP2011216519A JP5193347B2 JP 5193347 B2 JP5193347 B2 JP 5193347B2 JP 2011216519 A JP2011216519 A JP 2011216519A JP 2011216519 A JP2011216519 A JP 2011216519A JP 5193347 B2 JP5193347 B2 JP 5193347B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- unit
- region
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 13
- 238000000605 extraction Methods 0.000 claims description 73
- 239000000284 extract Substances 0.000 claims description 41
- 238000003384 imaging method Methods 0.000 claims description 14
- 230000005540 biological transmission Effects 0.000 claims description 10
- 230000005484 gravity Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 description 21
- 230000010365 information processing Effects 0.000 description 16
- 238000004891 communication Methods 0.000 description 10
- 238000000034 method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
- A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
- A63F13/525—Changing parameters of virtual cameras
- A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
- A63F13/525—Changing parameters of virtual cameras
- A63F13/5258—Changing parameters of virtual cameras by dynamically adapting the position of the virtual camera to keep a game object or game character in its viewing frustum, e.g. for tracking a character or a ball
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/80—Special adaptations for executing a specific game genre or game mode
- A63F13/812—Ball games, e.g. soccer or baseball
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/85—Providing additional services to players
- A63F13/86—Watching games played by other players
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
- A63F13/2145—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads the surface being also a display device, e.g. touch screens
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1025—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals details of the interface with the game device, e.g. USB version detection
- A63F2300/1031—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals details of the interface with the game device, e.g. USB version detection using a wireless connection, e.g. Bluetooth, infrared connections
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
- A63F2300/204—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform the platform being a handheld device
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Processing Or Creating Images (AREA)
Description
本発明は、複数のプレイヤーが1つの画面を共有しつつ、プレイヤーの意向に添った画面も閲覧できるようにするために好適な画像処理装置、画像処理システム、画像処理方法、ならびに、プログラムに関する。 The present invention relates to an image processing apparatus, an image processing system, an image processing method, and a program suitable for allowing a plurality of players to view a screen according to the player's intention while sharing one screen.
複数のプレイヤーが1つの画面を共有して一緒にプレイできるゲームがある。例えば、特許文献1には、2人のプレイヤーが対戦するサッカーゲームが開示されており、ディスプレイにはボールがほぼ中央に位置するように制御されるゲーム画像が表示される。また、特許文献1では、一方のプレイヤーの指示対象であるキャラクターがボールをキープしているときに、味方であって視野外にいるキャラクターの配置が分かるように、ゲーム画面のマーク表示エリアに上下左右の矢印が描かれる。 There are games where multiple players can share a screen and play together. For example, Patent Document 1 discloses a soccer game in which two players play against each other, and a game image that is controlled so that the ball is positioned substantially in the center is displayed on the display. Further, in Patent Document 1, when a character that is an instruction target of one player keeps the ball, the mark display area on the game screen is moved up and down so that the arrangement of characters that are on the side and out of the field of view can be understood. Left and right arrows are drawn.
しかしながら、上述の特許文献1によれば、一方のボールをキープしている側のプレイヤーは自分のチームのキャラクターが視野外のどこにいるのかを知ることができるものの、他方のプレイヤーにとっては自分のチームのキャラクターが視野外のどこにいるのかを知ることはできないため、両方のプレイヤーが共に意向に添った画面を見ることはできなかった。 However, according to the above-mentioned Patent Document 1, the player who is keeping one ball can know where the character of his team is out of sight, but for the other player, his team I couldn't see where my character was out of sight, so I couldn't see the screen that both players wanted.
本発明はこのような課題を解決するものであり、複数のプレイヤーが1つの画面を共有しつつ、プレイヤーの意向に添った画面も閲覧できるようにするために好適な画像処理装置、画像処理システム、画像処理方法、ならびに、プログラムを提供することを目的とする。 The present invention solves such problems, and an image processing apparatus and an image processing system suitable for allowing a plurality of players to view a screen according to the player's intention while sharing a single screen. An object is to provide an image processing method and a program.
以上の目的を達成するため、本発明の原理にしたがって、下記の発明を開示する。 In order to achieve the above object, the following invention is disclosed in accordance with the principle of the present invention.
本発明の第1の観点に係る画像処理装置は、決定部、第1抽出部、第2抽出部、第1表示部、第2表示部、撮影部、推定部を備える。
決定部は、全体画像内における第1領域の位置と第2領域の位置を決定する。
第1抽出部は、全体画像内の第1領域を第1画像として抽出する。
第2抽出部は、全体画像内の第2領域を第2画像として抽出する。
第1表示部は、抽出された第1画像を第1ディスプレイに表示する。
第2表示部は、抽出された第2画像を第2ディスプレイに表示する。
撮影部は、第2ディスプレイの背面方向を撮影する。
推定部は、撮影部により撮影された撮影画像に映っている第1画像に対応する部分に基づいて、第1ディスプレイに対する第2ディスプレイの相対的な位置を推定する。
そして、決定部は、全体画像内における第1領域の位置と推定された相対的な位置とに基づいて、全体画像内における第2領域の位置を決定する。
An image processing apparatus according to a first aspect of the present invention includes a determination unit, a first extraction unit, a second extraction unit, a first display unit, a second display unit, a photographing unit, and an estimation unit.
The determining unit determines the position of the first area and the position of the second area in the entire image.
The first extraction unit extracts a first region in the entire image as a first image.
The second extraction unit extracts a second area in the entire image as a second image.
The first display unit displays the extracted first image on the first display.
The second display unit displays the extracted second image on the second display.
The photographing unit photographs the back direction of the second display.
The estimation unit estimates a relative position of the second display with respect to the first display based on a part corresponding to the first image shown in the captured image captured by the imaging unit.
Then, the determination unit determines the position of the second region in the entire image based on the position of the first region in the entire image and the estimated relative position.
本発明の画像処理装置が扱う全体画像は、例えば、仮想空間内で行われるゲームの画像である。ただし、全体画像は、ゲームの画像に限らず、映画、テレビジョン放送、ライブカメラ映像などでもよい。また、動画像でもよいし、静止画像でもよい。 The whole image handled by the image processing apparatus of the present invention is, for example, an image of a game performed in a virtual space. However, the entire image is not limited to a game image, and may be a movie, a television broadcast, a live camera image, or the like. Further, it may be a moving image or a still image.
全体画像内には、第1ディスプレイに表示される第1画像の領域である第1領域と、第2ディスプレイに表示される第2画像の領域である第2領域とが設定される。例えば、第1ディスプレイは、複数の視聴者が同時に視聴することを前提とする第1画像を表示し、第2ディスプレイは、画像処理装置のユーザーだけが視聴することを前提とする第2画像を表示する。画像処理装置のユーザーは、第1ディスプレイに表示されていない周囲を見たいときには、画像処理装置を見たい方向に向ければ、第1ディスプレイに表示されていない周囲を見ることができる。 In the entire image, a first area that is a first image area displayed on the first display and a second area that is a second image area displayed on the second display are set. For example, the first display displays a first image that is assumed to be viewed by a plurality of viewers simultaneously, and the second display displays a second image that is assumed to be viewed only by a user of the image processing apparatus. indicate. When the user of the image processing apparatus wants to see the surroundings not displayed on the first display, the user can view the surroundings not displayed on the first display by pointing the image processing apparatus in the direction in which the user wants to view.
すなわち、画像処理装置にはカメラが取り付けられており、カメラによる撮影画像に第1ディスプレイに表示されている第1画像がどのように映っているかによって、第1ディスプレイと第2ディスプレイの相対的な位置関係が推定され、その推定結果に基づき、第1画像とは異なった第2画像が第2ディスプレイに表示される。画像処理装置のユーザー以外の視聴者は、第1ディスプレイに表示される標準的な第1画像を大勢で一緒に見ることができる。一方、画像処理装置のユーザーは、標準的な第1画像を見たいときには第1ディスプレイを見ればよいし、第1画像とは違ったアングルで映し出された第2画像を見たいときには、画像処理装置に備え付けられたカメラを違う向きに変えて第2ディスプレイを見ればよい。本発明によれば、複数のプレイヤーが1つのゲーム画面を共有しつつ、プレイヤーの意向に添ったゲーム画面も閲覧できるようになる。 That is, a camera is attached to the image processing apparatus, and the relative relationship between the first display and the second display depends on how the first image displayed on the first display is reflected in the image captured by the camera. The positional relationship is estimated, and based on the estimation result, a second image different from the first image is displayed on the second display. Viewers other than the user of the image processing apparatus can see a large number of standard first images displayed on the first display together. On the other hand, when the user of the image processing apparatus wants to see the standard first image, he / she only needs to look at the first display, and when he / she wants to see the second image displayed at an angle different from the first image, Just look at the second display with the camera attached to the device in a different orientation. According to the present invention, a plurality of players can view a game screen according to the player's intention while sharing one game screen.
第1表示部は、所定位置に基準マークを重畳した第1画像を前記第1ディスプレイに表示してもよい。
そして、推定部は、撮影画像に基準マークが映っている場合、撮影画像に映っている基準マークの位置から、撮影画像内の第1画像に対応する部分を判別し、当該判別結果と全体画像とに基づいて、第1ディスプレイに対する第2ディスプレイの相対的な位置を推定してもよい。
The first display unit may display a first image in which a reference mark is superimposed at a predetermined position on the first display.
Then, when the reference mark appears in the captured image, the estimating unit determines a portion corresponding to the first image in the captured image from the position of the reference mark reflected in the captured image, and the determination result and the entire image And the relative position of the second display with respect to the first display may be estimated.
すなわち、第1ディスプレイには、基準マークが重畳された第1画像が表示され、カメラによる撮影画像の中には基準マークも写り込むことになり、基準マークの写り込み具合によって、第1ディスプレイと第2ディスプレイの相対的な位置関係が推定されるのである。本発明によれば、画像処理装置は、より効率的に第1ディスプレイに対する第2ディスプレイの相対的な位置を推定できるようになる。 That is, the first image on which the reference mark is superimposed is displayed on the first display, and the reference mark is also reflected in the photographed image by the camera. Depending on how the reference mark is reflected, The relative positional relationship of the second display is estimated. According to the present invention, the image processing apparatus can estimate the relative position of the second display with respect to the first display more efficiently.
決定部は、
(a)第2ディスプレイの背面が第1ディスプレイに正対していると推定される場合、もしくは、撮影画像に基準マークが映っていない場合、第2領域の中心の位置を第1領域の中心の位置と一致させ、
(b)撮影画像に基準マークが映っており、且つ、第2ディスプレイの背面が第1ディスプレイに正対していないと推定される場合、第2領域の中心の位置を、第1ディスプレイに対して第2ディスプレイが偏っている方向へ移動してもよい。
The decision part
(A) When it is estimated that the back surface of the second display faces the first display, or when the reference mark is not shown in the photographed image, the position of the center of the second area is set to the center of the first area. Match the position,
(B) When it is estimated that the reference mark is reflected in the photographed image and the back surface of the second display is not directly facing the first display, the position of the center of the second area is set with respect to the first display. You may move to the direction where the 2nd display is biased.
すなわち、カメラは第2ディスプレイの背面に固定されており、第1ディスプレイと第2ディスプレイの相対的な位置関係の推定の結果、第2ディスプレイの背面が第1ディスプレイに正対しているときには、第1画像と第2画像は共に同じ位置を中心とした画像になる。また、第2ディスプレイの背面が第1ディスプレイに正対していないときには、第2画像には第1画像には含まれていない“続きの部分”も含まれる。ただし、基準マークが映り込まない程度まで違う方向にカメラが向いているときには、第1画像と第2画像は共に同じ位置を中心とした画像になる。本発明によれば、第1ディスプレイと第2ディスプレイの相対的な位置関係によって的確に第2画像を切り替えることができる。 That is, the camera is fixed to the back surface of the second display. As a result of the estimation of the relative positional relationship between the first display and the second display, when the back surface of the second display faces the first display, Both the first image and the second image are images centered on the same position. Further, when the back surface of the second display is not directly facing the first display, the second image includes a “continuation portion” that is not included in the first image. However, when the camera is facing in different directions to the extent that the reference mark does not appear, both the first image and the second image are images centered on the same position. According to the present invention, the second image can be accurately switched according to the relative positional relationship between the first display and the second display.
決定部は、撮影画像に映っている基準マークの重心から撮影画像の中心へと結ぶベクトルの向きに、第2領域の位置を移動してもよい。 The determination unit may move the position of the second region in the direction of a vector connecting from the center of gravity of the reference mark shown in the captured image to the center of the captured image.
すなわち、画像処理装置のユーザーは、第1画像の“続き”が見たいときには、見たい方向にカメラを向ければよい。本発明によれば、より直感的な操作でプレイヤーの意向に添った画像を閲覧できるようになる。 That is, when the user of the image processing apparatus wants to see the “continuation” of the first image, he / she should point the camera in the desired direction. According to the present invention, it is possible to view an image according to the player's intention through a more intuitive operation.
決定部は、撮影画像に基準マークが映っており、且つ、第2ディスプレイが第1ディスプレイに正対していないと推定される場合、第2ディスプレイが第1ディスプレイに正対していると仮定した際に映っているべき基準マークの位置と、撮影画像に映っている基準マークの位置と、の差異が大きいほど、第2領域の位置の移動量を大きくしてもよい。 When the determination unit assumes that the reference mark appears in the captured image and the second display is not directly facing the first display, it is assumed that the second display is directly facing the first display. The larger the difference between the position of the reference mark that should appear in the image and the position of the reference mark that appears in the captured image, the greater the amount of movement of the position of the second region may be.
すなわち、第2ディスプレイが第1ディスプレイに正対しているときの向きと異なっている量が大きいほど、第2領域が移動する量が大きくなる。本発明によれば、より直感的な操作でプレイヤーの意向に添った画像を閲覧できるようになる。 That is, the larger the amount that is different from the direction when the second display is facing the first display, the greater the amount that the second region moves. According to the present invention, it is possible to view an image according to the player's intention through a more intuitive operation.
決定部は、全体画像内での位置が可変の所定のオブジェクトが第1領域の中心位置になるように、第1領域の位置を決定してもよい。 The determination unit may determine the position of the first area so that a predetermined object whose position in the entire image is variable is the center position of the first area.
すなわち、所定のオブジェクトが第1画像の中心にくるように第1領域が設定される。一方、第2領域は第1ディスプレイと第2ディスプレイの相対的な位置関係によって移動する。本発明によれば、プレイヤーは、所定のオブジェクトを追いかけるような画像を見ることができ、且つ、自分の意向に添った画像を見ることもできる。 That is, the first area is set so that the predetermined object is at the center of the first image. On the other hand, the second area moves depending on the relative positional relationship between the first display and the second display. According to the present invention, the player can see an image that follows a predetermined object, and can also see an image according to his / her intention.
本発明のその他の観点に係る画像処理システムは、第1の画像処理装置と複数の第2の画像処理装置とを有する画像処理システムであって、第1の画像処理装置は、決定部、抽出部、第1表示部、画像送信部を備える。
決定部は、全体画像内における第1領域の位置と第2領域の位置を決定する。
抽出部は、全体画像内の第1領域を第1画像として抽出し、第2の画像処理装置ごとに全体画像内の第2領域を第2画像として抽出する。
第1表示部は、抽出された第1画像を第1ディスプレイに表示する。
画像送信部は、抽出された第2画像を複数の第2の画像処理装置のそれぞれに送信する。
複数の第2の画像処理装置のそれぞれは、画像受信部、第2表示部、撮影部、推定部を備える。
画像受信部は、第2画像を第1の画像処理装置から受信する。
第2表示部は、受信した第2画像を第2ディスプレイに表示する。
撮影部は、第2ディスプレイの背面方向を撮影する。
推定部は、撮影部により撮影された撮影画像に映っている第1画像に対応する部分に基づいて、第1ディスプレイに対する第2ディスプレイの相対的な位置を推定し、推定結果を第1の画像処理装置に送信する。
また、第1の画像処理装置の決定部は、複数の第2の画像処理装置のそれぞれから推定結果を受信し、第2の画像処理装置ごとに、全体画像内における第1領域の位置と受信した推定結果とに基づいて、全体画像内における第2領域の位置を決定する。
そして、第1の画像処理装置の抽出部は、第2の画像処理装置ごとに、決定された第2領域の位置に基づいて、全体画像内の第2領域を第2画像として抽出する。
An image processing system according to another aspect of the present invention is an image processing system having a first image processing device and a plurality of second image processing devices, wherein the first image processing device includes a determination unit, an extraction unit, and an extraction unit. Unit, a first display unit, and an image transmission unit.
The determining unit determines the position of the first area and the position of the second area in the entire image.
The extraction unit extracts the first area in the entire image as the first image, and extracts the second area in the entire image as the second image for each second image processing apparatus.
The first display unit displays the extracted first image on the first display.
The image transmission unit transmits the extracted second image to each of the plurality of second image processing apparatuses.
Each of the plurality of second image processing apparatuses includes an image reception unit, a second display unit, a photographing unit, and an estimation unit.
The image receiving unit receives the second image from the first image processing apparatus.
The second display unit displays the received second image on the second display.
The photographing unit photographs the back direction of the second display.
The estimation unit estimates a relative position of the second display with respect to the first display based on a portion corresponding to the first image shown in the photographed image photographed by the photographing unit, and obtains the estimation result as the first image. Send to processing device.
The determination unit of the first image processing apparatus receives the estimation result from each of the plurality of second image processing apparatuses, and receives and receives the position of the first region in the entire image for each second image processing apparatus. Based on the estimated result, the position of the second region in the entire image is determined.
Then, the extraction unit of the first image processing device extracts the second region in the entire image as the second image based on the determined position of the second region for each second image processing device.
本発明によれば、複数のプレイヤーが1つのゲーム画面を共有しつつ、プレイヤーのそれぞれの意向に添ったゲーム画面も閲覧できるようになる。 According to the present invention, a plurality of players can view a game screen according to each player's intention while sharing one game screen.
本発明のその他の観点に係る画像処理方法は、決定部と第1抽出部と第2抽出部と第1表示部と第2表示部と撮影部と推定部とを有する画像処理装置にて行われる画像処理方法であって、決定ステップ、第1抽出ステップ、第2抽出ステップ、第1表示ステップ、第2表示ステップ、撮影ステップ、推定ステップを備える。
決定ステップでは、決定部が、全体画像内における第1領域の位置と第2領域の位置を決定する。
第1抽出ステップでは、第1抽出部が、全体画像内の第1領域を第1画像として抽出する。
第2抽出ステップでは、第2抽出部が、全体画像内の第2領域を第2画像として抽出する。
第1表示ステップでは、第1表示部が、抽出された第1画像を第1ディスプレイに表示する。
第2表示ステップでは、第2表示部が、抽出された第2画像を第2ディスプレイに表示する。
撮影ステップでは、撮影部が、第2ディスプレイの背面方向を撮影する。
推定ステップでは、推定部が、撮影ステップにおいて撮影された撮影画像に映っている第1画像に対応する部分と、全体画像とに基づいて、第1ディスプレイに対する第2ディスプレイの相対的な位置を推定する。
そして、決定ステップでは、決定部が、全体画像内における第1領域の位置と推定された相対的な位置とに基づいて、全体画像内における第2領域の位置を決定する。
An image processing method according to another aspect of the present invention is performed by an image processing apparatus having a determination unit, a first extraction unit, a second extraction unit, a first display unit, a second display unit, an imaging unit, and an estimation unit. The image processing method includes a determination step, a first extraction step, a second extraction step, a first display step, a second display step, a photographing step, and an estimation step.
In the determination step, the determination unit determines the position of the first area and the position of the second area in the entire image.
In the first extraction step, the first extraction unit extracts the first region in the entire image as the first image.
In the second extraction step, the second extraction unit extracts the second region in the entire image as the second image.
In the first display step, the first display unit displays the extracted first image on the first display.
In the second display step, the second display unit displays the extracted second image on the second display.
In the photographing step, the photographing unit photographs the back direction of the second display.
In the estimation step, the estimation unit estimates the relative position of the second display with respect to the first display based on the portion corresponding to the first image shown in the captured image captured in the capturing step and the entire image. To do.
In the determining step, the determining unit determines the position of the second region in the entire image based on the position of the first region in the entire image and the estimated relative position.
本発明によれば、複数のプレイヤーが1つのゲーム画面を共有しつつ、プレイヤーの意向に添ったゲーム画面も閲覧できるようになる。 According to the present invention, a plurality of players can view a game screen according to the player's intention while sharing one game screen.
本発明のその他の観点に係るプログラムは、コンピュータを、決定部、第1抽出部、第2抽出部、第1表示部、第2表示部、撮影部、推定部として機能させる。
決定部は、全体画像内における第1領域の位置と第2領域の位置を決定する。
第1抽出部は、全体画像内の第1領域を第1画像として抽出する。
第2抽出部は、全体画像内の第2領域を第2画像として抽出する。
第1表示部は、抽出された第1画像を第1ディスプレイに表示する。
第2表示部は、抽出された第2画像を第2ディスプレイに表示する。
撮影部は、第2ディスプレイの背面方向を撮影する。
推定部は、撮影部により撮影された撮影画像に映っている第1画像に対応する部分と、全体画像とに基づいて、第1ディスプレイに対する第2ディスプレイの相対的な位置を推定する。
そして、決定部は、全体画像内における第1領域の位置と推定された相対的な位置とに基づいて、全体画像内における第2領域の位置を決定する。
A program according to another aspect of the present invention causes a computer to function as a determination unit, a first extraction unit, a second extraction unit, a first display unit, a second display unit, a photographing unit, and an estimation unit.
The determining unit determines the position of the first area and the position of the second area in the entire image.
The first extraction unit extracts a first region in the entire image as a first image.
The second extraction unit extracts a second area in the entire image as a second image.
The first display unit displays the extracted first image on the first display.
The second display unit displays the extracted second image on the second display.
The photographing unit photographs the back direction of the second display.
The estimation unit estimates a relative position of the second display with respect to the first display based on a part corresponding to the first image shown in the captured image captured by the imaging unit and the entire image.
Then, the determination unit determines the position of the second region in the entire image based on the position of the first region in the entire image and the estimated relative position.
本発明によれば、コンピュータを上述のように動作する画像処理装置として機能させることができる。
また、本発明のプログラムは、コンパクトディスク、フレキシブルディスク、ハードディスク、光磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリー等のコンピュータ読取可能な情報記憶媒体に記録することができる。
上記プログラムは、プログラムが実行されるコンピュータとは独立して、コンピュータ通信網を介して配布・販売することができる。また、上記情報記憶媒体は、コンピュータとは独立して配布・販売することができる。
According to the present invention, it is possible to cause a computer to function as an image processing apparatus that operates as described above.
The program of the present invention can be recorded on a computer-readable information storage medium such as a compact disk, flexible disk, hard disk, magneto-optical disk, digital video disk, magnetic tape, and semiconductor memory.
The above program can be distributed and sold via a computer communication network independently of the computer on which the program is executed. The information storage medium can be distributed and sold independently from the computer.
本発明によれば、複数のプレイヤーが1つの画面を共有しつつ、プレイヤーの意向に添った画面も閲覧できるようにするために好適な画像処理装置、画像処理システム、画像処理方法、ならびに、プログラムを提供することができる。 According to the present invention, an image processing device, an image processing system, an image processing method, and a program suitable for enabling a plurality of players to share a single screen and to view a screen according to the player's intention. Can be provided.
以下に本発明の実施形態を説明する。以下では、理解を容易にするため、ゲーム用の情報処理装置を利用して本発明が実現される実施形態を説明するが、以下に説明する実施形態は説明のためのものであり、本願発明の範囲を制限するものではない。したがって、当業者であればこれらの各要素もしくは全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。 Embodiments of the present invention will be described below. In the following, for ease of understanding, an embodiment in which the present invention is realized using a game information processing device will be described. However, the embodiment described below is for explanation, and the present invention It does not limit the range. Therefore, those skilled in the art can employ embodiments in which each or all of these elements are replaced with equivalent ones, and these embodiments are also included in the scope of the present invention.
(実施形態1)
図1は、プログラムを実行することにより、本実施形態に係る画像処理装置の機能を果たす典型的な情報処理装置100のハードウェア構成を示す模式図である。
(Embodiment 1)
FIG. 1 is a schematic diagram illustrating a hardware configuration of a typical
情報処理装置100は、CPU(Central Processing Unit)101、ROM 102、RAM(Random Access Memory)103、インターフェース104、第1タッチパネル105、第2タッチパネル106、外部メモリー107、DVD−ROM(Digital Versatile Disc ROM)ドライブ108、画像処理部109、ディスプレイ110、音声処理部111、NIC(Network Interface Card)112、カメラ113を備える。
The
ゲーム用のプログラムおよびデータを記憶したDVD−ROMをDVD−ROMドライブ108に装着して、情報処理装置100の電源を投入することにより、当該プログラムが実行され、本実施形態に係る画像処理装置が実現される。
A DVD-ROM storing a game program and data is loaded into the DVD-
CPU 101は、情報処理装置100全体の動作を制御し、各構成要素と接続され制御信号やデータをやりとりする。また、CPU 101は、レジスター(図示せず)という高速アクセスが可能な記憶域に対してALU(Arithmetic Logic Unit)(図示せず)を用いて加減乗除等の算術演算や、論理和、論理積、論理否定等の論理演算、ビット和、ビット積、ビット反転、ビットシフト、ビット回転等のビット演算などを行うことができる。さらに、マルチメディア処理対応のための加減乗除等の飽和演算や、三角関数等、ベクトル演算などを高速に行えるように、CPU 101自身が構成されているものや、コプロセッサーを備えて実現するものがある。
The CPU 101 controls the overall operation of the
ROM 102には、電源投入直後に実行されるIPL(Initial Program Loader)が記録され、これが実行されることにより、DVD−ROMに記録されたプログラムをRAM 103に読み出してCPU 101による実行が開始される。また、ROM 102には、情報処理装置100全体の動作制御に必要なオペレーティングシステムのプログラムや各種のデータが記録される。
The
RAM 103は、データやプログラムを一時的に記憶するためのもので、DVD−ROMから読み出したプログラムやデータ、その他ゲームの進行やチャット通信に必要なデータが保持される。また、CPU 101は、RAM 103に変数領域を設け、当該変数に格納された値に対して直接ALUを作用させて演算を行ったり、RAM 103に格納された値を一旦レジスターに格納してからレジスターに対して演算を行ったりして、演算結果をメモリーに書き戻す、などの処理を行う。
The
インターフェース104を介して接続された2つのタッチパネル(第1タッチパネル105と第2タッチパネル106)は、プレイヤーがゲームをプレイする際に行う操作入力を受け付ける。図2に示すように、第1タッチパネル105はディスプレイ110に重畳して設置されている。第1タッチパネル105とディスプレイ110を合わせてタッチスクリーンとも呼ぶ。第1タッチパネル105上の各点は、ディスプレイ110上の各点に1対1に対応している。第2タッチパネル106はディスプレイ110とは反対の面に設置されている。第1タッチパネル105を前面タッチパネル、第2タッチパネル106を背面タッチパネルともいう。なお、情報処理装置100は、プレイヤーからの入力を受け付ける入力装置として、第1タッチパネル105と第2タッチパネル106のほかに、ボタン等を備えたいわゆる"コントローラー"と呼ばれる入力装置を備えていてもよい。
Two touch panels (the
インターフェース104を介して着脱自在に接続された外部メモリー107には、ゲーム等のプレイ状況(過去の成績等)を示すデータ、ゲームの進行状態を示すデータ、ネットワーク対戦の場合のチャット通信のログ(記録)のデータなどが書き換え可能に記憶される。プレイヤーは、第1タッチパネル105や第2タッチパネル106を介して指示入力を行うことにより、これらのデータを適宜外部メモリー107に記録することができる。
The
DVD−ROMドライブ108に装着されるDVD−ROMには、ゲームを行うためのプログラムとゲームに付随する画像データや音声データなどが記録される。CPU 101の制御によって、DVD−ROMドライブ108は、これに装着されたDVD−ROMに対する読み出し処理を行って、必要なプログラムやデータを読み出す。読み出されたプログラムやデータはRAM 103等に一時的に記憶される。
A DVD-ROM mounted on the DVD-
画像処理部109は、DVD−ROMから読み出されたデータをCPU 101や画像処理部109が備える画像演算プロセッサー(図示せず)によって加工処理した後、これを画像処理部109が備えるフレームメモリー(図示せず)に記録する。フレームメモリーに記録された画像情報は、所定の同期タイミングでビデオ信号に変換され画像処理部109に接続されるディスプレイ110へ出力される。これにより、各種の画像表示が可能となる。
The
画像演算プロセッサーは、2次元の画像の重ね合わせ演算やαブレンディング等の透過演算、各種の飽和演算を高速に実行できる。 The image calculation processor can execute a two-dimensional image overlay calculation, a transmission calculation such as α blending, and various saturation calculations at high speed.
また、仮想空間が3次元にて構成される場合には、当該3次元空間内に配置され、各種のテクスチャー情報が付加されたポリゴン情報を、Zバッファー法によりレンダリングして、所定の視点位置から仮想空間に配置されたポリゴンを所定の視線の方向へ見たレンダリング画像を得る演算の高速実行も可能である。 In addition, when the virtual space is configured in three dimensions, the polygon information arranged in the three-dimensional space and added with various texture information is rendered by the Z buffer method, and a predetermined viewpoint position is used. It is also possible to execute a calculation at high speed to obtain a rendering image in which a polygon arranged in the virtual space is viewed in the direction of a predetermined line of sight.
さらに、CPU 101と画像演算プロセッサーが協調動作することにより、文字の形状を定義するフォント情報にしたがって、文字列を2次元画像としてフレームメモリーへ描画したり、各ポリゴン表面へ描画したりすることが可能である。 Further, the CPU 101 and the image arithmetic processor cooperate to draw a character string as a two-dimensional image in a frame memory or draw it on the surface of each polygon according to font information that defines the character shape. Is possible.
音声処理部111は、DVD−ROMから読み出した音声データをアナログ音声信号に変換し、これに接続されたスピーカーから出力させる。また、CPU 101の制御の下、ゲームの進行の中で発生させるべき効果音や楽曲データを生成し、これに対応した音声をスピーカーから出力させる。
The
音声処理部111では、DVD−ROMに記録された音声データがMIDIデータである場合には、これが有する音源データを参照して、MIDIデータをPCMデータに変換する。また、ADPCM形式やOgg Vorbis形式等の圧縮済音声データである場合には、これを展開してPCMデータに変換する。PCMデータは、そのサンプリング周波数に応じたタイミングでD/A(Digital/Analog)変換を行って、スピーカーに出力することにより、音声出力が可能となる。
When the audio data recorded on the DVD-ROM is MIDI data, the
さらに、情報処理装置100にはマイクを接続することができる。この場合、マイクからのアナログ信号に対しては、適当なサンプリング周波数でA/D(Analog/Digital)変換を行い、PCM形式のディジタル信号として、音声処理部111でのミキシング等の処理ができるようにする。
Furthermore, a microphone can be connected to the
NIC 112は、情報処理装置100をインターネットやLAN(Local Area Network)等のコンピューター通信網(図示せず)に接続する。例えば、NIC 112は、LANを構成する際に用いられる10BASE−T/100BASE−T規格にしたがう仕様で構成される。あるいは、NIC 112は、電話回線を用いてインターネットに接続するためのアナログモデム、ISDN(Integrated Services Digital Network)モデム、ADSL(Asymmetric Digital Subscriber Line)モデム、ケーブルテレビジョン回線を用いてインターネットに接続するためのケーブルモデムなどから構成されてもよい。
The
カメラ113は、CPU 101もしくはプレイヤーからの指示に従い、撮影する。撮影されて得られる画像は、CPU 101もしくは画像処理部109によって画像処理され、ディスプレイ110に表示されたり外部メモリー107に保存されたりする。本実施形態の情報処理装置100においては、図2に示すようにカメラ113のレンズはディスプレイ110と反対側の面に取り付けられており、図3に示すようにプレイヤーは被写体に情報処理装置100の背面を向け且つディスプレイ110に表示された映像を見ながら撮影することができる。例えば、プレイヤーは、NIC 112により通信可能であって外部機器320に接続されているディスプレイ310を含むアングルで撮影することができる。なお、後述するように、撮影画像の中にディスプレイ310に表示された画像がどのように写り込んでいるかに応じて、ディスプレイ110に表示される画像が変化する。
The
このほか、情報処理装置100は、ハードディスク等の大容量外部記憶装置を用いて、ROM 102、RAM 103、外部メモリー107、DVD−ROMドライブ108に装着されるDVD−ROM等と同じ機能を果たすように構成してもよい。
In addition, the
以上で説明した情報処理装置100は、いわゆる「コンシューマー向けテレビゲーム装置」に相当するものであるが、仮想空間を表示するような画像処理を行うものであれば本発明を実現することができる。したがって、携帯電話機、携帯ゲーム機器、一般的なビジネス用コンピューターやパーソナルコンピューターなど、種々の計算機上で本発明を実現することが可能である。
The
次に、上記構成を有する情報処理装置100により実現される、本実施形態の画像処理装置400の機能的な構成について説明する。図4は、画像処理装置400の機能的な構成を示す図である。画像処理装置400は、第1抽出部401、第1表示部402、第2抽出部403、第2表示部404、撮影部405、推定部406、決定部407を備える。
Next, a functional configuration of the
画像処理装置400は外部機器320と通信が可能であり、外部機器320に画像データを送信する。画像処理装置400は、外部機器320を介して、外部機器320に接続されている外部モニター310に画像を表示させることができる。あるいは、画像処理装置400は、外部モニター310に直接画像データを送信して画像を表示させてもよい。
The
第1抽出部401は、全体画像内の第1領域を第1画像として抽出する。第1領域は、後述する決定部407により決定される。全体画像については後述する。CPU 101が第1抽出部401として機能する。
The
第2抽出部402は、全体画像内の第2領域を第2画像として抽出する。第2領域は、後述する決定部407により決定される。CPU 101が第2抽出部402として機能する。
The
第1表示部403は、第1抽出部401により抽出された第1画像を外部ディスプレイ310に表示する。CPU 101と画像処理部109が協働して第1表示部403として機能する。
The
第2表示部404は、第2抽出部402により抽出された第2画像を、画像処理装置400が備えるディスプレイ110に表示する。CPU 101と画像処理部109が協働して第2表示部404として機能する。
The
以下の説明において、第1画像が表示される外部ディスプレイ310を「第1ディスプレイ」と呼び、第2画像が表示され且つ画像処理装置400が備えるディスプレイ110を「第2ディスプレイ」と呼ぶ。一般には、第1ディスプレイは複数のプレイヤーが同時に眺めることができる共有のディスプレイであり、第2ディスプレイは画像処理装置400を所有するプレイヤー1人のみが手元で見るディスプレイである。
In the following description, the
ここで、画像処理装置400が扱う画像について、図5を用いて説明する。上記全体画像500は、画像処理装置400によってゲームが行われる仮想空間の全体を表す画像である。例えばサッカーゲームにおいて、全体画像500にはサッカーコート全体が含まれる。CPU 101は、画像処理部109を制御して、仮想空間内におけるキャラクターオブジェクト(以下、単に「オブジェクト」という。)の位置や形状などをプレイヤーからの指示に基づいて変化させ、全体画像500を生成する。
Here, an image handled by the
上述したように、全体画像500内には、第1領域510と第2領域520がCPU 101によって設定される。第1領域510と第2領域520は共に位置が可変であり、形状と大きさは固定である。全体画像500のうち第1領域510に含まれる部分が第1画像であり、全体画像500のうち第2領域520に含まれる部分が第2画像である。第1画像は第1ディスプレイ(外部ディスプレイ310)に表示され、第2画像は第2ディスプレイ(ディスプレイ110)に表示される。第1領域510の位置は、第2領域520の位置と一致するとは限らず、そのため第1ディスプレイに表示される第1画像と第2ディスプレイに表示される第2画像が異なることがある。
As described above, the
本実施形態では、CPU 101は、サッカーゲームにおけるサッカーボールの位置が第1領域510の中心位置になるように第1領域510を設定する。ゲームの進行に応じてサッカーボールの位置が変化するので、第1ディスプレイには、サッカーボールを常に追いかけるようなカメラワークで、ゲーム画像が表示される。一方、CPU 101は、カメラ113によって撮影された画像(撮影画像)に応じて、第2領域520の位置を変化させる。したがって、第2ディスプレイに表示される第2画像の表示範囲となる第2領域520の中心位置は、第1領域510の中心位置と一致するとは限らず、第1領域510に含まれない部分が第2領域520に含まれることがある。言い換えれば、全体画像500のうち第1ディスプレイに表示されず第2ディスプレイに表示される部分が存在することがある。第2領域520の位置の変化の詳細については後述する。
In the present embodiment, the CPU 101 sets the
撮影部405は、ディスプレイ110(第2ディスプレイ)の背面方向を撮影する。なお、ディスプレイ110と第1タッチパネル105が配置されている面が画像処理装置400のオモテ(正面)であり、第2タッチパネル106が配置されている面が画像処理装置400のウラ(背面)である。CPU 101とカメラ113が協働して撮影部405として機能する。
The photographing
カメラ113のレンズは、第2タッチパネル106が配置されている側、すなわち画像処理装置400の背面側に固定されている。プレイヤーが画像処理装置400の背面を被写体に向けると、背面に配置されたレンズが被写体に向くことになるので、プレイヤーは、画像処理装置400を一般的なデジタルカメラのように構えて被写体を撮影することが可能である。
The lens of the
図6に、カメラ113によって撮影された撮影画像600の例を示す。CPU 101は、カメラ113を制御して、リアルタイムで動画撮影する。本図の撮影画像600では、外部ディスプレイ310がほぼ中央に収まっている。画像処理装置400は、ゲームの実行中ではゲーム画像(サッカーゲームにおいては、サッカーゲームの様子を表す画像)をディスプレイ110に表示し、ゲームの実行と並行して動画撮影する。動画撮影で得られた映像は、ディスプレイ110等には表示されないが、後述するように全体画像500中の第2領域520の位置を決定するために用いられる。
FIG. 6 shows an example of a captured image 600 captured by the
推定部406は、撮影部405により撮影された撮影画像に基づいて、第1ディスプレイ(ディスプレイ110)に対する第2ディスプレイ(外部ディスプレイ310)の相対的な位置を推定する。CPU 101と画像処理部109が協働して、推定部406として機能する。
The
決定部407は、全体画像500内における第1領域510の位置を決定する。例えば、決定部407は、上述したように、サッカーゲームにおけるサッカーボールの位置が第1領域510の中心位置になるように第1領域510の位置を決定する。また、決定部407は、第1領域510の位置と、推定部406により推定された、第1ディスプレイに対する第2ディスプレイの相対的な位置とに基づいて、全体画像500内における第2領域520の位置を決定する。CPU 101と画像処理部109が協働して、決定部407として機能する。
The
ここで、第1ディスプレイに対する第2ディスプレイの相対位置の推定と、推定結果に基づく第2領域520の位置の決定について、詳しく説明する。CPU 101は、撮影画像600のうち第1画像に対応する部分650を判別する。そして、CPU 101は、第1画像に対応する部分650が全体画像500のどこに相当するのかを判別する。
Here, estimation of the relative position of the second display with respect to the first display and determination of the position of the
すなわち、CPU 101は、撮影画像600のうち第1画像に対応する部分650と、全体画像500とをパターンマッチングすることにより、全体画像500中における、第1画像に対応する部分650の位置を判別する。すなわち、全体画像500のうちカメラ113によって撮影されている部分が判別される。そして、CPU 101は、判別結果から、第1ディスプレイに対する第2ディスプレイの相対位置を推定する。
That is, the CPU 101 determines the position of the
例えば、CPU 101は、全体画像500の中に配置されている所定の注目オブジェクト(目印となるオブジェクト)の位置と、撮影画像600のうち第1画像に対応する部分650の中に写り込んでいるオブジェクトの位置とをマッチングすることにより、第1ディスプレイに対する第2ディスプレイの相対位置を推定してもよい。注目オブジェクトは任意であり、典型的には、サッカーゲームにおける選手や審判を表すオブジェクト、サッカーボールを表すオブジェクトが用いられる。あるいは、サッカーコートに描かれているラインの位置、芝生の模様などが目印に用いられてもよい。
For example, the CPU 101 is reflected in the position of a predetermined object of interest (object to be a mark) arranged in the
あるいは、CPU 101は、撮影画像600のうち第1画像に対応する部分650の位置と形状に基づいて、第1ディスプレイに対する第2ディスプレイの相対位置を推定してもよい。例えば、撮影画像600が図6に示されるものである場合、第1ディスプレイの全体が撮影画像600のほぼ中央に映っており、第1画像に対応する部分650の形状が歪んでおらずほぼ長方形であることから、CPU 101は、図7に示すように、第2ディスプレイが第1ディスプレイの正面に平行に配置されている、言い換えれば、第2ディスプレイの背面が第1ディスプレイに正対している、と推定してもよい。
Alternatively, the CPU 101 may estimate the relative position of the second display with respect to the first display based on the position and shape of the
さらに、CPU 101は、図7に示すように、第1画像710に所定の基準マーク750(図7では750A,750B,750C,750Dの4つ)を重畳した画像を第1ディスプレイに表示することとし、撮影画像600の中の基準マーク750の配置に基づいて、第1ディスプレイに対する第2ディスプレイの相対位置を推定してもよい。
Further, as shown in FIG. 7, the CPU 101 displays an image in which predetermined reference marks 750 (four in FIG. 7, 750A, 750B, 750C, and 750D) are superimposed on the
より詳細には、CPU 101は、撮影画像600の中に4つの基準マーク750A〜750Dのすべてが含まれている場合には、第2ディスプレイの正面に第1ディスプレイが配置されていると推定する。一方、CPU 101は、撮影画像600の中に4つの基準マーク750A〜750Dのうちいずれか1つ以上が含まれていない場合には、撮影画像600の中に含まれている基準マークの分布に基づいて、第1ディスプレイに対する第2ディスプレイの相対位置を推定する。そして、CPU 101は、推定結果に基づいて、第2領域520の位置を決定する。
More specifically, when all four
例えば図8に示すように、撮影画像800の中に、各コーナーに配置された4つの基準マーク750A〜750Dのうち右側の2つの基準マーク750C,750Dだけが含まれている場合、CPU 101は、第2ディスプレイが第1ディスプレイに正対しておらず、図9に示すように第2ディスプレイが第1ディスプレイよりも相対的に右側に偏っていると推定する。つまり、画像処理装置400のプレイヤーは画像処理装置400の背面を第1ディスプレイの右寄りに向けていると推定され、全体画像500のうち第1画像よりも右側を見たいと思っていると推定される。
For example, as shown in FIG. 8, when the captured
そこで、CPU 101は、図10に示すように、全体画像500における第2領域520を、第2ディスプレイが第1ディスプレイよりも偏っている方向、つまり第1領域510よりも右側へ(X軸の正の向きへ)、移動量ΔLだけ移動する。その結果、例えば図10においては、第2領域520は第1領域510の外へはみ出ており、はみ出た部分1000は第2ディスプレイに表示されるが第1ディスプレイには表示されない。
Therefore, as shown in FIG. 10, the CPU 101 moves the
第2領域520の移動量ΔLの大きさは任意であるが、例えばCPU 101は、撮影画像800における基準マーク750の位置が、第2ディスプレイが第1ディスプレイの正面にあると仮定したときにおける基準マーク750の位置よりも、どの程度ずれているかに基づいて、移動量ΔLを決定してもよい。CPU 101は、この基準マーク750の位置のずれが大きいほど、移動量ΔLを大きくしてもよい。
Although the magnitude of the movement amount ΔL of the
図8〜10では、第2ディスプレイが第1ディスプレイよりも右側にずれているケースについて説明されているが、左側、上側、下側にずれているケースにおいても、CPU 101は、同様の処理によって第2領域520の位置を左側、上側、もしくは下側に移動する。
8 to 10, the case where the second display is shifted to the right side from the first display is described. However, even in the case where the second display is shifted to the left side, upper side, and lower side, the CPU 101 performs the same process. The position of the
例えば図11に示すように、撮影画像1100の中に4つの基準マーク750A〜750Dのすべてが含まれているものの、これらが右上方へ偏っている場合、CPU 101は、図12に示すように、第2ディスプレイが第1ディスプレイよりも相対的に左下側にあると推定する。つまり、画像処理装置400のプレイヤーは画像処理装置400の背面を第1ディスプレイの左下寄りに向けていると推定され、全体画像500のうち第1画像よりも左下側を見たいと思っていると推定される。
For example, as illustrated in FIG. 11, when all four reference marks 750 </ b> A to 750 </ b> D are included in the photographed
そこで、CPU 101は、図13に示すように、全体画像500における第2領域520を、第1領域510よりも左下側へ(X軸の負の向き且つY軸の正の向きへ)移動する。例えばCPU 101は、第2ディスプレイが第1ディスプレイの真正面にある場合に検出されるべき基準マークの位置1150A〜1150Dと、撮影画像1100内の基準マーク750A〜750Dの位置と、のX成分の差異が大きいほど、移動量のX成分ΔLXを大きくする。同様に、CPU 101は、第2ディスプレイが第1ディスプレイの真正面にある場合に検出されるべき基準マークの位置1150A〜1150Dと、撮影画像1100内の基準マーク750A〜750Dの位置と、のY成分の差異が大きいほど、移動量のY成分ΔLYを大きくする。
Therefore, as shown in FIG. 13, the CPU 101 moves the
なお、撮影画像800の中に、各コーナーに配置された4つの基準マーク750A〜750Dがすべて含まれていない場合には、CPU 101は、第2領域520の中心位置を第1領域510の中心位置と一致させることする。つまり、基準マーク750が一つも入らないようなアングルで撮影されている場合には、プレイヤーは第1ディスプレイを閲覧しない(閲覧できない)と判断し、第1領域510の中に第2領域520のすべてが含まれるようにする。第1領域510と第2領域520の大きさと形状が共に同じであれば、第1ディスプレイと同じゲーム画像が第2ディスプレイにも表示されることになる。
When the captured
次に、画像処理装置400が行う画像処理について、図14のフローチャートを用いて説明する。ここでは、仮想空間内におけるサッカーゲームが画像処理装置400によって実行されるものとして説明する。1人のプレイヤーが画像処理装置400を用いてNPC(Non Player Character)を相手にサッカーゲームをプレイする。プレイヤーは、第1ディスプレイに表示される第1画像を見ることができるし、手元の第2ディスプレイに表示される第2画像を見ることもできる。ゲームのプレイヤー以外の他の観戦者は、通常、第1ディスプレイに表示される第1画像を見ることになる。また、サッカーゲームが行われている間、画像処理装置400は、ゲーム処理と並行して、カメラ113を制御して画像処理装置400の背面側を撮影する。
Next, image processing performed by the
ゲームを開始すると、CPU 101は、全体画像500内の初期位置に第1領域510を設定する(ステップS1401)。第1領域510の初期位置は、例えば全体画像500の中心位置や、注目オブジェクトの位置である。注目オブジェクトは、例えばサッカーボールを表すオブジェクトである。
When the game is started, the CPU 101 sets the
CPU 101は、全体画像500内の初期位置に第2領域520を設定する(ステップS1402)。本実施形態では、第2領域520の初期位置は、第1領域510の中心位置と同じ位置である。つまり、初期状態では、第1ディスプレイと第2ディスプレイには、同じ位置を中心とした画像が表示される。
The CPU 101 sets the
CPU 101は、全体画像500から第1領域510に含まれる第1画像を抽出し、全体画像500から第2領域520に含まれる第2画像を抽出する(ステップS1403)。
The CPU 101 extracts the first image included in the
CPU 101は、抽出した第1画像を第1ディスプレイに表示し、抽出した第2画像を第2ディスプレイに表示する(ステップS1404)。なお、第1ディスプレイには、第1画像に上述の基準マーク750を重畳した画像が表示される。 The CPU 101 displays the extracted first image on the first display, and displays the extracted second image on the second display (step S1404). Note that an image obtained by superimposing the above-described reference mark 750 on the first image is displayed on the first display.
CPU 101は、注目オブジェクトの位置の変化に応じて、全体画像500内における第1領域510の位置を変化させる(ステップS1405)。例えば、サッカーボールを注目オブジェクトとするとき、第1ディスプレイには、サッカーボールを常に追いかけるようなゲーム画面が表示される。
The CPU 101 changes the position of the
CPU 101は、カメラ113によって撮影された撮影画像の中に基準マーク750が含まれているか否かを判別する(ステップS1406)。 The CPU 101 determines whether or not the reference mark 750 is included in the captured image captured by the camera 113 (step S1406).
撮影画像の中に基準マーク750が含まれていないと判別した場合(ステップS1406;NO)、CPU 101は、ステップS1402に戻り、第2領域520を初期位置(第1領域510の中心位置)に設定する。つまり、画像処理装置400のカメラ113によって第1ディスプレイが撮影されていない場合には、第2ディスプレイには第1ディスプレイと同じゲーム画像が表示される。
When it is determined that the reference mark 750 is not included in the photographed image (step S1406; NO), the CPU 101 returns to step S1402 and sets the
一方、撮影画像の中に基準マーク750が含まれていると判別した場合(ステップS1406;YES)、CPU 101は、撮影画像を解析し、撮影画像に含まれる基準マーク750の位置に基づいて、第1ディスプレイに対する第2ディスプレイの相対位置を推定する(ステップS1407)。つまり、画像処理装置400によって第1ディスプレイの全部又は一部が撮影されている場合には、第1ディスプレイに対する第2ディスプレイの相対位置が推定される。
On the other hand, when it is determined that the reference mark 750 is included in the captured image (step S1406; YES), the CPU 101 analyzes the captured image, and based on the position of the reference mark 750 included in the captured image, The relative position of the second display with respect to the first display is estimated (step S1407). That is, when all or part of the first display is captured by the
CPU 101は、ステップS1407で推定された第1ディスプレイに対する第2ディスプレイの相対位置の変化に応じて、全体画像500内における第2領域520の位置を変化させる(ステップS1408)。例えば、第2ディスプレイが第1ディスプレイの左側に偏って配置されていると推定されれば、第2領域520も左寄りに移動し、第2ディスプレイには第1画像よりも左側であって第1ディスプレイには映っていない“続きの部分”も表示される。第2ディスプレイが第1ディスプレイの右側に偏って配置されていると推定されれば、第2領域520も右寄りに移動し、第2ディスプレイには第1画像よりも右側であって第1ディスプレイには映っていない“続きの部分”も表示される。
The CPU 101 changes the position of the
CPU 101は、ゲームを終了するか否かを判別する(ステップS1409)。例えば、サッカーゲームにおいて、規定のゲーム時間が終了した場合や、プレイヤーからゲームを終了する旨の指示が入力された場合に、CPU 101はゲームを終了すると判別する。 The CPU 101 determines whether or not to end the game (step S1409). For example, in a soccer game, the CPU 101 determines that the game is to be ended when a predetermined game time has ended or when an instruction to end the game is input from the player.
ゲームを終了しないと判別した場合(ステップS1409;NO)、CPU 101は、ステップS1402〜S1409の処理を繰り返す。ゲームを終了すると判別した場合(ステップS1409;YES)、CPU 101は、画像処理を終了する。 When it is determined that the game is not to be ended (step S1409; NO), the CPU 101 repeats the processes of steps S1402 to S1409. When it is determined that the game is to be ended (step S1409; YES), the CPU 101 ends the image processing.
例えば、NPCを相手に1人のプレイヤーがゲームをプレイしており、そのゲームの様子を観戦者が第1ディスプレイで観戦する状況において、観戦者は、まるでテレビ中継を大勢で一緒に見るかのように、プレイヤーのプレイを邪魔することなく第1ディスプレイで観戦できる。また、プレイヤーは、観戦者に邪魔されることなく第1ディスプレイと第2ディスプレイを見ながらゲームをプレイできる。プレイヤーは、注目オブジェクト(例えばサッカーボール)を中心としたゲーム画像を見たいときには第1ディスプレイを見ればよいし、第1ディスプレイに映っていない周囲を見たいときには続きを見たい向きに画像処理装置400を向けて第2ディスプレイを見ればよい。 For example, in a situation where one player is playing a game against an NPC and the spectator watches the state of the game on the first display, the spectators can watch a lot of TV broadcasts together. Thus, it is possible to watch the game on the first display without disturbing the player's play. The player can play the game while watching the first display and the second display without being disturbed by the spectators. An image processing apparatus is suitable for a player who wants to see a game image centered on an object of interest (for example, a soccer ball), and to look at the surroundings that are not reflected on the first display. Look at the second display with 400 facing.
例えば、サッカーゲームにおいて、プレイヤーは、パスをどの方向へ繋げればよいかを考えるとき、画像処理装置400の向きを変えて第2ディスプレイを見れば、第1ディスプレイに映っていない周囲を見ることができる。第2ディスプレイはプレイヤーの手元にあるので、観戦者が第1ディスプレイでなく第2ディスプレイを見ることは容易ではない。そのため、ゲームのプレイヤーが何を考えているのか、どの向きにパスを通そうと考えているのかが、観戦者には分からない。このように、本実施形態によれば、複数のプレイヤーが1つのゲーム画面を共有しつつ、プレイヤーの意向に添ったゲーム画面も閲覧できるようになる。
For example, in a soccer game, when a player considers in which direction a pass should be connected, if the orientation of the
(実施形態2)
次に、本発明のその他の実施形態について説明する。本実施形態では、複数のプレイヤーが同じゲームに参加できる。そして、各プレイヤーが互いに異なった第2画像を見ることができる。
(Embodiment 2)
Next, other embodiments of the present invention will be described. In this embodiment, a plurality of players can participate in the same game. Then, each player can see different second images.
図15は、本実施形態の画像処理システム1500の構成を示す図である。画像処理システム1500には、第1の画像処理装置1510と、第1の画像処理装置1510に接続された第1ディスプレイ1530と、複数の第2の画像処理装置1520(本図では、1520A,1520Bの2つ)と、が含まれる。ゲームシステム1500に含まれる第2の画像処理装置1520の数は2つでなくてもよく、3つ以上でもよい。プレイヤー1人につき、第2の画像処理装置1520が1台割り当てられる。
FIG. 15 is a diagram illustrating a configuration of an
第1の画像処理装置1510は、各プレイヤーからの指示入力を第2の画像処理装置1520A,1520Bから受信し、仮想空間内におけるゲームを実行し、ゲームの進捗状況などを第2の画像処理装置1520A,1520Bへ送信する。また、第1の画像処理装置1510は、全体画像500を生成し、第1画像を第1ディスプレイ1530に表示する。さらに、第1の画像処理装置1510は、第2画像を第2の画像処理装置1520A,1520Bへ送信する。送信された第2画像は第2の画像処理装置1520A,1520Bが有する第2ディスプレイ1521A,1521Bに表示される。
The first
図16は、第1の画像処理装置1510のハードウェア構成を示す図である。第1の画像処理装置1510は、制御部1601、記憶部1602、表示部1603、通信部1604を備える。
FIG. 16 is a diagram illustrating a hardware configuration of the first
制御部1601は、CPUや画像演算プロセッサーなどから構成され、第1の画像処理装置1510の全体を制御する。制御部1601は、第2の画像処理装置1520A,1520Bから送信された指示入力に基づいてゲームを進行させる処理(ゲーム処理)を実行する。また、制御部1601は、全体画像500から第1領域510内の第1画像を抽出し、全体画像500から第2領域520内の第2画像を抽出する。
The
記憶部1602には、ROM、RAM、ハードディスクなどから構成され、ゲームの進捗状況やキャラクターの属性パラメーターなどといったゲームデータのほか、全体画像500、第1画像510、第2画像520が記憶される。
The
表示部1603は、第1画像に基準マークを重畳した画像を第1ディスプレイ1530に表示する。
The
通信部1604は、第2の画像処理装置1520A,1520Bと通信する。例えば、通信部1604は、第2の画像処理装置1520Aからプレイヤーによる指示入力や撮影画像(もしくは第1ディスプレイ1530に対する第2ディスプレイ1521Aの相対位置を示すデータ)を受信し、第2画像を第2の画像処理装置1520Aに送信する。同様に、通信部1604は、第2の画像処理装置1520Bからプレイヤーによる指示入力や撮影画像(もしくは第1ディスプレイ1530に対する第2ディスプレイ1521Bの相対位置を示すデータ)を受信し、第2画像を第2の画像処理装置1520Bに送信する。
The communication unit 1604 communicates with the second
これらの構成を有する第1の画像処理装置1510は、いわゆるゲームサーバーの役割を果たす。本実施形態では、第1の画像処理装置1510は2つの第2の画像処理装置1520A,1520Bと並行して通信するが、3つ以上の第2の画像処理装置1520と並行して通信してもよい。
The first
なお、第2の画像処理装置1520A,1520Bのハードウェア構成については、実施形態1に記載した画像処理装置400と同一であるので、詳しい説明は省略する。
Note that the hardware configuration of the second
次に、画像処理システム1500の機能的な構成について、図17を用いて説明する。第1の画像処理装置1510は、抽出部1701、第1表示部1702、画像送信部1703、決定部1708を備える。第2の画像処理装置1520のそれぞれは、画像受信部1704、第2表示部1705、撮影部1706、推定部1707を備える。なお、説明の簡略化のため、本図には第1の画像処理装置1510が1つしか記載されていないが、画像処理システム1500には、複数の第1の画像処理装置1510が含まれている。
Next, a functional configuration of the
抽出部1701は、全体画像500内の第1領域510を第1画像として抽出し、第2の画像処理装置1520ごとに、全体画像500内の第2領域520を第2画像として抽出する。抽出部1701は、第2の画像処理装置1520ごとに、後述する決定部1708により決定された第2領域520の位置に基づいて、全体画像500内の第2領域520を第2画像として抽出する。制御部1601が抽出部1701として機能する。
The
第1表示部1702は、抽出部1701により抽出された第1画像を第1ディスプレイに表示する。制御部1601と表示部1603が協働して、第1表示部1702として機能する。
The
画像送信部1703は、抽出部1701により抽出された第2画像を、第2の画像処理装置1520のそれぞれに送信する。制御部1601と通信部1604が協働して、画像送信部1703として機能する。
The
画像受信部1704は、第2画像を第1の画像処理装置1510から受信する。CPU 101とNIC 112が協働して、画像受信部1704として機能する。
The
第2表示部1705は、画像受信部1704が受信した第2画像を第2ディスプレイに表示する。CPU 101と画像処理部109が協働して、第2表示部1705として機能する。
The
撮影部1706は、第2ディスプレイの背面方向を撮影する。CPU 101とカメラ113が協働して、撮影部1706として機能する。
The photographing
推定部1707は、撮影部1706により撮影された撮影画像に映っている第1画像に対応する部分に基づいて、第1ディスプレイに対する第2ディスプレイの相対的な位置を推定する。そして、推定部1707は、推定結果を第1の画像処理装置1510に送信する。CPU 101とNIC 112が協働して、推定部1707として機能する。
The
決定部1708は、第2の画像処理装置1520のそれぞれについて、第1領域510の位置と、第2の画像処理装置1520から受信した推定結果とに基づいて、第2領域520の位置を決定する。決定部1708は、第2の画像処理装置1520のそれぞれから推定結果を受信し、第2の画像処理装置1520ごとに、第1領域510の位置と受信した推定結果とに基づいて、第2領域520の位置を決定する。制御部1601が決定部1708として機能する。
The
次に、第1の画像処理装置1510と第2の画像処理装置1520が行う画像処理について、図18のフローチャートを用いて説明する。第2の画像処理装置1520は1つだけでなく複数でもよいが、説明の簡略化のため、ここでは1つの第2の画像処理装置1520が画像処理システム1500に含まれるものとする。
Next, image processing performed by the first
ゲームを開始すると、CPU 101は、全体画像500内の初期位置に第1領域510を設定する(ステップS1801)。
When the game is started, the CPU 101 sets the
CPU 101は、全体画像500内の初期位置に第2領域520を設定する(ステップS1802)。本実施形態では、第2領域520の初期位置は、第1領域510の中心位置と同じ位置である。
The CPU 101 sets the
CPU 101は、全体画像500から第1領域510に含まれる第1画像を抽出し、全体画像500から第2領域520に含まれる第2画像を抽出する(ステップS1803)。
The CPU 101 extracts the first image included in the
第1の画像処理装置1510のCPU 101は、抽出した第2画像を第2の画像処理装置1520に送信する(ステップS1804)。第2の画像処理装置1520の制御部1601は、第2の画像処理装置1520から第2の画像を受信する(ステップS1805)。
The CPU 101 of the first
CPU 101は、抽出した第1画像を第1ディスプレイに表示する(ステップS1806)。CPU 101は、第1画像に上述の基準マーク750を重畳した画像を第1ディスプレイに表示する。 The CPU 101 displays the extracted first image on the first display (step S1806). The CPU 101 displays an image obtained by superimposing the above-described reference mark 750 on the first image on the first display.
CPU 101は、注目オブジェクトの位置の変化に応じて、全体画像500内における第1領域510の位置を変化させる(ステップS1807)。
The CPU 101 changes the position of the
一方、第2画像を受信した第2の画像処理装置1520の制御部1601は、受信した第2画像を第2ディスプレイに表示する(ステップS1808)。
On the other hand, the
制御部1601は、カメラ113によって撮影された撮影画像の中に基準マーク750が含まれているか否かを判別する(ステップS1809)。
The
撮影画像の中に基準マーク750が含まれていないと判別した場合(ステップS1809;NO)、制御部1601は、ステップS1802に戻り、第2領域520を初期位置(第1領域510の中心位置)に設定する。つまり、画像処理装置400のカメラ113によって第1ディスプレイが撮影されていない場合には、第2ディスプレイには第1ディスプレイと同じゲーム画像が表示される。
When it is determined that the reference mark 750 is not included in the captured image (step S1809; NO), the
一方、撮影画像の中に基準マーク750が含まれていると判別した場合(ステップS1809;YES)、制御部1601は、撮影画像を解析し、撮影画像に含まれる基準マーク750の位置に基づいて、第1ディスプレイに対する第2ディスプレイの相対位置を推定する(ステップS1810)。つまり、第2の画像処理装置1520によって第1ディスプレイの全部又は一部が撮影されている場合には、第1ディスプレイに対する第2ディスプレイの相対位置が推定される。
On the other hand, when it is determined that the reference mark 750 is included in the captured image (step S1809; YES), the
具体的には、制御部1601は、図19(a)に示す撮影画像1900の中に含まれる基準マーク750A〜750Dの分布の偏りを解析する。制御部1601は、図19(b)に示すように、撮影画像の中から基準マーク750A〜750Dを抽出し、抽出した基準マーク750の重心1920と、撮影画像の中心1910とを求める。制御部1601は、基準マーク750の重心1920から撮影画像の中心1910へと結ぶベクトル1930の長さが所定値以上の場合、基準マーク750A〜750Dの分布に有意の偏りがあると判別する。制御部1601は、第1ディスプレイを基準に、第2ディスプレイがベクトル1930の示す分だけずれて配置されていると推定する。
Specifically, the
第2の画像処理装置1520の制御部1601は、ステップS1810での推定結果を第1の画像処理装置1510へ送信する(ステップS1811)。第1の画像処理装置1601のCPU 101は、推定結果を第2の画像処理装置1520から受信する(ステップS1812)。
The
CPU 101は、ステップS1812で受信した推定結果に応じて、全体画像500内における第2領域520の位置を変化させる(ステップS1813)。例えば、図19(c)に示すように、ベクトル1930と方向が同じベクトル1940を求め、ベクトル1940の向きへ第2領域520を移動する。第2領域520の移動量は所定値でもよいし、ベクトル1930又はベクトル1940の長さに比例した値でもよい。
The CPU 101 changes the position of the
CPU 101は、ゲームを終了するか否かを判別する(ステップS1814)。例えば、サッカーゲームにおいて、規定のゲーム時間が終了した場合や、プレイヤーからゲームを終了する旨の指示が入力された場合に、CPU 101はゲームを終了すると判別する。 The CPU 101 determines whether or not to end the game (step S1814). For example, in a soccer game, the CPU 101 determines that the game is to be ended when a predetermined game time has ended or when an instruction to end the game is input from the player.
ゲームを終了しないと判別した場合(ステップS1814;NO)、第1の画像処理装置1510と第2の画像処理装置1520は、ステップS1802〜S1814の処理を繰り返す。ゲームを終了すると判別した場合(ステップS1814;YES)、CPU 101は、画像処理を終了する。
If it is determined that the game is not to be ended (step S1814; NO), the first
画像処理システム1500に複数の第2の画像処理装置1520が含まれる場合には、以上のステップS1801〜S1814の処理が第2の画像処理装置1520ごとに行われる。したがって、第2の画像処理装置1520のプレイヤーのそれぞれは、1つのゲーム画面(第1ディスプレイ)を共有しつつ、プレイヤーの意向に添ったゲーム画面(第2ディスプレイ)も閲覧できる。
When the
例えば、2人のプレイヤー同士が対戦するサッカーゲームにおいて、プレイヤーのそれぞれは、パスをどの方向へ繋げればよいかを考えるとき、自分が操作する第2の画像処理装置1520の向きを変えて第2ディスプレイを見れば、第1ディスプレイに映っていない周囲を見ることができる。第2ディスプレイは各プレイヤーの手元にあるので、プレイヤーが他人の操作する第2の画像処理装置1520の第2ディスプレイを見ることは容易ではない。そのため、プレイヤーが何を考えているのか、どの向きにパスを通そうと考えているのかが、対戦相手プレイヤーに知られることはない。
For example, in a soccer game in which two players play against each other, each player changes the direction of the second
(実施形態3)
次に、本発明のその他の実施形態について説明する。本実施形態は、基準マークの数、配置、形状等の変形例である。
(Embodiment 3)
Next, other embodiments of the present invention will be described. This embodiment is a modification of the number, arrangement, shape, etc. of the reference marks.
図20は、基準マーク2000(本図では20001,20002などと記載。)が重畳された第1画像の構成例を表す図である。本図では、基準マーク2000は円形であり、第1画像の周縁部に30個配置されている。基準マーク2000の数を増やすことにより、撮影画像の中に基準マーク2000が写り込みやすくなる。従って、第1ディスプレイと第2ディスプレイの相対的な位置関係を推測する精度が向上する。
FIG. 20 is a diagram illustrating a configuration example of a first image on which a reference mark 2000 (described as 2000 1 , 2000 2, etc. in this figure) is superimposed. In this figure,
あるいは、図21に示すように、基準マーク2100を1つのみにし、且つ、第1画像を取り囲むような縁状にしてもよい。このように基準マーク2000の数を増やさなくても、形状を変えることにより、撮影画像の中に基準マーク2000が写り込みやすくなる。
Alternatively, as shown in FIG. 21, only one
また、CPU 101は、基準マーク2000,2100を所定の時間間隔で点滅させたり、色を所定の時間間隔で変化させたりしてもよい。点滅あるいは色の変化により、第1ディスプレイと第2ディスプレイの相対的な位置関係を推測する精度がさらに向上する。 Further, the CPU 101 may blink the reference marks 2000 and 2100 at a predetermined time interval or change the color at a predetermined time interval. The accuracy of estimating the relative positional relationship between the first display and the second display is further improved by blinking or color change.
本発明は、上述した実施形態に限定されず、種々の変形及び応用が可能である。また、上述した実施形態の各構成要素を自由に組み合わせることも可能である。 The present invention is not limited to the above-described embodiments, and various modifications and applications are possible. Moreover, it is also possible to freely combine the constituent elements of the above-described embodiments.
上述の各実施形態では、画像処理装置400もしくは画像処理システム1500は仮想空間内の様子を表す全体画像500を扱っているが、ストリーミングで配信される映像など、現実空間の様子を表す画像を第1ディスプレイと第2ディスプレイに表示する際に本発明を適用することも可能である。勿論、配信されるコンテンツはストリーミング型でもよいし、ダウンロード型であってもよい。
In each of the above-described embodiments, the
具体的には、現実に行われるスポーツの番組などの放送に本発明を適用する場合、放送事業者は、第1ディスプレイの表示サイズよりも広めの全体画像500を外部機器320に配信する。放送形態は無線でも有線でもよい。外部機器320は、配信された全体画像500内に全体画像500よりも小さいサイズの第1領域510を設定し、第1画像を第1ディスプレイに表示する。また、外部装置320は、全体画像500内に第2領域520を設定し、第2画像を画像処理装置400に送信する。ここで、画像処理装置400のユーザーは、画像処理装置400のカメラ113の向きを動かすことにより、第1ディスプレイに映っている第1画像とは異なった第2画像を視聴することも可能である。画像処理装置400のユーザーは、第1ディスプレイに映っていない部分を見たいとき、カメラ113を好みの向きに変えれば、第1画像の周辺部分まで視聴することができる。例えば、画像処理装置400のユーザーは、第1画像よりもっと左側を見たい場合には、カメラ113を左側に向ければ、全体画像500の範囲内で第1画像よりもっと左側を視聴することができる。画像処理装置400は、第1画像を複数の視聴者が集まって一緒に視聴することを前提とする標準的な画像として提供し、第2画像をユーザーごとに異なった好みに対応するためのオプション的な画像として提供するわけである。画像処理装置400は、視聴者の多種多様な好みに適した映像を提供することができる。
Specifically, when the present invention is applied to an actual broadcast of a sports program or the like, the broadcaster distributes the
上記の画像処理装置400の全部又は一部としてコンピュータを動作させるためのプログラムを、メモリカード、CD−ROM、DVD、MO(Magneto Optical disk)などのコンピュータ読み取り可能な記録媒体に格納して配布し、これを別のコンピュータにインストールし、上述の手段として動作させ、あるいは、上述の工程を実行させてもよい。
A program for operating a computer as all or part of the
さらに、インターネット上のサーバ装置が有するディスク装置等にプログラムを格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。 Furthermore, the program may be stored in a disk device or the like included in a server device on the Internet, and may be downloaded onto a computer by being superimposed on a carrier wave, for example.
以上説明したように、本発明によれば、複数のプレイヤーが1つの画面を共有しつつ、プレイヤーの意向に添った画面も閲覧できるようにするために好適な画像処理装置、画像処理システム、画像処理方法、ならびに、プログラムを提供することができる。 As described above, according to the present invention, an image processing device, an image processing system, and an image suitable for allowing a plurality of players to view a screen according to the player's intention while sharing a single screen. A processing method and a program can be provided.
100 情報処理装置
101 CPU
102 ROM
103 RAM
104 インターフェース
105 第1タッチパネル
106 第2タッチパネル
107 外部メモリー
108 DVD−ROMドライブ
109 画像処理部
110 ディスプレイ(第2ディスプレイ)
111 音声処理部
112 NIC
113 カメラ
310 ディスプレイ(第1ディスプレイ)
400 画像処理装置
401 第1抽出部
402 第1表示部
403 第2抽出部
404 第2表示部
405 撮影部
406 推定部
407 決定部
500 全体画像
510 第1領域
520 第2領域
600,800 撮影画像
750,750A〜750D 基準マーク
1500 画像処理システム
1510 第1の画像処理装置
1520 第2の画像処理装置
1521A,1521B 第2ディスプレイ
1530 第1ディスプレイ
1601 制御部
1602 記憶部
1603 表示部
1604 通信部
1701 抽出部
1702 第1表示部
1703 画像送信部
1704 画像受信部
1705 第2表示部
1706 撮影部
1707 推定部
1708 決定部
1900 撮影画像
1910 撮影画像の中心
1920 基準マークの分布の重心
1930,1940 ベクトル
2000,2100 基準マーク
100 Information processing apparatus 101 CPU
102 ROM
103 RAM
104
111
400
Claims (13)
前記全体画像内の前記第1領域を第1画像として抽出する第1抽出部と、
前記全体画像内の前記第2領域を第2画像として抽出する第2抽出部と、
前記抽出された第1画像を第1ディスプレイに表示する第1表示部と、
前記抽出された第2画像を第2ディスプレイに表示する第2表示部と、
前記第2ディスプレイの背面方向を撮影する撮影部と、
前記撮影部により撮影された撮影画像に映っている前記第1画像に対応する部分に基づいて、前記第1ディスプレイに対する前記第2ディスプレイの相対的な位置を推定する推定部と、
を備え、
前記決定部は、前記全体画像内における前記第1領域の位置と前記推定された相対的な位置とに基づいて、前記全体画像内における前記第2領域の位置を決定し、
前記第1表示部は、所定位置に基準マークを重畳した前記第1画像を前記第1ディスプレイに表示し、
前記推定部は、前記撮影画像に前記基準マークが映っている場合、前記撮影画像に映っている前記基準マークの位置から、前記撮影画像内の前記第1画像に対応する部分を判別し、当該判別結果と前記全体画像とに基づいて、前記第1ディスプレイに対する前記第2ディスプレイの相対的な位置を推定し、
前記決定部は、
(a)前記第2ディスプレイの背面が前記第1ディスプレイに正対していると推定される場合、もしくは、前記撮影画像に前記基準マークが映っていない場合、前記第2領域の中心の位置を前記第1領域の中心の位置と一致させ、
(b)前記撮影画像に前記基準マークが映っており、且つ、前記第2ディスプレイの背面が前記第1ディスプレイに正対していないと推定される場合、前記第2領域の中心の位置を、前記第1ディスプレイに対して前記第2ディスプレイが偏っている方向へ移動する、
ことを特徴とする画像処理装置。 A determining unit that determines the position of the first region and the position of the second region in the entire image;
A first extraction unit that extracts the first region in the entire image as a first image;
A second extraction unit that extracts the second region in the entire image as a second image;
A first display unit for displaying the extracted first image on a first display;
A second display unit for displaying the extracted second image on a second display;
A photographing unit for photographing a rear direction of the second display;
An estimation unit that estimates a relative position of the second display with respect to the first display, based on a portion corresponding to the first image shown in the captured image captured by the imaging unit;
With
The determining unit determines the position of the second region in the whole image based on the position of the first region in the whole image and the estimated relative position;
The first display unit displays the first image with a reference mark superimposed on a predetermined position on the first display,
The estimation unit determines a portion corresponding to the first image in the captured image from the position of the reference mark reflected in the captured image when the reference mark is reflected in the captured image. Based on the determination result and the whole image, the relative position of the second display with respect to the first display is estimated,
The determination unit
(A) When it is estimated that the back surface of the second display is directly facing the first display, or when the reference mark is not reflected in the captured image, the center position of the second region is Match the position of the center of the first region,
(B) When it is estimated that the reference mark is reflected in the captured image and the back surface of the second display is not directly facing the first display, the position of the center of the second region is Moving in a direction in which the second display is biased relative to the first display;
An image processing apparatus.
前記全体画像内の前記第1領域を第1画像として抽出する第1抽出部と、
前記全体画像内の前記第2領域を第2画像として抽出する第2抽出部と、
前記抽出された第1画像を第1ディスプレイに表示する第1表示部と、
前記抽出された第2画像を第2ディスプレイに表示する第2表示部と、
前記第2ディスプレイの背面方向を撮影する撮影部と、
前記撮影部により撮影された撮影画像に映っている前記第1画像に対応する部分に基づいて、前記第1ディスプレイに対する前記第2ディスプレイの相対的な位置を推定する推定部と、
を備え、
前記決定部は、前記全体画像内における前記第1領域の位置と前記推定された相対的な位置とに基づいて、前記全体画像内における前記第2領域の位置を決定し、
前記第1表示部は、所定位置に基準マークを重畳した前記第1画像を前記第1ディスプレイに表示し、
前記推定部は、前記撮影画像に前記基準マークが映っている場合、前記撮影画像に映っている前記基準マークの位置から、前記撮影画像内の前記第1画像に対応する部分を判別し、当該判別結果と前記全体画像とに基づいて、前記第1ディスプレイに対する前記第2ディスプレイの相対的な位置を推定し、
前記決定部は、前記撮影画像に映っている前記基準マークの重心から前記撮影画像の中心へと結ぶベクトルの向きに、前記第2領域の位置を移動する、
ことを特徴とする画像処理装置。 A determining unit that determines the position of the first region and the position of the second region in the entire image;
A first extraction unit that extracts the first region in the entire image as a first image;
A second extraction unit that extracts the second region in the entire image as a second image;
A first display unit for displaying the extracted first image on a first display;
A second display unit for displaying the extracted second image on a second display;
A photographing unit for photographing a rear direction of the second display;
An estimation unit that estimates a relative position of the second display with respect to the first display, based on a portion corresponding to the first image shown in the captured image captured by the imaging unit;
With
The determining unit determines the position of the second region in the whole image based on the position of the first region in the whole image and the estimated relative position;
The first display unit displays the first image with a reference mark superimposed on a predetermined position on the first display,
The estimation unit determines a portion corresponding to the first image in the captured image from the position of the reference mark reflected in the captured image when the reference mark is reflected in the captured image. Based on the determination result and the whole image, the relative position of the second display with respect to the first display is estimated,
The determination unit moves the position of the second region in the direction of a vector connecting from the center of gravity of the reference mark shown in the captured image to the center of the captured image.
An image processing apparatus.
前記全体画像内の前記第1領域を第1画像として抽出する第1抽出部と、
前記全体画像内の前記第2領域を第2画像として抽出する第2抽出部と、
前記抽出された第1画像を第1ディスプレイに表示する第1表示部と、
前記抽出された第2画像を第2ディスプレイに表示する第2表示部と、
前記第2ディスプレイの背面方向を撮影する撮影部と、
前記撮影部により撮影された撮影画像に映っている前記第1画像に対応する部分に基づいて、前記第1ディスプレイに対する前記第2ディスプレイの相対的な位置を推定する推定部と、
を備え、
前記決定部は、前記全体画像内における前記第1領域の位置と前記推定された相対的な位置とに基づいて、前記全体画像内における前記第2領域の位置を決定し、
前記決定部は、前記撮影画像に基準マークが映っており、且つ、前記第2ディスプレイが前記第1ディスプレイに正対していないと推定される場合、前記第2ディスプレイが前記第1ディスプレイに正対していると仮定した際に映っているべき前記基準マークの位置と、前記撮影画像に映っている前記基準マークの位置と、の差異が大きいほど、前記第2領域の位置の移動量を大きくする、
ことを特徴とする画像処理装置。 A determining unit that determines the position of the first region and the position of the second region in the entire image;
A first extraction unit that extracts the first region in the entire image as a first image;
A second extraction unit that extracts the second region in the entire image as a second image;
A first display unit for displaying the extracted first image on a first display;
A second display unit for displaying the extracted second image on a second display;
A photographing unit for photographing a rear direction of the second display;
An estimation unit that estimates a relative position of the second display with respect to the first display, based on a portion corresponding to the first image shown in the captured image captured by the imaging unit;
With
The determining unit determines the position of the second region in the whole image based on the position of the first region in the whole image and the estimated relative position;
The determination unit is configured and standards mark in the captured image is reflected, and, when said second display is estimated not to face the first display, positive in the second display is the first display The larger the difference between the position of the reference mark that should appear in the assumption that the image is taken and the position of the reference mark that appears in the captured image, the greater the amount of movement of the position of the second region. To
An image processing apparatus.
前記決定部は、前記全体画像内での位置が可変の所定のオブジェクトが前記第1領域の中心位置になるように、前記第1領域の位置を決定する、
ことを特徴とする画像処理装置。 The image processing apparatus according to any one of claims 1 to 3 ,
The determining unit determines the position of the first region so that a predetermined object whose position in the entire image is variable is a center position of the first region;
An image processing apparatus.
前記第1の画像処理装置は、
全体画像内における第1領域の位置と第2領域の位置を決定する決定部と、
前記全体画像内の前記第1領域を第1画像として抽出し、第2の画像処理装置ごとに前記全体画像内の前記第2領域を第2画像として抽出する抽出部と、
前記抽出された第1画像を第1ディスプレイに表示する第1表示部と、
前記抽出された第2画像を前記複数の第2の画像処理装置のそれぞれに送信する画像送信部と、
を備え、
前記複数の第2の画像処理装置のそれぞれは、
前記第2画像を前記第1の画像処理装置から受信する画像受信部と、
前記受信した第2画像を第2ディスプレイに表示する第2表示部と、
前記第2ディスプレイの背面方向を撮影する撮影部と、
前記撮影部により撮影された撮影画像に映っている前記第1画像に対応する部分に基づいて、前記第1ディスプレイに対する前記第2ディスプレイの相対的な位置を推定し、推定結果を前記第1の画像処理装置に送信する推定部と、
を備え、
前記決定部は、前記複数の第2の画像処理装置のそれぞれから前記推定結果を受信し、前記第2の画像処理装置ごとに、前記全体画像内における前記第1領域の位置と前記受信した推定結果とに基づいて、前記全体画像内における前記第2領域の位置を決定し、
前記抽出部は、前記第2の画像処理装置ごとに、前記決定された前記第2領域の位置に基づいて、前記全体画像内の前記第2領域を第2画像として抽出し、
前記第1表示部は、所定位置に基準マークを重畳した前記第1画像を前記第1ディスプレイに表示し、
前記推定部は、前記撮影画像に前記基準マークが映っている場合、前記撮影画像に映っている前記基準マークの位置から、前記撮影画像内の前記第1画像に対応する部分を判別し、当該判別結果と前記全体画像とに基づいて、前記第1ディスプレイに対する前記第2ディスプレイの相対的な位置を推定し、
前記決定部は、
(a)前記第2ディスプレイの背面が前記第1ディスプレイに正対していると推定される場合、もしくは、前記撮影画像に前記基準マークが映っていない場合、前記第2領域の中心の位置を前記第1領域の中心の位置と一致させ、
(b)前記撮影画像に前記基準マークが映っており、且つ、前記第2ディスプレイの背面が前記第1ディスプレイに正対していないと推定される場合、前記第2領域の中心の位置を、前記第1ディスプレイに対して前記第2ディスプレイが偏っている方向へ移動する、
ことを特徴とする画像処理システム。 An image processing system having a first image processing device and a plurality of second image processing devices,
The first image processing apparatus includes:
A determining unit that determines the position of the first region and the position of the second region in the entire image;
An extraction unit that extracts the first region in the entire image as a first image and extracts the second region in the entire image as a second image for each second image processing device;
A first display unit for displaying the extracted first image on a first display;
An image transmission unit that transmits the extracted second image to each of the plurality of second image processing devices;
With
Each of the plurality of second image processing devices includes:
An image receiving unit for receiving the second image from the first image processing device;
A second display unit for displaying the received second image on a second display;
A photographing unit for photographing a rear direction of the second display;
A relative position of the second display with respect to the first display is estimated based on a portion corresponding to the first image shown in the photographed image photographed by the photographing unit, and an estimation result is obtained as the first result. An estimation unit that transmits to the image processing device;
With
The determination unit receives the estimation result from each of the plurality of second image processing devices, and the position of the first region in the whole image and the received estimation for each of the second image processing devices. And determining the position of the second region in the overall image based on the result,
The extraction unit, for each of the second image processing apparatus, based on the position of the determined second area, and extracting said second region in said entire image as the second image,
The first display unit displays the first image with a reference mark superimposed on a predetermined position on the first display,
The estimation unit determines a portion corresponding to the first image in the captured image from the position of the reference mark reflected in the captured image when the reference mark is reflected in the captured image. Based on the determination result and the whole image, the relative position of the second display with respect to the first display is estimated,
The determination unit
(A) When it is estimated that the back surface of the second display is directly facing the first display, or when the reference mark is not reflected in the captured image, the center position of the second region is Match the position of the center of the first region,
(B) When it is estimated that the reference mark is reflected in the captured image and the back surface of the second display is not directly facing the first display, the position of the center of the second region is Moving in a direction in which the second display is biased relative to the first display;
An image processing system characterized by that.
前記決定部が、全体画像内における第1領域の位置と第2領域の位置を決定する決定ステップと、
前記第1抽出部が、前記全体画像内の前記第1領域を第1画像として抽出する第1抽出ステップと、
前記第2抽出部が、前記全体画像内の前記第2領域を第2画像として抽出する第2抽出ステップと、
前記第1表示部が、前記抽出された第1画像を第1ディスプレイに表示する第1表示ステップと、
前記第2表示部が、前記抽出された第2画像を第2ディスプレイに表示する第2表示ステップと、
前記撮影部が、前記第2ディスプレイの背面方向を撮影する撮影ステップと、
前記推定部が、前記撮影ステップにおいて撮影された撮影画像に映っている前記第1画像に対応する部分に基づいて、前記第1ディスプレイに対する前記第2ディスプレイの相対的な位置を推定する推定ステップと、
を備え、
前記決定ステップでは、前記決定部が、前記全体画像内における前記第1領域の位置と前記推定された相対的な位置とに基づいて、前記全体画像内における前記第2領域の位置を決定し、
前記第1表示ステップでは、前記第1表示部が、所定位置に基準マークを重畳した前記第1画像を前記第1ディスプレイに表示し、
前記推定ステップでは、前記推定部が、前記撮影画像に前記基準マークが映っている場合、前記撮影画像に映っている前記基準マークの位置から、前記撮影画像内の前記第1画像に対応する部分を判別し、当該判別結果と前記全体画像とに基づいて、前記第1ディスプレイに対する前記第2ディスプレイの相対的な位置を推定し、
前記決定ステップでは、前記決定部は、
(a)前記第2ディスプレイの背面が前記第1ディスプレイに正対していると推定される場合、もしくは、前記撮影画像に前記基準マークが映っていない場合、前記第2領域の中心の位置を前記第1領域の中心の位置と一致させ、
(b)前記撮影画像に前記基準マークが映っており、且つ、前記第2ディスプレイの背面が前記第1ディスプレイに正対していないと推定される場合、前記第2領域の中心の位置を、前記第1ディスプレイに対して前記第2ディスプレイが偏っている方向へ移動する、
ことを特徴とする画像処理方法。 An image processing method performed in an image processing apparatus having a determination unit, a first extraction unit, a second extraction unit, a first display unit, a second display unit, a photographing unit, and an estimation unit,
A determining step in which the determining unit determines the position of the first region and the position of the second region in the entire image;
A first extraction step in which the first extraction unit extracts the first region in the entire image as a first image;
A second extraction step in which the second extraction unit extracts the second region in the whole image as a second image;
A first display step in which the first display unit displays the extracted first image on a first display;
A second display step in which the second display unit displays the extracted second image on a second display;
A photographing step in which the photographing unit photographs a back direction of the second display;
Estimating step said estimating portion, based on the part component corresponding to it is the first image appearing in images captured in the imaging step, estimating the relative position of the second display to the first display When,
With
Wherein in the determining step, the determination unit, based on said estimated relative position and the position of the first region in the entire image to determine the position of the second region in the entire image,
In the first display step, the first display unit displays the first image with a reference mark superimposed on a predetermined position on the first display,
In the estimation step, when the estimation unit includes the reference mark in the captured image, a portion corresponding to the first image in the captured image from the position of the reference mark that is illustrated in the captured image. And estimating the relative position of the second display with respect to the first display based on the determination result and the entire image,
In the determination step, the determination unit includes:
(A) When it is estimated that the back surface of the second display is directly facing the first display, or when the reference mark is not reflected in the captured image, the center position of the second region is Match the position of the center of the first region,
(B) When it is estimated that the reference mark is reflected in the captured image and the back surface of the second display is not directly facing the first display, the position of the center of the second region is Moving in a direction in which the second display is biased relative to the first display;
An image processing method.
全体画像内における第1領域の位置と第2領域の位置を決定する決定部、
前記全体画像内の前記第1領域を第1画像として抽出する第1抽出部、
前記全体画像内の前記第2領域を第2画像として抽出する第2抽出部、
前記抽出された第1画像を第1ディスプレイに表示する第1表示部、
前記抽出された第2画像を第2ディスプレイに表示する第2表示部、
前記第2ディスプレイの背面方向を撮影する撮影部、
前記撮影部により撮影された撮影画像に映っている前記第1画像に対応する部分に基づいて、前記第1ディスプレイに対する前記第2ディスプレイの相対的な位置を推定する推定部、
として機能させ、
前記決定部は、前記全体画像内における前記第1領域の位置と前記推定された相対的な位置とに基づいて、前記全体画像内における前記第2領域の位置を決定し、
前記第1表示部は、所定位置に基準マークを重畳した前記第1画像を前記第1ディスプレイに表示し、
前記推定部は、前記撮影画像に前記基準マークが映っている場合、前記撮影画像に映っている前記基準マークの位置から、前記撮影画像内の前記第1画像に対応する部分を判別し、当該判別結果と前記全体画像とに基づいて、前記第1ディスプレイに対する前記第2ディスプレイの相対的な位置を推定し、
前記決定部は、
(a)前記第2ディスプレイの背面が前記第1ディスプレイに正対していると推定される場合、もしくは、前記撮影画像に前記基準マークが映っていない場合、前記第2領域の中心の位置を前記第1領域の中心の位置と一致させ、
(b)前記撮影画像に前記基準マークが映っており、且つ、前記第2ディスプレイの背面が前記第1ディスプレイに正対していないと推定される場合、前記第2領域の中心の位置を、前記第1ディスプレイに対して前記第2ディスプレイが偏っている方向へ移動する、
ことを特徴とするプログラム。 Computer
A determination unit for determining the position of the first region and the position of the second region in the entire image;
A first extraction unit for extracting the first region in the entire image as a first image;
A second extraction unit for extracting the second region in the entire image as a second image;
A first display unit for displaying the extracted first image on a first display;
A second display unit for displaying the extracted second image on a second display;
A photographing unit for photographing a rear direction of the second display;
On the basis of the part amount corresponding to the first image is reflected in the image taken by the imaging unit, the estimation unit that estimates a relative position of the second display to the first display,
Function as
The determination unit, based on the position of the first region and the estimated relative position in the entire image to determine the position of the second region in the entire image,
The first display unit displays the first image with a reference mark superimposed on a predetermined position on the first display,
The estimation unit determines a portion corresponding to the first image in the captured image from the position of the reference mark reflected in the captured image when the reference mark is reflected in the captured image. Based on the determination result and the whole image, the relative position of the second display with respect to the first display is estimated,
The determination unit
(A) When it is estimated that the back surface of the second display is directly facing the first display, or when the reference mark is not reflected in the captured image, the center position of the second region is Match the position of the center of the first region,
(B) When it is estimated that the reference mark is reflected in the captured image and the back surface of the second display is not directly facing the first display, the position of the center of the second region is Moving in a direction in which the second display is biased relative to the first display;
A program characterized by that.
前記第1の画像処理装置は、 The first image processing apparatus includes:
全体画像内における第1領域の位置と第2領域の位置を決定する決定部と、 A determining unit that determines the position of the first region and the position of the second region in the entire image;
前記全体画像内の前記第1領域を第1画像として抽出し、第2の画像処理装置ごとに前記全体画像内の前記第2領域を第2画像として抽出する抽出部と、 An extraction unit that extracts the first region in the entire image as a first image and extracts the second region in the entire image as a second image for each second image processing device;
前記抽出された第1画像を第1ディスプレイに表示する第1表示部と、 A first display unit for displaying the extracted first image on a first display;
前記抽出された第2画像を前記複数の第2の画像処理装置のそれぞれに送信する画像送信部と、 An image transmission unit that transmits the extracted second image to each of the plurality of second image processing devices;
を備え、 With
前記複数の第2の画像処理装置のそれぞれは、 Each of the plurality of second image processing devices includes:
前記第2画像を前記第1の画像処理装置から受信する画像受信部と、 An image receiving unit for receiving the second image from the first image processing device;
前記受信した第2画像を第2ディスプレイに表示する第2表示部と、 A second display unit for displaying the received second image on a second display;
前記第2ディスプレイの背面方向を撮影する撮影部と、 A photographing unit for photographing a rear direction of the second display;
前記撮影部により撮影された撮影画像に映っている前記第1画像に対応する部分に基づいて、前記第1ディスプレイに対する前記第2ディスプレイの相対的な位置を推定し、推定結果を前記第1の画像処理装置に送信する推定部と、 A relative position of the second display with respect to the first display is estimated based on a portion corresponding to the first image shown in the photographed image photographed by the photographing unit, and an estimation result is obtained as the first result. An estimation unit that transmits to the image processing device;
を備え、 With
前記決定部は、前記複数の第2の画像処理装置のそれぞれから前記推定結果を受信し、前記第2の画像処理装置ごとに、前記全体画像内における前記第1領域の位置と前記受信した推定結果とに基づいて、前記全体画像内における前記第2領域の位置を決定し、 The determination unit receives the estimation result from each of the plurality of second image processing devices, and the position of the first region in the whole image and the received estimation for each of the second image processing devices. And determining the position of the second region in the overall image based on the result,
前記抽出部は、前記第2の画像処理装置ごとに、前記決定された前記第2領域の位置に基づいて、前記全体画像内の前記第2領域を第2画像として抽出し、 The extraction unit extracts, as the second image, the second region in the entire image based on the determined position of the second region for each second image processing device;
前記第1表示部は、所定位置に基準マークを重畳した前記第1画像を前記第1ディスプレイに表示し、 The first display unit displays the first image with a reference mark superimposed on a predetermined position on the first display,
前記推定部は、前記撮影画像に前記基準マークが映っている場合、前記撮影画像に映っている前記基準マークの位置から、前記撮影画像内の前記第1画像に対応する部分を判別し、当該判別結果と前記全体画像とに基づいて、前記第1ディスプレイに対する前記第2ディスプレイの相対的な位置を推定し、 The estimation unit determines a portion corresponding to the first image in the captured image from the position of the reference mark reflected in the captured image when the reference mark is reflected in the captured image. Based on the determination result and the whole image, the relative position of the second display with respect to the first display is estimated,
前記決定部は、前記撮影画像に映っている前記基準マークの重心から前記撮影画像の中心へと結ぶベクトルの向きに、前記第2領域の位置を移動する、 The determination unit moves the position of the second region in the direction of a vector connecting from the center of gravity of the reference mark shown in the captured image to the center of the captured image.
ことを特徴とする画像処理システム。 An image processing system characterized by that.
前記決定部が、全体画像内における第1領域の位置と第2領域の位置を決定する決定ステップと、 A determining step in which the determining unit determines the position of the first region and the position of the second region in the entire image;
前記第1抽出部が、前記全体画像内の前記第1領域を第1画像として抽出する第1抽出ステップと、 A first extraction step in which the first extraction unit extracts the first region in the entire image as a first image;
前記第2抽出部が、前記全体画像内の前記第2領域を第2画像として抽出する第2抽出ステップと、 A second extraction step in which the second extraction unit extracts the second region in the whole image as a second image;
前記第1表示部が、前記抽出された第1画像を第1ディスプレイに表示する第1表示ステップと、 A first display step in which the first display unit displays the extracted first image on a first display;
前記第2表示部が、前記抽出された第2画像を第2ディスプレイに表示する第2表示ステップと、 A second display step in which the second display unit displays the extracted second image on a second display;
前記撮影部が、前記第2ディスプレイの背面方向を撮影する撮影ステップと、 A photographing step in which the photographing unit photographs a back direction of the second display;
前記推定部が、前記撮影ステップにおいて撮影された撮影画像に映っている前記第1画像に対応する部分に基づいて、前記第1ディスプレイに対する前記第2ディスプレイの相対的な位置を推定する推定ステップと、 An estimating step in which the estimating unit estimates a relative position of the second display with respect to the first display based on a portion corresponding to the first image shown in the captured image captured in the capturing step; ,
を備え、 With
前記決定ステップでは、前記決定部が、前記全体画像内における前記第1領域の位置と前記推定された相対的な位置とに基づいて、前記全体画像内における前記第2領域の位置を決定し、 In the determining step, the determining unit determines the position of the second region in the entire image based on the position of the first region in the entire image and the estimated relative position;
前記第1表示ステップでは、前記第1表示部が、所定位置に基準マークを重畳した前記第1画像を前記第1ディスプレイに表示し、 In the first display step, the first display unit displays the first image with a reference mark superimposed on a predetermined position on the first display,
前記推定ステップでは、前記推定部が、前記撮影画像に前記基準マークが映っている場合、前記撮影画像に映っている前記基準マークの位置から、前記撮影画像内の前記第1画像に対応する部分を判別し、当該判別結果と前記全体画像とに基づいて、前記第1ディスプレイに対する前記第2ディスプレイの相対的な位置を推定し、 In the estimation step, when the estimation unit includes the reference mark in the captured image, a portion corresponding to the first image in the captured image from the position of the reference mark that is illustrated in the captured image. And estimating the relative position of the second display with respect to the first display based on the determination result and the entire image,
前記決定ステップでは、前記決定部が、前記撮影画像に映っている前記基準マークの重心から前記撮影画像の中心へと結ぶベクトルの向きに、前記第2領域の位置を移動する、 In the determining step, the determining unit moves the position of the second region in the direction of a vector connecting from the center of gravity of the reference mark shown in the captured image to the center of the captured image.
ことを特徴とする画像処理方法。 An image processing method.
全体画像内における第1領域の位置と第2領域の位置を決定する決定部、 A determination unit for determining the position of the first region and the position of the second region in the entire image;
前記全体画像内の前記第1領域を第1画像として抽出する第1抽出部、 A first extraction unit for extracting the first region in the entire image as a first image;
前記全体画像内の前記第2領域を第2画像として抽出する第2抽出部、 A second extraction unit for extracting the second region in the entire image as a second image;
前記抽出された第1画像を第1ディスプレイに表示する第1表示部、 A first display unit for displaying the extracted first image on a first display;
前記抽出された第2画像を第2ディスプレイに表示する第2表示部、 A second display unit for displaying the extracted second image on a second display;
前記第2ディスプレイの背面方向を撮影する撮影部、 A photographing unit for photographing a rear direction of the second display;
前記撮影部により撮影された撮影画像に映っている前記第1画像に対応する部分に基づいて、前記第1ディスプレイに対する前記第2ディスプレイの相対的な位置を推定する推定部、 An estimation unit that estimates a relative position of the second display with respect to the first display based on a portion corresponding to the first image that is reflected in a captured image captured by the imaging unit;
として機能させ、 Function as
前記決定部は、前記全体画像内における前記第1領域の位置と前記推定された相対的な位置とに基づいて、前記全体画像内における前記第2領域の位置を決定し、 The determining unit determines the position of the second region in the whole image based on the position of the first region in the whole image and the estimated relative position;
前記第1表示部は、所定位置に基準マークを重畳した前記第1画像を前記第1ディスプレイに表示し、 The first display unit displays the first image with a reference mark superimposed on a predetermined position on the first display,
前記推定部は、前記撮影画像に前記基準マークが映っている場合、前記撮影画像に映っている前記基準マークの位置から、前記撮影画像内の前記第1画像に対応する部分を判別し、当該判別結果と前記全体画像とに基づいて、前記第1ディスプレイに対する前記第2ディスプレイの相対的な位置を推定し、 The estimation unit determines a portion corresponding to the first image in the captured image from the position of the reference mark reflected in the captured image when the reference mark is reflected in the captured image. Based on the determination result and the whole image, the relative position of the second display with respect to the first display is estimated,
前記決定部は、前記撮影画像に映っている前記基準マークの重心から前記撮影画像の中心へと結ぶベクトルの向きに、前記第2領域の位置を移動する、 The determination unit moves the position of the second region in the direction of a vector connecting from the center of gravity of the reference mark shown in the captured image to the center of the captured image.
ことを特徴とするプログラム。 A program characterized by that.
前記第1の画像処理装置は、 The first image processing apparatus includes:
全体画像内における第1領域の位置と第2領域の位置を決定する決定部と、 A determining unit that determines the position of the first region and the position of the second region in the entire image;
前記全体画像内の前記第1領域を第1画像として抽出し、第2の画像処理装置ごとに前記全体画像内の前記第2領域を第2画像として抽出する抽出部と、 An extraction unit that extracts the first region in the entire image as a first image and extracts the second region in the entire image as a second image for each second image processing device;
前記抽出された第1画像を第1ディスプレイに表示する第1表示部と、 A first display unit for displaying the extracted first image on a first display;
前記抽出された第2画像を前記複数の第2の画像処理装置のそれぞれに送信する画像送信部と、 An image transmission unit that transmits the extracted second image to each of the plurality of second image processing devices;
を備え、 With
前記複数の第2の画像処理装置のそれぞれは、 Each of the plurality of second image processing devices includes:
前記第2画像を前記第1の画像処理装置から受信する画像受信部と、 An image receiving unit for receiving the second image from the first image processing device;
前記受信した第2画像を第2ディスプレイに表示する第2表示部と、 A second display unit for displaying the received second image on a second display;
前記第2ディスプレイの背面方向を撮影する撮影部と、 A photographing unit for photographing a rear direction of the second display;
前記撮影部により撮影された撮影画像に映っている前記第1画像に対応する部分に基づいて、前記第1ディスプレイに対する前記第2ディスプレイの相対的な位置を推定し、推定結果を前記第1の画像処理装置に送信する推定部と、 A relative position of the second display with respect to the first display is estimated based on a portion corresponding to the first image shown in the photographed image photographed by the photographing unit, and an estimation result is obtained as the first result. An estimation unit that transmits to the image processing device;
を備え、 With
前記決定部は、前記複数の第2の画像処理装置のそれぞれから前記推定結果を受信し、前記第2の画像処理装置ごとに、前記全体画像内における前記第1領域の位置と前記受信した推定結果とに基づいて、前記全体画像内における前記第2領域の位置を決定し、 The determination unit receives the estimation result from each of the plurality of second image processing devices, and the position of the first region in the whole image and the received estimation for each of the second image processing devices. And determining the position of the second region in the overall image based on the result,
前記抽出部は、前記第2の画像処理装置ごとに、前記決定された前記第2領域の位置に基づいて、前記全体画像内の前記第2領域を第2画像として抽出し、 The extraction unit extracts, as the second image, the second region in the entire image based on the determined position of the second region for each second image processing device;
前記決定部は、前記撮影画像に基準マークが映っており、且つ、前記第2ディスプレイが前記第1ディスプレイに正対していないと推定される場合、前記第2ディスプレイが前記第1ディスプレイに正対していると仮定した際に映っているべき前記基準マークの位置と、前記撮影画像に映っている前記基準マークの位置と、の差異が大きいほど、前記第2領域の位置の移動量を大きくする、 The determination unit, when it is estimated that a reference mark is reflected in the captured image and the second display is not facing the first display, the second display is facing the first display. The larger the difference between the position of the reference mark that should appear in the image and the position of the reference mark that appears in the captured image, the greater the amount of movement of the position of the second region ,
ことを特徴とする画像処理システム。 An image processing system characterized by that.
前記決定部が、全体画像内における第1領域の位置と第2領域の位置を決定する決定ステップと、 A determining step in which the determining unit determines the position of the first region and the position of the second region in the entire image;
前記第1抽出部が、前記全体画像内の前記第1領域を第1画像として抽出する第1抽出ステップと、 A first extraction step in which the first extraction unit extracts the first region in the entire image as a first image;
前記第2抽出部が、前記全体画像内の前記第2領域を第2画像として抽出する第2抽出ステップと、 A second extraction step in which the second extraction unit extracts the second region in the whole image as a second image;
前記第1表示部が、前記抽出された第1画像を第1ディスプレイに表示する第1表示ステップと、 A first display step in which the first display unit displays the extracted first image on a first display;
前記第2表示部が、前記抽出された第2画像を第2ディスプレイに表示する第2表示ステップと、 A second display step in which the second display unit displays the extracted second image on a second display;
前記撮影部が、前記第2ディスプレイの背面方向を撮影する撮影ステップと、 A photographing step in which the photographing unit photographs a back direction of the second display;
前記推定部が、前記撮影ステップにおいて撮影された撮影画像に映っている前記第1画像に対応する部分に基づいて、前記第1ディスプレイに対する前記第2ディスプレイの相対的な位置を推定する推定ステップと、 An estimating step in which the estimating unit estimates a relative position of the second display with respect to the first display based on a portion corresponding to the first image shown in the captured image captured in the capturing step; ,
を備え、 With
前記決定ステップでは、前記決定部が、前記全体画像内における前記第1領域の位置と前記推定された相対的な位置とに基づいて、前記全体画像内における前記第2領域の位置を決定し、 In the determining step, the determining unit determines the position of the second region in the entire image based on the position of the first region in the entire image and the estimated relative position;
前記決定ステップでは、前記決定部が、前記撮影画像に基準マークが映っており、且つ、前記第2ディスプレイが前記第1ディスプレイに正対していないと推定される場合、前記第2ディスプレイが前記第1ディスプレイに正対していると仮定した際に映っているべき前記基準マークの位置と、前記撮影画像に映っている前記基準マークの位置と、の差異が大きいほど、前記第2領域の位置の移動量を大きくする、 In the determining step, when it is estimated that a reference mark is reflected in the captured image and the second display is not facing the first display, the determining unit determines that the second display is the first display. The larger the difference between the position of the reference mark that should be shown when it is assumed to be directly facing one display and the position of the reference mark shown in the captured image, the position of the second region Increase the amount of movement,
ことを特徴とする画像処理方法。 An image processing method.
全体画像内における第1領域の位置と第2領域の位置を決定する決定部、 A determination unit for determining the position of the first region and the position of the second region in the entire image;
前記全体画像内の前記第1領域を第1画像として抽出する第1抽出部、 A first extraction unit for extracting the first region in the entire image as a first image;
前記全体画像内の前記第2領域を第2画像として抽出する第2抽出部、 A second extraction unit for extracting the second region in the entire image as a second image;
前記抽出された第1画像を第1ディスプレイに表示する第1表示部、 A first display unit for displaying the extracted first image on a first display;
前記抽出された第2画像を第2ディスプレイに表示する第2表示部、 A second display unit for displaying the extracted second image on a second display;
前記第2ディスプレイの背面方向を撮影する撮影部、 A photographing unit for photographing a rear direction of the second display;
前記撮影部により撮影された撮影画像に映っている前記第1画像に対応する部分に基づいて、前記第1ディスプレイに対する前記第2ディスプレイの相対的な位置を推定する推定部、 An estimation unit that estimates a relative position of the second display with respect to the first display based on a portion corresponding to the first image that is reflected in a captured image captured by the imaging unit;
として機能させ、 Function as
前記決定部は、前記全体画像内における前記第1領域の位置と前記推定された相対的な位置とに基づいて、前記全体画像内における前記第2領域の位置を決定し、 The determining unit determines the position of the second region in the whole image based on the position of the first region in the whole image and the estimated relative position;
前記決定部は、前記撮影画像に基準マークが映っており、且つ、前記第2ディスプレイが前記第1ディスプレイに正対していないと推定される場合、前記第2ディスプレイが前記第1ディスプレイに正対していると仮定した際に映っているべき前記基準マークの位置と、前記撮影画像に映っている前記基準マークの位置と、の差異が大きいほど、前記第2領域の位置の移動量を大きくする、 The determination unit, when it is estimated that a reference mark is reflected in the captured image and the second display is not facing the first display, the second display is facing the first display. The larger the difference between the position of the reference mark that should appear in the image and the position of the reference mark that appears in the captured image, the greater the amount of movement of the position of the second region ,
ことを特徴とするプログラム。 A program characterized by that.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011216519A JP5193347B2 (en) | 2011-09-30 | 2011-09-30 | Image processing apparatus, image processing system, image processing method, and program |
PCT/JP2012/069430 WO2013046910A1 (en) | 2011-09-30 | 2012-07-31 | Image processing apparatus, image processing system, image processing method, information storage medium, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011216519A JP5193347B2 (en) | 2011-09-30 | 2011-09-30 | Image processing apparatus, image processing system, image processing method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013077974A JP2013077974A (en) | 2013-04-25 |
JP5193347B2 true JP5193347B2 (en) | 2013-05-08 |
Family
ID=47994964
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011216519A Active JP5193347B2 (en) | 2011-09-30 | 2011-09-30 | Image processing apparatus, image processing system, image processing method, and program |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5193347B2 (en) |
WO (1) | WO2013046910A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101480300B1 (en) * | 2012-11-30 | 2015-01-12 | 한국과학기술원 | Interactive contents provision system and method using relative distance between the main screen and the second screen |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6697846B2 (en) * | 2015-03-31 | 2020-05-27 | 株式会社バンダイナムコエンターテインメント | Game system, server system and program |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4229997B2 (en) * | 1997-10-07 | 2009-02-25 | 雅信 鯨田 | Partial or person-linked multiple linkage display system |
JP2005341398A (en) * | 2004-05-28 | 2005-12-08 | Sony Corp | Information processing device and method, and program |
JP2006079249A (en) * | 2004-09-08 | 2006-03-23 | Matsushita Electric Ind Co Ltd | Communication terminal |
JP4956216B2 (en) * | 2007-02-14 | 2012-06-20 | 日本放送協会 | Digital broadcast program display device and digital broadcast program display program |
-
2011
- 2011-09-30 JP JP2011216519A patent/JP5193347B2/en active Active
-
2012
- 2012-07-31 WO PCT/JP2012/069430 patent/WO2013046910A1/en active Application Filing
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101480300B1 (en) * | 2012-11-30 | 2015-01-12 | 한국과학기술원 | Interactive contents provision system and method using relative distance between the main screen and the second screen |
Also Published As
Publication number | Publication date |
---|---|
WO2013046910A1 (en) | 2013-04-04 |
JP2013077974A (en) | 2013-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9990029B2 (en) | Interface object and motion controller for augmented reality | |
US10424077B2 (en) | Maintaining multiple views on a shared stable virtual space | |
CN105843396B (en) | The method of multiple view is maintained on shared stabilization Virtual Space | |
CN103390287B (en) | Device and method for augmented reality | |
US8241125B2 (en) | Apparatus and method of interaction with a data processor | |
CN113633973B (en) | Game picture display method, device, equipment and storage medium | |
KR101739220B1 (en) | Special Video Generation System for Game Play Situation | |
JP4758499B2 (en) | Image generation system and information storage medium | |
CN107734244A (en) | Panorama movie playback method and playing device | |
JP2001353358A (en) | Game apparatus and information storage medium | |
JP5193347B2 (en) | Image processing apparatus, image processing system, image processing method, and program | |
JP4881981B2 (en) | Virtual space display device, viewpoint setting method, and program | |
JP5502043B2 (en) | Game device and program | |
Hakkarainen et al. | SymBall: camera driven table tennis for mobile phones | |
JP2022093223A (en) | Play recording video creation system | |
US20230353717A1 (en) | Image processing system, image processing method, and storage medium | |
JP4714231B2 (en) | Image generating apparatus, wide-field image generating method, and program | |
JP2009219584A (en) | Apparatus and method for generating image and program | |
JP2001204964A (en) | Computer-readable recording medium wherein program of game for ball game is recorded, method of displaying and processing image of game for ball game, and video game apparatus | |
JP5687670B2 (en) | Display control system, game system, display control device, and program | |
JP5431411B2 (en) | GAME DEVICE, GAME DEVICE CONTROL METHOD, AND PROGRAM | |
JP5431544B2 (en) | Terminal device, game system, display control method, and program | |
JP2023132320A (en) | Image processing system, image processing method, and computer program | |
JP2002126355A (en) | Computer device, method for playing game, using the device and delivery system of computer game and method for delivery | |
Santos et al. | Using Pico Projectors to Explore Other Worlds |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130201 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5193347 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160208 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |