WO2013046910A1 - Image processing apparatus, image processing system, image processing method, information storage medium, and program - Google Patents

Image processing apparatus, image processing system, image processing method, information storage medium, and program Download PDF

Info

Publication number
WO2013046910A1
WO2013046910A1 PCT/JP2012/069430 JP2012069430W WO2013046910A1 WO 2013046910 A1 WO2013046910 A1 WO 2013046910A1 JP 2012069430 W JP2012069430 W JP 2012069430W WO 2013046910 A1 WO2013046910 A1 WO 2013046910A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display
unit
image processing
region
Prior art date
Application number
PCT/JP2012/069430
Other languages
French (fr)
Japanese (ja)
Inventor
石川　裕崇
Original Assignee
株式会社コナミデジタルエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社コナミデジタルエンタテインメント filed Critical 株式会社コナミデジタルエンタテインメント
Publication of WO2013046910A1 publication Critical patent/WO2013046910A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5258—Changing parameters of virtual cameras by dynamically adapting the position of the virtual camera to keep a game object or game character in its viewing frustum, e.g. for tracking a character or a ball
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/812—Ball games, e.g. soccer or baseball
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85—Providing additional services to players
    • A63F13/86—Watching games played by other players
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A63F13/2145—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads the surface being also a display device, e.g. touch screens
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1025—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals details of the interface with the game device, e.g. USB version detection
    • A63F2300/1031—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals details of the interface with the game device, e.g. USB version detection using a wireless connection, e.g. Bluetooth, infrared connections
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/204—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform the platform being a handheld device
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)

Abstract

In an image processing apparatus (400), a determining unit (407) determines the positions of a first region and a second region within an overall image. A first extraction unit (401) extracts the first region within the overall image as a first image, and a second extraction unit (402) extracts the second region within the overall image as a second image. A first display unit (403) displays the first image on a first display. A second display unit (404) displays the second image on a second display. An image capture unit (405) captures an image in the backward direction of the second display. An estimation unit (406) estimates the relative position of the second display with respect to the first display on the basis of a portion of the captured image that corresponds to the first image and the overall image. The determining unit (407) determines the position of the second region on the basis of the position of the first region and the estimated relative position.

Description

画像処理装置、画像処理システム、画像処理方法、情報記録媒体、ならびに、プログラムImage processing apparatus, image processing system, image processing method, information recording medium, and program
　本発明は、複数のプレイヤーが１つの画面を共有しつつ、プレイヤーの意向に添った画面も閲覧できるようにするために好適な画像処理装置、画像処理システム、画像処理方法、情報記録媒体、ならびに、プログラムに関する。 The present invention provides an image processing apparatus, an image processing system, an image processing method, an information recording medium, and an image processing apparatus suitable for allowing a plurality of players to view a screen according to the player's intention while sharing one screen. , Related to the program.
　複数のプレイヤーが１つの画面を共有して一緒にプレイできるゲームがある。例えば、特許文献１には、２人のプレイヤーが対戦するサッカーゲームが開示されており、ディスプレイにはボールがほぼ中央に位置するように制御されるゲーム画像が表示される。また、特許文献１では、一方のプレイヤーの指示対象であるキャラクターがボールをキープしているときに、味方であって視野外にいるキャラクターの配置が分かるように、ゲーム画面のマーク表示エリアに上下左右の矢印が描かれる。 There are games that allow multiple players to share a screen and play together. For example, Patent Document 1 discloses a soccer game in which two players play against each other, and a game image that is controlled so that the ball is positioned substantially in the center is displayed on the display. Further, in Patent Document 1, when a character that is an instruction target of one player keeps the ball, the mark display area on the game screen is moved up and down so that the arrangement of characters that are on the side and out of the field of view can be understood. Left and right arrows are drawn.
特開２００７－２４４５４０号公報JP 2007-244540 A
　しかしながら、上述の特許文献１によれば、一方のボールをキープしている側のプレイヤーは自分のチームのキャラクターが視野外のどこにいるのかを知ることができるものの、他方のプレイヤーにとっては自分のチームのキャラクターが視野外のどこにいるのかを知ることはできないため、両方のプレイヤーが共に意向に添った画面を見ることはできなかった。 However, according to the above-mentioned Patent Document 1, the player who is keeping one ball can know where the character of his team is out of sight, but for the other player, his team I couldn't see where my character was out of sight, so I couldn't see the screen that both players wanted.
　本発明はこのような課題を解決するものであり、複数のプレイヤーが１つの画面を共有しつつ、プレイヤーの意向に添った画面も閲覧できるようにするために好適な画像処理装置、画像処理システム、画像処理方法、情報記録媒体、ならびに、プログラムを提供することを目的とする。 The present invention solves such problems, and an image processing apparatus and an image processing system suitable for allowing a plurality of players to view a screen according to the player's intention while sharing a single screen. An object is to provide an image processing method, an information recording medium, and a program.
　以上の目的を達成するため、本発明の原理にしたがって、下記の発明を開示する。 In order to achieve the above object, the following invention is disclosed in accordance with the principle of the present invention.
　本発明の第１の観点に係る画像処理装置は、決定部、第１抽出部、第２抽出部、第１表示部、第２表示部、撮影部、推定部を備える。
　決定部は、全体画像内における第１領域の位置と第２領域の位置を決定する。
　第１抽出部は、全体画像内の第１領域を第１画像として抽出する。
　第２抽出部は、全体画像内の第２領域を第２画像として抽出する。
　第１表示部は、抽出された第１画像を第１ディスプレイに表示する。
　第２表示部は、抽出された第２画像を第２ディスプレイに表示する。
　撮影部は、第２ディスプレイの背面方向を撮影する。
　推定部は、撮影部により撮影された撮影画像に映っている第１画像に対応する部分に基づいて、第１ディスプレイに対する第２ディスプレイの相対的な位置を推定する。
　そして、決定部は、全体画像内における第１領域の位置と推定された相対的な位置とに基づいて、全体画像内における第２領域の位置を決定する。 An image processing apparatus according to a first aspect of the present invention includes a determination unit, a first extraction unit, a second extraction unit, a first display unit, a second display unit, a photographing unit, and an estimation unit.
The determining unit determines the position of the first area and the position of the second area in the entire image.
The first extraction unit extracts a first region in the entire image as a first image.
The second extraction unit extracts a second area in the entire image as a second image.
The first display unit displays the extracted first image on the first display.
The second display unit displays the extracted second image on the second display.
The photographing unit photographs the back direction of the second display.
The estimation unit estimates a relative position of the second display with respect to the first display based on a part corresponding to the first image shown in the captured image captured by the imaging unit.
Then, the determination unit determines the position of the second region in the entire image based on the position of the first region in the entire image and the estimated relative position.
　本発明の画像処理装置が扱う全体画像は、例えば、仮想空間内で行われるゲームの画像である。ただし、全体画像は、ゲームの画像に限らず、映画、テレビジョン放送、ライブカメラ映像などでもよい。また、動画像でもよいし、静止画像でもよい。 The whole image handled by the image processing apparatus of the present invention is, for example, an image of a game performed in a virtual space. However, the entire image is not limited to a game image, and may be a movie, a television broadcast, a live camera image, or the like. Further, it may be a moving image or a still image.
　全体画像内には、第１ディスプレイに表示される第１画像の領域である第１領域と、第２ディスプレイに表示される第２画像の領域である第２領域とが設定される。例えば、第１ディスプレイは、複数の視聴者が同時に視聴することを前提とする第１画像を表示し、第２ディスプレイは、画像処理装置のユーザーだけが視聴することを前提とする第２画像を表示する。画像処理装置のユーザーは、第１ディスプレイに表示されていない周囲を見たいときには、画像処理装置を見たい方向に向ければ、第１ディスプレイに表示されていない周囲を見ることができる。 In the whole image, a first area that is a first image area displayed on the first display and a second area that is a second image area displayed on the second display are set. For example, the first display displays a first image that is assumed to be viewed by a plurality of viewers simultaneously, and the second display displays a second image that is assumed to be viewed only by a user of the image processing apparatus. indicate. When the user of the image processing apparatus wants to see the surroundings not displayed on the first display, the user can view the surroundings not displayed on the first display by pointing the image processing apparatus in the direction in which the user wants to view.
　すなわち、画像処理装置にはカメラが取り付けられており、カメラによる撮影画像に第１ディスプレイに表示されている第１画像がどのように映っているかによって、第１ディスプレイと第２ディスプレイの相対的な位置関係が推定され、その推定結果に基づき、第１画像とは異なった第２画像が第２ディスプレイに表示される。画像処理装置のユーザー以外の視聴者は、第１ディスプレイに表示される標準的な第１画像を大勢で一緒に見ることができる。一方、画像処理装置のユーザーは、標準的な第１画像を見たいときには第１ディスプレイを見ればよいし、第１画像とは違ったアングルで映し出された第２画像を見たいときには、画像処理装置に備え付けられたカメラを違う向きに変えて第２ディスプレイを見ればよい。本発明によれば、複数のプレイヤーが１つのゲーム画面を共有しつつ、プレイヤーの意向に添ったゲーム画面も閲覧できるようになる。 That is, a camera is attached to the image processing apparatus, and the relative relationship between the first display and the second display depends on how the first image displayed on the first display is reflected in the image captured by the camera. The positional relationship is estimated, and based on the estimation result, a second image different from the first image is displayed on the second display. Viewers other than the user of the image processing apparatus can see a large number of standard first images displayed on the first display together. On the other hand, when the user of the image processing apparatus wants to see the standard first image, he / she only needs to look at the first display, and when he / she wants to see the second image displayed at an angle different from the first image, Just look at the second display with the camera attached to the device in a different orientation. According to the present invention, a plurality of players can view a game screen according to the player's intention while sharing one game screen.
　第１表示部は、所定位置に基準マークを重畳した第１画像を前記第１ディスプレイに表示してもよい。
　そして、推定部は、撮影画像に基準マークが映っている場合、撮影画像に映っている基準マークの位置から、撮影画像内の第１画像に対応する部分を判別し、当該判別結果と全体画像とに基づいて、第１ディスプレイに対する第２ディスプレイの相対的な位置を推定してもよい。 The first display unit may display a first image in which a reference mark is superimposed at a predetermined position on the first display.
Then, when the reference mark appears in the captured image, the estimating unit determines a portion corresponding to the first image in the captured image from the position of the reference mark reflected in the captured image, and the determination result and the entire image And the relative position of the second display with respect to the first display may be estimated.
　すなわち、第１ディスプレイには、基準マークが重畳された第１画像が表示され、カメラによる撮影画像の中には基準マークも写り込むことになり、基準マークの写り込み具合によって、第１ディスプレイと第２ディスプレイの相対的な位置関係が推定されるのである。本発明によれば、画像処理装置は、より効率的に第１ディスプレイに対する第２ディスプレイの相対的な位置を推定できるようになる。 That is, the first image on which the reference mark is superimposed is displayed on the first display, and the reference mark is also reflected in the photographed image by the camera. Depending on how the reference mark is reflected, The relative positional relationship of the second display is estimated. According to the present invention, the image processing apparatus can estimate the relative position of the second display with respect to the first display more efficiently.
　決定部は、
（ａ）第２ディスプレイの背面が第１ディスプレイに正対していると推定される場合、もしくは、撮影画像に基準マークが映っていない場合、第２領域の中心の位置を第１領域の中心の位置と一致させ、
（ｂ）撮影画像に基準マークが映っており、且つ、第２ディスプレイの背面が第１ディスプレイに正対していないと推定される場合、第２領域の中心の位置を、第１ディスプレイに対して第２ディスプレイが偏っている方向へ移動してもよい。 The decision part
(A) When it is estimated that the back surface of the second display faces the first display, or when the reference mark is not shown in the photographed image, the position of the center of the second area is set to the center of the first area. Match the position,
(B) When it is estimated that the reference mark is reflected in the photographed image and the back surface of the second display is not directly facing the first display, the position of the center of the second area is set with respect to the first display. You may move to the direction where the 2nd display is biased.
　すなわち、カメラは第２ディスプレイの背面に固定されており、第１ディスプレイと第２ディスプレイの相対的な位置関係の推定の結果、第２ディスプレイの背面が第１ディスプレイに正対しているときには、第１画像と第２画像は共に同じ位置を中心とした画像になる。また、第２ディスプレイの背面が第１ディスプレイに正対していないときには、第２画像には第１画像には含まれていない“続きの部分”も含まれる。ただし、基準マークが映り込まない程度まで違う方向にカメラが向いているときには、第１画像と第２画像は共に同じ位置を中心とした画像になる。本発明によれば、第１ディスプレイと第２ディスプレイの相対的な位置関係によって的確に第２画像を切り替えることができる。 That is, the camera is fixed to the back surface of the second display. As a result of the estimation of the relative positional relationship between the first display and the second display, when the back surface of the second display faces the first display, Both the first image and the second image are images centered on the same position. Further, when the back surface of the second display is not directly facing the first display, the second image includes a “continuation portion” that is not included in the first image. However, when the camera is facing in different directions to the extent that the reference mark does not appear, both the first image and the second image are images centered on the same position. According to the present invention, the second image can be accurately switched according to the relative positional relationship between the first display and the second display.
　決定部は、撮影画像に映っている基準マークの重心から撮影画像の中心へと結ぶベクトルの向きに、第２領域の位置を移動してもよい。 The determination unit may move the position of the second region in the direction of a vector connecting from the center of gravity of the reference mark shown in the captured image to the center of the captured image.
　すなわち、画像処理装置のユーザーは、第１画像の“続き”が見たいときには、見たい方向にカメラを向ければよい。本発明によれば、より直感的な操作でプレイヤーの意向に添った画像を閲覧できるようになる。 That is, when the user of the image processing apparatus wants to see the “continuation” of the first image, he / she should point the camera in the desired direction. According to the present invention, it is possible to view an image according to the player's intention through a more intuitive operation.
　決定部は、撮影画像に基準マークが映っており、且つ、第２ディスプレイが第１ディスプレイに正対していないと推定される場合、第２ディスプレイが第１ディスプレイに正対していると仮定した際に映っているべき基準マークの位置と、撮影画像に映っている基準マークの位置と、の差異が大きいほど、第２領域の位置の移動量を大きくしてもよい。 When the determination unit assumes that the reference mark appears in the captured image and the second display is not directly facing the first display, it is assumed that the second display is directly facing the first display. The larger the difference between the position of the reference mark that should appear in the image and the position of the reference mark that appears in the captured image, the greater the amount of movement of the position of the second region may be.
　すなわち、第２ディスプレイが第１ディスプレイに正対しているときの向きと異なっている量が大きいほど、第２領域が移動する量が大きくなる。本発明によれば、より直感的な操作でプレイヤーの意向に添った画像を閲覧できるようになる。 That is, the greater the amount that is different from the direction when the second display is facing the first display, the greater the amount that the second region moves. According to the present invention, it is possible to view an image according to the player's intention through a more intuitive operation.
　決定部は、全体画像内での位置が可変の所定のオブジェクトが第１領域の中心位置になるように、第１領域の位置を決定してもよい。 The determining unit may determine the position of the first area so that a predetermined object whose position in the entire image is variable becomes the center position of the first area.
　すなわち、所定のオブジェクトが第１画像の中心にくるように第１領域が設定される。一方、第２領域は第１ディスプレイと第２ディスプレイの相対的な位置関係によって移動する。本発明によれば、プレイヤーは、所定のオブジェクトを追いかけるような画像を見ることができ、且つ、自分の意向に添った画像を見ることもできる。 That is, the first area is set so that the predetermined object is at the center of the first image. On the other hand, the second area moves depending on the relative positional relationship between the first display and the second display. According to the present invention, the player can see an image that follows a predetermined object, and can also see an image according to his / her intention.
　本発明のその他の観点に係る画像処理システムは、第１の画像処理装置と複数の第２の画像処理装置とを有する画像処理システムであって、第１の画像処理装置は、決定部、抽出部、第１表示部、画像送信部を備える。
　決定部は、全体画像内における第１領域の位置と第２領域の位置を決定する。
　抽出部は、全体画像内の第１領域を第１画像として抽出し、第２の画像処理装置ごとに全体画像内の第２領域を第２画像として抽出する。
　第１表示部は、抽出された第１画像を第１ディスプレイに表示する。
　画像送信部は、抽出された第２画像を複数の第２の画像処理装置のそれぞれに送信する。
　複数の第２の画像処理装置のそれぞれは、画像受信部、第２表示部、撮影部、推定部を備える。
　画像受信部は、第２画像を第１の画像処理装置から受信する。
　第２表示部は、受信した第２画像を第２ディスプレイに表示する。
　撮影部は、第２ディスプレイの背面方向を撮影する。
　推定部は、撮影部により撮影された撮影画像に映っている第１画像に対応する部分に基づいて、第１ディスプレイに対する第２ディスプレイの相対的な位置を推定し、推定結果を第１の画像処理装置に送信する。
　また、第１の画像処理装置の決定部は、複数の第２の画像処理装置のそれぞれから推定結果を受信し、第２の画像処理装置ごとに、全体画像内における第１領域の位置と受信した推定結果とに基づいて、全体画像内における第２領域の位置を決定する。
　そして、第１の画像処理装置の抽出部は、第２の画像処理装置ごとに、決定された第２領域の位置に基づいて、全体画像内の第２領域を第２画像として抽出する。 An image processing system according to another aspect of the present invention is an image processing system having a first image processing device and a plurality of second image processing devices, wherein the first image processing device includes a determination unit, an extraction unit, and an extraction unit. Unit, a first display unit, and an image transmission unit.
The determining unit determines the position of the first area and the position of the second area in the entire image.
The extraction unit extracts the first area in the entire image as the first image, and extracts the second area in the entire image as the second image for each second image processing apparatus.
The first display unit displays the extracted first image on the first display.
The image transmission unit transmits the extracted second image to each of the plurality of second image processing apparatuses.
Each of the plurality of second image processing apparatuses includes an image reception unit, a second display unit, a photographing unit, and an estimation unit.
The image receiving unit receives the second image from the first image processing apparatus.
The second display unit displays the received second image on the second display.
The photographing unit photographs the back direction of the second display.
The estimation unit estimates a relative position of the second display with respect to the first display based on a portion corresponding to the first image shown in the photographed image photographed by the photographing unit, and obtains the estimation result as the first image. Send to processing device.
The determination unit of the first image processing apparatus receives the estimation result from each of the plurality of second image processing apparatuses, and receives and receives the position of the first region in the entire image for each second image processing apparatus. Based on the estimated result, the position of the second region in the entire image is determined.
Then, the extraction unit of the first image processing device extracts the second region in the entire image as the second image based on the determined position of the second region for each second image processing device.
　本発明によれば、複数のプレイヤーが１つのゲーム画面を共有しつつ、プレイヤーのそれぞれの意向に添ったゲーム画面も閲覧できるようになる。 According to the present invention, a plurality of players can view a game screen according to each player's intention while sharing one game screen.
　本発明のその他の観点に係る画像処理方法は、画像処理装置にて行われる画像処理方法であって、決定ステップ、第１抽出ステップ、第２抽出ステップ、第１表示ステップ、第２表示ステップ、撮影ステップ、推定ステップを備える。
　決定ステップでは、全体画像内における第１領域の位置と第２領域の位置を決定する。
　第１抽出ステップでは、全体画像内の第１領域を第１画像として抽出する。
　第２抽出ステップでは、全体画像内の第２領域を第２画像として抽出する。
　第１表示ステップでは、抽出された第１画像を第１ディスプレイに表示する。
　第２表示ステップでは、抽出された第２画像を第２ディスプレイに表示する。
　撮影ステップでは、第２ディスプレイの背面方向を撮影する。
　推定ステップでは、撮影ステップにおいて撮影された撮影画像に映っている第１画像に対応する部分と、全体画像とに基づいて、第１ディスプレイに対する第２ディスプレイの相対的な位置を推定する。
　そして、決定ステップでは、全体画像内における第１領域の位置と推定された相対的な位置とに基づいて、全体画像内における第２領域の位置を決定する。 An image processing method according to another aspect of the present invention is an image processing method performed in an image processing apparatus, and includes a determination step, a first extraction step, a second extraction step, a first display step, a second display step, A photographing step and an estimating step are provided.
In the determination step, the position of the first area and the position of the second area in the entire image are determined.
In the first extraction step, the first region in the entire image is extracted as the first image.
In the second extraction step, the second region in the entire image is extracted as the second image.
In the first display step, the extracted first image is displayed on the first display.
In the second display step, the extracted second image is displayed on the second display.
In the photographing step, the rear direction of the second display is photographed.
In the estimation step, the relative position of the second display with respect to the first display is estimated based on the portion corresponding to the first image shown in the captured image captured in the capturing step and the entire image.
In the determining step, the position of the second region in the entire image is determined based on the position of the first region in the entire image and the estimated relative position.
　本発明によれば、複数のプレイヤーが１つのゲーム画面を共有しつつ、プレイヤーの意向に添ったゲーム画面も閲覧できるようになる。 According to the present invention, a plurality of players can view a game screen according to the player's intention while sharing one game screen.
　本発明のその他の観点に係る情報記録媒体は、コンピュータを、決定部、第１抽出部、第２抽出部、第１表示部、第２表示部、撮影部、推定部として機能させるプログラムを記憶する。
　決定部は、全体画像内における第１領域の位置と第２領域の位置を決定する。
　第１抽出部は、全体画像内の第１領域を第１画像として抽出する。
　第２抽出部は、全体画像内の第２領域を第２画像として抽出する。
　第１表示部は、抽出された第１画像を第１ディスプレイに表示する。
　第２表示部は、抽出された第２画像を第２ディスプレイに表示する。
　撮影部は、第２ディスプレイの背面方向を撮影する。
　推定部は、撮影部により撮影された撮影画像に映っている第１画像に対応する部分と、全体画像とに基づいて、第１ディスプレイに対する第２ディスプレイの相対的な位置を推定する。
　そして、決定部は、全体画像内における第１領域の位置と推定された相対的な位置とに基づいて、全体画像内における第２領域の位置を決定する。 An information recording medium according to another aspect of the present invention stores a program that causes a computer to function as a determination unit, a first extraction unit, a second extraction unit, a first display unit, a second display unit, a photographing unit, and an estimation unit. To do.
The determining unit determines the position of the first area and the position of the second area in the entire image.
The first extraction unit extracts a first region in the entire image as a first image.
The second extraction unit extracts a second area in the entire image as a second image.
The first display unit displays the extracted first image on the first display.
The second display unit displays the extracted second image on the second display.
The photographing unit photographs the back direction of the second display.
The estimation unit estimates a relative position of the second display with respect to the first display based on a part corresponding to the first image shown in the captured image captured by the imaging unit and the entire image.
Then, the determination unit determines the position of the second region in the entire image based on the position of the first region in the entire image and the estimated relative position.
　本発明によれば、コンピュータを上述のように動作する画像処理装置として機能させることができる。 According to the present invention, it is possible to cause a computer to function as an image processing apparatus that operates as described above.
　本発明のその他の観点に係るプログラムは、コンピュータを、決定部、第１抽出部、第２抽出部、第１表示部、第２表示部、撮影部、推定部として機能させる。
　決定部は、全体画像内における第１領域の位置と第２領域の位置を決定する。
　第１抽出部は、全体画像内の第１領域を第１画像として抽出する。
　第２抽出部は、全体画像内の第２領域を第２画像として抽出する。
　第１表示部は、抽出された第１画像を第１ディスプレイに表示する。
　第２表示部は、抽出された第２画像を第２ディスプレイに表示する。
　撮影部は、第２ディスプレイの背面方向を撮影する。
　推定部は、撮影部により撮影された撮影画像に映っている第１画像に対応する部分と、全体画像とに基づいて、第１ディスプレイに対する第２ディスプレイの相対的な位置を推定する。
　そして、決定部は、全体画像内における第１領域の位置と推定された相対的な位置とに基づいて、全体画像内における第２領域の位置を決定する。 A program according to another aspect of the present invention causes a computer to function as a determination unit, a first extraction unit, a second extraction unit, a first display unit, a second display unit, a photographing unit, and an estimation unit.
The determining unit determines the position of the first area and the position of the second area in the entire image.
The first extraction unit extracts a first region in the entire image as a first image.
The second extraction unit extracts a second area in the entire image as a second image.
The first display unit displays the extracted first image on the first display.
The second display unit displays the extracted second image on the second display.
The photographing unit photographs the back direction of the second display.
The estimation unit estimates a relative position of the second display with respect to the first display based on a part corresponding to the first image shown in the captured image captured by the imaging unit and the entire image.
Then, the determination unit determines the position of the second region in the entire image based on the position of the first region in the entire image and the estimated relative position.
　本発明によれば、コンピュータを上述のように動作する画像処理装置として機能させることができる。
　また、本発明のプログラムは、コンパクトディスク、フレキシブルディスク、ハードディスク、光磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリー等のコンピュータ読取可能な情報記憶媒体に記録することができる。
　上記プログラムは、プログラムが実行されるコンピュータとは独立して、コンピュータ通信網を介して配布・販売することができる。また、上記情報記憶媒体は、コンピュータとは独立して配布・販売することができる。 According to the present invention, it is possible to cause a computer to function as an image processing apparatus that operates as described above.
The program of the present invention can be recorded on a computer-readable information storage medium such as a compact disk, flexible disk, hard disk, magneto-optical disk, digital video disk, magnetic tape, and semiconductor memory.
The above program can be distributed and sold via a computer communication network independently of the computer on which the program is executed. The information storage medium can be distributed and sold independently from the computer.
　本発明によれば、複数のプレイヤーが１つの画面を共有しつつ、プレイヤーの意向に添った画面も閲覧できるようにするために好適な画像処理装置、画像処理システム、画像処理方法、情報記録媒体、ならびに、プログラムを提供することができる。 According to the present invention, an image processing apparatus, an image processing system, an image processing method, and an information recording medium suitable for allowing a plurality of players to view a screen according to the player's intention while sharing one screen. As well as programs can be provided.
本発明のゲーム装置が実現される典型的な情報処理装置のハードウェア構成を表す図である。It is a figure showing the hardware constitutions of the typical information processing apparatus with which the game device of this invention is implement | achieved. 情報処理装置の外観を表す図である。It is a figure showing the external appearance of information processing apparatus. 情報処理装置と外部ディスプレイ（第１ディスプレイ）とを表す図である。It is a figure showing an information processor and an external display (1st display). 画像処理装置の機能的な構成を表す図である。It is a figure showing the functional structure of an image processing apparatus. 全体画像を表す図である。It is a figure showing a whole image. 撮影画像を表す図である。It is a figure showing a picked-up image. 第１画像と第２画像を表す図である。It is a figure showing a 1st image and a 2nd image. 撮影画像を表す図である。It is a figure showing a picked-up image. 第１画像と第２画像を表す図である。It is a figure showing a 1st image and a 2nd image. 全体画像と第１領域と第２領域を表す図である。It is a figure showing a whole image, the 1st field, and the 2nd field. 撮影画像を表す図である。It is a figure showing a picked-up image. 第１画像と第２画像を表す図である。It is a figure showing a 1st image and a 2nd image. 全体画像と第１領域と第２領域を表す図である。It is a figure showing a whole image, the 1st field, and the 2nd field. 画像処理を説明するためのフローチャートである。It is a flowchart for demonstrating image processing. 画像処理システムの構成を表す図である。It is a figure showing the structure of an image processing system. 外部機器のハードウェア構成を表す図である。It is a figure showing the hardware constitutions of an external apparatus. 第１の画像処理装置と第２の画像処理装置の機能的な構成を表す図である。It is a figure showing the functional structure of a 1st image processing apparatus and a 2nd image processing apparatus. 画像処理を説明するためのフローチャートである。It is a flowchart for demonstrating image processing. 撮影画像を表す図である。It is a figure showing a picked-up image. 基準マークの分布の偏りを表す図である。It is a figure showing the distribution bias of a reference mark. 全体画像と第１領域と第２領域を表す図である。It is a figure showing a whole image, the 1st field, and the 2nd field. 基準マークを重畳した第１画像の構成例を表す図である。It is a figure showing the example of a structure of the 1st image which superimposed the reference mark. 基準マークを重畳した第１画像の構成例を表す図である。It is a figure showing the example of a structure of the 1st image which superimposed the reference mark.
　以下に本発明の実施形態を説明する。以下では、理解を容易にするため、ゲーム用の情報処理装置を利用して本発明が実現される実施形態を説明するが、以下に説明する実施形態は説明のためのものであり、本願発明の範囲を制限するものではない。したがって、当業者であればこれらの各要素もしくは全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。 Embodiments of the present invention will be described below. In the following, for ease of understanding, an embodiment in which the present invention is realized using a game information processing device will be described. However, the embodiment described below is for explanation, and the present invention is described. It does not limit the range. Therefore, those skilled in the art can employ embodiments in which each or all of these elements are replaced with equivalent ones, and these embodiments are also included in the scope of the present invention.
（実施形態１）
　図１は、プログラムを実行することにより、本実施形態に係る画像処理装置の機能を果たす典型的な情報処理装置１００のハードウェア構成を示す模式図である。 (Embodiment 1)
FIG. 1 is a schematic diagram illustrating a hardware configuration of a typical information processing apparatus 100 that performs the functions of the image processing apparatus according to the present embodiment by executing a program.
　情報処理装置１００は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ　１０２、ＲＡＭ（Random Access Memory）１０３、インターフェース１０４、第１タッチパネル１０５、第２タッチパネル１０６、外部メモリー１０７、ＤＶＤ－ＲＯＭ（Digital Versatile Disc ROM）ドライブ１０８、画像処理部１０９、ディスプレイ１１０、音声処理部１１１、ＮＩＣ（Network Interface Card）１１２、カメラ１１３を備える。 The information processing apparatus 100 includes a CPU (Central Processing Unit) 101, a ROM 102, a RAM (Random Access Memory) 103, an interface 104, a first touch panel 105, a second touch panel 106, an external memory 107, a DVD-ROM (Digital Versatile Disc Disc ROM). ) Drive 108, image processing unit 109, display 110, audio processing unit 111, NIC (Network Interface Card) 112, and camera 113.
　ゲーム用のプログラムおよびデータを記憶したＤＶＤ－ＲＯＭをＤＶＤ－ＲＯＭドライブ１０８に装着して、情報処理装置１００の電源を投入することにより、当該プログラムが実行され、本実施形態に係る画像処理装置が実現される。 A DVD-ROM storing a game program and data is loaded into the DVD-ROM drive 108 and the information processing apparatus 100 is turned on to execute the program. The image processing apparatus according to the present embodiment is Realized.
　ＣＰＵ　１０１は、情報処理装置１００全体の動作を制御し、各構成要素と接続され制御信号やデータをやりとりする。また、ＣＰＵ　１０１は、レジスター（図示せず）という高速アクセスが可能な記憶域に対してＡＬＵ（Arithmetic Logic Unit）（図示せず）を用いて加減乗除等の算術演算や、論理和、論理積、論理否定等の論理演算、ビット和、ビット積、ビット反転、ビットシフト、ビット回転等のビット演算などを行うことができる。さらに、マルチメディア処理対応のための加減乗除等の飽和演算や、三角関数等、ベクトル演算などを高速に行えるように、ＣＰＵ　１０１自身が構成されているものや、コプロセッサーを備えて実現するものがある。 The CPU 101 controls the overall operation of the information processing apparatus 100 and is connected to each component to exchange control signals and data. In addition, the CPU 101 uses arithmetic operations such as addition / subtraction / division / division, logical sum, logical product using ALU (Arithmetic Logic Unit) (not shown) for a storage area called a register (not shown) that can be accessed at high speed. , Logic operations such as logical negation, bit operations such as bit sum, bit product, bit inversion, bit shift, and bit rotation can be performed. In addition, the CPU 101 itself is configured so that saturation operations such as addition / subtraction / multiplication / division for multimedia processing, vector functions such as trigonometric functions, etc. can be performed at a high speed, or a coprocessor is implemented. There is.
　ＲＯＭ　１０２には、電源投入直後に実行されるＩＰＬ（Initial Program Loader）が記録され、これが実行されることにより、ＤＶＤ－ＲＯＭに記録されたプログラムをＲＡＭ　１０３に読み出してＣＰＵ　１０１による実行が開始される。また、ＲＯＭ　１０２には、情報処理装置１００全体の動作制御に必要なオペレーティングシステムのプログラムや各種のデータが記録される。 The ROM 102 records an IPL (Initial Program Loader) that is executed immediately after the power is turned on, and when this is executed, the program recorded on the DVD-ROM is read into the RAM 103 and the execution by the CPU 101 is started. The The ROM 102 stores an operating system program and various data necessary for operation control of the entire information processing apparatus 100.
　ＲＡＭ　１０３は、データやプログラムを一時的に記憶するためのもので、ＤＶＤ－ＲＯＭから読み出したプログラムやデータ、その他ゲームの進行やチャット通信に必要なデータが保持される。また、ＣＰＵ　１０１は、ＲＡＭ　１０３に変数領域を設け、当該変数に格納された値に対して直接ＡＬＵを作用させて演算を行ったり、ＲＡＭ　１０３に格納された値を一旦レジスターに格納してからレジスターに対して演算を行ったりして、演算結果をメモリーに書き戻す、などの処理を行う。 The RAM 103 is for temporarily storing data and programs, and holds programs and data read from the DVD-ROM and other data necessary for game progress and chat communication. In addition, the CPU 101 provides a variable area in the RAM 103 and performs an operation by directly operating an ALU on the value stored in the variable, or temporarily stores the value stored in the RAM 103 in a register. Perform operations such as performing operations on registers and writing back the results of operations to memory.
　インターフェース１０４を介して接続された２つのタッチパネル（第１タッチパネル１０５と第２タッチパネル１０６）は、プレイヤーがゲームをプレイする際に行う操作入力を受け付ける。図２に示すように、第１タッチパネル１０５はディスプレイ１１０に重畳して設置されている。第１タッチパネル１０５とディスプレイ１１０を合わせてタッチスクリーンとも呼ぶ。第１タッチパネル１０５上の各点は、ディスプレイ１１０上の各点に１対１に対応している。第２タッチパネル１０６はディスプレイ１１０とは反対の面に設置されている。第１タッチパネル１０５を前面タッチパネル、第２タッチパネル１０６を背面タッチパネルともいう。なお、情報処理装置１００は、プレイヤーからの入力を受け付ける入力装置として、第１タッチパネル１０５と第２タッチパネル１０６のほかに、ボタン等を備えたいわゆる“コントローラー”と呼ばれる入力装置を備えていてもよい。 The two touch panels (the first touch panel 105 and the second touch panel 106) connected via the interface 104 receive an operation input performed when the player plays the game. As shown in FIG. 2, the first touch panel 105 is installed so as to overlap the display 110. The first touch panel 105 and the display 110 are collectively referred to as a touch screen. Each point on the first touch panel 105 corresponds to each point on the display 110 on a one-to-one basis. The second touch panel 106 is installed on the surface opposite to the display 110. The first touch panel 105 is also referred to as a front touch panel, and the second touch panel 106 is also referred to as a rear touch panel. In addition to the first touch panel 105 and the second touch panel 106, the information processing apparatus 100 may include an input device called a “controller” including buttons and the like as an input device that receives input from the player. .
　インターフェース１０４を介して着脱自在に接続された外部メモリー１０７には、ゲーム等のプレイ状況や過去の成績等を示すデータ、ゲームの進行状態を示すデータ、チャットなどの通信のログ（記録）のデータなどが書き換え可能に記憶される。プレイヤーは、第１タッチパネル１０５や第２タッチパネル１０６を介して指示入力を行うことにより、これらのデータを適宜外部メモリー１０７に記録することができる。 In an external memory 107 detachably connected via the interface 104, data indicating game play status and past results, data indicating the progress of the game, communication log (record) data such as chat, etc. Are stored in a rewritable manner. The player can record these data in the external memory 107 as appropriate by inputting an instruction via the first touch panel 105 or the second touch panel 106.
　ＤＶＤ－ＲＯＭドライブ１０８に装着されるＤＶＤ－ＲＯＭには、ゲームを行うためのプログラムとゲームに付随する画像データや音声データなどが記録される。ＣＰＵ　１０１の制御によって、ＤＶＤ－ＲＯＭドライブ１０８は、これに装着されたＤＶＤ－ＲＯＭに対する読み出し処理を行って、必要なプログラムやデータを読み出す。読み出されたプログラムやデータはＲＡＭ　１０３等に一時的に記憶される。 The DVD-ROM mounted on the DVD-ROM drive 108 stores a program for playing a game and image data and audio data associated with the game. Under the control of the CPU 101, the DVD-ROM drive 108 performs a reading process on the DVD-ROM mounted on the DVD-ROM drive 108 to read out necessary programs and data. The read program and data are temporarily stored in the RAM 103 or the like.
　画像処理部１０９は、ＤＶＤ－ＲＯＭから読み出されたデータをＣＰＵ　１０１や画像処理部１０９が備える画像演算プロセッサー（図示せず）によって加工処理した後、これを画像処理部１０９が備えるフレームメモリー（図示せず）に記録する。フレームメモリーに記録された画像情報は、所定の同期タイミングでビデオ信号に変換され画像処理部１０９に接続されるディスプレイ１１０へ出力される。これにより、各種の画像表示が可能となる。 The image processing unit 109 processes the data read from the DVD-ROM by an image arithmetic processor (not shown) included in the CPU 101 or the image processing unit 109, and then processes the processed data on a frame memory ( (Not shown). The image information recorded in the frame memory is converted into a video signal at a predetermined synchronization timing and output to the display 110 connected to the image processing unit 109. Thereby, various image displays are possible.
　画像演算プロセッサーは、２次元の画像の重ね合わせ演算やαブレンディング等の透過演算、各種の飽和演算を高速に実行できる。 The image calculation processor can execute a two-dimensional image overlay calculation, a transparency calculation such as α blending, and various saturation calculations at high speed.
　また、仮想空間が３次元にて構成される場合には、当該３次元空間内に配置され、各種のテクスチャー情報が付加されたポリゴン情報を、Ｚバッファー法によりレンダリングして、所定の視点位置から仮想空間に配置されたポリゴンを所定の視線の方向へ見たレンダリング画像を得る演算の高速実行も可能である。 In addition, when the virtual space is configured in three dimensions, the polygon information arranged in the three-dimensional space and added with various texture information is rendered by the Z buffer method, and a predetermined viewpoint position is used. It is also possible to execute a calculation at high speed to obtain a rendering image in which a polygon arranged in the virtual space is viewed in the direction of a predetermined line of sight.
　さらに、ＣＰＵ　１０１と画像演算プロセッサーが協調動作することにより、文字の形状を定義するフォント情報にしたがって、文字列を２次元画像としてフレームメモリーへ描画したり、各ポリゴン表面へ描画したりすることが可能である。 Furthermore, the CPU 101 and the image arithmetic processor cooperate to draw a character string as a two-dimensional image in the frame memory or draw it on the surface of each polygon according to the font information that defines the character shape. Is possible.
　音声処理部１１１は、ＤＶＤ－ＲＯＭから読み出した音声データをアナログ音声信号に変換し、これに接続されたスピーカーから出力させる。また、ＣＰＵ　１０１の制御の下、ゲームの進行の中で発生させるべき効果音や楽曲データを生成し、これに対応した音声をスピーカーから出力させる。 The audio processing unit 111 converts audio data read from the DVD-ROM into an analog audio signal and outputs it from a speaker connected thereto. Further, under the control of the CPU 101, sound effects and music data to be generated during the progress of the game are generated, and the corresponding sound is output from the speaker.
　音声処理部１１１では、ＤＶＤ－ＲＯＭに記録された音声データがＭＩＤＩデータである場合には、予め情報処理装置に記憶された音源データを参照して、ＭＩＤＩデータをＰＣＭデータに変換する。また、音声データがＡＤＰＣＭ形式やOgg Vorbis形式等の圧縮済音声データである場合には、ＰＣＭデータに変換する。ＰＣＭデータはそのサンプリング周波数に応じたタイミングでＤ／Ａ（Digital/Analog）変換され、スピーカーから音声が出力される。 When the audio data recorded on the DVD-ROM is MIDI data, the audio processing unit 111 converts the MIDI data into PCM data with reference to the sound source data stored in the information processing apparatus in advance. If the audio data is compressed audio data such as ADPCM format or Ogg Vorbis format, it is converted to PCM data. The PCM data is D / A (Digital / Analog) converted at a timing corresponding to the sampling frequency, and audio is output from the speaker.
　さらに、情報処理装置１００にはマイクを接続することができる。この場合、マイクからのアナログ信号に対しては、適当なサンプリング周波数でＡ／Ｄ（Analog/Digital）変換を行い、ＰＣＭ形式のディジタル信号として、音声処理部１１１でのミキシング等の処理ができるようにする。 Furthermore, a microphone can be connected to the information processing apparatus 100. In this case, the analog signal from the microphone is subjected to A / D (Analog / Digital) conversion at an appropriate sampling frequency so that the audio processing unit 111 can perform processing such as mixing as a PCM format digital signal. To.
　ＮＩＣ　１１２は、情報処理装置１００をインターネットやＬＡＮ（Local Area Network）等のコンピューター通信網（図示せず）に接続する。例えば、ＮＩＣ　１１２は、ＬＡＮを構成する際に用いられる１０ＢＡＳＥ－Ｔ／１００ＢＡＳＥ－Ｔ規格にしたがう仕様で構成される。あるいは、ＮＩＣ　１１２は、電話回線を用いてインターネットに接続するためのアナログモデム、ＩＳＤＮ（Integrated Services Digital Network）モデム、ＡＤＳＬ（Asymmetric Digital Subscriber Line）モデム、ケーブルテレビジョン回線を用いてインターネットに接続するためのケーブルモデムなどから構成されてもよい。 The NIC 112 connects the information processing apparatus 100 to a computer communication network (not shown) such as the Internet or a LAN (Local Area Network). For example, the NIC 112 is configured according to a specification according to the 10BASE-T / 100BASE-T standard used when configuring a LAN. Alternatively, the NIC 112 is connected to the Internet using an analog modem, ISDN (Integrated Services Digital Network) modem, ADSL (Asymmetric Digital Subscriber Line) modem, or cable television line for connecting to the Internet using a telephone line. Or a cable modem.
　カメラ１１３は、ＣＰＵ　１０１もしくはプレイヤーからの指示に従い、撮影する。撮影されて得られる画像は、ＣＰＵ　１０１もしくは画像処理部１０９によって画像処理され、ディスプレイ１１０に表示されたり外部メモリー１０７に保存されたりする。本実施形態の情報処理装置１００においては、図２に示すようにカメラ１１３のレンズはディスプレイ１１０と反対側の面に取り付けられており、図３に示すようにプレイヤーは被写体に情報処理装置１００の背面を向け且つディスプレイ１１０に表示された映像を見ながら撮影することができる。例えば、プレイヤーは、ＮＩＣ　１１２により通信可能であって外部機器３２０に接続されているディスプレイ３１０を含むアングルで撮影することができる。なお、後述するように、撮影画像の中にディスプレイ３１０に表示された画像がどのように写り込んでいるかに応じて、ディスプレイ１１０に表示される画像が変化する。 The camera 113 shoots according to instructions from the CPU 101 or player. An image obtained by photographing is subjected to image processing by the CPU 101 or the image processing unit 109 and displayed on the display 110 or stored in the external memory 107. In the information processing apparatus 100 of the present embodiment, as shown in FIG. 2, the lens of the camera 113 is attached to the surface opposite to the display 110, and as shown in FIG. The user can take a picture while facing the back and watching the video displayed on the display 110. For example, the player can shoot at an angle including the display 310 that can communicate with the NIC 112 and is connected to the external device 320. As will be described later, the image displayed on the display 110 varies depending on how the image displayed on the display 310 is reflected in the captured image.
　このほか、情報処理装置１００は、ハードディスク等の大容量外部記憶装置を用いて、ＲＯＭ　１０２、ＲＡＭ　１０３、外部メモリー１０７、ＤＶＤ－ＲＯＭドライブ１０８に装着されるＤＶＤ－ＲＯＭ等と同じ機能を果たすように構成してもよい。 In addition, the information processing apparatus 100 uses a large-capacity external storage device such as a hard disk to perform the same function as the ROM 102, the RAM 103, the external memory 107, the DVD-ROM mounted on the DVD-ROM drive 108, and the like. You may comprise.
　以上で説明した情報処理装置１００は、いわゆる「コンシューマー向けテレビゲーム装置」に相当するものであるが、仮想空間を表示するような画像処理を行うものであれば本発明を実現することができる。したがって、携帯電話機、携帯ゲーム機器、一般的なビジネス用コンピューターやパーソナルコンピューターなど、種々の計算機上で本発明を実現することが可能である。 The information processing apparatus 100 described above corresponds to a so-called “consumer video game apparatus”, but the present invention can be realized as long as it performs image processing that displays a virtual space. Therefore, the present invention can be realized on various computers such as a mobile phone, a portable game device, a general business computer, and a personal computer.
　次に、上記構成を有する情報処理装置１００により実現される、本実施形態の画像処理装置４００の機能的な構成について説明する。図４は、画像処理装置４００の機能的な構成を示す図である。画像処理装置４００は、第１抽出部４０１、第２抽出部４０２、第１表示部４０３、第２表示部４０４、撮影部４０５、推定部４０６、決定部４０７を備える。 Next, a functional configuration of the image processing apparatus 400 according to the present embodiment, which is realized by the information processing apparatus 100 having the above configuration, will be described. FIG. 4 is a diagram illustrating a functional configuration of the image processing apparatus 400. The image processing apparatus 400 includes a first extraction unit 401, a second extraction unit 402, a first display unit 403, a second display unit 404, an imaging unit 405, an estimation unit 406, and a determination unit 407.
　画像処理装置４００は外部機器３２０と通信が可能であり、外部機器３２０に画像データを送信する。画像処理装置４００は、外部機器３２０を介して、外部機器３２０に接続されている外部モニター３１０に画像を表示させることができる。あるいは、画像処理装置４００は、外部モニター３１０に直接画像データを送信して画像を表示させてもよい。 The image processing apparatus 400 can communicate with the external device 320 and transmits image data to the external device 320. The image processing apparatus 400 can display an image on the external monitor 310 connected to the external device 320 via the external device 320. Alternatively, the image processing apparatus 400 may display image by transmitting image data directly to the external monitor 310.
　第１抽出部４０１は、全体画像内の第１領域を第１画像として抽出する。第１領域は、後述する決定部４０７により決定される。全体画像については後述する。ＣＰＵ　１０１が第１抽出部４０１として機能する。 The first extraction unit 401 extracts the first area in the entire image as the first image. The first area is determined by the determination unit 407 described later. The whole image will be described later. The CPU 101 functions as the first extraction unit 401.
　第２抽出部４０２は、全体画像内の第２領域を第２画像として抽出する。第２領域は、後述する決定部４０７により決定される。ＣＰＵ　１０１が第２抽出部４０２として機能する。 The second extraction unit 402 extracts the second area in the entire image as the second image. The second area is determined by the determination unit 407 described later. The CPU 101 functions as the second extraction unit 402.
　第１表示部４０３は、第１抽出部４０１により抽出された第１画像を外部ディスプレイ３１０に表示する。ＣＰＵ　１０１と画像処理部１０９が協働して第１表示部４０３として機能する。 The first display unit 403 displays the first image extracted by the first extraction unit 401 on the external display 310. The CPU 101 and the image processing unit 109 cooperate to function as the first display unit 403.
　第２表示部４０４は、第２抽出部４０２により抽出された第２画像を、画像処理装置４００が備えるディスプレイ１１０に表示する。ＣＰＵ　１０１と画像処理部１０９が協働して第２表示部４０４として機能する。 The second display unit 404 displays the second image extracted by the second extraction unit 402 on the display 110 included in the image processing apparatus 400. The CPU 101 and the image processing unit 109 cooperate to function as the second display unit 404.
　以下の説明において、第１画像が表示される外部ディスプレイ３１０を「第１ディスプレイ」と呼び、第２画像が表示され且つ画像処理装置４００が備えるディスプレイ１１０を「第２ディスプレイ」と呼ぶ。一般には、第１ディスプレイは複数のプレイヤーが同時に眺めることができる共有のディスプレイであり、第２ディスプレイは画像処理装置４００を所有するプレイヤー１人のみが手元で見るディスプレイである。 In the following description, the external display 310 on which the first image is displayed is referred to as “first display”, and the display 110 on which the second image is displayed and provided in the image processing apparatus 400 is referred to as “second display”. In general, the first display is a shared display that a plurality of players can view simultaneously, and the second display is a display that only one player who owns the image processing apparatus 400 can see at hand.
　ここで、画像処理装置４００が扱う画像について、図５を用いて説明する。全体画像５００は、画像処理装置４００によってゲームが行われる仮想空間の全体を表す画像である。例えばサッカーゲームにおいて、全体画像５００にはサッカーコート全体が含まれる。ＣＰＵ　１０１は、画像処理部１０９を制御して、仮想空間内におけるキャラクターオブジェクト（以下、単に「オブジェクト」という。）の位置や形状などをプレイヤーからの指示に基づいて変化させ、全体画像５００を生成する。 Here, an image handled by the image processing apparatus 400 will be described with reference to FIG. The entire image 500 is an image that represents the entire virtual space where the game is played by the image processing apparatus 400. For example, in a soccer game, the entire image 500 includes the entire soccer court. The CPU 101 controls the image processing unit 109 to change the position and shape of a character object (hereinafter simply referred to as “object”) in the virtual space based on an instruction from the player, thereby generating an entire image 500. To do.
　上述したように、全体画像５００内には、第１領域５１０と第２領域５２０がＣＰＵ　１０１によって設定される。第１領域５１０と第２領域５２０は共に位置が可変であり、形状と大きさは固定である。全体画像５００のうち第１領域５１０に含まれる部分が第１画像であり、全体画像５００のうち第２領域５２０に含まれる部分が第２画像である。第１画像は第１ディスプレイ（外部ディスプレイ３１０）に表示され、第２画像は第２ディスプレイ（ディスプレイ１１０）に表示される。第１領域５１０の位置は、第２領域５２０の位置と一致するとは限らない。そのため第１ディスプレイに表示される第１画像と第２ディスプレイに表示される第２画像が異なることがある。 As described above, the first area 510 and the second area 520 are set by the CPU 101 in the entire image 500. Both the first region 510 and the second region 520 are variable in position, and the shape and size are fixed. A portion included in the first region 510 of the entire image 500 is the first image, and a portion included in the second region 520 of the entire image 500 is the second image. The first image is displayed on the first display (external display 310), and the second image is displayed on the second display (display 110). The position of the first area 510 does not necessarily match the position of the second area 520. Therefore, the first image displayed on the first display may be different from the second image displayed on the second display.
　本実施形態では、ＣＰＵ　１０１は、サッカーゲームにおけるサッカーボールの位置が第１領域５１０の中心位置になるように第１領域５１０を設定する。ゲームの進行に応じてサッカーボールの位置が変化するので、第１ディスプレイには、サッカーボールを常に追いかけるようなカメラワークで、ゲーム画像が表示される。一方、ＣＰＵ　１０１は、カメラ１１３によって撮影された画像（撮影画像）に応じて、第２領域５２０の位置を変化させる。したがって、第２ディスプレイに表示される第２画像の表示範囲となる第２領域５２０の中心位置は、第１領域５１０の中心位置と一致するとは限らず、第１領域５１０に含まれない部分が第２領域５２０に含まれることがある。言い換えれば、全体画像５００のうち第１ディスプレイに表示されず第２ディスプレイに表示される部分が存在することがある。第２領域５２０の位置を変化させる処理の詳細については後述する。 In this embodiment, the CPU 101 sets the first area 510 so that the position of the soccer ball in the soccer game is the center position of the first area 510. Since the position of the soccer ball changes with the progress of the game, the game image is displayed on the first display with camera work that always follows the soccer ball. On the other hand, the CPU 101 changes the position of the second region 520 in accordance with an image (captured image) captured by the camera 113. Therefore, the center position of the second area 520 that is the display range of the second image displayed on the second display does not necessarily match the center position of the first area 510, and a portion that is not included in the first area 510 is included. It may be included in the second region 520. In other words, there may be a portion of the entire image 500 that is not displayed on the first display but displayed on the second display. Details of the process of changing the position of the second region 520 will be described later.
　撮影部４０５は、ディスプレイ１１０（第２ディスプレイ）の背面方向を撮影する。なお、ディスプレイ１１０と第１タッチパネル１０５が配置されている面が画像処理装置４００のオモテ（正面）であり、第２タッチパネル１０６が配置されている面が画像処理装置４００のウラ（背面）である。ＣＰＵ　１０１とカメラ１１３が協働して撮影部４０５として機能する。 The photographing unit 405 photographs the back direction of the display 110 (second display). The surface on which the display 110 and the first touch panel 105 are arranged is the front (front) of the image processing apparatus 400, and the surface on which the second touch panel 106 is arranged is the back (back) of the image processing apparatus 400. . The CPU 101 and the camera 113 cooperate to function as the photographing unit 405.
　カメラ１１３のレンズは、第２タッチパネル１０６が配置されている側、すなわち画像処理装置４００の背面側に固定されている。プレイヤーが画像処理装置４００の背面を被写体に向けると、背面に配置されたレンズが被写体に向くことになるので、プレイヤーは、画像処理装置４００を一般的なデジタルカメラのように構えて被写体を撮影することが可能である。 The lens of the camera 113 is fixed to the side where the second touch panel 106 is arranged, that is, the back side of the image processing apparatus 400. When the player faces the back of the image processing apparatus 400 toward the subject, the lens disposed on the back faces the subject, so the player holds the image processing apparatus 400 like a general digital camera and shoots the subject. Is possible.
　図６に、カメラ１１３によって撮影された撮影画像６００の例を示す。ＣＰＵ　１０１は、カメラ１１３を制御して、リアルタイムで動画撮影する。本図の撮影画像６００では、外部ディスプレイ３１０がほぼ中央に収まっている。画像処理装置４００は、ゲームの実行中ではゲーム画像（サッカーゲームにおいては、サッカーゲームの様子を表す画像）をディスプレイ１１０に表示し、ゲームの実行と並行して動画撮影する。動画撮影で得られた映像は、ディスプレイ１１０等には表示されないが、後述するように全体画像５００中の第２領域５２０の位置を決定するために用いられる。 FIG. 6 shows an example of a photographed image 600 photographed by the camera 113. The CPU 101 controls the camera 113 to shoot a moving image in real time. In the photographed image 600 of this figure, the external display 310 is approximately in the center. The image processing apparatus 400 displays a game image (an image representing a state of a soccer game in a soccer game) on the display 110 during the execution of the game, and shoots a moving image in parallel with the execution of the game. The video obtained by moving image shooting is not displayed on the display 110 or the like, but is used to determine the position of the second region 520 in the entire image 500 as described later.
　推定部４０６は、撮影部４０５により撮影された撮影画像に基づいて、第１ディスプレイ（ディスプレイ１１０）に対する第２ディスプレイ（外部ディスプレイ３１０）の相対的な位置を推定する。ＣＰＵ　１０１と画像処理部１０９が協働して、推定部４０６として機能する。 The estimation unit 406 estimates the relative position of the second display (external display 310) with respect to the first display (display 110) based on the captured image captured by the capturing unit 405. The CPU 101 and the image processing unit 109 cooperate to function as the estimation unit 406.
　決定部４０７は、全体画像５００内における第１領域５１０の位置を決定する。例えば、決定部４０７は、上述したように、サッカーゲームにおけるサッカーボールの位置が第１領域５１０の中心位置になるように第１領域５１０の位置を決定する。また、決定部４０７は、第１領域５１０の位置と、推定部４０６により推定された、第１ディスプレイに対する第２ディスプレイの相対的な位置とに基づいて、全体画像５００内における第２領域５２０の位置を決定する。ＣＰＵ　１０１と画像処理部１０９が協働して、決定部４０７として機能する。 The determination unit 407 determines the position of the first region 510 in the entire image 500. For example, as described above, the determination unit 407 determines the position of the first region 510 so that the position of the soccer ball in the soccer game becomes the center position of the first region 510. In addition, the determination unit 407 determines the second region 520 in the entire image 500 based on the position of the first region 510 and the relative position of the second display with respect to the first display estimated by the estimation unit 406. Determine the position. The CPU 101 and the image processing unit 109 work together to function as the determination unit 407.
　ここで、第１ディスプレイに対する第２ディスプレイの相対位置の推定と、推定結果に基づく第２領域５２０の位置の決定について、詳しく説明する。ＣＰＵ　１０１は、撮影画像６００のうち第１画像に対応する部分６５０を判別する。そして、ＣＰＵ　１０１は、第１画像に対応する部分６５０が全体画像５００のどこに相当するのかを判別する。 Here, the estimation of the relative position of the second display with respect to the first display and the determination of the position of the second region 520 based on the estimation result will be described in detail. The CPU 101 determines a portion 650 corresponding to the first image in the captured image 600. Then, the CPU 101 determines where in the entire image 500 the portion 650 corresponding to the first image corresponds.
　ＣＰＵ　１０１は、撮影画像６００のうち第１画像に対応する部分６５０と、全体画像５００と、をパターンマッチングすることにより、全体画像５００中における、第１画像に対応する部分６５０の位置を判別する。すなわち、全体画像５００のうちカメラ１１３によって撮影されている部分が判別される。そして、ＣＰＵ　１０１は、判別結果から、第１ディスプレイに対する第２ディスプレイの相対位置を推定する。 The CPU 101 discriminates the position of the portion 650 corresponding to the first image in the whole image 500 by performing pattern matching between the portion 650 corresponding to the first image in the captured image 600 and the whole image 500. . That is, the portion of the entire image 500 that is captured by the camera 113 is determined. Then, the CPU 101 estimates the relative position of the second display with respect to the first display from the determination result.
　例えば、ＣＰＵ　１０１は、全体画像５００の中に配置されている所定の注目オブジェクト（目印となるオブジェクト）の位置と、撮影画像６００のうち第１画像に対応する部分６５０の中に写り込んでいるオブジェクトの位置とをマッチングすることにより、第１ディスプレイに対する第２ディスプレイの相対位置を推定してもよい。注目オブジェクトは任意であり、典型的には、サッカーゲームにおける選手や審判を表すオブジェクト、サッカーボールを表すオブジェクトが用いられる。あるいは、サッカーコートに描かれているラインの位置や芝生の模様などが目印に用いられてもよい。 For example, the CPU 101 is reflected in the portion 650 corresponding to the first image of the captured image 600 and the position of a predetermined object of interest (a mark object) arranged in the entire image 500. The relative position of the second display relative to the first display may be estimated by matching the position of the object. The object of interest is arbitrary, and typically, an object representing a player or a referee in a soccer game or an object representing a soccer ball is used. Alternatively, the position of a line drawn on a soccer court, a grass pattern, or the like may be used as a mark.
　あるいは、ＣＰＵ　１０１は、撮影画像６００のうち第１画像に対応する部分６５０の位置と形状に基づいて、第１ディスプレイに対する第２ディスプレイの相対位置を推定してもよい。例えば、図６の撮影画像６００では、第１ディスプレイの全体が撮影画像６００のほぼ中央に映っており、第１画像に対応する部分６５０の形状が歪んでおらずほぼ長方形である。ＣＰＵ　１０１は、図７に示すように、第２ディスプレイが第１ディスプレイの正面に平行に配置されている、言い換えれば、第２ディスプレイの背面が第１ディスプレイに正対している、と推定してもよい。 Alternatively, the CPU 101 may estimate the relative position of the second display with respect to the first display based on the position and shape of the portion 650 corresponding to the first image in the captured image 600. For example, in the captured image 600 of FIG. 6, the entire first display is shown in the approximate center of the captured image 600, and the shape of the portion 650 corresponding to the first image is not distorted and is substantially rectangular. As shown in FIG. 7, the CPU 101 estimates that the second display is arranged in parallel to the front of the first display, in other words, that the back of the second display is directly facing the first display. Also good.
　さらに、ＣＰＵ　１０１は、図７に示すように、第１画像７１０に所定の基準マーク７５０（図７では７５０Ａ，７５０Ｂ，７５０Ｃ，７５０Ｄの４つ）を重畳した画像を第１ディスプレイに表示し、撮影画像６００の中の基準マーク７５０の配置に基づいて、第１ディスプレイに対する第２ディスプレイの相対位置を推定してもよい。 Further, as shown in FIG. 7, the CPU 101 displays an image in which predetermined reference marks 750 (four of 750A, 750B, 750C, and 750D in FIG. 7) are superimposed on the first image 710 on the first display, Based on the arrangement of the reference marks 750 in the captured image 600, the relative position of the second display with respect to the first display may be estimated.
　より詳細には、ＣＰＵ　１０１は、撮影画像６００の中に４つの基準マーク７５０Ａ～７５０Ｄのすべてが含まれている場合には、第２ディスプレイの正面に第１ディスプレイが配置されていると推定する。一方、ＣＰＵ　１０１は、撮影画像６００の中に４つの基準マーク７５０Ａ～７５０Ｄのうちいずれか１つ以上が含まれていない場合には、撮影画像６００の中に含まれている基準マークの分布に基づいて、第１ディスプレイに対する第２ディスプレイの相対位置を推定する。そして、ＣＰＵ　１０１は、推定結果に基づいて、第２領域５２０の位置を決定する。 More specifically, when all four reference marks 750A to 750D are included in the captured image 600, the CPU 101 estimates that the first display is arranged in front of the second display. . On the other hand, when any one or more of the four reference marks 750A to 750D is not included in the captured image 600, the CPU 101 determines the distribution of the reference marks included in the captured image 600. Based on this, the relative position of the second display with respect to the first display is estimated. Then, the CPU 101 determines the position of the second area 520 based on the estimation result.
　例えば図８に示すように、撮影画像８００の中に、各コーナーに配置された４つの基準マーク７５０Ａ～７５０Ｄのうち右側の２つの基準マーク７５０Ｃ，７５０Ｄだけが含まれている場合、ＣＰＵ　１０１は、第２ディスプレイが第１ディスプレイに正対しておらず、図９に示すように第２ディスプレイが第１ディスプレイよりも相対的に右側に偏っている、と推定する。つまり、画像処理装置４００のプレイヤーが画像処理装置４００の背面を第１ディスプレイの右寄りに向けており、全体画像５００のうち第１画像よりも右側を見たいと思っている、と推定される。 For example, as shown in FIG. 8, when the photographed image 800 includes only the two right reference marks 750C and 750D among the four reference marks 750A to 750D arranged at each corner, the CPU 101 It is estimated that the second display is not directly facing the first display, and the second display is biased relatively to the right side of the first display as shown in FIG. That is, it is estimated that the player of the image processing apparatus 400 has the back of the image processing apparatus 400 facing the right side of the first display and wants to see the right side of the entire image 500 from the first image.
　そして、ＣＰＵ　１０１は、図１０に示すように、全体画像５００における第２領域５２０を、第２ディスプレイが第１ディスプレイよりも偏っている方向、つまり第１領域５１０よりも右側へ（Ｘ軸の正の向きへ）、移動量ΔＬだけ移動する。その結果、例えば図１０においては、第２領域５２０は第１領域５１０の外へはみ出す。はみ出た部分１０００は第２ディスプレイに表示されるが第１ディスプレイには表示されない。 Then, as shown in FIG. 10, the CPU 101 moves the second area 520 in the entire image 500 to the direction in which the second display is biased from the first display, that is, to the right side of the first area 510 (X-axis Move in the positive direction) by the movement amount ΔL. As a result, for example, in FIG. 10, the second region 520 protrudes outside the first region 510. The protruding part 1000 is displayed on the second display but not on the first display.
　第２領域５２０の移動量ΔＬの大きさは任意である。例えば、ＣＰＵ　１０１は、撮影画像８００における基準マーク７５０の位置が、第２ディスプレイが第１ディスプレイの正面にあると仮定したときにおける基準マーク７５０の位置よりも、どの程度ずれているかに基づいて、移動量ΔＬを決定してもよい。ＣＰＵ　１０１は、この基準マーク７５０の位置のずれが大きいほど、移動量ΔＬを大きくしてもよい。 The amount of movement ΔL of the second region 520 is arbitrary. For example, the CPU 101 determines based on how much the position of the reference mark 750 in the captured image 800 is deviated from the position of the reference mark 750 when the second display is assumed to be in front of the first display. The movement amount ΔL may be determined. The CPU 101 may increase the movement amount ΔL as the positional deviation of the reference mark 750 increases.
　図８～１０では、第２ディスプレイが第１ディスプレイよりも右側にずれているケースについて説明されている。同様に、左側、上側、下側にずれているケースにおいても、ＣＰＵ　１０１は、同様の処理によって第２領域５２０の位置を左側、上側、もしくは下側に移動する。 8 to 10 illustrate a case where the second display is shifted to the right side of the first display. Similarly, in a case where the position is shifted to the left side, upper side, or lower side, the CPU 101 moves the position of the second area 520 to the left side, upper side, or lower side by the same processing.
　例えば図１１に示すように、撮影画像１１００の中に４つの基準マーク７５０Ａ～７５０Ｄのすべてが含まれているものの、これらが右上方へ偏っている場合、ＣＰＵ　１０１は、図１２に示すように、第２ディスプレイが第１ディスプレイよりも相対的に左下側にあると推定する。つまり、画像処理装置４００のプレイヤーが画像処理装置４００の背面を第１ディスプレイの左下寄りに向けており、全体画像５００のうち第１画像よりも左下側を見たいと思っている、と推定される。 For example, as shown in FIG. 11, when all four reference marks 750A to 750D are included in the photographed image 1100, but these are biased to the upper right, the CPU 101, as shown in FIG. The second display is estimated to be relatively lower left than the first display. That is, it is estimated that the player of the image processing apparatus 400 has the back of the image processing apparatus 400 facing the lower left side of the first display and wants to see the lower left side of the entire image 500 from the first image. The
　ＣＰＵ　１０１は、図１３に示すように、全体画像５００における第２領域５２０を、第１領域５１０よりも左下側へ（Ｘ軸の負の向き且つＹ軸の正の向きへ）移動する。例えばＣＰＵ　１０１は、第２ディスプレイが第１ディスプレイの真正面にある場合に検出されるべき基準マークの位置１１５０Ａ～１１５０Ｄと、撮影画像１１００内の基準マーク７５０Ａ～７５０Ｄの位置と、のＸ成分の差異が大きいほど、移動量のＸ成分ΔＬＸを大きくする。同様に、ＣＰＵ　１０１は、第２ディスプレイが第１ディスプレイの真正面にある場合に検出されるべき基準マークの位置１１５０Ａ～１１５０Ｄと、撮影画像１１００内の基準マーク７５０Ａ～７５０Ｄの位置と、のＹ成分の差異が大きいほど、移動量のＹ成分ΔＬＹを大きくする。 As shown in FIG. 13, the CPU 101 moves the second area 520 in the entire image 500 to the lower left side of the first area 510 (in the negative direction of the X axis and the positive direction of the Y axis). For example, the CPU 101 determines the difference in the X component between the reference mark positions 1150A to 1150D to be detected when the second display is directly in front of the first display and the positions of the reference marks 750A to 750D in the captured image 1100. Is larger, the X component ΔLX of the movement amount is increased. Similarly, the CPU 101 uses the Y component of the reference mark positions 1150A to 1150D to be detected when the second display is directly in front of the first display and the positions of the reference marks 750A to 750D in the captured image 1100. The larger the difference is, the larger the Y component ΔLY of the movement amount is.
　なお、撮影画像８００の中に、各コーナーに配置された４つの基準マーク７５０Ａ～７５０Ｄのすべてが含まれていない場合には、ＣＰＵ　１０１は、第２領域５２０の中心位置を第１領域５１０の中心位置と一致させる。つまり、基準マーク７５０が一つも入らないようなアングルで撮影されている場合には、ＣＰＵ　１０１は、プレイヤーが第１ディスプレイを閲覧しない（閲覧できない）と判断し、第１領域５１０の中に第２領域５２０のすべてが含まれるようにする。もし、第１領域５１０と第２領域５２０の大きさと形状が共に同じであれば、第１ディスプレイと同じゲーム画像が第２ディスプレイにも表示されることになる。 If the captured image 800 does not include all the four reference marks 750A to 750D arranged at each corner, the CPU 101 sets the center position of the second area 520 to the first area 510. Match with the center position. That is, when the image is shot at an angle that does not include any fiducial mark 750, the CPU 101 determines that the player does not view (cannot view) the first display, and the first area 510 contains the first mark. All of the two areas 520 are included. If the size and shape of both the first area 510 and the second area 520 are the same, the same game image as the first display is displayed on the second display.
　次に、画像処理装置４００が行う画像処理について、図１４のフローチャートを用いて説明する。ここでは、仮想空間内におけるサッカーゲームが画像処理装置４００によって実行されるものとして説明する。１人のプレイヤーが画像処理装置４００を用いてＮＰＣ（Non Player Character）を相手にサッカーゲームをプレイする。プレイヤーは、第１ディスプレイに表示される第１画像を見ることができるし、手元の第２ディスプレイに表示される第２画像を見ることもできる。ゲームのプレイヤー以外の他の観戦者は、通常、第１ディスプレイに表示される第１画像を見ることになる。また、サッカーゲームが行われている間、画像処理装置４００は、ゲーム処理と並行して、カメラ１１３を制御して画像処理装置４００の背面側を撮影する。 Next, image processing performed by the image processing apparatus 400 will be described with reference to the flowchart of FIG. Here, a description will be given assuming that a soccer game in the virtual space is executed by the image processing apparatus 400. One player uses the image processing apparatus 400 to play a soccer game against an NPC (Non Player Character). The player can see the first image displayed on the first display, and can also see the second image displayed on the second display at hand. A spectator other than the game player usually sees the first image displayed on the first display. Further, while the soccer game is being performed, the image processing apparatus 400 controls the camera 113 to photograph the back side of the image processing apparatus 400 in parallel with the game processing.
　ゲームを開始すると、ＣＰＵ　１０１は、全体画像５００内の初期位置に第１領域５１０を設定する（ステップＳ１４０１）。第１領域５１０の初期位置は、例えば全体画像５００の中心位置や、注目オブジェクトの位置である。注目オブジェクトは、例えばサッカーボールを表すオブジェクトである。 When the game is started, the CPU 101 sets the first area 510 at the initial position in the entire image 500 (step S1401). The initial position of the first area 510 is, for example, the center position of the entire image 500 or the position of the object of interest. An attention object is an object showing a soccer ball, for example.
　ＣＰＵ　１０１は、全体画像５００内の初期位置に第２領域５２０を設定する（ステップＳ１４０２）。本実施形態では、第２領域５２０の初期位置は、第１領域５１０の中心位置と同じである。つまり、初期状態では、第１ディスプレイと第２ディスプレイには、同じ位置を中心とした画像が表示される。 The CPU 101 sets the second area 520 at the initial position in the entire image 500 (step S1402). In the present embodiment, the initial position of the second area 520 is the same as the center position of the first area 510. That is, in the initial state, an image centered on the same position is displayed on the first display and the second display.
　ＣＰＵ　１０１は、全体画像５００から第１領域５１０に含まれる第１画像を抽出し、全体画像５００から第２領域５２０に含まれる第２画像を抽出する（ステップＳ１４０３）。 The CPU 101 extracts the first image included in the first area 510 from the entire image 500, and extracts the second image included in the second area 520 from the entire image 500 (step S1403).
　ＣＰＵ　１０１は、抽出した第１画像を第１ディスプレイに表示し、抽出した第２画像を第２ディスプレイに表示する（ステップＳ１４０４）。第１ディスプレイには、第１画像に上述の基準マーク７５０を重畳した画像が表示される。 The CPU 101 displays the extracted first image on the first display, and displays the extracted second image on the second display (step S1404). An image obtained by superimposing the above-described reference mark 750 on the first image is displayed on the first display.
　ＣＰＵ　１０１は、注目オブジェクトの位置の変化に応じて、全体画像５００内における第１領域５１０の位置を変化させる（ステップＳ１４０５）。例えば、サッカーボールを注目オブジェクトとするとき、第１ディスプレイには、サッカーボールを常に追いかけるようなゲーム画面が表示される。 The CPU 101 changes the position of the first area 510 in the entire image 500 according to the change in the position of the object of interest (step S1405). For example, when a soccer ball is an object of interest, a game screen that always follows the soccer ball is displayed on the first display.
　ＣＰＵ　１０１は、カメラ１１３によって撮影された撮影画像の中に基準マーク７５０が含まれているか否かを判別する（ステップＳ１４０６）。 The CPU 101 determines whether or not the reference mark 750 is included in the captured image captured by the camera 113 (step S1406).
　撮影画像の中に基準マーク７５０が含まれていないと判別した場合（ステップＳ１４０６；ＮＯ）、ＣＰＵ　１０１は、ステップＳ１４０２に戻り、第２領域５２０を初期位置（第１領域５１０の中心位置）に設定する。つまり、画像処理装置４００のカメラ１１３によって第１ディスプレイが撮影されていない場合には、第２ディスプレイには第１ディスプレイと同じゲーム画像が表示される。 When it is determined that the reference mark 750 is not included in the captured image (step S1406; NO), the CPU 101 returns to step S1402 and sets the second area 520 to the initial position (the center position of the first area 510). Set. That is, when the first display is not photographed by the camera 113 of the image processing apparatus 400, the same game image as the first display is displayed on the second display.
　一方、撮影画像の中に基準マーク７５０が含まれていると判別した場合（ステップＳ１４０６；ＹＥＳ）、ＣＰＵ　１０１は、撮影画像を解析し、撮影画像に含まれる基準マーク７５０の位置に基づいて、第１ディスプレイに対する第２ディスプレイの相対位置を推定する（ステップＳ１４０７）。つまり、画像処理装置４００によって第１ディスプレイの全部又は一部が撮影されている場合には、第１ディスプレイに対する第２ディスプレイの相対位置が推定される。 On the other hand, when it is determined that the reference mark 750 is included in the captured image (step S1406; YES), the CPU 101 analyzes the captured image, and based on the position of the reference mark 750 included in the captured image, The relative position of the second display with respect to the first display is estimated (step S1407). That is, when all or part of the first display is captured by the image processing apparatus 400, the relative position of the second display with respect to the first display is estimated.
　ＣＰＵ　１０１は、ステップＳ１４０７で推定された第１ディスプレイに対する第２ディスプレイの相対位置の変化に応じて、全体画像５００内における第２領域５２０の位置を変化させる（ステップＳ１４０８）。例えば、第２ディスプレイが第１ディスプレイの左側に偏って配置されていると推定されれば、第２領域５２０も左寄りに移動し、第２ディスプレイには第１画像よりも左側であって第１ディスプレイには映っていない“続きの部分”も表示される。あるいは、第２ディスプレイが第１ディスプレイの右側に偏って配置されていると推定されれば、第２領域５２０も右寄りに移動し、第２ディスプレイには第１画像よりも右側であって第１ディスプレイには映っていない“続きの部分”も表示される。 The CPU 101 changes the position of the second region 520 in the entire image 500 in accordance with the change in the relative position of the second display with respect to the first display estimated in step S1407 (step S1408). For example, if it is estimated that the second display is arranged to be biased to the left side of the first display, the second area 520 also moves to the left, and the second display is on the left side of the first image and the first display. “Continued parts” that are not shown on the display are also displayed. Alternatively, if the second display is presumed to be biased to the right side of the first display, the second area 520 also moves to the right, and the second display is on the right side of the first image and the first display. “Continued parts” that are not shown on the display are also displayed.
　ＣＰＵ　１０１は、ゲームを終了するか否かを判別する（ステップＳ１４０９）。例えば、サッカーゲームにおいて、規定のゲーム時間が終了した場合や、プレイヤーからゲームを終了する旨の指示が入力された場合に、ＣＰＵ　１０１はゲームを終了すると判別する。 The CPU 101 determines whether or not to end the game (step S1409). For example, in a soccer game, the CPU 101 determines that the game is to be ended when a predetermined game time is ended or an instruction to end the game is input from the player.
　ゲームを終了しないと判別した場合（ステップＳ１４０９；ＮＯ）、ＣＰＵ　１０１は、ステップＳ１４０２～Ｓ１４０９の処理を繰り返す。ゲームを終了すると判別した場合（ステップＳ１４０９；ＹＥＳ）、ＣＰＵ　１０１は、画像処理を終了する。 When it is determined that the game is not finished (step S1409; NO), the CPU 101 repeats the processes of steps S1402 to S1409. When it is determined that the game is to be ended (step S1409; YES), the CPU 101 ends the image processing.
　例えば、ＮＰＣを相手に１人のプレイヤーがゲームをプレイしており、そのゲームの様子を観戦者が第１ディスプレイで観戦する状況において、観戦者は、まるでテレビ中継を大勢で一緒に見るかのように、プレイヤーのプレイを邪魔することなく第１ディスプレイでゲームを観戦できる。また、プレイヤーは、観戦者に邪魔されることなく第１ディスプレイと第２ディスプレイを見ながらゲームをプレイできる。プレイヤーは、注目オブジェクト（例えばサッカーボール）を中心としたゲーム画像を見たいときには、第１ディスプレイを見ればよいし、第１ディスプレイに映っていない周囲を見たいときには、続きを見たい向きに画像処理装置４００を向けながら第２ディスプレイを見ればよい。 For example, in a situation where one player is playing a game against an NPC and the spectator watches the state of the game on the first display, the spectators can watch a lot of TV broadcasts together. Thus, the game can be watched on the first display without disturbing the player's play. The player can play the game while watching the first display and the second display without being disturbed by the spectators. When a player wants to see a game image centered on an object of interest (for example, a soccer ball), he / she only needs to look at the first display. The second display may be viewed while pointing the processing device 400.
　例えば、サッカーゲームにおいて、プレイヤーは、パスをどの方向へ繋げればよいかを考えるとき、画像処理装置４００の向きを変えて第２ディスプレイを見れば、第１ディスプレイに映っていない周囲を見ることができる。第２ディスプレイはプレイヤーの手元にあるので、観戦者が第１ディスプレイでなく第２ディスプレイを見ることは容易ではない。そのため、プレイヤーが何を考えているのか、プレイヤーがどの向きにパスを通そうと考えているのかが、観戦者には分からない。このように、本実施形態によれば、複数のプレイヤーが１つのゲーム画面を共有しつつ、プレイヤーの意向に添ったゲーム画面も閲覧できるようになる。 For example, in a soccer game, when a player considers in which direction a pass should be connected, if the orientation of the image processing device 400 is changed and the second display is viewed, the player sees surroundings not reflected on the first display. Can do. Since the second display is at hand of the player, it is not easy for the spectator to see the second display instead of the first display. Therefore, the spectator does not know what the player thinks about and in what direction the player thinks to pass. Thus, according to the present embodiment, a plurality of players can view a game screen according to the player's intention while sharing one game screen.
（実施形態２）
　次に、本発明のその他の実施形態について説明する。本実施形態では、複数のプレイヤーが同じゲームに参加できる。そして、各プレイヤーが互いに異なった第２画像を見ることができる。 (Embodiment 2)
Next, other embodiments of the present invention will be described. In this embodiment, a plurality of players can participate in the same game. Then, each player can see different second images.
　図１５は、本実施形態の画像処理システム１５００の構成を示す図である。画像処理システム１５００には、第１の画像処理装置１５１０と、第１の画像処理装置１５１０に接続された第１ディスプレイ１５３０と、複数の第２の画像処理装置１５２０（本図では、１５２０Ａ，１５２０Ｂの２つ）と、が含まれる。ゲームシステム１５００に含まれる第２の画像処理装置１５２０の数は２つでなくてもよく、３つ以上でもよい。プレイヤー１人につき、第２の画像処理装置１５２０が１台ずつ割り当てられる。 FIG. 15 is a diagram illustrating a configuration of an image processing system 1500 according to the present embodiment. The image processing system 1500 includes a first image processing device 1510, a first display 1530 connected to the first image processing device 1510, and a plurality of second image processing devices 1520 (in this figure, 1520A and 1520B). Two). The number of second image processing devices 1520 included in the game system 1500 may not be two, but may be three or more. One second image processing device 1520 is assigned to each player.
　第１の画像処理装置１５１０は、各プレイヤーからの指示入力を第２の画像処理装置１５２０Ａ，１５２０Ｂから受信し、仮想空間内におけるゲームを実行し、ゲームの進捗状況などを第２の画像処理装置１５２０Ａ，１５２０Ｂへ送信する。また、第１の画像処理装置１５１０は、全体画像５００を生成し、第１画像を第１ディスプレイ１５３０に表示する。さらに、第１の画像処理装置１５１０は、第２の画像処理装置１５２０Ａ，１５２０Ｂのそれぞれへ送信する第２画像を生成し、生成した各第２画像を第２の画像処理装置１５２０Ａ，１５２０Ｂへ送信する。送信された第２画像は第２の画像処理装置１５２０Ａ，１５２０Ｂが有する第２ディスプレイ１５２１Ａ，１５２１Ｂに表示される。 The first image processing device 1510 receives instruction inputs from the respective players from the second image processing devices 1520A and 1520B, executes the game in the virtual space, and displays the progress of the game in the second image processing device. Transmit to 1520A, 1520B. In addition, the first image processing device 1510 generates the entire image 500 and displays the first image on the first display 1530. Further, the first image processing device 1510 generates a second image to be transmitted to each of the second image processing devices 1520A and 1520B, and transmits each generated second image to the second image processing devices 1520A and 1520B. To do. The transmitted second image is displayed on the second displays 1521A and 1521B of the second image processing devices 1520A and 1520B.
　図１６は、第１の画像処理装置１５１０のハードウェア構成を示す図である。第１の画像処理装置１５１０は、制御部１６０１、記憶部１６０２、表示部１６０３、通信部１６０４を備える。 FIG. 16 is a diagram illustrating a hardware configuration of the first image processing apparatus 1510. The first image processing apparatus 1510 includes a control unit 1601, a storage unit 1602, a display unit 1603, and a communication unit 1604.
　制御部１６０１は、ＣＰＵや画像演算プロセッサーなどから構成され、第１の画像処理装置１５１０の全体を制御する。制御部１６０１は、第２の画像処理装置１５２０Ａ，１５２０Ｂから送信された指示入力に基づいてゲームを進行させる処理（ゲーム処理）を実行する。また、制御部１６０１は、全体画像５００から第１領域５１０内の第１画像を抽出し、全体画像５００から第２領域５２０内の第２画像を抽出する。 The control unit 1601 includes a CPU, an image arithmetic processor, and the like, and controls the entire first image processing apparatus 1510. The control unit 1601 executes a process (game process) for advancing the game based on the instruction input transmitted from the second image processing apparatuses 1520A and 1520B. In addition, the control unit 1601 extracts the first image in the first area 510 from the entire image 500 and extracts the second image in the second area 520 from the entire image 500.
　記憶部１６０２には、ＲＯＭ、ＲＡＭ、ハードディスクなどから構成され、ゲームの進捗状況やキャラクターの属性パラメーターなどといったゲームデータのほか、全体画像５００、第１画像５１０、第２画像５２０が記憶される。 The storage unit 1602 includes a ROM, a RAM, a hard disk, and the like, and stores the entire image 500, the first image 510, and the second image 520, in addition to game data such as game progress and character attribute parameters.
　表示部１６０３は、第１画像に基準マークを重畳した画像を第１ディスプレイ１５３０に表示する。 The display unit 1603 displays an image in which the reference mark is superimposed on the first image on the first display 1530.
　通信部１６０４は、第２の画像処理装置１５２０Ａ，１５２０Ｂと通信する。通信部１６０４は、第２の画像処理装置１５２０Ａからプレイヤーによる指示入力や撮影画像（もしくは第１ディスプレイ１５３０に対する第２ディスプレイ１５２１Ａの相対位置を示すデータ）を受信し、第２の画像処理装置１５２０Ａ用に生成した第２画像を第２の画像処理装置１５２０Ａに送信する。同様に、通信部１６０４は、第２の画像処理装置１５２０Ｂからプレイヤーによる指示入力や撮影画像（もしくは第１ディスプレイ１５３０に対する第２ディスプレイ１５２１Ｂの相対位置を示すデータ）を受信し、第２の画像処理装置１５２０Ｂ用に生成した第２画像を第２の画像処理装置１５２０Ｂに送信する。 The communication unit 1604 communicates with the second image processing apparatuses 1520A and 1520B. The communication unit 1604 receives an instruction input from the player and a captured image (or data indicating the relative position of the second display 1521A with respect to the first display 1530) from the second image processing apparatus 1520A, and is used for the second image processing apparatus 1520A. The generated second image is transmitted to the second image processing device 1520A. Similarly, the communication unit 1604 receives an instruction input by the player and a photographed image (or data indicating the relative position of the second display 1521B with respect to the first display 1530) from the second image processing device 1520B, and performs second image processing. The second image generated for the device 1520B is transmitted to the second image processing device 1520B.
　これらの構成を有する第１の画像処理装置１５１０は、いわゆるゲームサーバーの役割を果たす。本実施形態では、第１の画像処理装置１５１０は２つの第２の画像処理装置１５２０Ａ，１５２０Ｂと並行して通信するが、３つ以上の第２の画像処理装置１５２０と並行して通信してもよい。 The first image processing apparatus 1510 having these configurations serves as a so-called game server. In this embodiment, the first image processing device 1510 communicates in parallel with the two second image processing devices 1520A and 1520B, but communicates in parallel with three or more second image processing devices 1520. Also good.
　なお、第２の画像処理装置１５２０Ａ，１５２０Ｂのハードウェア構成については、実施形態１に記載した画像処理装置４００と同一であるので、詳しい説明は省略する。 Note that the hardware configuration of the second image processing apparatuses 1520A and 1520B is the same as that of the image processing apparatus 400 described in the first embodiment, and thus detailed description thereof is omitted.
　次に、画像処理システム１５００の機能的な構成について、図１７を用いて説明する。第１の画像処理装置１５１０は、抽出部１７０１、第１表示部１７０２、画像送信部１７０３、決定部１７０８を備える。第２の画像処理装置１５２０のそれぞれは、画像受信部１７０４、第２表示部１７０５、撮影部１７０６、推定部１７０７を備える。なお、説明の簡略化のため、本図には第１の画像処理装置１５１０が１つしか記載されていないが、本実施形態の画像処理システム１５００には、複数の第１の画像処理装置１５１０が含まれている。 Next, a functional configuration of the image processing system 1500 will be described with reference to FIG. The first image processing apparatus 1510 includes an extraction unit 1701, a first display unit 1702, an image transmission unit 1703, and a determination unit 1708. Each of the second image processing devices 1520 includes an image receiving unit 1704, a second display unit 1705, a photographing unit 1706, and an estimating unit 1707. For simplification of description, only one first image processing apparatus 1510 is shown in the figure, but the image processing system 1500 according to the present embodiment includes a plurality of first image processing apparatuses 1510. It is included.
　抽出部１７０１は、全体画像５００内の第１領域５１０を第１画像として抽出し、第２の画像処理装置１５２０ごとに、全体画像５００内の第２領域５２０を第２画像として抽出する。抽出部１７０１は、第２の画像処理装置１５２０ごとに、後述する決定部１７０８により決定された第２領域５２０の位置に基づいて、全体画像５００内の第２領域５２０を第２画像として抽出する。制御部１６０１が抽出部１７０１として機能する。 The extraction unit 1701 extracts the first area 510 in the entire image 500 as a first image, and extracts the second area 520 in the entire image 500 as a second image for each second image processing device 1520. The extraction unit 1701 extracts, for each second image processing device 1520, the second region 520 in the entire image 500 as the second image based on the position of the second region 520 determined by the determination unit 1708 described later. . The control unit 1601 functions as the extraction unit 1701.
　第１表示部１７０２は、抽出部１７０１により抽出された第１画像を第１ディスプレイに表示する。制御部１６０１と表示部１６０３が協働して、第１表示部１７０２として機能する。 The first display unit 1702 displays the first image extracted by the extraction unit 1701 on the first display. The control unit 1601 and the display unit 1603 cooperate to function as the first display unit 1702.
　画像送信部１７０３は、抽出部１７０１により抽出された第２画像を、第２の画像処理装置１５２０のそれぞれに送信する。制御部１６０１と通信部１６０４が協働して、画像送信部１７０３として機能する。 The image transmission unit 1703 transmits the second image extracted by the extraction unit 1701 to each of the second image processing devices 1520. The control unit 1601 and the communication unit 1604 cooperate to function as the image transmission unit 1703.
　画像受信部１７０４は、第２画像を第１の画像処理装置１５１０から受信する。ＣＰＵ　１０１とＮＩＣ　１１２が協働して、画像受信部１７０４として機能する。 The image receiving unit 1704 receives the second image from the first image processing device 1510. The CPU 101 and the NIC 112 cooperate to function as the image receiving unit 1704.
　第２表示部１７０５は、画像受信部１７０４が受信した第２画像を第２ディスプレイに表示する。ＣＰＵ　１０１と画像処理部１０９が協働して、第２表示部１７０５として機能する。 The second display unit 1705 displays the second image received by the image receiving unit 1704 on the second display. The CPU 101 and the image processing unit 109 cooperate to function as the second display unit 1705.
　撮影部１７０６は、第２ディスプレイの背面方向を撮影する。ＣＰＵ　１０１とカメラ１１３が協働して、撮影部１７０６として機能する。 The photographing unit 1706 photographs the back direction of the second display. The CPU 101 and the camera 113 work together to function as the photographing unit 1706.
　推定部１７０７は、撮影部１７０６により撮影された撮影画像に映っている第１画像に対応する部分に基づいて、第１ディスプレイに対する第２ディスプレイの相対的な位置を推定する。そして、推定部１７０７は、推定結果を第１の画像処理装置１５１０に送信する。ＣＰＵ　１０１とＮＩＣ　１１２が協働して、推定部１７０７として機能する。 The estimation unit 1707 estimates the relative position of the second display with respect to the first display based on the portion corresponding to the first image shown in the captured image captured by the imaging unit 1706. Then, the estimation unit 1707 transmits the estimation result to the first image processing apparatus 1510. The CPU 101 and the NIC 112 cooperate to function as the estimation unit 1707.
　決定部１７０８は、第２の画像処理装置１５２０のそれぞれについて、第１領域５１０の位置と、第２の画像処理装置１５２０から受信した推定結果とに基づいて、第２領域５２０の全体画像５００内における位置を決定する。すなわち、決定部１７０８は、第２の画像処理装置１５２０のそれぞれから推定結果を受信する。決定部１７０８は、第１領域５１０の全体画像５００内における位置と受信した推定結果とに基づいて、第２の画像処理装置１５２０ごとに、第２領域５２０の全体画像５００内における位置を決定する。制御部１６０１が決定部１７０８として機能する。 For each of the second image processing devices 1520, the determination unit 1708 is based on the position of the first region 510 and the estimation result received from the second image processing device 1520 in the entire image 500 of the second region 520. Determine the position at. That is, the determination unit 1708 receives the estimation result from each of the second image processing devices 1520. The determination unit 1708 determines the position of the second region 520 in the entire image 500 for each second image processing device 1520 based on the position of the first region 510 in the entire image 500 and the received estimation result. . The control unit 1601 functions as the determination unit 1708.
　次に、第１の画像処理装置１５１０と第２の画像処理装置１５２０が行う画像処理について、図１８のフローチャートを用いて説明する。第２の画像処理装置１５２０は１つだけでなく複数でもよいが、説明の簡略化のため、ここでは画像処理システム１５００に含まれる第２の画像処理装置１５２０は１つだけとする。 Next, image processing performed by the first image processing device 1510 and the second image processing device 1520 will be described with reference to the flowchart of FIG. The number of the second image processing device 1520 is not limited to one, but a plurality of second image processing devices 1520 may be provided. However, for simplification of explanation, only one second image processing device 1520 is included in the image processing system 1500 here.
　ゲームを開始すると、ＣＰＵ　１０１は、全体画像５００内の初期位置に第１領域５１０を設定する（ステップＳ１８０１）。 When the game is started, the CPU 101 sets the first area 510 at the initial position in the entire image 500 (step S1801).
　ＣＰＵ　１０１は、全体画像５００内の初期位置に第２領域５２０を設定する（ステップＳ１８０２）。本実施形態では、第２領域５２０の初期位置は、第１領域５１０の中心位置と同じ位置である。 The CPU 101 sets the second area 520 at the initial position in the entire image 500 (step S1802). In the present embodiment, the initial position of the second area 520 is the same position as the center position of the first area 510.
　ＣＰＵ　１０１は、全体画像５００から第１領域５１０に含まれる第１画像を抽出し、全体画像５００から第２領域５２０に含まれる第２画像を抽出する（ステップＳ１８０３）。 The CPU 101 extracts the first image included in the first area 510 from the entire image 500, and extracts the second image included in the second area 520 from the entire image 500 (step S1803).
　第１の画像処理装置１５１０のＣＰＵ　１０１は、抽出した第２画像を第２の画像処理装置１５２０に送信する（ステップＳ１８０４）。第２の画像処理装置１５２０の制御部１６０１は、第２の画像処理装置１５２０から第２の画像を受信する（ステップＳ１８０５）。 The CPU 101 of the first image processing apparatus 1510 transmits the extracted second image to the second image processing apparatus 1520 (step S1804). The control unit 1601 of the second image processing device 1520 receives the second image from the second image processing device 1520 (step S1805).
　ＣＰＵ　１０１は、抽出した第１画像を第１ディスプレイに表示する（ステップＳ１８０６）。ＣＰＵ　１０１は、第１画像に上述の基準マーク７５０を重畳した画像を、第１ディスプレイに表示する。 The CPU 101 displays the extracted first image on the first display (step S1806). The CPU 101 displays an image obtained by superimposing the above-described reference mark 750 on the first image on the first display.
　ＣＰＵ　１０１は、注目オブジェクトの位置の変化に応じて、全体画像５００内における第１領域５１０の位置を変化させる（ステップＳ１８０７）。 The CPU 101 changes the position of the first area 510 in the entire image 500 according to the change in the position of the object of interest (step S1807).
　一方、第２画像を受信した第２の画像処理装置１５２０の制御部１６０１は、受信した第２画像を第２ディスプレイに表示する（ステップＳ１８０８）。 On the other hand, the control unit 1601 of the second image processing apparatus 1520 that has received the second image displays the received second image on the second display (step S1808).
　制御部１６０１は、カメラ１１３によって撮影された撮影画像の中に基準マーク７５０が含まれているか否かを判別する（ステップＳ１８０９）。 The control unit 1601 determines whether or not the reference mark 750 is included in the captured image captured by the camera 113 (step S1809).
　撮影画像の中に基準マーク７５０が含まれていないと判別した場合（ステップＳ１８０９；ＮＯ）、制御部１６０１は、ステップＳ１８０２に戻り、第２領域５２０を初期位置（第１領域５１０の中心位置）に設定する。つまり、画像処理装置４００のカメラ１１３によって第１ディスプレイが全く撮影されていない場合には、第２ディスプレイには第１ディスプレイと同じゲーム画像が表示される。 When it is determined that the reference mark 750 is not included in the captured image (step S1809; NO), the control unit 1601 returns to step S1802 and sets the second area 520 to the initial position (the center position of the first area 510). Set to. That is, when the first display is not photographed at all by the camera 113 of the image processing apparatus 400, the same game image as the first display is displayed on the second display.
　一方、撮影画像の中に基準マーク７５０が含まれていると判別した場合（ステップＳ１８０９；ＹＥＳ）、制御部１６０１は、撮影画像を解析し、撮影画像に含まれる基準マーク７５０の位置に基づいて、第１ディスプレイに対する第２ディスプレイの相対位置を推定する（ステップＳ１８１０）。つまり、第２の画像処理装置１５２０によって第１ディスプレイの全部又は一部が撮影されている場合には、第１ディスプレイに対する第２ディスプレイの相対位置が推定される。 On the other hand, when it is determined that the reference mark 750 is included in the captured image (step S1809; YES), the control unit 1601 analyzes the captured image and based on the position of the reference mark 750 included in the captured image. Then, the relative position of the second display with respect to the first display is estimated (step S1810). That is, when all or part of the first display is photographed by the second image processing device 1520, the relative position of the second display with respect to the first display is estimated.
　具体的には、制御部１６０１は、図１９Ａに示す撮影画像１９００の中に含まれる基準マーク７５０Ａ～７５０Ｄの分布の偏りを解析する。制御部１６０１は、図１９Ｂに示すように、撮影画像の中から基準マーク７５０Ａ～７５０Ｄを抽出し、抽出した基準マーク７５０Ａ～７５０Ｄの重心１９２０と、撮影画像の中心１９１０とを求める。制御部１６０１は、重心１９２０から撮影画像の中心１９１０へと結ぶベクトル１９３０の長さが所定値以上の場合、基準マーク７５０Ａ～７５０Ｄの撮影画像内の分布に有意の偏りがあると判別する。制御部１６０１は、第１ディスプレイを基準に、第２ディスプレイがベクトル１９３０の示す分だけずれて配置されていると推定する。 Specifically, the control unit 1601 analyzes the distribution bias of the reference marks 750A to 750D included in the captured image 1900 shown in FIG. 19A. As illustrated in FIG. 19B, the control unit 1601 extracts the reference marks 750A to 750D from the captured image, and obtains the center of gravity 1920 of the extracted reference marks 750A to 750D and the center 1910 of the captured image. When the length of the vector 1930 connecting the center of gravity 1920 to the center 1910 of the captured image is equal to or greater than a predetermined value, the control unit 1601 determines that there is a significant bias in the distribution of the reference marks 750A to 750D in the captured image. The controller 1601 estimates that the second display is shifted by the amount indicated by the vector 1930 with respect to the first display.
　第２の画像処理装置１５２０の制御部１６０１は、ステップＳ１８１０での推定結果を第１の画像処理装置１５１０へ送信する（ステップＳ１８１１）。第１の画像処理装置１６０１のＣＰＵ　１０１は、推定結果を第２の画像処理装置１５２０から受信する（ステップＳ１８１２）。 The control unit 1601 of the second image processing device 1520 transmits the estimation result in step S1810 to the first image processing device 1510 (step S1811). The CPU 101 of the first image processing device 1601 receives the estimation result from the second image processing device 1520 (step S1812).
　ＣＰＵ　１０１は、ステップＳ１８１２で受信した推定結果に応じて、全体画像５００内における第２領域５２０の位置を変化させる（ステップＳ１８１３）。例えば、図１９Ｃに示すように、ベクトル１９３０と方向が同じである全体画像５００内のベクトル１９４０を求め、ベクトル１９４０の向きへ第２領域５２０を移動する。第２領域５２０の移動量は所定値でもよいし、ベクトル１９３０又はベクトル１９４０の長さに比例した値でもよい。 The CPU 101 changes the position of the second region 520 in the entire image 500 according to the estimation result received in step S1812 (step S1813). For example, as shown in FIG. 19C, a vector 1940 in the entire image 500 having the same direction as the vector 1930 is obtained, and the second region 520 is moved in the direction of the vector 1940. The movement amount of the second region 520 may be a predetermined value, or may be a value proportional to the length of the vector 1930 or the vector 1940.
　ＣＰＵ　１０１は、ゲームを終了するか否かを判別する（ステップＳ１８１４）。例えば、サッカーゲームにおいて、規定のゲーム時間が終了した場合や、プレイヤーからゲームを終了する旨の指示が入力された場合に、ＣＰＵ　１０１はゲームを終了すると判別する。 The CPU 101 determines whether or not to end the game (step S1814). For example, in a soccer game, the CPU 101 determines that the game is to be ended when a predetermined game time is ended or an instruction to end the game is input from the player.
　ゲームを終了しないと判別した場合（ステップＳ１８１４；ＮＯ）、第１の画像処理装置１５１０と第２の画像処理装置１５２０は、ステップＳ１８０２～Ｓ１８１４の処理を繰り返す。ゲームを終了すると判別した場合（ステップＳ１８１４；ＹＥＳ）、ＣＰＵ　１０１は、画像処理を終了する。 If it is determined that the game is not finished (step S1814; NO), the first image processing device 1510 and the second image processing device 1520 repeat the processing of steps S1802 to S1814. When it is determined that the game is to be ended (step S1814; YES), the CPU 101 ends the image processing.
　なお、画像処理システム１５００に複数の第２の画像処理装置１５２０が含まれる場合には、以上のステップＳ１８０１～Ｓ１８１４の処理が第２の画像処理装置１５２０ごとに行われる。したがって、第２の画像処理装置１５２０のプレイヤーのそれぞれは、１つのゲーム画面（第１ディスプレイ）を共有しつつ、プレイヤーの意向に添ったゲーム画面（第２ディスプレイ）も閲覧できる。 If the image processing system 1500 includes a plurality of second image processing devices 1520, the processes in steps S1801 to S1814 described above are performed for each second image processing device 1520. Therefore, each player of the second image processing device 1520 can view a game screen (second display) according to the player's intention while sharing one game screen (first display).
　例えば、２人のプレイヤー同士が対戦するサッカーゲームにおいて、プレイヤーのそれぞれは、パスをどの方向へ繋げればよいかを考えるとき、自分が操作する第２の画像処理装置１５２０の向きを変えて第２ディスプレイを見れば、第１ディスプレイに映っていない周囲を見ることができる。第２ディスプレイは各プレイヤーの手元にあるので、プレイヤーが他人の操作する第２の画像処理装置１５２０の第２ディスプレイを見ることは容易ではない。そのため、プレイヤーが何を考えているのか、どの向きにパスを通そうと考えているのかが、対戦相手プレイヤーに知られることはない。 For example, in a soccer game in which two players play against each other, each player changes the direction of the second image processing device 1520 that he / she operates to consider the direction in which the pass should be connected. If you look at the two displays, you can see the surroundings that are not shown on the first display. Since the second display is at hand of each player, it is not easy for the player to see the second display of the second image processing device 1520 operated by another person. Therefore, the opponent player does not know what the player is thinking about and in what direction he is going to pass.
（実施形態３）
　次に、本発明のその他の実施形態について説明する。本実施形態は、基準マークの数、配置、形状等の変形例である。 (Embodiment 3)
Next, other embodiments of the present invention will be described. This embodiment is a modification of the number, arrangement, shape, etc. of the reference marks.
　図２０は、複数の基準マーク２０００（本図では２０００１，２０００２などと記載。）が重畳された第１画像の構成例を表す図である。本図では、基準マーク２０００は円形であり、第１画像の周縁部に３０個配置されている。基準マーク２０００の数を増やすことにより、撮影画像の中に基準マーク２０００が写り込みやすくなり、第１ディスプレイと第２ディスプレイの相対的な位置関係を推測する精度が向上する。 FIG. 20 is a diagram illustrating a configuration example of a first image on which a plurality of reference marks 2000 (described as 2000 1 , 2000 2, etc. in this figure) are superimposed. In this figure, fiducial marks 2000 are circular and 30 are arranged at the peripheral edge of the first image. By increasing the number of reference marks 2000, the reference marks 2000 are easily reflected in the captured image, and the accuracy of estimating the relative positional relationship between the first display and the second display is improved.
　あるいは、図２１に示すように、基準マーク２１００を１つのみにし、且つ、第１画像を取り囲むような縁状にしてもよい。このように基準マーク２０００の数を増やさなくても、形状を変えることにより、撮影画像の中に基準マーク２０００が写り込みやすくなる。 Alternatively, as shown in FIG. 21, only one reference mark 2100 may be provided and an edge shape surrounding the first image may be used. Thus, even if the number of reference marks 2000 is not increased, the reference marks 2000 are easily reflected in the captured image by changing the shape.
　また、ＣＰＵ　１０１は、基準マーク２０００，２１００を所定の時間間隔で点滅させたり、色を所定の時間間隔で変化させたりしてもよい。点滅あるいは色の変化により、第１ディスプレイと第２ディスプレイの相対的な位置関係を推測する精度がさらに向上する。 Further, the CPU 101 may blink the reference marks 2000 and 2100 at a predetermined time interval or change the color at a predetermined time interval. The accuracy of estimating the relative positional relationship between the first display and the second display is further improved by blinking or color change.
　本発明は、上述した実施形態に限定されず、種々の変形及び応用が可能である。また、上述した実施形態の各構成要素を自由に組み合わせることも可能である。 The present invention is not limited to the above-described embodiment, and various modifications and applications are possible. Moreover, it is also possible to freely combine the constituent elements of the above-described embodiments.
　上述の各実施形態では、画像処理装置４００もしくは画像処理システム１５００は仮想空間内の様子を表す全体画像５００を扱っているが、ストリーミングで配信される現実世界の映像などを第１ディスプレイと第２ディスプレイに表示する際に本発明を適用することも可能である。勿論、配信されるコンテンツはストリーミング型でもよいし、ダウンロード型であってもよい。 In each of the above-described embodiments, the image processing apparatus 400 or the image processing system 1500 handles the entire image 500 representing the state in the virtual space. However, the real-world video or the like distributed by streaming is displayed on the first display and the second display. The present invention can also be applied when displaying on a display. Of course, the content to be distributed may be a streaming type or a download type.
　具体的には、現実に行われるスポーツの番組などの放送に本発明を適用する場合、放送事業者は、第１ディスプレイの表示サイズよりも広めの全体画像５００を外部機器３２０に配信する。放送形態は無線でも有線でもよい。外部機器３２０は、配信された全体画像５００内に全体画像５００よりも小さいサイズの第１領域５１０を設定し、第１画像を第１ディスプレイに表示する。また、外部装置３２０は、全体画像５００内に第２領域５２０を設定し、第２画像を画像処理装置４００に送信する。 Specifically, when the present invention is applied to a broadcast of an actual sports program or the like, the broadcaster distributes the entire image 500 wider than the display size of the first display to the external device 320. The broadcast form may be wireless or wired. The external device 320 sets a first area 510 having a size smaller than the entire image 500 in the distributed entire image 500, and displays the first image on the first display. Further, the external device 320 sets the second area 520 in the entire image 500 and transmits the second image to the image processing device 400.
　ここで、画像処理装置４００のユーザーは、画像処理装置４００のカメラ１１３の向きを動かすことにより、第１ディスプレイに映っている第１画像とは異なった第２画像を視聴することも可能である。画像処理装置４００のユーザーは、第１ディスプレイに映っていない部分を見たいとき、カメラ１１３を好みの向きに変えれば、第１画像の周辺部分まで視聴することができる。 Here, the user of the image processing apparatus 400 can view a second image different from the first image shown on the first display by moving the direction of the camera 113 of the image processing apparatus 400. . When the user of the image processing apparatus 400 wants to see a portion that is not shown on the first display, the user can view the peripheral portion of the first image by changing the camera 113 to a preferred orientation.
　例えば、画像処理装置４００のユーザーは、第１画像よりもっと左側を見たい場合には、カメラ１１３を左側に向ければ、全体画像５００の範囲内で第１画像よりもっと左側を視聴することができる。画像処理装置４００は、第１画像を複数の視聴者が集まって一緒に視聴することを前提とする標準的な画像として提供し、第２画像をユーザーごとに異なった好みに対応するためのオプション的な画像として提供するわけである。画像処理装置４００は、視聴者の多種多様な好みに適した映像を提供することができる。 For example, when the user of the image processing apparatus 400 wants to see the left side more than the first image, the user can view the left side more than the first image within the entire image 500 by pointing the camera 113 to the left side. . The image processing apparatus 400 provides the first image as a standard image on the premise that a plurality of viewers gather and view together, and the second image is an option for responding to different preferences for each user. It is provided as a typical image. The image processing apparatus 400 can provide images suitable for a wide variety of viewers' preferences.
　上記の画像処理装置４００の全部又は一部としてコンピュータを動作させるためのプログラムを、メモリカード、ＣＤ－ＲＯＭ、ＤＶＤ、ＭＯ（Magneto Optical disk）などのコンピュータ読み取り可能な記録媒体に格納して配布し、これを別のコンピュータにインストールし、上述の手段として動作させ、あるいは、上述の工程を実行させてもよい。 A program for operating a computer as all or part of the image processing apparatus 400 is stored and distributed in a computer-readable recording medium such as a memory card, CD-ROM, DVD, or MO (Magneto Optical disk). This may be installed in another computer and operated as the above-described means, or the above-described steps may be executed.
　さらに、インターネット上のサーバ装置が有するディスク装置等にプログラムを格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。 Further, the program may be stored in a disk device or the like of a server device on the Internet, and may be downloaded onto a computer by being superimposed on a carrier wave, for example.
　なお、本願については、日本国特許願　特願２０１１－２１６５１９号を基礎とする優先権を主張し、当該基礎出願の内容をすべて本願にとりこむものとする。 As for the present application, the priority based on Japanese Patent Application No. 2011-216519 is claimed, and the contents of the basic application are all incorporated herein.
　以上説明したように、本発明によれば、複数のプレイヤーが１つの画面を共有しつつ、プレイヤーの意向に添った画面も閲覧できるようにするために好適な画像処理装置、画像処理システム、画像処理方法、情報記録媒体、ならびに、プログラムを提供することができる。 As described above, according to the present invention, an image processing device, an image processing system, an image suitable for allowing a plurality of players to view a screen according to the player's intention while sharing one screen. A processing method, an information recording medium, and a program can be provided.
１００　情報処理装置
１０１　ＣＰＵ
１０２　ＲＯＭ
１０３　ＲＡＭ
１０４　インターフェース
１０５　第１タッチパネル
１０６　第２タッチパネル
１０７　外部メモリー
１０８　ＤＶＤ－ＲＯＭドライブ
１０９　画像処理部
１１０　ディスプレイ（第２ディスプレイ）
１１１　音声処理部
１１２　ＮＩＣ
１１３　カメラ
３１０　ディスプレイ（第１ディスプレイ）
４００　画像処理装置
４０１　第１抽出部
４０２　第２抽出部
４０３　第１表示部
４０４　第２表示部
４０５　撮影部
４０６　推定部
４０７　決定部
５００　全体画像
５１０　第１領域
５２０　第２領域
６００，８００　撮影画像
７５０，７５０Ａ～７５０Ｄ　基準マーク
１５００　画像処理システム
１５１０　第１の画像処理装置
１５２０　第２の画像処理装置
１５２１Ａ，１５２１Ｂ　第２ディスプレイ
１５３０　第１ディスプレイ
１６０１　制御部
１６０２　記憶部
１６０３　表示部
１６０４　通信部
１７０１　抽出部
１７０２　第１表示部
１７０３　画像送信部
１７０４　画像受信部
１７０５　第２表示部
１７０６　撮影部
１７０７　推定部
１７０８　決定部
１９００　撮影画像
１９１０　撮影画像の中心
１９２０　基準マークの分布の重心
１９３０，１９４０　ベクトル
２０００，２１００　基準マーク 100 Information processing apparatus 101 CPU
102 ROM
103 RAM
104 Interface 105 First Touch Panel 106 Second Touch Panel 107 External Memory 108 DVD-ROM Drive 109 Image Processing Unit 110 Display (Second Display)
111 Voice processing unit 112 NIC
113 Camera 310 Display (first display)
400 image processing apparatus 401 first extraction unit 402 second extraction unit 403 first display unit 404 second display unit 405 imaging unit 406 estimation unit 407 determination unit 500 whole image 510 first region 520 second region 600, 800 captured image 750 , 750A to 750D Reference mark 1500 Image processing system 1510 First image processing device 1520 Second image processing device 1521A, 1521B Second display 1530 First display 1601 Control unit 1602 Storage unit 1603 Display unit 1604 Communication unit 1701 Extraction unit 1702 First display unit 1703 Image transmission unit 1704 Image reception unit 1705 Second display unit 1706 Imaging unit 1707 Estimating unit 1708 Determination unit 1900 Captured image 1910 Center of captured image 1920 Center of gravity 1930, 1940 of reference mark distribution Vector 2000, 2100 fiducial mark

Claims (10)

  1. 　全体画像内における第１領域の位置と第２領域の位置を決定する決定部(407)と、
    　前記全体画像内の前記第１領域を第１画像として抽出する第１抽出部(401)と、
    　前記全体画像内の前記第２領域を第２画像として抽出する第２抽出部(402)と、
    　前記抽出された第１画像を第１ディスプレイに表示する第１表示部(403)と、
    　前記抽出された第２画像を第２ディスプレイに表示する第２表示部(404)と、
    　前記第２ディスプレイの背面方向を撮影する撮影部(405)と、
    　前記撮影部(405)により撮影された撮影画像に映っている前記第１画像に対応する部分に基づいて、前記第１ディスプレイに対する前記第２ディスプレイの相対的な位置を推定する推定部(406)と、
    　を備え、
    　前記決定部(407)は、前記全体画像内における前記第１領域の位置と前記推定された相対的な位置とに基づいて、前記全体画像内における前記第２領域の位置を決定する、
    　ことを特徴とする画像処理装置(400)。     A determination unit (407) for determining the position of the first area and the position of the second area in the entire image;
    A first extraction unit (401) for extracting the first region in the whole image as a first image;
    A second extraction unit (402) for extracting the second region in the whole image as a second image;
    A first display unit (403) for displaying the extracted first image on a first display;
    A second display unit (404) for displaying the extracted second image on a second display;
    A photographing unit (405) for photographing the rear direction of the second display;
    An estimation unit (406) for estimating a relative position of the second display with respect to the first display based on a portion corresponding to the first image shown in the photographed image photographed by the photographing unit (405). When,
    With
    The determining unit (407) determines the position of the second region in the entire image based on the position of the first region in the entire image and the estimated relative position;
    An image processing apparatus (400) characterized by that.
  2. 　請求項１に記載の画像処理装置(400)であって、
    　前記第１表示部(403)は、所定位置に基準マークを重畳した前記第１画像を前記第１ディスプレイに表示し、
    　前記推定部(406)は、前記撮影画像に前記基準マークが映っている場合、前記撮影画像に映っている前記基準マークの位置から、前記撮影画像内の前記第１画像に対応する部分を判別し、当該判別結果と前記全体画像とに基づいて、前記第１ディスプレイに対する前記第２ディスプレイの相対的な位置を推定する、
    　ことを特徴とする画像処理装置(400)。     An image processing apparatus (400) according to claim 1,
    The first display unit (403) displays the first image with a reference mark superimposed on a predetermined position on the first display,
    The estimation unit (406) determines a portion corresponding to the first image in the captured image from the position of the reference mark reflected in the captured image when the reference mark is reflected in the captured image. And estimating a relative position of the second display with respect to the first display based on the determination result and the entire image.
    An image processing apparatus (400) characterized by that.
  3. 　請求項２に記載の画像処理装置(400)であって、
    　前記決定部(407)は、
    （ａ）前記第２ディスプレイの背面が前記第１ディスプレイに正対していると推定される場合、もしくは、前記撮影画像に前記基準マークが映っていない場合、前記第２領域の中心の位置を前記第１領域の中心の位置と一致させ、
    （ｂ）前記撮影画像に前記基準マークが映っており、且つ、前記第２ディスプレイの背面が前記第１ディスプレイに正対していないと推定される場合、前記第２領域の中心の位置を、前記第１ディスプレイに対して前記第２ディスプレイが偏っている方向へ移動する、
    　ことを特徴とする画像処理装置(400)。     An image processing apparatus (400) according to claim 2,
    The determination unit (407)
    (A) When it is estimated that the back surface of the second display is directly facing the first display, or when the reference mark is not reflected in the captured image, the center position of the second region is Match the position of the center of the first region,
    (B) When it is estimated that the reference mark is reflected in the captured image and the back surface of the second display is not directly facing the first display, the position of the center of the second region is Moving in a direction in which the second display is biased relative to the first display;
    An image processing apparatus (400) characterized by that.
  4. 　請求項２に記載の画像処理装置(400)であって、
    　前記決定部(407)は、前記撮影画像に映っている前記基準マークの重心から前記撮影画像の中心へと結ぶベクトルの向きに、前記第２領域の位置を移動する、
    　ことを特徴とする画像処理装置(400)。     An image processing apparatus (400) according to claim 2,
    The determination unit (407) moves the position of the second region in the direction of a vector connecting from the center of gravity of the reference mark shown in the captured image to the center of the captured image.
    An image processing apparatus (400) characterized by that.
  5. 　請求項１に記載の画像処理装置(400)であって、
    　前記決定部(407)は、前記撮影画像に前記基準マークが映っており、且つ、前記第２ディスプレイが前記第１ディスプレイに正対していないと推定される場合、前記第２ディスプレイが前記第１ディスプレイに正対していると仮定した際に映っているべき前記基準マークの位置と、前記撮影画像に映っている前記基準マークの位置と、の差異が大きいほど、前記第２領域の位置の移動量を大きくする、
    　ことを特徴とする画像処理装置(400)。     An image processing apparatus (400) according to claim 1,
    The determination unit (407), when it is estimated that the reference mark appears in the captured image and the second display is not facing the first display, the second display is the first display. The greater the difference between the position of the fiducial mark that should be reflected when assuming that it is facing the display and the position of the fiducial mark that is reflected in the captured image, the more the position of the second region moves. Increase the quantity,
    An image processing apparatus (400) characterized by that.
  6. 　請求項１に記載の画像処理装置(400)であって、
    　前記決定部(407)は、前記全体画像内での位置が可変の所定のオブジェクトが前記第１領域の中心位置になるように、前記第１領域の位置を決定する、
    　ことを特徴とする画像処理装置(400)。     An image processing apparatus (400) according to claim 1,
    The determination unit (407) determines the position of the first region such that a predetermined object whose position in the entire image is variable is a center position of the first region.
    An image processing apparatus (400) characterized by that.
  7. 　第１の画像処理装置(1510)と複数の第２の画像処理装置(1520)とを有する画像処理システム(1500)であって、
    　前記第１の画像処理装置(1510)は、
    　全体画像内における第１領域の位置と第２領域の位置を決定する決定部(1708)と、
    　前記全体画像内の前記第１領域を第１画像として抽出し、第２の画像処理装置(1520)ごとに前記全体画像内の前記第２領域を第２画像として抽出する抽出部(1701)と、
    　前記抽出された第１画像を第１ディスプレイに表示する第１表示部(1702)と、
    　前記抽出された第２画像を前記複数の第２の画像処理装置のそれぞれに送信する画像送信部(1703)と、
    　を備え、
    　前記複数の第２の画像処理装置(1520)のそれぞれは、
    　前記第２画像を前記第１の画像処理装置(1510)から受信する画像受信部(1704)と、
    　前記受信した第２画像を第２ディスプレイに表示する第２表示部(1705)と、
    　前記第２ディスプレイの背面方向を撮影する撮影部(1706)と、
    　前記撮影部(1706)により撮影された撮影画像に映っている前記第１画像に対応する部分に基づいて、前記第１ディスプレイに対する前記第２ディスプレイの相対的な位置を推定し、推定結果を前記第１の画像処理装置に送信する推定部(1707)と、
    　を備え、
    　前記決定部(1708)は、前記複数の第２の画像処理装置(1520)のそれぞれから前記推定結果を受信し、前記第２の画像処理装置(1520)ごとに、前記全体画像内における前記第１領域の位置と前記受信した推定結果とに基づいて、前記全体画像内における前記第２領域の位置を決定し、
    　前記抽出部(1701)は、前記第２の画像処理装置(1520)ごとに、前記決定された前記第２領域の位置に基づいて、前記全体画像内の前記第２領域を第２画像として抽出する、
    　ことを特徴とする画像処理システム(1500)。     An image processing system (1500) having a first image processing device (1510) and a plurality of second image processing devices (1520),
    The first image processing apparatus (1510)
    A determination unit (1708) for determining a position of the first area and a position of the second area in the entire image;
    An extraction unit (1701) for extracting the first region in the whole image as a first image and extracting the second region in the whole image as a second image for each second image processing device (1520); ,
    A first display unit (1702) for displaying the extracted first image on a first display;
    An image transmission unit (1703) for transmitting the extracted second image to each of the plurality of second image processing devices;
    With
    Each of the plurality of second image processing devices (1520)
    An image receiving unit (1704) for receiving the second image from the first image processing device (1510);
    A second display unit (1705) for displaying the received second image on a second display;
    A photographing unit (1706) for photographing a rear direction of the second display;
    A relative position of the second display with respect to the first display is estimated based on a portion corresponding to the first image shown in the photographed image photographed by the photographing unit (1706), and an estimation result is obtained as the estimation result. An estimation unit (1707) for transmission to the first image processing device;
    With
    The determining unit (1708) receives the estimation result from each of the plurality of second image processing devices (1520), and for each second image processing device (1520), Based on the position of one area and the received estimation result, the position of the second area in the whole image is determined;
    The extraction unit (1701) extracts, as the second image, the second region in the entire image based on the determined position of the second region for each of the second image processing devices (1520). To
    An image processing system (1500) characterized by that.
  8. 　画像処理装置にて行われる画像処理方法であって、
    　全体画像内における第１領域の位置と第２領域の位置を決定する決定ステップと、
    　前記全体画像内の前記第１領域を第１画像として抽出する第１抽出ステップと、
    　前記全体画像内の前記第２領域を第２画像として抽出する第２抽出ステップと、
    　前記抽出された第１画像を第１ディスプレイに表示する第１表示ステップと、
    　前記抽出された第２画像を第２ディスプレイに表示する第２表示ステップと、
    　前記第２ディスプレイの背面方向を撮影する撮影ステップと、
    　前記撮影ステップにおいて撮影された撮影画像に映っている前記第１画像に対応する部分と、前記全体画像とに基づいて、前記第１ディスプレイに対する前記第２ディスプレイの相対的な位置を推定する推定ステップと、
    　を備え、
    　前記決定ステップでは、前記全体画像内における前記第１領域の位置と前記推定された相対的な位置とに基づいて、前記全体画像内における前記第２領域の位置を決定する、
    　ことを特徴とする画像処理方法。     An image processing method performed in an image processing apparatus,
    A determining step for determining a position of the first region and a position of the second region in the entire image;
    A first extraction step of extracting the first region in the entire image as a first image;
    A second extraction step of extracting the second region in the entire image as a second image;
    A first display step of displaying the extracted first image on a first display;
    A second display step of displaying the extracted second image on a second display;
    A photographing step of photographing the back direction of the second display;
    An estimation step of estimating a relative position of the second display with respect to the first display based on a portion corresponding to the first image reflected in the captured image captured in the capturing step and the entire image. When,
    With
    In the determining step, the position of the second region in the entire image is determined based on the position of the first region in the entire image and the estimated relative position.
    An image processing method.
  9. 　コンピュータを、
    　全体画像内における第１領域の位置と第２領域の位置を決定する決定部(407)、
    　前記全体画像内の前記第１領域を第１画像として抽出する第１抽出部(401)、
    　前記全体画像内の前記第２領域を第２画像として抽出する第２抽出部(402)、
    　前記抽出された第１画像を第１ディスプレイに表示する第１表示部(403)、
    　前記抽出された第２画像を第２ディスプレイに表示する第２表示部(404)、
    　前記第２ディスプレイの背面方向を撮影する撮影部(405)、
    　前記撮影部(405)により撮影された撮影画像に映っている前記第１画像に対応する部分と、前記全体画像とに基づいて、前記第１ディスプレイに対する前記第２ディスプレイの相対的な位置を推定する推定部(406)、
    　として機能させ、
    　前記決定部(407)は、前記全体画像内における前記第１領域の位置と前記推定された相対的な位置とに基づいて、前記全体画像内における前記第２領域の位置を決定する、
    　ように機能させるプログラムを記憶することを特徴とする情報記録媒体。     Computer
    A determination unit (407) for determining a position of the first area and a position of the second area in the whole image;
    A first extraction unit (401) for extracting the first region in the whole image as a first image;
    A second extraction unit (402) for extracting the second region in the whole image as a second image;
    A first display unit (403) for displaying the extracted first image on a first display;
    A second display unit (404) for displaying the extracted second image on a second display;
    A photographing unit (405) for photographing a rear direction of the second display;
    The relative position of the second display with respect to the first display is estimated based on the part corresponding to the first image shown in the photographed image photographed by the photographing unit (405) and the whole image. The estimation unit (406),
    Function as
    The determination unit (407) determines the position of the second region in the entire image based on the position of the first region in the entire image and the estimated relative position;
    An information recording medium for storing a program that functions as described above.
  10. 　コンピュータを、
    　全体画像内における第１領域の位置と第２領域の位置を決定する決定部(407)、
    　前記全体画像内の前記第１領域を第１画像として抽出する第１抽出部(401)、
    　前記全体画像内の前記第２領域を第２画像として抽出する第２抽出部(402)、
    　前記抽出された第１画像を第１ディスプレイに表示する第１表示部(403)、
    　前記抽出された第２画像を第２ディスプレイに表示する第２表示部(404)、
    　前記第２ディスプレイの背面方向を撮影する撮影部(405)、
    　前記撮影部(405)により撮影された撮影画像に映っている前記第１画像に対応する部分と、前記全体画像とに基づいて、前記第１ディスプレイに対する前記第２ディスプレイの相対的な位置を推定する推定部(406)、
    　として機能させ、
    　前記決定部(407)は、前記全体画像内における前記第１領域の位置と前記推定された相対的な位置とに基づいて、前記全体画像内における前記第２領域の位置を決定する、
    　ことを特徴とするプログラム。     Computer
    A determination unit (407) for determining a position of the first area and a position of the second area in the whole image;
    A first extraction unit (401) for extracting the first region in the whole image as a first image;
    A second extraction unit (402) for extracting the second region in the whole image as a second image;
    A first display unit (403) for displaying the extracted first image on a first display;
    A second display unit (404) for displaying the extracted second image on a second display;
    A photographing unit (405) for photographing a rear direction of the second display;
    A relative position of the second display with respect to the first display is estimated based on a portion corresponding to the first image shown in the photographed image photographed by the photographing unit (405) and the whole image. The estimation unit (406),
    Function as
    The determination unit (407) determines the position of the second region in the entire image based on the position of the first region in the entire image and the estimated relative position;
    A program characterized by that.
PCT/JP2012/069430 2011-09-30 2012-07-31 Image processing apparatus, image processing system, image processing method, information storage medium, and program WO2013046910A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-216519 2011-09-30
JP2011216519A JP5193347B2 (en) 2011-09-30 2011-09-30 Image processing apparatus, image processing system, image processing method, and program

Publications (1)

Publication Number Publication Date
WO2013046910A1 true WO2013046910A1 (en) 2013-04-04

Family

ID=47994964

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/069430 WO2013046910A1 (en) 2011-09-30 2012-07-31 Image processing apparatus, image processing system, image processing method, information storage medium, and program

Country Status (2)

Country Link
JP (1) JP5193347B2 (en)
WO (1) WO2013046910A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101480300B1 (en) * 2012-11-30 2015-01-12 한국과학기술원 Interactive contents provision system and method using relative distance between the main screen and the second screen
JP6697846B2 (en) * 2015-03-31 2020-05-27 株式会社バンダイナムコエンターテインメント Game system, server system and program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11243512A (en) * 1997-10-07 1999-09-07 Masanobu Kujirada Master-slave joint type display system
JP2005341398A (en) * 2004-05-28 2005-12-08 Sony Corp Information processing device and method, and program
JP2006079249A (en) * 2004-09-08 2006-03-23 Matsushita Electric Ind Co Ltd Communication terminal
JP2008199370A (en) * 2007-02-14 2008-08-28 Nippon Hoso Kyokai <Nhk> Digital-broadcasting program display device, and digital-broadcasting program display program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11243512A (en) * 1997-10-07 1999-09-07 Masanobu Kujirada Master-slave joint type display system
JP2005341398A (en) * 2004-05-28 2005-12-08 Sony Corp Information processing device and method, and program
JP2006079249A (en) * 2004-09-08 2006-03-23 Matsushita Electric Ind Co Ltd Communication terminal
JP2008199370A (en) * 2007-02-14 2008-08-28 Nippon Hoso Kyokai <Nhk> Digital-broadcasting program display device, and digital-broadcasting program display program

Also Published As

Publication number Publication date
JP2013077974A (en) 2013-04-25
JP5193347B2 (en) 2013-05-08

Similar Documents

Publication Publication Date Title
US9990029B2 (en) Interface object and motion controller for augmented reality
US11389726B2 (en) Second screen virtual window into VR environment
JP6663505B2 (en) Audience view perspective in VR environment
US10424077B2 (en) Maintaining multiple views on a shared stable virtual space
TWI468734B (en) Methods, portable device and computer program for maintaining multiple views on a shared stable virtual space
CN103390287B (en) Device and method for augmented reality
US8241125B2 (en) Apparatus and method of interaction with a data processor
CN103930180B (en) To game console calibration and the system and method for biasing
CN113633973B (en) Game picture display method, device, equipment and storage medium
KR101739220B1 (en) Special Video Generation System for Game Play Situation
CN107734244A (en) Panorama movie playback method and playing device
US20210183114A1 (en) Vr real player capture for in-game interaction view
JP2001353358A (en) Game apparatus and information storage medium
JP5193347B2 (en) Image processing apparatus, image processing system, image processing method, and program
JP4881981B2 (en) Virtual space display device, viewpoint setting method, and program
Hakkarainen et al. SymBall: camera driven table tennis for mobile phones
US20230353717A1 (en) Image processing system, image processing method, and storage medium
JP2022093223A (en) Play recording video creation system
JP2009219584A (en) Apparatus and method for generating image and program
JP4714231B2 (en) Image generating apparatus, wide-field image generating method, and program
JP5431411B2 (en) GAME DEVICE, GAME DEVICE CONTROL METHOD, AND PROGRAM
JP5431544B2 (en) Terminal device, game system, display control method, and program
JP2023132320A (en) Image processing system, image processing method, and computer program
Santos et al. Using Pico Projectors to Explore Other Worlds
JP2002126355A (en) Computer device, method for playing game, using the device and delivery system of computer game and method for delivery

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12836186

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12836186

Country of ref document: EP

Kind code of ref document: A1