JP4834116B2 - Augmented reality display device, augmented reality display method, and program - Google Patents

Augmented reality display device, augmented reality display method, and program

Info

Publication number
JP4834116B2
JP4834116B2 JP2009011982A JP2009011982A JP4834116B2 JP 4834116 B2 JP4834116 B2 JP 4834116B2 JP 2009011982 A JP2009011982 A JP 2009011982A JP 2009011982 A JP2009011982 A JP 2009011982A JP 4834116 B2 JP4834116 B2 JP 4834116B2
Authority
JP
Grant status
Grant
Patent type
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009011982A
Other languages
Japanese (ja)
Other versions
JP2010170316A (en )
Inventor
誠 山口
Original Assignee
株式会社コナミデジタルエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Images

Description

本発明は、仮想物体を現実世界の映像の中に重畳させる技術において、仮想物体の色を現実世界の映像に合わせて補正するのに好適な拡張現実表示装置、拡張現実表示方法、ならびにこれらをコンピュータにて実現するプログラムに関する。 The present invention provides a technique that superimposes a virtual object in the real world image, suitable augmented reality display device to correct the combined color of the virtual object in the real world image, augmented reality display method, and these a program for realizing on a computer.

近年、撮影された現実世界の映像上に仮想物体を重畳させる拡張現実表示技術が開発され、ゲームやコミュニケーションツールとしての実用化が進められている。 In recent years, augmented reality display technology that superimposes a virtual object on the captured real-world image has been developed, put to practical use as a game and communication tool has been developed. この様な技術は、一般にカメラ、モニタ、及び仮想物体を表示する位置を示すマーカ等を備えるシステムによって実現される。 Such techniques may be implemented in general camera, a monitor, and the system comprising a marker or the like indicating a position to display a virtual object.

非特許文献1には、拡張現実表示技術において、マーカの位置検出方法が開示されている。 Non-Patent Document 1, the augmented reality display technology, the position detecting method of the marker is disclosed. マーカの2次元空間の頂点情報を3次元空間座標系に変換し、その座標をさらにモニタ上の座標系に変換することによって、仮想物体を現実世界の適切な位置に表示させることができる。 Converts the vertex information of the two-dimensional space of the marker in three-dimensional space coordinate system, by converting the coordinates further to the coordinate system on the monitor, can display the virtual object in position in the real world.

しかしながら、現実世界の映像と仮想物体とを重畳する際に、現実世界の映像の色調が考慮されていないため、仮想物体が背景に比べて明るすぎたり又は暗すぎたりして見えるという問題があった。 However, when superimposing the image and the virtual object in the real world, because the color tone of the real world image is not taken into consideration, there is a problem that virtual object appears to too or too bright dark compared to the background It was.

本発明は、上記のような課題を解決するもので、現実世界の映像と仮想物体の映像を調和させるために、仮想物体の色調を補正するのに好適な拡張現実表示装置、拡張現実表示方法、ならびにプログラムを提供することを目的とする。 The present invention has been devised to solve the above problems, in order to harmonize with the real world image the image of the virtual object, suitable augmented reality display device to correct the color tone of the virtual object, augmented reality display method , as well as an object of the present invention is to provide a program.

本発明の第1の観点に係る拡張現実表示装置は、撮影部、推定部、計算部、変換部、描画部、表示部を備え、以下のように構成する。 The first aspect in accordance with augmented reality display device of the present invention includes a photographing unit, the estimating unit, calculating unit, conversion unit, the drawing unit, a display unit, which are configured as follows.

撮影部は、マーカが配置された現実世界の様子を撮影する。 Imaging unit captures the state of the real world where the marker is placed.

ここでマーカには、所定の模様が描かれており、現実世界に配置されるものであり、例えばシールやステッカーのように壁や床に貼り付けたり、コースターの用にテーブルの上に置いたりできる。 Here the marker, a predetermined pattern is drawn, which is arranged in the real world, for example, or stuck on walls and floors, as the sealing and stickers, or placed on tables use coasters it can.

マーカに描かれる模様は、例えば向きを判別するために非対称な模様とすることが好ましい。 Pattern drawn in the marker is preferably, for example, asymmetrical patterns to determine the orientation. ユーザは、非対称な任意の模様とその模様に対応付けるオブジェクトを予め登録しておき、仮想物体を重畳したい場所にマーカを配置する。 The user registered in advance object associating asymmetric any pattern and its pattern, placing a marker where you want to superimpose the virtual objects.

現実世界にマーカが配置され、そのマーカをユーザが見ている向きで撮影する。 Is placed a marker in the real world, to shoot in the direction of the marker user is looking. 撮影部はユーザの視点を撮影するため、例えばユーザが装着するHMD(Head Mounted Display)等に備え付けられる。 Imaging unit for imaging the viewpoint of the user, for example, be installed in HMD (Head Mounted Display) or the like worn by the user.

推定部は、撮影部により撮影された画像内におけるマーカの位置を推定する。 Estimating unit estimates the position of the marker in the taken image by the imaging unit.

例えば、マーカの形状を正方形とした場合、撮影された画像から正方形部分を検索し、一致した部分の頂点の座標情報を求める。 For example, when the shape of the marker square, retrieves the square portion from captured image, we obtain the coordinate information of the vertices of the matched parts. さらに、マーカに描かれた模様と、予め登録されたマーカの模様とのマッチングを行い、模様の識別を行う。 Moreover, a drawn pattern on the marker, it matches the pattern of the marker registered in advance, and identifies the pattern.

計算部は、マーカに描かれた模様の色彩から、撮影部により撮影された画像内におけるマーカの模様の色彩への変換パラメータを計算する。 Calculation unit calculates the transformation parameters from the color of the drawn pattern on the marker, the color pattern of the marker in the captured image by the imaging unit.

予め登録されているマーカの模様の色彩情報と、現実世界に配置することによって色が変化したマーカの模様の色彩情報を比較し、例えば両者の値の比をとることによって変換パラメータを計算する。 And color information of the pattern of the marker that has been registered in advance, compares the color information of a pattern of a marker color changed by placing the real world, to compute the transformation parameters by, for example, taking the ratio of both values.

変換部は、マーカに対応づけられるオブジェクトの色彩を、計算された変換パラメータにより変換する。 Conversion unit, the color of the object to be associated with the marker, is converted by the calculated transformation parameters.

マーカに対応づけられるオブジェクトの色彩情報は予め登録されており、識別された模様に基づいてオブジェクトの色彩情報を読み込む。 Color information of the object to be associated with the marker are registered in advance, reads the color information of the object based on the identified pattern. 読み込んだ色に対して、変換パラメータを用いて変換する。 Relative read color transformed using the transformation parameter.

描画部は、撮影部により撮影された画像内の推定された位置に、色彩が変換されたオブジェクトを描画する。 Drawing part, on the estimated position of the image captured by the imaging unit, it draws the object color is converted.

マーカの模様に基づいてオブジェクトの形状情報等を読み込み、推定部から受け取ったマーカの座標の位置に、変換部で変換された色彩でオブジェクトを描画する。 Reads the shape information of the object based on the pattern of the marker, the position coordinates of the marker received from the estimating unit, to draw an object in the converted color conversion unit.

表示部は、オブジェクトが描画された画像を表示する。 The display unit displays an image object is drawn.

描画部で描画されたオブジェクト画像は現実世界の映像に重畳され、モニタ等に表示される。 Drawn object image drawing unit is superimposed on the real world image, it is displayed on a monitor or the like.

本発明によれば、現実世界に配置されることによる仮想物体の色の変化を、実物体であるマーカの色の変化を計測することによって推定することができ、これにより現実世界と調和した仮想物体を表示することができる。 According to the present invention, the color change of the virtual object by being arranged in the real world, can be estimated by measuring the change in color of the marker is a real object, and thereby in harmony with the real world virtual it can be displayed object.

また本発明の拡張現実表示装置において、上記マーカをさらに備えるように構成することもできる。 In augmented reality display device of the present invention, it may be configured to further comprise the marker.

また本発明の拡張現実表示装置において、マーカに描かれた模様の色彩は、マーカに対応づけられるオブジェクトの色彩の平均もしくは最頻値とするように構成することができる。 In augmented reality display device of the present invention, the color of the drawn pattern in the marker can be configured to the average or mode of color of an object to be associated with the marker.

すなわち、オブジェクトの平均の色もしくは最も広範囲を占める色が、現実世界でどのような色に変化するかを知ることができる。 That is, the color occupying an average color or the most extensive objects, it is possible to know changes in any color in the real world.

本発明は、上記発明の好適実施形態に係るものであり、描画に使用する色がどのような色に変化するかを知ることができるので、より現実世界の映像に調和する色変換が可能となる。 The present invention according to the preferred embodiment of the invention, it is possible to know changes in any color color used within the drawing, it allows the color conversion to harmonize more of the real world image and Become.

本発明のその他の観点に係る拡張現実表示方法は、撮影部、推定部、計算部、変換部、描画部、表示部を備え、以下のように構成する。 Augmented reality display method according to another aspect of the present invention includes a photographing unit, the estimating unit, calculating unit, conversion unit, the drawing unit, a display unit, which are configured as follows.

撮影工程では、撮影部が、所定の模様が描かれたマーカが配置された現実世界の様子を撮影する。 The imaging process, photographing unit to photograph the state of real world markers predetermined pattern is drawn is placed.

推定工程では、推定部が、撮影部により撮影された画像内におけるマーカの位置を推定する。 In estimating step, the estimation unit estimates the position of the marker in the taken image by the imaging unit.

計算工程では、計算部が、マーカに描かれた模様の色彩から、撮影部により撮影された画像内におけるマーカの模様の色彩への変換パラメータを計算する。 In calculation step, calculation unit, from the color of the drawn pattern on the marker, to calculate a conversion parameter to the color pattern of the marker in the taken image by the imaging unit.

変換工程では、変換部が、マーカに対応づけられるオブジェクトの色彩を、計算された変換パラメータにより変換する。 The conversion process, the conversion unit, the color of the object to be associated with the marker, is converted by the calculated transformation parameters.

描画工程では、描画部が、撮影部により撮影された画像内の推定された位置に、色彩が変換されたオブジェクトを描画する。 In the drawing process, the drawing section, the estimated position in the image photographed by the photographing unit, draws the object color is converted.

表示工程では、表示部が、オブジェクトが描画された画像を表示する。 In the display step, the display unit displays the image object is drawn.

本発明のその他の観点に係るプログラムは、コンピュータを上記拡張現実表示装置として機能させ、コンピュータに上記拡張現実表示方法を実行させるように構成する。 A program according to another aspect of the present invention, a computer to function as the augmented reality display device, and configured to execute on the augmented reality display method on a computer.

また、本発明のプログラムは、コンパクトディスク、フレキシブルディスク、ハードディスク、光磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリ等のコンピュータ読取可能な情報記憶媒体に記録することができる。 The program of the present invention can be recorded compact disk, a flexible disk, a hard disk, a magneto-optical disk, a digital video disk, a magnetic tape, a computer readable information storage medium such as a semiconductor memory.

上記プログラムは、プログラムが実行されるコンピュータとは独立して、コンピュータ通信網を介して配布・販売することができる。 The program, the computer program is executed independently, may be distributed or sold via a computer communication network. また、上記情報記憶媒体は、コンピュータとは独立して配布・販売することができる。 Further, the information storage medium can be distributed and sold independently of the computer.

本発明によれば、現実世界の映像と仮想物体の映像を調和させるために、仮想物体色調を補正するのに好適な拡張現実表示装置、拡張現実表示方法、ならびにプログラムを提供することができる。 According to the present invention, in order to harmonize the image of the virtual objects and the real world image, suitable augmented reality display device to correct the virtual object color, it is possible to provide an augmented reality display method, and program.

プログラムを実行することにより、本発明の拡張現実表示装置の機能を果たす典型的な情報処理装置の概要構成を示す模式図である。 By executing the program, which is a schematic diagram showing a general configuration of a typical information processing device that performs the function of augmented reality display device of the present invention. 実施形態の拡張現実表示装置の概要構成を示す説明図である。 It is an explanatory diagram showing a schematic configuration of augmented reality display device of the embodiment. 実施形態にて用いられるマーカの模様とオブジェクトの対応関係の例を示す図である。 Is a diagram illustrating an example of correspondence between the pattern of the marker and the object to be used in the embodiment. (a)、(b)ともに実施形態にて用いられるマーカの例を示す図である。 (A), a diagram showing an example of a marker to be used in both embodiments (b). 実施形態の拡張現実表示装置の各部が行う処理を説明するためのフローチャートである。 It is a flowchart for explaining the processing by each unit of the augmented reality display device of Embodiment performed. 撮影部によって撮影された現実世界の映像を示す図である。 Is a diagram illustrating an image of the real world captured by the imaging unit. 図6で撮影されたマーカに対応づけられたオブジェクトを重畳した画像を示す図である。 Is a diagram showing an image obtained by superimposing the object associated with the captured marker in FIG. 図6で撮影されたマーカの色に合わせて色を変換したオブジェクトを示す図である。 Is a diagram showing an object to convert the color to match the color of the photographed marker in FIG. 照明が落とされた場合の現実世界の映像を示す図である。 Lighting is a diagram showing the real-world images when dropped. 図9で撮影されたマーカに対応づけられたオブジェクトを重畳した画像を示す図である。 Is a diagram showing an image obtained by superimposing the object associated with the captured marker in FIG. 図9で撮影されたマーカの色に合わせて色を変換したオブジェクトを示す図である。 Is a diagram showing an object to convert the color to match the color of the photographed marker in FIG.

以下に本発明の実施形態を説明する。 Embodiments of the present invention will be described below. 以下では、理解を容易にするため、ゲーム用の情報処理装置を利用して本発明が実現される実施形態を説明するが、以下に説明する実施形態は説明のためのものであり、本願発明の範囲を制限するものではない。 Hereinafter, for ease of understanding, it will be explained an embodiment in which the present invention by using an information processing device for game is realized that the embodiments described below are intended for illustration, the present invention It is not intended to limit the scope of the. したがって、当業者であればこれらの各要素もしくは全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。 Therefore, it is possible to adopt an embodiment in which to replace the individual elements or all the elements are with equivalent ones skilled artisan, these embodiments are also included in the scope of the present invention.

(実施形態) (Embodiment)
図1はプログラムを実行することにより、本発明の実施形態に係る拡張現実表示装置の機能を果たす典型的な情報処理装置の概要構成を示す模式図である。 1 by executing a program, which is a schematic diagram showing a general configuration of a typical information processing device that performs the function of augmented reality display device according to an embodiment of the present invention. 以下、本図を参照して説明する。 Hereinafter, explanation will be made with reference to FIG.

情報処理装置100は、CPU(Central Processing Unit)101と、ROM 102と、RAM(Random Access Memory)103と、インターフェイス104と、コントローラ105と、外部メモリ106と、画像処理部107と、DVD−ROM(Digital Versatile Disc ROM)ドライブ108と、NIC(Network Interface Card)109と、音声処理部110と、モニタ111と、カメラ112と、を備える。 The information processing apparatus 100 includes a CPU (Central Processing Unit) 101, a ROM 102, a RAM (Random Access Memory) 103, an interface 104, a controller 105, an external memory 106, an image processing unit 107, DVD-ROM It includes a (Digital Versatile Disc ROM) drive 108, an NIC (Network Interface Card) 109, a sound processing unit 110, a monitor 111, a camera 112, a.

ゲーム用のプログラム及びデータを記憶したDVD−ROMをDVD−ROMドライブ108に装着して、情報処理装置100の電源を投入することにより、当該プログラムが実行され、本実施形態に係る拡張現実表示装置が実現される。 Programs and DVD-ROM data storing the game by mounting the DVD-ROM drive 108 and turning on the power of the information processing apparatus 100, the program is executed, augmented reality display device according to this embodiment There is realized.

CPU 101は、情報処理装置100全体の動作を制御し、各構成要素と接続され制御信号やデータをやりとりする。 The CPU 101 controls the entire operation of the information processing device 100, and is connected to each component to exchange control signals and data. また、CPU 101は、レジスタ(図示せず)という高速アクセスが可能な記憶域に対してALU(Arithmetic Logic Unit)(図示せず)を用いて加減乗除等の算術演算や、論理和、論理積、論理否定等の論理演算、ビット和、ビット積、ビット反転、ビットシフト、ビット回転等のビット演算などを行うことができる。 Further, CPU 101 may register high-speed access that (not shown) arithmetic and addition, subtraction, multiplication, and division or the like using the ALU (Arithmetic Logic Unit) (not shown) with respect to the possible storage, logical sum, logical product , it is possible to perform logical operations of logical negation, etc., bit sum, bitwise, bit inversion, bit shift, etc. bit operations bit rotation, and the like. さらに、マルチメディア処理対応のための加減乗除等の飽和演算や、三角関数等、ベクトル演算などを高速に行えるように、CPU 101自身が構成されているものや、コプロセッサを備えて実現するものがある。 Furthermore, addition, subtraction, multiplication and division saturation calculation and the like for multimedia processing corresponding, trigonometric functions, etc., to allow the like vector calculation at a high speed, the CPU 101 itself may be constructed and, realizes comprise coprocessor there is.

ROM 102には、電源投入直後に実行されるIPL(Initial Program Loader)が記録され、これが実行されることにより、DVD−ROMに記録されたプログラムをRAM 103に読み出してCPU 101による実行が開始される。 The ROM 102 is recorded IPL which is executed immediately after power-on (Initial Program Loader), but this is by being executed, execution by CPU 101 is started by reading a program recorded in the DVD-ROM to RAM 103 that. また、ROM 102には、情報処理装置100全体の動作制御に必要なオペレーティングシステムのプログラムや各種のデータが記録される。 Further, the ROM 102 stores a program and various data for an operating system necessary for controlling the overall operation of the information processing apparatus 100 is recorded.

RAM 103は、データやプログラムを一時的に記憶するためのもので、DVD−ROMから読み出したプログラムやデータ、その他ゲームの進行やチャット通信に必要なデータが保持される。 The RAM 103 is for temporarily storing data and programs, a program and data read out from the DVD-ROM, data necessary for game proceeding and chat communications are retained. また、CPU 101は、RAM 103に変数領域を設け、当該変数に格納された値に対して直接ALUを作用させて演算を行ったり、RAM 103に格納された値を一旦レジスタに格納してからレジスタに対して演算を行い、演算結果をメモリに書き戻す、などの処理を行う。 Further, CPU 101 is a variable area in the RAM 103, the store and go operations by directly working the ALU on the value stored as the variable, the value stored in the RAM 103 temporarily in the register performs operations on the register, the process of writing back the operation result to the memory, and the like.

インターフェイス104を介して接続されたコントローラ105は、ユーザがゲーム実行の際に行う操作入力を受け付ける。 The controller 105 connected via the interface 104 receives an operation input by a user for playing a game.

インターフェイス104を介して着脱自在に接続された外部メモリ106には、ゲーム等のプレイ状況(過去の成績等)を示すデータ、ゲームの進行状態を示すデータ、ネットワーク対戦の場合のチャット通信のログ(記録)のデータなどが書き換え可能に記憶される。 The external memory 106 detachably connected via the interface 104, data indicating the play status of a game, etc. (past performance, etc.), data indicating the progress status of the game, the chat communication in the case of network match log ( and data recording) it is capable stored rewritten. ユーザは、コントローラ105を介して指示入力を行うことにより、これらのデータを適宜外部メモリ106に記録することができる。 The user makes an instruction input via the controller 105 can record such data into the external memory 106.

DVD−ROMドライブ108に装着されるDVD−ROMには、ゲームを実現するためのプログラムとゲームに付随する画像データや音声データが記録される。 The DVD-ROM to be loaded into the DVD-ROM drive 108, the image data and sound data accompanying the program and the game for realizing a game is recorded. CPU 101の制御によって、DVD−ROMドライブ108は、これに装着されたDVD−ROMに対する読み出し処理を行って、必要なプログラムやデータを読み出し、これらはRAM 103等に一時的に記憶される。 The control of the CPU 101, DVD-ROM drive 108 performs a reading process on the loaded DVD-ROM, reads the necessary program and data, which are temporarily stored in the RAM 103 or the like.

画像処理部107は、DVD−ROMから読み出されたデータをCPU 101や画像処理部107が備える画像演算プロセッサ(図示せず)によって加工処理した後、これを画像処理部107が備えるフレームメモリ(図示せず)に記録する。 The image processing unit 107, after processed by an image operation processor comprising a data read out from the DVD-ROM CPU 101 and the image processing unit 107 (not shown), a frame memory which the image processing section 107 is provided with ( It is recorded in the not shown). フレームメモリに記録された画像情報は、所定の同期タイミングでビデオ信号に変換され画像処理部107に接続されるモニタ111へ出力される。 Image information recorded in the frame memory is outputted to the monitor 111 connected to the image processing section 107 is converted into a video signal at a predetermined synchronization timing. これにより、各種の画像表示が可能となる。 Thus, various types of image display.

画像演算プロセッサは、2次元の画像の重ね合わせ演算やαブレンディング等の透過演算、各種の飽和演算を高速に実行できる。 The image calculation processor can perform transparent operations such as overlay operation or α blending of two-dimensional images, and saturate operations of various types.

また、仮想空間が3次元にて構成される場合には、当該3次元空間内に配置され、各種のテクスチャ情報が付加されたポリゴン情報を、Zバッファ法によりレンダリングして、所定の視点位置から仮想空間に配置されたポリゴンを所定の視線の方向へ俯瞰したレンダリング画像を得る演算の高速実行も可能である。 Further, when the virtual space is constructed in three dimensions, disposed in the three-dimensional space, rendering of polygon information is added in, and for rendering, by a Z buffer method, from a predetermined viewpoint position fast execution of operations to obtain a rendered image looking down the polygon arranged in the virtual space in the direction of the predetermined line of sight is also possible.

さらに、CPU 101と画像演算プロセッサが協調動作することにより、文字の形状を定義するフォント情報にしたがって、文字列を2次元画像としてフレームメモリへ描画したり、各ポリゴン表面へ描画したりすることが可能である。 Furthermore, by CPU 101 and the image operation processor cooperate, in accordance with font information that defines the character shape, or draw the frame memory strings as a two-dimensional image, or to draw into each polygon surface possible it is.

NIC 109は、情報処理装置100をインターネット等のコンピュータ通信網(図示せず)に接続するためのものであり、LAN(Local Area Network)を構成する際に用いられる10BASE−T/100BASE−T規格にしたがうものや、電話回線を用いてインターネットに接続するためのアナログモデム、ISDN(Integrated Services Digital Network)モデム、ADSL(Asymmetric Digital Subscriber Line)モデム、ケーブルテレビジョン回線を用いてインターネットに接続するためのケーブルモデム等と、これらとCPU 101との仲立ちを行うインターフェイス(図示せず)により構成される。 NIC 109 is for connecting the information processing apparatus 100 to a computer communication network such as the Internet (not shown), LAN (Local Area Network) is used when configuring a 10BASE-T / 100BASE-T standard follow things or to, analog modem for connecting to the Internet using a telephone line, ISDN (Integrated Services Digital Network) modem, ADSL (Asymmetric Digital Subscriber line) modem, to connect to the Internet using a cable television line cable modem and constituted by an interface (not shown) which intervenes between these modems and the CPU 101.

音声処理部110は、DVD−ROMから読み出した音声データをアナログ音声信号に変換し、これに接続されたスピーカ(図示せず)から出力させる。 Sound processor 110 converts sound data read out from the DVD-ROM into an analog sound signal and outputs the connected speaker (not shown) thereto. また、CPU 101の制御の下、ゲームの進行の中で発生させるべき効果音や楽曲データを生成し、これに対応した音声をスピーカから出力させる。 Further, under the control of the CPU 101, generates sound effects and music data to be generated during progress of the game, the sounds corresponding thereto from the speaker.

音声処理部110では、DVD−ROMに記録された音声データがMIDIデータである場合には、これが有する音源データを参照して、MIDIデータをPCMデータに変換する。 The audio processing unit 110, when the audio data recorded in the DVD-ROM is MIDI data, by referring to the sound source data included in the data, and converts the MIDI data into PCM data. また、ADPCM形式やOgg Vorbis形式等の圧縮済音声データである場合には、これを展開してPCMデータに変換する。 Further, when a Compressed audio data such as ADPCM format or Ogg Vorbis format, converts the PCM data to expand it. PCMデータは、そのサンプリング周波数に応じたタイミングでD/A(Digital/Analog)変換を行って、スピーカに出力することにより、音声出力が可能となる。 PCM data at a timing corresponding to the sampling frequency of the D / A (Digital / Analog) conversion by outputting to the speaker, thereby enabling sound output.

モニタ111は、画像処理部107に接続され、CPU 101と画像演算プロセッサが協調動作することにより、画像情報を表示する。 Monitor 111 is connected to the image processing unit 107, CPU 101 and the image operation processor by operating cooperatively, to display the image information. モニタ111は、LCD(Liquid Crystal Display)、有機ELディスプレイ(organic Electro-Luminescence display)等により構成され、一般的な置き型ディスプレイの形式又は装着型のHMDの形式で用いられる。 Monitor 111, LCD (Liquid Crystal Display), is constituted by an organic EL display (organic Electro-Luminescence display), used in a general-standing display format or wearable type of HMD.

カメラ112は、インターフェイス104を介して接続され、現実世界を撮影し、撮影した映像を電気信号に変換する。 The camera 112 is connected via the interface 104, taking the real world and converts the photographed image into an electrical signal. CCD(Charge Coupled Device)カメラ、CMOS(Complimentary MOS)センサ等から構成される。 CCD (Charge Coupled Device) camera, and a CMOS (Complimentary MOS) sensor. カメラ112は、ユーザの視点から撮影するためにユーザが装着してもよく、又ユーザを映し出すために置き型ディスプレイ等に備え付けてもよい。 The camera 112 may be a user wearing to shoot from the user's viewpoint, or may be installed in every type display or the like in order to project a user.

このほか、情報処理装置100は、ハードディスク等の大容量外部記憶装置を用いて、ROM 102、RAM 103、外部メモリ106、DVD−ROMドライブ108に装着されるDVD−ROM等と同じ機能を果たすように構成してもよい。 In addition, the information processing apparatus 100 may use a large capacity external storage device such as a hard disk, ROM 102, RAM 103, to fulfill the same function as the DVD-ROM or the like mounted on the external memory 106, DVD-ROM drive 108 it may be configured to.

以上で説明した情報処理装置100は、いわゆる「コンシューマ向けテレビゲーム装置」に相当するものであるが、仮想空間を表示するような画像処理を行うものであれば本発明を実現することができる。 The information processing apparatus 100 described above is equivalent to a so-called "consumer television game device", it is possible to realize the present invention as long as it performs image processing so as to display the virtual space. したがって、携帯電話、携帯ゲーム機器、カラオケ装置、一般的なビジネス用コンピュータなど、種々の計算機上で本発明を実現することが可能である。 Thus, mobile phones, portable game devices, karaoke devices, such as a common business computers, it is possible to implement the present invention in a variety of computer.

たとえば、一般的なコンピュータは、上記情報処理装置100と同様に、CPU、RAM、ROM、DVD−ROMドライブ、及び、NICを備え、情報処理装置100よりも簡易な機能を備えた画像処理部を備え、外部記憶装置としてハードディスクを有する他、フレキシブルディスク、光磁気ディスク、磁気テープ等が利用できるようになっている。 For example, a typical computer, similar to the information processing apparatus 100, CPU, RAM, ROM, DVD-ROM drive, and an NIC, an image processing unit with simpler capabilities than the information processing apparatus 100 comprising, in addition to a hard disk as its external storage device, a flexible disk, a magneto-optical disk, magnetic tape and the like can be used. また、コントローラ105ではなく、キーボードやマウスなどを入力装置として利用する。 Further, instead of the controller 105 utilizes a keyboard and a mouse as an input device.

図2は、本発明の実施形態の一つに係る拡張現実表示装置であって、上記情報処理装置100上に実現される拡張現実表示装置の概要構成を示す説明図である。 Figure 2 is a augmented reality display device according to one embodiment of the present invention, is an explanatory diagram showing a schematic configuration of the augmented reality display to be realized on the information processing apparatus 100. 以下、本図を参照して説明する。 Hereinafter, explanation will be made with reference to FIG.

本実施形態の拡張現実表示装置201は、撮影部203、推定部204、計算部205、変換部206、描画部207、表示部208、記憶部209、を備える。 Augmented reality display device 201 of this embodiment includes imaging unit 203, estimation unit 204, calculation unit 205, conversion unit 206, rendering unit 207, a display unit 208, storage unit 209, a. また、典型的には拡張現実表示装置201は、マーカ202と共に提供又は販売等される。 Also, typically extend to reality display device 201 is provided or sold, etc. with markers 202.

マーカ202は、所定の模様が描かれ、ユーザにより、映像上で仮想物体を表示させる場所に配置される。 Marker 202 is predetermined pattern is drawn, by the user, it is disposed in a location to display a virtual object on the image. マーカ202に描かれている模様及び模様に対応づけられるオブジェクトは、記憶部209に予め登録される。 Objects to be associated to the pattern and the pattern depicted in marker 202 is previously registered in the storage unit 209. マーカ202の模様とオブジェクトの対応関係を表にした例を図3に示す。 The correspondence between the pattern of the marker 202 and the object shown in FIG. 3 an example of the table. 模様は描画するオブジェクトの向きを判別するため非対称とする。 Pattern is asymmetric in order to determine the orientation of the object to be drawn. オブジェクトは3次元構造を有するとする。 Object is to have a three-dimensional structure. また、記憶部209には、マーカ202に使用される色彩及びマーカ202に対応づけられたオブジェクトの色彩情報等が保存されている。 Also, the storage unit 209, such as color information of the object associated with the color and the marker 202 is used in the marker 202 is stored.

図4にマーカの例を示す。 An example of a marker in FIG. 図4(a)に示す例では、マーカにはL字型の模様が描かれ、白と黒の2色のみが使用されている。 In the example shown in FIG. 4 (a), the marker is drawn L-shaped pattern, only two colors of white and black are used. この模様により、対応づけられているオブジェクトが判別され、模様の向きにより、オブジェクトを描画させる向きが決まる。 This pattern is discriminated objects that are correlated, the orientation pattern, determines the direction to draw the object. マーカの模様の色彩に、オブジェクトの色彩の平均の色又は最頻値の色を使用しても良い。 The color of the pattern of the marker, may be used the color of the color or the mode of the average of the color of the object. さらに、図4(b)に示すように、数種類の色を用いてもよい。 Furthermore, as shown in FIG. 4 (b), it may be used several kinds of colors. また、マーカには色彩情報以外にも、表示されるオブジェクトの情報(キャラクター等)を記してもよい。 In addition to the color information in the marker may also wrote information of the object that is to be displayed (the character, etc.).

撮影部203は、マーカ202が配置された現実世界の様子を撮影し、画像信号を推定部204及び計算部205に送る。 Capturing unit 203 captures the state of the real world which the marker 202 is disposed, and sends an image signal to the estimating unit 204 and the calculating unit 205. 例えば、撮影部203はユーザが装着するHMDに備え付けられ、ユーザが見ている向きの現実世界を撮影する。 For example, the imaging unit 203 is equipped on the HMD worn by the user, to shoot the real world of the direction in which the user is viewing. したがって、CPU 101は、カメラ112と協働して撮影部203として機能する。 Thus, CPU 101 serves as a camera 112 in cooperation with the imaging unit 203.

推定部204は、撮影部203により撮影された画像信号を受け取り、画像上のマーカ202の位置の推定及びマーカ202に描かれた模様の識別を行う。 Estimating unit 204 receives the image signal photographed by the photographing unit 203 performs estimation and identification of drawn patterns in the marker 202 in the position of the marker 202 on the image. 推定部204は、まず撮影部203により撮影された映像からマーカ202を検索し、マーカ画像を抽出する。 Estimating unit 204 first retrieves the marker 202 from the captured image by the imaging unit 203, extracts a marker image. 抽出されたマーカ画像からマーカ202の座標情報を求める。 Obtaining the coordinate information of the marker 202 from the extracted marker image. 次に、抽出されたマーカ画像の模様と記憶部209に登録されている模様とのマッチングを行い、マーカ202に描かれた模様を識別し、模様の向きを求める。 Next, the matching pattern of the extracted marker image and the pattern that is registered in the storage unit 209, identifies the drawn pattern on the marker 202 to determine the orientation of the pattern. 推定部204は、推定されたマーカ202の位置、識別された模様及びその向きの情報を、計算部205及び描画部207に送る。 Estimation unit 204, the estimated position of the marker 202, the information of the identified pattern and its orientation, and sends the calculation unit 205 and the rendering unit 207. 例えば、図2の現実世界210を撮影した場合、テーブルの上の花瓶の横にあるマーカ画像が抽出され、マーカ202の四つの頂点の2次元座標が求められる。 For example, when photographing the real world 210 of FIG. 2, the marker image at the side of the vase on the table are extracted, the two-dimensional coordinates of the four vertices of the marker 202 is obtained. 次に、抽出されたマーカ202は図4(a)の模様を有するマーカと判定され、マーカ202の模様は正面を向いていると推定される。 Then, the marker 202 that has been extracted is determined that a marker having a pattern of FIG. 4 (a), the pattern of the marker 202 is estimated to face the front. したがって、CPU 101はRAM 103と協働し、推定部204として機能する。 Accordingly, CPU 101 cooperates with the RAM 103, functions as estimating unit 204.

計算部205は、撮影部203からの画像信号と、推定部204からマーカ202の位置、模様及びその向きの情報と、を受け取り、記憶部209に保存されているマーカ202の色彩情報を参照して変換パラメータを計算する。 Calculation unit 205, an image signal from the imaging unit 203, the position of the marker 202 from the estimator 204 receives the pattern and orientation information, and refers to the color information of the marker 202 that are stored in the storage unit 209 Te to calculate the transformation parameters. 例えば、計算部205は、画像信号、マーカ202の位置、模様及び向きの情報から、マーカ202の模様及び模様以外のRGB値を取得し、記憶部209に保存されているマーカ202の模様及び模様以外のRGB値との比を求めることにより、変換パラメータを得る。 For example, calculation unit 205, the image signal, the position of the marker 202 from the information pattern and orientation to obtain the RGB values ​​other than the pattern and the pattern of the marker 202, the pattern and the pattern of the marker 202 that are stored in the storage unit 209 by determining the ratio between the RGB values ​​other than, obtaining transformation parameters. なお、RGB値の代わりに、色相、彩度、明度により色を表現するHSB値を用いてもよい。 Instead of RGB values, hue, saturation, may be used HSB values ​​representing colors by lightness. 計算部205は、求めた変換パラメータ及びマーカ202の模様情報を変換部206に送る。 Calculation unit 205, sends the pattern information of the transformation parameters and the marker 202 obtained in the conversion unit 206. したがって、CPU 101は計算部205として機能する。 Accordingly, CPU 101 functions as a calculation unit 205.

例えば、図4(a)のマーカが現実世界210に配置され、模様以外の白色部分が照明等によりオレンジがかったとする。 For example, the marker of FIGS. 4 (a) is arranged in the real world 210, a white portion other than the pattern and orangish by lighting or the like. 画像信号とマーカ202の位置及び向きの情報を基づいて、マーカ202の模様以外の部分のRGB値を検出する(例えば、R値=r、G値=g、B値=b、とする)。 Based on position and orientation information of the image signal and the marker 202, for detecting the RGB values ​​in the portion other than the pattern of the marker 202 (e.g., R value = r, G value = g, B value = b, a). 一方、記憶部209に保存されているマーカ202の色彩情報を取得する。 On the other hand, it acquires color information of the marker 202 that are stored in the storage unit 209. マーカ202の模様以外の部分は、元は白色なので、R値=255、G値=255、B値=255、となる。 Portion other than the pattern of the marker 202, the original is so white that, R value = 255, G value = 255, B value = 255, and becomes. 両者のRGB値の比を求め(R:r/255、G:g/255、B:b/255)、その値をRGB値の変換パラメータとする。 It obtains the ratio of both the RGB values ​​(R: r / 255, G: g / 255, B: b / 255), to the value and the conversion parameter of the RGB values. また、図4(b)のマーカを用いて変換パラメータを計算する場合は、各色の変換パラメータを求め、オブジェクトの色彩を変換する際に、最も適した変換パラメータを選択するようにしてもよい。 Also, when calculating the transformation parameters using the marker of FIG. 4 (b), obtains the transformation parameters of each color, in converting the color of an object, it may be selected transformation parameters most suitable.

変換部206は、計算部205より求められた変換パラメータ及び模様情報を受け取り、変換パラメータに基づいてオブジェクトの色を変換する。 Conversion unit 206 receives the transformation parameters and the pattern information obtained from the calculation unit 205 converts the color of the object based on the conversion parameter. 変換部206は、受け取った模様情報に対応づけられているオブジェクトの色彩情報を記憶部209から読み込み、オブジェクトの色に対して変換パラメータを用いて変換を行う。 Conversion unit 206 reads the color information of that associated with the received pattern information object from the storage unit 209, performs conversion using the conversion parameter to the color of the object. 変換後の色彩情報を描画部207に送る。 Send a color information of the converted drawing unit 207. したがって、CPU 101は画像処理部107と協働し、変換部206として機能する。 Accordingly, CPU 101 cooperates with the image processing unit 107 functions as a conversion unit 206.

例えば、変換パラメータを、R:r/255、G:g/255、B:b/255、とし、オブジェクトの元の色のRGB値を、R値=r'、G値=g'、B値=b'とすると、変換後のオブジェクトのRGB値は、R値=(r/255)r'、G値=(g/255)g'、B値=(b/255)b'、と求められる。 For example, the transformation parameter, R: r / 255, G: g / 255, B: b / 255, and then, the RGB value of the original color of the object, R value = r ', G value = g', B value = 'When, RGB values ​​of the object after conversion, R value = (r / 255) r' b, G value = (g / 255) g ', B value = (b / 255) b', the calculated It is. また、図4(b)のマーカから変換パラメータを求め、変換する元の色が青色に近い色の場合は、青色の模様部分のRGB値を用いて求めた変換パラメータで変換するようにしてもよい。 Also, determine the transformation parameters from the marker of FIG. 4 (b), if the original color to be converted is a color close to blue, be converted by the conversion parameter obtained by using the RGB values ​​of the blue patterned portions good.

描画部207は、推定部204からマーカの位置、及び識別されたマーカ202の模様及びその向きの情報を、変換部206から変換後のオブジェクトの色彩情報を受け取る。 Rendering unit 207, the position of the estimation unit 204 markers, and the pattern and information of the orientation of the identified marker 202, receives the color information of the converted object from the conversion unit 206. 描画部207は、マーカ202の模様からオブジェクトの形状情報を読み込み、マーカ202の座標の位置に、変換部206で変換された色彩でオブジェクトを描画する。 Drawing unit 207 reads the pattern from the object shape information of the marker 202, the position coordinates of the markers 202, to draw an object in the converted color conversion unit 206. さらに、マーカ202の模様の向きに対応するように、オブジェクトの向きを合わせる。 Furthermore, so as to correspond to the orientation of the pattern of the marker 202, orient the object. 描画部207は、描画されたオブジェクトの画像情報を表示部208に送る。 Drawing unit 207 sends the image information of the drawing object on the display unit 208. したがって、CPU 101は画像処理部107と協働し、描画部207として機能する。 Accordingly, CPU 101 cooperates with the image processing unit 107 functions as a rendering unit 207.

表示部208は、描画部207からのオブジェクト画像情報を受け取り、現実世界210の映像上に重畳した画像をモニタ111に表示する。 Display unit 208 receives the object image information from the drawing unit 207 displays an image superimposed on the video image of the real world 210 on the monitor 111. したがって、CPU 101は画像処理部107及びモニタ111と協働し、表示部208として機能する。 Accordingly, CPU 101 cooperates with the image processing section 107 and the monitor 111 functions as the display unit 208.

記憶部209は、例えば図3のマーカとオブジェクトの対応関係を示すリストや、マーカ及びオブジェクトの色彩情報を記憶する。 Storage unit 209, for example, a list showing the correspondence between the marker and the object of Figure 3, stores the color information of the marker and the object. 記憶部209が記憶した情報は、推定部204、計算部205、変換部206、及び描画部207によって参照される。 Information storage unit 209 stores the estimated portion 204, calculation unit 205, is referenced by the conversion unit 206, and the drawing unit 207. したがって、CPU 101はRAM103と協働し、記憶部209として機能する。 Accordingly, CPU 101 cooperates with the RAM 103, functions as a storage unit 209.

図5は、本拡張現実表示装置201にて実行される拡張現実表示の流れを示すフローチャートである。 Figure 5 is a flowchart illustrating an augmented reality display of flow executed by the augmented reality display device 201. 以下、本図を参照して説明する。 Hereinafter, explanation will be made with reference to FIG.

ユーザによる撮影開始の指示等によって、撮影部203による撮影が開始される(ステップS501)。 By an instruction or the like of the photographing start by the user, imaging by the photographing unit 203 is started (step S501). ここで、記憶部209に登録されている図4(a)のマーカが照明によってオレンジ色に映し出された例を図6に示す。 Here, an example in which the marker is displayed in orange by the illumination of FIG. 4 which is registered in the storage unit 209 (a) shown in FIG.

推定部204は撮影部203からの画像信号を受け付け、現実世界の画像610上のマーカ202の位置座標を推定する(ステップS502)。 Estimating unit 204 accepts an image signal from the imaging unit 203, estimates the coordinates of the markers 202 on the image 610 of the real world (step S502). 次に、推定部204は、マーカ202に描かれているL字型の模様を検出し、記憶部209に登録されている模様とのマッチングを行う。 Then, the estimation unit 204 detects an L-shaped pattern is drawn on the marker 202, to match against the pattern that is registered in the storage unit 209. これによりマーカ202に描かれた模様を識別し、さらに登録されているマーカの向きと比較して、L字型の模様の向きを求める(ステップS503)。 Thereby identifying a drawn pattern on the marker 202, further as compared to that are registered orientation of the marker, determining the orientation of the L-shaped pattern (step S503). 記憶部209に登録されている図4(a)のマーカより、現実世界の画像610のマーカ202は正面を向いていると推定される。 Than the marker of FIG. 4 which is registered in the storage unit 209 (a), the marker 202 of the image 610 of the real world is estimated to face the front.

計算部205は、マーカ202の色彩を判別し、予め登録されているマーカの色彩情報を記憶部209から読み込む。 Calculation unit 205 determines the color of the marker 202, reads the color information of the marker that is registered in advance from the storage unit 209. 現実世界の画像610の場合、模様以外に使用されている色は“オレンジ色”と判別される。 In the case of the image 610 of the real world, the color that has been used for purposes other than pattern is determined that the "orange". また、マーカ202の模様から予め登録されているマーカの模様以外の色は“白色”であると判別される。 Also, colors other than the pattern of the marker that is registered in advance from the pattern of the marker 202 is determined to be "white". 次に、登録されているマーカの色と、登録されているマーカの色から変化した部分の色の、RGB値の比を求め、変換パラメータを計算する(ステップS504)。 Then, a marker that is registered color, the color of the portion changes from the color of the marker which is registered obtains a ratio of RGB values, it calculates the conversion parameter (step S504).

変換部206は、マーカ202に対応付けられている元のオブジェクトの色(ここでは“白色”とする)を、計算部205で求められた変換パラメータを用いて変更する(ステップS505)。 Conversion unit 206, its associated with the original color of the object is the marker 202 (here, the "white"), modified using the transformation parameters calculated by the calculation unit 205 (step S505). マーカ202に対応づけるオブジェクトの色は“オレンジ色”と変更される。 Color of the object to be associated with the marker 202 is changed to "orange".

描画部207は、推定部204で求められたマーカ202の位置座標及び模様の向きから、オブジェクトを画像上の所定の位置及び向きに配置する。 Rendering unit 207, from the direction of the position coordinates and the pattern of the marker 202 obtained by the estimating unit 204, placing the object in a predetermined position and orientation of the image. マーカ202の場合は、図7のオブジェクト711のように、マーカ202の位置に正面を向いて配置される。 If the marker 202, like the object 711 in FIG. 7, are disposed facing the front on the position of the marker 202. さらに、変換部206で求められたオブジェクトの色彩情報に基づいて、オブジェクト画像を描画する(ステップS506)。 Furthermore, based on the color information of the object obtained by the conversion unit 206 draws the object image (step S506). マーカ202の場合は、図8のオブジェクト811のように“オレンジ色”に描画される。 If the marker 202 is drawn on the "orange" as the object 811 of Figure 8.

表示部208は、描画部207で描画されたオブジェクト画像を現実世界の画像610に重畳し、図8の画像をモニタ111に表示させる(ステップS507)。 Display unit 208 superimposes the drawn object image drawing unit 207 to the image 610 of the real world, and displays the image in Figure 8 on the monitor 111 (step S507).

また、図4(a)のマーカが向きを変えて配置され、暗い照明の元で灰色に映し出された例を図9に示す。 Further, disposed marker by changing the orientation of FIG. 4 (a), it shows an example in which projected gray dark illumination source in FIG.

この場合、推定部204は、現実世界の画像910のマーカ902と登録されているマーカの向きと比較して、マーカ902は左45度の方向に向いていると推定する(ステップS503)。 In this case, the estimation unit 204, as compared to the orientation of the markers are registered with the marker 902 of the image 910 of the real world, the marker 902 is estimated to be oriented in the direction of 45 degrees to the left (step S503). 次に、計算部205は、現実世界の画像910のマーカは“灰色”と判別し、判別された色と登録されているマーカの色から変換パラメータを計算する(ステップS504)。 Then, calculation section 205, the marker image 910 of the real world is determined that "gray", calculates the transformation parameters from the color of the marker which is registered with the determined color (step S504). 変換部206は、計算部205で求められた変換パラメータを用いて、マーカ902に対応づけるオブジェクトの色を“灰色”に変更する(ステップS505)。 Conversion unit 206, by using the transformation parameters determined by the calculation unit 205 is changed to "gray" color of associating objects to the marker 902 (step S505). 描画部207は、図10のオブジェクト1011のように、マーカ902の位置に左45度を向いて配置し、変換部206で求められたオブジェクトの色彩情報に基づいて、図11のオブジェクト1111のように“灰色”に描画する(ステップS506)。 Rendering unit 207, like the object 1011 in FIG. 10, are arranged facing 45 degrees to the left to the position of the marker 902, on the basis of the color information of the object obtained by the conversion unit 206, as object 1111 in FIG. 11 to draw on the "gray" (step S506). 表示部208は、描画部207で描画されたオブジェクト画像を現実世界の画像910に重畳し、図11の画像をモニタ111に表示させる(ステップS507)。 Display unit 208 superimposes the drawn object image drawing unit 207 to the image 910 of the real world, and displays the image of FIG. 11 on the monitor 111 (step S507).

本実施形態では、現実世界に配置されたマーカの色彩情報に基づいて、映像上で現実世界に重畳する仮想物体の色を変換するので、色における違和感を減少させることができる。 In the present embodiment, based on the color information of the deployed marker in the real world, so to convert the color of the virtual object to be superimposed on the real world on the image, it is possible to reduce the uncomfortable feeling in the color. また、本実施形態では、マーカの模様の色彩をマーカに対応づけられるオブジェクトの色彩の平均又は最頻値することにより、オブジェクトに使用される色が現実世界で配置された際に変化した色を計測することができるので、色変換精度を上げることができる。 Further, in the present embodiment, by averaging or mode of color of an object to be associated with the color of the pattern of the marker in the marker, measuring a color change when the colors used in the object is placed in the real world it is possible to, it is possible to increase the color conversion accuracy.

以上説明したように、本発明によれば、現実世界の映像と仮想物体の映像を調和させるために、仮想物体色調を補正するのに好適な拡張現実表示装置、拡張現実表示方法、ならびにプログラムを提供することができる。 As described above, according to the present invention, in order to harmonize with the real world image the image of the virtual object, suitable augmented reality display device to correct the virtual object color, augmented reality display method, and a program it is possible to provide.

100 情報処理装置101 CPU 100 information processing device 101 CPU
102 ROM 102 ROM
103 RAM 103 RAM
104 インターフェイス105 コントローラ106 外部メモリ107 画像処理部108 DVD−ROMドライブ109 NIC 104 interface 105 controller 106 external memory 107 image processor 108 DVD-ROM drive 109 NIC
110 音声処理部111 モニタ112 カメラ201 拡張現実表示装置202,902 マーカ203 撮影部204 推定部205 計算部206 変換部207 描画部208 表示部209 記憶部210 現実世界610 マーカ202が配置された現実世界の画像710 マーカ202に対応づけられた、色変換前のオブジェクトを表示した画像711 マーカ202に対応づけられた色変換前のオブジェクト810 マーカ202に対応づけられた、色変換後のオブジェクトを表示した画像811 マーカ202に対応づけられた色変換後のオブジェクト910 マーカ902が配置された現実世界の画像1010 マーカ902に対応づけられた、色変換前のオブジェクトを表示した画像1011 マーカ902に対応づけられた色変換前のオブジェ 110 real world audio processing unit 111 monitor 112 camera 201 augmented reality display device 202,902 marker 203 imaging unit 204 estimating unit 205 computing unit 206 conversion unit 207 rendering unit 208 display unit 209 storage unit 210 the real world 610 markers 202 are disposed associated with the image 710 marker 202, associated with the object 810 marker 202 before color conversion associated with the image 711 marker 202 to display the object before color conversion, and display the object after the color conversion object 910 marker 902 after color conversion associated with the image 811 marker 202 is associated with the image 1010 marker 902 of the deployed real world, associated with the image 1011 marker 902 to display the object before color conversion color before conversion of objects ト1110 マーカ902に対応づけられた、色変換後のオブジェクトを表示した画像1111 マーカ902に対応づけられた色変換後のオブジェクト Associated with the preparative 1110 marker 902, the object of the color conversion associated with the image 1111 marker 902 to display the object after the color conversion

Claims (4)

  1. オブジェクトが対応づけられるマーカであって、所定の模様が描かれ、当該模様の色彩がオブジェクトの色彩の最頻値である当該マーカが配置された現実世界の様子を撮影する撮影部と、 A marker object is associated, predetermined pattern is drawn, and the imaging unit in which the marker is taking a picture of the deployed real world is a mode of color of color of the pattern object,
    前記撮影部により撮影された画像内におけるマーカの位置を推定する推定部と、 An estimation unit that estimates a position of the marker in the imaging unit by the captured image,
    前記マーカに描かれた模様の色彩から、前記撮影部により撮影された画像内におけるマーカの模様の色彩への変換パラメータを計算する計算部と、 A calculation unit for calculating a conversion parameter to the color pattern of the marker in the from colors drawn pattern on the marker, the image captured by the imaging unit,
    前記マーカに対応づけられる前記オブジェクトの色彩を、前記計算された変換パラメータにより変換する変換部と、 A conversion unit that converts the color of the object to be associated to said marker, by the calculated transformation parameters,
    前記撮影部により撮影された画像内の前記推定された位置に、前記色彩が変換されたオブジェクトを描画する描画部と、 On the estimated position in the image captured by the imaging unit, and a drawing unit that draws the object to the color is converted,
    前記オブジェクトが描画された画像を表示する表示部と、 A display unit for displaying an image in which the object is drawn,
    を備えることを特徴とする拡張現実表示装置。 Augmented reality display device, characterized in that it comprises a.
  2. オブジェクトが対応づけられるマーカであって、所定の模様が描かれ、 当該模様の色彩がオブジェクトの色彩の最頻値であり、現実世界に配置されるマーカと、 A marker object is associated, predetermined pattern is drawn, and the marker color of the pattern is the mode of color of an object, which is arranged in the real world,
    前記マーカが配置された現実世界の様子を撮影する撮影部と、 A photographing unit for photographing a state of the real world that the marker is arranged,
    前記撮影部により撮影された画像内におけるマーカの位置を推定する推定部と、 An estimation unit that estimates a position of the marker in the imaging unit by the captured image,
    前記マーカに描かれた模様の色彩から、前記撮影部により撮影された画像内におけるマーカの模様の色彩への変換パラメータを計算する計算部と、 A calculation unit for calculating a conversion parameter to the color pattern of the marker in the from colors drawn pattern on the marker, the image captured by the imaging unit,
    前記マーカに対応づけられる前記オブジェクトの色彩を、前記計算された変換パラメータにより変換する変換部と、 A conversion unit that converts the color of the object to be associated to said marker, by the calculated transformation parameters,
    前記撮影部により撮影された画像内の前記推定された位置に、前記色彩が変換されたオブジェクトを描画する描画部と、 On the estimated position in the image captured by the imaging unit, and a drawing unit that draws the object to the color is converted,
    前記オブジェクトが描画された画像を表示する表示部と、 A display unit for displaying an image in which the object is drawn,
    を備えることを特徴とする拡張現実表示装置。 Augmented reality display device, characterized in that it comprises a.
  3. 撮影部、推定部、計算部、変換部、描画部、表示部を有する拡張現実表示装置にて実行される拡張現実表示方法であって、 Imaging unit, the estimation unit, calculation unit, conversion unit, the drawing unit, a augmented reality display method performed by augmented reality display device having a display unit,
    前記撮影部が、 オブジェクトが対応づけられるマーカであって、所定の模様が描かれ、当該模様の色彩がオブジェクトの色彩の最頻値である当該マーカが配置された現実世界の様子を撮影する撮影工程と、 Imaging the imaging unit, which a marker object is associated, predetermined pattern is drawn, the color of the pattern to taking a picture of the real world that the mode is a the marker has been placed in the color of the object and a step,
    前記推定部が、前記撮影部により撮影された画像内におけるマーカの位置を推定する推定工程と、 An estimation step of the estimating unit estimates the position of the marker in the taken image by the imaging unit,
    前記計算部が、前記マーカに描かれた模様の色彩から、前記撮影部により撮影された画像内におけるマーカの模様の色彩への変換パラメータを計算する計算工程と、 A calculation step of the calculator is the color of the drawn pattern on the marker, calculating the transformation parameters to the color pattern of the marker in the taken image by the imaging unit,
    前記変換部が、前記マーカに対応づけられるオブジェクトの色彩を、前記計算された変換パラメータにより変換する変換工程と、 A conversion step of the conversion unit, the color of the object to be associated to said marker, is converted by the calculated transformation parameters,
    前記描画部が、前記撮影部により撮影された画像内の前記推定された位置に、前記色彩が変換されたオブジェクトを描画する描画工程と、 The drawing unit is the estimated position of the image captured by the imaging unit, and a drawing step of drawing an object in which the color is converted,
    前記表示部が、前記オブジェクトが描画された画像を表示する表示工程と、 The display unit, and a display step of displaying an image in which the object is drawn,
    を備えることを特徴とする拡張現実表示方法。 Augmented reality display method comprising: a.
  4. コンピュータを、 The computer,
    オブジェクトが対応づけられるマーカであって、所定の模様が描かれ、当該模様の色彩がオブジェクトの色彩の最頻値である当該マーカが配置された現実世界の様子を撮影する撮影部、 A marker object is associated, predetermined pattern is drawn, imaging unit colors of the pattern to taking a picture of the real world that the marker is arranged a mode of color of an object,
    前記撮影部により撮影された画像内におけるマーカの位置を推定する推定部、 Estimation unit that estimates a position of the marker in the captured image by the imaging unit,
    前記マーカに描かれた模様の色彩から、前記撮影部により撮影された画像内におけるマーカの模様の色彩への変換パラメータを計算する計算部、 Calculation unit for calculating the transformation parameters from the color of the drawn pattern on the marker, the color pattern of the marker in the captured image by the imaging unit,
    前記マーカに対応づけられるオブジェクトの色彩を、前記計算された変換パラメータにより変換する変換部、 Converter for converting a color of an object to be associated to said marker, by the calculated transformation parameters,
    前記撮影部により撮影された画像内の前記推定された位置に、前記色彩が変換されたオブジェクトを描画する描画部、 On the estimated position in the taken image by the imaging unit, draws an object that the color is converted,
    前記オブジェクトが描画された画像を表示する表示部、 Display unit for displaying an image in which the object is drawn,
    として機能させることを特徴とするプログラム。 Program for causing to function as.

JP2009011982A 2009-01-22 2009-01-22 Augmented reality display device, augmented reality display method, and program Active JP4834116B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009011982A JP4834116B2 (en) 2009-01-22 2009-01-22 Augmented reality display device, augmented reality display method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009011982A JP4834116B2 (en) 2009-01-22 2009-01-22 Augmented reality display device, augmented reality display method, and program

Publications (2)

Publication Number Publication Date
JP2010170316A true JP2010170316A (en) 2010-08-05
JP4834116B2 true JP4834116B2 (en) 2011-12-14

Family

ID=42702415

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009011982A Active JP4834116B2 (en) 2009-01-22 2009-01-22 Augmented reality display device, augmented reality display method, and program

Country Status (1)

Country Link
JP (1) JP4834116B2 (en)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2355526A3 (en) 2010-01-14 2012-10-31 Nintendo Co., Ltd. Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method
JP5898842B2 (en) 2010-01-14 2016-04-06 任天堂株式会社 Portable information processing apparatus, a portable game device
US8633947B2 (en) 2010-06-02 2014-01-21 Nintendo Co., Ltd. Computer-readable storage medium having stored therein information processing program, information processing apparatus, information processing system, and information processing method
US8384770B2 (en) 2010-06-02 2013-02-26 Nintendo Co., Ltd. Image display system, image display apparatus, and image display method
JP5647819B2 (en) 2010-06-11 2015-01-07 任天堂株式会社 Portable electronic devices
JP2012058968A (en) 2010-09-08 2012-03-22 Namco Bandai Games Inc Program, information storage medium and image generation system
JP5800484B2 (en) * 2010-09-22 2015-10-28 任天堂株式会社 Display control program, a display control device, display control system, and a display control method
JP5739674B2 (en) 2010-09-27 2015-06-24 任天堂株式会社 Information processing program, an information processing apparatus, an information processing system, and information processing method
JP5646263B2 (en) * 2010-09-27 2014-12-24 任天堂株式会社 Image processing program, an image processing apparatus, an image processing system, and image processing method
US8854356B2 (en) 2010-09-28 2014-10-07 Nintendo Co., Ltd. Storage medium having stored therein image processing program, image processing apparatus, image processing system, and image processing method
JP5687881B2 (en) * 2010-11-12 2015-03-25 任天堂株式会社 Display control program, a display control device, display control system, and a display control method
JP5671349B2 (en) * 2011-01-06 2015-02-18 任天堂株式会社 Image processing program, an image processing apparatus, an image processing system, and image processing method
WO2012101778A1 (en) * 2011-01-26 2012-08-02 パイオニア株式会社 Display device, control method, program, and recording medium
JP5377537B2 (en) 2011-02-10 2013-12-25 株式会社エヌ・ティ・ティ・ドコモ Object display device, an object display method and the object display program
JP2012174116A (en) 2011-02-23 2012-09-10 Ntt Docomo Inc Object display device, object display method and object display program
JP5702653B2 (en) * 2011-04-08 2015-04-15 任天堂株式会社 Information processing program, an information processing apparatus, an information processing system, and information processing method
JP5325267B2 (en) * 2011-07-14 2013-10-23 株式会社エヌ・ティ・ティ・ドコモ Object display device, an object display method and the object display program
US8670000B2 (en) * 2011-09-12 2014-03-11 Google Inc. Optical display system and method with virtual image contrast control
JP5821526B2 (en) 2011-10-27 2015-11-24 ソニー株式会社 Image processing apparatus, image processing method, and program
KR20130056529A (en) * 2011-11-22 2013-05-30 삼성전자주식회사 Apparatus and method for providing augmented reality service in portable terminal
JP6318470B2 (en) * 2013-05-15 2018-05-09 ソニー株式会社 Display control device, display control method and a recording medium
US8976191B1 (en) 2014-03-13 2015-03-10 Qualcomm Incorporated Creating a realistic color for a virtual object in an augmented reality environment
JP5937128B2 (en) * 2014-03-17 2016-06-22 富士フイルム株式会社 Augmented Reality provides a system, method and program
WO2016147765A1 (en) * 2015-03-13 2016-09-22 富士フイルム株式会社 Virtual object display system, and display control method and display control program therefor
WO2017217296A1 (en) * 2016-06-16 2017-12-21 株式会社ソニー・インタラクティブエンタテインメント Image processing device

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4032776B2 (en) * 2002-03-04 2008-01-16 ソニー株式会社 Mixed reality display device and method, a storage medium, and computer program
JP3947132B2 (en) * 2003-05-13 2007-07-18 日本電信電話株式会社 Image synthesizing display method, image synthesis display program, and a recording medium recording the image synthesizing display program
ES2325374T3 (en) * 2005-05-03 2009-09-02 Seac02 S.R.L. Augmented reality system with real object identification marker.

Also Published As

Publication number Publication date Type
JP2010170316A (en) 2010-08-05 application

Similar Documents

Publication Publication Date Title
US6885761B2 (en) Method and device for generating a person's portrait, method and device for communications, and computer product
US20120113228A1 (en) Image display system, image display apparatus, and image display method
US6580430B1 (en) Method and apparatus for providing improved fog effects in a graphics system
US8072470B2 (en) System and method for providing a real-time three-dimensional interactive environment
US20100045869A1 (en) Entertainment Device, System, and Method
US20100080485A1 (en) Depth-Based Image Enhancement
US20070273644A1 (en) Personal device with image-acquisition functions for the application of augmented reality resources and method
JP2008510254A (en) Portable augmented reality device and method thereof
US20120075285A1 (en) Storage medium having stored therein image processing program, image processing apparatus, image processing system, and image processing method
US6897865B2 (en) Three-dimensional image processing method and apparatus, readable storage medium storing three-dimensional image processing program and video game system
US20110169853A1 (en) Image processing program, image processing apparatus, image processing method and image processing system
CN101101505A (en) Method and system for implementing three-dimensional enhanced reality
JP2002351603A (en) Portable information processor
US20080107331A1 (en) Album creating apparatus, album creating method and computer readable medium storing thereon program therefor
WO2007135376A2 (en) Control of data processing using cumulative inter-frame motion
US20120262486A1 (en) System and method of user interaction for augmented reality
US20110305368A1 (en) Storage medium having image recognition program stored therein, image recognition apparatus, image recognition system, and image recognition method
JP3702269B2 (en) The image processing apparatus, a computer control method, and program
US20120223968A1 (en) Display processing device, display method, and program
CN1604014A (en) Image display apparatus and method
Taketa et al. Virtual pop-up book based on augmented reality
US20070104360A1 (en) System and method for capturing 3D face
WO2009054619A2 (en) Augmented reality computer device
US20100079388A1 (en) Storage medium storing image processing program for implementing image processing according to input coordinate, and information processing device
JP2004062756A (en) Information-presenting device and information-processing method

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110614

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110628

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110920

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110922

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140930

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250