JP6949475B2 - Image processing equipment, image processing methods and programs - Google Patents

Image processing equipment, image processing methods and programs Download PDF

Info

Publication number
JP6949475B2
JP6949475B2 JP2016229985A JP2016229985A JP6949475B2 JP 6949475 B2 JP6949475 B2 JP 6949475B2 JP 2016229985 A JP2016229985 A JP 2016229985A JP 2016229985 A JP2016229985 A JP 2016229985A JP 6949475 B2 JP6949475 B2 JP 6949475B2
Authority
JP
Japan
Prior art keywords
image
frame
interest
display unit
live
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016229985A
Other languages
Japanese (ja)
Other versions
JP2018087849A (en
Inventor
大 岡▲崎▼
大 岡▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016229985A priority Critical patent/JP6949475B2/en
Publication of JP2018087849A publication Critical patent/JP2018087849A/en
Application granted granted Critical
Publication of JP6949475B2 publication Critical patent/JP6949475B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関する。 The present invention relates to an image processing apparatus, an image processing method and a program.

近年、現実空間と仮想空間とをリアルタイムかつシームレスに融合させる技術として、複合現実感（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が知られている。ＭＲ技術においては、使用者（視聴者）の頭部に装着された頭部装着型表示装置を利用して、使用者にＭＲ空間を体験させることができる。頭部装着型表示装置は、自装置に実装された撮像ユニットが撮像した、若しくは外部装置から入力された現実空間の画像上に、ＣＧ（コンピュータグラフィックス）により描画された仮想空間の画像を合成した合成画像を、表示ユニットに表示する。 In recent years, mixed reality (MR) technology has been known as a technology for seamlessly fusing a real space and a virtual space in real time. In MR technology, a head-mounted display device mounted on the head of a user (viewer) can be used to allow the user to experience the MR space. The head-mounted display device synthesizes a virtual space image drawn by CG (computer graphics) on a real space image captured by an imaging unit mounted on the own device or input from an external device. The combined image is displayed on the display unit.

従来、動画像データにエラーが発生した場合、エラーが発生している画像を補間画像で置き換えて補間する方法が提案されている。特許文献１には、画像にエラーが発生した場合、エラーが発生した画像の全体または画像内のエラー箇所を、過去の画像で置き換えて補間する点が開示されている。また、特許文献２には、ＭＲシステムにおいて、合成画像にエラーが発生し、前後のフレーム間で画像の内容に大きな動きがない場合、エラーが発生した合成画像の全体または画像内のエラー箇所を、直前のフレームの合成画像で置き換える点が開示されている。 Conventionally, when an error occurs in moving image data, a method of replacing the error-occurring image with an interpolated image and interpolating has been proposed. Patent Document 1 discloses that when an error occurs in an image, the entire image in which the error has occurred or the error portion in the image is replaced with a past image and interpolated. Further, in Patent Document 2, when an error occurs in the composite image in the MR system and there is no large movement in the content of the image between the frames before and after, the error portion in the entire composite image or the error portion in the image in which the error occurs is described. , The point of replacing with the composite image of the immediately preceding frame is disclosed.

特許第３３３２５７５号公報Japanese Patent No. 3332575 特開２００８−３０６６０２号公報Japanese Unexamined Patent Publication No. 2008-306602

ＭＲシステムにおいては、広い空間に置かれた使用者がＭＲ空間を体験するために、頭部装着型表示装置とＣＧ画像を生成するＣＧ画像生成装置とを別々の筐体で構成し、装置間で無線通信を行う場合がある。しかしながら、無線通信を介在させた場合、ＣＧ画像の伝送の遅延やエラーが起きる可能性が高くなる。
ＭＲシステムにおいて、背景画像に重畳させるＣＧ画像にエラーが発生した際に、背景画像も一緒に補間画像に置き換えた場合、使用者の頭部の動きに対して画面全体が補間領域となる。このように画面内の補間領域が増えると、使用者に違和感を与えやすい。
また、ＭＲシステムにおいて、合成画像にエラーが発生した際に、過去の合成画像をそのまま補間画像として代用した場合、補間画像と本来表示すべき合成画像と間には内容の差が生じるため、使用者に違和感を与えるおそれがある。
そこで、本発明は、表示すべき画像にエラーが発生した場合であっても、違和感が低減されたＭＲ空間を提示可能とすることを目的としている。 In the MR system, in order for a user placed in a wide space to experience the MR space, a head-mounted display device and a CG image generator that generates a CG image are configured in separate housings, and the devices are used between the devices. There are cases where wireless communication is performed. However, when wireless communication is intervened, there is a high possibility that a delay or error in transmission of a CG image will occur.
In the MR system, when an error occurs in the CG image superimposed on the background image and the background image is also replaced with the interpolated image, the entire screen becomes the interpolated area with respect to the movement of the user's head. When the interpolation area in the screen is increased in this way, it is easy to give the user a sense of discomfort.
Also, in the MR system, when an error occurs in the composite image, if the past composite image is used as the interpolated image as it is, there will be a difference in content between the interpolated image and the composite image that should be displayed, so it is used. There is a risk of giving a sense of discomfort to the person.
Therefore, an object of the present invention is to make it possible to present an MR space in which a sense of discomfort is reduced even when an error occurs in an image to be displayed.

上記課題を解決するために、本発明に係る画像処理装置の一態様は、表示部の視点の位置姿勢に対応した実写画像を時系列上連続して入力する入力手段と、前記入力手段により入力された前記実写画像に基づいて、前記表示部の視点の位置姿勢の動き量を検出する第一の検出手段と、前記表示部の視点の位置姿勢に基づき時系列上連続して生成された、前記表示部に表示されるべき第一のＣＧ画像を取得する取得手段と、前記取得手段により取得された、注目フレームよりも時間的に前のフレームの前記第一のＣＧ画像を補正対象として、前記表示部の視点の位置姿勢の動き量に基づいて幾何変換し、注目フレームの第二のＣＧ画像を生成する生成手段と、注目フレームの前記第一のＣＧ画像に異常が発生しているか否かを判定する判定手段と、前記判定手段により前記異常が発生していないと判定された場合、注目フレームの前記第一のＣＧ画像を当該注目フレームに対応する前記実写画像と合成した合成画像を前記表示部に表示させ、前記判定手段により前記異常が発生していると判定された場合、注目フレームの前記第二のＣＧ画像を当該注目フレームに対応する前記実写画像と合成した合成画像を前記表示部に表示させる表示制御手段と、を備える。 In order to solve the above problems, one aspect of the image processing apparatus according to the present invention is an input means for continuously inputting live images corresponding to the position and orientation of the viewpoint of the display unit in time series, and the input means. Based on the live image, the first detecting means for detecting the amount of movement of the viewpoint position and orientation of the display unit and the time-series continuously generated based on the position and orientation of the viewpoint of the display unit. obtaining means for obtaining a first CG image to be displayed on the display unit, which is acquired by the acquisition unit, the first CG image of a temporally previous frame than the frame of interest as the correction target, Whether or not an abnormality has occurred in the generation means for generating the second CG image of the frame of interest by geometrically transforming based on the amount of movement of the position and orientation of the viewpoint of the display unit and the first CG image of the frame of interest. When the determination means determines whether or not the abnormality has occurred, a composite image obtained by synthesizing the first CG image of the frame of interest with the live image corresponding to the frame of interest is used. When the display unit is displayed and the determination means determines that the abnormality has occurred, a composite image obtained by synthesizing the second CG image of the frame of interest with the live image corresponding to the frame of interest is obtained. A display control means for displaying on the display unit is provided.

本発明によれば、表示すべき画像にエラーが発生した場合であっても、違和感のないＭＲ空間を提示可能とすることができる。 According to the present invention, it is possible to present a comfortable MR space even when an error occurs in an image to be displayed.

第一の実施形態における複合現実感システムの構成例を示す図である。It is a figure which shows the configuration example of the mixed reality system in 1st Embodiment. 画像処理装置のハードウェア構成図である。It is a hardware block diagram of an image processing apparatus. 第一の実施形態の各装置の処理の流れを示すフローチャートである。It is a flowchart which shows the process flow of each apparatus of 1st Embodiment. 第一の実施形態の処理タイミングを示す図である。It is a figure which shows the processing timing of the 1st Embodiment. 第一の実施形態の処理タイミングを示す図である。It is a figure which shows the processing timing of the 1st Embodiment. 第一の実施形態の処理タイミングを示す図である。It is a figure which shows the processing timing of the 1st Embodiment. 第二の実施形態における複合現実感システムの構成例を示す図である。It is a figure which shows the configuration example of the mixed reality system in the 2nd Embodiment. 第二の実施形態における複合現実感システムの変形例を示す図である。It is a figure which shows the modification of the mixed reality system in the 2nd Embodiment. 第三の実施形態における複合現実感システムの構成例を示す図である。It is a figure which shows the configuration example of the mixed reality system in 3rd Embodiment. 第四の実施形態における複合現実感システムの構成例を示す図である。It is a figure which shows the configuration example of the mixed reality system in 4th Embodiment. 第四の実施形態の各装置の処理の流れを示すフローチャートである。It is a flowchart which shows the process flow of each apparatus of 4th Embodiment.

以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正または変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
（第一の実施形態）
図１は、本実施形態における複合現実感システム（ＭＲシステム）１０の構成例を示す図である。本実施形態におけるＭＲシステム１０は、現実空間と仮想空間とを融合した複合現実空間（ＭＲ空間）を使用者（視聴者）に提示するための画像処理システムである。
本実施形態では、ＭＲ空間を体感する使用者の頭部に装着される頭部装着型表示装置（ＨＭＤ）２０を利用して、使用者にＭＲ空間を提示する場合について説明する。本実施形態において、ＨＭＤ２０は、現実空間の画像（実写画像）とコンピュータグラフィックス（ＣＧ）により描画される仮想空間の画像（ＣＧ画像）とを合成した合成画像を使用者に提示可能なビデオシースルー型ＨＭＤである。ＨＭＤ２０は、実写画像とＣＧ画像とを合成して合成画像を生成する画像処理装置３０と、画像処理装置３０により生成された合成画像を表示する表示部４０と、を備える。 Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the accompanying drawings. The embodiments described below are examples of means for realizing the present invention, and should be appropriately modified or changed depending on the configuration of the device to which the present invention is applied and various conditions. It is not limited to the embodiment of.
(First Embodiment)
FIG. 1 is a diagram showing a configuration example of a mixed reality system (MR system) 10 in the present embodiment. The MR system 10 in the present embodiment is an image processing system for presenting a mixed reality space (MR space), which is a fusion of a real space and a virtual space, to a user (viewer).
In the present embodiment, a case where the MR space is presented to the user by using the head-mounted display device (HMD) 20 mounted on the head of the user who experiences the MR space will be described. In the present embodiment, the HMD 20 is a video see-through capable of presenting a composite image obtained by synthesizing a real space image (live-action image) and a virtual space image (CG image) drawn by computer graphics (CG) to the user. Type HMD. The HMD 20 includes an image processing device 30 that synthesizes a live-action image and a CG image to generate a composite image, and a display unit 40 that displays the composite image generated by the image processing device 30.

ＭＲシステム１０は、ＨＭＤ２０と、ＣＧ画像を生成するＣＧ画像生成装置５０と、を備える。ＨＭＤ２０とＣＧ画像生成装置５０とは、ネットワークを介して互いにデータを送信可能に接続されている。ネットワークは、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）、インターネットなどである。なお、ネットワークへの物理的な接続形態は、有線であってもよいし、無線であってもよい。但し、広い空間に置かれた使用者がＭＲ空間を体感するためには、ＨＭＤ２０からネットワークへの接続形態は無線であることが望ましい。
ＨＭＤ２０の画像処理装置３０は、画像取得部３１と、第一のバッファ３２と、第二のバッファ３３と、画像合成部３４と、表示制御部３５と、補間画像生成部３６と、を備える。また、ＣＧ画像生成装置５０は、ＧＭＶ検出部５１と、描画位置算出部５２と、ＣＧ生成部５３と、を備える。 The MR system 10 includes an HMD 20 and a CG image generation device 50 that generates a CG image. The HMD 20 and the CG image generator 50 are connected to each other via a network so as to be able to transmit data. The network includes LAN (Local Area Network), WAN (Wide Area Network), and the Internet. The physical connection form to the network may be wired or wireless. However, in order for a user placed in a wide space to experience the MR space, it is desirable that the connection form from the HMD 20 to the network is wireless.
The image processing device 30 of the HMD 20 includes an image acquisition unit 31, a first buffer 32, a second buffer 33, an image composition unit 34, a display control unit 35, and an interpolation image generation unit 36. Further, the CG image generation device 50 includes a GMV detection unit 51, a drawing position calculation unit 52, and a CG generation unit 53.

画像取得部３１は、使用者の視点に対応するＨＭＤ２０の視点の位置姿勢に対応した画像を時系列上連続して入力する。本実施形態では、画像取得部３１は、使用者の右目、左目それぞれに対応する位置から現実空間を撮像した実写画像を一定周期で入力する。例えば、画像取得部３１は、現実空間を撮像したビデオ映像を１フレームごとにキャプチャし、実写画像として取得することができる。画像取得部３１は、取得した実写画像に、画像の時間情報（同期情報）としてフレーム番号を付加し、ＣＧ画像生成装置５０のＧＭＶ検出部５１に送信する（Ｄ１）。また、画像取得部３１は、フレーム番号を付加した実写画像を、第一のバッファ３２に保存する。
なお、画像取得部３１が実写画像をどこから取得するかについては、特に限定されるものではない。例えば、画像取得部３１は、ＨＭＤ２０に実装された撮像装置や、ネットワークに接続されたサーバ装置、記憶媒体から情報を読み取る装置、ハードディスク装置などから取得することができる。また、画像取得部３１が取得する画像は、ＨＭＤ２０の視点の位置姿勢に対応した画像であれよく、実写画像に限定されない。 The image acquisition unit 31 continuously inputs images corresponding to the position and orientation of the viewpoint of the HMD 20 corresponding to the viewpoint of the user in chronological order. In the present embodiment, the image acquisition unit 31 inputs a live-action image obtained by capturing a real space from a position corresponding to each of the user's right eye and left eye at regular intervals. For example, the image acquisition unit 31 can capture a video image of a real space for each frame and acquire it as a live-action image. The image acquisition unit 31 adds a frame number to the acquired live-action image as time information (synchronization information) of the image, and transmits it to the GMV detection unit 51 of the CG image generation device 50 (D1). Further, the image acquisition unit 31 stores the live-action image to which the frame number is added in the first buffer 32.
The place where the image acquisition unit 31 acquires the live-action image is not particularly limited. For example, the image acquisition unit 31 can acquire an image from an imaging device mounted on the HMD 20, a server device connected to a network, a device that reads information from a storage medium, a hard disk device, and the like. Further, the image acquired by the image acquisition unit 31 may be an image corresponding to the position and orientation of the viewpoint of the HMD 20, and is not limited to the live-action image.

第一のバッファ３２は、画像取得部３１により取得された実写画像を、フレーム番号と共に一時的に保存（格納）する。第二のバッファ３３は、ＣＧ画像生成装置５０のＧＭＶ検出部５１により送信されたＧＭＶ（グローバルモーションベクトル）を保存する。ここで、ＧＭＶは、ＨＭＤ２０の視点の位置姿勢の動き量（変化量）を示す情報である。第二のバッファ３３は、フレーム番号と共にＧＭＶを一時的に保存する。また、第二のバッファ３３は、ＣＧ画像生成装置５０のＣＧ生成部５３により生成されたＣＧ画像をフレーム番号と共に一時的に保存する。 The first buffer 32 temporarily stores (stores) the live-action image acquired by the image acquisition unit 31 together with the frame number. The second buffer 33 stores the GMV (global motion vector) transmitted by the GMV detection unit 51 of the CG image generation device 50. Here, the GMV is information indicating the amount of movement (change amount) of the position and posture of the viewpoint of the HMD 20. The second buffer 33 temporarily stores the GMV together with the frame number. Further, the second buffer 33 temporarily stores the CG image generated by the CG generation unit 53 of the CG image generation device 50 together with the frame number.

画像合成部３４は、実写画像とＣＧ画像とを合成した合成画像（ＭＲ画像）を生成する。本実施形態では、画像合成部３４は、注目フレームの合成画像を生成する際に、注目フレームのＣＧ画像に異常が発生しているか否かを判定する。ここで、ＣＧ画像に異常が発生している状態とは、注目フレームの合成画像を生成するタイミングにおいて、注目フレームのＣＧ画像が合成画像の生成に使用できない状態である。例えば、ＣＧ画像に異常が発生している状態は、ＣＧ画像の取得が同期信号に対して遅延している場合や、ＣＧ画像自体にエラーが発生している場合を含む。 The image composition unit 34 generates a composite image (MR image) in which a live-action image and a CG image are combined. In the present embodiment, the image synthesizing unit 34 determines whether or not an abnormality has occurred in the CG image of the attention frame when generating the composite image of the attention frame. Here, the state in which an abnormality occurs in the CG image is a state in which the CG image of the frame of interest cannot be used for generating the composite image at the timing of generating the composite image of the frame of interest. For example, the state in which the CG image has an abnormality includes the case where the acquisition of the CG image is delayed with respect to the synchronization signal and the case where an error occurs in the CG image itself.

本実施形態では、ＣＧ画像の取得が同期信号に対して遅延している場合に、ＣＧ画像に異常が発生していると判定する例について説明する。具体的には、画像合成部３４は、注目フレームの合成画像を生成するタイミングにおいて、注目フレームのＣＧ画像が第二のバッファ３３に保持されているか否かを判定することで、注目フレームのＣＧ画像に異常が発生しているか否かを判定する。
そして、注目フレームのＣＧ画像が保存されている場合は、第一のバッファ３２に保存された注目フレームの実写画像と、第二のバッファ３３に保存された注目フレームのＣＧ画像とを合成し、合成画像を生成する。一方、注目フレームのＣＧ画像が保存されていない場合は、第一のバッファ３２に保存された注目フレームの実写画像と、補間画像生成部３６により生成された、注目フレームのＣＧ画像を補間するための補間画像とを合成し、合成画像を生成する。 In the present embodiment, an example in which it is determined that an abnormality has occurred in the CG image when the acquisition of the CG image is delayed with respect to the synchronization signal will be described. Specifically, the image synthesizing unit 34 determines whether or not the CG image of the attention frame is held in the second buffer 33 at the timing of generating the composite image of the attention frame, thereby CG of the attention frame. It is determined whether or not an abnormality has occurred in the image.
Then, when the CG image of the attention frame is stored, the live-action image of the attention frame stored in the first buffer 32 and the CG image of the attention frame stored in the second buffer 33 are combined. Generate a composite image. On the other hand, when the CG image of the attention frame is not saved, the live-action image of the attention frame saved in the first buffer 32 and the CG image of the attention frame generated by the interpolation image generation unit 36 are interpolated. The composite image is generated by synthesizing with the interpolated image of.

表示制御部３５は、画像合成部３４により生成された合成画像を表示部４０に表示させる表示制御を行う。
補間画像生成部３６は、第二のバッファ３３に保存された、注目フレームよりも時間的に前で且つ最新のＣＧ画像を補正対象として補正し、注目フレームのＣＧ画像を補間するための補間画像を生成する。具体的には、補間画像生成部３６は、補正対象のＣＧ画像を、当該補正対象のＣＧ画像のフレーム番号に相当する実写画像から注目フレームの実写画像までの間のＧＭＶを加味して幾何変換し、補間画像を生成する。ここで、幾何変換は、平面内の写像、奥行き方向の写像、および空間内の回転の少なくとも１つを含む。
また、補間画像の生成を完了するタイミングは、表示制御部３５により注目フレームの合成画像を表示部４０に表示させるタイミングよりも前、具体的には、画像合成部３４において注目フレームの合成画像を生成するタイミングに間に合うタイミングとする。 The display control unit 35 performs display control for displaying the composite image generated by the image synthesis unit 34 on the display unit 40.
The interpolated image generation unit 36 corrects the latest CG image stored in the second buffer 33, which is time before the frame of interest and is the latest, as a correction target, and the interpolated image for interpolating the CG image of the frame of interest. To generate. Specifically, the interpolated image generation unit 36 geometrically transforms the CG image to be corrected by adding the GMV between the live image corresponding to the frame number of the CG image to be corrected and the live image of the frame of interest. And generate an interpolated image. Here, the geometric transformation includes at least one of a map in a plane, a map in the depth direction, and a rotation in space.
Further, the timing of completing the generation of the interpolated image is prior to the timing of displaying the composite image of the frame of interest on the display unit 40 by the display control unit 35, specifically, the composite image of the frame of interest is displayed in the image composite unit 34. The timing should be in time for the generation.

ＧＭＶ検出部５１は、画像取得部３１から送信された実写画像をもとにＧＭＶを検出し、フレーム番号と共にＨＭＤ２０の画像処理装置３０に送信する（Ｄ２）。また、ＧＭＶ検出部５１は、検出したＧＭＶを描画位置算出部５２に送信する。描画位置算出部５２は、ＧＭＶに基づいてＣＧの描画位置を算出し、算出結果をＣＧ生成部５３に送信する。ＣＧ生成部５３は、ＧＭＶを加味した左右両目用のＣＧ画像をそれぞれ生成し、フレーム番号、描画位置と共にＨＭＤ２０の画像処理装置３０に送信する（Ｄ３）。なお、ＣＧ生成部５３は、ＧＭＶに加えて、光源やその他の環境を考慮してＣＧ画像を生成してもよい。
表示部４０は、画像処理装置３０から送信された合成画像を表示するディスプレイを備える。ここで、上記ディスプレイは、使用者の左右の目にそれぞれ対応して配置することができる。この場合、使用者の左目に対応するディスプレイには左目用の合成画像が表示され、使用者の右目に対応するディスプレイには右目用の合成画像が表示される。また、表示部４０は、ディスプレイ上の画像を眼球に導くための光学系を備えていてもよい。 The GMV detection unit 51 detects the GMV based on the live-action image transmitted from the image acquisition unit 31 and transmits the GMV together with the frame number to the image processing device 30 of the HMD 20 (D2). Further, the GMV detection unit 51 transmits the detected GMV to the drawing position calculation unit 52. The drawing position calculation unit 52 calculates the drawing position of the CG based on the GMV, and transmits the calculation result to the CG generation unit 53. The CG generation unit 53 generates CG images for both the left and right eyes in consideration of GMV, and transmits them to the image processing device 30 of the HMD 20 together with the frame number and the drawing position (D3). In addition to the GMV, the CG generation unit 53 may generate a CG image in consideration of a light source and other environments.
The display unit 40 includes a display for displaying a composite image transmitted from the image processing device 30. Here, the display can be arranged corresponding to the left and right eyes of the user. In this case, the display corresponding to the user's left eye displays the composite image for the left eye, and the display corresponding to the user's right eye displays the composite image for the right eye. Further, the display unit 40 may include an optical system for guiding the image on the display to the eyeball.

図２は、画像処理装置３０のハードウェア構成の一例を示す図である。
画像処理装置３０は、ＣＰＵ３０１と、ＲＡＭ３０２と、ＲＯＭ３０３と、記憶装置３０４と、記憶媒体ドライブ３０５と、インターフェース（Ｉ／Ｆ）３０６と、システムバス３０７と、を備える。
ＣＰＵ３０１は、画像処理装置３０における動作を統括的に制御するプロセッサであり、システムバス３０７を介して、各構成部（３０２〜３０６）を制御する。ＲＡＭ３０２は、記憶装置３０４や記憶媒体ドライブ３０５からロードされたプログラムやデータを一時的に記憶するための領域を有する。さらに、ＲＡＭ３０２は、Ｉ／Ｆ３０６を介して外部装置から受信したデータを一時的に記憶するためのエリアを有する。また、ＲＡＭ３０２は、ＣＰＵ３０１が各処理を実行する際に用いるワークエリアも有する。例えば、ＲＡＭ３０２は、図１の第一のバッファ３２および第二のバッファ３３として機能することができる。 FIG. 2 is a diagram showing an example of the hardware configuration of the image processing device 30.
The image processing device 30 includes a CPU 301, a RAM 302, a ROM 303, a storage device 304, a storage medium drive 305, an interface (I / F) 306, and a system bus 307.
The CPU 301 is a processor that comprehensively controls the operation of the image processing device 30, and controls each component (302 to 306) via the system bus 307. The RAM 302 has an area for temporarily storing programs and data loaded from the storage device 304 and the storage medium drive 305. Further, the RAM 302 has an area for temporarily storing data received from an external device via the I / F 306. The RAM 302 also has a work area used by the CPU 301 to execute each process. For example, the RAM 302 can function as the first buffer 32 and the second buffer 33 of FIG.

ＲＯＭ３０３は、コンピュータの設定データやブートプログラムなどを格納する。記憶装置３０４は、画像処理装置３０が行うものとして説明した上述の各処理をＣＰＵ３０１に実行させるためのプログラムやデータを記憶している。記憶装置３０４に記憶されているプログラムやデータは、ＣＰＵ３０１による制御に従って適宜ＲＡＭ３０２にロードされる。ＣＰＵ３０１は、このロードされたプログラムやデータを用いて処理を実行することで、図１に示す画像処理装置３０の各部の機能を実現することができる。
記憶媒体ドライブ３０５は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記録されたプログラムやデータを読み出したり、係る記憶媒体にプログラムやデータを書き込んだりすることができる。なお、上記において、記憶装置３０４に保存されているものとして説明したプログラムやデータの一部若しくは全部を、この記憶媒体に記録しておいてもよい。記憶媒体ドライブ３０５が記憶媒体から読み出したプログラムやデータは、記憶装置３０４やＲＡＭ３０２に対して出力される。 The ROM 303 stores computer setting data, a boot program, and the like. The storage device 304 stores programs and data for causing the CPU 301 to execute each of the above-described processes described as those performed by the image processing device 30. The programs and data stored in the storage device 304 are appropriately loaded into the RAM 302 according to the control by the CPU 301. The CPU 301 can realize the functions of each part of the image processing device 30 shown in FIG. 1 by executing the process using the loaded program and data.
The storage medium drive 305 can read programs and data recorded on a storage medium such as a CD-ROM or DVD-ROM, and can write programs and data to the storage medium. It should be noted that a part or all of the programs and data described above as being stored in the storage device 304 may be recorded in this storage medium. The programs and data read from the storage medium by the storage medium drive 305 are output to the storage device 304 and the RAM 302.

Ｉ／Ｆ３０６は、外部装置と通信するためのインターフェースである。Ｉ／Ｆ３０６を介して受信したデータは、ＲＡＭ３０２や記憶装置３０４に入力される。
上述したように、図１に示す画像処理装置３０の各部の機能は、ＣＰＵ３０１がプログラムを実行することで実現することができる。ただし、図１に示す画像処理装置３０の各部のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ３０１の制御に基づいて動作する。 The I / F 306 is an interface for communicating with an external device. The data received via the I / F 306 is input to the RAM 302 and the storage device 304.
As described above, the functions of each part of the image processing apparatus 30 shown in FIG. 1 can be realized by the CPU 301 executing the program. However, at least a part of each part of the image processing apparatus 30 shown in FIG. 1 may operate as dedicated hardware. In this case, the dedicated hardware operates under the control of the CPU 301.

なお、ＣＧ画像生成装置５０についても、図２の構成と同様のハードウェア構成を有することができる。この場合、図１に示すＣＧ画像生成装置５０の各部の機能は、ＣＧ画像生成装置５０のＣＰＵがプログラムを実行することで実現することができる。ただし、図１に示すＣＧ画像生成装置５０の各部のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、ＣＧ画像生成装置５０のＣＰＵの制御に基づいて動作する。
つまり、図１に示すＨＭＤ２０およびＣＧ画像生成装置５０を構成するそれぞれのブロックは、目標とする処理速度が得られる範囲であれば、ハードウェア、ソフトウェアどちらによって実現されてもよい。 The CG image generator 50 can also have the same hardware configuration as that shown in FIG. In this case, the functions of each part of the CG image generation device 50 shown in FIG. 1 can be realized by the CPU of the CG image generation device 50 executing a program. However, at least a part of each part of the CG image generation device 50 shown in FIG. 1 may operate as dedicated hardware. In this case, the dedicated hardware operates under the control of the CPU of the CG image generation device 50.
That is, each block constituting the HMD 20 and the CG image generation device 50 shown in FIG. 1 may be realized by either hardware or software as long as the target processing speed can be obtained.

以下、画像処理装置３０およびＣＧ画像生成装置５０において実行される処理の手順について、図３を参照しながら説明する。図３に示す処理は、例えば使用者による指示入力に応じて開始される。ただし、図３の処理の開始タイミングは、上記のタイミングに限らない。
画像処理装置３０およびＣＧ画像生成装置５０は、それぞれＣＰＵが必要なプログラムを読み出して実行することにより、図３に示す処理を実現することができる。ただし、上述したように、図１に示す画像処理装置３０およびＣＧ画像生成装置５０の各要素のうち少なくとも一部が専用のハードウェアとして動作することで図４の処理が実現されるようにしてもよい。この場合、専用のハードウェアは、各装置のＣＰＵの制御に基づいて動作する。なお、以降、アルファベットＳはフローチャートにおけるステップを意味するものとする。 Hereinafter, the procedure of the processing executed by the image processing device 30 and the CG image generation device 50 will be described with reference to FIG. The process shown in FIG. 3 is started, for example, in response to an instruction input by the user. However, the start timing of the process of FIG. 3 is not limited to the above timing.
The image processing device 30 and the CG image generation device 50 can realize the processing shown in FIG. 3 by reading and executing the programs required by the CPU, respectively. However, as described above, the processing of FIG. 4 is realized by operating at least a part of each element of the image processing device 30 and the CG image generation device 50 shown in FIG. 1 as dedicated hardware. May be good. In this case, the dedicated hardware operates under the control of the CPU of each device. Hereinafter, the alphabet S shall mean a step in the flowchart.

まず、ＣＧ画像生成装置５０の処理の流れについて説明する。
Ｓ１において、ＧＭＶ検出部５１は、画像処理装置３０の画像取得部３１から実写画像（Ｄ１）を受信したか否かを判定する。そして、ＧＭＶ検出部５１は、実写画像を受信していないと判定した場合は、実写画像を受信するまで待機し、実写画像を受信するとＳ２に移行する。Ｓ２では、ＧＭＶ検出部５１は、Ｓ１において取得した実写画像を注目フレームの実写画像とし、注目フレームの１つ前のフレームの実写画像と比較して、ＨＭＤの視点の位置姿勢の動き量を検出し、注目フレームのＧＭＶを生成する。ここで、ＨＭＤの視点の位置姿勢の動き量は、画像中の特徴点を検出し、検出した特徴点の移動をフレームにまたがって追跡することにより検出することができる。 First, the processing flow of the CG image generator 50 will be described.
In S1, the GMV detection unit 51 determines whether or not the live-action image (D1) has been received from the image acquisition unit 31 of the image processing device 30. Then, when the GMV detection unit 51 determines that the live-action image has not been received, it waits until the live-action image is received, and when it receives the live-action image, it shifts to S2. In S2, the GMV detection unit 51 uses the live-action image acquired in S1 as the live-action image of the frame of interest, compares it with the live-action image of the frame immediately before the frame of interest, and detects the amount of movement of the position and orientation of the viewpoint of the HMD. Then, the GMV of the frame of interest is generated. Here, the amount of movement of the position and orientation of the viewpoint of the HMD can be detected by detecting the feature points in the image and tracking the movement of the detected feature points across the frame.

Ｓ３では、ＧＭＶ検出部５１は、Ｓ２において生成されたＧＭＶを、注目フレームのフレーム番号と共に画像処理装置３０に送信する（Ｄ２）。画像処理装置３０に送信されたＧＭＶは、フレーム番号と共に第二のバッファ３３に保存される。次にＳ４では、描画位置算出部５２は、Ｓ２において生成されたＧＭＶに基づいてＣＧの描画位置を算出し、ＣＧ生成部５３は、Ｓ２において生成されたＧＭＶに基づいてＣＧ画像を生成する。そして、Ｓ５では、ＣＧ生成部５３は、Ｓ４において生成されたＣＧ画像を、注目フレームのフレーム番号やＣＧの描画位置と共に画像処理装置３０に送信する（Ｄ３）。画像処理装置３０に送信されたＣＧ画像は、フレーム番号やＣＧの描画位置と共に第二のバッファ３３に保存される。
このように、ＣＧ画像生成装置５０は、注目フレームのＧＭＶを検出した後、注目フレームのＣＧ画像を生成し、注目フレームのＧＭＶを先行して注目フレームのＣＧ画像の生成を待たずに画像処理装置３０へ送信する。 In S3, the GMV detection unit 51 transmits the GMV generated in S2 to the image processing device 30 together with the frame number of the frame of interest (D2). The GMV transmitted to the image processing device 30 is stored in the second buffer 33 together with the frame number. Next, in S4, the drawing position calculation unit 52 calculates the drawing position of the CG based on the GMV generated in S2, and the CG generation unit 53 generates a CG image based on the GMV generated in S2. Then, in S5, the CG generation unit 53 transmits the CG image generated in S4 to the image processing device 30 together with the frame number of the frame of interest and the drawing position of the CG (D3). The CG image transmitted to the image processing device 30 is stored in the second buffer 33 together with the frame number and the drawing position of the CG.
In this way, the CG image generation device 50 generates the CG image of the attention frame after detecting the GMV of the attention frame, and performs image processing without waiting for the generation of the CG image of the attention frame in advance of the GMV of the attention frame. It is transmitted to the device 30.

次に、画像処理装置３０の処理の流れについて説明する。
まずＳ１１において、画像取得部３１は、実写画像を取得（キャプチャ）する。次にＳ１２において、画像取得部３１は、Ｓ１１において取得された実写画像をフレーム番号と共にＣＧ画像生成装置５０に送信する（Ｄ１）。また、画像取得部３１は、Ｓ１１において取得された実写画像をフレーム番号と共に第一のバッファ３２に保存する。
Ｓ１３では、補間画像生成部３６は、ＣＧ画像生成装置５０から注目フレームに対応するＧＭＶを受信すると（Ｄ２）、第二のバッファ３３に保存されたＣＧ画像のうち、注目フレームよりも時間的に前で且つ最新のＣＧ画像を補正対象として読み出す。そして、読み出したＣＧ画像を、ＧＭＶに基づいて幾何変換して補間画像を生成する。ここで、幾何変換は、平面内の写像、奥行き方向の写像、および空間内の回転の少なくとも１つを含むことができる。 Next, the processing flow of the image processing apparatus 30 will be described.
First, in S11, the image acquisition unit 31 acquires (captures) a live-action image. Next, in S12, the image acquisition unit 31 transmits the live-action image acquired in S11 to the CG image generation device 50 together with the frame number (D1). Further, the image acquisition unit 31 stores the live-action image acquired in S11 together with the frame number in the first buffer 32.
In S13, when the interpolated image generation unit 36 receives the GMV corresponding to the frame of interest from the CG image generation device 50 (D2), the CG image stored in the second buffer 33 is temporally longer than the frame of interest. The previous and latest CG image is read out as a correction target. Then, the read CG image is geometrically transformed based on GMV to generate an interpolated image. Here, the geometric transformation can include at least one of a map in a plane, a map in the depth direction, and a rotation in space.

ＣＧ画像生成装置５０から画像処理装置３０へのデータの伝送エラー等がなく、正常にＣＧ画像が送信されている限り、上記補正対象は注目フレームの直前のフレームのＣＧ画像である。しかしながら、ＭＲシステム１０においては、ＣＧ画像生成装置５０におけるＣＧ画像の生成処理の遅延や、ＣＧ画像生成装置５０から画像処理装置３０へのデータ伝送の遅延、データ伝送のエラーといったＣＧ画像の異常が発生し得る。つまり、画像処理装置３０においては、ＣＧ画像の受信が同期信号に対して遅れたり、ＣＧ画像を受信できなかったりするフレームが存在する場合がある。 As long as there is no data transmission error from the CG image generation device 50 to the image processing device 30 and the CG image is normally transmitted, the correction target is the CG image of the frame immediately before the frame of interest. However, in the MR system 10, abnormalities in the CG image such as a delay in the CG image generation process in the CG image generator 50, a delay in data transmission from the CG image generator 50 to the image processing device 30, and a data transmission error occur. Can occur. That is, in the image processing device 30, there may be a frame in which the reception of the CG image is delayed with respect to the synchronization signal or the CG image cannot be received.

上述したような異常により注目フレームの直前のフレームのＣＧ画像が第二のバッファ３３に保存されていない場合には、Ｓ１３において補間画像生成部３６は、直前のフレームよりもさらに前のＣＧ画像を補正対象として補間画像を生成する。その場合、補間画像生成部３６は、注目フレームの実写画像のＧＭＶだけでなく、補正対象のＣＧ画像のフレーム番号に対応する実写画像から注目フレームの実写画像までの間のＧＭＶを加味して補間画像を生成する。
なお、本実施形態では、ＧＭＶについては、ＣＧ画像生成装置５０から画像処理装置３０へのデータの伝送エラー等がなく、正常にＧＭＶが送信されているものとして説明する。 When the CG image of the frame immediately before the frame of interest is not stored in the second buffer 33 due to the abnormality as described above, the interpolation image generation unit 36 in S13 displays the CG image of the frame immediately before the frame of interest. Generate an interpolated image as a correction target. In that case, the interpolation image generation unit 36 interpolates by adding not only the GMV of the live-action image of the frame of interest but also the GMV between the live-action image corresponding to the frame number of the CG image to be corrected and the live-action image of the frame of interest. Generate an image.
In the present embodiment, it is assumed that the GMV is normally transmitted without any data transmission error from the CG image generation device 50 to the image processing device 30.

次に、Ｓ１４では、画像合成部３４は、合成画像を生成するタイミング（画像合成タイミング）となったか否かを判定する。ここで、画像合成部３４は、実写画像をキャプチャする周期でタイマを動作させ、タイマ終了を検出することで画像合成タイミングを検出することができる。画像合成部３４は、画像合成タイミングではないと判定した場合には、画像合成タイミングとなるまで待機し、画像合成タイミングとなったことを検出するとＳ１５に移行する。
Ｓ１５では、画像合成部３４は、注目フレーム番号のＣＧ画像が第二のバッファ３３に保存されているか否かを判定する。注目フレーム番号のＣＧ画像（Ｄ３）は、ＣＧ画像の異常が発生していない場合、画像合成タイミングの前に受信され（図３の左向きの点線矢印）、第二のバッファ３３に保存される。しかしながら、ＣＧ画像の異常が発生している場合、注目フレーム番号のＣＧ画像は画像合成タイミングの時点で第二のバッファ３３に保存されていない場合がある（図３の下向きの点線矢印）。なお、画像合成タイミングに遅れて受信したＣＧ画像は、次フレームの補間画像の生成処理（Ｓ１３の処理）において利用可能とするために、第二のバッファ３３に保存される。 Next, in S14, the image synthesizing unit 34 determines whether or not it is the timing to generate the composite image (image synthesizing timing). Here, the image synthesizing unit 34 can detect the image synthesizing timing by operating the timer in the cycle of capturing the live-action image and detecting the end of the timer. When the image synthesizing unit 34 determines that it is not the image synthesizing timing, it waits until the image synthesizing timing is reached, and when it detects that the image synthesizing timing has come, it shifts to S15.
In S15, the image synthesizing unit 34 determines whether or not the CG image of the frame number of interest is stored in the second buffer 33. The CG image (D3) having the frame number of interest is received before the image composition timing (dotted arrow pointing to the left in FIG. 3) and stored in the second buffer 33 when no abnormality has occurred in the CG image. However, when an abnormality occurs in the CG image, the CG image of the frame number of interest may not be stored in the second buffer 33 at the time of the image composition timing (downward dotted arrow in FIG. 3). The CG image received later than the image composition timing is stored in the second buffer 33 so that it can be used in the interpolated image generation process (process of S13) of the next frame.

そこで、画像合成部３４は、Ｓ１５において、第二のバッファ３３に注目フレーム番号のＣＧ画像が保存されているか否かを判定することで、ＣＧ画像に異常が発生しているか否かを判定する。ここでは、ＣＧ画像の取得が、画像合成タイミングを示す同期信号に対して遅延しているか否かを判定することができる。そして、画像合成部３４は、第二のバッファ３３に注目フレーム番号のＣＧ画像が保存されている（ＣＧ画像に異常が発生していない）と判定した場合にはＳ１６に移行する。Ｓ１６では、画像合成部３４は、Ｓ１１において取得された注目フレームの実写画像と、第二のバッファ３３に保存されている注目フレーム番号のＣＧ画像とを合成し、Ｓ１８に移行する。
一方、Ｓ１５において、画像合成部３４が、第二のバッファ３３に注目フレーム番号のＣＧ画像が保存されていない（ＣＧ画像に異常が発生している）と判定した場合、Ｓ１７に移行する。そして、Ｓ１７では、画像合成部３４は、Ｓ１１において取得された注目フレームの実写画像と、Ｓ１３において生成された補間画像とを合成し、Ｓ１８に移行する。
Ｓ１８では、表示制御部３５は、Ｓ１６またはＳ１７において生成された合成画像を表示部４０に表示する表示制御を行う。 Therefore, in S15, the image synthesizing unit 34 determines whether or not an abnormality has occurred in the CG image by determining whether or not the CG image having the frame number of interest is stored in the second buffer 33. .. Here, it can be determined whether or not the acquisition of the CG image is delayed with respect to the synchronization signal indicating the image composition timing. Then, when the image synthesizing unit 34 determines that the CG image having the frame number of interest is stored in the second buffer 33 (no abnormality has occurred in the CG image), the image synthesizing unit 34 shifts to S16. In S16, the image synthesizing unit 34 synthesizes the live-action image of the attention frame acquired in S11 and the CG image of the attention frame number stored in the second buffer 33, and shifts to S18.
On the other hand, in S15, when the image synthesizing unit 34 determines that the CG image of the frame number of interest is not stored in the second buffer 33 (an abnormality has occurred in the CG image), the process proceeds to S17. Then, in S17, the image synthesizing unit 34 synthesizes the live-action image of the frame of interest acquired in S11 and the interpolated image generated in S13, and shifts to S18.
In S18, the display control unit 35 performs display control to display the composite image generated in S16 or S17 on the display unit 40.

以下、図１の各ブロックでの処理タイミングについて、図４〜図６を用いて説明する。図４〜図６は、横軸方向に時間Ｔをとり、上段から順に、画像取得部３１、ＣＧ生成部５３、第二のバッファ３３、画像合成部３４、補間画像生成部３６の処理タイミングを表している。つまり、上段から実写画像（撮像画像）の取得、ＣＧ画像の生成、ＣＧ画像の保存、合成画像の生成、補間画像の生成のタイミングを示している。
これら図４〜図６において、実写画像Ｆ、ＣＧ画像Ｃおよび合成画像Ｓｙの添え字の数字は、フレーム番号に相当している。例えば、図４の点線で囲まれた処理の添え字は「２」である。この点線領域では、フレーム番号＝２の実写画像Ｆ２を用いてＣＧ画像Ｃ２を生成し、実写画像Ｆ２とＣＧ画像Ｃ２とを合成して合成画像Ｓｙ２を生成することを示している。また、ＣＧ画像Ｃ２を補正して生成された補間画像が、補間画像Ｃ２´であることを示している。 Hereinafter, the processing timing in each block of FIG. 1 will be described with reference to FIGS. 4 to 6. In FIGS. 4 to 6, the time T is taken in the horizontal axis direction, and the processing timings of the image acquisition unit 31, the CG generation unit 53, the second buffer 33, the image composition unit 34, and the interpolation image generation unit 36 are set in order from the top. Represents. That is, the timing of acquiring the live-action image (captured image), generating the CG image, saving the CG image, generating the composite image, and generating the interpolated image is shown from the upper row.
In FIGS. 4 to 6, the subscript numbers of the live-action image F, the CG image C, and the composite image Sy correspond to the frame numbers. For example, the subscript of the process surrounded by the dotted line in FIG. 4 is "2". In this dotted line region, it is shown that the CG image C2 is generated using the live-action image F2 having the frame number = 2, and the live-action image F2 and the CG image C2 are combined to generate the composite image Sy2. Further, it is shown that the interpolated image generated by correcting the CG image C2 is the interpolated image C2'.

図４は、データ伝送の遅延により、ＣＧ画像Ｃ３およびＣ４が第二のバッファ３３に保存されるタイミングが、それぞれ合成画像Ｓｙ３およびＳｙ４を生成するタイミングよりも僅かに遅れた場合の処理タイミングを示している。なお、ＣＧ画像Ｃ３およびＣ４は、それぞれ合成画像Ｓｙ４およびＳｙ５を生成するタイミングよりは前に第二のバッファ３３に保存されているものとする。
画像取得部３１は、実写画像Ｆ２をキャプチャすると、キャプチャした実写画像Ｆ２をＧＭＶ検出部５１に送信する。すると、ＧＭＶ検出部５１は、実写画像Ｆ２をもとにＧＭＶを検出し、検出したＧＭＶを画像処理装置３０に送信する。実写画像Ｆ２のＧＭＶを受信した画像処理装置３０は、補間画像生成部３６において、受信したＧＭＶをもとに、第二のバッファ３３に保存されている最新のＣＧ画像を補正し、補間画像を生成する。このとき、第二のバッファ３３にはＣＧ画像Ｃ１が保存されているため、補間画像生成部３６は、ＣＧ画像Ｃ１を補正して補間画像Ｃ１´を生成する。そして、画像合成部３４は、合成画像Ｓｙ２の画像合成タイミングとなるまで待機する。 FIG. 4 shows the processing timing when the timing at which the CG images C3 and C4 are stored in the second buffer 33 is slightly delayed from the timing at which the composite images Sy3 and Sy4 are generated, respectively, due to the delay in data transmission. ing. It is assumed that the CG images C3 and C4 are stored in the second buffer 33 before the timing of generating the composite images Sy4 and Sy5, respectively.
When the image acquisition unit 31 captures the live-action image F2, the image acquisition unit 31 transmits the captured live-action image F2 to the GMV detection unit 51. Then, the GMV detection unit 51 detects the GMV based on the live-action image F2, and transmits the detected GMV to the image processing device 30. The image processing device 30 that has received the GMV of the live-action image F2 corrects the latest CG image stored in the second buffer 33 based on the received GMV in the interpolation image generation unit 36, and produces the interpolated image. Generate. At this time, since the CG image C1 is stored in the second buffer 33, the interpolated image generation unit 36 corrects the CG image C1 to generate the interpolated image C1'. Then, the image synthesizing unit 34 waits until the image synthesizing timing of the composite image Sy2 is reached.

その間、ＣＧ画像生成装置５０は、ＣＧ生成部５３において、実写画像Ｆ２のＧＭＶに基づいてＣＧ画像Ｃ２を生成し、生成したＣＧ画像Ｃ２を画像処理装置３０へ送信する。異常が発生していない場合、画像処理装置３０は、合成画像Ｓｙ２の画像合成タイミングよりも前にＣＧ画像Ｃ２を受信し、第二のバッファ３３にＣＧ画像Ｃ２が保存される。
したがって、合成画像Ｓｙ２の画像合成タイミングでは、画像合成部３４は、実写画像Ｆ２とＣＧ画像Ｃ２とを合成して合成画像Ｓｙ２を生成する。そして、表示制御部３５は、実写画像Ｆ２とＣＧ画像Ｃ２とを合成した合成画像Ｓｙ２を表示部４０に表示させる。このように、画像処理装置３０は、ＨＭＤの視点の位置姿勢に基づいて生成されたＣＧ画像をリアルタイム合成して表示させるので、使用者に違和感のないＭＲ空間を提示することができる。 Meanwhile, the CG image generation device 50 generates the CG image C2 based on the GMV of the live image F2 in the CG generation unit 53, and transmits the generated CG image C2 to the image processing device 30. When no abnormality has occurred, the image processing device 30 receives the CG image C2 before the image composition timing of the composite image Sy2, and the CG image C2 is stored in the second buffer 33.
Therefore, at the image composition timing of the composite image Sy2, the image synthesis unit 34 synthesizes the live-action image F2 and the CG image C2 to generate the composite image Sy2. Then, the display control unit 35 causes the display unit 40 to display the composite image Sy2, which is a combination of the live-action image F2 and the CG image C2. In this way, the image processing device 30 synthesizes and displays the CG image generated based on the position and orientation of the viewpoint of the HMD in real time, so that the user can be presented with a comfortable MR space.

その後、実写画像Ｆ２をキャプチャしてから一定時間が経過すると、画像取得部３１は、実写画像Ｆ３をキャプチャする。そして、同様に、ＧＭＶ検出部５１は実写画像Ｆ３をもとにＧＭＶを検出し、補間画像生成部３６は、実写画像Ｆ３のＧＭＶをもとにＣＧ画像Ｃ２を補正し、補間画像Ｃ２´を生成する。そして、画像合成部３４は、合成画像Ｓｙ３の画像合成タイミングとなるまで待機する。
このとき、データ伝送の遅延により、ＣＧ画像Ｃ３が第二のバッファ３３に保存されるタイミングが、合成画像Ｓｙ３の画像合成タイミングよりも僅かに遅れたものとする。その場合、合成画像Ｓｙ３の画像合成タイミングでは、第二のバッファ３３にＣＧ画像Ｃ３が保存されていないため、画像合成部３４は、実写画像Ｆ３と過去のＣＧ画像Ｃ２を補正して生成された補間画像Ｃ２´とを合成し、合成画像Ｓｙ３を生成する。 After that, when a certain period of time has elapsed after capturing the live-action image F2, the image acquisition unit 31 captures the live-action image F3. Similarly, the GMV detection unit 51 detects the GMV based on the live-action image F3, and the interpolation image generation unit 36 corrects the CG image C2 based on the GMV of the live-action image F3 to generate the interpolated image C2'. Generate. Then, the image synthesizing unit 34 waits until the image synthesizing timing of the composite image Sy3 is reached.
At this time, it is assumed that the timing at which the CG image C3 is stored in the second buffer 33 is slightly delayed from the image composition timing of the composite image Sy3 due to the delay in data transmission. In that case, since the CG image C3 is not stored in the second buffer 33 at the image composition timing of the composite image Sy3, the image synthesis unit 34 is generated by correcting the live image F3 and the past CG image C2. Combined with the interpolated image C2', a composite image Sy3 is generated.

合成画像Ｓｙ３を生成するタイミングよりも僅かに遅れて受信されたＣＧ画像Ｃ３は、第二のバッファ３３に保存される。第二のバッファ３３に保存されたＣＧ画像Ｃ３は、補間画像生成部３６により実写画像Ｆ４のＧＭＶをもとに補正され、補間画像Ｃ３´が生成される。そして、ＣＧ画像Ｃ３と同様のデータ伝送の遅延により、合成画像Ｓｙ４を生成するタイミングにおいて、第二のバッファ３３にＣＧ画像Ｃ４が保存されていない場合、画像合成部３４は、実写画像Ｆ４と補間画像Ｃ３´とを合成して合成画像Ｓｙ４を生成する。 The CG image C3 received slightly later than the timing for generating the composite image Sy3 is stored in the second buffer 33. The CG image C3 stored in the second buffer 33 is corrected by the interpolation image generation unit 36 based on the GMV of the live-action image F4, and the interpolation image C3'is generated. Then, if the CG image C4 is not stored in the second buffer 33 at the timing of generating the composite image Sy4 due to the same data transmission delay as the CG image C3, the image composite unit 34 interpolates with the live image F4. The composite image Sy4 is generated by synthesizing the image C3'.

その後、データ伝送の遅延が解消し、合成画像Ｓｙ５を生成するタイミングにおいて、第二のバッファ３３に正常にＣＧ画像Ｃ５が保存されている場合、画像合成部３４は、実写画像Ｆ５とＣＧ画像Ｃ５とを合成して合成画像Ｓｙ５を生成する。
以上のように、データ伝送の遅延により、画像処理装置３０がＣＧ画像生成装置５０から正常なタイミングでＣＧ画像を取得できない場合には、過去に取得済みの最新のＣＧ画像をＧＭＶに基づいて補正した補間画像を代用する。したがって、本来表示すべきＣＧ画像と内容に差がない補間画像を合成表示することができ、違和感のないＭＲ空間を提示することができる。 After that, when the delay in data transmission is eliminated and the CG image C5 is normally stored in the second buffer 33 at the timing of generating the composite image Sy5, the image synthesis unit 34 causes the live-action image F5 and the CG image C5. And are combined to generate a composite image Sy5.
As described above, when the image processing device 30 cannot acquire the CG image from the CG image generation device 50 at the normal timing due to the delay in data transmission, the latest CG image acquired in the past is corrected based on the GMV. Substitute the interpolated image. Therefore, it is possible to synthesize and display an interpolated image having no difference in content from the CG image that should be originally displayed, and it is possible to present an MR space without a sense of discomfort.

図５は、データ伝送の遅延により、ＣＧ画像Ｃ３が第二のバッファ３３に保存されるタイミングが、合成画像Ｓｙ４を生成するタイミングよりも後になる場合の処理タイミングを示している。
合成画像Ｓｙ３は、図４の例と同様に、実写画像Ｆ３と補間画像Ｃ２´とを合成して生成される。
次に、実写画像Ｆ４がキャプチャされ、実写画像Ｆ４のＧＭＶが検出されると、補間画像生成部３６は、合成画像Ｓｙ４を生成するタイミングよりも前に、補間画像を生成する。このとき、第二のバッファ３３にＣＧ画像Ｃ３は保存されていないため、補間画像生成部３６が生成する補間画像は、ＣＧ画像Ｃ２を、実写画像Ｆ２からＦ４までの間のＧＭＶを加味して補正された補間画像Ｃ２”となる。そして、合成画像Ｓｙ４の画像合成タイミングでは、画像合成部３４は、実写画像Ｆ４と補間画像Ｃ２”とを合成して合成画像Ｓｙ４を生成する。 FIG. 5 shows a processing timing when the timing at which the CG image C3 is stored in the second buffer 33 is later than the timing at which the composite image Sy4 is generated due to the delay in data transmission.
The composite image Sy3 is generated by synthesizing the live-action image F3 and the interpolated image C2', as in the example of FIG.
Next, when the live-action image F4 is captured and the GMV of the live-action image F4 is detected, the interpolated image generation unit 36 generates the interpolated image before the timing of generating the composite image Sy4. At this time, since the CG image C3 is not stored in the second buffer 33, the interpolated image generated by the interpolated image generation unit 36 includes the CG image C2 and the GMV between the live-action images F2 and F4. The corrected interpolated image C2 ”is obtained. Then, at the image synthesizing timing of the composite image Sy4, the image synthesizing unit 34 synthesizes the live-action image F4 and the interpolated image C2 ”to generate the composite image Sy4.

その後、合成画像Ｓｙ４の画像合成タイミングよりも僅かに遅れてＣＧ画像Ｃ３およびＣ４が第二のバッファ３３に保存されたものとする。この場合、実写画像Ｆ５がキャプチャされ、画像処理装置３０がＧＭＶ検出部５１から実写画像Ｆ５のＧＭＶを受信した際には、補間画像生成部３６は、ＣＧ画像Ｃ４を実写画像Ｆ５のＧＭＶに基づいて補正し、補間画像Ｃ４´を生成する。つまり、ＣＧ画像Ｃ３を補正した補間画像Ｃ３´は生成されない。
その後、データ伝送の遅延が解消し、合成画像Ｓｙ５を生成するタイミングよりも前に、第二のバッファ３３に正常にＣＧ画像Ｃ５が保存された場合、画像合成部３４は、実写画像Ｆ５とＣＧ画像Ｃ５とを合成して合成画像Ｓｙ５を生成する。以降の処理は、図４と同様である。 After that, it is assumed that the CG images C3 and C4 are stored in the second buffer 33 slightly later than the image composition timing of the composite image Sy4. In this case, when the live-action image F5 is captured and the image processing device 30 receives the GMV of the live-action image F5 from the GMV detection unit 51, the interpolation image generation unit 36 bases the CG image C4 on the GMV of the live-action image F5. And correct it to generate an interpolated image C4'. That is, the interpolated image C3'corrected by the CG image C3 is not generated.
After that, when the delay in data transmission is eliminated and the CG image C5 is normally stored in the second buffer 33 before the timing of generating the composite image Sy5, the image compositing unit 34 causes the live-action images F5 and CG. The composite image Sy5 is generated by combining with the image C5. Subsequent processing is the same as in FIG.

図６は、データ伝送の遅延により、ＣＧ画像Ｃ３が第二のバッファ３３に保存されるタイミングが、合成画像Ｓｙ３を生成するタイミングよりも僅かに遅れ、さらに、データ伝送のエラーにより、ＣＧ画像Ｃ４が消失した場合の処理タイミングを示している。
合成画像Ｓｙ３は、図４の例と同様に、実写画像Ｆ３と補間画像Ｃ２´とを合成して生成される。また、合成画像Ｓｙ４は、図４の例と同様に、実写画像Ｆ４と補間画像Ｃ３´とを合成して生成される。
次に、実写画像Ｆ５がキャプチャされ、実写画像Ｆ５のＧＭＶが検出されると、補間画像生成部３６は、合成画像Ｓｙ５を生成するタイミングよりも前に、補間画像を生成する。このとき、ＣＧ画像Ｃ４は第二のバッファ３３に保存されていないため、補間画像生成部３６が生成する補間画像は、ＣＧ画像Ｃ３を実写画像Ｆ３からＦ５までの間のＧＭＶを加味して補正された補間画像Ｃ３”となる。 In FIG. 6, the timing at which the CG image C3 is stored in the second buffer 33 is slightly delayed from the timing at which the composite image Sy3 is generated due to the data transmission delay, and the CG image C4 is further delayed due to the data transmission error. Indicates the processing timing when is lost.
The composite image Sy3 is generated by synthesizing the live-action image F3 and the interpolated image C2', as in the example of FIG. Further, the composite image Sy4 is generated by synthesizing the live-action image F4 and the interpolated image C3', as in the example of FIG.
Next, when the live-action image F5 is captured and the GMV of the live-action image F5 is detected, the interpolated image generation unit 36 generates the interpolated image before the timing of generating the composite image Sy5. At this time, since the CG image C4 is not stored in the second buffer 33, the interpolated image generated by the interpolated image generation unit 36 is corrected by adding the GMV between the live-action images F3 and F5 to the CG image C3. The interpolated image C3 ”is obtained.

そして、合成画像Ｓｙ５の画像合成タイミングにおいて、ＣＧ画像Ｃ５が第二のバッファ３３に保存されていない場合には、画像合成部３４は、実写画像Ｆ５と補間画像Ｃ３”とを合成して合成画像Ｓｙ５を生成することになる。図６の例では、合成画像Ｓｙ５の画像合成タイミングにおいて、ＣＧ画像Ｃ５が第二のバッファ３３に保存されているため、画像合成部３４は、実写画像Ｆ５とＣＧ画像Ｃ５とを合成して合成画像Ｓｙ５を生成する。つまり、補間画像Ｃ３”は、このタイミングでは使用されない。以降の処理は、図４と同様である。 Then, when the CG image C5 is not stored in the second buffer 33 at the image composition timing of the composite image Sy5, the image synthesis unit 34 synthesizes the live-action image F5 and the interpolated image C3 "to form a composite image. Sy5 will be generated. In the example of FIG. 6, since the CG image C5 is stored in the second buffer 33 at the image composition timing of the composite image Sy5, the image composition unit 34 has the live-action images F5 and CG. The composite image Sy5 is generated by combining with the image C5. That is, the interpolated image C3 "is not used at this timing. Subsequent processing is the same as in FIG.

以上説明したように、本実施形態における画像処理装置３０は、ＨＭＤ２０の視点の位置姿勢に基づき時系列上連続して生成された、ＨＭＤ２０に表示されるべきＣＧ画像をＣＧ画像生成装置５０から入力する。入力されたＣＧ画像は、時間情報と共に第二のバッファ３３に一時的に保存（格納）される。また、画像処理装置３０は、注目フレームよりも時間的に前のフレームのＣＧ画像を補正対象として、ＨＭＤ２０の視点の位置姿勢の動き量（ＧＭＶ）に基づいて幾何変換し、注目フレームの補間画像を生成する。 As described above, the image processing device 30 in the present embodiment inputs CG images to be displayed on the HMD 20 continuously generated in time series based on the position and orientation of the viewpoint of the HMD 20 from the CG image generation device 50. do. The input CG image is temporarily stored (stored) in the second buffer 33 together with the time information. Further, the image processing device 30 geometrically transforms the CG image of the frame time before the frame of interest as the correction target based on the amount of movement (GMV) of the position and orientation of the viewpoint of the HMD 20, and the interpolated image of the frame of interest. To generate.

さらに、画像処理装置３０は、注目フレームのＣＧ画像に、生成処理の遅延やデータ伝送の遅延、データ伝送のエラーといった異常が発生しているか否かを判定する。そして、画像処理装置３０は、上記異常の判定結果に基づいて、表示部４０に表示させるＣＧ画像を選択する。具体的には、画像処理装置３０は、異常が発生していないと判定された場合、注目フレームのＣＧ画像を表示部４０に表示させ、異常が発生していると判定された場合、注目フレームの補間画像を表示部４０に表示させる。本実施形態では、画像処理装置３０は、現実空間を撮像した実写画像といったＨＭＤ２０の視点の位置姿勢に対応した画像に、上記異常の判定結果に基づいて選択されたＣＧ画像または補間画像を合成して表示部４０に表示させる。 Further, the image processing device 30 determines whether or not an abnormality such as a delay in generation processing, a delay in data transmission, or an error in data transmission has occurred in the CG image of the frame of interest. Then, the image processing device 30 selects a CG image to be displayed on the display unit 40 based on the determination result of the abnormality. Specifically, the image processing device 30 displays the CG image of the frame of interest on the display unit 40 when it is determined that no abnormality has occurred, and when it is determined that an abnormality has occurred, the frame of interest The interpolated image of is displayed on the display unit 40. In the present embodiment, the image processing device 30 synthesizes a CG image or an interpolated image selected based on the determination result of the abnormality with an image corresponding to the position and orientation of the viewpoint of the HMD 20 such as a live-action image captured in the real space. Is displayed on the display unit 40.

つまり、何らかの異常により、画像合成タイミングにおいて注目フレームのＣＧ画像が第二のバッファ３３に保存されていない場合、補間画像を代用して実写画像との合成画像を生成する。ここで、補間画像は、過去に正常に取得したＣＧ画像を、ＨＭＤ２０の視点の位置姿勢の動き量に基づいて幾何変換して補正したＣＧ画像である。また、幾何変換は、平面内の写像、奥行き方向の写像、および空間内の回転の少なくとも１つを含むことができる。
以上のように、画像処理装置３０は、ＣＧ画像に異常が発生した場合、背景画像は実写画像を用い、ＣＧ画像のみ補間画像を用いてＭＲ画像を表示させることができる。つまり、画面内の補間領域をＣＧ画像の表示領域に止めることができる。このように、画面内の補間領域が増えることを抑制することができるので、使用者に与える違和感を抑制することができる。また、上記補間画像は、過去のＣＧ画像をＧＭＶに基づいて補正した、ＨＭＤ２０の視点の位置姿勢に合ったＣＧ画像であり、本来表示すべきＣＧ画像との間に内容の差がないＣＧ画像とすることができる。そのため、補間画像を表示した際の使用者の違和感も抑制することができる。
したがって、通信品質の低い環境や、ＣＧ画像の生成に時間がかかったり処理時間がばらついたりするシステムであっても、使用者に違和感のないＣＧ画像およびＭＲ画像を提供することが可能となる。さらに、合成画像を左目用画像、右目用画像として別系統で生成し、それぞれ左目用表示ユニット、右目用表示ユニットに表示して使用者にステレオ動画像を提供するＭＲシステムにおいては、ステレオ感が損なわれることを防止することもできる。 That is, when the CG image of the frame of interest is not stored in the second buffer 33 at the image composition timing due to some abnormality, the interpolated image is substituted to generate the composite image with the live-action image. Here, the interpolated image is a CG image obtained by geometrically transforming and correcting a CG image normally acquired in the past based on the amount of movement of the position and orientation of the viewpoint of the HMD 20. Geometric transformations can also include at least one of in-plane mapping, depth mapping, and rotation in space.
As described above, when an abnormality occurs in the CG image, the image processing device 30 can display the MR image by using the live-action image as the background image and using the interpolated image only for the CG image. That is, the interpolation area in the screen can be stopped in the display area of the CG image. In this way, it is possible to suppress an increase in the interpolation area in the screen, so that it is possible to suppress a sense of discomfort given to the user. Further, the interpolated image is a CG image in which the past CG image is corrected based on GMV and matches the position and orientation of the viewpoint of the HMD 20, and there is no difference in content from the CG image that should be originally displayed. Can be. Therefore, it is possible to suppress the user's discomfort when displaying the interpolated image.
Therefore, even in an environment with low communication quality or in a system in which it takes time to generate a CG image or the processing time varies, it is possible to provide a CG image and an MR image that do not give a sense of discomfort to the user. Furthermore, in an MR system that generates a composite image as a left-eye image and a right-eye image in separate systems and displays them on the left-eye display unit and the right-eye display unit, respectively, to provide a stereo moving image to the user, a stereo feeling is obtained. It can also be prevented from being damaged.

また、画像処理装置３０は、補間画像の生成に際し、第二のバッファ３３に格納されたＣＧ画像のうち、注目フレームよりも時間的に前で且つ最新のＣＧ画像を補正対象とすることができる。このように、過去の最新のＣＧ画像を補正対象として補間画像を生成すれば、精度良く補間画像を生成することができ、より違和感のないＭＲ空間を提示することができる。
さらに、画像処理装置３０は、補間画像の生成に際し、注目フレームの合成画像を表示部４０に表示させるタイミングよりも前、具体的には、注目フレームの合成画像を生成するタイミング（画像合成タイミング）に間に合うように補間画像の生成を完了させる。これにより、適切にＭＲ画像を提示することができる。 Further, when generating the interpolated image, the image processing device 30 can correct the latest CG image that is time before the frame of interest among the CG images stored in the second buffer 33. .. In this way, if the interpolated image is generated with the latest CG image in the past as the correction target, the interpolated image can be generated with high accuracy, and an MR space with a more comfortable feeling can be presented.
Further, when the image processing device 30 generates the interpolated image, it is prior to the timing of displaying the composite image of the frame of interest on the display unit 40, specifically, the timing of generating the composite image of the frame of interest (image composition timing). Complete the generation of the interpolated image in time. Thereby, the MR image can be appropriately presented.

また、画像処理装置３０は、注目フレームの画像合成タイミングにおいて、第二のバッファ３３に注目フレームのＣＧ画像が格納されていない場合、ＣＧ画像に異常が発生していると判定する。このように、ＣＧ画像が第二のバッファ３３に保存されているか否かを判定することで、ＣＧ画像の取得が同期信号に対して遅延しているか否かを判定することができる。したがって、ＣＧ画像生成装置５０においてＣＧ画像の生成処理に遅延が生じた場合や、ＣＧ画像生成装置５０からのＣＧ画像の伝送に遅延が生じた場合、さらにＣＧ画像の伝送にエラーが生じた場合には、容易かつ適切に上記異常を判定することができる。 Further, the image processing device 30 determines that an abnormality has occurred in the CG image when the CG image of the frame of interest is not stored in the second buffer 33 at the image composition timing of the frame of interest. In this way, by determining whether or not the CG image is stored in the second buffer 33, it is possible to determine whether or not the acquisition of the CG image is delayed with respect to the synchronization signal. Therefore, when there is a delay in the CG image generation process in the CG image generation device 50, when there is a delay in the transmission of the CG image from the CG image generation device 50, or when an error occurs in the transmission of the CG image. The above abnormality can be easily and appropriately determined.

さらにまた、本実施形態におけるＭＲシステム１０においては、ＣＧ画像生成装置５０が、ＨＭＤ２０の視点の位置姿勢の動き量（ＧＭＶ）を検出するＧＭＶ検出部５１と、ＨＭＤ２０の視点の位置姿勢に基づいてＣＧ画像を生成するＣＧ生成部５３と、を備える。そして、ＣＧ画像生成装置５０が、ＧＭＶ検出部５１により検出されたＧＭＶに関する情報と、ＣＧ生成部５３により生成されたＣＧ画像とを画像処理装置３０に対して送信する。
このとき、ＣＧ画像生成装置５０は、ＧＭＶに関する情報とＣＧ画像とのうち、ＧＭＶに関する情報を先行して画像処理装置３０に送信する。したがって、画像処理装置３０は、注目フレームの画像合成タイミングに間に合うように、注目フレームのＧＭＶを受信して、適切に注目フレームの補間画像を生成することができる。 Furthermore, in the MR system 10 of the present embodiment, the CG image generator 50 is based on the GMV detection unit 51 that detects the movement amount (GMV) of the viewpoint position and orientation of the HMD 20 and the position and orientation of the viewpoint of the HMD 20. It includes a CG generation unit 53 that generates a CG image. Then, the CG image generation device 50 transmits the information about the GMV detected by the GMV detection unit 51 and the CG image generated by the CG generation unit 53 to the image processing device 30.
At this time, the CG image generation device 50 transmits the information on the GMV among the information on the GMV and the CG image to the image processing device 30 in advance. Therefore, the image processing device 30 can receive the GMV of the frame of interest in time for the image composition timing of the frame of interest and appropriately generate an interpolated image of the frame of interest.

なお、上記実施形態において、ＧＭＶについては、ＣＧ画像生成装置５０から画像処理装置３０への伝送エラー等がなく、正常に送信されているものとして説明した。しかしながら、ＧＭＶを、確実にＣＧ画像生成装置５０からＨＭＤ２０の画像処理装置３０に伝送するために、データ保証のある（信頼度の高い）プロトコルで通信を行ってもよい。信頼度の高い通信としては、例えばＴＣＰ（Transmission Control Protocol）がある。また、ＣＧ画像の伝送は高速性を要するため、データ保証よりも通信速度を優先させたプロトコルを用いて通信を行ってもよい。通信速度を優先させたプロトコルには、例えばＵＤＰ（User Datagram Protocol）がある。 In the above embodiment, the GMV has been described as being normally transmitted without a transmission error or the like from the CG image generation device 50 to the image processing device 30. However, in order to reliably transmit the GMV from the CG image generation device 50 to the image processing device 30 of the HMD 20, communication may be performed using a data-guaranteed (highly reliable) protocol. As a highly reliable communication, for example, there is TCP (Transmission Control Protocol). Further, since the transmission of the CG image requires high speed, the communication may be performed using a protocol that prioritizes the communication speed over the data guarantee. A protocol that prioritizes communication speed includes, for example, UDP (User Datagram Protocol).

（第二の実施形態）
次に、本発明の第二の実施形態について説明する。
上述した第一の実施形態では、ＣＧ画像生成装置５０においてＧＭＶを検出する場合について説明した。この第二の実施形態では、ＨＭＤ２０においてＧＭＶを検出する場合について説明する。
図７は、本実施形態におけるＭＲシステム１０の構成を示すブロック図である。この図７において、図１と同様の構成を有する部分には図１と同一符号を付し、以下、構成の異なる部分を中心に説明する。 (Second embodiment)
Next, a second embodiment of the present invention will be described.
In the first embodiment described above, the case where the CG image generator 50 detects the GMV has been described. In this second embodiment, the case where GMV is detected in the HMD 20 will be described.
FIG. 7 is a block diagram showing the configuration of the MR system 10 in the present embodiment. In FIG. 7, the portions having the same configuration as that of FIG. 1 are designated by the same reference numerals as those in FIG. 1, and the portions having different configurations will be mainly described below.

ＭＲシステム１０は、ＨＭＤ２０と、ＣＧ画像生成装置５０Ａとを備える。ＨＭＤ２０は、画像処理装置３０Ａと、表示部４０と、を備える。画像処理装置３０Ａは、図１の画像処理装置３０に対し、ＧＭＶ検出部３７が追加された構成を有する。また、第一のバッファ３２ａおよび第二のバッファ３３ａは、図１の第一のバッファ３２および第二のバッファ３３とは保存する情報が異なる。ＣＧ画像生成装置５０Ａは、図１のＣＧ画像生成装置５０におけるＧＭＶ検出部５１を除いた構成を有する。 The MR system 10 includes an HMD 20 and a CG image generator 50A. The HMD 20 includes an image processing device 30A and a display unit 40. The image processing device 30A has a configuration in which a GMV detection unit 37 is added to the image processing device 30 of FIG. Further, the information stored in the first buffer 32a and the second buffer 33a is different from that of the first buffer 32 and the second buffer 33 in FIG. The CG image generation device 50A has a configuration excluding the GMV detection unit 51 in the CG image generation device 50 of FIG.

画像取得部３１により取得された実写画像は、ＧＭＶ検出部３７に送信される。ＧＭＶ検出部３７は、画像取得部３１から入力された実写画像に基づいてＧＭＶを検出する。ＧＭＶの検出方法については、図１のＧＭＶ検出部５１と同様である。そして、ＧＭＶ検出部３７は、実写画像とＧＭＶとをフレーム番号と共に第一のバッファ３２ａに送信する。また、ＧＭＶ検出部３７は、検出したＧＭＶを描画位置算出部５２に送信する。第一のバッファ３２ａは、実写画像とＧＭＶとをフレーム番号と対応付けて保存し、第二のバッファ３３ａは、ＣＧ生成部５３により生成されたＣＧ画像を、フレーム番号および描画位置と共に保存する。 The live-action image acquired by the image acquisition unit 31 is transmitted to the GMV detection unit 37. The GMV detection unit 37 detects the GMV based on the live-action image input from the image acquisition unit 31. The method for detecting GMV is the same as that for the GMV detection unit 51 in FIG. Then, the GMV detection unit 37 transmits the live-action image and the GMV together with the frame number to the first buffer 32a. Further, the GMV detection unit 37 transmits the detected GMV to the drawing position calculation unit 52. The first buffer 32a stores the live-action image and the GMV in association with the frame number, and the second buffer 33a stores the CG image generated by the CG generation unit 53 together with the frame number and the drawing position.

以上のように、本実施形態における画像処理装置３０Ａは、ＨＭＤ２０の視点の位置姿勢に対応した実写画像を時系列上連続して入力し、入力された実写画像に基づいて、ＨＭＤ２０の視点の位置姿勢の動き量（ＧＭＶ）を検出する。ＧＭＶのデータ量は、実写画像のデータ量と比べてはるかに小さい。したがって、ＧＭＶ検出が十分高速に行える場合は、本実施形態のようにＨＭＤ２０にＧＭＶ検出部３７を配置する方が、ＨＭＤ２０からＣＧ画像生成装置５０Ａに伝送するデータのサイズが小さくなる。これにより、実写画像の伝送エラーに起因する画像処理装置３０ＡでのＣＧ画像の取得エラーの発生確率を下げることができ、ＣＧ画像を補間画像で代用する頻度を下げることができる。 As described above, the image processing device 30A in the present embodiment continuously inputs live-action images corresponding to the position and orientation of the viewpoint of the HMD 20 in time series, and based on the input live-action image, the position of the viewpoint of the HMD 20. The amount of posture movement (GMV) is detected. The amount of GMV data is much smaller than the amount of live-action image data. Therefore, when the GMV detection can be performed at a sufficiently high speed, the size of the data transmitted from the HMD 20 to the CG image generator 50A becomes smaller when the GMV detection unit 37 is arranged in the HMD 20 as in the present embodiment. As a result, the probability of occurrence of a CG image acquisition error in the image processing device 30A due to the transmission error of the live-action image can be reduced, and the frequency of substituting the CG image with the interpolated image can be reduced.

なお、上記実施形態において、ＧＭＶ検出部３７は、画像からＧＭＶを検出する場合について説明したが、ジャイロセンサや加速度センサを用いてＨＭＤ２０の位置姿勢の動き量を検出してもよい。この場合のＭＲシステム１０は、図８に示すような構成となる。
画像処理装置３０Ｂは、図７の画像処理装置３０ＡにおけるＧＭＶ検出部３７の代わりに、画像取得部３１からの入力を持たないＧＭＶ検出部３７ａを備える構成を有する。ＧＭＶ検出部３７ａは、ＧＭＶを検出するタイミングに同期して、ジャイロセンサや加速度センサによりＧＭＶを検出し、ＧＭＶをフレーム番号と共にＣＧ画像生成装置５０Ａと第一のバッファ３２ａとに送信する。また、画像取得部３１は、取得した実写画像をフレーム番号と共に第一のバッファ３２ａに送信する。その他の構成および動作については、図７と同様であるため、説明は割愛する。 In the above embodiment, the GMV detection unit 37 has described the case where the GMV is detected from the image, but the movement amount of the position and posture of the HMD 20 may be detected by using a gyro sensor or an acceleration sensor. The MR system 10 in this case has a configuration as shown in FIG.
The image processing device 30B has a configuration in which the GMV detection unit 37a in the image processing device 30A of FIG. 7 is provided with a GMV detection unit 37a that does not have an input from the image acquisition unit 31 instead of the GMV detection unit 37. The GMV detection unit 37a detects the GMV by the gyro sensor or the acceleration sensor in synchronization with the timing of detecting the GMV, and transmits the GMV together with the frame number to the CG image generator 50A and the first buffer 32a. Further, the image acquisition unit 31 transmits the acquired live-action image together with the frame number to the first buffer 32a. Since other configurations and operations are the same as those in FIG. 7, the description thereof will be omitted.

（第三の実施形態）
次に、本発明の第三の実施形態について説明する。
上述した第一および第二の実施形態では、ＨＭＤ２０がビデオシースルー型ＨＭＤであり、実写画像とＣＧ画像とを合成した合成画像を表示する場合について説明した。第三の実施形態では、ＨＭＤ２０が光学シースルー型ＨＭＤであり、透明な画像投影面に、ＣＧ画像のみを投影する場合について説明する。
図９は、本実施形態におけるＭＲシステム１０の構成を示すブロック図である。この図９において、図８と同様の構成を有する部分には図８と同一符号を付し、以下、構成の異なる部分を中心に説明する。 (Third embodiment)
Next, a third embodiment of the present invention will be described.
In the first and second embodiments described above, the case where the HMD 20 is a video see-through type HMD and a composite image obtained by synthesizing a live-action image and a CG image is displayed has been described. In the third embodiment, a case where the HMD 20 is an optical see-through type HMD and only a CG image is projected on a transparent image projection surface will be described.
FIG. 9 is a block diagram showing the configuration of the MR system 10 in the present embodiment. In FIG. 9, the portions having the same configuration as that of FIG. 8 are designated by the same reference numerals as those in FIG. 8, and the portions having different configurations will be mainly described below.

ＭＲシステム１０は、ＨＭＤ２０と、ＣＧ画像生成装置５０Ａとを備える。ＨＭＤ２０は、画像処理装置３０Ｃと、表示部４０と、を備える。本実施形態においては、ＨＭＤ２０は、実写画像をキャプチャする必要がなく、画像処理装置３０Ｃは、図８の画像処理装置３０Ｂが備える画像取得部３１を備えていない。また、画像処理装置３０Ｃは、図８の画像合成部３４の代わりに、表示画像選択部３８を備える。さらに、第一のバッファ３２ｂは、図８の第一のバッファ３２ａとは保存する情報が異なる。第一のバッファ３２ｂは、実写画像を保存する必要がなく、ＧＭＶ検出部３７ａにより検出されたＧＭＶを時間情報と共に保存する。 The MR system 10 includes an HMD 20 and a CG image generator 50A. The HMD 20 includes an image processing device 30C and a display unit 40. In the present embodiment, the HMD 20 does not need to capture a live-action image, and the image processing device 30C does not include the image acquisition unit 31 included in the image processing device 30B of FIG. Further, the image processing device 30C includes a display image selection unit 38 instead of the image composition unit 34 of FIG. Further, the information stored in the first buffer 32b is different from that of the first buffer 32a in FIG. The first buffer 32b does not need to store the live-action image, and stores the GMV detected by the GMV detection unit 37a together with the time information.

表示画像選択部３８は、表示部４０に表示するＣＧ画像を選択する。表示画像選択部３８は、注目フレームのＣＧ画像の表示を行うタイミングに同期して、注目フレームのＣＧ画像に異常が発生しているか否かを判定する。具体的には、表示画像選択部３８は、注目フレームのＣＧ画像を表示するタイミングにおいて、注目フレームに相当するＣＧ画像が第二のバッファ３３ａに保存されているか否かを判定することで、注目フレームのＣＧ画像に異常が発生しているか否かを判定する。
そして、注目フレームのＣＧ画像が保存されている場合は、第二のバッファ３３ａに保存された注目フレームのＣＧ画像を表示画像として選択する。一方、注目フレームのＣＧ画像が保存されていない場合は、補間画像生成部３６により生成された、注目フレームのＣＧ画像を補間する補間画像を表示画像として選択する。 The display image selection unit 38 selects a CG image to be displayed on the display unit 40. The display image selection unit 38 determines whether or not an abnormality has occurred in the CG image of the attention frame in synchronization with the timing of displaying the CG image of the attention frame. Specifically, the display image selection unit 38 determines whether or not the CG image corresponding to the attention frame is stored in the second buffer 33a at the timing of displaying the CG image of the attention frame, thereby paying attention. It is determined whether or not an abnormality has occurred in the CG image of the frame.
Then, when the CG image of the attention frame is stored, the CG image of the attention frame stored in the second buffer 33a is selected as the display image. On the other hand, when the CG image of the frame of interest is not saved, the interpolated image generated by the interpolation image generation unit 36 that interpolates the CG image of the frame of interest is selected as the display image.

なお、本実施形態においては、ＣＧ画像に透過情報を含めておき、画像投影面に投影されるＣＧに、透過情報が画像として反映されるようにすることもできる。また、実写画像に透過情報を含め、外界において実写画像にＣＧ画像を重畳し、使用者に提示するようにしてもよい。
以上により、頭部装着型表示装置の画像投影面が透明で、ＣＧ画像のみを投影する構成のＭＲシステムにおいて、本来表示すべきＣＧ画像に異常が発生した場合であっても、違和感のないＭＲ空間を提示することができる。 In the present embodiment, the transmission information may be included in the CG image so that the transmission information is reflected as an image in the CG projected on the image projection surface. Further, the live-action image may include transparent information, and the CG image may be superimposed on the live-action image and presented to the user in the outside world.
As described above, in an MR system in which the image projection surface of the head-mounted display device is transparent and only the CG image is projected, even if an abnormality occurs in the CG image that should be originally displayed, the MR does not feel uncomfortable. Space can be presented.

（第四の実施形態）
次に、本発明の第四の実施形態について説明する。
上述した第一の実施形態では、ＣＧ画像生成装置５０において検出されたＧＭＶをＨＭＤ２０の画像処理装置３０に送信し、画像処理装置３０における補間画像の生成に用いる場合について説明した。第四の実施形態では、ＣＧ画像生成装置５０におけるＧＭＶ検出とは別に、ＨＭＤ２０において簡易的なＧＭＶを検出する場合について説明する。
図１０は、本実施形態におけるＭＲシステム１０の構成を示すブロック図である。この図１０において、図１と同様の構成を有する部分には図１と同一符号を付し、以下、構成の異なる部分を中心に説明する。 (Fourth Embodiment)
Next, a fourth embodiment of the present invention will be described.
In the first embodiment described above, a case where the GMV detected by the CG image generation device 50 is transmitted to the image processing device 30 of the HMD 20 and used for generating an interpolated image in the image processing device 30 has been described. In the fourth embodiment, a case where a simple GMV is detected in the HMD 20 separately from the GMV detection in the CG image generator 50 will be described.
FIG. 10 is a block diagram showing the configuration of the MR system 10 in the present embodiment. In FIG. 10, the portions having the same configuration as that of FIG. 1 are designated by the same reference numerals as those in FIG. 1, and the portions having different configurations will be mainly described below.

ＭＲシステム１０は、ＨＭＤ２０と、ＣＧ画像生成装置５０とを備える。ＨＭＤ２０は、画像処理装置３０Ｄと、表示部４０と、を備える。画像処理装置３０Ｄは、図１の画像処理装置３０に対し、簡易ＧＭＶ検出部３９が追加された構成を有する。また、第一のバッファ３２ｂは、図１の第一のバッファ３２とは保存する情報が異なる。さらに、補間画像生成部３６ａは、図１の補間画像生成部３６とは補間画像の生成方法が異なる。
簡易ＧＭＶ検出部３９は、画像取得部３１によって取得された実写画像をもとに、簡易的にＨＭＤ２０の位置姿勢の動き量を検出する。本実施形態では、簡易ＧＭＶ検出部３９は、ＨＭＤ２０の視点の上下左右のような２次元方向の動きを簡易検出する。この簡易ＧＭＶ検出部３９は、ＨＭＤ２０に十分搭載可能な程度に処理が軽い検出手段である。一方、ＧＭＶ検出部５１は、ＨＭＤ２０の視点の上下左右だけでなく、面内回転、前後の動きを検出する比較的高度な処理を要する検出手段である。 The MR system 10 includes an HMD 20 and a CG image generator 50. The HMD 20 includes an image processing device 30D and a display unit 40. The image processing device 30D has a configuration in which a simple GMV detection unit 39 is added to the image processing device 30 of FIG. Further, the information stored in the first buffer 32b is different from that of the first buffer 32 in FIG. Further, the interpolated image generation unit 36a differs from the interpolated image generation unit 36 of FIG. 1 in the method of generating an interpolated image.
The simple GMV detection unit 39 simply detects the amount of movement of the position and orientation of the HMD 20 based on the live-action image acquired by the image acquisition unit 31. In the present embodiment, the simple GMV detection unit 39 simply detects movements in the two-dimensional direction such as up, down, left, and right of the viewpoint of the HMD 20. The simple GMV detection unit 39 is a detection means whose processing is light enough to be mounted on the HMD 20. On the other hand, the GMV detection unit 51 is a detection means that requires relatively advanced processing to detect not only up / down / left / right of the viewpoint of the HMD 20 but also in-plane rotation and front / back movement.

簡易ＧＭＶ検出部３９は、検出した簡易的なＧＭＶをフレーム番号と共に第一のバッファ３２ｃに送信する。第一のバッファ３２ｃは、実写画像と簡易的なＧＭＶとをフレーム番号と対応付けて保存する。
補間画像生成部３６ａは、補間画像の生成タイミングにおいて、第二のバッファ３３に注目フレームのＧＭＶが保存されているか否かを判定する。そして、注目フレームのＧＭＶが保存されている場合は、第二のバッファ３３に保存された、注目フレームよりも時間的に前で且つ最新のＣＧ画像を、注目フレームのＧＭＶを用いて補正し、補間画像を生成する。一方、注目フレームのＧＭＶが保存されていない場合、第二のバッファ３３に保存された、注目フレームよりも時間的に前で且つ最新のＣＧ画像を、第一のバッファ３２ｃに保存された注目フレームの簡易的なＧＭＶを用いて補正し、補間画像を生成する。 The simple GMV detection unit 39 transmits the detected simple GMV together with the frame number to the first buffer 32c. The first buffer 32c stores the live-action image and the simple GMV in association with the frame number.
The interpolated image generation unit 36a determines whether or not the GMV of the frame of interest is stored in the second buffer 33 at the timing of generating the interpolated image. Then, when the GMV of the attention frame is stored, the latest CG image stored in the second buffer 33, which is time before the attention frame and is the latest, is corrected by using the GMV of the attention frame. Generate an interpolated image. On the other hand, when the GMV of the attention frame is not stored, the latest CG image stored in the second buffer 33, which is time before the attention frame and is the latest, is stored in the first buffer 32c. Correction is performed using the simple GMV of the above, and an interpolated image is generated.

図１１は、画像処理装置３０ＤおよびＣＧ画像生成装置５０において実行される処理の手順を示すフローチャートである。この図１１において、図３と同一処理を行うステップには図３と同一ステップ番号を付し、以下、処理の異なる部分を中心に説明する。
本実施形態において、ＣＧ画像生成装置５０の処理は、図３と同様である。
画像処理装置３０Ｄの処理は、図３のＳ１２の後にＳ２１〜Ｓ２５の処理が追加され、Ｓ１３の処理が削除されていることを除いては、図３と同様である。 FIG. 11 is a flowchart showing a procedure of processing executed by the image processing device 30D and the CG image generation device 50. In FIG. 11, the steps in which the same processing as in FIG. 3 is performed are assigned the same step numbers as those in FIG. 3, and the different parts of the processing will be mainly described below.
In the present embodiment, the processing of the CG image generator 50 is the same as that in FIG.
The processing of the image processing apparatus 30D is the same as that of FIG. 3 except that the processing of S21 to S25 is added after S12 of FIG. 3 and the processing of S13 is deleted.

Ｓ２１では、簡易ＧＭＶ検出部３９は、簡易的なＧＭＶを生成する。簡易ＧＭＶ検出部３９は、Ｓ２におけるＧＭＶ検出部５１によるＧＭＶの生成に比べて演算量の少ない手法でＧＭＶを検出する簡易検出を行う。なお、簡易ＧＭＶ検出部３９による簡易検出の手法は、ＧＭＶ検出部５１によるＧＭＶの検出手法に比べて精度が劣る手法であってもよい。
次に、補正画像生成部３６ａは、Ｓ２２において、補間画像を生成するタイミングとなったか否かを判定する。ここで、補間画像生成部３６ａは、実写画像をキャプチャする周期でタイマを動作させ、タイマ終了を検出することで補間画像生成タイミングを検出することができる。補間画像生成部３６ａは、補間画像生成タイミングではないと判定した場合には、補間画像生成タイミングとなるまで待機し、補間画像生成タイミングとなったことを検出するとＳ２３に移行する。 In S21, the simple GMV detection unit 39 generates a simple GMV. The simple GMV detection unit 39 performs simple detection for detecting the GMV by a method with a smaller amount of calculation than the generation of the GMV by the GMV detection unit 51 in S2. The simple detection method by the simple GMV detection unit 39 may be inferior in accuracy to the GMV detection method by the GMV detection unit 51.
Next, the corrected image generation unit 36a determines in S22 whether or not it is time to generate the interpolated image. Here, the interpolated image generation unit 36a can detect the interpolation image generation timing by operating the timer at a cycle of capturing the live-action image and detecting the end of the timer. When the interpolated image generation unit 36a determines that it is not the interpolated image generation timing, the interpolated image generation unit 36a waits until the interpolated image generation timing is reached, and when it detects that the interpolated image generation timing has been reached, the process proceeds to S23.

Ｓ２３では、補間画像生成部３６ａは、注目フレームに該当するＧＭＶをＣＧ画像生成装置５０から受信したか否かを判定する。注目フレームのＧＭＶ（Ｄ２）は、データ伝送等の異常が発生していない場合、補間画像生成タイミングの前に受信され（図３の左向きの点線矢印）、第二のバッファ３３に保存される。しかしながら、何らかの異常が発生している場合、注目フレームのＧＭＶは補間画像生成タイミングの時点で第二のバッファ３３に保存されていない場合がある（図３の下向きの点線矢印）。
そこで、補間画像生成部３６ａは、Ｓ２３において、第二のバッファ３３に注目フレームのＧＭＶが保存されているか否かを判定することで、注目フレームのＧＭＶを受信したか否かを判定する。そして、補間画像生成部３６ａは、ＧＭＶを受信していると判定した場合にはＳ２４に移行し、ＧＭＶを受信していない場合にはＳ２５に移行する。 In S23, the interpolated image generation unit 36a determines whether or not the GMV corresponding to the frame of interest has been received from the CG image generation device 50. The GMV (D2) of the frame of interest is received before the interpolated image generation timing (dotted arrow pointing to the left in FIG. 3) and stored in the second buffer 33 when no abnormality such as data transmission has occurred. However, when some abnormality occurs, the GMV of the frame of interest may not be stored in the second buffer 33 at the time of the interpolation image generation timing (downward dotted arrow in FIG. 3).
Therefore, the interpolated image generation unit 36a determines in S23 whether or not the GMV of the frame of interest is stored in the second buffer 33, thereby determining whether or not the GMV of the frame of interest has been received. Then, the interpolated image generation unit 36a shifts to S24 when it is determined that the GMV is being received, and shifts to S25 when it is not receiving the GMV.

Ｓ２４では、補間画像生成部３６ａは、第二のバッファ３３に保存されているＣＧ画像のうち、注目フレームよりも時間的に前で且つ最新のＣＧ画像を、第二のバッファ３３に保存された注目フレームのＧＭＶを加味して補正した補間画像を生成する。これに対して、Ｓ２５では、補間画像生成部３６ａは、第二のバッファ３３に保存されているＣＧ画像のうち、注目フレームよりも時間的に前で且つ最新のＣＧ画像を、第一のバッファ３２ｃに保存された簡易的なＧＭＶを加味して補正した補間画像を生成する。 In S24, the interpolated image generation unit 36a stores the latest CG image, which is time before the frame of interest, among the CG images stored in the second buffer 33, in the second buffer 33. An interpolated image corrected by adding the CG of the frame of interest is generated. On the other hand, in S25, the interpolation image generation unit 36a selects the latest CG image, which is time before the frame of interest, among the CG images stored in the second buffer 33, in the first buffer. An interpolated image corrected by adding a simple CG stored in 32c is generated.

以上のように、本実施形態における画像処理装置３０Ｄは、ＧＭＶ検出部５１よりも簡易的にＧＭＶを検出し、検出した簡易ＧＭＶを、補間画像生成部３６ａに対して通信インターフェースを介さずに出力する簡易ＧＭＶ検出部３９を備える。これにより、伝送エラーによってＣＧ画像生成装置５０において検出されたＧＭＶをＨＭＤ２０が受信できない場合であっても、簡易ＧＭＶを代用して補間画像を生成することができる。つまり、伝送エラーが発生しても、使用者の動きに追従した補間画像を作り続けることができる。したがって、通信環境の劣る環境においても、使用者に違和感のないＣＧ画像およびＭＲ画像を提示することが可能となる。 As described above, the image processing device 30D in the present embodiment detects the GMV more easily than the GMV detection unit 51, and outputs the detected simple GMV to the interpolated image generation unit 36a without going through the communication interface. A simple GMV detection unit 39 is provided. As a result, even when the HMD 20 cannot receive the GMV detected by the CG image generator 50 due to a transmission error, the simple GMV can be substituted to generate the interpolated image. That is, even if a transmission error occurs, it is possible to continue to create an interpolated image that follows the movement of the user. Therefore, even in an environment inferior in the communication environment, it is possible to present a CG image and an MR image that do not give the user a sense of discomfort.

（変形例）
なお、上記各実施形態では、画像の時間情報としてフレーム番号を用いる場合について説明したが、フレーム番号の代わりにタイムスタンプ情報を用いてもよい。
また、上記各実施形態において、ＣＧ画像の生成処理にｎ（ｎは自然数）フレーム以上のレイテンシが存在する場合、画像処理装置３０における補間画像の生成処理や合成画像の生成処理では、ｎフレーム前のフレーム番号の画像を処理してもよい。
さらに、上記各実施形態において、ＣＧ画像を重畳する画像を実写画像として説明したが、実写画像ではなく、ビデオ映像とＣＧ画像とを重畳してもよい。上記第三の実施形態のように頭部装着型表示装置（ＨＭＤ）の画像投影面が透明で、ＣＧ画像のみを投影する構成のＭＲシステムでは、ビデオ映像に透過情報を含め、外界においてビデオ画像にＣＧ画像を重畳し、使用者に提示するようにしてもよい。 (Modification example)
In each of the above embodiments, the case where the frame number is used as the time information of the image has been described, but the time stamp information may be used instead of the frame number.
Further, in each of the above embodiments, when there is a latency of n (n is a natural number) frame or more in the CG image generation process, the interpolated image generation process and the composite image generation process in the image processing apparatus 30 are before n frames. The image of the frame number of may be processed.
Further, in each of the above embodiments, the image on which the CG image is superimposed has been described as the live-action image, but the video image and the CG image may be superimposed instead of the live-action image. In the MR system in which the image projection surface of the head-mounted display (HMD) is transparent and only the CG image is projected as in the third embodiment, the video image includes the transmission information and the video image is included in the outside world. A CG image may be superimposed on the image and presented to the user.

また、上記各実施形態においては、ＣＧ画像を表示する表示装置であるＨＭＤと、ＣＧ画像を生成するＣＧ画像生成装置とが別々の筐体で構成され、装置間がネットワークを介して通信可能に接続されている場合について説明した。しかしながら、ＣＧ画像を表示させる画像処理装置とＣＧ画像生成装置とが１つの筐体により構成されたＭＲシステムにも適用可能である。この場合、ＣＧ画像生成装置から画像処理装置へのデータ伝送の遅延やエラーといった異常は発生しない。しかしながら、ＣＧ画像の生成処理の遅延が発生した場合には、上記各実施形態と同様に、補間画像の違和感を低減してＭＲ空間を提示することができるという効果が得られる。 Further, in each of the above embodiments, the HMD, which is a display device for displaying a CG image, and the CG image generation device for generating a CG image are configured in separate housings, and the devices can communicate with each other via a network. The case where it is connected was explained. However, it can also be applied to an MR system in which an image processing device for displaying a CG image and a CG image generation device are configured by one housing. In this case, an abnormality such as a delay or an error in data transmission from the CG image generation device to the image processing device does not occur. However, when the CG image generation process is delayed, the effect of reducing the discomfort of the interpolated image and presenting the MR space can be obtained as in each of the above embodiments.

さらに、上記各実施形態においては、画像処理装置３０は、ＣＧ画像生成装置により生成されたＣＧ画像を時系列上連続して取得する場合について説明した。しかしながら、画像処理装置３０は、ＣＧ画像生成装置により生成された複数フレームのＣＧ画像が記憶された記憶媒体から、連続的にＣＧ画像を読み出す構成であってもよい。この場合、記憶媒体からＣＧ画像を読み出す際のエラーや、ＣＧ画像を復号する際のエラー、ＣＧ画像自体のノイズ付加などのエラーを判定することで、注目フレームのＣＧ画像に異常が発生しているか否かを判定してもよい。
さらに、表示装置は頭部装着型表示装置（ＨＭＤ）に限定されるものではなく、ハンドヘルドディスプレイ（ＨＨＤ）を用いてもよい。ＨＨＤは、手持ちのディスプレイである。つまり、使用者が手にとり、双眼鏡のように覗き込むことで画像を観察するディスプレイであってもよい。さらに、表示装置は、タブレットやスマートフォン等の表示端末であってもよい。 Further, in each of the above embodiments, the case where the image processing apparatus 30 continuously acquires the CG images generated by the CG image generating apparatus in time series has been described. However, the image processing device 30 may be configured to continuously read CG images from a storage medium in which a plurality of frames of CG images generated by the CG image generation device are stored. In this case, an error occurs in the CG image of the frame of interest by determining an error when reading the CG image from the storage medium, an error when decoding the CG image, or an error such as adding noise to the CG image itself. It may be determined whether or not it is present.
Further, the display device is not limited to the head-mounted display device (HMD), and a handheld display (HHD) may be used. The HHD is a handheld display. That is, it may be a display in which the user observes the image by picking it up and looking into it like binoculars. Further, the display device may be a display terminal such as a tablet or a smartphone.

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 (Other embodiments)
The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or recording medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

１０…複合現実感システム、２０…頭部装着型表示装置、３０…画像処理装置、３１…画像取得部、３２…第一のバッファ、３３…第二のバッファ、３４…画像合成部、３５…表示制御部、３６…補間画像生成部、４０…表示部、５０…ＣＧ画像生成装置 10 ... Mixed reality system, 20 ... Head-mounted display device, 30 ... Image processing device, 31 ... Image acquisition unit, 32 ... First buffer, 33 ... Second buffer, 34 ... Image compositing unit, 35 ... Display control unit, 36 ... Interpolated image generation unit, 40 ... Display unit, 50 ... CG image generation device

Claims (15)

表示部の視点の位置姿勢に対応した実写画像を時系列上連続して入力する入力手段と、
前記入力手段により入力された前記実写画像に基づいて、前記表示部の視点の位置姿勢の動き量を検出する第一の検出手段と、
前記表示部の視点の位置姿勢に基づき時系列上連続して生成された、前記表示部に表示されるべき第一のＣＧ画像を取得する取得手段と、
前記取得手段により取得された、注目フレームよりも時間的に前のフレームの前記第一のＣＧ画像を補正対象として、前記表示部の視点の位置姿勢の動き量に基づいて幾何変換し、注目フレームの第二のＣＧ画像を生成する生成手段と、
注目フレームの前記第一のＣＧ画像に異常が発生しているか否かを判定する判定手段と、
前記判定手段により前記異常が発生していないと判定された場合、注目フレームの前記第一のＣＧ画像を当該注目フレームに対応する前記実写画像と合成した合成画像を前記表示部に表示させ、前記判定手段により前記異常が発生していると判定された場合、注目フレームの前記第二のＣＧ画像を当該注目フレームに対応する前記実写画像と合成した合成画像を前記表示部に表示させる表示制御手段と、
を備えることを特徴とする画像処理装置。 An input means for continuously inputting live-action images corresponding to the position and orientation of the viewpoint of the display unit in chronological order,
Based on the live-action image input by the input means, a first detecting means for detecting the amount of movement of the position and orientation of the viewpoint of the display unit, and
Obtaining means for said generated continuously when the series based on the position and orientation of the viewpoint of the display unit, to obtain a first CG image to be displayed on the display unit,
The first CG image of the frame time before the frame of interest acquired by the acquisition means is geometrically transformed based on the amount of movement of the position and orientation of the viewpoint of the display unit, and the frame of interest is obtained. A generation means for generating a second CG image of
A determination means for determining whether or not an abnormality has occurred in the first CG image of the frame of interest, and
When it is determined by the determination means that the abnormality has not occurred, a composite image obtained by synthesizing the first CG image of the frame of interest with the live-action image corresponding to the frame of interest is displayed on the display unit. When the determination means determines that the abnormality has occurred, a display control means for displaying a composite image obtained by synthesizing the second CG image of the frame of interest with the live-action image corresponding to the frame of interest on the display unit. When,
An image processing device comprising. 前記幾何変換は、平面内の写像、奥行き方向の写像、および空間内の回転の少なくとも１つを含むことを特徴とする請求項１に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the geometric transformation includes at least one of mapping in a plane, mapping in a depth direction, and rotation in space. 前記生成手段は、前記表示制御手段により注目フレームの合成画像を前記表示部に表示させるタイミングよりも前に、注目フレームの前記第二のＣＧ画像の生成を完了することを特徴とする請求項１または２に記載の画像処理装置。 1. The generation means is characterized in that the generation of the second CG image of the attention frame is completed before the timing of displaying the composite image of the attention frame on the display unit by the display control means. Or the image processing apparatus according to 2. 前記取得手段により取得された前記第一のＣＧ画像を時間情報と共に格納する格納手段をさらに備え、
前記生成手段は、
前記格納手段に格納された前記第一のＣＧ画像のうち、注目フレームよりも時間的に前で且つ最新の前記第一のＣＧ画像を、前記補正対象とすることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。 A storage means for storing the first CG image acquired by the acquisition means together with time information is further provided.
The generation means
Of the stored said first CG image in the storage unit, the newest of the first CG image and in the previous temporally than the frame of interest, from claim 1, characterized in that the said corrected The image processing apparatus according to any one of 3. 前記判定手段は、
前記取得手段による前記第一のＣＧ画像の取得が同期信号に対して遅延している場合、前記異常が発生していると判定することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。 The determination means
According to any one of claims 1 to 4, when the acquisition of the first CG image by the acquisition means is delayed with respect to the synchronization signal, it is determined that the abnormality has occurred. The image processing apparatus described. 前記判定手段は、
前記表示制御手段により注目フレームの合成画像を前記表示部に表示させるタイミングにおいて、前記格納手段に注目フレームの前記第一のＣＧ画像が格納されていない場合、前記異常が発生していると判定することを特徴とする請求項４に記載の画像処理装置。 The determination means
When the display control means displays the composite image of the frame of interest on the display unit, if the first CG image of the frame of interest is not stored in the storage means, it is determined that the abnormality has occurred. The image processing apparatus according to claim 4. 前記表示部の視点の位置姿勢に対応した実写画像は、当該視点から現実空間を撮像した実写画像であることを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。 The image processing apparatus according to any one of claims 1 to 6, wherein the live-action image corresponding to the position and orientation of the viewpoint of the display unit is a live-action image obtained by capturing the real space from the viewpoint. 前記実写画像は、ビデオ映像であることを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。 The image processing apparatus according to any one of claims 1 to 7, wherein the live-action image is a video image. 前記実写画像は、その一部または全体を透過させて表示するための透過情報を含むことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。 The image processing apparatus according to any one of claims 1 to 8, wherein the live-action image includes transparent information for displaying a part or the whole of the live-action image in a transparent manner. 画像処理装置と、
第一のＣＧ画像を生成し、前記画像処理装置に送信可能な画像生成装置と、を備え、
前記画像処理装置は、
表示部の視点の位置姿勢に対応した実写画像を時系列上連続して入力する入力手段と、
前記入力手段により入力された前記実写画像に基づいて、前記表示部の視点の位置姿勢の動き量を検出する第一の検出手段と、
前記表示部の視点の位置姿勢に基づき時系列上連続して生成された、前記表示部に表示されるべき第一のＣＧ画像を取得する取得手段と、
前記取得手段により取得された、注目フレームよりも時間的に前のフレームの前記第一のＣＧ画像を補正対象として、前記表示部の視点の位置姿勢の動き量に基づいて幾何変換し、注目フレームの第二のＣＧ画像を生成する生成手段と、
注目フレームの前記第一のＣＧ画像に異常が発生しているか否かを判定する判定手段と、
前記判定手段により前記異常が発生していないと判定された場合、注目フレームの前記第一のＣＧ画像を前記表示部に表示させ、前記判定手段により前記異常が発生していると判定された場合、注目フレームの前記第二のＣＧ画像を前記表示部に表示させる表示制御手段と、
を備え、
前記画像生成装置は、
前記表示部の視点の位置姿勢の動き量を検出する第二の検出手段と、
前記表示部の視点の位置姿勢に基づいて、前記第一のＣＧ画像を生成する画像生成手段と、
前記第二の検出手段により検出された前記位置姿勢の動き量に関する情報と、前記画像生成手段により生成された前記第一のＣＧ画像とを前記画像処理装置に送信する送信手段と、
を備えることを特徴とする画像処理システム。 Image processing equipment and
An image generator capable of generating a first CG image and transmitting the first CG image to the image processing apparatus is provided .
The image processing device is
An input means for continuously inputting live-action images corresponding to the position and orientation of the viewpoint of the display unit in chronological order,
Based on the live-action image input by the input means, a first detecting means for detecting the amount of movement of the position and orientation of the viewpoint of the display unit, and
An acquisition means for acquiring a first CG image to be displayed on the display unit, which is continuously generated in time series based on the position and orientation of the viewpoint of the display unit.
The first CG image of the frame time before the frame of interest acquired by the acquisition means is geometrically transformed based on the amount of movement of the position and orientation of the viewpoint of the display unit, and the frame of interest is obtained. A generation means for generating a second CG image of
A determination means for determining whether or not an abnormality has occurred in the first CG image of the frame of interest, and
When the determination means determines that the abnormality has not occurred, the first CG image of the frame of interest is displayed on the display unit, and the determination means determines that the abnormality has occurred. , A display control means for displaying the second CG image of the frame of interest on the display unit, and
With
The image generator
A second detecting means for detecting the amount of movement of the position and posture of the viewpoint of the display unit, and
An image generation means for generating the first CG image based on the position and orientation of the viewpoint of the display unit, and
A transmission means for transmitting information on the amount of movement of the position and orientation detected by the second detection means and the first CG image generated by the image generation means to the image processing apparatus.
An image processing system characterized by being equipped with. 前記送信手段は、
前記第二の検出手段により検出された前記位置姿勢の動き量に関する情報と、前記画像生成手段により生成された前記第一のＣＧ画像とのうち、前記位置姿勢の動き量に関する情報を先行して前記画像処理装置に送信することを特徴とする請求項１０に記載の画像処理システム。 The transmission means
Of the information on the amount of movement of the position and orientation detected by the second detection means and the first CG image generated by the image generation means, the information on the amount of movement of the position and orientation is preceded. The image processing system according to claim 10 , wherein the image is transmitted to the image processing apparatus. 前記送信手段は、
前記第二の検出手段により検出された前記位置姿勢の動き量に関する情報を、前記画像生成手段により生成された前記第一のＣＧ画像よりも信頼度の高い通信手段により前記画像処理装置に送信することを特徴とする請求項１０または１１に記載の画像処理システム。 The transmission means
Information on the amount of movement of the position and orientation detected by the second detection means is transmitted to the image processing apparatus by a communication means having a higher reliability than the first CG image generated by the image generation means. The image processing system according to claim 10 or 11. 前記画像処理装置は、
前記第二の検出手段よりも簡易的に前記位置姿勢の動き量を検出し、検出した前記位置姿勢の動き量に関する情報を、前記生成手段に対して通信インターフェースを介さずに出力する簡易検出手段をさらに備え、
前記生成手段は、
注目フレームの前記第二のＣＧ画像を生成するタイミングにおいて、前記送信手段から前記第二の検出手段により検出された注目フレームに対応する前記位置姿勢の動き量に関する情報を受信していない場合、前記簡易検出手段により簡易的に検出された前記位置姿勢の動き量に関する情報を用いて前記第二のＣＧ画像を生成することを特徴とする請求項１０から１２のいずれか１項に記載の画像処理システム。 The image processing device is
A simple detection means that detects the amount of movement of the position and orientation more simply than the second detection means, and outputs the detected information on the amount of movement of the position and orientation to the generation means without going through a communication interface. With more
The generation means
When the information regarding the amount of movement of the position and orientation corresponding to the frame of interest detected by the second detection means is not received from the transmitting means at the timing of generating the second CG image of the frame of interest, the above. The image processing according to any one of claims 10 to 12 , wherein the second CG image is generated by using the information about the amount of movement of the position and the posture simply detected by the simple detection means. system. 表示部の視点の位置姿勢に対応した実写画像を時系列上連続して入力するステップと、
入力された前記実写画像に基づいて、前記表示部の視点の位置姿勢の動き量を検出するステップと、
前記表示部の視点の位置姿勢に基づき時系列上連続して生成された、前記表示部に表示されるべき第一のＣＧ画像を取得するステップと、
注目フレームよりも時間的に前のフレームの前記第一のＣＧ画像を補正対象として、前記表示部の視点の位置姿勢の動き量に基づいて幾何変換し、注目フレームの第二のＣＧ画像を生成するステップと、
注目フレームの前記第一のＣＧ画像に異常が発生しているか否かを判定するステップと、
前記異常が発生していないと判定された場合、注目フレームの前記第一のＣＧ画像を当該注目フレームに対応する前記実写画像と合成した合成画像を前記表示部に表示させ、前記異常が発生していると判定された場合、注目フレームの前記第二のＣＧ画像を当該注目フレームに対応する前記実写画像と合成した合成画像を前記表示部に表示させるステップと、を含むことを特徴とする画像処理方法。 A step of continuously inputting live-action images corresponding to the position and orientation of the viewpoint of the display unit in chronological order,
A step of detecting the amount of movement of the position and orientation of the viewpoint of the display unit based on the input live-action image, and
Acquiring the display unit is generated continuously when the series based on the position and orientation of the viewpoint, the first CG image to be displayed on the display unit,
The first CG image of the frame before the frame of interest is geometrically transformed based on the amount of movement of the position and orientation of the viewpoint of the display unit to generate the second CG image of the frame of interest. Steps to do and
A step of determining whether or not an abnormality has occurred in the first CG image of the frame of interest, and
When it is determined that the abnormality has not occurred, a composite image obtained by synthesizing the first CG image of the frame of interest with the live image corresponding to the frame of interest is displayed on the display unit, and the abnormality occurs. An image characterized by including a step of displaying a composite image obtained by synthesizing the second CG image of the attention frame with the live image corresponding to the attention frame on the display unit. Processing method. コンピュータを、請求項１から９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。 A program for causing a computer to function as each means of the image processing apparatus according to any one of claims 1 to 9.
JP2016229985A 2016-11-28 2016-11-28 Image processing equipment, image processing methods and programs Active JP6949475B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016229985A JP6949475B2 (en) 2016-11-28 2016-11-28 Image processing equipment, image processing methods and programs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016229985A JP6949475B2 (en) 2016-11-28 2016-11-28 Image processing equipment, image processing methods and programs

Publications (2)

Publication Number Publication Date
JP2018087849A JP2018087849A (en) 2018-06-07
JP6949475B2 true JP6949475B2 (en) 2021-10-13

Family

ID=62494379

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016229985A Active JP6949475B2 (en) 2016-11-28 2016-11-28 Image processing equipment, image processing methods and programs

Country Status (1)

Country Link
JP (1) JP6949475B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101874111B1 (en) 2017-03-03 2018-07-03 클릭트 주식회사 Method and program for playing virtual reality image
JP7175715B2 (en) * 2018-10-31 2022-11-21 キヤノン株式会社 Information processing device, information processing method and program
DE112021003465T5 (en) * 2020-06-30 2023-05-17 Sony Group Corporation INFORMATION PROCESSOR, INFORMATION PROCESSING METHOD AND STORAGE MEDIUM

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6046712A (en) * 1996-07-23 2000-04-04 Telxon Corporation Head mounted communication system for providing interactive visual communications with a remote system
JP5113426B2 (en) * 2007-05-29 2013-01-09 キヤノン株式会社 Head-mounted display device and control method thereof
JP4912224B2 (en) * 2007-06-08 2012-04-11 キヤノン株式会社 Image display system and control method thereof
JP5531881B2 (en) * 2010-09-22 2014-06-25 富士通株式会社 Moving picture decoding apparatus, moving picture decoding method, and integrated circuit
JP6620079B2 (en) * 2016-09-08 2019-12-11 株式会社ソニー・インタラクティブエンタテインメント Image processing system, image processing method, and computer program

Also Published As

Publication number Publication date
JP2018087849A (en) 2018-06-07

Similar Documents

Publication Publication Date Title
CN108139204B (en) Information processing apparatus, method for estimating position and/or orientation, and recording medium
JP4857196B2 (en) Head-mounted display device and control method thereof
CN111627116B (en) Image rendering control method and device and server
JP2017097122A (en) Information processing device and image generation method
US11003408B2 (en) Image generating apparatus and image generating method
WO2020003860A1 (en) Information processing device, information processing method, and program
JP6949475B2 (en) Image processing equipment, image processing methods and programs
KR20210044506A (en) Apparatus of displaying augmented reality object and operating methode thereof
JP4144888B2 (en) Image processing method and image processing apparatus
US10901213B2 (en) Image display apparatus and image display method
JP2014215755A (en) Image processing system, image processing apparatus, and image processing method
JP2019095916A (en) Image generation device, head-mounted display, image generation system, image generation method, and program
JP2016192137A (en) Information processing device, information processing method and program
JP6515512B2 (en) Display device, display device calibration method, and calibration program
US20200312032A1 (en) Image generating apparatus and image generation method
JP2018063567A (en) Image processing device, image processing method and program
JP2018005778A (en) Image display device, image display system, and image display method
JP6655751B1 (en) Video display control device, method and program
US11749141B2 (en) Information processing apparatus, information processing method, and recording medium
US20210241425A1 (en) Image processing apparatus, image processing system, image processing method, and medium
JP2006285786A (en) Information processing method and information processor
JP6614835B2 (en) COMMUNICATION DEVICE, HEAD MOUNT DISPLAY, IMAGE PROCESSING SYSTEM, COMMUNICATION METHOD, AND PROGRAM
US11263999B2 (en) Image processing device and control method therefor
JP7357554B2 (en) Synchronous control device, control method of synchronous control device, system
US20210390928A1 (en) Information processing apparatus, information processing method, and recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210304

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210824

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210922

R151 Written notification of patent or utility model registration

Ref document number: 6949475

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151