JP2024017210A - 情報処理装置、頭部装着型表示装置、情報処理装置の制御方法、プログラム、および記憶媒体 - Google Patents

情報処理装置、頭部装着型表示装置、情報処理装置の制御方法、プログラム、および記憶媒体 Download PDF

Info

Publication number
JP2024017210A
JP2024017210A JP2022119707A JP2022119707A JP2024017210A JP 2024017210 A JP2024017210 A JP 2024017210A JP 2022119707 A JP2022119707 A JP 2022119707A JP 2022119707 A JP2022119707 A JP 2022119707A JP 2024017210 A JP2024017210 A JP 2024017210A
Authority
JP
Japan
Prior art keywords
white balance
correction value
balance correction
image
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022119707A
Other languages
English (en)
Inventor
将浩 高山
Masahiro Takayama
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2022119707A priority Critical patent/JP2024017210A/ja
Priority to US18/354,159 priority patent/US20240037872A1/en
Publication of JP2024017210A publication Critical patent/JP2024017210A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0112—Head-up displays characterised by optical features comprising device for genereting colour display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0242—Compensation of deficiencies in the appearance of colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Circuits (AREA)

Abstract

Figure 2024017210000001
【課題】現実空間映像に仮想空間映像を重畳した映像の違和感を簡便に（手間をかけずに、例えば特別な撮影または測色を行わずに）軽減することのできる技術を提供する。
【解決手段】本発明の情報処理装置は、現実空間映像に適用されているホワイトバランス補正値に対応する第１ホワイトバランス補正値を取得する取得手段と、前記第１ホワイトバランス補正値に基づいて、仮想空間映像に適用するホワイトバランス補正値である第２ホワイトバランス補正値を決定する決定手段と、前記第２ホワイトバランス補正値に基づいて前記仮想空間映像を補正する補正手段と、前記補正手段による補正後の仮想空間映像を前記現実空間映像に重畳する重畳手段とを有することを特徴とする。
【選択図】図１

Description

本発明は、情報処理装置、頭部装着型表示装置、情報処理装置の制御方法、プログラム、および記憶媒体に関し、特に現実空間映像と仮想空間映像との合成映像を生成するための技術に関する。
現実空間と仮想空間との繋ぎ目のない結合を目的とした複合現実感（ＭＲ：Ｍｉｘｅｄ
Ｒｅａｌｉｔｙ）に関する技術の１つとして、ビデオシースルー方式のヘッドマウントディスプレイ（ＨＭＤ）を用いるＭＲシステムが知られている。このＭＲシステムでは、撮像装置（例えばビデオカメラ）によって撮像された現実空間映像（背景映像）に、撮像装置の位置および姿勢に応じて生成された仮想空間映像（コンピュータグラフィックス（ＣＧ）映像）が重畳される。そして、ＨＭＤが、背景映像とＣＧ映像との合成映像（背景映像にＣＧ映像を重畳した映像、複合現実映像）を表示する。
ビデオシースルー方式のＨＭＤを用いたＭＲシステムにおいて、背景映像にＣＧ映像をそのまま重畳すると、見た目に違和感のある合成映像が生成されることが多い。これは、背景映像とＣＧ映像との間で画質に関わる特性（画質特性、例えば階調特性、ホワイトバランス、ノイズ感、または解像感）が異なるためである。
例えば、ＣＧ映像のホワイトバランス（白基準）が背景映像のホワイトバランスと異なる場合に、背景映像にＣＧ映像をそのまま重畳すると、違和感のある色味の合成映像が生成されてしまう。背景映像の画質特性とＣＧ映像の画質特性とを近づけるには、ＣＧ映像を補正して、ＣＧ映像の画質特性を背景映像に画質特性を合わせるのが一般的である。合成映像の違和感を軽減する技術は、特許文献１に開示されている。
特開２０２１－５６９６３号公報
特許文献１に開示の技術では、撮像装置の位置および姿勢を推定する際に用いるマーカーの白色部分を、基準チャートの代わりに用いて、ＣＧ映像の補正値が算出され、ＣＧ映像が補正される。しかしながら、この技術では、補正値の算出の際に、マーカーの白色部分の色を測色器で測定する必要があるため、手間がかかる。
本発明は、現実空間映像に仮想空間映像を重畳した映像の違和感を簡便に（手間をかけずに、例えば特別な撮影または測色を行わずに）軽減することのできる技術を提供することを目的とする。
本発明の第１の態様は、現実空間映像に適用されているホワイトバランス補正値に対応する第１ホワイトバランス補正値を取得する取得手段と、前記第１ホワイトバランス補正値に基づいて、仮想空間映像に適用するホワイトバランス補正値である第２ホワイトバランス補正値を決定する決定手段と、前記第２ホワイトバランス補正値に基づいて前記仮想空間映像を補正する補正手段と、前記補正手段による補正後の仮想空間映像を前記現実空
間映像に重畳する重畳手段とを有することを特徴とする情報処理装置である。
本発明の第２の態様は、上述した情報処理装置と、前記重畳手段によって得られた映像を表示する表示手段とを有することを特徴とする頭部装着型表示装置である。
本発明の第３の態様は、現実空間映像に適用されているホワイトバランス補正値に対応する第１ホワイトバランス補正値を取得するステップと、前記第１ホワイトバランス補正値に基づいて、仮想空間映像に適用するホワイトバランス補正値である第２ホワイトバランス補正値を決定するステップと、前記第２ホワイトバランス補正値に基づいて前記仮想空間映像を補正するステップと、補正後の仮想空間映像を前記現実空間映像に重畳する重畳ステップとを有することを特徴とする情報処理装置の制御方法である。
本発明の第４の態様は、コンピュータを、上述した情報処理装置の各手段として機能させるためのプログラムである。本発明の第５の態様は、コンピュータを、上述した情報処理装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体である。
本発明によれば、現実空間映像に仮想空間映像を重畳した映像の違和感を簡便に（手間をかけずに、例えば特別な撮影または測色を行わずに）軽減することができる。
ＭＲシステムの構成を示すブロック図である。 撮像部の構成を示すブロック図である。 実施形態１のフローチャートである。 第１ホワイトバランス補正値の決定処理を示すフローチャートである。 白検出範囲とＷＢ制御範囲を示すグラフである。 第２ホワイトバランス補正値の決定処理を示すフローチャートである。 ホワイトバランス補正値が更新される様子を示す図である。 実施形態２のフローチャートである。 背景映像を示す図である。
以下に、本発明の実施形態を、添付の図面に基づいて詳細に説明する。
（実施形態１）
本発明の実施形態１について説明する。図１は、実施形態１における情報処理システムとしての複合現実感（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）システムの構成を示すブロック図である。図１に示すＭＲシステムは、ビデオシースルー方式のヘッドマウントディスプレイ（ＨＭＤ）を用いたＭＲシステムである。図１に示すＭＲシステムでは、撮像装置（例えばビデオカメラ）によって撮像された現実空間映像に、撮像装置の位置および姿勢に応じて生成された仮想空間映像が重畳される。そして、ＨＭＤが、現実空間映像と仮想空間映像との合成映像（現実空間映像に仮想空間映像を重畳した映像、複合現実映像）を表示する。現実空間映像は、現実空間を表す映像であり、仮想空間映像は、仮想空間を表す映像である。以後、現実空間映像を背景映像と記載し、仮想空間映像をコンピュータグラフィックス（ＣＧ）映像と記載する。
ここで、ＣＧ映像のホワイトバランス（白基準）が背景映像のホワイトバランスと異なる場合に、背景映像にＣＧ映像をそのまま重畳すると、違和感のある色味の合成映像が生成されてしまう。このような違和感を軽減する技術として、撮像装置の位置および姿勢を
推定する際に用いるマーカーの白色部分を、基準チャートの代わりに用いて、ＣＧ映像を補正する技術が提案されている。しかしながら、この技術では、マーカーの白色部分の色を測色器で測定する必要があるため、手間がかかる。そこで、実施形態１では、合成映像の違和感を簡便に（手間をかけずに、例えば特別な撮影または測色を行わずに）軽減する。
図１に示すように、実施形態１におけるＭＲシステムは、情報処理装置１００とＨＭＤ１１０（頭部装着型表示装置）とを有する。なお、図１に示す構成は一例であり、例えば、ＨＭＤ１１０の中に情報処理装置１００の機能の一部または全部が含まれてもよい。
ＨＭＤ１１０は、ビデオシースルー方式のＨＭＤであり、撮像部１１１と表示部１１２を有する。撮像部１１１は、現実空間を撮像して背景映像を取得し、背景映像（背景映像のデータ）を情報処理装置１００に送信する。撮像部１１１から情報処理装置１００への背景映像の送信は、有線通信によって行われてもよいし、無線通信によって行われてもよい。表示部１１２は映像を表示する。例えば、表示部１１２は、情報処理装置１００から受信した表示映像を表示する。
図２は、撮像部１１１の構成を示すブロック図である。
光学系２０１は複数のレンズと絞り機構とを含む光学系であり、例えば、フォーカスに用いるフォーカスレンズ、ズームに用いるズームレンズ、および絞り機構を含む。
撮像素子２０２は撮像センサー（例えばＣＣＤまたはＣＭＯＳ）であり、アナログ信号をデジタル信号に変換するＡ／Ｄ変換器を含む。撮像素子２０２の表面には、例えばベイヤー配列のＲＧＢカラーフィルタが形成されており、カラー撮影が可能となっている。被写体像が撮像素子２０２の撮像面に結像されると、撮像素子２０２は、画像データ（画像信号）を生成して出力する。撮像素子２０２から出力された画像データはメモリ２０３に格納される。
メモリ２０３は、様々なデータを保持することができる。例えば、メモリ２０３は、撮像素子２０２から出力された画像データを保持したり、撮像部１１１の処理全般に必要なデータを保持したりすることができる。
画像処理回路２０４は、撮像素子２０２のＡ／Ｄ変換器から出力された画像データ、またはメモリ２０３から出力された画像データに対して、各種画像処理を行う。例えば、画像処理回路２０４は、画素補間処理、ホワイトバランス処理、γ補正、ノイズリダクション処理、エッジ強調処理、コントラスト調整処理、または合成処理を行う。
システム制御部２０５は、撮像部１１１全体を制御する。例えば、画像処理回路２０４は、撮像素子２０２によって撮像された画像データを用いて所定の評価値算出処理を行い、システム制御部２０５は、得られた評価値に基づいて露光制御および測距制御を行う。ここれによって、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オードフォーカス）処理、ＡＥ（自動露出）処理、およびＡＷＢ（オートホワイトバランス）処理が行われる。また、システム制御部２０５は、画像処理回路２０４によって決定された撮影条件で撮影を行うために、シャッター速度、絞り機構、フォーカスレンズ、およびズームレンズを制御するように指示を出力する。実施形態１では、システム制御部２０５は、露光量制御部２０６、フォーカスレンズ制御部２０７、および焦点距離制御部２０８に対して指示を出力する。また、システム制御部２０５は、撮像部１１１によって撮像された背景映像（ＡＷＢ処理後の背景映像）を、情報処理装置１００の撮像映像取得部１０１に送信する。さらに、システム制御部２０５は、撮像素子２０２によって撮像された背景映像（ＡＷＢ処理前
の背景映像）を、情報処理装置１００のＣＧ映像補正部１０６に送信する。
露光量制御部２０６は、光学系２０１の絞り機構、撮像素子２０２の露光時間、および撮像感度（いわゆるＩＳＯ感度）を調整し、適切な露光量制御を行う。
フォーカスレンズ制御部２０７は、光学系２０１のフォーカスレンズを制御する。
焦点距離制御部２０８は、システム制御部２０５の指示に従って光学系２０１のズームレンズを制御することによって、焦点距離を変更する。
操作部材２０９は、ボタンまたはタッチパネルであり、各種ユーザー操作（例えば、撮影指示、または画像処理の設定変更指示）を受け付ける。システム制御部２０５は、操作部材２０９が受け付けたユーザー操作に従って、撮像部１１１の動作の決定や変更を行う。タッチパネルは表示部１１２に対して一体的に設けられていてもよい。
図１において、情報処理装置１００は、撮像映像取得部１０１、マーカー検出部１０２、位置姿勢推定部１０３、ＣＧデータ保持部１０４、ＣＧ映像生成部１０５、ＣＧ映像補正部１０６、および表示映像生成部１０７を有する。
撮像映像取得部１０１は、ＨＭＤ１１０の撮像部１１１によって撮像された背景映像（ＡＷＢ処理後の背景映像）を取得し、取得した背景映像をマーカー検出部１０２および表示映像生成部１０７に送信する。
マーカー検出部１０２は、取得した背景映像（ＡＷＢ処理後の背景映像）から、撮像装置としてのＨＭＤ１１０の位置および姿勢の推定に用いられるマーカー（例えば２次元コード）が映り込んだ箇所を特定する。マーカー検出部１０２は、検出したマーカーの位置および向きを示す情報（いわゆる、マーカー箇所情報）を、取得した背景映像と共に位置姿勢推定部１０３に送信する。
位置姿勢推定部１０３は、マーカー検出部１０２から取得したマーカー箇所情報と背景映像に基づいて、ＨＭＤ１１０の位置および姿勢を推定する。位置および姿勢の推定方法に関しては、種々の研究報告が行われており、どの手法を用いてもよい。また、位置および姿勢の推定精度を上げるため、各種センサー（例えば磁気式センサーまたは光学式センサー）をさらに用いてもよい。位置姿勢推定部１０３は、位置姿勢情報（位置および姿勢の推定結果）をＣＧ映像生成部１０５に送信する。
ＣＧ映像生成部１０５は、位置姿勢推定部１０３から位置姿勢情報を取得し、ＣＧデータ保持部１０４からＣＧデータを取得する。そして、ＣＧ映像生成部１０５は、位置姿勢情報に基づいてＣＧデータに対して各種処理（例えば、移動、回転、または拡大縮小）を行い、背景映像に重畳する仮想空間映像であるＣＧ映像を生成する。このＣＧ映像は、ＨＭＤ１１０からの見えに対応する。ＣＧ映像生成部１０５は、ＣＧ映像の生成処理において、撮像部１１１の撮像主点位置および焦点距離の情報をさらに用いてもよい。ＣＧ映像生成部１０５は、例えば、主点位置および焦点距離の情報を、撮像部１１１のシステム制御部２０５を介してメモリ２０３から読み出す。ＣＧ映像生成部１０５は、生成したＣＧ映像をＣＧ映像補正部１０６に送信する。
ＣＧ映像補正部１０６は、撮像部１１１のシステム制御部２０５から取得した背景映像（ＡＷＢ処理前の背景映像）に基づいて、ＣＧ映像生成部１０５から取得したＣＧ映像に対してホワイトバランス補正を行う。実施形態１におけるＭＲシステムでは、ＣＧ映像補正部１０６のホワイトバランス補正によって、ＣＧ映像のホワイトバランスが、背景映像
（ＡＷＢ処理後の背景映像）のホワイトバランスに合うように補正される。これによって、背景映像とＣＧ映像との合成映像（背景映像にＣＧ映像を重畳した映像、複合現実映像）の違和感が軽減される。ＣＧ映像補正部１０６は、ホワイトバランス補正後のＣＧ映像を表示映像生成部１０７に送信する。
表示映像生成部１０７は、撮像映像取得部１０１から背景映像（ＡＷＢ処理後の背景映像）を取得し、ＣＧ映像補正部１０６からＣＧ映像（ホワイトバランス補正後のＣＧ映像）を取得する。そして、表示映像生成部１０７は、取得した背景映像に、取得したＣＧ映像を重畳し、背景映像とＣＧ映像とからなる合成映像（複合現実映像）を表示映像として生成する。表示映像生成部１０７は、生成した表示映像を、ＨＭＤ１１０の表示部１１２に送信する。
図３は、ＣＧ映像補正部１０６の処理フローを示すフローチャートである。
ステップＳ３０１にて、ＣＧ映像補正部１０６は、撮像素子２０２によって撮像された背景映像（ＡＷＢ処理前の背景映像）を、撮像部１１１のシステム制御部２０５から取得する。
ステップＳ３０２にて、ＣＧ映像補正部１０６は、ステップＳ３０１で取得した背景映像（ＡＷＢ処理前の背景映像）に基づいて、第１ホワイトバランス補正値を決定（取得）する。第１ホワイトバランス補正値は、撮像映像取得部１０１によって取得された背景映像（ＡＷＢ処理後の背景映像）に適用されているホワイトバランス補正値（ＡＷＢ処理において使用されたホワイトバランス補正値）に対応（近似）する。ここで、「近似」は「一致」を含む。
図４は、第１ホワイトバランス補正値の決定処理（ステップＳ３０２の処理）を示すフローチャートである。
ステップＳ４０１にて、ＣＧ映像補正部１０６は、図３のステップＳ３０１で取得した背景映像（ＡＷＢ処理前の背景映像）を複数の分割領域に分割する。
ステップＳ４０２にて、ＣＧ映像補正部１０６は、複数の分割領域のうちのいずれかを選択し、選択した分割領域である対象領域の色平均値（Ｒ値の平均値Ｒ［ｉ］、Ｇ値の平均値Ｇ［ｉ］、およびＢ値の平均値Ｂ［ｉ］）を算出する。そして、ＣＧ映像補正部１０６は、以下の式１－１～１－３を用いて、対象領域の色評価値Ｃｘ［ｉ］，Ｃｙ［ｉ］を算出する。［ｉ］は、値がｉ番目の分割領域に対応することを意味する。

Ｃｘ［ｉ］＝（Ｒ［ｉ］－Ｂ［ｉ］）／Ｙ［ｉ］×１０２４ ・・・（式１－１）
Ｃｙ［ｉ］＝（Ｒ［ｉ］＋Ｂ［ｉ］－２×Ｇ［ｉ］）／Ｙ［ｉ］×１０２４
・・・（式１－２）
Ｙ［ｉ］＝（Ｒ［ｉ］＋２×Ｇ［ｉ］＋Ｂ［ｉ］）／４ ・・・（式１－３）
ステップＳ４０３にて、ＣＧ映像補正部１０６は、対象領域が白色領域（白色の被写体を撮像した領域）であるか否かを判定する。例えば、ＣＧ映像補正部１０６は、対象領域の色評価値Ｃｘ［ｉ］，Ｃｙ［ｉ］に対応する座標が図５（Ａ）のグラフにおける白検出範囲５０１に含まれているか否かを判定する。ＣＧ映像補正部１０６は、対象領域の色評価値Ｃｘ［ｉ］，Ｃｙ［ｉ］に対応する座標が白検出範囲５０１に含まれていると判定した場合に、対象領域が白色領域であると判定し、ステップＳ４０４に処理を進める。ＣＧ映像補正部１０６は、対象領域の色評価値Ｃｘ［ｉ］，Ｃｙ［ｉ］に対応する座標が白検
出範囲５０１に含まれていないと判定した場合には、対象領域が白色領域ではないと判定し、ステップＳ４０５に処理を進める。図５（Ａ）の横軸は色評価値Ｃｘを示し、環境光源（撮像環境における光源）の色温度を示す。環境光源の色温度が高いほど、色評価値Ｃｘは小さい。図５（Ａ）の縦軸は色評価値Ｃｙを示し、環境光源の緑色成分の強さを示す。環境光源の緑色成分が強いほど、色評価値Ｃｙは小さい。例えば、環境光源が蛍光灯の場合には、色評価値Ｃｙは小さい。
白検出範囲５０１は、白色領域で算出される色評価値Ｃｘ，Ｃｙの座標範囲である。例えば、複数の環境光源のそれぞれの下で白色の被写体を撮像し、色評価値Ｃｘ，Ｃｙを算出し、算出した色評価値Ｃｘ，Ｃｙの座標を図５（Ａ）のグラフにプロットする。そして、プロットされた複数の座標を含む範囲（例えばプロットされた複数の座標を含む最小の範囲）を、白検出範囲５０１として予め決定することができる。撮影モードごとに白検出範囲が決定されてもよい。
ステップＳ４０４にて、ＣＧ映像補正部１０６は、色積分値に色平均値を加算する。例えば、ＣＧ映像補正部１０６は、Ｒ積分値ＳｕｍＲにＲ平均値Ｒ［ｉ］を加算し、Ｇ積分値ＳｕｍＧにＧ平均値Ｇ［ｉ］を加算し、Ｂ積分値ＳｕｍＢにＢ平均値Ｂ［ｉ］を加算する。
ステップＳ４０３，Ｓ４０４の処理は、以下の式２－１～２－３で表すことができる。変数Ｓｗ［ｉ］は、対象領域が白色領域である場合に１となり、対象領域が白色領域でない場合に０となる。

ＳｕｍＲ＝Σ（Ｓｗ［ｉ］×Ｒ［ｉ］） ・・・（式２－１）
ＳｕｍＧ＝Σ（Ｓｗ［ｉ］×Ｇ［ｉ］） ・・・（式２－２）
ＳｕｍＢ＝Σ（Ｓｗ［ｉ］×Ｂ［ｉ］） ・・・（式２－３）
ステップＳ４０５にて、ＣＧ映像補正部１０６は、全ての分割領域についてステップＳ４０２～Ｓ４０４の処理を行ったか否かを判定する。ＣＧ映像補正部１０６は、ステップＳ４０２～Ｓ４０４の処理を行っていない分割領域が残っていると判定した場合には、ステップＳ４０２に処理を戻す。そして、ＣＧ映像補正部１０６は、全ての分割領域についてステップＳ４０２～Ｓ４０４の処理を行ったと判定した場合に、ステップＳ４０６に処理を進める。
ステップＳ４０６にて、ＣＧ映像補正部１０６は、Ｒ積分値ＳｕｍＲ、Ｇ積分値ＳｕｍＧ、およびＢ積分値ＳｕｍＢの比率（色比率）に基づいて、背景映像に対応する環境光源の色温度を算出する。そして、ＣＧ映像補正部１０６は、以下の式３－１～３－４を用いて、算出した色温度に対応するホワイトバランス補正値ＷＢＣｏ０を算出（決定）する。ホワイトバランス補正値ＷＢＣｏ０は、白色（所定の色）の被写体を白色（所定の色）で表示するためのホワイトバランス補正値に対応する。ホワイトバランス補正値ＷＢＣｏ０は、Ｒ値を補正するＲ補正値ＷＢＣｏ０＿Ｒ、Ｇ値を補正するＧ補正値ＷＢＣｏ０＿Ｇ、およびＢ値を補正するＢ補正値ＷＢＣｏ０＿Ｂを含む。

ＷＢＣｏ０＿Ｒ＝ＳｕｍＹ×１０２４／ＳｕｍＲ ・・・（式３－１）
ＷＢＣｏ０＿Ｇ＝ＳｕｍＹ×１０２４／ＳｕｍＧ ・・・（式３－２）
ＷＢＣｏ０＿Ｂ＝ＳｕｍＹ×１０２４／ＳｕｍＢ ・・・（式３－３）
ＳｕｍＹ＝（ＳｕｍＲ＋２×ＳｕｍＧ＋ＳｕｍＢ）／４ ・・・（式３－４）
ステップＳ４０７にて、ＣＧ映像補正部１０６は、ステップＳ４０６で算出した色温度に基づいて、当該色温度に対応するホワイトバランス補正値ＷＢＣｏ０を調整して、第１ホワイトバランス補正値ＷＢＣｏ１を算出（決定）する。
人間が被写体を目で見た場合に知覚する色（知覚色）は、環境光源の色温度に依存する。例えば、色温度が５０００Ｋの人工太陽光源下では、人間が白色の被写体を目で見た場合の知覚色は白色となるが、色温度が３０００Ｋの電球色光源下では、人間が白色の被写体を目で見た場合の知覚色はやや赤味を帯びた色となる。色温度が３０００Ｋの電球色光源下で白色の被写体を白色で表示すると、人間の知覚色との乖離によって、雰囲気が損なわれてしまう。そのため、ＡＷＢ処理では、環境光源下の雰囲気および色味を残す処理が行われることが多い。ステップＳ４０７の処理は、このような処理を想定して行われる。
ここで、ステップＳ４０６で算出された色温度が３０００Ｋ（図５（Ｂ）の座標Ｃ０）であったとする。この場合には、例えば、ＣＧ映像補正部１０６は、座標Ｃ０が所定のＷＢ制御範囲５０２内の座標Ｃ１にシフトするように、色温度を調整する。環境光源が太陽光源、白色系の蛍光灯、または白色系のＬＥＤ光源である場合には、色温度は調整されない。環境光源が低色温度光源（例えば電球色光源）である場合には、赤味を残した表示色が得られるように色温度が調整される。環境光源が高色温度光源である場合（例えば撮影シーンが日陰のシーンである場合）には、青味を残した表示色が得られるように色温度が調整される。ＣＧ映像補正部１０６は、式３－１～３－４と同様の以下の式４－１～４－４を用いて、色温度の調整後の色比率（Ｒ積分値ＳｕｍＲ’、Ｇ積分値ＳｕｍＧ’、およびＢ積分値ＳｕｍＢ’）から第１ホワイトバランス補正値ＷＢＣｏ１を算出する。第１ホワイトバランス補正値ＷＢＣｏ１は、被写体を人間の知覚色で表示するためのホワイトバランス補正値に対応する。第１ホワイトバランス補正値ＷＢＣｏ１は、Ｒ値を補正するＲ補正値ＷＢＣｏ１＿Ｒ、Ｇ値を補正するＧ補正値ＷＢＣｏ１＿Ｇ、およびＢ値を補正するＢ補正値ＷＢＣｏ１＿Ｂを含む。

ＷＢＣｏ１＿Ｒ＝ＳｕｍＹ’×１０２４／ＳｕｍＲ’ ・・・（式４－１）
ＷＢＣｏ１＿Ｇ＝ＳｕｍＹ’×１０２４／ＳｕｍＧ’ ・・・（式４－２）
ＷＢＣｏ１＿Ｂ＝ＳｕｍＹ’×１０２４／ＳｕｍＢ’ ・・・（式４－３）
ＳｕｍＹ’＝（ＳｕｍＲ’＋２×ＳｕｍＧ’＋ＳｕｍＢ’）／４
・・・（式４－４）
図３の説明に戻る。ステップＳ３０３にて、ＣＧ映像補正部１０６は、ステップＳ３０２で決定（算出）した第１ホワイトバランス補正値ＷＢＣｏ１に基づいて、ＣＧ映像に適用するホワイトバランス補正値である第２ホワイトバランス補正値を決定する。
図６は、第２ホワイトバランス補正値の決定処理（ステップＳ３０３の処理）を示すフローチャートである。図６の決定処理では、第１ホワイトバランス補正値ＷＢＣｏ１と、第１ホワイトバランス補正値ＷＢＣｏ１を決定する過程で推定された環境光源の色温度とに基づいて、第２ホワイトバランス補正値が決定される。
ステップＳ６０１にて、ＣＧ映像補正部１０６は、図３のステップＳ３０２（図４のステップＳ４０７）で算出した第１ホワイトバランス補正値ＷＢＣｏ１（Ｒ補正値ＷＢＣｏ１＿Ｒ、Ｇ補正値ＷＢＣｏ１＿Ｇ、およびＢ補正値ＷＢＣｏ１＿Ｂ）を取得する。
ステップＳ６０２にて、ＣＧ映像補正部１０６は、図４のステップＳ４０６で算出したホワイトバランス補正値ＷＢＣｏ０（Ｒ補正値ＷＢＣｏ０＿Ｒ、Ｇ補正値ＷＢＣｏ０＿Ｇ、およびＢ補正値ＷＢＣｏ０＿Ｂ）を取得する。ホワイトバランス補正値ＷＢＣｏ０は、
第１ホワイトバランス補正値ＷＢＣｏ１を決定する過程で推定された環境光源の色温度に対応する。
ステップＳ６０３にて、ＣＧ映像補正部１０６は、ステップＳ６０１で取得した第１ホワイトバランス補正値ＷＢＣｏ１と、ステップＳ６０２で取得したホワイトバランス補正値ＷＢＣｏ０とに基づいて、第２ホワイトバランス補正値ＷＢＣｏ２を決定する。例えば、ＣＧ映像補正部１０６は、以下の式５－１～５－３を用いて、第２ホワイトバランス補正値ＷＢＣｏ２を算出する。第２ホワイトバランス補正値ＷＢＣｏ２は、Ｒ値を補正するＲ補正値ＷＢＣｏ２＿Ｒ、Ｇ値を補正するＧ補正値ＷＢＣｏ２＿Ｇ、およびＢ値を補正するＢ補正値ＷＢＣｏ２＿Ｂを含む。定数αは、所定の正規化係数である。

ＷＢＣｏ２＿Ｒ＝α×ＷＢＣｏ１＿Ｒ／ＷＢＣｏ０＿Ｒ ・・・（式５－１）
ＷＢＣｏ２＿Ｇ＝α×ＷＢＣｏ１＿Ｇ／ＷＢＣｏ０＿Ｇ ・・・（式５－２）
ＷＢＣｏ２＿Ｂ＝α×ＷＢＣｏ１＿Ｂ／ＷＢＣｏ０＿Ｂ ・・・（式５－３）
図３の説明に戻る。ステップＳ３０４にて、ＣＧ映像補正部１０６は、撮影環境（現実空間の環境、撮影シーン）が変化したか否かを判定する。撮影環境が変化したか否かの判定方法は特に限定されない。例えば、ＣＧ映像補正部１０６は、露出条件の変動量、または背景映像の色比統計量の変動量に基づいて、撮影環境が変化したか否かを判定する。ＣＧ映像補正部１０６は、撮影環境が変化したと判定した場合に、ステップＳ３０５に処理を進め、撮影環境が変化していないと判定した場合には、ステップＳ３０５の処理を行わずにステップＳ３０６に処理を進める。
ステップＳ３０５にて、ＣＧ映像補正部１０６は、ホワイトバランス補正に使用する第２ホワイトバランス補正値ＷＢＣｏ２を更新する。ＣＧ映像補正部１０６は、第１ホワイトバランス補正値ＷＢＣｏ１も、更新後の第２ホワイトバランス補正値ＷＢＣｏ２に対応するように更新する。
このように、実施形態１では、撮影環境が変化したか否かの判定結果に基づいて、ホワイトバランス補正に使用する第２ホワイトバランス補正値ＷＢＣｏ２が更新される。
ＡＷＢ処理では、ホワイトバランス補正値の算出が所定の周期（例えば背景映像の複数のフレームに対して１回の頻度）で行われ、ホワイトバランス補正値が背景映像の各フレームに適用（反映）される。そして、わずかなパンニングがあったり、被写体のわずかな変化があったりした場合には、撮影環境が変化していないにもかかわらず、算出されるホワイトバランス補正値が変化することがある。そのようなホワイトバランス補正値の変化を背景映像に反映させると、背景映像が、色味の変動が頻発して見映えが悪い映像となってしまう。そのため、ＡＷＢ処理では、背景映像に適用するホワイトバランス補正値が、撮影環境が変化していない場合には更新されず、撮影環境が変化した場合に更新されることが多い。ステップＳ３０４，Ｓ３０５の処理は、このような処理を想定して行われる。
例えば、ＡＷＢ処理では、背景映像に適用するホワイトバランス補正値を更新する場合に、当該ホワイトバランス補正値が徐々に変更される。こうすることによって、色味のちらつきを抑制することができる。これ合うよう、ＣＧ映像補正部１０６は、ホワイトバランス補正に使用する第２ホワイトバランス補正値ＷＢＣｏ２を更新する場合に、当該第２ホワイトバランス補正値ＷＢＣｏ２を徐々に変更する。
図７を用いて詳細に説明する。図７は、ホワイトバランス補正値が更新される様子を示す。図７では、背景映像のＮ番目のフレームのタイミングで、撮影環境が変化している。
背景映像のＮ番目のフレームのタイミングで、当該タイミングで算出されたホワイトバランス補正値が目標値に設定される。そして、背景映像に適用するホワイトバランス補正値が、現在のホワイトバランス補正値から目標値まで徐々に変更される。例えば、フレーム間でホワイトバランス補正値を所定量（例えば１［Ｍｉｒｅｄ］）変化させる処理が繰り返される。図７の例ではＮ＋Ｍ番目のフレームのタイミングで、背景映像に適用するホワイトバランス補正値が目標値に達している。
同様に、ＣＧ映像補正部１０６は、背景映像のＮ番目のフレームのタイミングで、当該タイミングで算出した第２ホワイトバランス補正値ＷＢＣｏ２を目標値に設定する。そして、ＣＧ映像補正部１０６は、ＣＧ映像に適用する第２ホワイトバランス補正値ＷＢＣｏ２を、現在の第２ホワイトバランス補正値ＷＢＣｏ２から目標値まで徐々に変更する。図７の例ではＮ＋Ｍ番目のフレームのタイミングで、ＣＧ映像に適用する第２ホワイトバランス補正値ＷＢＣｏ２が目標値に達している。
なお、背景映像に適用するホワイトバランス補正値が、現在のホワイトバランス補正値から目標値まで、所定時間かけて徐々に変更されてもよい。その場合は、ＣＧ映像補正部１０６は、ＣＧ映像に適用する第２ホワイトバランス補正値ＷＢＣｏ２を、現在の第２ホワイトバランス補正値ＷＢＣｏ２から目標値まで、所定時間かけて徐々に変更する。
図３の説明に戻る。ステップＳ３０６にて、ＣＧ映像補正部１０６は、第２ホワイトバランス補正値ＷＢＣｏ２に基づいて、ＣＧ映像生成部１０５から取得したＣＧ映像を補正する（ホワイトバランス補正）。例えば、ＣＧ映像補正部１０６は、ＣＧ映像のＲ値にＲ補正値ＷＢＣｏ２＿Ｒを乗算し、Ｇ値にＧ補正値ＷＢＣｏ２＿Ｇを乗算し、Ｂ値にＢ補正値ＷＢＣｏ２＿Ｂを乗算する。なお、第２ホワイトバランス補正値ＷＢＣｏ２はゲイン値に限られず、オフセット値を含んでもよい。
以上述べたように、実施形態１によれば、背景映像に適用されているホワイトバランス補正値に対応する第１ホワイトバランス補正値が取得される。そして、第１ホワイトバランス補正値に基づいて、ＣＧ映像に適用するホワイトバランス補正値である第２ホワイトバランス補正値が決定される。こうすることによって、現実空間映像に仮想空間映像を重畳した映像の違和感を簡便に（手間をかけずに、例えば特別な撮影または測色を行わずに）軽減することができる。
なお、ＡＷＢ処理前の背景映像に基づいて、当該背景映像に適用されるホワイトバランス補正値（ＡＷＢ処理後の背景映像に適用されているホワイトバランス補正値）に対応（近似）する第１ホワイトバランス補正値を決定する例を説明した。しかし、第１ホワイトバランス補正値の取得方法は、これに限られない。例えば、ＨＭＤが、ＡＷＢ処理に使用したホワイトバランス補正値を出力し、情報処理装置が、ＨＭＤから出力されたホワイトバランス補正値を第１ホワイトバランス補正値として取得してもよい。ＨＭＤが、ＡＷＢ処理に使用したホワイトバランス補正値に関する別の情報を出力し、情報処理装置が、ＨＭＤから出力された当該情報に基づいて第１ホワイトバランス補正値を取得（決定）してもよい。ＨＭＤは背景映像にホワイトバランス補正値を適用せずに、情報処理装置が、第１ホワイトバランス補正値を決定し、決定した第１ホワイトバランス処理を背景映像（ホワイトバランス補正値が適用されていない背景映像）に適用してもよい。
（実施形態２）
本発明の実施形態２について説明する。なお、以下では、実施形態１と同じ点（例えば実施形態１と同じ構成および処理）についての説明は省略し、実施形態１と異なる点について説明する。
実施形態２では、情報処理装置１００（ＣＧ映像補正部１０６）は、ＣＧ映像を重畳する位置を示す位置情報を取得して、位置情報とＡＷＢ処理前の背景映像とに基づいて第１ホワイトバランス補正値を取得（決定、算出）する。ＣＧ映像の位置を考慮することによって、背景映像が複数の環境光源にそれぞれ対応する複数の領域を含む場合にも、好適なホワイトバランス補正値（第１ホワイトバランス補正値および第２ホワイトバランス補正値）を取得することができる。例えば、ＡＷＢ処理において背景映像の一部（ＣＧ映像が重畳される位置を含む領域、またはＣＧ映像が重畳される領域）に適用されたホワイトバランス補正値により近い第１ホワイトバランス補正値を取得することができる。
図８は、実施形態２におけるＣＧ映像補正部１０６の処理フローを示すフローチャートである。
ステップＳ８０１にて、ＣＧ映像補正部１０６は、撮像素子２０２によって撮像された背景映像（ＡＷＢ処理前の背景映像）を、撮像部１１１のシステム制御部２０５から取得する。
ステップＳ８０２にて、ＣＧ映像補正部１０６は、ＣＧ映像が重畳される位置を示す位置情報を、ＣＧ映像生成部１０５から取得する。
ステップＳ８０３では、ＣＧ映像補正部１０６は、ステップＳ８０１で取得した背景映像（ＡＷＢ処理前の背景映像）と、ステップＳ８０２で取得した位置情報とに基づいて、第１ホワイトバランス補正値を決定（取得）する。実施形態１では、ＡＷＢ処理前の背景映像の全体に基づいて第１ホワイトバランス補正値を決定した。実施形態２では、ＡＷＢ処理前の背景映像のうち、位置情報によって示された位置（ＣＧ映像が重畳される位置）を含む領域の映像に基づいて、第１ホワイトバランス補正値を決定する。
図９は背景映像９０１を示す。背景映像９０１は、環境光源Ａに対応する領域９０２と、環境光源Ｂに対応する領域９０３とを含む。ＣＧ映像は、環境光源Ａに対応する領域９０２に重畳される。このとき、環境光源Ｂに対応する領域９０３に基づいて第１ホワイトバランス補正値を決定すると、ＡＷＢ処理においてＣＧ映像付近で使用されたホワイトバランス補正値に近い第１ホワイトバランス補正値を決定することができない。そこで、実施形態２では、ＣＧ映像が重畳される位置を含む領域９０４（環境光源Ａに対応する領域９０２の一部）に基づいて第１ホワイトバランス補正値を決定する。こうすることによって、ＡＷＢ処理においてＣＧ映像付近で使用されたホワイトバランス補正値に近い第１ホワイトバランス補正値を決定することができる。
ステップＳ８０４～Ｓ８０７の処理は、実施形態１（図３）のステップＳ３０３～Ｓ３０６の処理と同じである。
以上述べたように、実施形態２によれば、ＣＧ映像が重畳される位置を含む領域の映像に基づいて、第１ホワイトバランス補正値が決定される。こうすることによって、背景映像が複数の環境光源にそれぞれ対応する複数の領域を含む場合にも、好適なホワイトバランス補正値（第１ホワイトバランス補正値および第２ホワイトバランス補正値）を取得することができる。
なお、ＣＧ映像が重畳される位置を含む領域の設定方法は特に限定されない。例えば、ＣＧ映像が重畳される位置を中心とした所定サイズの領域を設定してもよいし、背景映像を複数の領域（例えば複数の環境光源にそれぞれ対応する複数の領域）に分割し、複数の領域から、ＣＧ映像が重畳される位置を含む領域を選択してもよい。
また、ＣＧ映像補正部１０６は、ＣＧ映像が重畳される領域を示す領域情報を取得してもよい。そして、ＣＧ映像補正部１０６は、ＣＧ映像が重畳される領域の映像に基づいて、第１ホワイトバランス補正値を決定してもよい。ＣＧ映像補正部１０６は、ＣＧ映像が重畳される領域を含む領域（例えば、ＣＧ映像が重畳される領域よりもわずかに広い領域）の映像に基づいて、第１ホワイトバランス補正値を決定してもよい。
なお、上述した実施形態（変形例を含む）はあくまで一例であり、本発明の要旨の範囲内で上述した構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。上述した構成を適宜組み合わせて得られる構成も、本発明に含まれる。
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
本実施形態の開示は、以下の構成、方法、プログラム、および媒体を含む。
（構成１）
現実空間映像に適用されているホワイトバランス補正値に対応する第１ホワイトバランス補正値を取得する取得手段と、
前記第１ホワイトバランス補正値に基づいて、仮想空間映像に適用するホワイトバランス補正値である第２ホワイトバランス補正値を決定する決定手段と、
前記第２ホワイトバランス補正値に基づいて前記仮想空間映像を補正する補正手段と、
前記補正手段による補正後の仮想空間映像を前記現実空間映像に重畳する重畳手段と
を有することを特徴とする情報処理装置。
（構成２）
前記取得手段は、前記第１ホワイトバランス補正値に対応する前記ホワイトバランス補正値が適用される前の現実空間映像に基づいて、前記第１ホワイトバランス補正値を決定する
ことを特徴とする構成１に記載の情報処理装置。
（構成３）
前記取得手段は、前記第１ホワイトバランス補正値に対応する前記ホワイトバランス補正値が適用される前の現実空間映像のうち、前記仮想空間映像が重畳される位置を含む領域の映像に基づいて、前記第１ホワイトバランス補正値を決定する
ことを特徴とする構成１または２に記載の情報処理装置。
（構成４）
前記取得手段は、前記第１ホワイトバランス補正値に対応する前記ホワイトバランス補正値が適用される前の現実空間映像のうち、前記仮想空間映像が重畳される領域の映像に基づいて、前記第１ホワイトバランス補正値を決定する
ことを特徴とする構成１～３のいずれか１項に記載の情報処理装置。
（構成５）
前記決定手段は、前記第１ホワイトバランス補正値と、前記第１ホワイトバランス補正値を決定する過程で推定された環境光源の色温度とに基づいて、前記第２ホワイトバランス補正値を決定する
ことを特徴とする構成１～４のいずれか１項に記載の情報処理装置。
（構成６）
前記取得手段は、
前記第１ホワイトバランス補正値に対応する前記ホワイトバランス補正値が適用される前の現実空間映像に基づいて、環境光源の色温度に対応し、所定の色の被写体を前記所定の色で表示するためのホワイトバランス補正値に対応する第３ホワイトバランス補正値
を決定し、
前記環境光源の色温度に基づいて前記第３ホワイトバランス補正値を調整して、前記被写体を人間の知覚色で表示するためのホワイトバランス補正値に対応する前記第１ホワイトバランス補正値を決定する
ことを特徴とする構成１～５のいずれか１項に記載の情報処理装置。
（構成７）
前記決定手段は、前記第１ホワイトバランス補正値と前記第３ホワイトバランス補正値とに基づいて、前記第２ホワイトバランス補正値を決定する
ことを特徴とする構成６に記載の情報処理装置。
（構成８）
現実空間の環境が変化したか否かを判定する判定手段
をさらに有し、
前記補正手段は、前記判定手段の判定結果に基づいて、使用する第２ホワイトバランス補正値を更新する
ことを特徴とする構成１～７のいずれか１項に記載の情報処理装置。
（構成９）
前記補正手段は、前記現実空間の環境が変化したと判定された場合に、前記使用する第２ホワイトバランス補正値を更新する
ことを特徴とする構成８に記載の情報処理装置。
（構成１０）
前記補正手段は、前記現実空間の環境が変化していないと判定された場合に、前記使用する第２ホワイトバランス補正値を更新しない
ことを特徴とする構成８または９に記載の情報処理装置。
（構成１１）
前記補正手段は、前記使用する第２ホワイトバランス補正値を更新する場合に、前記使用する第２ホワイトバランス補正値を徐々に変更する
ことを特徴とする構成８～１０のいずれか１項に記載の情報処理装置。
（構成１２）
構成１～１１のいずれか１項に記載の情報処理装置と、
前記重畳手段によって得られた映像を表示する表示手段と
を有することを特徴とする頭部装着型表示装置。
（方法）
現実空間映像に適用されているホワイトバランス補正値に対応する第１ホワイトバランス補正値を取得するステップと、
前記第１ホワイトバランス補正値に基づいて、仮想空間映像に適用するホワイトバランス補正値である第２ホワイトバランス補正値を決定するステップと、
前記第２ホワイトバランス補正値に基づいて前記仮想空間映像を補正するステップと、
補正後の仮想空間映像を前記現実空間映像に重畳する重畳ステップと
を有することを特徴とする情報処理装置の制御方法。
（プログラム）
コンピュータを、構成１～１１のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
（媒体）
コンピュータを、構成１～１１のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
１００：情報処理装置 １１０：ＨＭＤ
１０６：ＣＧ映像補正部 １０７：表示映像生成部

Claims (15)

  1. 現実空間映像に適用されているホワイトバランス補正値に対応する第１ホワイトバランス補正値を取得する取得手段と、
    前記第１ホワイトバランス補正値に基づいて、仮想空間映像に適用するホワイトバランス補正値である第２ホワイトバランス補正値を決定する決定手段と、
    前記第２ホワイトバランス補正値に基づいて前記仮想空間映像を補正する補正手段と、
    前記補正手段による補正後の仮想空間映像を前記現実空間映像に重畳する重畳手段と
    を有することを特徴とする情報処理装置。
  2. 前記取得手段は、前記第１ホワイトバランス補正値に対応する前記ホワイトバランス補正値が適用される前の現実空間映像に基づいて、前記第１ホワイトバランス補正値を決定する
    ことを特徴とする請求項１に記載の情報処理装置。
  3. 前記取得手段は、前記第１ホワイトバランス補正値に対応する前記ホワイトバランス補正値が適用される前の現実空間映像のうち、前記仮想空間映像が重畳される位置を含む領域の映像に基づいて、前記第１ホワイトバランス補正値を決定する
    ことを特徴とする請求項１に記載の情報処理装置。
  4. 前記取得手段は、前記第１ホワイトバランス補正値に対応する前記ホワイトバランス補正値が適用される前の現実空間映像のうち、前記仮想空間映像が重畳される領域の映像に基づいて、前記第１ホワイトバランス補正値を決定する
    ことを特徴とする請求項１に記載の情報処理装置。
  5. 前記決定手段は、前記第１ホワイトバランス補正値と、前記第１ホワイトバランス補正値を決定する過程で推定された環境光源の色温度とに基づいて、前記第２ホワイトバランス補正値を決定する
    ことを特徴とする請求項１のいずれか１項に記載の情報処理装置。
  6. 前記取得手段は、
    前記第１ホワイトバランス補正値に対応する前記ホワイトバランス補正値が適用される前の現実空間映像に基づいて、環境光源の色温度に対応し、所定の色の被写体を前記所定の色で表示するためのホワイトバランス補正値に対応する第３ホワイトバランス補正値を決定し、
    前記環境光源の色温度に基づいて前記第３ホワイトバランス補正値を調整して、前記被写体を人間の知覚色で表示するためのホワイトバランス補正値に対応する前記第１ホワイトバランス補正値を決定する
    ことを特徴とする請求項１に記載の情報処理装置。
  7. 前記決定手段は、前記第１ホワイトバランス補正値と前記第３ホワイトバランス補正値とに基づいて、前記第２ホワイトバランス補正値を決定する
    ことを特徴とする請求項６に記載の情報処理装置。
  8. 現実空間の環境が変化したか否かを判定する判定手段
    をさらに有し、
    前記補正手段は、前記判定手段の判定結果に基づいて、使用する第２ホワイトバランス補正値を更新する
    ことを特徴とする請求項１に記載の情報処理装置。
  9. 前記補正手段は、前記現実空間の環境が変化したと判定された場合に、前記使用する第２ホワイトバランス補正値を更新する
    ことを特徴とする請求項８に記載の情報処理装置。
  10. 前記補正手段は、前記現実空間の環境が変化していないと判定された場合に、前記使用する第２ホワイトバランス補正値を更新しない
    ことを特徴とする請求項８に記載の情報処理装置。
  11. 前記補正手段は、前記使用する第２ホワイトバランス補正値を更新する場合に、前記使用する第２ホワイトバランス補正値を徐々に変更する
    ことを特徴とする請求項８のいずれか１項に記載の情報処理装置。
  12. 請求項１～１１のいずれか１項に記載の情報処理装置と、
    前記重畳手段によって得られた映像を表示する表示手段と
    を有することを特徴とする頭部装着型表示装置。
  13. 現実空間映像に適用されているホワイトバランス補正値に対応する第１ホワイトバランス補正値を取得するステップと、
    前記第１ホワイトバランス補正値に基づいて、仮想空間映像に適用するホワイトバランス補正値である第２ホワイトバランス補正値を決定するステップと、
    前記第２ホワイトバランス補正値に基づいて前記仮想空間映像を補正するステップと、
    補正後の仮想空間映像を前記現実空間映像に重畳する重畳ステップと
    を有することを特徴とする情報処理装置の制御方法。
  14. コンピュータを、請求項１～１１のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
  15. コンピュータを、請求項１～１１のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
JP2022119707A 2022-07-27 2022-07-27 情報処理装置、頭部装着型表示装置、情報処理装置の制御方法、プログラム、および記憶媒体 Pending JP2024017210A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022119707A JP2024017210A (ja) 2022-07-27 2022-07-27 情報処理装置、頭部装着型表示装置、情報処理装置の制御方法、プログラム、および記憶媒体
US18/354,159 US20240037872A1 (en) 2022-07-27 2023-07-18 Information processing device, head-mounted display device, control method of information processing device, and non-transitory computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022119707A JP2024017210A (ja) 2022-07-27 2022-07-27 情報処理装置、頭部装着型表示装置、情報処理装置の制御方法、プログラム、および記憶媒体

Publications (1)

Publication Number Publication Date
JP2024017210A true JP2024017210A (ja) 2024-02-08

Family

ID=89664647

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022119707A Pending JP2024017210A (ja) 2022-07-27 2022-07-27 情報処理装置、頭部装着型表示装置、情報処理装置の制御方法、プログラム、および記憶媒体

Country Status (2)

Country Link
US (1) US20240037872A1 (ja)
JP (1) JP2024017210A (ja)

Also Published As

Publication number Publication date
US20240037872A1 (en) 2024-02-01

Similar Documents

Publication Publication Date Title
US8248485B2 (en) Imaging apparatus and imaging method
JP5367640B2 (ja) 撮像装置および撮像方法
JP3892648B2 (ja) 画像入力装置、ホワイトバランス調整方法、およびその方法を実行するためのプログラムを格納したコンピュータが読取可能な記録媒体
JP7289653B2 (ja) 制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム
TWI471004B (zh) 成像裝置、成像方法及程式
WO2015079795A1 (ja) マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置
JP2002232906A (ja) ホワイトバランス制御装置
JP6381404B2 (ja) 画像処理装置及び方法、及び撮像装置
JP2010103740A (ja) デジタルカメラ
CN106575434B (zh) 图像处理装置、摄像装置以及图像处理方法
JP5411786B2 (ja) 撮影装置および画像統合プログラム
JP6425571B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2006270135A (ja) 電子的撮像装置における色再現補正装置
CN110324529B (zh) 图像处理设备及其控制方法
JP2021182672A (ja) 画像処理装置、画像処理方法、及びプログラム
KR101635101B1 (ko) 렌즈 왜곡과 색수차를 보정하는 장치 및 방법
KR101680446B1 (ko) 컬러 테이블 생성 장치, 카메라 영상 보정/제어 장치 및 그 방법
JP2020102666A (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP5911340B2 (ja) 撮像装置およびその制御方法
JP2021136662A (ja) 画像処理装置および画像処理方法
JP2005117524A (ja) 画像処理システム
JP2024017210A (ja) 情報処理装置、頭部装着型表示装置、情報処理装置の制御方法、プログラム、および記憶媒体
JP7520586B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP7311995B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP4857856B2 (ja) 彩度調整機能を有する電子カメラ、および画像処理プログラム