JP6525740B2 - 情報処理装置、情報処理装置の制御方法、画像処理システム及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理装置の制御方法、画像処理システム及びプログラムに関し、特に、頭部装着型の表示装置、すなわちＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を用いる画像処理技術に関する。

近年、現実世界と仮想世界をリアルタイムにシームレスに融合させる技術として複合現実感、いわゆるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が知られている。ＭＲ技術の１つに、ビデオシースルーＨＭＤ（ＨＭＤはＨｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙである。）を利用して、ＨＭＤ使用者の瞳位置から観察される被写体と略一致する被写体をビデオカメラなどで撮像し、その撮像画像にＣＧ（ＣＧはＣｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓである。）を重畳表示した画像をＨＭＤ使用者が観察する技術が知られている。

ビデオシースルー型ＨＭＤでは、ＣＣＤ等の電荷結合素子により被写体を撮像して該被写体のデジタル画像データを得るとともに、ＣＧ画像を重畳したＭＲ画像（複合現実画像）を液晶や有機ＥＬ等の表示デバイスを介して装着者に表示する構成になっている。

図１５は、ＨＭＤ使用者がＨＭＤ２５０１を装着している時の図である。ＨＭＤ２５０１の他に外部装置（不図示）があり、ＨＭＤ２５０１から外部装置にＨＭＤ２５０１で撮像した撮像画像を送信する。外部装置ではＨＭＤから受信した撮像画像からＨＭＤ２５０１の位置姿勢を計算し、当該計算結果に基づいて撮像画像に対してＣＧ画像を重畳しＨＭＤへ送信する。ＨＭＤ２５０１では外部装置から受信した重畳画像を表示する。ＨＭＤ使用者はＨＭＤ２５０１を用いることでＭＲ空間を体験することが可能となる。

現実世界を撮像し、ＣＧ画像を重畳してＭＲ空間を体験するための撮像素子とは別に、ＨＭＤ２５０１の位置姿勢を取得するための撮像素子を搭載しているＨＭＤがある。体験用と位置姿勢取得用の撮像素子を別々にする理由の一つとして、位置姿勢を取得するための撮像素子の画角を広くし撮像範囲を広くして、位置姿勢を取得するための特徴点を多く撮像することで、より精度の高い位置姿勢を取得することができる。

一般に、撮像部はＡｕｔｏ Ｅｘｐｏｓｕｒｅと呼ばれる機能を有しておいる。これはシャッター速度やゲイン等を制御することで撮像部から出力される画像の明るさを一定にする機能である（特許文献１参照）。

ここで、図１６（ａ）は撮像部で机を撮像した時の図である。机の上に置いているマークの特徴を計算することでＨＭＤの位置姿勢を取得することができる。図１６（ｂ）は現実世界が明るくなった時に撮像部で撮像した結果の画像であり、現実世界が明るくなったことにより、撮像している対象物が白とびしている。例えば窓から差し込む太陽光の強さによって現実世界の明るさが変化する。図１６（ｃ）は、図１６（ｂ）の後、撮像部のＡｕｔｏ Ｅｘｐｏｓｕｒｅ機能が動作したことによって、撮像部で撮像した後の撮像画像が図１６（ａ）の時と同じようになった図である。

特開２００６−２９５５０６号公報

特許文献１に記載のＡｕｔｏ Ｅｘｐｏｓｕｒｅ機能では、ＭＲ体験用の撮像と位置姿勢取得用の撮像とを区別せずに行っている。そのため、図１６（ａ）から図１６（ｂ）、そして図１６（ｂ）から図１６（ｃ）のように変化することが起こりうる。すなわち、外界の明るさが変化する時（図１６（ｂ）の時）に撮像画像が白とびしているため、必ずしも高精度にＨＭＤの位置姿勢を取得することができないという課題がある。

本発明は、上記の課題に鑑みてなされたものであり、撮像部が複数存在する場合において、外界の明るさが変化する場合でも、各撮像部での撮像を高精度に行う技術を提供することを目的とする。

上記の目的を達成する本発明に係る情報処理装置は、
第１の撮像部又は第２の撮像部により撮像された撮像画像の輝度値を取得する輝度値取得手段と、
前記撮像画像を撮像した前記第１の撮像部又は前記第２の撮像部に対して外界の明るさの変化に対応する自動露光制御の追従パラメータを決定する決定手段と、
前記輝度値と前記追従パラメータとに基づいて、前記第１の撮像部又は前記第２の撮像部に対して撮像パラメータを設定する設定手段と、
を備えることを特徴とする。

本発明によれば、撮像部が複数存在する場合において、外界の明るさが変化する場合でも、各撮像部での撮像を高精度に行うことが可能になる。

第１実施形態に係る画像処理システムの構成例を示す図。 第１実施形態に係る機能ブロック図。 第１実施形態に係る撮像画像処理部の詳細ブロック図。 第１実施形態に係る位置姿勢取得用撮像部の向きと測光方式との関係を示す図。 第１実施形態に係る追従時間を決定するための表。 第１実施形態に係るＡｕｔｏ Ｅｘｐｏｓｕｒｅ制御の一例を示す図。 第１実施形態に係るＡｕｔｏ Ｅｘｐｏｓｕｒｅ制御の一例を示す図。 第１実施形態に係るＡｕｔｏ Ｅｘｐｏｓｕｒｅ制御の全体フローチャート。 第１実施形態に係るＡｕｔｏ Ｅｘｐｏｓｕｒｅ制御のフローチャート。 第２実施形態に係る位置姿勢取得用撮像部の向きを示す図。 第２実施形態に係る機能ブロック図。 第２実施形態に係る撮像画像処理部の詳細ブロック図。 第２実施形態に係るＡｕｔｏ Ｅｘｐｏｓｕｒｅ制御の全体フローチャート。 第３実施形態に係るＡｕｔｏ Ｅｘｐｏｓｕｒｅ制御のフローチャート。 ＨＭＤを使用者が装着した様子を示す図。 外界の明るさが変化した際の被写体の様子を示す図。

（第１実施形態）
本実施形態では、情報処理装置としての頭部搭載型の表示装置（以下、ＨＭＤ。）の、体験用撮像部と位置姿勢取得用撮像部との各Ａｕｔｏ Ｅｘｐｏｓｕｒｅ（自動露光とも称する。）機能の制御を分離して制御すること、そして、位置姿勢取得用撮像部のＡｕｔｏ Ｅｘｐｏｓｕｒｅ機能を外界の明るさの変化に対して素早く対応させる制御を行う例を説明する。

図１は、本実施形態に係る画像処理システムの構成例を示す図である。図１において、画像処理システムは、ＨＭＤ１１０１と、コントローラ１１０２と、表示部１１０３を有する画像処理装置１１０４とを備えている。

ＨＭＤ１１０１は、画像表示部１１０１０、コントローラ１１０２と通信する通信部１１０１１、及び、それらを制御する制御部１１０１２を備えており、ＨＭＤ１１０１は使用者の頭部に装着される。画像表示部１１０１０は、画像処理装置１１０４により生成された画像を表示する。画像表示部１１０１０は、使用者のそれぞれの眼の前に光学系を含む構成で取付けられている。

ＨＭＤ１１０１は、ＷＬＡＮ（Ｗｉｒｅｌｅｓｓ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＷＰＡＮ（Ｗｉｒｅｌｅｓｓ Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）のような小規模ネットワークを構成するコントローラ１１０２と通信を行う。ＨＭＤ１１０１とコントローラ１１０２との間には、無線通信方式に限らず、有線通信方式を利用してもよい。また、ＨＭＤ１１０１には撮像部１１０５が搭載されている。撮像部１１０５はＨＭＤ１１０１の位置姿勢を取得するために外界を撮像する。

コントローラ１１０２と有線接続された画像処理装置１１０４は、画像を再生する再生部と再生する画像を格納しておく格納部を有する。画像処理装置１１０４はコントローラ１１０２を介し、ＨＭＤ１１０１と通信を行う。また、画像処理装置１１０４は、キーボードなどを備え、データや、命令等を入力し、入力されたデータの表示や、命令の結果等は、表示部１１０３に表示される。

なお、図１の例では、画像処理装置１１０４とコントローラ１１０２とを別々のハードウェア構成としている。一方で、コントローラ１１０２の持つ機能をすべて画像処理装置１１０４内に実装して一体化することや、画像処理装置１１０４とコントローラ１１０２とがそれぞれ有する機能を集め、専用の画像処理装置を構成することも可能である。

図２は、本実施形態に係るＨＭＤと画像処理装置とを有する画像処理システムの機能ブロック図である。ＨＭＤ１２０１は、位置姿勢取得用撮像部１２０２と、体験用撮像部１２０３と、表示部１２０４と、制御部１２０５と、撮像画像処理部１２０６と、画像処理装置Ｉ／Ｆ通信部１２０７と、その他不図示の機能部とを備える。ＨＭＤ１２０１がＨＭＤ１１０１に対応している。

位置姿勢取得用撮像部１２０２は外界を撮像し、ＨＭＤの位置姿勢を取得するために使用する。体験用撮像部１２０３は外界を撮像し、複合現実感体験用に使用する。表示部１２０４は、画像を表示する。制御部１２０５は、ＨＭＤ１２０１を制御する。撮像画像処理部１２０６は、体験用撮像部１２０３と位置姿勢取得用撮像部１２０２で撮像した画像の画像処理を行う。画像処理装置Ｉ／Ｆ通信部１２０７は、画像や制御信号を送受信する。

一方、画像処理装置１２１０は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やＷＳ（Ｗｏｒｋｓｔａｔｉｏｎ）などＨＭＤ１２０１とは異なる外部の装置で構成されている。画像処理装置１２１０は、ＨＭＤ Ｉ／Ｆ通信部１２１１と、位置姿勢取得部１２１２と、コンテンツデータベース（ＤＢ）１２１３と、ＣＧ描画部１２１４と、その他不図示の機能部とを備える。画像処理装置１２１０が画像処理装置１１０４に対応している。

ＨＭＤ Ｉ／Ｆ通信部１２１１は、画像や制御信号等を送受信する。位置姿勢取得部１２１２は、ＨＭＤ１２０１から受信した位置姿勢取得用の撮像画像からＨＭＤ１２０１の位置姿勢を取得する。コンテンツデータベース（ＤＢ）１２１３は、仮想画像のＣＧコンテンツを格納する。ＣＧ描画部１２１４は、コンテンツＤＢ１２１３に格納されているＣＧ画像を、体験用撮像部１２０３により撮像された撮像画像に重畳する。

なお、本実施形態では、ＨＭＤ１２０１から画像処理装置１２１０へ撮像画像を送り、画像処理装置１２１０で位置姿勢取得を行い、仮想画像のＣＧを撮像画像に重畳しているが、この例に限定されない。例えば、位置姿勢取得部１２１２をＨＭＤ１２０１に搭載して、ＨＭＤ１２０１の位置姿勢情報を画像処理装置１２１０へ送信してもよい。そして、画像処理装置１２１０からＨＭＤ１２０１へ仮想画像のＣＧ画像のみを送り、ＨＭＤ１２０１の中で撮像画像とＣＧ画像とを重畳する構成にしてもよい。

上述の構成において、ＨＭＤ１２０１の体験用撮像部１２０３、位置姿勢取得用撮像部１２０２で撮像した外界の画像は、撮像画像処理部１２０６で処理される。撮像画像処理部１２０６の処理内容は、撮像画像の色味補正や、Ａｕｔｏ Ｅｘｐｏｓｕｒｅ用の処理等である。その後、処理された撮像画像は画像処理装置Ｉ／Ｆ通信部１２０７を介して画像処理装置１２１０へ送られる。

画像処理装置１２１０の位置姿勢取得部１２１２は、受信した位置姿勢取得用の撮像画像に基づいて、ＨＭＤ１２０１の位置姿勢を取得する。ＣＧ描画部１２１４は、位置姿勢取得部１２１２で取得したＨＭＤ１２０１の位置姿勢に基づいてＣＧを描画し、ＣＧを体験用撮像部１２０３で撮像した撮像画像に重畳する。その後、ＨＭＤ Ｉ／Ｆ通信部１２１１を介してＨＭＤ１２０１へ送信する。ＨＭＤ１２０１は、画像処理装置１２１０から受信した画像を表示部１２０４で表示する。以上の構成により、ＨＭＤ１２０１を装着することで、画像処理装置１２１０で描画したＣＧと撮像画像との重畳画像を観察することができる。

続いて、図３は、ＨＭＤ１２０１の撮像画像処理部１２０６の詳細ブロック図であり、特にＡｕｔｏ Ｅｘｐｏｓｕｒｅの機能を実現する機能ブロック図である。撮像画像処理部１２０６は、輝度変換部１３０１と、輝度積分値取得部１３０２と、測光方法決定部１３０３と、パラメータ設定部１３０４と、追従パラメータ決定部１３０５とを備える。

体験用撮像部１２０３又は位置姿勢取得用撮像部１２０２で撮像された撮像画像は、輝度変換部１３０１へ送られる。輝度変換部１３０１は、撮像画像を画素毎にＲｅｄ（Ｒ）、Ｇｒｅｅｎ（Ｇ）、Ｂｌｕｅ（Ｂ）から輝度値へ変換を行う（輝度値取得）。Ｒ、Ｇ、Ｂから輝度（Ｙ）への変換は一般的な以下の式等を用いて行う。

Ｙ ＝ ０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ...（１）
輝度変換部１３０１で輝度値に変換されたデータは、輝度積分値取得部１３０２へ送られる。輝度積分値取得部１３０２は、輝度変換部１３０１から送られてきた輝度値と、測光方法決定部１３０３から送られてきた測光方法とに基づいて、領域毎に重みづけを加味した輝度積分値を求めてパラメータ設定部１３０４へ送る。

ここで、測光方法決定部１３０３で決定する測光方法について説明する。測光方法の決定では、撮像画像を例えば３×３や５×５等の領域に分割し、どの領域の輝度値を重点的に用いるかを決定する。図４は、撮像画像を４×４に分割する時の測光方法の例を示している。

図４（ａ）の１７０１は体験者、１７０２は位置姿勢取得用撮像部である。図４（ａ）の位置姿勢取得用撮像部１７０２は、ほぼ体験者１７０１の視線と同じ方向を向いて取り付けられている。この場合、撮像画像の中央付近の領域１７０３の輝度積分値の重みを増やす。

一方、図４（ｂ）の位置姿勢取得用撮像部１７０２は少し上方向を向いている。この場合、天井に付けられている照明を取る場合があるため、図４（ａ）の場合と比べて重みを付ける個所を領域１７０４に変更している。同様に、図４（ｃ）の場合、位置姿勢取得用撮像部は少し下方向を向いている。この場合、床に映った影を取る場合があるため、同じように重みを付けている個所を領域１７０５に変更している。

位置姿勢取得用撮像部１７０２の向きが変わっているのは、ＭＲ体験する場所によって最適な向きへ変更して使用するためである。例えば、床に位置姿勢を取得するための情報が沢山ある場合は図４（ｃ）のような方法で使用する。

追従パラメータ決定部１３０５は、外界の明るさの変化に対して、どの程度の時間差でＡｕｔｏ Ｅｘｐｏｓｕｒｅ制御を行うかを追従パラメータとして決定し、当該情報をパラメータ設定部１３０４へ送る。

ここで、追従パラメータ決定部１３０５が決定する追従パラメータについて説明する。追従パラメータは、外界の明るさが変化してから自動露光制御の追従を行うまでの時間差を示す。図５は、外界の明るさの変化に対して、どの程度の時間差でＡｕｔｏ Ｅｘｐｏｓｕｒｅ制御の追従を行うかを示した例である。図５（ａ）は、位置姿勢取得用撮像の追従パラメータの例であり、図５（ｂ）は、体験用撮像の追従パラメータの例である。

図５の例では、位置姿勢取得用撮像部１２０２からの出力画像は、例えば１ｆｐｓ以内に目標輝度になるように制御したり、５ｆｐｓ以内に目標輝度になるように制御したりする。一方、図５（ｂ）は、体験用撮像部１２０３の追従パラメータであり、１秒かけて目標輝度になるように制御したり、５秒かけて目標輝度になるように制御したりする。このように、位置姿勢取得用の追従パラメータの方が体験用の追従パラメータよりも早く目標輝度になるようなパラメータになっている。

パラメータ設定部１３０４は、輝度積分値取得部１３０２から受け取った領域毎の輝度積分値と、追従パラメータ決定部１３０５から受け取った追従パラメータとに基づいて、撮像画像の明るさが一定になるように体験用撮像部１２０３や位置姿勢取得用撮像部１２０２に対して設定するシャッター速度やゲイン等の撮像パラメータを求め、当該撮像パラメータを体験用撮像部１２０３や位置姿勢取得用撮像部１２０２へ送る。

なお、本実施形態では、撮像画像の輝度を変更するためにシャッター速度とゲインとの少なくとも何れか１つを制御する方法を説明するが、この限りではない。

続いて、パラメータ設定部１３０４が行うシャッター速度の変更方法について説明する。図６（ａ）−図６（ｅ）は、外界の明るさの変化と、それに伴う各種制御タイミングと、当該制御によって出力された撮像画像の輝度とを示した図である。図６（ａ）は、外界の明るさの変化を示した図である。縦軸が明るさ、横軸が時間を表しており、時刻ｔ１からｔ２にかけて明るくなり、時刻ｔ３からｔ４にかけて暗くなることを示している。

図６（ｂ）は、図６（ａ）に示すように外界の明るさが変化した場合の体験用撮像部１２０３に対するＡｕｔｏ Ｅｘｐｏｓｕｒｅ制御のＯＮ／ＯＦＦ制御を示す。時刻ｔ１からある程度経過したｔ５からＡｕｔｏ Ｅｘｐｏｓｕｒｅ制御を開始し、時刻ｔ２からある程度経過したｔ６で制御を終了している。同様に、時刻ｔ３からある程度経過したｔ７からＡｕｔｏ Ｅｘｐｏｓｕｒｅ制御を開始し、時刻ｔ４からある程度経過したｔ８で制御を終了している。

図６（ｃ）は、図６（ｂ）に示すＯＮ／ＯＦＦ制御を行った場合に体験用撮像部１２０３から出力される撮像画像の輝度情報を示している。外界の明るさの変化に少し遅れて追従し、撮像画像の輝度を概ね一定に保つような制御になっている。外界の明るさの変化に素早く対応させると体験者が違和感を覚えるため、外界の明るさの変化から少し遅れて追従をさせる制御を行っている。

図６（ｄ）は、位置姿勢取得用撮像部１２０２に対するＡｕｔｏ Ｅｘｐｏｓｕｒｅ制御のＯＮ／ＯＦＦ制御を示している。制御開始は時刻ｔ９であり、体験用撮像部１２０３のＯＮ／ＯＦＦ制御の開始時刻ｔ５よりも早いタイミングであり、制御終了も時刻ｔ１０であり、体験用撮像部１２０３のＯＮ／ＯＦＦ制御の終了時刻ｔ６よりも早いタイミングで制御が終了する。

図６（ｅ）は、図６（ｄ）に示すＯＮ／ＯＦＦ制御を行った際の位置姿勢用撮像部から出力される撮像画像の輝度情報を示している。図６（ｅ）に示すように、外界の明るさの変化に遅れることなく追従して明るさを一定に保つような制御になっている。

なお、図６（ａ）−図６（ｅ）に示すような制御に代えて、図７（ａ）−図７（ｅ）に示すような制御であってもよい。図７（ａ）は外界の輝度の変化を示した図であり、図６（ａ）と同様である。図６（ａ）−図６（ｅ）と図７（ａ）−図７（ｅ）とでは、図６（ｂ）と図７（ｂ）とが異なっている。具体的には、体験用撮像部１２０３のＡｕｔｏ Ｅｘｐｏｓｕｒｅ制御ＯＮの開始時刻が異なっている。図７（ｂ）での開始時刻ｔ５は時刻ｔ１とｔ２との間であるが、図６（ｂ）での開始時刻ｔ５よりも早い。同様に、図７（ｂ）での開始時刻ｔ７は時刻ｔ３とｔ４との間であるが、図６（ｂ）での開始時刻ｔ７よりも早い。

体験用撮像部１２０３のＡｕｔｏ Ｅｘｐｏｓｕｒｅ制御の開始・終了は、体験用撮像部１２０３から出力される撮像画像の輝度情報が外界の明るさの変化に少し遅れて追従するような制御であればよく、図６、図７に示す制御方法以外の方法であってもよい。図６等に示すような位置姿勢取得用撮像部１２０２に対するＡｕｔｏ Ｅｘｐｏｓｕｒｅ制御に従うことで、図１６のような場合において、外界の明るさが変化した時でも、位置姿勢取得用撮像部１２０２からの出力画像は図１６（ａ）から図１６（ｂ）のようになることなく、図１６（ａ）から図１６（ｃ）のようになる。

図８は、本実施形態に係る撮像画像処理部１２０６によるＡｕｔｏ Ｅｘｐｏｓｕｒｅ制御の処理手順を示すフローチャートである。Ｓ１８０１において、輝度変換部１３０１は、撮像画像が位置姿勢取得用の撮像画像か、体験用の撮像画像かを判定する。位置姿勢取得用の撮像画像である場合、Ｓ１８０２へ進む。一方、体験用の撮像画像である場合、Ｓ１８０５へ進む。

Ｓ１８０２において、測光方法決定部１３０３は、位置姿勢取得用撮像部１２０２の向きを検出する。なお、位置姿勢取得用撮像部１２０２の向きの検出については、位置姿勢取得用撮像部１２０２の向きをあらかじめＨＭＤ１２０１に搭載されたＲＯＭに保存していてもよい。あるいは、画像処理装置１２１０からデータを受け取ってもよいし、もしくはＨＭＤ１２０１がある特定のチャートを撮像することでＨＭＤ１２０１が位置姿勢取得用撮像部１２０２の向きを取得してもよい。

Ｓ１８０３において、測光方法決定部１３０３は、位置姿勢取得用撮像部１２０２の向きに基づいて測光方法を決定する。図４を参照して説明したように、位置姿勢取得用撮像部１２０２の向きによって測光方法を決定する。Ｓ１８０４において、追従パラメータ決定部１３０５は、外界の明るさの変化に追従するパラメータを決定する。追従パラメータの決定については、画像処理装置１２１０からの決定であってもよいし、ＨＭＤ１２０１と画像処理装置１２１０との接続シーケンス時に決定してもよい。

Ｓ１８０５において、測光方法決定部１３０３は、測光方法決定する。例えば、体験用撮像画像のために中央の領域を重点的に用いる方法に決定する。Ｓ１８０６において、追従パラメータ決定部１３０５は、体験用撮像画像のために外界の明るさの変化に追従するパラメータを決定する。Ｓ１８０７において、撮像画像処理部１２０６は、Ａｕｔｏ Ｅｘｐｏｓｒｅ制御（詳細は図９を参照して後述）を行って、図８のフローチャートの各処理が終了する。

以下、Ｓ１８０７の処理の詳細について、図９のフローチャートを参照して説明する。Ｓ１９０１において、輝度変換部１３０１は、取得した撮像画像について輝度値への変換を行う。前述した説明のように、Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅから輝度値への変換を行う。Ｓ１９０２において、輝度積分値取得部１３０２は、輝度変換部１３０１から送られてきた画素毎の輝度値と、測光方法決定部１３０３で決定した測光方式とに基づいて、領域毎の輝度積分値を取得する。

Ｓ１９０３において、追従パラメータ決定部１３０５は、Ｓ１８０４又はＳ１８０６で求めた追従パラメータを取得する。Ｓ１９０４において、パラメータ設定部１３０４は、外界の明るさが変化してから、Ｓ１９０３で取得した追従パラメータに対応する所定時間が経過しているか判定する。所定時間が経過している場合、Ｓ１９０５へ進む。一方、所定時間が経過していない場合、処理を終了する。

Ｓ１９０５において、パラメータ設定部１３０４は、輝度積分値取得部１３０２で取得した領域毎の輝度積分値から、各撮像部（位置姿勢取得用撮像部１２０２、体験用撮像部１２０３）に設定する撮像パラメータ（シャッター速度、ゲイン等）を決定する。Ｓ１９０６において、パラメータ設定部１３０４は、Ｓ１９０５で求めた撮像パラメータを各撮像部に設定する。以上で図９のフローチャートの各処理が終了する。

以上説明したように、本実施形態では、体験用撮像部と位置姿勢取得用撮像部との各Ａｕｔｏ Ｅｘｐｏｓｕｒｅ制御を、それぞれ最適化した上で行うため、外界の明るさが変化する場合でも、より高精度な位置姿勢を取得することが可能となる。

（第２実施形態）
第１実施形態では位置姿勢取得用撮像部は１つであるが、本実施形態では位置姿勢取得用撮像部が複数ある場合の処理について説明を行う。

図１０（ａ）は、第１実施形態で用いたＨＭＤ１１０１であり、位置姿勢取得用撮像部２００１が一つ搭載されている。これに対して、図１０（ｂ）は、本実施形態で用いるＨＭＤ２０１０であり、位置姿勢取得用撮像部２００２、２００３が二つ搭載されている。図１０（ｂ）では位置姿勢取得用撮像部２００２、２００３は同じ方向に向けて接続されているが、図１０（ｃ）のように位置姿勢取得用撮像部２００５を上向き、位置姿勢取得用撮像部２００４を下向きに接続してもよい。

図１１は、本実施形態に係るＨＭＤと画像処理装置とを有する画像処理システムの機能ブロック図である。図２とは異なり位置姿勢取得用撮像部（Ｂ）２１０１が搭載されており、撮像画像処理部２１０２は３つのカメラを処理可能な構成になっている。本実施形態では、位置姿勢取得用撮像部が２つの例を説明するが、複数であればよく特に２つに限定されるものではない。

図１２は、ＨＭＤ１２０１の撮像画像処理部２１０２の詳細ブロック図であり、特にＡｕｔｏ Ｅｘｐｏｓｕｒｅの機能を実現する機能ブロック図である。図３とは異なり位置姿勢取得用撮像部２１０１により撮像された撮像画像を撮像画像処理部２１０２で受け取ることができるようになっている。受け取った後の撮像画像を処理する処理部の構成については図３と同様である。

続いて、図１３は、本実施形態に係る撮像画像処理部２１０２によるＡｕｔｏ Ｅｘｐｏｓｕｒｅ制御の処理手順を示すフローチャートである。以下では、主に第１実施形態の図８に係るフローチャートの各処理との差分について説明をする。

Ｓ１８０１において、輝度変換部１３０１は、撮像画像が位置姿勢取得用の撮像画像か、体験用の撮像画像かを判定する。位置姿勢取得用の撮像画像である場合、Ｓ１８０２に代えてＳ２３０１へ進む。一方、体験用の撮像画像である場合、第１実施形態と同様にＳ１８０５へ進む。

Ｓ２３０１において、測光方法決定部１３０３は、位置姿勢取得用撮像部の向きと位置姿勢取得用撮像部間の関係を検出する。撮像部の向きの検出は測光方式を決めるためのものであり、第１実施形態と同様である。

以下、撮像部間の関係について説明を行う。図１０（ｂ）や図１０（ｃ）のように位置姿勢取得用撮像部の向きの関係を検出する。図１０（ｂ）の例の場合、位置姿勢取得用撮像部２００２、２００３は同じ方向を向いているが、図１０（ｃ）の例の場合、位置姿勢取得用撮像部２００５は上を、位置姿勢取得用撮像部２００４は下を向いている。図１０（ｃ）のように位置姿勢取得用撮像部の向いている方向が異なる場合、Ａｕｔｏ Ｅｘｐｏｓｕｒｅ制御を同期させず別々に制御を行った方がよい。上向きの撮像部で撮像する照明環境の変化と、下向きの撮像部で撮像する照明環境の変化とは異なることが多いためである。

一方、図１０（ｂ）のような取り付け場所の場合、共に同じ方向を向いているため位置姿勢取得用撮像部２００２と位置姿勢取得用撮像部２００３とで撮像する照明環境の変化はほぼ同一である。そのためＡｕｔｏ Ｅｘｐｏｓｕｒｅ制御を同期させた方がよい。

各撮像部を取り付けている向きの関係を検出する方法については、撮像部間の関係をあらかじめＨＭＤ１２０１に搭載されたＲＯＭに保存しておき、それを読み出してもよい。あるいは、画像処理装置１２１０からデータを受け取ってもよいし、もしくはＨＭＤ１２０１が撮像した画像の輝度分布から推定してもよい。例えば、画面の領域毎の輝度積分値を取得することを利用して、領域毎の輝度積分値が撮像部間で閾値以上異なっている場合は、各撮像部の向いている方向が異なると推定してもよい。一方、閾値未満であれば各撮像部の向いている方向が同じであると推定してもよい。

図１３におけるその他の処理は第１実施形態と同様であるが、Ｓ２３０２のＡｕｔｏ Ｅｘｐｏｓｒｅ制御の処理内容が第１実施形態と異なっている。

以下、Ｓ２３０２の処理の詳細について、図１４のフローチャートを参照して、主に図９のフローチャートの処理との差分について説明する。Ｓ２４０１において、輝度変換部１３０１は、受け取った撮像画像が位置姿勢取得用の撮像画像か、体験用の撮像画像かを判定する。位置姿勢取得用の撮像画像である場合、Ｓ２４０２へ進む。一方、体験用の撮像画像である場合、Ｓ１９０１へ進む。

Ｓ２４０２において、輝度変換部１３０１は、Ｓ２３０１で検出した位置姿勢取得用撮像部の向きを用いて判定する。各撮像部の向きが同じ方向を向いている場合、Ｓ２４０３へ進む。一方、各撮像部の向きが異なる方向を向いている場合、Ｓ１９０１へ進む。

Ｓ２４０３において、輝度変換部１３０１は、位置姿勢取得用撮像部の全ての画像に対して輝度値への変換を行う。Ｓ２４０４において、輝度積分値取得部１３０２は、輝度変換部１３０１から送られてきた輝度値と、測光方法決定部１３０３で決定した測光方式とに基づいて、領域毎の輝度積分値を、位置姿勢取得用撮像部毎に取得する。

Ｓ２４０５において、輝度積分値取得部１３０２は、Ｓ２４０４で取得された各位置姿勢取得用撮像部の輝度積分値に基づいて、平均輝度積分値を取得する。Ｓ２４０６において、追従パラメータ決定部１３０５は、外界の明るさの変化に追従するパラメータを決定する。Ｓ２４０７において、パラメータ設定部１３０４は、外界の明るさが変化してから、Ｓ２４０６で取得した追従パラメータに対応する所定時間が経過しているか判定する。所定時間が経過している場合、Ｓ２４０８へ進む。一方、所定時間が経過していない場合、処理を終了する。

Ｓ２４０８において、パラメータ設定部１３０４は、輝度積分値取得部１３０２により取得された領域毎の輝度積分値に基づいて、各撮像部に設定する撮像パラメータ（シャッター速度、ゲイン等）を決定する。Ｓ２４０９において、パラメータ設定部１３０４は、Ｓ２４０８で求めた撮像部に設定するパラメータをそれぞれの撮像部に設定する。

一方、Ｓ２４０１において位置姿勢取得用の撮像画像ではない、又はＳ２４０２において各位置姿勢取得用撮像部が異なる方向を向いていると判定された場合は、Ｓ１９０３−Ｓ１９０６の処理へと進む。そして、撮像部が１つである場合のＡｕｔｏ Ｅｘｐｏｓｕｒｅ制御と同じ制御を行う。

本実施形態では位置姿勢取得用撮像部が２つの例を説明したが、位置姿勢取得用撮像部が３つ以上あってもよい。その場合は、同じ方向を向いている位置姿勢取得用撮像部毎にＡｕｔｏ Ｅｘｐｏｓｕｒｅ制御を行えばよい。

以上説明したように、本実施形態によれば、位置姿勢取得用撮像部が複数ある場合に外界の明るさが変化しても、より高精度に位置姿勢を取得することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１２０１：ＨＭＤ、１２０２：位置姿勢取得用撮像部、１２０３：体験用撮像部、１２０４：表示部、１２０５：制御部、１２０６：撮像画像処理部、１２１０：画像処理装置、１２１２：位置姿勢取得部、１２１３：コンテンツＤＢ、１２１４：ＣＧ描画部、１３０１：輝度変換部、１３０２：輝度積分値取得部、１３０３：測光方法決定部、１３０４：パラメータ設定部、１３０５：追従パラメータ決定部

Claims (14)

1. 第１の撮像部又は第２の撮像部により撮像された撮像画像の輝度値を取得する輝度値取得手段と、
   前記撮像画像を撮像した前記第１の撮像部又は前記第２の撮像部に対して、外界の明るさの変化に対応する自動露光制御の追従パラメータを決定する決定手段と、
   前記輝度値と前記追従パラメータとに基づいて、前記第１の撮像部又は前記第２の撮像部に対して撮像パラメータを設定する設定手段と、
   を備えることを特徴とする情報処理装置。
2. 前記第１の撮像部の向きを検出する検出手段と、
   前記第１の撮像部の向きに基づいて測光方法を決定する決定手段と、
   前記第１の撮像部の撮像画像の輝度値と、前記測光方法とに基づいて、前記輝度値の積分値を取得する取得手段とをさらに備え、
   前記設定手段は、前記輝度値の積分値と前記追従パラメータとに基づいて、前記第１の撮像部に対して撮像パラメータを設定することを特徴とする請求項１に記載の情報処理装置。
3. 測光方法を決定する決定手段と、
   前記第２の撮像部の撮像画像の輝度値と、前記測光方法とに基づいて、前記輝度値の積分値を取得する取得手段とをさらに備え、
   前記設定手段は、前記輝度値の積分値と前記追従パラメータとに基づいて、前記第２の撮像部に対して撮像パラメータを設定することを特徴とする請求項１に記載の情報処理装置。
4. 前記設定手段は、前記追従パラメータに対応する所定時間が経過した後に撮像パラメータを設定することを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
5. 前記追従パラメータは、外界の明るさが変化してから自動露光制御の追従を行うまでの時間差を示すことを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
6. 前記決定手段は、前記第１の撮像部に対応する追従パラメータを、前記第２の撮像部に対応する追従パラメータよりも短く決定することを特徴とする請求項５に記載の情報処理装置。
7. 前記撮像パラメータは、シャッター速度とゲインとの少なくとも何れか１つであることを特徴とする請求項１乃至６の何れか１項に記載の情報処理装置。
8. 前記第１の撮像部は、前記情報処理装置の位置姿勢取得用の撮像部であり、
   前記第２の撮像部は、複合現実感体験用の撮像部である
   ことを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
9. 前記検出手段は、前記第１の撮像部とは異なる第３の撮像部の向きを更に検出し、
   前記第１の撮像部の向き及び前記第３の撮像部の向きに基づいて前記第１の撮像部及び前記第３の撮像部を同期させて制御するか、又は別々に制御するかを切り替える制御手段をさらに備えることを特徴とする請求項２に記載の情報処理装置。
10. 前記第１の撮像部は、前記情報処理装置の位置姿勢取得用の撮像部であり、
    前記第２の撮像部は、複合現実感体験用の撮像部であり、
    前記第３の撮像部は、前記情報処理装置の位置姿勢取得用の撮像部であることを特徴とする請求項９に記載の情報処理装置。
11. 前記情報処理装置は、頭部搭載型の表示装置であることを特徴とする請求項１乃至１０の何れか１項に記載の情報処理装置。
12. 請求項１乃至１０の何れか１項に記載の情報処理装置と、
    前記情報処理装置と有線又は無線で接続された画像処理装置と
    を備えることを特徴とする画像処理システム。
13. 情報処理装置の制御方法であって、
    輝度値取得手段が、第１の撮像部又は第２の撮像部により撮像された撮像画像の輝度値を取得する工程と、
    決定手段が、前記撮像画像を撮像した前記第１の撮像部又は前記第２の撮像部に対して外界の明るさの変化に対応する自動露光制御の追従パラメータを決定する工程と、
    設定手段が、前記輝度値と前記追従パラメータとに基づいて、前記第１の撮像部又は前記第２の撮像部に対して撮像パラメータを設定する工程と、
    を有することを特徴とする情報処理装置の制御方法。
14. 請求項１３に記載の情報処理装置の制御方法の各工程をコンピュータに実行させるためのプログラム。