JP4848001B2 - 画像処理装置および画像処理方法 - Google Patents

Description

この発明は、データ処理技術に関し、特に、ゲーム等における仮想空間の画像を処理する技術に関する。

仮想空間の画像から特定のオブジェクトの存在を検出する技術としては、そのオブジェクト画像の表示態様を示す参照用画像を予め用意しておき、判定対象となる仮想空間の画像と参照用画像とを比較する技術が知られている。
特開２００８−０１２１０３号公報

仮想空間を表示するアプリケーションの中には、ユーザが設定する視点に応じて仮想空間の見え方を変化させ、視点の変化に応じて仮想空間内のオブジェクトの表示態様を変化させるものがある。

このような仮想空間の画像から特定のオブジェクトの存在を検出する場合、判定対象となる仮想空間の画像と参照用画像とを比較する方法では、そのコストが増大する。例えば、オブジェクトの様々な表示態様に対応した多くの参照用画像を予め用意する必要があり、また、多くの比較処理が必要となる。

本発明は、こうした課題に鑑みてなされたものであり、その主たる目的は、ユーザが設定する視点に応じて表示態様が変化する仮想空間について、その仮想空間の画像における特定のオブジェクトの存在を簡便に検出する技術を提供することである。

上記課題を解決するために、本発明のある態様の画像処理装置は、仮想空間の画像から所定のオブジェクトの表示領域を特定する装置であって、ユーザの視点に応じてオブジェクトの表示態様が変化する仮想空間について、その仮想空間において使用されていない色彩を用いた画像を仮想空間内のオブジェクトの表示領域にマッピングする画像マッピング部と、画面に実際に表示された仮想空間をフレーム単位で取得する画像取得部と、取得された仮想空間の画像をカラーフィルタリングすることにより、使用されていない色彩によって描画された領域を、ユーザに視認されたオブジェクトの表示領域として抽出する領域抽出部と、を備える。

本発明の別の態様は、画像処理方法である。この方法は、仮想空間の画像から所定のオブジェクトの表示領域を特定する方法であって、ユーザの視点に応じてオブジェクトの表示態様が変化する仮想空間について、その仮想空間において使用されていない色彩を用いた画像を仮想空間内のオブジェクトの表示領域にマッピングするステップと、画面に実際に表示された仮想空間をフレーム単位で取得するステップと、取得された仮想空間の画像をカラーフィルタリングすることにより、使用されていない色彩によって描画された領域を、ユーザに視認されたオブジェクトの表示領域として抽出するステップと、を備える。

なお、以上の構成要素の任意の組合せ、本発明の表現を装置、方法、システム、プログラム、プログラムを格納した記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、ユーザが設定する視点に応じて表示態様が変化する仮想空間について、その仮想空間の画像における特定のオブジェクトの存在を簡便に検出できる。

本発明の実施の形態について、その構成を説明する前に、概要を説明する。
本実施の形態では、都市等の仮想空間を表示させるゲームのアプリケーション（以下、適宜「ゲームアプリケーション」と呼ぶ。）に対する検査技術を提案する。本実施の形態における仮想空間においては、ユーザによる視点設定に応じてその表示態様が変化する。言い換えれば、ユーザによる視点設定に応じて仮想空間内の各オブジェクトの形状等、ユーザからの見え方が変化する。以下では、仮想空間内のオブジェクトの例として、商品やサービスの広告を表示するオブジェクト（以下、単に「広告」と呼ぶ。）を考える。

ゲームアプリケーションは、その仮想空間のどこに何を表示させたかについての情報を有する。したがって、ユーザが設定した視点に応じて仮想空間の表示態様が変化する場合であっても、その仮想空間でユーザに対して視認可能に露出させた広告表示領域の大きさ（以下、適宜「広告露出サイズ」と呼ぶ。）を算出できる。ゲームアプリケーションにおいて広告露出サイズを算出する機能を、以下、「広告露出計数機能」と呼ぶこととする。広告料を算出する外部の課金処理装置に対して、ゲームアプリケーションから広告露出サイズを提供することで、課金処理装置は適切な広告料を算出できる。

しかし、このゲームアプリケーションの広告露出計数機能から出力された広告露出サイズの整合性を検査する場合、特に、ゲームアプリケーションの実行状態、例えばメモリに記憶されたデータ等をブラックボックスとして検査する場合には事情が異なる。広告表示領域の表示態様は刻々と変化し、それに伴って広告露出サイズも変化するため、広告露出計数機能から出力された広告露出サイズが正しいものであるか否かを検証することは困難であった。

本発明者は、ゲームアプリケーションが出力した仮想空間の画像を用いて広告表示領域を特定して広告露出サイズを求め、その広告露出サイズと、広告露出計数機能から出力された広告露出サイズとを照合することを考えた。これにより、ゲームアプリケーションの実行状態を参照することなく、ゲームアプリケーションの広告露出計数機能から出力された広告露出サイズの整合性を検証できる。

ところで、仮想空間の画像を使用して広告表示領域を特定する第１の方法としては、検査者による目視確認が考えられる。また、第２の方法としては、仮想空間の画像と、広告表示領域の様々な表示態様が記録された多くの参照用画像とを画像マッチングすることが考えられる。

しかし、前者の方法では、検査者に大きな負担を課すこととなる。また後者の方法では、広告表示領域の様々な表示態様に対応した多くの参照用画像を予め用意する必要があり、また、多くの比較処理が必要となる。さらに、広告の一部領域の位置が仮想空間の画面外となり、また、広告の一部が障害物に隠されて表示されない場合があり、画像マッチングによる広告表示領域の特定は困難であった。

そこで、本発明者は、仮想空間の画像を使用して広告表示領域を特定する方法として、その仮想空間で使用されていない色彩を広告表示領域に予め設定しておくことをさらに考えた。この態様によれば、仮想空間の画像をカラーフィルタリングすることにより、広告表示領域の表示態様に依存することなく、広告表示領域を簡便に特定できる。以下、実施の形態の構成を説明する。

図１は、本発明の実施の形態である検査システムの構成を示す。検査システム１０００は、ゲーム装置１００と、広告配信装置５００と、キャプチャ装置６００と、検査装置７００とを備える。これらの装置は、ＬＡＮ・ＷＡＮ・インターネット等、公知の通信手段を介して、適宜相互に接続される。

ゲーム装置１００は、ゲームアプリケーションを記録メディア４００から読み込んで実行する。以下、特に断らない限り、ゲーム装置１００は、ゲームアプリケーションを実行中であるものとする。

ゲーム装置１００は、仮想空間の画像をディスプレイ３００に表示させる。また、仮想空間における看板やビルボード等の所定領域（以下、適宜「広告領域」と呼ぶ。）に広告を表示させる。ゲーム装置１００は、仮想空間内における広告露出量に関する指標（以下、適宜「第１指標」と呼ぶ。）を算出して、検査装置７００に通知する。

また、ゲーム装置１００は、コントローラ２００に対するユーザの操作を検出し、ユーザの操作に応じて仮想空間におけるユーザの視点を変化させ、視点の変化に応じて仮想空間の表示態様も変化させる。なお、仮想空間の表示態様を変化させる際には、その仮想空間に表示された広告の表示態様もあわせて変化させる。例えば、ユーザの視点が広告に対して正面を向いた状態から広告に平行の状態に変更されると、広告の表示態様も正面に大きく表示された状態から左側または右側に比較的小さく表示された状態に変更される。ゲーム装置１００の詳細な構成は後述する。

広告配信装置５００は、ゲーム装置１００において表示させるべき広告のデータを保持し、ゲーム装置１００からの要求に応じて広告のデータをゲーム装置１００に提供する。また、広告配信装置５００は、検査装置７００における検査のための広告の画像（以下、適宜「検査用広告画像」と呼ぶ。）を検査装置７００から受信して保持しておく。ゲームアプリケーションの検査の際には、検査用広告画像をゲーム装置１００に提供する。

キャプチャ装置６００は、ディスプレイ３００に表示された仮想空間の画面をキャプチャし、仮想空間の画面を記録した動画データを生成する。キャプチャ装置６００は、その動画データを検査装置７００に提供する。

検査装置７００は、記録メディア４００に記録されたゲームアプリケーションの検査を実行する。ここでは特に、ゲームアプリケーションの機能であり、ゲーム装置１００において実行された広告露出計数機能の整合性を検証する。

具体的には、検査装置７００は、キャプチャ装置６００を介して取得した仮想空間の画面イメージから、ユーザに視認される度合いを評価の基準とした、広告露出量に関する指標（以下、適宜「第２指標」と呼ぶ。）を算出する。そして、第１指標と第２指標とを照合することによって、ゲームアプリケーションの広告露出計数機能の整合性を検証する。検査装置７００の詳細な構成は後述する。

図２は、図１のゲーム装置１００の機能構成を示すブロック図である。ゲーム装置１００は、操作検出部１０２と、広告取得部１０４と、ゲーム制御部１０６と、表示制御部１０８と、露出指標算出部１１０と、露出指標送信部１１２とを有する。

本明細書のブロック図において示される各ブロックは、ハードウェア的には、コンピュータのＣＰＵをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろなかたちで実現できることは、当業者には理解されるところである。

操作検出部１０２は、コントローラ２００に対するユーザの操作を検出して、その操作内容をゲーム制御部１０６に通知する。広告取得部１０４は、ゲーム開始時や広告更新時等、所定の広告取得トリガが検出された際に、仮想空間の広告領域に表示させるべき広告のデータを広告配信装置５００から取得する。

ゲーム制御部１０６は、記録メディア４００から読み込まれたゲームアプリケーションにおける各種計算処理を実行する。具体的には、仮想空間の画像をディスプレイ３００に表示させるために、ディスプレイ３００の各画素に表示させるべき色彩を決定して表示制御部１０８に通知する。表示制御部１０８は、ディスプレイ３００の各画素にゲーム制御部１０６から指示された色彩を表示させる。

図３は、仮想空間の画面イメージを示す。仮想空間画面１０には、都市の風景など様々なテクスチャが表示される。ゲーム制御部１０６は、広告のデータを広告配信装置５００から取得し、表示制御部１０８を介して、その広告のデータを広告領域１２に表示させる。障害物１４は、仮想空間画面１０における広告領域１２の表示を阻害するオブジェクトであり、例えば、キャラクタ、建物、木々等のオブジェクトである。図２に戻る。

露出指標算出部１１０は、ゲーム制御部１０６において生成された画面１コマ、すなわちフレーム単位に、そのフレームの各画素に表示された内容を示すデータ（以下、適宜「表示実績データ」と呼ぶ。）をゲーム制御部１０６から取得する。表示実績データは、言い換えれば、各フレームについて、どの画素に、何のオブジェクトが表示されたかを示すデータである。本実施の形態では、１フレームは６０分の１秒間隔で生成されるものとする。露出指標算出部１１０は、表示実績データに基づいて第１指標を算出する。露出指標送信部１１２は、露出指標算出部１１０において算出された第１指標を検査装置７００に送信する。

露出指標算出部１１０における第１指標の算出方法を具体的に説明する。まず、露出指標算出部１１０は、表示実績データに応じて、広告に関する表示実績を示す画面占有率と有効表示率とを算出する。この処理によって、フレームごとの画面占有率および有効表示率を時系列に示すデータ（以下、適宜「基礎指標」と呼ぶ。）が算出される。

画面占有率は、仮想空間画面１０の全体に対する、広告領域１２がユーザに対し視認可能に表示された領域の割合である。露出指標算出部１１０は、例えば、仮想空間画面１０全体の画素数に対する、広告領域１２をユーザに対し視認可能に表示した画素数の割合を画面占有率として算出する。

有効表示率は、広告領域１２の全体に対する、広告領域１２がユーザに対し視認可能に表示された領域の割合である。露出指標算出部１１０は、例えば、広告領域１２全体の画素数に対する、広告領域１２をユーザに対し視認可能に表示した画素数の割合を有効表示率として算出する。なお、本実施の形態における「ユーザに対し視認可能に表示された」とは、広告領域１２が仮想空間画面１０の外に出たり、障害物１４により隠されたりすることなく表示されたことを意味する。

図４は、仮想空間画面１０および広告領域１２の関係を示す。ここでは、図４を参照して、画面占有率および有効表示率の具体的な算出値を説明する。図４の（ａ）は、仮想空間画面１０内にその２５％を占める広告領域１２の全てが表示された状態を示している。この場合、露出指標算出部１１０は、画面占有率を２５％、有効表示率を１００％と算出する。図４の（ｂ）は、仮想空間画面１０内に広告領域１２の５０％が表示された状態を示している。この場合、露出指標算出部１１０は、画面占有率を１２．５％、有効表示率を５０％と算出する。図４の（ｃ）は、仮想空間画面１０内における広告領域１２についてその４０％の表示が障害物１４によって阻害された状態を示している。この場合、露出指標算出部１１０は、画面占有率を１５％、有効表示率を６０％と算出する。

基礎指標の算出後、露出指標算出部１１０は、その基礎指標にしたがって第１指標を算出する。具体的には、所定期間における仮想空間での広告露出の大きさを示す「大」「中」「小」３つの露出度合いについて、それぞれの計測回数を第１指標として算出する。最終的に算出される第１指標は、例えば、『「大」１回、「中」２回、「小」７回』を示すデータとなる。

図５は、第１指標の決定条件の例を示す。同図の「評価基準」欄は、露出度合いを決定するデータ項目を示している。「基準値」欄は、各露出度合いの閾値となる評価基準の値を示している。

図５において「表示時間」の基準値はいずれも３秒であるため、露出指標算出部１１０は、基礎指標において時系列に連続して画面占有率が０より大きい１８０フレームを特定する。その１８０フレームのいずれにおいても画面占有率が２５％以上かつ有効表示率が５０％以上であるときには、露出度合い「大」の回数に１を加算する。露出度合い「大」の条件を満足しない場合、その１８０フレームのいずれにおいても画面占有率が５％以上かつ有効表示率が８０％以上であるときには、露出度合い「中」の回数に１を加算する。

露出度合い「中」の条件も満足しない場合、その１８０フレームのいずれにおいても画面占有率が１％以上かつ有効表示率が９５％以上であるときには、露出度合い「小」の回数に１を加算する。いずれの条件にも適合しないときには、いずれの露出度合いにも加算しない。露出指標算出部１１０は、上記１８０フレームの露出度合いを特定後、次の１８０フレームの特定処理を実行する。

図６は、図１の検査装置７００の機能構成を示すブロック図である。検査装置７００は、事前処理部７１０と、検査処理部７２０とを有する。事前処理部７１０は、検査処理部７２０における第２指標算出の事前準備として、検査用広告画像を生成する。検査処理部７２０は、ゲーム装置１００において検査用広告画像を用いて算出された第１指標と、検査用広告画像を含む仮想空間の画面イメージに基づいて算出した第２指標とを照合する。

事前処理部７１０は、事前画像取得部７１２と、未使用色特定部７１４と、画像マッピング部７１６とを含む。事前画像取得部７１２は、ディスプレイ３００に表示された仮想空間の動画データをキャプチャ装置６００から取得する。そして、この動画データから、各フレームの静止画データを事前画像として抽出する。

なお、事前画像の取得フェーズにおけるキャプチャ装置６００による画面キャプチャの際、仮想空間における広告領域１２には、後述する未使用色特定部７１４における未使用色特定処理を阻害しない色彩が設定される。例えば、仮想空間画面１０において使用されている色彩として判定されない色彩の広告（以下、適宜「ダミー広告」と呼ぶ。）が設定される。広告配信装置５００は、上記阻害しない色彩として黒一色に設定されたダミー広告をゲーム装置１００に対して提供してもよい。

未使用色特定部７１４は、ゲームアプリケーションが提供する仮想空間において使用されていない色彩を特定する。以下、図７を参照して具体的に説明する。図７は、仮想空間における色彩の使用分布を示す。同図の縦軸は色相の分布を、横軸は彩度の分布を示している。

まず、未使用色特定部７１４は、事前画像取得部７１２において抽出された複数の事前画像それぞれにおいて使用されている色彩を特定し、その色彩に相当する領域を使用中領域２０として設定する。次に、未使用色特定部７１４は、使用中領域２０の外の領域を示す未使用領域２２において、所定の範囲内の色相および彩度を属性とする色彩群である第１検査色範囲２５および第２検査色範囲２７を決定する。その際に、第１検査色範囲２５と第２検査色範囲２７とは、図７で示すようにそれらの色相が隣接するように決定されることが好ましい。

次に、未使用色特定部７１４は、第１検査色範囲２５に含まれる１つの色彩、典型的には第１検査色範囲２５における色相および彩度の中心となる色彩を第１検査色２４として決定する。同様に、第２検査色範囲２７についても第２検査色２６を決定する。後述するように、検査処理部７２０においては、第１検査色範囲２５における各色彩は第１検査色２４と同一視され、第２検査色範囲２７における各色彩は第２検査色２６と同一視される。第１検査色範囲２５および第２検査色範囲２７のそれぞれの大きさには、企業の知見や本システムによる実験等により、第１検査色２４および第２検査色２６のそれぞれと同一視すべき範囲として、適切と想定される大きさが設定されてよい。図６に戻る。

画像マッピング部７１６は、未使用色特定部７１４において特定された第１検査色２４および第２検査色２６を使用して、検査用広告画像を生成する。画像マッピング部７１６は、生成した検査用広告画像を広告配信装置５００に送信して、ゲームアプリケーションの検査の際にその検査用広告画像をゲーム装置１００に提供させる。

図８は、典型的な検査用広告画像を示す。同図で示すように、画像マッピング部７１６は、典型的には、第１検査色２４と第２検査色２６とのそれぞれによって描画された小領域が交互に配置された、すなわち小領域がチェッカーパターンに配置された検査用広告画像２８を生成する。

さらに、画像マッピング部７１６は、検査用広告画像２８を生成した際に、検査用広告画像２８における小領域の境界によって形成される交点の個数を算出して、その個数を所定の記憶装置に記憶させる。例えば、図８の検査用広告画像２８については、交点の個数として４９個が算出される。図６に戻る。

検査処理部７２０は、露出指標取得部７２２と、検査画像取得部７２４と、広告領域抽出部７２６と、露出指標算出部７２８と、検証部７３０とを含む。露出指標取得部７２２は、ゲーム装置１００から送信された第１指標を取得する。

検査画像取得部７２４は、検査用広告画像が設定された仮想空間の画面を記録した動画データをキャプチャ装置６００から取得する。そして、この動画データから、各フレームの静止画データを検査画像として抽出する。図９は、検査画像を示す。同図の検査画像３０では、広告領域１２に検査用広告画像２８が設定されており、検査用広告画像２８の一部は障害物１４によって視認できない状態となっている。図６に戻る。

広告領域抽出部７２６は、検査画像取得部７２４において取得された検査画像をカラーフィルタリングすることにより、ユーザに対し視認可能に表示された広告領域を抽出して、その広告領域を示す画像（以下、適宜「広告抽出画像」と呼ぶ）を生成する。以下、図１０を参照して、広告領域抽出部７２６の処理を具体的に説明する。

図１０は、検査画像３０における広告抽出画像の生成方法を示す。まず、広告領域抽出部７２６は、第１の抽出画像として、検査画像３０における画素値が第１検査色範囲２５を示す画素を抽出した画像を生成する。図１０の（ａ）は、第１の抽出画像３２を示している。次に、広告領域抽出部７２６は、第２の抽出画像として、検査画像３０における画素値が第２検査色範囲２７を示す画素を抽出した画像を生成する。図１０の（ｂ）は、第２の抽出画像３４を示している。次に、広告領域抽出部７２６は、第１の抽出画像と第２の抽出画像とを合成して広告抽出画像を生成する。図１０の（ｃ）は、第１の抽出画像３２と第２の抽出画像３４とが合成された広告抽出画像３６を示している。同図において、障害物１４の表示領域は、広告抽出画像３６から除外されている。

露出指標算出部７２８は、広告領域抽出部７２６において生成された広告抽出画像３６に基づいて第２指標を算出する。具体的には、まず、広告抽出画像３６における第１検査色範囲２５または第２検査色範囲２７の色彩を示す画素値を有する画素を広告領域画素として特定する。広告領域抽出部７２６は、広告抽出画像３６の全体の画素数に対する広告領域画素数の割合を画面占有率として算出する。

次に、露出指標算出部７２８は、特定した広告領域画素において、第１検査色範囲２５の色彩を示す画素値を有する画素から、第２検査色範囲２７の色彩を示す画素値を有する画素に変化した部分を小領域の境界として特定する。そして、小領域の境界によって形成される交点を特定して、その個数を計測する。

図１１は、広告抽出画像３６における小領域の境界を模式的に示す。同図の場合、広告抽出画像３６に存在する、つまり障害物１４によって隠されていない４０個の交点３８が計測される。露出指標算出部７２８は、所定の記憶装置を参照して、画像マッピング部７１６において予め算出された検査用広告画像２８の交点総数を取得する。そして、その交点総数に対する広告抽出画像３６に存在する交点数の割合を有効表示率として算出する。図１１の場合、交点総数４９個に対して、広告抽出画像における交点３８が４０個であり、有効表示率は８１．６％と算出される。

次に、露出指標算出部７２８は、画面占有率と有効表示率とに基づいて第２指標を算出する。第２指標の形式は既述した第１指標の形式と同様であり、また画面占有率と有効表示率とに基づく第２指標の算出方法も第１指標と同様である。なお、典型的には、第２指標の算出においても、図５で示した第１指標の決定条件と同じ条件が採用される。しかし、企業の知見や検査実績等に基づいて、第１指標の決定条件を適宜調整して第２指標の決定条件としてもよい。図６に戻る。

検証部７３０は、露出指標取得部７２２において取得された第１指標と、露出指標算出部７２８において算出された第２指標とを照合する。検証部７３０は、第１指標と第２指標とが同一、または、これらの差異が所定範囲内であるとき、ゲーム装置１００の露出指標算出部１１０が正しく機能していると判定する。言い換えれば、ゲーム装置１００にロードされたゲームアプリケーションの広告露出計数機能が正しく実装されていると判定する。上記の所定範囲は、企業の知見や本システムによる実験等に基づいて適切な範囲が設定されてよい。検証部７３０は、この判定結果を、所定の記憶装置に適宜記憶させ、または、所定の外部装置に適宜通知する。例えば、検査装置７００の図示しないディスプレイに判定結果を表示させてもよく、検査者のＰＣ端末に判定結果を通知してもよい。

以上の構成による動作を以下説明する。
図１２（ａ）は、検査の準備段階におけるゲーム装置１００の動作を示すフローチャートである。広告取得部１０４は、ダミー広告を広告配信装置５００から取得する（Ｓ１０）。ゲーム制御部１０６は、ゲームの制御において、ダミー広告が広告領域に表示された仮想空間を、表示制御部１０８を介してディスプレイ３００に表示させる（Ｓ１２）。この際に、キャプチャ装置６００は、ディスプレイ３００に表示された仮想空間の動画データを取得する。

図１２（ｂ）は、検査の準備段階における検査装置７００の動作を示すフローチャートである。事前画像取得部７１２は、ダミー広告が広告領域に表示された仮想空間の動画データをキャプチャ装置６００から取得して、その動画データからフレーム単位で複数の事前画像を取得する（Ｓ２０）。未使用色特定部７１４は、複数の事前画像のそれぞれで使用されている色彩を特定して、仮想空間における未使用色の中から検査用広告画像で用いる色彩を決定する（Ｓ２２）。画像マッピング部７１６は、決定された色彩を用いて検査用広告画像を設定し（Ｓ２４）、その検査用広告画像を広告配信装置５００に送信する（Ｓ２６）。

図１３（ａ）は、検査の実施段階におけるゲーム装置１００の動作を示すフローチャートである。広告取得部１０４は、検査用広告画像を広告配信装置５００から取得する（Ｓ３０）。ゲーム制御部１０６は、ゲームの制御において、検査用広告画像が広告領域に表示された仮想空間を、表示制御部１０８を介してディスプレイ３００に表示させる（Ｓ３２）。この際に、キャプチャ装置６００は、ディスプレイ３００に表示された仮想空間の動画データを取得する。露出指標算出部１１０は、ゲーム制御部１０６から取得した表示実績データに基づいて、各フレームの広告占有率および有効表示率を算出し、それらに応じて第１指標を算出する（Ｓ３４）。露出指標送信部１１２は、算出された第１指標を検査装置７００に送信する（Ｓ３６）。

図１３（ｂ）は、検査の実施段階における検査装置７００の動作を示すフローチャートである。露出指標取得部７２２は、ゲーム装置１００において算出された第１指標を取得する（Ｓ４０）。検査画像取得部７２４は、検査用広告画像が広告領域に表示された仮想空間の動画データをキャプチャ装置６００から取得して、その動画データからフレーム単位で複数の検査画像を取得する（Ｓ４２）。広告領域抽出部７２６は、カラーフィルタリングによって、各検査画像から広告抽出画像を生成する（Ｓ４４）。露出指標算出部７２８は、各広告抽出画像の広告占有率および有効表示率を算出し、それらに応じて第２指標を算出する（Ｓ４６）。検証部７３０は、第１指標と第２指標とを照合することで、ゲーム装置１００で動作するゲームアプリケーションについて、その広告露出計数機能の整合性を検証する（Ｓ４８）。

本実施の形態の検査装置７００によれば、検査対象のゲームアプリケーションを動作させるゲーム装置１００において算出された第１指標と、仮想空間の実際の画像に基づいて算出された第２指標とが照合される。これにより、ユーザによる視点設定に応じて仮想空間における広告の表示態様が変化しても、ゲームアプリケーションの実行状態を参照することなく、ゲームアプリケーションにおける広告露出計数機能の整合性を検証できる。

また、検査装置７００によれば、仮想空間において使用されていない検査色を用いた検査用広告画像が、ゲームアプリケーションの検査の際に仮想空間内の広告領域にマッピングされる。これにより、ユーザによる視点設定に応じて仮想空間における広告の表示態様が変化しても、カラーフィルタリングによって、ユーザに対し視認可能に表示された広告領域を容易かつ迅速に特定できる。

さらに、検査装置７００によれば、検査用広告画像に設定された検査色に色彩の属性が類似する色彩群についても検査色と同一視して、ユーザに対し視認可能に表示された広告領域が特定され、広告抽出画像が生成される。ゲームアプリケーションの中には、仮想空間において遠くの風景をぼかしたりする等の表示効果を設定するものがある。この場合、仮想空間の広告領域に設定された検査用広告画像の色彩が、仮想空間の画面表示の際に変更されることがある。検査色と同一視される範囲を設定しておくことで、このような表示効果が施される場合にも、ユーザに対し視認可能に表示された広告領域を適切に特定しやすくなる。

さらにまた、検査装置７００によれば、検査用広告画像には２つの検査色それぞれによって描画された小領域がチェッカーパターンに設定される。そして、検査用広告画像における小領域の境界で形成された交点数に対する、広告抽出画像における小領域の境界で形成された交点数との割合が有効表示率として算出される。仮想空間においては検査用広告画像の形状が刻々と変化し、その一部が障害物等によって表示されないことがあるため、検査画像に基づく有効表示率の算出において、非表示部分も含む検査用広告画像全体の画素数を求めることは困難である。言い換えれば、検査用広告画像全体について１つの表示態様における画素数を予め算出していたとしても、検査用広告画像の形状は変化するため、フレームごとの形状に応じた有効表示率を算出する際に予め算出した画素数を使用することは適切でないことがある。上記態様のように、交点数を有効表示率の基準とすることで、検査用広告画像の表示態様が刻々と変化する場合であっても、ゲーム装置１００において算出された有効表示率に近似する有効表示率を、検査装置７００において検査画像に基づいて算出できる。

さらにまた、検査装置７００によれば、検査画像から広告抽出画像を抽出する基準となる２つの検査色範囲として、色彩の属性が隣接する色彩群が採用される。既述したように、仮想空間においては、表示効果の設定によって検査用広告画像の色彩が変更されることがある。第１検査色範囲と第２検査色範囲との色彩の属性が大きく異なる場合には、表示効果の設定により生じる、第１検査色範囲と第２検査色範囲との中間の色彩がいずれの範囲に属するかの特定が困難になることがある。色彩の属性が隣接するようにそれぞれの検査色範囲を設定することで、これらの検査色範囲の境界値によって第１検査色範囲と第２検査色範囲とを容易に区別でき、広告抽出画像における小領域の境界を精度よく特定できる。さらに言えば、小領域の境界で形成される交点を精度よく特定できる。

以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

実施の形態においては、第１検査色２４と同一視される色彩群として第１検査色範囲２５を、第２検査色２６と同一視される色彩群として第２検査色範囲２７を設定した。変形例においては、第１検査色範囲２５および第２検査色範囲２７は設定されなくてもよい。この場合、１つの色彩についてカラーフィルタリングすればよく、その処理がさらに容易化、迅速化される。特に、仮想空間において表示効果が施されない等の理由で、検査用広告画像の色彩が変更されない場合に好適な態様である。

実施の形態においては、検査用広告画像に対する小領域の配置パターンとして単純なチェッカーパターンを示したが、検査用広告画像にはその他様々なパターンで小領域が配置されてもよい。例えば、広告領域の中で重要と想定される部分については、それ以外の部分よりも交点が密に存在するように小領域が配置されてもよい。

実施の形態においては、検査用広告画像に設定する検査色として２色を設定したが、変形例においては１色のみでもよい。特に、第２指標の評価基準として有効表示率が不要な場合に好適な態様である。また別の変形例においては、検査色として３色以上を設定してもよい。これにより、交点の区別が可能となり、交点数は同じであっても、どの交点が表示されたかによって有効表示率を調整できる。例えば、検査用広告画像の中心部分の交点が存在すれば、検査用広告画像の端部の交点が存在する場合よりも大きな有効表示率が算出されてもよい。

実施の形態においては、画面占有率および有効表示率に応じて算出された第１指標および第２指標とが照合された。変形例においては、ゲーム装置１００において算出された画面占有率および有効表示率と、検査装置７００において算出された画面占有率および有効表示率とが直接比較されてもよい。この場合には、仮想空間画面１０に関する同一のフレームＩＤや、同一の画面表示時刻等に対応づけて算出された画面占有率および有効表示率がそれぞれ比較されてもよい。

実施の形態では、広告領域抽出部７２６は、検査画像取得部７２４においてフレーム単位で取得された仮想空間の画像（以下、適宜「フレーム単位画像」と呼ぶ。）をカラーフィルタリングすることにより、ユーザに対し視認可能に表示された広告領域を抽出した。変形例では、検査装置７００は、検査画像取得部７２４において取得された複数のフレーム単位画像を所定の基準に基づいて合成し、複数のフレーム単位画像が合成された新たな画像を検査画像として生成する画像調整部をさらに備えてもよい。この場合、広告領域抽出部７２６は、画像調整部において生成された検査画像をカラーフィルタリングして広告領域を抽出する。

具体的には、画像調整部は、合成対象となる複数のフレーム単位画像それぞれについて対応する画素の画素値をそれぞれ特定して、それらの画素値を平均した平均画素値を算出し、検査画像における当該画素の画素値にその平均画素値を設定してもよい。対応する画素は、ディスプレイ３００において同位置に表示された画素でもよい。また、有効となる画素値の範囲を予め記憶しておき、その範囲を逸脱した画素値については、合成の対象、例えば平均化の対象から除外してもよい。

この変形例によれば、フレーム単位画像が合成されて検査画像の数が削減されるため、以降の処理、例えばカラーフィルタリング処理、広告抽出画像生成処理、露出指標算出処理における処理対象が削減されることになる。これにより、検査に必要なシステムリソース量が削減されるとともに、迅速な検査が実現される。また、一部のフレーム単位画像に表示効果が施された場合でも、複数のフレーム単位画像の合成によって、その表示効果の影響が低減するため、広告領域を適切に抽出しやすくなる。

実施の形態においては、ゲームアプリケーションの広告露出計数機能を検査する検査装置７００を説明した。しかし、本発明の技術思想の適用範囲は検査装置に制限されない。例えば、本発明の一態様においては、ユーザが設定する視点に応じて表示態様が変化する仮想空間において使用されていない色彩を用いた画像を、仮想空間における検出対象オブジェクトの表示領域に設定し、実際に表示された仮想空間の画像をカラーフィルタリングすることにより、検出対象オブジェクトの存在を検出する。この技術思想は、検査装置に限らず画像処理装置全般に適用可能であることは当業者には理解されるところである。例えば、この画像処理装置では、検出対象オブジェクトの存在を検出後、検出対象オブジェクトの仮想空間における位置や大きさに応じて、所定の後処理が実行されてもよい。

上述した実施の形態および変形例の任意の組み合わせもまた本発明の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる実施の形態および変形例それぞれの効果をあわせもつ。

請求項に記載の各構成要件が果たすべき機能は、実施の形態および変形例において示された各構成要素の単体もしくはそれらの連携によって実現されることも当業者には理解されるところである。

本発明の実施の形態である検査システムの構成を示す図である。 図１のゲーム装置の機能構成を示すブロック図である。 仮想空間の画面イメージを示す図である。 仮想空間画面および広告領域の関係を示す図である。 第１指標の決定条件の例を示す図である。 図１の検査装置の機能構成を示すブロック図である。 仮想空間における色彩の使用分布を示す図である。 典型的な検査用広告画像を示す図である。 検査画像を示す図である。 検査画像における広告抽出画像の生成方法を示す図である。 広告抽出画像における小領域の境界を模式的に示す図である。 検査の準備段階におけるゲーム装置の動作を示すフローチャートである。 検査の準備段階における検査装置の動作を示すフローチャートである。 検査の実施段階におけるゲーム装置の動作を示すフローチャートである。 検査の実施段階における検査装置の動作を示すフローチャートである。

符号の説明

１００ ゲーム装置、 １０２ 操作検出部、 １０４ 広告取得部、 １０６ ゲーム制御部、 １０８ 表示制御部、 １１０ 露出指標算出部、 １１２ 露出指標送信部、 ７００ 検査装置、 ７１２ 事前画像取得部、 ７１４ 未使用色特定部、 ７１６ 画像マッピング部、 ７２２ 露出指標取得部、 ７２４ 検査画像取得部、 ７２６ 広告領域抽出部、 ７２８ 露出指標算出部、 ７３０ 検証部、 １０００ 検査システム。

Claims (7)

1. 仮想空間の画像から所定のオブジェクトの表示領域を特定する装置であって、
   ユーザの視点に応じて前記オブジェクトの表示態様が変化する仮想空間について、その仮想空間において使用されていない色彩を用いた画像を仮想空間内の前記オブジェクトの表示領域にマッピングする画像マッピング部と、
   画面に実際に表示された仮想空間をフレーム単位で取得する画像取得部と、
   取得された仮想空間の画像をカラーフィルタリングすることにより、前記使用されていない色彩によって描画された領域を、ユーザに視認された前記オブジェクトの表示領域として抽出する領域抽出部と、
   を備えることを特徴とする画像処理装置。
2. 前記領域抽出部は、前記使用されていない色彩との色相および彩度の差異が所定範囲内の色彩によって描画された領域についても、ユーザに視認された前記オブジェクトの表示領域として抽出することを特徴とする請求項１に記載の画像処理装置。
3. 露出度推定部をさらに備え、
   前記画像マッピング部は、仮想空間において使用されていない複数の色彩を特定し、各色彩によって描画された複数の小領域に区分けされた画像を仮想空間内の前記オブジェクトの表示領域にマッピングし、
   前記領域抽出部は、前記使用されていない複数の色彩のうち少なくとも１つによって描画された領域を、ユーザに視認された前記オブジェクトの表示領域として抽出し、
   前記露出度推定部は、抽出された前記オブジェクトの表示領域に存在する小領域を特定し、小領域の境界によって形成される交点数に応じて、前記オブジェクトの表示領域全体に対するユーザに視認された前記オブジェクトの表示領域の割合を推定することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記画像マッピング部は、仮想空間において使用されていない色彩であり、かつ、色相が互いに隣接する複数の色彩を特定し、各色彩によって描画された複数の小領域に区分けされた画像を仮想空間内の前記オブジェクトの表示領域にマッピングすることを特徴とする請求項３に記載の画像処理装置。
5. 前記画像取得部においてフレーム単位で取得された仮想空間の複数の画像について、所定の基準に基づいてこれらの画像を合成した新たな画像を生成する画像調整部をさらに備え、
   前記領域抽出部は、前記画像調整部において生成された新たな画像をカラーフィルタリングすることにより、ユーザに視認された前記オブジェクトの表示領域を抽出することを特徴とする請求項１から４のいずれかに記載の画像処理装置。
6. 仮想空間の画像から所定のオブジェクトの表示領域を特定する装置が実行する方法であって、
   前記装置の画像マッピング部が、ユーザの視点に応じて前記オブジェクトの表示態様が変化する仮想空間について、その仮想空間において使用されていない色彩を用いた画像を仮想空間内の前記オブジェクトの表示領域にマッピングするステップと、
   前記装置の画像取得部が、画面に実際に表示された仮想空間をフレーム単位で取得するステップと、
   前記装置の領域抽出部が、取得された仮想空間の画像をカラーフィルタリングすることにより、前記使用されていない色彩によって描画された領域を、ユーザに視認された前記オブジェクトの表示領域として抽出するステップと、
   を備えることを特徴とする画像処理方法。
7. 仮想空間の画像から所定のオブジェクトの表示領域を特定する装置が実行するプログラムであって、
   前記装置のマッピング部が、ユーザの視点に応じて前記オブジェクトの表示態様が変化する仮想空間について、その仮想空間において使用されていない色彩を用いた画像を仮想空間内の前記オブジェクトの表示領域にマッピングする機能と、
   前記装置の画像取得部が、画面に実際に表示された仮想空間をフレーム単位で取得する機能と、
   前記装置の領域抽出部が、取得された仮想空間の画像をカラーフィルタリングすることにより、前記使用されていない色彩によって描画された領域を、ユーザに視認された前記オブジェクトの表示領域として抽出する機能と、
   を前記装置に実現させるためのコンピュータプログラム。