JP5427577B2 - 表示制御装置及び表示画像形成方法 - Google Patents

Description

本発明は、表示制御装置及び表示画像形成方法に関し、特に、広角カメラによって撮影された撮影画像を表示する技術に関する。

全方位カメラなどの広角カメラは、１台のカメラで広い視野範囲の画像を得ることができるため、種々の分野で広く用いられている。広角カメラは、例えば監視システム等に用いられている。特に、全方位カメラは、全方位レンズ光学系や全方位ミラー光学系を用いることで、全方位画像を得ることができるようになっている。また、全方位カメラにより得られる全方位画像は、一般に同心円状の画像（ドーナツ画像）である。

ところで、広角カメラにより得られる撮影画像を表示する形態としては、例えば、撮影画像から注目物体（つまり、ターゲット）を含む領域を切り出して表示する形態（特許文献１参照）がある。

特開２００７−３１１８６０号公報

しかしながら、注目物体を含む領域を切り出して表示すると、当然のことながら、切出画像の位置は把握しにくくなる。すなわち、撮影画像全体における切出画像の位置を一目で認識することが困難になる。

本発明の目的は、ターゲットの位置が格段に分かり易い画像を表示する表示制御装置及び表示画像形成方法を提供することである。

本発明の表示制御装置の一態様は、撮影画像から切出領域の画像を切り出して出力する表示制御装置であって、前記撮影画像からターゲットを検出する検出手段と、前記ターゲットを示す画像領域であるターゲット画像の外にあって、前記撮影画像中における位置、または前記撮影画像の撮影対象である空間における位置を、特徴的に示す特徴箇所を検出する特徴箇所検出手段と、前記ターゲット画像と前記特徴箇所とを含むように、前記切出領域を設定する設定手段と、を具備する。

本発明の表示画像形成方法の一態様は、撮影画像から切出領域内の画像を切り出して表示画像を形成する表示画像形成方法であって、前記撮影画像からターゲットを検出するステップと、前記ターゲットを示す画像領域であるターゲット画像の外にあって、前記撮影画像中における位置、または前記撮影画像の撮影対象である空間における位置を、特徴的に示す特徴箇所を検出するステップと、前記ターゲット画像と前記特徴箇所とを含むように、前記切出領域を設定するステップと、を具備する。

本発明によれば、ターゲットの位置が格段に分かり易い画像を表示する表示制御装置及び表示画像形成方法を提供することができる。

本発明の一実施の形態に係る表示制御装置の構成を示すブロック図 本発明の一実施の形態に係る表示制御装置の動作説明に供するフロー図 特徴箇所の検出方法の説明に供する図（色情報による検出） 特徴箇所の検出方法の説明に供する図（色情報による検出） 特徴箇所の検出方法の説明に供する図（色情報による検出） 特徴箇所の検出方法の説明に供する図（形状情報による検出） 特徴箇所の検出方法の説明に供する図（形状情報による検出） 従来の画像切り出し方法、及び、本発明の一実施の形態における画像切り出し方法の説明に供する図 従来の画像切り出し方法、及び、本発明の一実施の形態における画像切り出し方法の説明に供する図 従来の画像切り出し方法、及び、本発明の一実施の形態における画像切り出し方法の説明に供する図 従来の画像切り出し方法、及び、本発明の一実施の形態における画像切り出し方法の説明に供する図

以下、本発明の一実施の形態について図面を参照して詳細に説明する。

［１］構成
図１は、本発明の一実施の形態に係る表示制御装置１００の構成を示すブロック図である。図１において、表示制御装置１００は、ターゲット検出部１１０と、特徴箇所検出部１２０と、切出領域候補変更部１３０と、切出領域設定部１４０と、切出部１５０とを有する。表示制御装置１００は、広角カメラと接続され、広角カメラで撮影された撮影画像を入力とする。広角カメラは、例えば、全方位カメラである。また、表示制御装置１００は、表示装置と接続され、撮影画像から切り出した切出画像を表示装置に表示させる。

ターゲット検出部１１０は、撮影画像Ｓ１０に含まれるターゲットを検出する。ターゲットは、例えば人物である。また、ターゲットは、車輌等の物体でもよい。ターゲット検出部１１０は、例えば、パターンマッチング等の画像処理を行うことで、撮影画像Ｓ１０からターゲットを検出する。

ターゲット検出部１１０は、検出したターゲットの位置及び大きさを示すターゲット情報Ｓ１１を出力する。ターゲットの位置情報は、例えば、ターゲット画像の中心座標または重心座標である。このターゲット画像とは、検出したターゲットを示す画像領域であって、例えば、ターゲットの輪郭線で囲まれた領域やターゲットを取り囲む矩形などの閉領域である。また、ターゲットの大きさ情報は、ターゲット画像の広がりを示す情報であり、例えば、ターゲットの輪郭線上の点の座標群や、ターゲット画像の画素サイズ（幅・高さ）などで示される。

特徴箇所検出部１２０は、撮影画像Ｓ１０に含まれる「特徴箇所」を検出する。特徴箇所とは、撮影画像Ｓ１０における位置、もしくは撮影対象とされた空間における位置を特徴づける、撮影画像Ｓ１０内の箇所である。この特徴箇所の検出方法については、後に詳しく説明する。

特徴箇所検出部１２０は、各特徴箇所の位置を示す特徴箇所情報Ｓ１２を出力する。特徴箇所情報は、ターゲット情報と同様に、撮像座標系における、特徴箇所の座標であってもよい。また、特徴箇所情報は、撮影画像を構成する画素群の内、特徴箇所が位置する画素にフラグを立てることにより得られる、画素毎のフラグ情報であってもよい。

切出領域候補変更部１３０は、「変更ルール」に基づいて、切出領域候補を順次変更する。切出領域候補変更部１３０は、変更ルールに応じて、切出領域候補の位置及び大きさの少なくともいずれか一方を変更する。この変更ルールについては、後に詳しく説明する。

切出領域設定部１４０は、切出領域候補変更部１３０で得られた切出領域候補群の中から切出領域を選択する。具体的には、切出領域設定部１４０は、切出領域候補変更部１３０で得られた切出領域候補群の各候補について、「判断基準パラメータ」を算出する。切出領域設定部１４０は、判断基準パラメータに基づいて、切出領域候補群の中から切出領域を決定する。この判断基準パラメータについては、後に詳しく説明する。

切出部１５０は、切出領域設定部１４０によって設定された切出領域内の画像を撮影画像から切り出して、切出画像を表示装置へ出力する。

［２］動作
上記構成を有する表示制御装置１００の動作について説明する。

［２−１］処理フローの概要
図２は、本発明の一実施の形態に係る表示制御装置１００の動作説明に供するフロー図である。

ステップＳＴ２０１でターゲット検出部１１０は、撮影画像Ｓ１０に含まれるターゲットを検出する。

ステップＳＴ２０２で特徴箇所検出部１２０は、撮影画像Ｓ１０に含まれる特徴箇所を検出する。

ステップＳＴ２０３で切出領域候補変更部１３０は、ターゲット検出部１１０で検出されたターゲットを含むように切出領域候補を設定する。このとき、切出領域候補変更部１３０は、初回のみ切出領域候補の領域中心がターゲットと重なるように、あらかじめ定められた大きさの切出領域候補を設定する。すなわち、ターゲット画像が切出領域候補の中央に配置されるように、切出領域候補が設定される。

ステップＳＴ２０４で切出領域候補変更部１３０は、ステップＳＴ２０３で設定された第１の切出領域候補内にステップＳＴ２０２で検出された特徴箇所が含まれるか否かを判定する。

第１の切出領域候補内に特徴箇所が含まれていない場合（ステップＳＴ２０４：ＮＯ）には、ステップＳＴ２０５で切出領域候補変更部１３０は、第１の終了条件を満たしているか否かを判定する。具体的には、切出領域候補の変更回数が上限値に達した場合、又は、後述するような切出領域候補の移動ルートを一周した場合などが、第１の終了条件となる。

第１の終了条件が満たされていない場合（ステップＳＴ２０５：ＮＯ）には、ステップＳＴ２０３で切出領域候補変更部１３０は、変更ルールに応じて、切出領域候補の位置及び大きさの少なくともいずれか一方を変更する。以上のように、この変更は、基本的には、切出領域候補内に少なくとも１つの特徴箇所が含まれるようになるまで繰り返される。

第１の終了条件が満たされている場合（ステップＳＴ２０５：ＹＥＳ）には、ステップＳＴ２０６で切出領域設定部１４０は、一時記憶している切出領域候補を切出領域として設定する。なお、ステップＳＴ２０７〜ステップＳＴ２１０のフローに一度も進まずに第１の終了条件が満たされた場合には、切出領域設定部１４０は、切出領域候補変更部１３０で最初に設定された切出領域候補を切出領域として設定しても良い。

第１の切出領域候補内に特徴箇所が含まれる場合（ステップＳＴ２０４：ＹＥＳ）には、ステップＳＴ２０７で切出領域設定部１４０は、判断基準パラメータを算出する。

ステップＳＴ２０８で切出領域設定部１４０は、第１の切出領域候補が「記憶条件」を満たしているか否かを判定する。この記憶条件は、上記した判断基準パラメータに関するものである。

第１の切出領域候補が記憶条件を満たしている場合（ステップＳＴ２０８：ＹＥＳ）には、ステップＳＴ２０９で切出領域設定部１４０は、第１の切出領域候補を一時的に記憶する。

ステップＳＴ２１０で切出領域設定部１４０は、「切出領域検索処理の終了条件（第２の終了条件）」が満たされているか否かを判定する。なお、第１の切出領域候補が記憶条件を満たしていない場合（ステップＳＴ２０８：ＮＯ）には、ステップＳＴ２０９を経ずに、ステップＳＴ２１０の処理が行われる。

切出領域検索処理の終了条件（第２の終了条件）が満たされていない場合（ステップＳＴ２１０：ＮＯ）には、切出領域設定部１４０は、切出領域候補の変更指示を切出領域候補変更部１３０へ出力する。これにより、切出領域候補変更部１３０は、変更ルールに応じて、切出領域候補の位置及び大きさの少なくともいずれか一方を変更し、第１の切出領域候補と異なる第２の切出領域候補を設定する。

切出領域検索処理の終了条件（第２の終了条件）が満たされている場合（ステップＳＴ２１０：ＹＥＳ）には、ステップＳＴ２１１で切出領域設定部１４０は、一時記憶している切出領域候補を切出領域として設定する。

［２−２］特徴箇所の検出方法
〈１〉色情報による特徴箇所の検出の場合：
特徴箇所検出部１２０は、撮影画像Ｓ１０において、彩度の高い領域、又は、占有率の少ない色の領域（つまり、ヒストグラムで少ない色の領域）を、特徴箇所として検出する。

例えば、看板は、通常、彩度の高い色が用いられるため、特徴箇所として検出されやすい。例えば、図３に示すように、撮影対象領域が繁華街である場合、看板の画像を見ることで、その画像に対応する撮影対象領域内の位置を容易に認識することができる。従って、切出領域内に彩度の高い色の領域を含めることにより、ユーザは、切出画像を見るだけで、その切取画像に対応する位置を容易に認識することができる。

また、特徴的な色の物体は、特徴箇所として検出されやすい。例えば、図４に示すように、撮影対象領域が月極駐車場である場合、普段から止まっている特徴的な色の車の画像を見ることで、その画像に対応する撮影対象領域内の位置を容易に認識することができる。従って、切出領域内に占有率の少ない色の領域を含めることにより、ユーザは、切取画像を見るだけで、その切出画像に対応する位置を容易に認識することができる。なお、目立つ色（例えばヒストグラムでの出現頻度が低い色）などから色に優先度をつけて、特徴箇所の重み付けを行ってもよい。

また、特徴的な色の車を画面内に含める場合に、切出画像内の端に数画素分しか特徴的な色の車を示す領域がないという切出画像では、画像を見た利用者は特徴的な色の車の存在を認識しづらい。従って、一定面積以上の色領域が切出領域候補に含まれるときに、その色領域を特徴領域として判断することにしてもよい。これにより、画像において特徴的な色の車の存在を利用者が認識しづらいという状況をなくすことができる。
例えば、図５に示すように、切出領域候補１に含まれる特徴的な色の領域は、その面積が基準値（例えば、切出領域候補の面積の５％）を超えないため、特徴箇所としては扱われない。一方、切出領域候補２に含まれる特徴的な色の領域は、基準値を超えるため、特徴箇所として扱われる。

〈２〉形状情報による特徴箇所の検出の場合：
特徴箇所検出部１２０は、撮影画像Ｓ１０において、エッジ箇所、高周波成分を含む箇所、又は、コーナーを多く含む箇所（つまり、Harrisオペレータにより検出される箇所）を、特徴箇所として検出する。

例えば、図６に示すように、撮影対象領域内に建物が含まれる場合、柱、屋根などの建物の輪郭部分は、特徴箇所として検出されやすい。柱、屋根などの位置関係は予め把握できるので、柱、屋根などの建物の輪郭部分の画像を見ることで、その画像に対応する撮影対象領域内の位置を容易に認識することができる。従って、切出領域内に、エッジ箇所、高周波成分を含む箇所、又は、コーナーを多く含む箇所を含めることにより、ユーザは、切取画像を見るだけで、その切出画像に対応する位置を容易に認識することができる。

なお、切出領域候補の端に１つのコーナーだけが含まれた切出画像では、画像を見た利用者は、そのコーナーの存在に気づかないか、もしくはコーナーのどこの部分かを認識しづらい。従って、切出領域候補の端から一定画素内側に位置する場合にはじめて、そのコーナーを特徴箇所として採用することにしてもよい。これにより、画像において利用者がコーナーであるかを認識しづらいという状況をなくすことができる。
例えば、切出領域候補における周辺部を除く内部領域（例えば、切出領域候補の高さ（幅）の５％に相当する高さ（幅）分だけ輪郭線から内側の領域）を「認識可能エリア」と定義する。そして、コーナーが切出領域候補に含まれていたとしても、認識可能エリアに含まれない場合には、そのコーナーを特徴情報として扱わない。例えば、図７におけるコーナー１は、切出領域候補３に含まれるが、認識可能エリアの外にあるため切出領域候補３の特徴箇所としては扱われない。一方、コーナー２は切出領域候補４の認識可能エリアに含まれるため、切出領域候補４の特徴箇所として扱われる。

〈３〉文字情報による特徴箇所の検出の場合：
特徴箇所検出部１２０は、撮影画像Ｓ１０において、文字部分を特徴箇所として検出する。

上記のように看板には、通常、文字情報が含まれる。従って、切出領域内に、文字部分を特徴箇所として含めることにより、ユーザは、切取画像を見るだけで、その切出画像に対応する位置を容易に認識することができる。

〈４〉ユーザによる入力の場合：
広角カメラが監視カメラとして用いられる場合、広角カメラは、所定の位置に固定される。すなわち、撮影対象領域は固定的である。従って、撮影対象領域内の特徴箇所及びその位置を、予め特徴箇所検出部１２０に保持しておき、切出画像に含まれるようにしてもよい。

〈５〉上記検出方法〈１〉〜〈４〉における任意の組み合わせによる検出の場合：
上記検出方法〈１〉〜〈４〉は、それぞれ単独で用いられるだけでなく、組み合わせることが可能である。これにより切出画像を見る利用者にとってより分かりやすい特徴箇所を検出することができるようになる。

例えば、図４の例の場合に、撮影対象領域内に、普段から止まっている特徴的な色の車と同じ色の服を着た人が入っていたときでも、色情報に加えて形状情報を検出基準とすることにより（つまり、検出方法〈１〉と〈２〉とを組み合わせることにより）、普段から止まっている特徴的な色の車のみを特徴箇所として確実に検出することができる。

［２−３］変更ルール
〈１〉切出領域候補の大きさを固定し、ターゲット画像が含まれる範囲で切出領域候補を移動する場合：
切出領域候補変更部１３０は、ステップＳＴ２０３で切出領域候補を設定、変更する場合、切出領域候補の大きさを固定したまま、ターゲット画像が含まれる範囲で、切出領域候補の位置を変更する。例えば、切出領域候補変更部１３０が、切出領域候補の領域中心がターゲット画像の輪郭上又は輪郭近傍を通ってターゲット画像を周回するように、切出領域候補の位置を順次変更しても良い。これにより、ターゲット画像を切出領域候補の中央付近に配置したまま、特徴箇所の探索が可能となる。

〈２〉切出領域候補の基準位置をターゲット画像の基準位置に固定して、切出領域候補の大きさを変更する場合：
切出領域候補変更部１３０は、ステップＳＴ２０３で切出領域候補を設定、変更する場合、切出領域候補の基準位置（例えば、領域中心）をターゲット画像の基準位置（例えば、中心）に固定して、切出領域候補におけるターゲット画像の占有率が所定値以上の範囲で、切出領域候補の大きさを変更する。
ここでいう切出領域候補の大きさの変更は、画像の縦横比を変えずにズームイン、ズームアウトする場合、画像の縦横比を変える場合、又は画像の縦横比を変えてズームイン、ズームアウトする場合などがある。

〈３〉ターゲット画像が含まれる範囲で切出領域候補を移動するとともに、切出領域候補の大きさも変更する場合：
切出領域候補変更部１３０は、ステップＳＴ２０３で切出領域候補を設定、変更する場合、ターゲット画像を含み、且つ、切出領域候補におけるターゲット画像の占有率が所定値以上の範囲で、切出領域候補の位置及び大きさを変更する。例えば、切出領域候補変更部１３０は、切出領域候補の領域中心がターゲット画像と重なり、且つ、切出領域候補におけるターゲット画像の占有率が所定値以上の範囲で、切出領域候補の位置及び大きさを変更する。これにより、ターゲット画像を切出領域候補の中央付近に配置しつつ、ターゲット画像の大きさを所定レベル以上に保ったまま、特徴箇所の探索が可能となる。

例えば、切出領域候補変更部１３０は、切出領域候補を第１の大きさに固定して、切出領域候補の領域中心がターゲット画像の輪郭上又は輪郭近傍を通ってターゲット画像を周回するルートで、切出領域候補の位置を変更する。次に、切出領域候補変更部１３０は、切出領域候補を大きくして第２の大きさに固定し、同じルート上で切出領域候補の位置を変更する。この変更は、切出領域候補におけるターゲット画像の占有率が所定値未満となるまで繰り返される。

図８は、従来の画像切り出し方法、及び、上記した変更ルール〈１〉及び〈２〉に基づいた画像切り出し方法の説明に供する図である。図８では、室内が撮影対象領域である場合の撮影画像が示されている。

図８において、撮像画像である全方位画像（図８Ａ）、従来の切出画像（図８Ｂ）、変更ルール〈１〉に従った切出画像（図８Ｃ）、変更ルール〈２〉に従った切出画像（図８Ｄ）が示されている。また、全方位画像には、各切出画像に対応する切出領域候補を規定する枠が示されている。また、切出領域候補を規定する枠と、切出領域候補に対応する切出画像の枠とが、同じ表現形式で示されている。すなわち、従来の切出画像及びこれに対応する切出領域候補を規定する枠は実線で示され、変更ルール〈１〉に従った切出画像及びこれに対応する切出領域候補を規定する枠は点線で示され、変更ルール〈２〉に従った切出画像及びこれに対応する切出領域候補を規定する枠は一点鎖線で示されている。

図８Ｂに示す従来の切出画像には、ターゲット画像の他に、特徴的な画像が含まれていない。従って、この切出画像を見ても、ユーザは、どの位置の切出画像なのか容易に認識することができない。

一方、本実施の形態の表示制御装置１００は、まず、切出領域候補に特徴箇所が含まれるまで、切出領域候補の位置及び大きさの少なくともいずれか一方を変更する。図８Ｃ，Ｄに示す、変更ルール〈１〉に従った切出画像及び変更ルール〈２〉に従った切出画像では、会議室の看板が特徴箇所となっている。切出画像に室内入り口付近の会議室の看板が含まれていれば、ユーザは、切出画像に映された室内の場所（つまり、撮影画像の撮影対象である空間における位置）が入り口付近であることを容易に認識することができる。

［２−４］判断基準パラータの算出
切出領域設定部１４０は、判断基準パラメータとして、切出領域候補内に含まれている特徴箇所を点数で評価した特徴スコア、切出領域候補の領域中心とターゲット画像の中心との距離、及び、切出領域候補におけるターゲット画像の占有率を算出する。

ここで、特徴スコアの求め方は、上記した特徴箇所の検出方法に応じて異なる。

具体的には、検出方法〈１〉の場合には、特徴箇所と認められる画素の数が、特徴箇所の数となる。また、検出方法〈２〉の内、コーナーを多く含む箇所の場合も、特徴箇所と認められる画素がカウント単位である。この特徴箇所の数を特徴スコアとして用いてもよいし、特徴箇所に重みをつけて加算したものを特徴スコアとしてもよい。重みをつける例としては、検出方法＜１＞において、目立つ色に優先度をつけて、特徴領域の重み付けを行うことができる。出現頻度の低い順に３つの色を特徴箇所として採用する場合に、出現頻度の低い順に重みを、３、２、１とすることで、同じ特徴箇所でも出現頻度の低い色の特徴箇所の方が、特徴スコアが高くなる。

また、検出方法〈２〉の内、エッジ箇所、高周波成分を含む箇所の場合には、特徴箇所と認められるブロックの数が、特徴箇所の数となる。特徴箇所と認められる複数の画素が連続している場合、その連続した画素群全体が１つのブロックである。

また、検出方法〈３〉の場合には、一文字又は一単語（つまり、意味のある単位）がカウント単位である。すなわち、文字数もしくは単語数を特徴スコアとする。

また、検出方法〈４〉のユーザによる入力の場合には、上記した形態の内のどの形態で特徴箇所を指定するかによって、カウント単位は異なる。

なお、検出方法〈５〉の場合には、任意の組み合わせに係る複数の検出方法のそれぞれについて算出した特徴箇所の数を重み付け加算することにより、複合パラメータを算出しても良い。
重み付けの方法としては、注目したい検出方法の重みを高くする方法がある。例えば、色の特徴箇所が有効であると考える場合には、検出方法＜１＞で検出された特徴箇所については重みを２とし、白黒画像のため色の特徴箇所が使えない場合には、検出方法＜１＞の重みは０にするとよい。

［２−５］記憶条件
切出領域設定部１４０は、記憶条件を満たしている場合に、現在処理対象となっている切出領域候補を記憶する。記憶条件は、現在記憶されている切出領域候補よりも、現在処理対象となっている切出領域候補の方が、記憶基準に関して上回っていることである。

〈１〉特徴スコアが大きいことを記憶基準とする場合：
切出領域設定部１４０は、現在処理対象となっている切出領域候補の特徴スコアの値が、現在記憶されている切出領域候補の特徴スコアの値よりも大きい場合に、その処理対象となっている切出領域候補を代わりに記憶する。この記憶基準は、上記した変更ルール〈１〉〜〈３〉のいずれにも用いることができる。

〈２〉特徴スコアの値が所定値以上であり、且つ、ターゲットを中央部分に映し出していることを記憶基準とする場合：
切出領域設定部１４０は、現在処理対象となっている切出領域候補の特徴スコアの値が所定値以上であり、且つ、現在処理対象となっている切出領域候補の領域中心とターゲット画像の中心との距離が、現在記憶されている切出領域候補よりも短い場合に、その処理対処となっている切出領域候補を代わりに記憶する。この記憶基準は、上記した変更ルール〈１〉及び変更ルール〈３〉に用いることができる。

〈３〉特徴スコアの値が所定値以上であり、且つ、ターゲットを大きく映し出していることを記憶基準とする場合：
切出領域設定部１４０は、現在処理対象となっている切出領域候補の特徴スコアの値が所定値以上であり、且つ、現在処理対象となっている切出領域候補におけるターゲット画像の占有率が、現在記憶されている切出領域候補における占有率よりも大きい場合に、その処理対処となっている切出領域候補を代わりに記憶する。この記憶基準は、上記した変更ルール〈２〉及び変更ルール〈３〉に用いることができる。

［２−６］切出領域探索処理の終了条件
切出領域設定部１４０は、切出領域検索処理の終了条件（第２の終了条件）が満たされている場合に、一時記憶している切出領域候補を切出領域として設定する。この終了条件は、変更ルールに応じて異なる。

すなわち、変更ルール〈１〉の場合には、切出領域候補の領域中心がターゲット画像の輪郭上又は輪郭近傍を通ってターゲット画像を周回することが終了条件である。

また、変更ルール〈２〉及び変更ルール〈３〉の場合には、切出領域候補におけるターゲット画像の占有率が所定値未満となることが終了条件である。

以上のように本実施の形態によれば、表示制御装置１００において、切出領域候補変更部１３０が、切出領域候補に特徴箇所が含まれない場合には、切出領域候補の位置及び大きさの少なくともいずれか一方を変更する。この変更は、基本的には、切出領域候補に、ターゲットと共に特徴箇所が含まれるまで繰り返される。

こうすることで、撮影対象領域内の位置を特徴づける特徴箇所がターゲットと共に切出画像内に含まれるので、その切出画像を見ることによって、ユーザは、ターゲットの位置を容易に認識することができる。

また、切出領域候補変更部１３０が、切出領域候補の大きさを固定して、切出領域候補がターゲット画像を含む範囲で、切出領域候補の位置を変更する。

こうすることで、ターゲット画像を切出領域候補内に確実に収めた上で、特徴箇所を含む切出領域候補を探索することができる。

又は、切出領域候補変更部１３０が、切出領域候補の基準位置をターゲット画像の基準位置に固定して、切出領域候補におけるターゲット画像の占有率が所定値以上の範囲で、切出領域候補の大きさを変更する。

こうすることで、ターゲット画像を切出領域候補内の確実に収めた上で、特徴箇所を含む切出領域候補を探索することができる。また、上記基準位置を中心にすることにより、ターゲット画像を切出領域候補内の中央に配置しつつ、特徴箇所を含む切出領域候補を探索することができる。

又は、切出領域候補変更部１３０が、ターゲット画像を含み、且つ、切出領域候補におけるターゲット画像の占有率が所定値以上の範囲で、切出領域候補の位置及び大きさを変更する。

こうすることで、ターゲット画像を切出領域候補内に確実に収めた上で、特徴箇所を含む切出領域候補を探索することができる。また、ターゲットと特徴箇所との距離が離れている場合でも、特徴箇所を含む切出領域候補を探索することができる。

また、切出領域設定部１４０が、切出領域候補群の内、特徴箇所を最も多く含む切出領域候補を、切出領域として設定する。

こうすることで、ターゲット位置の推定材料が最も多い切出画像を形成することができる。

又は、切出領域設定部１４０が、特徴箇所を所定数以上含む切出領域候補群の内、領域中心とターゲット画像の中心とが最も近い切出領域候補を、切出領域として設定する。

こうすることで、ターゲット位置の推定材料を多く含み、且つ、ターゲットを中央付近に明確に映した切出画像を形成することができる。

又は、切出領域設定部１４０が、特徴箇所を所定数以上含む切出領域候補群の内、切出領域候補におけるターゲット画像の占有率が最も大きい切出領域候補を、切出領域として設定する。

こうすることで、ターゲット位置の推定材料を多く含み、且つ、ターゲットも大きく明確に映した切出画像を形成することができる。

なお、切出領域設定部１４０は、切出領域候補群の各候補における、ターゲット画像の位置、ターゲット画像の大きさ、及び、特徴箇所を含む個数に関する点数（評価点）を算出し、当該点数に基づいて、切出領域候補群の中から切出領域を選択してもよい。切出領域設定部１４０には、ターゲット画像の位置、ターゲット画像の大きさ、及び、特徴箇所を含む個数のそれぞれの値と点数とが対応づけられたテーブルを保持している。切出領域設定部１４０は、このテーブルを用いて、点数を算出する。

なお、上記説明では、切出領域候補変更部１３０がステップＳＴ２０４及びステップＳＴ２０５の処理を行っているが、これらの処理は無くてもよい。すなわち、切出領域候補変更部１３０が設定した切出領域候補のすべてに関して、切出領域設定部１４０が判断基準パラメータを算出してもよい。ただし、上記説明のような処理フローとすることにより、切出領域設定部１４０は特徴箇所を含む切出領域候補に対してのみステップＳＴ２０７〜２１０の処理を行えばよい。さらに、切出領域候補変更部１３０によるステップＳＴ２０４及びステップＳＴ２０５の処理は、特徴箇所の有無のみを判断すればよいので、処理負荷が小さい。従って、上記説明のような処理フローとすることにより、全体的な処理負荷が小さくなり、処理時間を短縮することができる。

なお、上述の表示制御装置１００は、メモリ・ＣＰＵを含むパソコン等のコンピュータによって構成することができる。そして、表示制御装置１００を構成する各構成要素の機能は、メモリ上に記憶されたコンピュータプログラムをＣＰＵが読み出して実行処理することで実現できる。

なお、上記説明では、ターゲットを検出し、このターゲットを中心とした所定の大きさの切出領域候補を設定した後、特徴箇所が含まれるように切出領域候補の大きさや位置を変更したが、あらかじめ撮影画像Ｓ１０に含まれるターゲット及び特徴箇所を検出しておき、ターゲットに近い特徴箇所を所定の条件で含むように切出領域を設定しても良い。

本発明の表示制御装置及び表示画像形成方法は、ターゲットの位置が格段に分かり易い画像を表示するものとして有用である。

１００ 表示制御装置
１１０ ターゲット検出部
１２０ 特徴箇所検出部
１３０ 切出領域候補変更部
１４０ 切出領域設定部
１５０ 切出部

Claims (11)

1. 撮影画像からターゲットを検出する検出手段と、
   前記ターゲットを含む画像領域であるターゲット画像の外にあって、前記撮影画像中における位置、または前記撮影画像の撮影対象である空間における位置を、特徴的に示す特徴箇所を検出する特徴箇所検出手段と、
   少なくとも前記ターゲットを含むように切出領域を設定し、前記切出領域に前記特徴箇所が含まれない場合には、前記ターゲット及び前記特徴箇所の両方を含むように前記切出領域の位置及び大きさの少なくともいずれか一方を変更する設定手段と、
   を具備する表示制御装置。
2. 前記設定手段は、前記ターゲット画像を含む切出領域候補を設定し、前記切出領域候補に前記特徴箇所が含まれない場合には、前記切出領域候補の位置及び大きさの少なくともいずれか一方を変更する変更手段、を具備し、
   前記変更手段によって、前記ターゲット画像及び前記特徴箇所の両方を含むように変更された切出領域候補を、前記切出領域として設定する、
   請求項１に記載の表示制御装置。
3. 前記変更手段は、前記切出領域候補が前記ターゲット画像を含む範囲で、前記切出領域候補の位置を変更する、
   請求項２に記載の表示制御装置。
4. 前記変更手段は、前記切出領域候補の基準位置を前記ターゲット画像の基準位置に固定して、前記切出領域候補における前記ターゲット画像の占有率が所定値以上の範囲で、前記切出領域候補の大きさを変更する、
   請求項２に記載の表示制御装置。
5. 前記変更手段は、前記ターゲット画像を含み、且つ、前記切出領域候補における前記ターゲット画像の占有率が所定値以上の範囲で、前記切出領域候補の位置及び大きさを変更する、
   請求項２に記載の表示制御装置。
6. 前記設定手段は、前記ターゲット画像と前記特徴箇所とを含む切出領域候補を複数設定し、前記複数設定された切出領域候補である切出領域候補群の中から所定の条件を満たす一つの切出領域候補を前記切出領域として設定する、
   請求項１ないし５のいずれかに記載の表示制御装置。
7. 前記設定手段は、前記切出領域候補群の内、前記特徴箇所を最も多く含む切出領域候補を、前記切出領域として設定する、
   請求項６に記載の表示制御装置。
8. 前記設定手段は、前記特徴箇所を所定数以上含む前記切出領域候補群の内、前記切出領域候補の領域中心と前記ターゲット画像の中心とが最も近い切出領域候補を、前記切出領域として設定する、
   請求項６に記載の表示制御装置。
9. 前記設定手段は、前記特徴箇所を所定数以上含む前記切出領域候補群の内、前記切出領域候補における前記ターゲット画像の占有率が最も大きい切出領域候補を、前記切出領域として設定する、
   請求項６に記載の表示制御装置。
10. 前記設定手段は、前記切出領域候補群の各候補における、前記ターゲット画像の位置、前記ターゲット画像の大きさ、及び、前記特徴箇所を含む個数に関する評価点を算出し、当該評価点に基づいて、前記切出領域候補群の中から前記切出領域を選択する、
    請求項６に記載の表示制御装置。
11. 撮影画像からターゲットを検出するステップと、
    前記ターゲットを含む画像領域であるターゲット画像の外にあって、前記撮影画像中における位置、または前記撮影画像の撮影対象である空間における位置を、特徴的に示す特徴箇所を検出するステップと、
    少なくとも前記ターゲットを含むように、切出領域を設定し、前記切出領域に前記特徴箇所が含まれない場合には、前記ターゲット及び前記特徴箇所の両方を含むように前記切出領域の位置及び大きさの少なくともいずれか一方を変更するステップと、
    を具備する表示画像形成方法。

Images