JP5116513B2 - 画像表示装置及びその制御方法 - Google Patents

Description

本発明は、画像を表示する画像表示装置及びその制御方法に関し、特に画像の領域を抽出して表示する技術に関するものである。

従来、入力された画像の一部領域を抽出して画面に表示する技術が実用化されている。この表示装置に関する提案として特許文献１がある。
特開平０５−３３７０７７号公報

以下、上記特許文献１の従来技術における問題点について説明する。特許文献１では、入力された原画像の所望の領域を抽出して拡大し、それを親画面として表示する。そして、その親画面の一部に、原画像を表示する子画面を表示することにより、原画像と、その原画像から抽出した領域とを重畳して表示している。また、この文献１では、入力された原画像から抽出した領域を拡大して親画面として表示している期間、その親画面の内容に拘わらず、常に前述した子画面を表示している。これは、原画像から抽出した領域が、その原画像のどの部分に該当しているかを容易に判別できるように、その抽出した領域の画像に原画像を表示する子画面を重ねて表示しているためである。このため、例えば親画面で表示している画像に意味があり、その親画面の表示だけで支障なく作業を進められる場合であっても、常に親画面の一部が子画面により占有されている。そのため子画面が親画面の画像を閲覧する際の障害となり、拡大した親画面の全体を十分に見ることができないという問題があった。

本発明は上記従来技術の問題点を解決することを目的とする。

本願発明の一態様に係る画像表示装置及びその制御方法によれば、第１の画像から選択して指定された任意の領域の画像データに、特定の被写体が存在しない場合に対象領域でないことを示す警告表示を行うと決定し、第１の画像を示すサブ画像と、当該サブ画像上に識別可能に表示される、指定された領域の位置を示す情報とを含む警告画像を出力して、当該警告画像を第２の画像と合成して前記表示部に表示するようにしている。これにより、注目している領域の画像が対象領域でない場合には、第１の画像内におけるその領域の位置を容易に識別できるため、必要であれば、より適した画像領域を選択して抽出することができる。

上記目的を達成するために本発明の一態様に係る画像表示装置は以下のような構成を備える。即ち、
第１の画像における複数の領域から任意の領域を選択して指定する指定手段と、
前記指定手段で指定された前記領域の画像データを抽出する抽出手段と、
前記抽出手段により抽出された画像データに基づく第２の画像を表示部に表示するように制御する表示制御手段と、
前記領域の画像データの特徴に基づいて、前記第２の画像内に含まれる被写体を検出する検出手段と、
前記検出手段により検出された被写体の中に所定の被写体が存在しない場合に、前記指定手段により指定された前記領域が対象領域でないことを示す警告表示を行うと決定する決定手段と、
前記決定手段により前記警告表示を行うと決定されると、前記第１の画像を示すサブ画像と、当該サブ画像上に識別可能に表示される前記指定手段により指定された前記領域の位置を示す情報とを含む警告画像を出力する画像生成手段と、
前記画像生成手段で出力された前記警告画像を前記第２の画像と合成して前記表示部に表示する合成手段と、を有することを特徴とする。

上記目的を達成するために本発明の一態様に係る画像表示装置の制御方法は以下のような工程を備える。即ち、
第１の画像における複数の領域から任意の領域を選択して指定する指定工程と、
前記指定工程で指定された前記領域の画像データを抽出する抽出工程と、
前記抽出工程で抽出された画像データに基づく第２の画像を表示部に表示するように制御する表示制御工程と、
前記領域の画像データの特徴に基づいて、前記第２の画像内に含まれる被写体を検出する検出工程と、
前記検出工程で検出された被写体の中に所定の被写体が存在しない場合に、前記指定工程により指定された前記領域が対象領域でないことを示す警告表示を行うと決定する決定工程と、
前記決定工程で前記警告表示を行うと決定されると、前記第１の画像を示すサブ画像と、当該サブ画像上に識別可能に表示される前記指定工程で指定された前記領域の位置を示す情報とを含む警告画像を出力する画像生成工程と、
前記画像生成工程で出力された前記警告画像を前記第２の画像と合成して前記表示部に表示する合成工程と、を有することを特徴とする。

本発明によれば、第１の画像から抽出した領域が、所定の被写体が存在する対象領域ではないことを操作者に認識させることができる。また第１の画像に対する、当該対象領域ではないとみなされた領域の位置関係が分かり、次の領域の指定を容易にできるという効果がある。

以下、添付図面を参照して本発明の好適な実施の形態を詳しく説明する。尚、以下の実施の形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

図１は、本発明の実施の形態に係る画像表示装置の構成を示すブロック図である。この画像表示装置は、入力された画像から所望の領域を抽出して表示することができる。

図において、デコード部１０１は、入力した画像ストリーム（第１の画像）１２０をベースバンドの画像信号に復号して画像データとして出力する。メモリ制御部１０２は、デコード部１０１から出力される画像データをメモリ１０３へ書き込んだり、またメモリ１０３から画像データを読み出すように制御する。メモリ１０３は、メモリ制御部１０２の制御の下に画像データを格納する。特徴量検出部１０４は、デコード部１０１から出力される動きベクトル情報、及びＤＣＴ係数等に基づいて、その画像の特徴量を検出する。サブ画像処理部１０５は、後述する警告表示用の画像データを生成する画像生成部として機能している。メイン画像処理部１０６は、抽出した画像領域の画像データに基づいて表示部１０８に表示するメイン表示用の画像（第２の画像）の画像データを作成する。画像合成部１０７は、メイン画像処理部１０６で作成されたメイン画像データと、サブ画像処理部１０５で生成されたサブ画像データとを入力して合成する。表示部１０８は、画像合成部１０７が出力する合成画像データに基づいて画像を表示する。システムコントロール部１０９は、この画像表示装置全体を統括的に制御しており、後述する警告表示制御部１０９ａを含んでいる。このシステムコントロール部１０９は、ＣＰＵ１２１と、ＣＰＵ１２１により実行されるプログラムを記憶するとともに、各種データを一時的に記憶するワークエリアを提供するメモリ１２２を備えている。操作部１１０は、この画像表示装置に対して各種操作指示を入力するのに使用されるキーボードやポインティングデバイスなどを含んでいる。この操作部１１０を使用して、後述するメイン画像として表示するための画像データを抽出する領域（以降「画像抽出領域」と記す）を指定する操作を行うこともできる。タイマ１２３は、時間を計時して、その計時結果をシステムコントロール部１０９に通知する。

次に、以上の構成を有する画像表示装置の動作について説明する。

まずテレビチューナや外部入力端子より入力された画像ストリーム１２０は、デコード部１０１へ入力される。このデコード部１０１は、その入力した画像ストリーム１２０を復号してベースバンドの画像データに変換する。尚、本実施の形態では、入力される画像ストリーム１２０は、一般的な画像圧縮方式であるＭＰＥＧ２で符号化された画像データとして説明する。ここでデコード部１０１は、復号したベースバンドの画像データ、及び入力したＭＰＥＧ２画像ストリームに含まれる動きベクトル情報、及びＤＣＴ係数等を出力する。

メモリ制御部１０２は、デコード部１０１から入力した画像データをメモリ１０３に格納する。また後述する特徴量検出部１０４、サブ画像処理部１０５、メイン画像処理部１０６からの要求に応じて、メモリ１０３に格納している画像データを読み出して、その画像データを要求した検出部或は処理部に供給する。特徴量検出部１０４は、デコード部１０１から出力される動きベクトル情報、及びＤＣＴ係数等を入力する。また特徴量検出部１０４にはシステムコントロール部１０９より、操作部１１０で指定された画像抽出領域を示す情報（以下、領域情報）が入力される。この領域情報は、例えば操作部１１０のキーやタッチペン等を使用して入力される。また、この領域情報は、サブ画像処理部１０５やメイン画像処理部１０６にも入力される。特徴量検出部１０４は、システムコントロール部１０９より入力した領域情報と、前述した動きベクトル情報、ＤＣＴ係数、及びメモリ１０３の画像データ等を用いて、画像抽出領域及びその周辺の画像に関する複数の特徴量を検出する。本実施の形態に係る特徴量検出部１０４で検出される特徴量には、画像の輝度信号や色信号の分散情報値、動きベクトル情報から得られる被写体の動き情報が含まれる。更に、ＤＣＴ係数より得られる画像の周波数分布情報、その他、画像データ中の顔検出情報も含まれる。

尚、画像データを用いた顔検出手法については、顔画像の色相や目、鼻、口といった顔画像に特有の構造を利用したアルゴリズムが提案され、すでに携帯用機器の顔検出などでも実用化されている。本実施の形態では、特徴量の検出は、顔の検出方式に限定されるものでなく、また顔検出方式のアルゴリズムも公知であるため、その詳細な説明を省略する。こうして特徴量検出部１０４で検出された複数の特徴量情報は、システムコントロール部１０９に入力される。

次にサブ画像処理部１０５の動作について説明する。

サブ画像処理部１０５は、システムコントロール部１０９から入力される領域情報、及び後述する警告表示制御部１０９ａからの情報により警告表示用の画像データを生成する。尚、本実施の形態における警告表示用の画像の例は後述する。

メイン画像処理部１０６は、デコード部１０１から出力される画像データから、領域情報に基づいて指定された領域の画像データを抽出する。メイン画像処理部１０６で抽出された画像データには、表示部１０８の画素数に応じたスケーリング処理が行われる。例えば表示部１０８の画面の表示画素数よりも抽出した領域の画像データの画素数が少ない場合には、抽出した画像データをアップサンプリング（拡大）処理して表示部１０８の画素数に合わせて表示する処理を行う。また表示部１０８の画面の画素数よりも抽出した画像データの画素数が多い場合には、その画像データをダウンサンプリング（縮小）処理して表示部１０８の画素数に合わせて表示する処理を行う。尚、表示部１０８の画素数と抽出した画素数が同じ場合には、そのままに表示部１０８するようにしても良い。

画像合成部１０７は、システムコントロール部１０９からの制御によりサブ画像処理部１０５及びメイン画像処理部１０６から出力された画像データを合成する。ここで合成された画像データは、ＬＣＤパネルなどにより構成される表示部１０８に出力され可視画像として表示される。

次に本実施の形態に係る警告表示制御部１０９ａの動作について説明する。

この警告表示制御部１０９ａには、前述したように特徴量検出部１０４より画像抽出領域、及びその周辺に関する複数の特徴量情報が入力される。警告表示制御部１０９ａは、これら複数の特徴量情報を用いて警告表示制御を行う。

次に、本発明の実施の形態に係る警告表示制御部１０９ａの動作について図２乃至図７のフローチャートを参照して説明する。これら処理を実行するプログラムは、この画像表示装置のＨＤＤ（不図示）等にインストールされており、実行時にはメモリ１２２にロードされてＣＰＵ１２１の制御の下に実行される。

図２は、本実施の形態に係るシステムコントロール部１０９の警告表示制御部１０９ａの動作を説明するフローチャートである。また図３乃至図７は、各特徴量情報及び操作部１１０の操作情報から警告判定を行う動作を示すフローチャートである。

本実施の形態では、複数の特徴量情報として顔検出情報、動き情報、画像の周波数分布情報、輝度及び色信号の分散情報を用いる。また操作部１１０からの操作情報としては、前述した画像抽出領域を選択する際の操作情報を用いる。本実施の形態では、これらの情報を用いて、操作部１１０で指定した画像抽出領域が注目すべき領域（対象領域）でないと予測できる場合を検出する。また或は、入力した画像データのどの領域が注目すべき領域（対象領域）であるか特定するのが困難と予測される場合を検出する。そして、このような予測がなされた場合に警告表示を行うように動作する。

図２において、警告表示制御が開始されると先ずステップＳ２０１で、特徴量検出部１０４から複数の特徴量情報及び操作部１１０からの操作情報を読み込む。次にステップＳ２０２乃至Ｓ２０６の処理では、入力された各特徴量の情報に対して警告表示を行うべきか否かを判定する処理を行う。これら処理ステップの詳細はそれぞれ、図３乃至図７の各フローチャートに詳しく説明されている。

まずステップＳ２０２で、入力された顔検出情報に応じて警告表示を行うべきか否かを判定する処理を行う。次にステップＳ２０３で、入力された動き情報に応じて警告表示を行うべきか否かを判定する処理を行う。次にステップＳ２０４では、入力された周波数分布情報に応じて警告表示を行うべきか否かを判定する処理を行う。次にステップＳ２０５では、入力された輝度、色信号の分散情報（ヒストグラム情報）に応じて警告表示を行うべきか否かを判定する処理を行う。次にステップＳ２０６では入力された操作部の操作情報に応じて警告表示を行うべきか否かを判定する処理を行う。

図２のステップＳ２０２乃至Ｓ２０６の各処理の詳細について説明する。

図３は、図２のステップＳ２０２における、顔検出情報に応じて警告表示を行うべきか否かを判定する処理の詳細を示すフローチャートである。

先ずステップＳ３０１で、画像抽出領域内に顔が検出されたか否かを判定する。ここで画像抽出領域に顔が検出されたと判定した場合はステップＳ３０２に進み、顔検出情報による警告判定結果を示すフラグ（Flag_1）を警告表示が不要であることを示すオフにセットする。一方、ステップＳ３０１で、画像抽出領域に顔が検出されなかった場合はステップＳ３０３に進み、このフラグ（Flag_1）を警告表示が必要であることを示すオンにセットする。

この図３に示す処理により、画像抽出領域に顔が検出されない場合には、その画像抽出領域が注目すべき領域ではない可能性があると予測して、それをフラグ（Flag_1）に設定する。また画像抽出領域に顔が検出されたときは、その画像抽出領域が注目すべき領域である可能性が高いと予測してフラグ（Flag_1）に設定する。

図４は、図２のステップＳ２０３における、動き情報に応じて警告表示を行うべきか否かを判定する処理の詳細を示すフローチャートである。

先ずステップＳ４０１で、画像抽出領域内に動きの大きな（動き成分を有する）被写体があるか否かを判定する。ここで画像抽出領域内に動きの大きな被写体があると判定した場合はステップＳ４０２に進み、動き情報による警告判定結果を示すフラグ（Flag_2）を警告表示が不要であることを示すオフにセットする。一方、ステップＳ４０１で、画像抽出領域内に動きの大きな被写体が検出されないと判定した場合はステップＳ４０３に進み、画像抽出領域の周辺部（周辺領域）の動き情報を用いて、その画像抽出領域の内部に向かう動き成分を持つ被写体があるか否かを判定する。ここで画像抽出領域の内部に向かう動き成分を持つ被写体があると判定した場合は前述のステップＳ４０２に進み、フラグ（Flag_2）をオフにセットする。またステップＳ４０３で、その画像抽出領域の内部に向かう動き成分を持つ被写体が無いと判定した場合はステップＳ４０４に進み、フラグ（Flag_2）を警告表示が必要であることを示すオンにセットする。

図４に示す処理を行うことにより、画像抽出領域内、及びその周辺部に動きの大きな被写体が検出されない場合には、その画像抽出領域は注目すべき領域ではない可能性が高いと予測して警告表示が必要であると判定する。そして、それを示すフラグ（Flag_2）をオンにセットする。また画像抽出領域内に動きのある被写体がある場合、或はその周辺部に画像抽出領域内へ向かう被写体の動き成分が検出された場合は、その画像抽出領域は注目すべき領域となる可能性が高いと予想される。よって、この場合は警告表示は不要と判定して、それを示すフラグ（Flag_2）をオフにセットする。

図５は、図２のステップＳ２０４における、周波数分布情報に応じて警告表示を行うべきか否かを判定する処理の詳細を示すフローチャートである。

先ずステップＳ５０１で、画像抽出領域内の周波数分布が低周波数側であるか否かを判定する。ここで画像抽出領域内の周波数分布が低周波数側、即ち、平坦な画像であると判定した場合はステップＳ５０２に進み、周波数分布情報による警告判定結果を示すフラグ（Flag_3）を警告表示が必要であることを示すオンにセットする。一方、ステップＳ５０１で、画像抽出領域内の周波数分布が低周波数側でないと判断した場合はステップＳ５０３に進む。ステップＳ５０３では、画像抽出領域とその周辺部との周波数分布との差が所定値以下であるか、即ち小さいか否かを判定する。ここで差が小さいと判定した場合は前述のステップＳ５０２に進んでフラグ（Flag_3）をオンにセットする。一方、ステップＳ５０３で、差が所定値よりも大きいと判定した場合はステップＳ５０４に進み、フラグ（Flag_3）を警告表示が不要であることを示すオフにセットする。

図５に示す処理により、周波数分布が低周波数側、即ち、画像抽出領域内が平坦な画像である場合は、注目すべき領域ではない可能性が高いと予測して警告表示が必要と判定する。また画像抽出領域内は平坦ではないが、その画像抽出領域の周辺部との周波数分布の差が少ない場合には、画像抽出領域の特定が困難である予想して警告表示が必要と判定する。こうして判定した結果をフラグ（Flag_3）に設定する。画像抽出領域内が平坦な画像でない場合、或はその画像抽出領域の周辺部との周波数分布の差が大きい場合には、警告表示が不要と判定してフラグ（Flag_3）に設定する。

図６は、図２のステップＳ２０５における、輝度及び色信号の分散情報に応じて警告表示を行うべきか否かを判定する処理の詳細を示すフローチャートである。

先ずステップＳ６０１で、画像抽出領域内の輝度及び色信号の分散値が所定値以下かどうか、即ち、分散が低いか否かを判定する。ここで画像抽出領域内の輝度及び色信号の分散値が所定値以下（少ない）、即ち、階調や色の変化量が少ない画像領域であると判定した場合はステップＳ６０２に進む。ステップＳ６０２では、輝度及び色信号の分散値による警告判定結果を示すフラグ（Flag_4）を警告表示が必要であることを示すオンにセットする。

一方、ステップＳ６０１で、画像抽出領域内の輝度及び色信号の分散値が所定値以上である（大きい）と判定した場合はステップＳ６０３に進む。ステップＳ６０３では、その画像抽出領域とその周辺部との輝度及び色信号の分散値との差が小さいか否かを判定する。ステップＳ６０３で差が小さいと判定した場合は前述のＳ６０２に進んで、フラグ（Flag_4）を警告表示が必要であることを示すオンにセットする。一方ステップＳ６０３で差が大きいと判定した場合はステップＳ６０４に進み、フラグ（Flag_4）を警告表示が不要であることを示すオフにセットする。

図６に示す処理により、信号の分散が少ない、即ち、画像抽出領域が階調や色の変化量が少ない画像領域の場合には、注目すべき領域ではない可能性が高いと予測して、警告表示が必要と判定する。また画像抽出領域が階調や色の変化量が少ない画像領域ではないが、その周辺部との差が少ない場合には、画像抽出領域の特定が困難であると予想し、警告表示が必要と判定する。こうして判定した結果をフラグ（Flag_4）に設定する。また画像抽出領域が階調や色の変化量が大きい画像領域の場合、或はその画像抽出領域とその周辺部との差が大きい場合には、警告表示が不要と判定して、その結果をフラグ（Flag_4）に設定する。

図７は、図２のＳ２０６における、操作部の操作情報に応じて警告表示を行うべきか否かを判定する処理の詳細を示すフローチャートである。

先ずステップＳ７０１で、画像抽出領域を選択する操作が継続した時間（T_MV）を計測する。次にステップＳ７０２に進み、その計測した時間（T_MV）が所定時間（T_MV_TH）より長いか否かを判定する。このステップＳ７０２で、時間（T_MV）が所定時間（T_MV_TH）より長い（所定時間以上）と判定した場合はステップＳ７０３に進み、操作連続による警告判定結果を示すフラグ（Flag_5）を警告表示が必要であること示すオンにセットする。一方、ステップＳ７０２で、時間（T_MV）が所定時間（T_MV_TH）より短いと判定した場合はステップＳ７０４に進み、フラグ（Flag_5）を警告表示が不要であることを示すオフにセットする。

図７に示す処理により、画像抽出領域を選択する操作が所定時間より長い時間継続した場合は、その画像抽出領域を選択するのを迷っているとみなして警告表示が必要と判定する。こうして判定した結果をフラグ（Flag_5）に設定する。また、その操作が所定時間よりも短ければ、抽出すべき画像領域が即決できたものと判断して、警告表示が不要と判定し、その結果をフラグ（Flag_5）に設定する。

以上説明した図２のステップＳ２０２乃至Ｓ２０６の処理を終えると図２のステップＳ２０７の処理に移行する。

図２のステップＳ２０７では、ステップＳ２０２乃至Ｓ２０６の処理で得られた判定結果を基にして、総合した警告判定処理を行う。そして、その結果を総合警告判定結果フラグ（Flag_M）に格納する。ここで総合警告判定処理とは、前述した警告判定結果フラグ（Flag_1〜Flag_5）の中でどのフラグの内容を実際の警告表示に反映させるかという処理である。

例えば、式（１）に示すような判定結果マスクフラグ（MASK_1〜MASK_5）と警告判定結果フラグ（Flag_1〜Flag_5）との論理式により総合警告判定結果フラグ（Flag_M）を算出する。これにより複数種類の特徴量を選択的に組み合わせて判定することができる。

Flag_M＝（MASK_1×Flag_1）＋（MASK_2×Flag_2）＋（MASK_3×Flag_3）＋（MASK_4×Flag_4）＋（MASK_5×Flag_5） …式（１）
例えば、ステップＳ２０２乃至Ｓ２０６の処理で得られた判定結果の全てを警告表示に反映させたい場合には（MASK_1〜MASK_5）の値を全て「１」（オン）とする。その場合、（Flag_1〜Flag_5）のいずれか１つのフラグが（オン）になっている場合には、Flag_Mもオンとなる。

また例えば、顔情報による警告判定結果（Flag_1）のみを警告表示に反映させたい場合には（MASK_1）の値のみを「１」（オン）とし、（MASK_2〜MASK_5）を全て「０」（オフ）とする。

尚、前述した判定結果マスクフラグ（MASK_1〜MASK_5）は、この画像表示装置の操作部１１０から別途入力しても良いし、図示しない不揮発性のメモリなどに所望の値を記憶させておいても良い。

このステップＳ２０７の処理で、総合警告判定結果フラグ（Flag_M）を算出すると次にステップＳ２０８に進む。ステップＳ２０８では、フラグ（Flag_M）の値により警告表示を行うか否かを判定する。ステップＳ２０８で、フラグ（Flag_M）がオフ（０）の場合はステップＳ２０９に進み、警告表示を非表示状態にして処理を終える。

このように警告表示が非表示状態の場合は、サブ画像処理部１０５は警告用の画像データを生成しない。従って、画像合成部１０７からは、メイン画像処理部１０６から出力される画像データのみが出力されて表示部１０８の画面全体に表示される。

一方、ステップＳ２０８で、フラグ（Flag_M）がオンの場合はステップＳ２１０に進み、警告表示を行う状態にする。

このように警告表示を行う状態の場合は、サブ画像処理部１０５で生成された警告用の画像データが画像合成部１０７にてメインの画像データと合成されて表示部１０８に表示される。

次にステップＳ２１１に進み、警告表示時間を計時するタイマ１２３の計時をインクリメントする。次にステップＳ２１２に進み、タイマ１２３による計時値と閾値（T_AR_TH）とを比較する。ここでタイマの計時値が閾値（T_AR_TH）より大きいと判定されるとステップＳ２１３に進み、警告表示を表示しない非表示状態にして処理を終える。即ち、ステップＳ２１１乃至Ｓ２１３の処理により、ステップＳ２１０で、警告表示を表示する表示状態になった場合でも、警告表示時間が所定時間を超えた場合には、自動的に警告表示を非表示状態に戻すことができる。

次に、本実施の形態に係る各特徴量情報及び操作部１１０の操作情報に応じた警告表示を行う場合の入力画像と表示画像の具体例を説明する。

［警告表示例の説明１］
図８は、本実施の形態に係る画像表示装置へ入力される画像と、画像抽出領域との関係を説明する図である。

図８において、入力画像の全体が表示部１０８の画面全体に表示されている。８０１は、矢印の方向に動く人物（被写体）を示す。８０２乃至８０４は、画像抽出領域として抽出された画像領域の一例を示している。

尚、説明を簡単にするために、本実施の形態に係る表示例では、前述した判定結果を示すマスクフラグが顔検出情報による警告判定結果のみを用いるように設定されている場合を例に説明する。即ち、マスクフラグ（MASK_1）だけが「１」とする。

また図８に示す入力画像データは、メモリ１０３に格納されているものとし、各々の画像抽出領域に対応する各種特徴量は適時検出されているとする。

まず操作部１１０により、画像抽出領域８０２が選択された場合を例に説明する。

画像抽出領域８０２が選択されると、システムコントロール部１０９は画像抽出領域８０２の画像データを抽出して、その抽出した画像データをメイン画像処理部１０６に供給する。メイン画像処理部１０６は、表示部１０８の画面の画素数（サイズ）に合わせたスケーリング処理を行って画像合成部１０７に出力する。

図９は、こうして表示部１０８の画面に表示された画像抽出領域８０２に対応する画像の表示例を示す図である。

特徴量検出部１０４は、画像抽出領域８０２の画像データから顔検出を行って人物８０１の顔を検出する。その結果、前述した図２及び図３の制御フローにより顔が検出されているため、顔検出情報による警告判定結果を示すフラグ（Flag_1）が警告表示不要（オフ）にセットされる。これにより式（１）から、総合警告判定結果フラグ（Flag_M）が「０」となって警告表示が不要であると判定される。この場合は、サブ画像処理部１０５で警告画像データは生成されない。よって表示部１０８には、メイン画像処理部１０６から出力された、画像抽出領域８０２の画像データのみが出力される。その結果、表示部１０８には、図９に示す画像が表示される。

図９で表示される画像は、図８の画像抽出領域８０２に相当する領域の画像である。ここでは図９に示すように、表示部１０８の画面全体に親画面として表示される。このため、その画像抽出領域８０２の画像全体を閲覧することが可能になる。

次に、操作部１１０により、図８の画像抽出領域８０３が選択された場合を例に説明する。

画像抽出領域８０３が選択されると、その画像抽出領域８０３の画像データが抽出される。その抽出した画像データに対して、メイン画像処理部１０６は、表示部１０８の画面の画素数に合わせたスケーリング処理を行って画像合成部１０７に出力する。

図１０は、こうして表示部１０８の画面に表示された画像抽出領域８０３に対応する画像の表示例を示す図である。

特徴量検出部１０４は、画像抽出領域８０３の画像データに基づいて顔検出を行う。しかしこの場合は、画像抽出領域８０３には顔が存在しないので顔は検出されない。その結果、前述した図２及び図３の制御フローで顔が検出されないため、顔検出情報による警告判定結果を示すフラグ（Flag_1）が警告表示が必要であることを示すオンにセットされる。これにより式（１）から、総合警告判定結果フラグ（Flag_M）が警告表示が必要であることを示すオンとなる。こうして総合警告判定結果フラグ（Flag_M）が「１」（オン）になると、サブ画像処理部１０５は、図１１に示す警告画像データを生成して画像合成部１０７に出力する。

図１１は、警告画像データの一例を示す図である。

図１１において、１１００は図８に示す入力画像全体を縮小したサブ画像全体を示す。１１０１は、画像抽出領域８０３に対応する画像を示す。ここでは元の画像と、その画像抽出領域との位置関係が維持された状態で、且つその画像抽出領域が識別可能に示されている。

これにより画像合成部１０７は、図１１に示すサブ画像（警告画像）データと、図１０に示すメイン画像データとを合成して、最終的に図１２に示す画像を表示部１０８に表示する。

図１２は、メイン画像にサブ画像を合成して表示した画像の一例を示す図である。

図１２では、親画面（メイン画像）の一部に警告画像（サブ画像）を合成して表示している。これにより操作者は、顔が存在していない画像領域を画像抽出領域として抽出したと認識することができる。

即ち、顔検出情報による警告判定結果を用いる場合は、画像抽出領域に顔が存在している場合は、例えば図９で示すように、画面全体に親画面として画像抽出領域を表示できるので、その画像抽出領域の画像全体を閲覧できる。これに対して、画像抽出領域に顔が存在していない場合には、図１２に示すような警告表示を行う。これにより操作者は、サブ画像による警告表示を意識して、必要であれば、より適した画像抽出領域を選択することが可能となる。

［警告表示例の説明２］
本表示例の説明では、前述した判定結果を示すマスクフラグが動き情報による警告判定結果のみを用いるように設定してある場合（マスクフラグ（MASK_2）だけが「１」）を例に説明する。またこの表示例においても、画像表示装置へ入力される画像は図８と同じであるとして説明する。また入力画像データはメモリ１０３に格納されているものとし、各々の画像抽出領域に対応する各種特徴量は適時検出されているとする。

まず操作部１１０より、図８の画像抽出領域８０２が選択された場合を例に説明する。画像抽出領域８０２が選択されるとシステムコントロール部１０９は、その画像抽出領域８０２の画像データを抽出してメイン画像処理部１０６に出力する。メイン画像処理部１０６は、表示部１０８の画面の画素数に合わせたスケーリング処理を行って図９に示すような画像を画像合成部１０７に出力する。

特徴量検出部１０４は、画像抽出領域８０２内の画像中の動き情報を検出して人物８０１の動き量を検出する。ここで動き量が大きな値であった場合は、前述した図２及び図４の制御フローにより、動き情報による警告判定結果を示すフラグ（Flag_2）が警告表示が不要であることを示すオフにセットする。これにより総合警告判定結果フラグ（Flag_M）が、警告表示が不要であることを示すオフにセットされる。この場合は、サブ画像処理部１０５は警告画像データを生成しない。このため表示部１０８には、メイン画像処理部１０６から出力されたメイン画像のみが出力される。その結果、表示部１０８には、図９に示す画像が表示される。図９に表示される画像は、図８の画像抽出領域８０２に相当する領域の画像で、表示部１０８の画面全体に親画面として表示されるため、その画像抽出領域８０２の画像全体を閲覧することができる。

次に操作部１１０により、図８の画像抽出領域８０４が選択された場合を例に説明する。画像抽出領域８０４が選択されると、その画像抽出領域８０４の画像データが抽出され、メイン画像処理部１０６で表示部１０８の画素数に合わせたスケーリング処理が施されて画像合成部１０７に出力する。

図１３は、図８に示す画像抽出領域８０４の画像を表示部１０８の画面全体に表示した状態を示す図である。

特徴量検出部１０４は、画像抽出領域８０３での被写体の動き量を検出する。この場合には、画像抽出領域８０４に動く被写体が存在しないので、被写体の大きな動き量を検出することができない。

しかし、警告表示制御部１０９ａは、図４に示す処理ステップＳ４０３により図８の画像抽出領域８０４の周辺部に関する動き情報を調べる。その結果、画像抽出領域８０４の周辺部に画像抽出領域８０４に向かう動き成分のある被写体８０１の動き量が検出される。そのため、図４のステップＳ４０３からＳ４０２に進み、動き情報による警告判定結果を示すフラグ（Flag_2）が警告表示が不要であることを示すオフにセットされる。これにより総合警告判定結果フラグ（Flag_M）も、警告表示が不要であることを示すオフにセットされる。

こうして総合警告判定結果フラグ（Flag_M）がオフになると、サブ画像処理部１０５は警告画像データを生成しない。このため表示部１０８には、メイン画像処理部１０６から出力された画像抽出領域８０４の画像が、図１３に示すように表示される。

図１４は、図８に示す画像の状態から少し時間が経過した後の画像の一例を示す図である。

図１４に示すように、被写体８０１が８０１’に移動して画像抽出領域８０４内に入っている。その結果、この時間が経過してからメイン画像処理部１０６から出力される画像データによる表示は、図１５に示す画像となる。

図１５は、図１４の画像抽出領域の表示例を示す図である。

図１５では、動き量の大きな被写体を含む画像抽出領域８０４の全体が親画面として表示されている。

尚、操作部１１０により、図８の画像抽出領域８０３が選択された場合は、その領域８０３内には動きのある被写体がない。また、その領域８０３の周辺に画像抽出領域８０３内部に向かう動きのある被写体は検出されない。そのため画像合成部１０７は、図１１に示すサブ画像（警告画像）データと、図１０に示したメイン画像データとを合成して表示部１０８に出力する。これにより最終的に、図１２に示す画像が表示部１０８に表示される。

図１２では、親画面の一部に警告画像１１００が合成されて表示されている。これにより、操作者は動きのある被写体が存在していない部分を画像抽出領域として抽出したことを認識することができる。即ち、図１２に示すような警告表示を行うことにより、操作者は、必要であると判断すると、サブ画像による警告表示を意識して画像抽出領域を選択することができる。

また、動き情報による警告判定結果を用いる場合は、画像抽出領域に動きの大きな被写体が存在している場合は、図９で示したように、その抽出した画像領域を画面全体に親画面として表示できる。これにより、その抽出した画像領域全体を閲覧できる。

また画像抽出領域を選択した時点で、その画像抽出領域に動きの大きな被写体が存在しない場合でも、その画像抽出領域の周辺部に、その画像抽出領域に向かう動き量のある被写体があるか否かを判定する。そして、そのような被写体がある場合には、警告表示を行わないようにすることができる。

［警告表示例の説明３］
本表示例の説明では、前述した判定結果をマスクするマスクフラグが周波数分布情報による警告判定結果のみを用いるように設定してある場合（MASK_3のみが「１」）を例に説明する。

図１６は、本実施の形態に係る画像表示装置へ入力される画像の一例を示し、ここでは高い周波数成分を持つ被写体が多数写っている画像の一例を示す図である。

この表示例において、入力画像データはメモリ１０３に格納されているものとし、各々の画像抽出領域に対応する各種特徴量は適時検出されているとする。ここで操作部１１０により、図１６の画像抽出領域１６０１が選択された場合を例に説明する。画像抽出領域１６０１が選択されると、システムコントロール部１０９は画像抽出領域１６０１の画像データを抽出する。そしてその抽出した画像データをメイン画像処理部１０６に出力する。メイン画像処理部１０６は、表示部１０８の画素数に合わせたスケーリング処理を行って、その画像データを画像合成部１０７に出力する。これによる表示結果を図１７に示す。

特徴量検出部１０４は、画像抽出領域１６０１及びその周辺部の画像中の周波数分布情報を検出する。画像抽出領域１６０１は、その領域内の周波数分布が高いが、その周辺部の周波数分布が低いと判定する。その結果、前述した図２及び図５の制御フローにより、周波数分布情報による警告判定結果を示すフラグ（Flag_3）が警告表示が不要であることを示すオフにセットされる。これにより総合警告判定結果フラグ（Flag_M）も警告表示が不要であるオフにセットされる。

この総合警告判定結果フラグ（Flag_M）がオフの場合は、サブ画像処理部１０５は、警告画像データを生成しない。このため表示部１０８には、図１７に示すように、メイン画像処理部１０６から出力された画像抽出領域１６０１の画像のみが出力される。

図１７は、図１６の抽出された画像抽出領域１６０１の表示例を示す図である。

次に操作部１１０により、図１６の画像抽出領域１６０２が選択された場合を例に説明する。画像抽出領域１６０２が選択されると、その画像抽出領域１６０２の画像データが抽出される。メイン画像処理部１０６は、その抽出した画像データに対して、表示部１０８の画面の画素数に合わせたスケーリング処理を行って画像合成部１０７に出力する。これにより表示部１０８には図１８に示す画像が表示される。

図１８は、図１６の抽出された画像抽出領域１６０２の表示例を示す図である。

特徴量検出部１０４は、この画像抽出領域１６０２、及びその周辺部の画像中の周波数分布情報を検出する。画像抽出領域１６０２は、その領域内の周波数分布が高く、その周辺部の周波数分布も高いと判断される。その結果、前述した図２及び図５の制御フローにより、周波数分布情報による警告判定結果を示すフラグ（Flag_3）が警告表示が必要であることを示すオンにセットされる。これにより、総合警告判定結果フラグ（Flag_M）も警告表示が必要であるオンにセットされる。

こうして総合警告判定結果フラグ（Flag_M）がオンになると、サブ画像処理部１０５は、図１９に示す警告画像データを生成して画像合成部１０７に出力する。

図１９は、サブ画像処理部により生成される警告画像データの一例を示す図である。

図１９において、１９００は、警告画像全体の縮小画像を示し、１９０１は画像抽出領域１６０２の縮小画像を示している。

画像合成部１０７は、図１９に示すサブ画像（警告画像）データと、図１８に示すメイン画像データとを合成して表示部１０８に出力する。

図２０は、図１８と図１９の画像を合成して表示した画像の一例を示す図である。

図２０では、親画面の一部に警告画像１９００を合成して表示している。これにより操作者は、その周辺の周波数分布も高い画像領域を画像抽出領域１６０２として抽出したことを認識することができる。即ち、周波数分布情報による警告判定結果を用いる場合、画像抽出領域にのみ周波数分布の高い被写体が存在している場合は、図１７に示すように、その画像抽出領域を表示部１０８の画面全体に親画面として表示できる。このため、その画像抽出領域の画像全体を閲覧できる。一方、その選択した画像抽出領域と、その周辺にも周波数分布の高い被写体が存在している場合は、図２０に示すような警告表示を行う。これにより操作者は、現在選択している画像領域が入力画像の中でどの部分なのかを容易に認識でき、所望の領域を容易に選択できるようになる。

［その他表示例の説明］
以上説明した表示例では説明を簡単にするために、複数の特徴量の内、いずれか一つを用いて総合警告判定結果フラグ（Flag_M）を決定していた。

しかし図２の制御フローの説明でも述べたように、これら複数の特徴量のうちの全てを用いてもよく、或は操作者が適時いくつかの特徴量による判定結果を組み合わせて総合警告判定結果フラグ（Flag_M）を決定するようにしても良い。

また本実施の形態では、警告表示の例として親画面の一部にサブ画面を合成して表示していた。しかし本発明は必ずしもそのような表示形態に限定するものではない。

図２１は、このような他の表示例を示す図である。

例えば、総合警告判定結果フラグ（Flag_M）がオンとなった場合は、図２１に示すように、入力された画像全体に画像抽出領域を示すマーカ２１０１を合成して、入力した画像を表示部１０８の画面全体に表示するようにしても良い。この場合、マーカ２１０１は必ずしも合成する必要はない。

［その他の警告表示制御についての説明］
これまで説明した警告表示制御では、各特徴量に対応する警告判定処理における処理結果として２値のビットである警告判定結果フラグ（Flag_1〜Flag_5）を用いて制御していた。しかし本実施の形態は、複数の特徴量から警告判定を行えば良い。従って、必ずしも各々の判定結果は２値である必要はない。

図２２は、特徴量情報と警告判定評価値の一例を示す図である。

図２２に示すように、各特徴量に応じた警告判定評価値（Value_1〜Value_5）を出力するようにしても良い。その場合、各々の警告判定評価値（Value_1〜Value_5）に対応して重み付けを行う重み付け値（Weight_1〜Weight_5）を用いる。そして、例えば、以下の式（２）に示す処理で総合警告判定評価値（Value_M）を算出する。

Value_M＝（Weight_1×Value_1）＋（Weight_2×Value_2）＋（Weight_3×Value_3）＋（Weight_4×Value_4）＋（Weight_5×Value_5） …式（２）
この式（２）により得られた総合警告判定評価値（Value_M）の値の大きさと閾値とを比較することにより、警告表示処理を行うか否か判定する構成にしても良い。

また本実施の形態では、複数ある特徴量を用いて警告表示を行うようにしているが、ユーザの設定により警告表示を一切行わないようなモードを設けても良い。

また本実施の形態では、ユーザが前述した式（１）における判定結果マスクフラグ（MASK_1〜MASK_5）を全て「０」（オフ）に設定することにより、警告表示を一切行わないモードに設定できる。

また式（２）では、重み付け値（Weight_1〜Weight_5）の値を全て「０」に設定することにより、警告表示を一切行わないようにするモードに設定できる。

尚、これまで説明した各特徴量に応じて警告判断を行う際に、各閾値判定処理にヒステリシスを設け、警告表示が断続的に表示されないように構成しても良い。

（他の実施形態）
以上、本発明の実施形態について詳述したが、本発明は、複数の機器から構成されるシステムに適用しても良いし、また一つの機器からなる装置に適用しても良い。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを読み出して実行することによっても達成され得る。その場合、プログラムの機能を有していれば、形態は、プログラムである必要はない。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明のクレームでは、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、様々なものが使用できる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などである。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページからハードディスク等の記録媒体にダウンロードすることによっても供給できる。その場合、ダウンロードされるのは、本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明のクレームに含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布する形態としても良い。その場合、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムが実行可能な形式でコンピュータにインストールされるようにする。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される形態以外の形態でも実現可能である。例えば、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

更に、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれるようにしてもよい。この場合、その後で、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される。

本発明の実施の形態に係る画像表示装置の構成を示すブロック図である。 本実施の形態に係るシステムコントロール部の動作を説明するフローチャートである。 図２のステップＳ２０２における、顔検出情報に応じて警告表示を行うべきか否かを判定する処理の詳細を示すフローチャートである。 図２のステップＳ２０３における、動き情報に応じて警告表示を行うべきか否かを判定する処理の詳細を示すフローチャートである。 図２のステップＳ２０４における、周波数分布情報に応じて警告表示を行うべきか否かを判定する処理の詳細を示すフローチャートである。 図２のステップＳ２０５における、輝度及び色信号の分散情報に応じて警告表示を行うべきか否かを判定する処理の詳細を示すフローチャートである。 図２のＳ２０６における、操作部の操作情報に応じて警告表示を行うべきか否かを判定する処理の詳細を示すフローチャートである。 本実施の形態に係る画像表示装置へ入力される画像と、画像抽出領域との関係を説明する図である。 表示部の画面に表示された画像抽出領域に対応する画像の表示例を示す図である。 表示部の画面に表示された画像抽出領域に対応する画像の表示例を示す図である。 警告画像データの一例を示す図である。 メイン画像にサブ画像を合成して表示した画像の一例を示す図である。 図８に示す画像抽出領域の画像を表示部の画面全体に表示した状態を示す図である。 図８に示す画像の状態から少し時間が経過した後の画像の一例を示す図である。 図１４の画像抽出領域の表示例を示す図である。 本実施の形態に係る画像表示装置へ入力される画像が、高い周波数成分を持つ被写体が多数写っている画像である場合の表示例を示す図である。 図１６の抽出された画像抽出領域１６０１の表示例を示す図である。 図１６の抽出された画像抽出領域１６０２の表示例を示す図である。 サブ画像処理部により生成される警告画像データの一例を示す図である。 図１８と図１９の画像を合成して表示した画像の一例を示す図である。 警告表示時の他の表示例を示す図である。 特徴量情報と警告判定評価値の一例を示す図である。

Claims (7)

1. 第１の画像における複数の領域から任意の領域を選択して指定する指定手段と、
   前記指定手段で指定された前記領域の画像データを抽出する抽出手段と、
   前記抽出手段により抽出された画像データに基づく第２の画像を表示部に表示するように制御する表示制御手段と、
   前記領域の画像データの特徴に基づいて、前記第２の画像内に含まれる被写体を検出する検出手段と、
   前記検出手段により検出された被写体の中に所定の被写体が存在しない場合に、前記指定手段により指定された前記領域が対象領域でないことを示す警告表示を行うと決定する決定手段と、
   前記決定手段により前記警告表示を行うと決定されると、前記第１の画像を示すサブ画像と、当該サブ画像上に識別可能に表示される前記指定手段により指定された前記領域の位置を示す情報とを含む警告画像を出力する画像生成手段と、
   前記画像生成手段で出力された前記警告画像を前記第２の画像と合成して前記表示部に表示する合成手段と、
   を有することを特徴とする画像表示装置。
2. 前記検出手段は、人物の顔、動き成分を有する被写体の少なくともいずれか１つを検出することを特徴とする請求項１に記載の画像表示装置。
3. 前記決定手段は、前記検出手段が前記領域の画像データに人物の顔を検出すると、前記警告表示を行わないと決定することを特徴とする請求項１又は２に記載の画像表示装置。
4. 前記決定手段は、前記検出手段が前記領域の画像データで動き成分を有する被写体があることを検出すると、前記警告表示を行わないと決定することを特徴とする請求項１又は２に記載の画像表示装置。
5. 前記決定手段は、前記検出手段が前記領域の画像データで動き成分を有する被写体がない場合でも、当該領域の周辺領域の画像データに当該領域に向かう動きベクトルがあることを検出すると、前記警告表示を行わないと決定することを特徴とする請求項１又は２又は４に記載の画像表示装置。
6. 前記表示制御手段は、前記抽出手段により抽出された前記領域の画像を前記表示部の画面のサイズに拡大して前記第２の画像を表示することを特徴とする請求項１乃至５のいずれか１項に記載の画像表示装置。
7. 第１の画像における複数の領域から任意の領域を選択して指定する指定工程と、
   前記指定工程で指定された前記領域の画像データを抽出する抽出工程と、
   前記抽出工程で抽出された画像データに基づく第２の画像を表示部に表示するように制御する表示制御工程と、
   前記領域の画像データの特徴に基づいて、前記第２の画像内に含まれる被写体を検出する検出工程と、
   前記検出工程で検出された被写体の中に所定の被写体が存在しない場合に、前記指定工程により指定された前記領域が対象領域でないことを示す警告表示を行うと決定する決定工程と、
   前記決定工程で前記警告表示を行うと決定されると、前記第１の画像を示すサブ画像と、当該サブ画像上に識別可能に表示される前記指定工程で指定された前記領域の位置を示す情報とを含む警告画像を出力する画像生成工程と、
   前記画像生成工程で出力された前記警告画像を前記第２の画像と合成して前記表示部に表示する合成工程と、
   を有することを特徴とする画像表示装置の制御方法。

Images