JPWO2008044270A1 - 発光表示装置 - Google Patents

Abstract

発光ダイオードの発光パターンに応じて、画像の雰囲気をユーザが一目で認知可能にする。前記撮像手段１１により撮影した画像のうち、所定の画像パターンを含む注目領域を注目領域解析手段１２により抽出し、抽出した注目領域における各画像の数値にもとづいて色分布算出手段１３により色分布を算出させ、代表色選択手段に前記算出された色分布から代表色を選択させ、選択された代表色対応のパターンで発光ダイオード１６を点灯させる。

Description

本発明は、被写体の撮影時または撮影された被写体画像の閲覧時に、画像の特徴に応じた発光パターンで発光ダイオードを発光させる発光表示装置に関する。

今日、ＣＣＤなどの光に反応する半導体素子を使って撮像画像を電気信号に変換し、デジタルデータとしてフラッシュメモリに記憶させるデジタルカメラが広く実用されている。また、携帯電話機やＰＨＳ電話機などの移動体通信端末には、デジタルカメラ機能を備えたものが普及している。

一方、移動体通信端末には、着信などの各種機能の動作状況を、発光ダイオードの発光または点滅によって、ユーザに直感的に認識させる発光表示装置を持つものがある。このような発光表示装置では、３色のＲ（赤）、Ｇ（緑）、Ｂ（青）の発光ダイオードを基板上に適切に配置し、これら３色の発光色の混合比を選択することによって、着信機能を含む複数機能の動作状態を識別可能に、異なった発光色で表示することができるとしている（例えば、特許文献１参照）。

また、カメラ撮影時のフラッシュライトの使用警告や、アンテナ状況（受信感度）バッテリ残量、セルフタイマモードでの撮影（シャッタスイッチオン）までの残り時間などを、サブモニターに表示することによって、これをユーザや被写体に伝えるカメラ付き携帯電話装置なども提案されている（例えば、特許文献２参照）。
特開２００３‐１９５７９１号公報 特開２００３‐３３３３８２号公報

しかしながら、特許文献１および特許文献２に記載のデジタルカメラ機能を備えた移動体通信端末にあっては、発光ダイオードの発光や点滅によって着信があったことや、撮影時等におけるユーザによるカメラ操作上の注意等を喚起することができるものの、撮影時や閲覧時の画像の特徴や性質、つまり画像の雰囲気を、発光ダイオードの発光パターンによってユーザに伝えることができるというものではない。

例えば、花畑における赤色の花の画像を撮影対象の中心においた場合に、撮影手段であるカメラが撮影しようとする画像が赤色を中心とするものであることをユーザに認識させることができない。

本発明は、上記事情に鑑みてなされたものであり、撮影時の被写体の画像または撮影した被写体の画像の色分布に応じた発光パターンで複数の発光ダイオードを発光することにより、その発光ダイオードの発光パターンから、画像の特徴、雰囲気をユーザに一目で認知させることができる発光表示装置を提供することを目的とする。

前記目的達成のために、本発明にかかる発光表示装置は、被写体を撮影する撮影手段と、前記撮像手段により撮影した画像のうち、所定の画像パターンを含む注目領域を抽出する注目領域解析手段と、前記注目領域解析手段により抽出した注目領域における、各画素の色情報にもとづいて色分布を算出する色分布算出手段と、前記色分布算出手段により算出された色分布より代表色を選択する代表色選択手段と、前記代表色選択手段で選択された代表色で発光ダイオードを発光させる発光制御手段と、を備えることを特徴とする。

この構成により、被写体の撮影時やビューアでの画像閲覧時等に、注目領域解析手段が注目領域を自動的に抽出し、抽出された注目領域の画像の色分布から代表色を選別し、この代表色に対応する所定の発光パターンで発光ダイオードを発光表示させることで、前記注目領域を含む被写体画像上の雰囲気を撮影者に直感させることができる。

また、本発明にかかる発光表示装置は、前記発光ダイオードによる発光パターンを決定する発光パターン決定手段を備え、前記発光制御手段は、前記代表色選択手段により選択された代表色で、前記発光パターン決定手段により決定した発光パターンに基づくタイミングで、前記発光ダイオードを発光させることを特徴とする。

この構成により、代表色対応の発光時間、点滅等の発光パターンで、ユーザに画像の雰囲気を直感させることができる。

また、本発明にかかる発光表示装置は、前記発光パターン決定手段が、前記代表色選択手段で選択された代表色に応じて、前記発光パターンを決定することを特徴とする。

この構成により、代表色対応の発光パターンで発光ダイオードを発光させることができる。

また、本発明にかかる発光表示装置は、前記注目領域解析手段が、前記画像内に注目領域の候補となる領域が複数ある場合、いずれか一つの領域を注目領域として抽出することを特徴とする。

この構成により、注目領域の候補が複数ある場合に、一つの注目領域を特定し、この特定した注目領域の代表色により発光ダイオードの発光パターンを決定し、ユーザに画像の雰囲気を適切に認知させることができる。

また、本発明にかかる発光表示装置は、前記色分布算出手段が、前記注目領域解析手段により抽出した注目領域における各画素の色情報を表す数値と当該色情報ごとに設定された重み係数と、にもとづいて、色分布を算出することを特徴とする。

この構成により、色分布に重み付けをすることで、人間の色に対する注目度合いを加味でき、この結果、発光ダイオード１６の発光パターン制御によって、画像の特徴（雰囲気）をユーザに直感的に認識させることができる。

本発明によれば、被写体の撮影時や閲覧時等において、画像の色分布、各色領域の面積比等に応じて決定された代表色対応の発光パターンにて各色の発光ダイオードを発光させることができ、その発光ダイオードの発光パターンによって、例えば被写体が山や野原のように緑が多いという画像上の雰囲気を、ユーザに直感させることができるという効果が得られる。

本発明の実施形態による発光表示装置を示すブロック図 本発明における画像からの注目領域の抽出手順を示すフローチャート 本発明おける発光ダイオードの発光制御手順を示すフローチャート 本発明における画像の注目領域が持つ色分布状態を示す色分布図 本発明における他の画像の注目領域が持つ色分布状態を示す色分布図 本発明の実施形態による他の発光表示装置を示すブロック図 本発明のおける画像内に注目領域の候補となる領域が複数ある場合の抽出手順を示すフローチャート

符号の説明

１０ 発光表示装置
１１ 撮影手段
１２ 注目領域解析手段
１３ 色分布解析手段
１４ 発光パターン決定手段
１５ 発光制御手段
１６ 発光ダイオード

以下、本発明の実施形態を図面を参照しながら説明する。まず、本発明の発光表示装置の全体構成を説明する。
本発明の実施形態による発光表示装置は、画像の撮影時や閲覧時等に、画像の注目領域を抽出し、得られた注目領域の色分布情報から代表色を選択し、選択した代表色対応の予め決められた発光パターンで、発光ダイオードを発光させるように構成されている。

これにより、発光ダイオードの点灯状態を識別することで、画像上の雰囲気を撮影者に直感させることができる。
以下、本発明の実施形態を更に詳しく説明する。

（第１の実施形態）
図１は本発明の第１の実施形態による発光表示装置を示すブロック図である。この発光表示装置１０は、撮影手段１１と、注目領域解析手段１２と、色分布解析手段１３と、発光制御手段１５と、発光ダイオード（ＬＥＤ）１６とを、備えている。

これらのうち、撮影手段１１は、被写体を撮影した撮影画像を電気信号に変換してフラッシュメモリ等に記録する機能と、ユーザ操作により、フラッシュメモリ等から読み出した撮像画像をモニタ上で閲覧可能に表示する機能とを、少なくとも備える。この撮像手段１１は、他に絞り、シャッタ幕、ファインダなどを備えるが、これらは本発明の特徴部分ではないので、図示および説明を省略する。

注目領域解析手段１２は、撮影しようとする被写体の画像またはフラッシュメモリ等から読み出した画像中から、所定の画像パターンの領域を注目領域として抽出するように機能する。この所定の画像パターンの領域とは、一般に人の注目を集めると想定される画像内の領域であり、これを注目領域解析手段１２が自動的に抜き出す。

この人の注目を集める領域（注目領域）を決定するために、例えば図２に示す方法が用いられている。この方法では、撮影しようとする画像または閲覧時の画像を原画像として、これをマイクロプロセッサ等の処理装置（図示しない）に取り込み（ステップＳ１）、この処理装置に取り込んだ原画像をモザイクイメージに処理し（色の変化のない領域をぼかし、このぼかしが少ない部分を明瞭に浮き出させるという処理）（ステップＳ２）、続いて人間の注目を集める注目領域の抽出を行う（ステップＳ３）。

この注目領域の抽出では、（イ）画像のエッジ抽出方法と、（ロ）色彩判別による特徴抽出方法と、（ハ）マスク処理による画像中央部の特徴抽出方法と、を組み合わせて実施する。これらのうち、エッジ抽出方法では、画像を複数の解像度に変換し、解像度ごとのエッジ情報を用いることで、局所的な特徴と大局的な特徴の双方から画像の特徴抽出を行う。

一方、色彩判別による特徴抽出では、ある画像を構成するピクセルの色を表す数値（白黒であれば数値の大きいほど黒色であることを示す０〜２５５の数値。他にＲＧＢ値やＣＭＹＫ値などがある）が全ピクセルにおけるその数値の平均値よりも大きい（あるいは小さい）場合、そのピクセルを特徴箇所として扱って、これを抽出する。

また、マスク処理による画像中央部の特徴抽出方法では、マスク処理によって画像中央部を抽出する。一般に、画像の中央ほど注目度が高く、画像の端にいくほど注目度が低くなるという仮定にもとづくものである。

次に、マスク処理の大きさやモザイクイメージ解析結果に対する重み付け等を含む演算処理によって抽出した注目領域における画像の注目度を算出し（ステップＳ４）、最終的に、この算出した注目度が閾値以上となる画像全体を囲む矩形領域を抽出する（ステップＳ５）。

次に、色分布解析手段１３は、抽出した注目領域内の色分布を解析する。この色分布の解析では、複数色を広い領域を注目領域内に占める順に最も広い面積の一色または複数色を代表色として決定する。この色分布解析手段１３は、解析を行った色分布から代表色を選択する代表色選択機能（代表色選択手段）をも備える。

発光制御手段１５は、色分布解析手段１３で選択された代表色により発光ダイオード１６を発光させるように機能する。この発光ダイオード１６の代表色による発光によって、カメラやカメラ付き携帯電話機のユーザに、撮影時のまたは閲覧時の画像の雰囲気を、つまりどんな画像かを直感的に認識させるように伝えることができる。

なお、前記のように画像の雰囲気をユーザに伝えるために発光ダイオード１６を発光表示する場合としては、ビューアでのサムネイル画像閲覧時、撮影時にフォーカスが合ったとき、メールによって静止画や動画の着信があったとき、携帯電話の電話帳に登録された相手から電話着信があったとき、待ち受け画像の表示時，画像編集後の色が、ユーザが意識した色となっている場合などがある。

次に、この第１の実施形態の発光表示装置の動作を、図３に示すフローチャートを参照しながら説明する。

まず、被写体を、撮像装置１１を用いて撮影すると、この被写体の画像が電気信号に変換され、フラッシュメモリ等に記録される。一方、この記録画像は、ユーザ操作により、あるいは前記のようなメールの着信や電話の着信時等にフラッシュメモリから読み出されて閲覧可能である。

いま、被写体を撮影するために、モニタ全域に表示させた全画像領域の画像をＡとする。この画像Ａは、例えば図４（ａ）に示すように、青い空ａを背景とする緑の山ｂと、この山ｂを背景とする赤い花ｃとを撮影した画像である。

この全画像領域における空ａ、山ｂ、花ｃの色分布は、図４（ｂ）に示すように、上から青ｅ、緑ｆ、赤ｇとなる。一方、画像Ａが注目領域解析手段１２に入力されると、ここでは所定の画像パターンを含む注目領域Ｂが解析されて抽出される（ステップＳ１１）。この抽出された注目領域Ｂ内の画像は、色分布解析手段１３に入力されて、図４（ｃ）に示すように、各色が注目領域Ｂを占める割合に応じた順に上から赤ｇ、青ｅ、緑ｆとなり、その注目領域の画像における色分布情報の分類がなされる（ステップＳ１２）。

また、図５（ａ）は、青い空ａを背景とする緑の山ｂと、この山ｂを背景とする、図４（ａ）に示したものに比べて大きい花ｄの画像Ｃであり、図４（ａ）に対し、花ｄを表す画像領域が広い。このため、全画像領域の色分布は、図５（ｂ）に示すように、各色が全画像領域に占める割合に応じた順に上から、赤ｇ、青ｅ、緑ｆとなる。従って、図４（ｂ）に示すものとは、代表色が異ってしまい、上から赤ｇ、青ｅの順に代表色となる。

一方、画像Ｃを注目領域解析手段１２に入力すると、注目領域Ｄが抽出される（ステップＳ１１）。この抽出された注目領域Ｄ内の画像は、色分布解析手段１３に入力されて、図５（ｃ）に示すように、各色が占める割合に応じた順に上から赤ｇ、青ｅ、緑ｆの分布となる（ステップＳ１２）。従って、図４（ｃ）に示したものとは、代表色が一致し、この代表色が選択されることになる（ステップＳ１３）。注目領域において花ｄの画像が占める割合の違いが画像Ａ，Ｂ間で殆ど生じないため、注目領域Ｄの画像の色分布は、図５（ｃ）に示すようになり、結果的に図４（ｃ）に示すものと代表色が同じになる。

従って、異なる画像Ａ、Ｃであっても、異なる複数の画像Ａ、Ｃ中に共通の対象物が撮影されていれば、その対象物のみを注目領域Ｂ、Ｄとして検出し、注目領域Ｂ、Ｄの色分布を算出することで、その複数の画像Ａ、Ｃから共通の色分布を得ることができる。これにより色分布から得られた代表色にもとづき、後述の発光ダイオードによる発光色を決めることができる。

すなわち、この代表色の決定に続いて、注目領域が一つの場合には、代表色について予め設定された発光パターン決定される（ステップＳ１６）。そして、発光制御手段１５は、この生成された発光パターンに従って、発光ダイオード１６の発光制御をする（ステップＳ１７）。

例えば、発光ダイオード１６の発光パターンは、注目領域が一つの場合には、例えば注目領域気の代表色を５秒間発光させる。これに対し、注目領域が複数の場合には、各注目領域の代表色が面積に応じて発光される。具体的には、各注目領域の代表色が赤５０％、青３０％、緑２０％で構成されているとすると、赤を２・５秒，青を１．５秒間、緑を１．０秒間発光させればよい。

（第２の実施形態）
図６は、本発明の第２の実施形態による発光表示装置を示すブロック図である。この第２の実施形態には、第１の実施形態にない発光パターン決定手段１４が設けられている。この発光パターン決定手段１４は、発光ダイオード１６の発光パターンを決定するものであり、発光ダイオード１６は、代表色選択手段により選択された代表色を、決定した発光パターンで発光する。

そして、これらの発光ダイオード１６の発光パターンには、（イ）各発光ダイオード１６の発光時間を代表色の面積比に応じて変化させるパターン、またはその面積比に無関係に各発光ダイオードを発光させるパターン、（ロ）代表色等の面積比に応じた時間分各発光ダイオード１６を点灯または点滅させるパターン、（ハ）代表色等の面積比に応じて各発光ダイオード１６の発光強度（輝度）を変化させるパターン、（ニ）代表色等の面積比に応じた順序でまたは面積比に関係なくランダムな順序で各発光ダイオード１６を発光させるパターン、（ホ）代表色等の面積比に応じた数の発光ダイオード１６を発光させるパターン、（ヘ）無関係に発生させる面積比に無関係、つまりランダムに発光させるパターンが用いられる。

発光制御手段１５は、選択したいずれかの発光パターンで発光ダイオード１６を発光させるように機能する。この発光ダイオード１６の発光パターンから、カメラやカメラ付き携帯電話機のユーザに、撮影時のまたは閲覧時の画像の雰囲気を、つまりどんな画像かを直感的に認識させるように伝えることができる。

発光パターンは前記のように発光時間等によって設定される。このため、ユーザは、その点灯または点滅の発光パターンを看取し、画像上の雰囲気を認識することができる。

（第３の実施形態）
次に、撮影時や閲覧時の画像内に注目領域の候補となる領域が複数ある場合について、図７のフローチャートを参照して説明する。この場合には、注目領域解析手段１２に優先度決定機能を持たせ、この優先度決定機能により、いずれの領域を注目領域として優先的に抽出するかの優先度（優先順位）を算出させる（ステップＳ１４）。このため、この優先度の最も高い注目領域の代表色対応の発光パターンを、発光パターン決定手段１４が生成し（ステップＳ１６）、この発光パターンで発光ダイオード１６を発光させる（ステップＳ１７）。なお、優先度（優先順位）の算出方法は、各注目領域の面積比に応じた順序で優先度を決定する。

なお、発光ダイオード１６の発光パターンは、注目領域が一つの場合には、例えば注目領域気の代表色を５秒間発光させる。これに対し、注目領域が複数の場合には、各注目領域の代表色が面積に応じて発光される。具体的には、各注目領域の代表色が赤５０％、青３０％、緑２０％で構成されているとすると、赤を２・５秒，青を１．５秒間、緑を１．０秒間発光させればよい。

（第４の実施形態）
色分布算出手段１３は、注目領域における各画素の色情報をこの色情報ごとに設定された重み係数にもとづいて色分布を決定し、この色分布から代表色を決定する機能を持つ。この重み係数は、色分布解析手段１３において、人が意図的に注目すると思われる色（ここでは、赤）に関して重み付けを行う。

色の重み付けがない場合には、分布の最も多い色を代表色として特定する。例えば、赤、緑、青がそれぞれ３０％、２０％、５０％であれば青を代表色として特定する。このとき、赤、緑、青の各数値は、画像の全画素数に対する各色の画素数によって算出される。仮に、全画素数を１００とすると、赤、緑、青それぞれの画素数は、３０個、２０個、５０個ということになる。

次に、色の重み付けがある場合を説明する。本発明で、重み付けを行う理由は、例えば赤、緑、青がそれぞれ３０％、２０％、５０％の画像を人が見たときに、必ずしも青が一番目立つ色として認識するとは限らず、赤を注目度が高い色と認識する可能性がある。

このような可能性があるとした場合には、例えば、赤の画素数に色の重み付け係数「２」を乗算して赤、緑、青のそれぞれの画素数を６０個、２０個、５０個とし、仮想的な全画素数１３０（６０＋２０＋５０）に対する６０個、２０個、５０個の割合から、それぞれ４６％、１５％、３８％となる分布図を生成し、赤を代表色として特定することができる。なお、ここでは赤に対してのみ色の重み付け係数「２」を適用したが、緑、青に対しても色の重み付け係数を適用することができる。このように、人の色に対する認識傾向（注目度合い）を考慮に入れることで、発光ダイオード１６の発光パターン制御によって、画像の特徴（雰囲気をユーザに直感的に認識させることができる。

以上のように、本発明の実施形態の発光表示装置によれば、被写体の撮影時や閲覧時等に、注目領域解析手段１２が注目領域を自動的に抽出し、抽出した注目領域の画像の色分布から代表色を選別し、この代表色に対応する所定の発光パターンで発光ダイオード１６を発光表示させることで、注目領域を含む被写体画像上の雰囲気を撮影者等に直感させることができる。

また、本発明の実施形態の発光表示装置によれば、注目領域の候補が複数ある場合に、一つの注目領域を特定し、この特定した注目領域の代表色により発光ダイオード１６の発光パターンを決定し、ユーザに画像の雰囲気を適切に認知させることができる。

また、本発明の実施形態の発光表示装置によれば、色分布に重み付けをすることで、人間の色に対する注目度合いを加味でき、この結果、発光ダイオード１６の発光パターン制御によって、画像の特徴（雰囲気）をユーザに直感的に認識させることができる。

本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。

本発明の発光表示装置によれば、撮影時の被写体の画像または撮影した被写体の画像の色分布に応じた発光パターンで複数の発光ダイオードを発光することにより、その発光ダイオードの発光パターンから、画像の雰囲気をユーザに一目で認知させることができるという効果を有し、被写体の撮影時または撮影された被写体画像の閲覧時に、画像の特徴に応じた発光パターンで発光ダイオードを発光させる発光表示装置等に広く利用することができる。

本発明は、被写体の撮影時または撮影された被写体画像の閲覧時に、画像の特徴に応じた発光パターンで発光ダイオードを発光させる発光表示装置に関する。

今日、ＣＣＤなどの光に反応する半導体素子を使って撮像画像を電気信号に変換し、デジタルデータとしてフラッシュメモリに記憶させるデジタルカメラが広く実用されている。また、携帯電話機やＰＨＳ電話機などの移動体通信端末には、デジタルカメラ機能を備えたものが普及している。

一方、移動体通信端末には、着信などの各種機能の動作状況を、発光ダイオードの発光または点滅によって、ユーザに直感的に認識させる発光表示装置を持つものがある。このような発光表示装置では、３色のＲ（赤）、Ｇ（緑）、Ｂ（青）の発光ダイオードを基板上に適切に配置し、これら３色の発光色の混合比を選択することによって、着信機能を含む複数機能の動作状態を識別可能に、異なった発光色で表示することができるとしている（例えば、特許文献１参照）。

また、カメラ撮影時のフラッシュライトの使用警告や、アンテナ状況（受信感度）バッテリ残量、セルフタイマモードでの撮影（シャッタスイッチオン）までの残り時間などを、サブモニターに表示することによって、これをユーザや被写体に伝えるカメラ付き携帯電話装置なども提案されている（例えば、特許文献２参照）。
特開２００３‐１９５７９１号公報 特開２００３‐３３３３８２号公報

しかしながら、特許文献１および特許文献２に記載のデジタルカメラ機能を備えた移動体通信端末にあっては、発光ダイオードの発光や点滅によって着信があったことや、撮影時等におけるユーザによるカメラ操作上の注意等を喚起することができるものの、撮影時や閲覧時の画像の特徴や性質、つまり画像の雰囲気を、発光ダイオードの発光パターンによってユーザに伝えることができるというものではない。

例えば、花畑における赤色の花の画像を撮影対象の中心においた場合に、撮影手段であるカメラが撮影しようとする画像が赤色を中心とするものであることをユーザに認識させることができない。

本発明は、上記事情に鑑みてなされたものであり、撮影時の被写体の画像または撮影した被写体の画像の色分布に応じた発光パターンで複数の発光ダイオードを発光することにより、その発光ダイオードの発光パターンから、画像の特徴、雰囲気をユーザに一目で認知させることができる発光表示装置を提供することを目的とする。

前記目的達成のために、本発明にかかる発光表示装置は、被写体を撮影する撮影手段と、前記撮像手段により撮影した画像のうち、所定の画像パターンを含む注目領域を抽出する注目領域解析手段と、前記注目領域解析手段により抽出した注目領域における、各画素の色情報にもとづいて色分布を算出する色分布算出手段と、前記色分布算出手段により算出された色分布より代表色を選択する代表色選択手段と、前記代表色選択手段で選択された代表色で発光ダイオードを発光させる発光制御手段と、を備えることを特徴とする。

この構成により、被写体の撮影時やビューアでの画像閲覧時等に、注目領域解析手段が注目領域を自動的に抽出し、抽出された注目領域の画像の色分布から代表色を選別し、この代表色に対応する所定の発光パターンで発光ダイオードを発光表示させることで、前記注目領域を含む被写体画像上の雰囲気を撮影者に直感させることができる。

また、本発明にかかる発光表示装置は、前記発光ダイオードによる発光パターンを決定する発光パターン決定手段を備え、前記発光制御手段は、前記代表色選択手段により選択された代表色で、前記発光パターン決定手段により決定した発光パターンに基づくタイミングで、前記発光ダイオードを発光させることを特徴とする。

この構成により、代表色対応の発光時間、点滅等の発光パターンで、ユーザに画像の雰囲気を直感させることができる。

また、本発明にかかる発光表示装置は、前記発光パターン決定手段が、前記代表色選択手段で選択された代表色に応じて、前記発光パターンを決定することを特徴とする。

この構成により、代表色対応の発光パターンで発光ダイオードを発光させることができる。

また、本発明にかかる発光表示装置は、前記注目領域解析手段が、前記画像内に注目領域の候補となる領域が複数ある場合、いずれか一つの領域を注目領域として抽出することを特徴とする。

この構成により、注目領域の候補が複数ある場合に、一つの注目領域を特定し、この特定した注目領域の代表色により発光ダイオードの発光パターンを決定し、ユーザに画像の雰囲気を適切に認知させることができる。

また、本発明にかかる発光表示装置は、前記色分布算出手段が、前記注目領域解析手段により抽出した注目領域における各画素の色情報を表す数値と当該色情報ごとに設定された重み係数と、にもとづいて、色分布を算出することを特徴とする。

この構成により、色分布に重み付けをすることで、人間の色に対する注目度合いを加味でき、この結果、発光ダイオード１６の発光パターン制御によって、画像の特徴（雰囲気）をユーザに直感的に認識させることができる。

本発明によれば、被写体の撮影時や閲覧時等において、画像の色分布、各色領域の面積比等に応じて決定された代表色対応の発光パターンにて各色の発光ダイオードを発光させることができ、その発光ダイオードの発光パターンによって、例えば被写体が山や野原のように緑が多いという画像上の雰囲気を、ユーザに直感させることができるという効果が得られる。

以下、本発明の実施形態を図面を参照しながら説明する。まず、本発明の発光表示装置の全体構成を説明する。
本発明の実施形態による発光表示装置は、画像の撮影時や閲覧時等に、画像の注目領域を抽出し、得られた注目領域の色分布情報から代表色を選択し、選択した代表色対応の予め決められた発光パターンで、発光ダイオードを発光させるように構成されている。

これにより、発光ダイオードの点灯状態を識別することで、画像上の雰囲気を撮影者に直感させることができる。
以下、本発明の実施形態を更に詳しく説明する。

（第１の実施形態）
図１は本発明の第１の実施形態による発光表示装置を示すブロック図である。この発光表示装置１０は、撮影手段１１と、注目領域解析手段１２と、色分布解析手段１３と、発光制御手段１５と、発光ダイオード（ＬＥＤ）１６とを、備えている。

これらのうち、撮影手段１１は、被写体を撮影した撮影画像を電気信号に変換してフラッシュメモリ等に記録する機能と、ユーザ操作により、フラッシュメモリ等から読み出した撮像画像をモニタ上で閲覧可能に表示する機能とを、少なくとも備える。この撮像手段１１は、他に絞り、シャッタ幕、ファインダなどを備えるが、これらは本発明の特徴部分ではないので、図示および説明を省略する。

注目領域解析手段１２は、撮影しようとする被写体の画像またはフラッシュメモリ等から読み出した画像中から、所定の画像パターンの領域を注目領域として抽出するように機能する。この所定の画像パターンの領域とは、一般に人の注目を集めると想定される画像内の領域であり、これを注目領域解析手段１２が自動的に抜き出す。

この人の注目を集める領域（注目領域）を決定するために、例えば図２に示す方法が用いられている。この方法では、撮影しようとする画像または閲覧時の画像を原画像として、これをマイクロプロセッサ等の処理装置（図示しない）に取り込み（ステップＳ１）、この処理装置に取り込んだ原画像をモザイクイメージに処理し（色の変化のない領域をぼかし、このぼかしが少ない部分を明瞭に浮き出させるという処理）（ステップＳ２）、続いて人間の注目を集める注目領域の抽出を行う（ステップＳ３）。

この注目領域の抽出では、（イ）画像のエッジ抽出方法と、（ロ）色彩判別による特徴抽出方法と、（ハ）マスク処理による画像中央部の特徴抽出方法と、を組み合わせて実施する。これらのうち、エッジ抽出方法では、画像を複数の解像度に変換し、解像度ごとのエッジ情報を用いることで、局所的な特徴と大局的な特徴の双方から画像の特徴抽出を行う。

一方、色彩判別による特徴抽出では、ある画像を構成するピクセルの色を表す数値（白黒であれば数値の大きいほど黒色であることを示す０〜２５５の数値。他にＲＧＢ値やＣＭＹＫ値などがある）が全ピクセルにおけるその数値の平均値よりも大きい（あるいは小さい）場合、そのピクセルを特徴箇所として扱って、これを抽出する。

また、マスク処理による画像中央部の特徴抽出方法では、マスク処理によって画像中央部を抽出する。一般に、画像の中央ほど注目度が高く、画像の端にいくほど注目度が低くなるという仮定にもとづくものである。

次に、マスク処理の大きさやモザイクイメージ解析結果に対する重み付け等を含む演算処理によって抽出した注目領域における画像の注目度を算出し（ステップＳ４）、最終的に、この算出した注目度が閾値以上となる画像全体を囲む矩形領域を抽出する（ステップＳ５）。

次に、色分布解析手段１３は、抽出した注目領域内の色分布を解析する。この色分布の解析では、複数色を広い領域を注目領域内に占める順に最も広い面積の一色または複数色を代表色として決定する。この色分布解析手段１３は、解析を行った色分布から代表色を選択する代表色選択機能（代表色選択手段）をも備える。

発光制御手段１５は、色分布解析手段１３で選択された代表色により発光ダイオード１６を発光させるように機能する。この発光ダイオード１６の代表色による発光によって、カメラやカメラ付き携帯電話機のユーザに、撮影時のまたは閲覧時の画像の雰囲気を、つまりどんな画像かを直感的に認識させるように伝えることができる。

なお、前記のように画像の雰囲気をユーザに伝えるために発光ダイオード１６を発光表示する場合としては、ビューアでのサムネイル画像閲覧時、撮影時にフォーカスが合ったとき、メールによって静止画や動画の着信があったとき、携帯電話の電話帳に登録された相手から電話着信があったとき、待ち受け画像の表示時，画像編集後の色が、ユーザが意識した色となっている場合などがある。

次に、この第１の実施形態の発光表示装置の動作を、図３に示すフローチャートを参照しながら説明する。

まず、被写体を、撮像装置１１を用いて撮影すると、この被写体の画像が電気信号に変換され、フラッシュメモリ等に記録される。一方、この記録画像は、ユーザ操作により、あるいは前記のようなメールの着信や電話の着信時等にフラッシュメモリから読み出されて閲覧可能である。

いま、被写体を撮影するために、モニタ全域に表示させた全画像領域の画像をＡとする。この画像Ａは、例えば図４（ａ）に示すように、青い空ａを背景とする緑の山ｂと、この山ｂを背景とする赤い花ｃとを撮影した画像である。

この全画像領域における空ａ、山ｂ、花ｃの色分布は、図４（ｂ）に示すように、上から青ｅ、緑ｆ、赤ｇとなる。一方、画像Ａが注目領域解析手段１２に入力されると、ここでは所定の画像パターンを含む注目領域Ｂが解析されて抽出される（ステップＳ１１）。この抽出された注目領域Ｂ内の画像は、色分布解析手段１３に入力されて、図４（ｃ）に示すように、各色が注目領域Ｂを占める割合に応じた順に上から赤ｇ、青ｅ、緑ｆとなり、その注目領域の画像における色分布情報の分類がなされる（ステップＳ１２）。

また、図５（ａ）は、青い空ａを背景とする緑の山ｂと、この山ｂを背景とする、図４（ａ）に示したものに比べて大きい花ｄの画像Ｃであり、図４（ａ）に対し、花ｄを表す画像領域が広い。このため、全画像領域の色分布は、図５（ｂ）に示すように、各色が全画像領域に占める割合に応じた順に上から、赤ｇ、青ｅ、緑ｆとなる。従って、図４（ｂ）に示すものとは、代表色が異ってしまい、上から赤ｇ、青ｅの順に代表色となる。

一方、画像Ｃを注目領域解析手段１２に入力すると、注目領域Ｄが抽出される（ステップＳ１１）。この抽出された注目領域Ｄ内の画像は、色分布解析手段１３に入力されて、図５（ｃ）に示すように、各色が占める割合に応じた順に上から赤ｇ、青ｅ、緑ｆの分布となる（ステップＳ１２）。従って、図４（ｃ）に示したものとは、代表色が一致し、この代表色が選択されることになる（ステップＳ１３）。注目領域において花ｄの画像が占める割合の違いが画像Ａ，Ｂ間で殆ど生じないため、注目領域Ｄの画像の色分布は、図５（ｃ）に示すようになり、結果的に図４（ｃ）に示すものと代表色が同じになる。

従って、異なる画像Ａ、Ｃであっても、異なる複数の画像Ａ、Ｃ中に共通の対象物が撮影されていれば、その対象物のみを注目領域Ｂ、Ｄとして検出し、注目領域Ｂ、Ｄの色分布を算出することで、その複数の画像Ａ、Ｃから共通の色分布を得ることができる。これにより色分布から得られた代表色にもとづき、後述の発光ダイオードによる発光色を決めることができる。

すなわち、この代表色の決定に続いて、注目領域が一つの場合には、代表色について予め設定された発光パターン決定される（ステップＳ１６）。そして、発光制御手段１５は、この生成された発光パターンに従って、発光ダイオード１６の発光制御をする（ステップＳ１７）。

例えば、発光ダイオード１６の発光パターンは、注目領域が一つの場合には、例えば注目領域気の代表色を５秒間発光させる。これに対し、注目領域が複数の場合には、各注目領域の代表色が面積に応じて発光される。具体的には、各注目領域の代表色が赤５０％、青３０％、緑２０％で構成されているとすると、赤を２・５秒，青を１．５秒間、緑を１．０秒間発光させればよい。

（第２の実施形態）
図６は、本発明の第２の実施形態による発光表示装置を示すブロック図である。この第２の実施形態には、第１の実施形態にない発光パターン決定手段１４が設けられている。この発光パターン決定手段１４は、発光ダイオード１６の発光パターンを決定するものであり、発光ダイオード１６は、代表色選択手段により選択された代表色を、決定した発光パターンで発光する。

そして、これらの発光ダイオード１６の発光パターンには、（イ）各発光ダイオード１６の発光時間を代表色の面積比に応じて変化させるパターン、またはその面積比に無関係に各発光ダイオードを発光させるパターン、（ロ）代表色等の面積比に応じた時間分各発光ダイオード１６を点灯または点滅させるパターン、（ハ）代表色等の面積比に応じて各発光ダイオード１６の発光強度（輝度）を変化させるパターン、（ニ）代表色等の面積比に応じた順序でまたは面積比に関係なくランダムな順序で各発光ダイオード１６を発光させるパターン、（ホ）代表色等の面積比に応じた数の発光ダイオード１６を発光させるパターン、（ヘ）無関係に発生させる面積比に無関係、つまりランダムに発光させるパターンが用いられる。

発光制御手段１５は、選択したいずれかの発光パターンで発光ダイオード１６を発光させるように機能する。この発光ダイオード１６の発光パターンから、カメラやカメラ付き携帯電話機のユーザに、撮影時のまたは閲覧時の画像の雰囲気を、つまりどんな画像かを直感的に認識させるように伝えることができる。

発光パターンは前記のように発光時間等によって設定される。このため、ユーザは、その点灯または点滅の発光パターンを看取し、画像上の雰囲気を認識することができる。

（第３の実施形態）
次に、撮影時や閲覧時の画像内に注目領域の候補となる領域が複数ある場合について、図７のフローチャートを参照して説明する。この場合には、注目領域解析手段１２に優先度決定機能を持たせ、この優先度決定機能により、いずれの領域を注目領域として優先的に抽出するかの優先度（優先順位）を算出させる（ステップＳ１４）。このため、この優先度の最も高い注目領域の代表色対応の発光パターンを、発光パターン決定手段１４が生成し（ステップＳ１６）、この発光パターンで発光ダイオード１６を発光させる（ステップＳ１７）。なお、優先度（優先順位）の算出方法は、各注目領域の面積比に応じた順序で優先度を決定する。

なお、発光ダイオード１６の発光パターンは、注目領域が一つの場合には、例えば注目領域気の代表色を５秒間発光させる。これに対し、注目領域が複数の場合には、各注目領域の代表色が面積に応じて発光される。具体的には、各注目領域の代表色が赤５０％、青３０％、緑２０％で構成されているとすると、赤を２・５秒，青を１．５秒間、緑を１．０秒間発光させればよい。

（第４の実施形態）
色分布算出手段１３は、注目領域における各画素の色情報をこの色情報ごとに設定された重み係数にもとづいて色分布を決定し、この色分布から代表色を決定する機能を持つ。この重み係数は、色分布解析手段１３において、人が意図的に注目すると思われる色（ここでは、赤）に関して重み付けを行う。

色の重み付けがない場合には、分布の最も多い色を代表色として特定する。例えば、赤、緑、青がそれぞれ３０％、２０％、５０％であれば青を代表色として特定する。このとき、赤、緑、青の各数値は、画像の全画素数に対する各色の画素数によって算出される。仮に、全画素数を１００とすると、赤、緑、青それぞれの画素数は、３０個、２０個、５０個ということになる。

次に、色の重み付けがある場合を説明する。本発明で、重み付けを行う理由は、例えば赤、緑、青がそれぞれ３０％、２０％、５０％の画像を人が見たときに、必ずしも青が一番目立つ色として認識するとは限らず、赤を注目度が高い色と認識する可能性がある。

このような可能性があるとした場合には、例えば、赤の画素数に色の重み付け係数「２」を乗算して赤、緑、青のそれぞれの画素数を６０個、２０個、５０個とし、仮想的な全画素数１３０（６０＋２０＋５０）に対する６０個、２０個、５０個の割合から、それぞれ４６％、１５％、３８％となる分布図を生成し、赤を代表色として特定することができる。なお、ここでは赤に対してのみ色の重み付け係数「２」を適用したが、緑、青に対しても色の重み付け係数を適用することができる。このように、人の色に対する認識傾向（注目度合い）を考慮に入れることで、発光ダイオード１６の発光パターン制御によって、画像の特徴（雰囲気をユーザに直感的に認識させることができる。

以上のように、本発明の実施形態の発光表示装置によれば、被写体の撮影時や閲覧時等に、注目領域解析手段１２が注目領域を自動的に抽出し、抽出した注目領域の画像の色分布から代表色を選別し、この代表色に対応する所定の発光パターンで発光ダイオード１６を発光表示させることで、注目領域を含む被写体画像上の雰囲気を撮影者等に直感させることができる。

また、本発明の実施形態の発光表示装置によれば、注目領域の候補が複数ある場合に、一つの注目領域を特定し、この特定した注目領域の代表色により発光ダイオード１６の発光パターンを決定し、ユーザに画像の雰囲気を適切に認知させることができる。

また、本発明の実施形態の発光表示装置によれば、色分布に重み付けをすることで、人間の色に対する注目度合いを加味でき、この結果、発光ダイオード１６の発光パターン制御によって、画像の特徴（雰囲気）をユーザに直感的に認識させることができる。

本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。

本発明の発光表示装置によれば、撮影時の被写体の画像または撮影した被写体の画像の色分布に応じた発光パターンで複数の発光ダイオードを発光することにより、その発光ダイオードの発光パターンから、画像の雰囲気をユーザに一目で認知させることができるという効果を有し、被写体の撮影時または撮影された被写体画像の閲覧時に、画像の特徴に応じた発光パターンで発光ダイオードを発光させる発光表示装置等に広く利用することができる。

本発明の実施形態による発光表示装置を示すブロック図 本発明における画像からの注目領域の抽出手順を示すフローチャート 本発明おける発光ダイオードの発光制御手順を示すフローチャート 本発明における画像の注目領域が持つ色分布状態を示す色分布図 本発明における他の画像の注目領域が持つ色分布状態を示す色分布図 本発明の実施形態による他の発光表示装置を示すブロック図 本発明のおける画像内に注目領域の候補となる領域が複数ある場合の抽出手順を示すフローチャート

符号の説明

１０ 発光表示装置
１１ 撮影手段
１２ 注目領域解析手段
１３ 色分布解析手段
１４ 発光パターン決定手段
１５ 発光制御手段
１６ 発光ダイオード

Claims (5)

1. 被写体を撮影する撮影手段と、
   前記撮像手段により撮影した画像のうち、所定の画像パターンを含む注目領域を抽出する注目領域解析手段と、
   前記注目領域解析手段により抽出した注目領域における、各画素の色情報にもとづいて色分布を算出する色分布算出手段と、
   前記色分布算出手段により算出された色分布より代表色を選択する代表色選択手段と、
   前記代表色選択手段で選択された代表色で発光ダイオード発光させる発光制御手段と、
   を備えることを特徴とする発光表示装置。
2. 前記発光ダイオードによる発光パターンを決定する発光パターン決定手段を備え、
   前記発光制御手段は、前記代表色選択手段により選択された代表色で、前記発光パターン決定手段により決定した発光パターンに基づくタイミングで、前記発光ダイオードを発光させることを特徴とする請求項１に記載の発行表示装置。
3. 前記発光パターン決定手段は、前記代表色選択手段で選択された代表色に応じて、前記発光パターンを決定することを特徴とする請求項２に記載の発光表示装置。
4. 前記注目領域解析手段は、前記画像内に注目領域の候補となる領域が複数ある場合、いずれか一つの領域を注目領域として抽出することを特徴とする請求項１に記載の発光表示装置。
5. 前記色分布算出手段は、前記注目領域解析手段により抽出した注目領域における各画素の色情報を表す数値と、当該色情報ごとに設定された重み係数と、にもとづいて、色分布を算出することを特徴とする請求項１に記載の発光表示装置。

Images