WO2008044270A1

WO2008044270A1 - Dispositif d'affichage électroluminescent

Info

Publication number: WO2008044270A1
Application number: PCT/JP2006/319996
Authority: WO
Inventors: Makoto Matsuyama; Hideaki Matsuo; Akihiro Kawabata
Original assignee: Panasonic Corporation
Priority date: 2006-10-05
Filing date: 2006-10-05
Publication date: 2008-04-17
Also published as: US20090225213A1; JPWO2008044270A1; EP2046064A1; EP2046064A4

Description

明細書

発光表示装置

技術分野

[0001] 本発明は、被写体の撮影時または撮影された被写体画像の閲覧時に、画像の特徴に応じた発光パターンで発光ダイオードを発光させる発光表示装置に関する。背景技術

[0002] 今日、 CCDなどの光に反応する半導体素子を使って撮像画像を電気信号に変換し、デジタルデータとしてフラッシュメモリに記憶させるデジタルカメラが広く実用されている。また、携帯電話機や PHS電話機などの移動体通信端末には、デジタルカメラ機能を備えたものが普及して、る。

[0003] 一方、移動体通信端末には、着信などの各種機能の動作状況を、発光ダイオードの発光または点滅によって、ユーザに直感的に認識させる発光表示装置を持つものがある。このような発光表示装置では、 3色の R (赤）、 G (緑)、 B (青）の発光ダイォードを基板上に適切に配置し、これら 3色の発光色の混合比を選択することによって、着信機能を含む複数機能の動作状態を識別可能に、異なった発光色で表示することができるとしている（例えば、特許文献 1参照)。

[0004] また、カメラ撮影時のフラッシュライトの使用警告や、アンテナ状況 (受信感度)バッテリ残量、セルフタイマモードでの撮影（シャツタスイッチオン)までの残り時間などを、サブモニターに表示することによって、これをユーザや被写体に伝えるカメラ付き携帯電話装置なども提案されている (例えば、特許文献 2参照)。

特許文献 1 :特開 2003- 195791号公報

特許文献 2 :特開 2003-333382号公報

発明の開示

発明が解決しょうとする課題

[0005] し力しながら、特許文献 1および特許文献 2に記載のデジタルカメラ機能を備えた移動体通信端末にあっては、発光ダイオードの発光や点滅によって着信があったことや、撮影時等におけるユーザによるカメラ操作上の注意等を喚起することができるものの、撮影時や閲覧時の画像の特徴や性質、つまり画像の雰囲気を、発光ダイォードの発光パターンによってユーザに伝えることができるというものではない。

[0006] 例えば、花畑における赤色の花の画像を撮影対象の中心にぉヽた場合に、撮影手段であるカメラが撮影しょうとする画像が赤色を中心とするものであることをユーザに認識させることができな、。

[0007] 本発明は、上記事情に鑑みてなされたものであり、撮影時の被写体の画像または撮影した被写体の画像の色分布に応じた発光パターンで複数の発光ダイオードを発光することにより、その発光ダイオードの発光パターンから、画像の特徴、雰囲気をュ一ザに一目で認知させることができる発光表示装置を提供することを目的とする。課題を解決するための手段

[0008] 前記目的達成のために、本発明にかかる発光表示装置は、被写体を撮影する撮影手段と、前記撮像手段により撮影した画像のうち、所定の画像パターンを含む注目領域を抽出する注目領域解析手段と、前記注目領域解析手段により抽出した注目領域における、各画素の色情報にもとづいて色分布を算出する色分布算出手段と

、前記色分布算出手段により算出された色分布より代表色を選択する代表色選択手段と、前記代表色選択手段で選択された代表色で発光ダイオードを発光させる発光制御手段と、を備えることを特徴とする。

[0009] この構成により、被写体の撮影時やビューァでの画像閲覧時等に、注目領域解析手段が注目領域を自動的に抽出し、抽出された注目領域の画像の色分布力代表色を選別し、この代表色に対応する所定の発光パターンで発光ダイオードを発光表示させることで、前記注目領域を含む被写体画像上の雰囲気を撮影者に直感させることができる。

[0010] また、本発明にかかる発光表示装置は、前記発光ダイオードによる発光パターンを決定する発光パターン決定手段を備え、前記発光制御手段は、前記代表色選択手段により選択された代表色で、前記発光パターン決定手段により決定した発光バターンに基づくタイミングで、前記発光ダイオードを発光させることを特徴とする。

[0011] この構成により、代表色対応の発光時間、点滅等の発光パターンで、ユーザに画像の雰囲気を直感させることができる。 [0012] また、本発明にかかる発光表示装置は、前記発光パターン決定手段が、前記代表色選択手段で選択された代表色に応じて、前記発光パターンを決定することを特徴とする。

[0013] この構成により、代表色対応の発光パターンで発光ダイオードを発光させることができる。

[0014] また、本発明にかかる発光表示装置は、前記注目領域解析手段が、前記画像内に注目領域の候補となる領域が複数ある場合、 V、ずれか一つの領域を注目領域として抽出することを特徴とする。

[0015] この構成により、注目領域の候補が複数ある場合に、一つの注目領域を特定し、この特定した注目領域の代表色により発光ダイオードの発光パターンを決定し、ユーザに画像の雰囲気を適切に認知させることができる。

[0016] また、本発明にかかる発光表示装置は、前記色分布算出手段が、前記注目領域解析手段により抽出した注目領域における各画素の色情報を表す数値と当該色情報ごとに設定された重み係数と、にもとづいて、色分布を算出することを特徴とする。

[0017] この構成により、色分布に重み付けをすることで、人間の色に対する注目度合いをカロ味でき、この結果、発光ダイオード 16の発光パターン制御によって、画像の特徴（雰囲気)をユーザに直感的に認識させることができる。

発明の効果

[0018] 本発明によれば、被写体の撮影時や閲覧時等において、画像の色分布、各色領域の面積比等に応じて決定された代表色対応の発光パターンにて各色の発光ダイオードを発光させることができ、その発光ダイオードの発光パターンによって、例えば被写体が山や野原のように緑が多、と、う画像上の雰囲気を、ユーザに直感させることができるという効果が得られる。

図面の簡単な説明

[0019] [図 1]本発明の実施形態による発光表示装置を示すブロック図

[図 2]本発明における画像からの注目領域の抽出手順を示すフローチャート

[図 3]本発明おける発光ダイオードの発光制御手順を示すフローチャート

[図 4]本発明における画像の注目領域が持つ色分布状態を示す色分布図 [図 5]本発明における他の画像の注目領域が持つ色分布状態を示す色分布図 [図 6]本発明の実施形態による他の発光表示装置を示すブロック図

[図 7]本発明のおける画像内に注目領域の候補となる領域が複数ある場合の抽出手順を示すフローチャート

符号の説明

[0020] 10 発光表示装置

11 撮影手段

12 注目領域解析手段

13 色分布解析手段

14 発光パターン決定手段

15 発光制御手段

16 発光ダイオード

発明を実施するための最良の形態

[0021] 以下、本発明の実施形態を図面を参照しながら説明する。まず、本発明の発光表示装置の全体構成を説明する。

本発明の実施形態による発光表示装置は、画像の撮影時や閲覧時等に、画像の注目領域を抽出し、得られた注目領域の色分布情報から代表色を選択し、選択した代表色対応の予め決められた発光パターンで、発光ダイオードを発光させるように構成されている。

[0022] これにより、発光ダイオードの点灯状態を識別することで、画像上の雰囲気を撮影者〖こ直感させることができる。

以下、本発明の実施形態を更に詳しく説明する。

[0023] (第 1の実施形態）

図 1は本発明の第 1の実施形態による発光表示装置を示すブロック図である。この発光表示装置 10は、撮影手段 11と、注目領域解析手段 12と、色分布解析手段 13 と、発光制御手段 15と、発光ダイオード (LED) 16とを、備えている。

[0024] これらのうち、撮影手段 11は、被写体を撮影した撮影画像を電気信号に変換してフラッシュメモリ等に記録する機能と、ユーザ操作により、フラッシュメモリ等力読み出した撮像画像をモニタ上で閲覧可能に表示する機能とを、少なくとも備える。この撮像手段 11は、他に絞り、シャツタ幕、ファインダなどを備えるが、これらは本発明の特徴部分ではないので、図示および説明を省略する。

[0025] 注目領域解析手段 12は、撮影しょうとする被写体の画像またはフラッシュメモリ等から読み出した画像中から、所定の画像パターンの領域を注目領域として抽出するように機能する。この所定の画像パターンの領域とは、一般に人の注目を集めると想定される画像内の領域であり、これを注目領域解析手段 12が自動的に抜き出す。

[0026] この人の注目を集める領域 (注目領域)を決定するために、例えば図 2に示す方法が用いられている。この方法では、撮影しょうとする画像または閲覧時の画像を原画像として、これをマイクロプロセッサ等の処理装置（図示しない）に取り込み (ステップ S1)、この処理装置に取り込んだ原画像をモザイクイメージに処理し (色の変化のない領域をぼかし、このぼ力しが少ない部分を明瞭に浮き出させるという処理）（ステツプ S2)、続、て人間の注目 ^^める注目領域の抽出を行う（ステップ S3)。

[0027] この注目領域の抽出では、（ィ)画像のエッジ抽出方法と、（口）色彩判別による特徴抽出方法と、（ハ）マスク処理による画像中央部の特徴抽出方法と、を組み合わせて実施する。これらのうち、エッジ抽出方法では、画像を複数の解像度に変換し、解像度ごとのエッジ情報を用いることで、局所的な特徴と大局的な特徴の双方から画像の特徴抽出を行う。

[0028] 一方、色彩判別による特徴抽出では、ある画像を構成するピクセルの色を表す数値（白黒であれば数値の大きいほど黒色であることを示す 0〜255の数値。他に RG B値や CMYK値などがある）が全ピクセルにおけるその数値の平均値よりも大きい（あるいは小さい）場合、そのピクセルを特徴箇所として扱って、これを抽出する。

[0029] また、マスク処理による画像中央部の特徴抽出方法では、マスク処理によって画像中央部を抽出する。一般に、画像の中央ほど注目度が高ぐ画像の端にいくほど注目度が低くなるという仮定にもとづくものである。

[0030] 次に、マスク処理の大きさやモザイクイメージ解析結果に対する重み付け等を含む演算処理によって抽出した注目領域における画像の注目度を算出し (ステップ S4)、最終的に、この算出した注目度が閾値以上となる画像全体を囲む矩形領域を抽出する（ステップ S 5)。

[0031] 次に、色分布解析手段 13は、抽出した注目領域内の色分布を解析する。この色分布の解析では、複数色を広、領域を注目領域内に占める順に最も広、面積の一色または複数色を代表色として決定する。この色分布解析手段 13は、解析を行った色分布から代表色を選択する代表色選択機能 (代表色選択手段)をも備える。

[0032] 発光制御手段 15は、色分布解析手段 13で選択された代表色により発光ダイォード 16を発光させるように機能する。この発光ダイオード 16の代表色による発光によつて、カメラやカメラ付き携帯電話機のユーザに、撮影時のまたは閲覧時の画像の雰囲気を、つまりどんな画像かを直感的に認識させるように伝えることができる。

[0033] なお、前記のように画像の雰囲気をユーザに伝えるために発光ダイオード 16を発光表示する場合としては、ビューァでのサムネイル画像閲覧時、撮影時にフォーカスが合ったとき、メールによって静止画や動画の着信があつたとき、携帯電話の電話帳に登録された相手から電話着信があつたとき、待ち受け画像の表示時，画像編集後の色が、ユーザが意識した色となって、る場合などがある。

[0034] 次に、この第 1の実施形態の発光表示装置の動作を、図 3に示すフローチャートを参照しながら説明する。

[0035] まず、被写体を、撮像装置 11を用いて撮影すると、この被写体の画像が電気信号に変換され、フラッシュメモリ等に記録される。一方、この記録画像は、ユーザ操作により、あるいは前記のようなメールの着信や電話の着信時等にフラッシュメモリから読み出されて閲覧可能である。

[0036] Vヽま、被写体を撮影するために、モニタ全域に表示させた全画像領域の画像を Aとする。この画像 Aは、例えば図 4 (a)に示すように、青い空 aを背景とする緑の山 bと、この山 bを背景とする赤、花 cとを撮影した画像である。

[0037] この全画像領域における空 a、山 b、花 cの色分布は、図 4 (b)に示すように、上から青 e、緑 f、赤 gとなる。一方、画像 Aが注目領域解析手段 12に入力されると、ここでは所定の画像パターンを含む注目領域 Bが解析されて抽出される (ステップ Sl l)。この抽出された注目領域 B内の画像は、色分布解析手段 13に入力されて、図 4 (c)に示すように、各色が注目領域 Bを占める割合に応じた順に上力赤 g、青 e、緑 fとなり、その注目領域の画像における色分布情報の分類がなされる (ステップ S 12)。

[0038] また、図 5 (a)は、青い空 aを背景とする緑の山 bと、この山 bを背景とする、図 4 (a)に示したものに比べて大きい花 dの画像 Cであり、図 4 (a)に対し、花 dを表す画像領域が広い。このため、全画像領域の色分布は、図 5 (b)に示すように、各色が全画像領域に占める割合に応じた順に上から、赤 g、青 e、緑 fとなる。従って、図 4 (b)に示すものとは、代表色が異つてしまい、上から赤 g、青 eの順に代表色となる。

[0039] 一方、画像 Cを注目領域解析手段 12に入力すると、注目領域 Dが抽出される (ステップ Sl l)。この抽出された注目領域 D内の画像は、色分布解析手段 13に入力されて、図 5 (c)に示すように、各色が占める割合に応じた順に上力赤 g、青 e、緑 fの分布となる (ステップ S 12)。従って、図 4 (c)に示したものとは、代表色が一致し、この代表色が選択されることになる (ステップ S13)。注目領域において花 dの画像が占める割合の違いが画像 A, B間で殆ど生じないため、注目領域 Dの画像の色分布は、図 5 (c)に示すようになり、結果的に図 4 (c)に示すものと代表色が同じになる。

[0040] 従って、異なる画像 A、 Cであっても、異なる複数の画像 A、 C中に共通の対象物が撮影されていれば、その対象物のみを注目領域 B、 Dとして検出し、注目領域 B、 D の色分布を算出することで、その複数の画像 A、 Cから共通の色分布を得ることができる。これにより色分布力も得られた代表色にもとづき、後述の発光ダイオードによる発光色を決めることができる。

[0041] すなわち、この代表色の決定に続いて、注目領域が一つの場合には、代表色について予め設定された発光パターン決定される (ステップ S16)。そして、発光制御手段 15は、この生成された発光パターンに従って、発光ダイオード 16の発光制御をする（ステップ S 17)。

[0042] 例えば、発光ダイオード 16の発光パターンは、注目領域が一つの場合には、例えば注目領域気の代表色を 5秒間発光させる。これに対し、注目領域が複数の場合には、各注目領域の代表色が面積に応じて発光される。具体的には、各注目領域の代表色が赤 50%、青 30%、緑 20%で構成されているとすると、赤を 2· 5秒，青を 1. 5 秒間、緑を 1. 0秒間発光させればよい。

[0043] (第 2の実施形態）図 6は、本発明の第 2の実施形態による発光表示装置を示すブロック図である。この第 2の実施形態には、第 1の実施形態にない発光パターン決定手段 14が設けられている。この発光パターン決定手段 14は、発光ダイオード 16の発光パターンを決定するものであり、発光ダイオード 16は、代表色選択手段により選択された代表色を、決定した発光パターンで発光する。

[0044] そして、これらの発光ダイオード 16の発光パターンには、（ィ）各発光ダイオード 16 の発光時間を代表色の面積比に応じて変化させるパターン、またはその面積比に無関係に各発光ダイオードを発光させるパターン、（口）代表色等の面積比に応じた時間分各発光ダイオード 16を点灯または点滅させるパターン、（ハ)代表色等の面積比に応じて各発光ダイオード 16の発光強度 (輝度)を変化させるパターン、（二)代表色等の面積比に応じた順序でまたは面積比に関係なくランダムな順序で各発光ダイォード 16を発光させるパターン、（ホ）代表色等の面積比に応じた数の発光ダイオード 16を発光させるパターン、（へ)無関係に発生させる面積比に無関係、つまりランダムに発光させるパターンが用いられる。

[0045] 発光制御手段 15は、選択したいずれかの発光パターンで発光ダイオード 16を発光させるように機能する。この発光ダイオード 16の発光パターンから、カメラやカメラ付き携帯電話機のユーザに、撮影時のまたは閲覧時の画像の雰囲気を、つまりどんな画像かを直感的に認識させるように伝えることができる。

[0046] 発光パターンは前記のように発光時間等によって設定される。このため、ユーザは、その点灯または点滅の発光パターンを看取し、画像上の雰囲気を認識することができる。

[0047] (第 3の実施形態）

次に、撮影時や閲覧時の画像内に注目領域の候補となる領域が複数ある場合について、図 7のフローチャートを参照して説明する。この場合には、注目領域解析手段 12に優先度決定機能を持たせ、この優先度決定機能により、いずれの領域を注目領域として優先的に抽出するかの優先度 (優先順位)を算出させる (ステップ S14) 。このため、この優先度の最も高い注目領域の代表色対応の発光パターンを、発光パターン決定手段 14が生成し (ステップ S 16)、この発光パターンで発光ダイオード 1 6を発光させる (ステップ SI 7)。なお、優先度 (優先順位)の算出方法は、各注目領域の面積比に応じた順序で優先度を決定する。

[0048] なお、発光ダイオード 16の発光パターンは、注目領域が一つの場合には、例えば注目領域気の代表色を 5秒間発光させる。これに対し、注目領域が複数の場合には、各注目領域の代表色が面積に応じて発光される。具体的には、各注目領域の代表色が赤 50%、青 30%、緑 20%で構成されているとすると、赤を 2· 5秒，青を 1. 5秒間、緑を 1. 0秒間発光させればよい。

[0049] (第 4の実施形態）

色分布算出手段 13は、注目領域における各画素の色情報をこの色情報ごとに設定された重み係数にもとづヽて色分布を決定し、この色分布から代表色を決定する機能を持つ。この重み係数は、色分布解析手段 13において、人が意図的に注目すると思われる色 (ここでは、赤）に関して重み付けを行う。

[0050] 色の重み付けがな、場合には、分布の最も多、色を代表色として特定する。例えば、赤、緑、青がそれぞれ 30%、 20%、 50%であれば青を代表色として特定する。このとき、赤、緑、青の各数値は、画像の全画素数に対する各色の画素数によって算出される。仮に、全画素数を 100とすると、赤、緑、青それぞれの画素数は、 30個、 2 0偶、 50偶と!、うことになる。

[0051] 次に、色の重み付けがある場合を説明する。本発明で、重み付けを行う理由は、例えば赤、緑、青がそれぞれ 30%、 20%、 50%の画像を人が見たときに、必ずしも青が一番目立つ色として認識するとは限らず、赤を注目度が高、色と認識する可能性がある。

[0052] このような可能性があるとした場合には、例えば、赤の画素数に色の重み付け係数「2」を乗算して赤、緑、青のそれぞれの画素数を 60個、 20個、 50個とし、仮想的な全画素数 130 (60 + 20 + 50)に対する 60偶、 20偶、 50偶の害 ij合力、ら、それぞれ 46 %、 15%、 38%となる分布図を生成し、赤を代表色として特定することができる。なお、ここでは赤に対してのみ色の重み付け係数「2」を適用した力緑、青に対しても色の重み付け係数を適用することができる。このように、人の色に対する認識傾向（注目度合い）を考慮に入れることで、発光ダイオード 16の発光パターン制御によって、画像の特徴 (雰囲気をユーザに直感的に認識させることができる。

[0053] 以上のように、本発明の実施形態の発光表示装置によれば、被写体の撮影時ゃ閲覧時等に、注目領域解析手段 12が注目領域を自動的に抽出し、抽出した注目領域の画像の色分布から代表色を選別し、この代表色に対応する所定の発光パターンで発光ダイオード 16を発光表示させることで、注目領域を含む被写体画像上の雰囲気を撮影者等に直感させることができる。

[0054] また、本発明の実施形態の発光表示装置によれば、注目領域の候補が複数ある場合に、一つの注目領域を特定し、この特定した注目領域の代表色により発光ダイォード 16の発光パターンを決定し、ユーザに画像の雰囲気を適切に認知させることができる。

[0055] また、本発明の実施形態の発光表示装置によれば、色分布に重み付けをすることで、人間の色に対する注目度合いを加味でき、この結果、発光ダイオード 16の発光パターン制御によって、画像の特徴 (雰囲気）をユーザに直感的に認識させることができる。

[0056] 本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。

産業上の利用可能性

[0057] 本発明の発光表示装置によれば、撮影時の被写体の画像または撮影した被写体の画像の色分布に応じた発光パターンで複数の発光ダイオードを発光することにより、その発光ダイオードの発光パターンから、画像の雰囲気をユーザに一目で認知させることができると!/ヽぅ効果を有し、被写体の撮影時または撮影された被写体画像の閲覧時に、画像の特徴に応じた発光パターンで発光ダイオードを発光させる発光表示装置等に広く利用することができる。

Claims

請求の範囲

[1] 被写体を撮影する撮影手段と、

前記撮像手段により撮影した画像のうち、所定の画像パターンを含む注目領域を抽出する注目領域解析手段と、

前記注目領域解析手段により抽出した注目領域における、各画素の色情報にもとづいて色分布を算出する色分布算出手段と、

前記色分布算出手段により算出された色分布より代表色を選択する代表色選択手段と、

前記代表色選択手段で選択された代表色で発光ダイオード発光させる発光制御手段と、

を備えることを特徴とする発光表示装置。

[2] 前記発光ダイオードによる発光パターンを決定する発光パターン決定手段を備え、前記発光制御手段は、前記代表色選択手段により選択された代表色で、前記発光ノターン決定手段により決定した発光パターンに基づくタイミングで、前記発光ダイオードを発光させることを特徴とする請求項 1に記載の発行表示装置。

[3] 前記発光パターン決定手段は、前記代表色選択手段で選択された代表色に応じて、前記発光パターンを決定することを特徴とする請求項 2に記載の発光表示装置。

[4] 前記注目領域解析手段は、前記画像内に注目領域の候補となる領域が複数ある場合、いずれか一つの領域を注目領域として抽出することを特徴とする請求項 1に記載の発光表示装置。

[5] 前記色分布算出手段は、前記注目領域解析手段により抽出した注目領域における各画素の色情報を表す数値と、当該色情報ごとに設定された重み係数と、にもとづいて、色分布を算出することを特徴とする請求項 1に記載の発光表示装置。