JP5423052B2

JP5423052B2 - 画像処理装置、撮像装置及びプログラム

Info

Publication number: JP5423052B2
Application number: JP2009046159A
Authority: JP
Inventors: 稔加藤
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2009-02-27
Filing date: 2009-02-27
Publication date: 2014-02-19
Anticipated expiration: 2029-02-27
Also published as: JP2010206239A

Description

本発明は、撮像された画像に対してコメントを付与する画像処理装置、撮像装置及びプログラムに関する。

従来、撮像された画像がいつ撮像されたものであるかを知るために、カメラの有する時計機能から出力される日付情報を用いて、撮像した画像に付与して記録する技術が開発されている。

例えば、特許文献１では、クロック信号をカウントして日時の情報を出力するカウンタとともに、特定の人物の名前と誕生日、又は祝日やイベント情報等とそれら年月日とをあらかじめメモリに記録することにより、撮像された画像に対して、日付情報だけでなく、その撮像日時に対応する人物の名前と誕生日、又は祝日やイベント情報等の文字情報を付与する技術が開示されている。

しかしながら、従来技術は、あくまでも撮像した日付情報を画像に付与するだけであり、また、特許文献１のように、日付情報の代わりに、人物の名前と誕生日、又は祝日やイベント情報等、あらかじめユーザによって入力された文字情報だけしか付与できない。

上記従来技術が有する問題に鑑み、本発明の目的は、撮像された画像に対してより柔軟なコメントを付与することができる技術を提供することにある。

本発明の一例としての画像処理装置は、複数の画像と複数の画像の各々の撮像時の撮像情報とを対応付けて記憶する記憶手段と、複数のコメントモードからいずれかのコメントモードを選択するモード選択手段と、画像を画像解析する画像解析手段と、画像解析手段による画像解析結果と画像の撮像情報とに基づいて画像に対するコメントを作成するコメント作成手段と、コメントを画像に付与するコメント付与手段と、を備える。コメント作成手段は、モード選択手段により第１コメントモードが選択された場合は、画像に適したコメントを作成する。コメント作成手段は、モード選択手段により第１コメントモードとは異なる第２コメントモードが選択された場合は、画像に適さないコメントを作成する。

本発明によれば、撮像された画像に対してより柔軟なコメントを付与することができる。

本発明の一の実施形態に係る電子カメラ１００の構成例を示す模式図本実施形態に係る電子カメラ１００の撮像手順を示すフローチャート本実施形態に係る電子カメラ１００によるコメント付与の処理を示すフローチャート（その１）本実施形態に係る電子カメラ１００によるコメント付与の処理を示すフローチャート（その２）本実施形態に係る電子カメラ１００の背面の構成図と表示部１３に画像と画像に付与されたコメントの表示の一例を示す図本実施形態における人物以外が撮像された場合のコメントの定型文と各コメントモードにおいて作成されるコメントの一例を示す図図６（ａ）における「場所」の欄に挿入される各コメントモードのコメントリストの一例を示す図図６（ａ）における「シーン」の欄に挿入される各コメントモードのコメントリストの一例を示す図図６（ａ）における「感情」の欄に挿入される各コメントモードのコメントリストの一例を示す図本実施形態において用いられる人物の人数、性別及び笑顔判定の組み合わせの一覧表の一例を示す図夜景ポートレートのシーンで笑顔レベルが１の１人の男性の画像の場合の各コメントモードのコメントリストの一例を示す図夜景ポートレートのシーンで笑顔レベルが１の女性と笑顔レベルが２の男性の画像の場合の各コメントモードのコメントリストの一例を示す図（その１）夜景ポートレートのシーンで笑顔レベルが１の女性と笑顔レベルが２の男性の画像の場合の各コメントモードのコメントリストの一例を示す図（その２）図１１の場合で表示部１３に画像と画像に付与されたコメントの表示の一例を示す図

図１は、本発明の一の実施形態に係る電子カメラ１００の構成図である。

電子カメラ１００は、撮像レンズ１、撮像素子２、Ａ／Ｄ変換部３、バッファメモリ４、ＣＰＵ５、記憶部６、カードインタフェース（カードＩ／Ｆ）７、タイミングジェネレータ（ＴＧ）９、レンズ駆動部１０、操作部材１１、温度測定部１２、表示部１３、画像処理部１４、ＧＰＳ受信部１５及びＧＰＳアンテナ１６から構成される。ＴＧ９及びレンズ駆動部１０はＣＰＵ５に、撮像素子２及びＡ／Ｄ変換部３はＴＧ９に、撮像レンズ１はレンズ駆動部１０にそれぞれ接続されている。バッファメモリ４、ＣＰＵ５、記憶部６、カードＩ／Ｆ７、操作部材１１、温度測定部１２、表示部１３、画像処理部１４及びＧＰＳ受信部１５は、バス１７を介して情報伝達可能に接続されている。なお、図１は電子カメラ１００の主要部分のみを示す。例えば、図１において、撮像レンズ１と撮像素子２との間に設置されるアイリス等は省略されている。

撮像レンズ１は、複数の光学レンズにより構成され、ＣＰＵ５からの指示に基づいてレンズ駆動部１０によって駆動され、被写体からの光束を撮像素子２の受光面に結像する。

撮像素子２は、ＣＰＵ５の指令を受けてＴＧ９が発するタイミングパルスに基づいて動作し、前方に設けられた撮像レンズ１によって結像される被写体の画像を取得する。撮像素子２には、ＣＣＤやＣＭＯＳの半導体のイメージセンサ等を適宜選択して用いることができる。

撮像素子２から出力される画像信号は、Ａ／Ｄ変換部３にてデジタル信号に変換される。このＡ／Ｄ変換部３は、撮像素子２とともに、ＣＰＵ５の指令によりＴＧ９が発するタイミングパルスに基づいて動作する。デジタルの画像信号は、一時的にフレームメモリ（不図示）に記録された後、バッファメモリ４に記録される。なお、バッファメモリ４には、半導体メモリのうち、任意の不揮発性メモリを適宜選択して用いることができる。

ＣＰＵ５は、ユーザにより操作部材１１の電源釦が押されて、電子カメラ１００の電源が入れられると、記憶部６に記憶されている電子カメラ１００の制御プログラムを読み込み、電子カメラ１００を初期化する。そして、ＣＰＵ５は、操作部材１１を介してユーザからの指示を受け付けると、制御プログラムに基づいて、撮像素子２に対して被写体の撮像、画像処理部１４に対して撮像した画像の画像処理、その処理された画像の記憶部６やカードメモリ８への記録や表示部１３への表示等の制御を行う。さらに、本実施形態では、ＣＰＵ５は、後述する記憶部６に記憶されているコメントリストを用いて、撮像された画像に対するコメントを作成して、そのコメントを画像に付与する。ＣＰＵ５には、一般的なコンピュータのＣＰＵを使用することができる。

記憶部６は、電子カメラ１００が撮像した画像、ＣＰＵ５が用いる電子カメラ１００を制御する制御プログラム等の各種プログラム、及び撮像した画像に付与するためのコメント作成の基となるコメントリストを記憶する。記憶部６に記憶されるプログラムやデータは、バス１７を介して、ＣＰＵ５から適宜参照することができる。記憶部６は、一般的なハードディスク装置、光磁気ディスク装置又はフラッシュＲＡＭ等の記憶装置を適宜選択して用いることができる。

カードＩ／Ｆ７には、カードメモリ８が脱着可能に装着される。バッファメモリ４に記録されている画像は、ＣＰＵ５の指示に基づいて画像処理部１４で画像処理され、焦点距離、シャッター速度、絞り値及びＩＳＯ値等や、画像撮像時のＧＰＳ受信部１５によって求められた撮影位置や高度等からなる撮像情報が、ヘッダ情報として付加されたＥｘｉｆ形式等の画像ファイルとして、カードメモリ８に記録される。

レンズ駆動部１０は、測光センサ（不図示）が撮像素子２による被写体の撮影を行う前に、被写体の輝度を測光することによって求める合焦状態と、ＣＰＵ５が算出するシャッター速度、絞り値及びＩＳＯ値等に基づいて、撮像レンズ１を駆動させ被写体からの光束を撮像素子２の受光面に結像させる。レンズ駆動部１０は、ＣＰＵ５に対して焦点距離を通知する。なお、測光センサ（不図示）は、撮像素子２とは独立して測光を行うセンサで構成されていても良いし、撮像素子２の出力を間引き読み出しして得られる構図確認用の低解像度画像（いわゆる、スルー画）を用いて行うセンサで構成されていても良い。

操作部材１１は、ユーザによる部材操作の内容に応じた操作信号をＣＰＵ５に出力する。操作部材１１には、例えば、電源釦、撮影モード等のモード設定釦及びレリーズ釦等の操作部材を有する。なお、操作部材１１は、後述する表示部１３の前面に設けられるタッチパネル式の釦であっても良い。

温度測定部１２は、撮像時における電子カメラ１００の周りの温度を測定する。温度測定部１２には、一般的な温度センサを適宜選択して用いることができる。

表示部１３は、スルー画や撮影した画像又はモード設定画面等を表示する。表示部１３には、液晶モニタ等を適宜選択して用いることができる。

画像処理部１４は、補間処理、輪郭強調処理やホワイトバランス補正等の画像処理を行い、撮影条件や撮像情報等をヘッダ情報として付加したＥｘｉｆ形式等の画像ファイル生成を行うディジタルフロントエンド回路である。また、画像処理部１４は、ＣＰＵ５による画像に対するコメント作成において、コメントリストから所定の単語や文を選択する際に必要となる、画像特徴量（例えば、色分布、輝度分布又はコントラスト等）の算出や顔認識等を行う。なお、本実施形態では、上述したＣＰＵ５によって作成された画像に対するコメントは、画像データそのものに付与してカードメモリ８に記録したり、表示部１３に表示したりするが、コメントも撮像情報と一緒にヘッダ情報として、Ｅｘｉｆ形式等の画像ファイルに付加するようにしても良い。

ＧＰＳ受信部１５は、ＧＰＳアンテナ１６が接続され、ＧＰＳ衛星からの信号を受信する。ＧＰＳ受信部１５は、受信した信号に基づいて、緯度、経度及び高度や日時等の情報を取得する。

次に、本実施形態に係る電子カメラ１００による撮像手順について、図２のフローチャートを参照しながら説明する。

ユーザにより操作部材１１の電源釦が押されると、ＣＰＵ５は、電子カメラ１００の記憶部６に保持されている制御プログラムを読み込み、電子カメラ１００を初期化する。そして、ユーザは、操作部材１１のモード設定釦を用いて、例えば、単一又は連写による静止画像の撮像や動画の撮像のモード選択や画質の設定等を行う。以下の説明では、単一の静止画像の撮影モードが選択された場合について説明する。

ステップＳ１０：ＣＰＵ５は、ユーザから被写体の撮像指示を受け付けるまで待機する（ＮＯ側）。ユーザによって操作部材１１のレリーズ釦が全押しされると、ＣＰＵ５は、撮像指示が出されたと判定しステップＳ１１（ＹＥＳ側）へ移行する。

ステップＳ１１：ＣＰＵ５は、ＴＧ９を介して、撮像素子２に対して被写体の撮像指令を出力し、撮像素子２は、全画素読み出しによる被写体の撮像を行う。同時に、ＣＰＵ５は、温度測定部１２及びＧＰＳ受信部１５に対して温度や撮像位置等の取得指令を出し、温度測定部１２及びＧＰＳ受信部１５は、温度や撮像位置等の情報をそれぞれ取得する。ＣＰＵ５は、ＴＧ９を介して、撮像素子２に対し撮像した画像の信号を出力させ、Ａ／Ｄ変換部３でデジタル信号に変換された画像データを、バッファメモリ４に一時的に記録させる。

ステップＳ１２：ＣＰＵ５は、バッファメモリ４に記録された画像データを、バス１７を介して画像処理部１４へ転送する。画像処理部１４は、転送されてきた画像データに対して、補間処理、輪郭強調処理及びホワイトバランス補正等の画像処理を行う。そして、画像処理部１４は、処理された画像データを焦点距離、シャッター速度、絞り値及びＩＳＯ値等及び温度や撮影位置等からなる撮像情報を、ヘッダ情報として付加したＥｘｉｆ形式等の画像ファイルにして、記憶部６又はカードメモリ８に記録し一連の撮像を終了する。

以上が、電子カメラ１００による撮像手順である。

次に、本実施形態に係る電子カメラ１００によって撮像された画像に対して、コメントを作成し付与する処理手順について、図３及び図４のフローチャートを参照しながら説明する。

ユーザは、操作部材１１の電源釦を押すことで電子カメラ１００を起動させた後、或いは上記図２で示した電子カメラ１００による撮像が終了した後、操作部材１１のモード設定釦を操作して再生モードに切り替える。そして、図３及び図４に示すような、ステップＳ２０からの処理が開始される。

ステップＳ２０：ＣＰＵ５は、撮像された画像にコメントを作成し付与するために、図５に示めすような、電子カメラ１００の背面に設けられた、操作部材１１の１つである十字釦２０のユーザによる操作に基づいて、コメントを付与させたい画像を選択決定する。そして、ユーザによって十字釦２０の真ん中の決定釦が押されると、ＣＰＵ５は、図５（ａ）に示めすように、選択された画像を表示部１３に表示する。次に、ユーザによって操作部材１１のＭＥＮＵ釦３０が押されると、ＣＰＵ５は、「コメント付与」を含む各種メニューを表示部１３に表示し、ユーザに十字釦２０の操作を介して、「コメント付与」のメニューを選択決定させる。ＣＰＵ５は、「コメント付与」のメニューが選択されたことを示す決定釦からの信号を受信すると、ユーザに対してどのようなコメントを付与したいかを、表示部１３に複数のコメントモードを表示して、ユーザに十字釦２０の操作を介して一のコメントモードを選択させる。

ここで、本実施形態における複数のコメントモードとして、「デフォルト」、「ユニーク」、「ナンセンス」及び「ランダム」の４つがある。「デフォルト」モードは、上記撮像情報とともに、後述するように撮像された画像の画像処理によって得られる画像情報に基づいて、画像に撮像された被写体の内容に最も合ったコメントが作成される。通常、本実施形態の場合、このモードが設定されているものとする。「ユニーク」モードは、撮像情報及び画像情報に基づいて行われるが、「デフォルト」モードに比べて、遊び心のある表現のコメントを作成する。「ナンセンス」モードは、撮像情報及び画像情報に基づいて作成するが、撮像された画像の内容とは無関係なコメントを作成する。「ランダム」モードは、「デフォルト」モード、「ユニーク」モード及び「ナンセンス」モードがランダムに選択され、偶然の産物である表現のコメントを作成する。

ステップＳ２１：ＣＰＵ５は、ステップＳ２０で選択された画像のファイルに付加されたヘッダ情報の撮像情報から、ＧＰＳ受信部１５によって測定された撮像位置や高度、温度測定部１２によって測定された温度等を取得する。

ステップＳ２２：ＣＰＵ５は、コメント付与したい画像を、バス１７を介して、画像処理部１４へ転送する。画像処理部１４は、転送されてきた画像に対して、色分布、輝度分布及びコントラスト等の画像特徴量の算出及び顔認識を行う。なお、本実施形態では、顔認識の手法として、公知である任意の手法を用いて行う。画像処理部１４は、算出した画像特徴量及び顔認識の結果である画像情報を、バス１７を介して、記憶部６へ転送して記録する。

ステップＳ２３：ＣＰＵ５は、画像の撮像情報及び画像情報に基づいて、シーン判定を行う。具体的には、ＣＰＵ５は、ステップＳ２２で求めた画像特徴量である色分布、輝度分布及びコントラスト、また撮像情報のうち焦点距離及び撮像日時等に基づいて、例えば、緑の色分布の割合と輝度が大きく、焦点距離が長い場合には、晴れた日の山並みや草原等のシーンであるという判定を行う。また、青の色分布の割合と輝度が大きく、焦点距離が長い場合には、晴れた日の空や海等のシーンであるという判定をする。或いは、赤の色分布の割合が大きいが、輝度及びコントラストが小さく、撮像時間が午後である場合には、夕焼け等のシーンであると判定する。なお、撮像情報にある撮像モードが、夜景モード等に設定されている場合には、ＣＰＵ５は、その撮像モードの情報を優先して、画像のシーン判定を行うようにしても良い。また、本実施形態では、判定されるシーンとして、山並み、草原、街並み、海、雪及び雪山等の風景、夕焼け、夜景、花や人形のクローズアップ、料理及び花火等がある。また、人物が撮像されている場合には、スポーツ、ポートレート、パーティー及び夜景ポートレートのシーンが追加される。

ステップＳ２４：ＣＰＵ５は、ステップＳ２２において、画像処理部１４が行った顔認識の結果に基づいて、画像に人物が撮像されているか否かを判定する。人物が撮像されている場合には、ＣＰＵ５は、図４のステップＳ２９（ＹＥＳ側）へ移行する。一方、ＣＰＵ５は、人物が撮像されていない場合には、ステップＳ２５へ移行する。

ステップＳ２５：ＣＰＵ５は、ステップＳ２０で選択したコメントモード、ステップＳ２１で求めた撮像位置及び温度、及びステップＳ２３のシーン判定に基づいて、コメントを作成する。具体的には、本実施形態における人物が撮像されていない場合、ＣＰＵ５は、図６（ａ）に示すような定型文に基づいてコメントを作成する。即ち、その定型文を構成する「場所」、「シーン」及び「感情」の各々の欄に当てはまる単語又は文を、図７〜図９に示すような、記憶部６に記憶されているコメントリストから、コメントモード、撮像位置、温度、及びシーン判定に基づいて選択し、図６（ｂ）〜（ｅ）のようなコメントを作成する。

まず、「場所」の欄に入る単語や文のコメントリストは、図７に示すように、コメントモード毎に作成され、記憶部６に記憶されている。撮影場所は、ＧＰＳ受信部１５によって測定された撮像位置に基づいて特定されることから、図７（ａ）に示すように、「デフォルト」モードの場合には、具体的な京都や札幌等の都市名や不図示であるが富士山や瀬戸内海等の場所の名称がコメントリストにあらかじめ登録されている。一方、「ユニーク」モードの場合には、「デフォルト」モードに比べて遊び心のある表現となることから、例えば、京都という都市名に対する別の表現である、古都や歴史の町等の単語や文が、コメントリストにあらかじめ登録され記憶部６に記憶されている。一方、「ナンセンス」モードの場合には、撮像された画像の内容とは無関係なコメントを作成するために、図７（ｂ）に示されるように、温度測定部１２によって測定される温度に基づいて決められた、画像の内容とは無関係な単語や文が、コメントリストにあらかじめ登録され記憶部６に記憶される。

一方、「シーン」の欄に入る単語や文のコメントリストは、ステップＳ２３における風景、夕焼け又は夜景等のシーン判定と撮像時間とに基づいて、コメントモード毎にあらかじめ作成され、記憶部６に記憶されている。図８は、シーン判定が夕焼け又は朝焼けの場合のコメントリストの一例を示し、撮像時間及びコメントモード毎に作成され、記憶部６に記憶されている。他のシーンについても、図８のものと同様に、撮像時間及びコメントモード毎にあらかじめ作成され、記憶部６に記憶されている。

最後に、「感情」の欄に入る単語や文のコメントリストは、図９に示すように、本実施形態の場合、コメントモード及び温度に基づいて、単語又は文が選択されるような構成で、あらかじめ作成され記憶部６に記憶される。

以上により、ＣＰＵ５は、ステップＳ２０で選択したコメントモード、ステップＳ２１で求めた撮像位置及び温度、及びステップＳ２３のシーン判定に基づいて、図７〜図９に示すようなコメントリストから、「場所」、「シーン」及び「感情」の各々の欄に対応する単語又は文を選択し、図６（ａ）に示す定型文に代入することによってコメントを作成する。図６（ｂ）〜（ｅ）は、各コメントモードで作成されたコメントの一例を示す。なお、本実施形態では、ＣＰＵ５は、あらかじめステップＳ２０で選択したコメントモード、ステップＳ２１で求めた撮像位置及び温度、及びステップＳ２３のシーン判定に基づいて、複数のコメントを作成し、ＣＰＵ５内に有するメモリ（不図示）に記録するものとする。

ステップＳ２６：ＣＰＵ５は、ステップＳ２５で作成した複数のコメントのうち、一のコメントを画像に付与して、図５（ｂ）に示すように表示部１３に表示する。図５（ｂ）は、京都での夕焼けのシーンの画像に対して、「デフォルト」モードが選択された場合におけるコメント表示の一例を示す。

ステップＳ２７：ＣＰＵ５は、ステップＳ２６で表示された一のコメントに対して、ユーザが気に入った場合、十字釦２０の真ん中の決定釦がユーザによって押され、その信号を受信したか否かを判定する。その信号を受信した場合、ＣＰＵ５は、ステップＳ３４（ＹＥＳ側）へ移行する。一方、受信しなかった場合、ＣＰＵ５は、ステップＳ２８（ＮＯ側）へ移行する。

ステップＳ２８：ユーザによる十字釦２０の操作（例えば、上下の釦又は左右の釦）に基づいて、ＣＰＵ５は、ＣＰＵ５内のメモリ（不図示）に記録されている他のコメントに切り替え再設定して、ステップＳ２６へ移行する。

ステップＳ２９：ＣＰＵ５は、顔認識に基づいて画像に撮像されている人物の人数を求めるとともに、各人物の性別及び口角の上がり具合等に基づいた笑顔判定を行う。なお、本実施形態での各人物の性別及び笑顔判定の手法は、従来技術である公知の手法を用いて行う。

ステップＳ３０：ＣＰＵ５は、ステップＳ２０で選択したコメントモード、ステップＳ２１で求めた温度、ステップＳ２３のシーン判定、及びステップＳ２９で求めた人物の人数、性別及び笑顔判定に基づいて、コメントを作成する。そのために、本実施形態において人物を撮像した場合には、図１０に示すような、ステップＳ２９で求めた人物の人数、性別及び笑顔判定の組み合わせの一覧表があらかじめ作成され、記憶部６に記憶されている。ここで、笑顔レベル１とは、微笑み程度のレベルを示し、笑顔レベル２とは、大笑い又は爆笑のレベルを示す。

そして、図１０に示される一覧表の各々の組み合わせについて、例えば、図１１又は図１２及び図１３に示すような、シーン且つコメントモード毎にコメントリストがあらかじめ作成され、記憶部６に記憶されている。ここで、図１１のコメントリストは、夜景ポートレートのシーンで、笑顔レベルが１の１人の男性が撮像された画像の場合の一例を示し、図１２及び図１３のコメントリストは、同じく夜景ポートレートのシーンで、笑顔レベルが１の女性と笑顔レベルが２の男性の２人の人物が撮像された画像の場合の一例を示す。なお、本実施形態では、人物を撮像した場合のコメントリストは、図１１又は図１２及び図１３に示すように、コメントモード及び温度に基づいて、単語又は文が選択されるような構成になっている。

以上により、ＣＰＵ５は、ステップＳ２０で選択したコメントモード、ステップＳ２１で求めた温度、ステップＳ２３のシーン判定、及びステップＳ２９で求めた人物の人数、性別及び笑顔判定に基づいて、図１１〜図１３に示すようなコメントリストから、対応する単語又は文を選択してコメントを作成する。なお、本実施形態では、ＣＰＵ５は、あらかじめステップＳ２０で選択したコメントモード、ステップＳ２１で求めた温度、ステップＳ２３のシーン判定、及びステップＳ２９で求めた人物の人数、性別及び笑顔判定に基づいて、複数のコメントを作成し、ＣＰＵ５内に有するメモリ（不図示）に記録するものとする。

ステップＳ３１：ＣＰＵ５は、ステップＳ３０で作成した複数のコメントのうち、一のコメントを画像に付与して、図１４に示すように表示部１３に表示する。図１４は、夜景ポートレートのシーンで、笑顔レベルが１の男性１人が撮像された画像に対して、「ユニーク」モードが選択された場合におけるコメント表示の一例を示す。本実施形態では、図１４が示すように、人物を撮像した場合、吹き出しを顔の部分にはかからないように用いることで、画像内の人物がいかにも言葉を発しているかのように表示する。

ステップＳ３２：ＣＰＵ５は、ステップＳ３１で表示された一のコメントに対して、ユーザが気に入った場合、十字釦２０の真ん中の決定釦がユーザによって押され、その信号を受信したか否かを判定する。その信号を受信した場合、ＣＰＵ５は、ステップＳ３４（ＹＥＳ側）へ移行する。一方、受信しなかった場合、ＣＰＵ５は、ステップＳ３３（ＮＯ側）へ移行する。

ステップＳ３３：ユーザによる十字釦２０の操作（例えば、上下の釦又は左右の釦）に基づいて、ＣＰＵ５は、ＣＰＵ５内のメモリ（不図示）に記録されている他のコメントに切り替え再設定して、ステップＳ３１へ移行する。

ステップＳ３４：ＣＰＵ５は、コメントを付与した画像を、焦点距離、シャッター速度、絞り値及びＩＳＯ値等及び温度や撮影位置等からなる撮像情報をヘッダ情報として付加されたＥｘｉｆ形式等の画像ファイルにして記憶部６又はカードメモリ８に記録し、一連のコメント作成及び付与の処理を終了する。

このように本実施形態では、複数の単語及び文から構成されるコメントリストを作成し記憶部６に記憶させることにより、撮像した画像の撮像情報及び画像情報に基づいて、コメントの基となる単語や文をコメントリストから選択することにより、その画像に対して、より柔軟なコメントを作成・付与することができ、その画像の撮像時における雰囲気の思い出をより一層深めることができる。

また、コメントの作成において、通常の「デフォルト」モードだけでなく、「ユニーク」モード、「ナンセンス」モード及び「ランダム」モードを設けることにより、コメント作成がより柔軟に行えるだけでなく、実際の画像の内容を完全には再現できないが、逆に、画像と作成されたコメントとのミスマッチを楽しむことができる。

さらに、人物を撮像した場合、吹き出しを用いて画像内の人物がいかにも言葉を発しているように表示することから、より面白味のあるコメント付与ができる。
≪実施形態の補足事項≫
本実施形態では、電子カメラ１００によって撮像された画像を、電子カメラ１００で画像を再生するモードにおいて、コメント作成及び付与する場合について説明したが、本発明はこれに限定されない。例えば、電子カメラ１００による撮像時に、ユーザが操作部材１１であるレリーズ釦を半押しすることにより、被写体までの焦点距離や測光センサ（不図示）による輝度値、画像処理部１４による動画やスルー画の各フレーム画像における顔認識、ＧＰＳ受信部１５による撮像位置や高度、及び温度測定部１２による温度等の撮像情報を求めることができることから、動画やスルー画に対しても、図６（ｂ）や図１４に示されるような、コメントを作成及び付与して表示することができる。さらに、動画やスルー画の場合、例えば、人物を撮像している場合には、４コママンガ風に、コメントが時間経過する毎に変化させるように表示することが好ましい。

また、静止画像の撮像の場合にも、再生モードにしなくても、撮像とともにコメントを作成し、静止画像に付与して記憶部６又はカードメモリ８に記録することができる。

なお、本実施形態では、図６（ｂ）や図１４に示すように、画像に直接コメントを付与して、焦点距離、シャッター速度、絞り値及びＩＳＯ値等及び温度や撮影位置等からなる撮像情報を、ヘッダ情報として付加したＥｘｉｆ形式等の画像ファイルにして記憶部６又はカードメモリ８に記録したが、本発明はこれに限定されない。例えば、コメントは、画像に直接付与せずに、撮像情報とともにヘッダ情報として、Ｅｘｉｆ形式等の画像ファイルに付加して記録しても良い。

なお、本実施形態では、ステップＳ２０において、ユーザが、操作部材１１のＭＥＮＵ釦３０を押して、十字釦２０を操作することによって「コメント付与」のメニューを選択してから、一のコメントモードを選択決定したが、本発明はこれに限定されず、一のコメントモードを先に選択してから、コメント付与を行うか否かを決定するようにしても良い。

なお、本実施形態では、コメントモードには、「デフォルト」モード、「ユニーク」モード、「ナンセンス」モード及び「ランダム」モードの４つを有するとしたが、本発明はこれに限定されず、任意の数の種類のコメントモードを有することが好ましい。

なお、本実施形態では、人物が撮像されていない場合のコメントは、図６（ａ）に示される定型文に基づいて、「場所」、「シーン」及び「感情」の各々に当てはまる３つの単語又は文を代入して作成されるものであったが、本発明はこれに限定されず、「場所」、「シーン」又は「感情」以外の項目から構成される定型文のコメントであっても良い。

なお、本実施形態では、「場所」を表すコメントリストのうち、「ナンセンス」モードのコメントリストは、温度測定部１２によって測定される温度のみに基づいて、あらかじめ作成されたものであったが、本発明はこれに限定されない。例えば、温度とともに、湿度や気圧等の気象情報やＧＰＳ受信部１５によって測定される緯度、経度及び高度に基づいて、「場所」を表す「ナンセンス」モードのコメントリストがあらかじめ作成されても良い。これにより、画像に付与されるコメントの内容が、より柔軟に表現することができる。なお、そのためには、電子カメラ１００は、温度測定部１２とともに、湿度や気圧等の気象センサ等を備えていることが好ましい。

なお、本実施形態では、「感情」を表すコメントモード毎のコメントリストは、温度測定部１２によって測定される温度のみに基づいて、あらかじめ作成されたものであったが、本発明はこれに限定されない。例えば、温度とともに、湿度や気圧等の気象情報に基づいて、「感情」を表すコメントモード毎のコメントリストが、あらかじめ作成されても良い。これにより、画像に付与されるコメントの内容が、より正確に且つ柔軟に表現することができる。なお、そのためには、電子カメラ１００は、温度測定部１２とともに、湿度や気圧等の気象センサ等を備えていることが好ましい。

なお、本実施形態では、ステップＳ２３のシーン判定において、ステップＳ２２で求めた画像特徴量である色分布、輝度分布及びコントラスト、また撮像情報のうち焦点距離及び撮像時間等に基づいて行ったが、本発明はこれに限定されず、湿度、気圧、被写体の動きの速さ、人間以外の動物、電子カメラ１００の傾き情報等に基づいて、シーン判定を行っても良い。

なお、本実施形態では、人物が撮像された場合、電子カメラ１００の再生モードにおいて、ステップＳ２２で画像処理部１４によって人物の顔認識処理が行われ、ステップＳ２９でＣＰＵ５によって人物の性別及び笑顔判定を行ったが、本発明はこれに限定されない。例えば、電子カメラ１００による撮像時において、ＣＰＵ５及び画像処理部１４が、スルー画を用いて、顔認識、人物の人数、性別及び笑顔判定を行い、それらの情報を、撮像情報とともにヘッダ情報としてＥｘｉｆ形式等の画像ファイルに付加して記録しても良い。

なお、本実施形態では、人物が撮像された場合、ステップＳ３０において、各コメントモードのコメントリストから単語や文を選択決定するにあたり、ステップＳ２１で求めた温度、ステップＳ２３のシーン判定、及びステップＳ２９で求めた人物の人数、性別及び笑顔判定に基づいて行ったが、本発明はこれに限定されず、ＧＰＳ受信部１５によって測定された撮像位置や高度の情報を用いても良い。これにより、場所や感情に場所を考慮したコメントの作成が可能となる。

なお、本実施形態では、ステップＳ２８及びステップＳ３３において、ユーザが十字釦２０の上下の釦又は左右の釦を操作することによって、ＣＰＵ５内のメモリ（不図示）に記録されている同じコメントモードで作成された、他のコメントに切り替え再設定するとしたが、本発明はこれに限定されない。例えば、十字釦２０の上下の釦又は左右の釦を操作することによって、同一コメントモードにおけるコメントの再設定を行うとともに、左右の釦又は上下の釦を操作することによって、他のコメントモードに切り替えて作成されたコメントに再設定するようにしても良い。また、作成されたコメントが、ユーザにとって気に入らない場合には、画像にコメントを付与しないように設定できることが好ましい。

なお、本発明に係る画像処理装置における各工程を実現するためのプログラムを備え、画像処理装置としてコンピュータを機能させることに対しても適用可能である。

本発明は、その精神又はその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈されてはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。

１撮像レンズ、２撮像素子、３Ａ／Ｄ変換部、４バッファメモリ、５ＣＰＵ、６記憶部、７カードＩ／Ｆ、８カードメモリ、９ＴＧ、１０レンズ駆動部、１１操作部材、１２温度測定部、１３表示部、１４画像処理部、１５ＧＰＳ受信部、１６ＧＰＳアンテナ、１７バス、１００電子カメラ

特開平２−３０３２８２号公報

Claims

複数の画像と前記複数の画像の各々の撮像時の撮像情報とを対応付けて記憶する記憶手段と、
複数のコメントモードからいずれかのコメントモードを選択するモード選択手段と、
前記画像を画像解析する画像解析手段と、
前記画像解析手段による画像解析結果と前記画像の前記撮像情報とに基づいて前記画像に対するコメントを作成するコメント作成手段と、
前記コメントを前記画像に付与するコメント付与手段と、を備え、
前記コメント作成手段は、前記モード選択手段により第１コメントモードが選択された場合は、前記画像に適した前記コメントを作成し、前記モード選択手段により前記第１コメントモードとは異なる第２コメントモードが選択された場合は、前記画像に適さない前記コメントを作成する
ことを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記画像解析手段は、
前記画像において人物が撮像されているか否かを判定する人物判定手段をさらに備えることを特徴とする画像処理装置。
請求項２に記載の画像処理装置において、
前記画像解析結果は、前記人物判定手段によって判定された前記人物の人数、性別、笑顔のうちいずれかであることを特徴とする画像処理装置。
請求項１から請求項３のいずれか１項に記載の画像処理装置において、
前記記憶手段は、
前記コメント作成手段による前記コメントの作成の基となる複数の単語及び文から構成されるコメントリストを記憶し、
前記コメント作成手段は、
前記画像解析手段による画像解析結果と前記画像の前記撮像情報とに基づいて、前記コメントリストにおける前記複数の単語及び文のうち、１又は複数を選択する選択手段を有し、選択された前記１又は複数の単語又は文を用いて前記コメントを作成する
ことを特徴とする画像処理装置。
請求項４に記載の画像処理装置において、
ユーザからの指示を受け付ける操作部材をさらに備え、
前記選択手段は、
前記操作部材からの前記ユーザによる指示に基づいて、前記コメントリストにおける前記複数の単語及び文のうち、前記１又は複数を選択する
ことを特徴とする画像処理装置。
請求項１から請求項５のいずれか１項に記載の画像処理装置において、
前記撮像情報は、少なくとも焦点距離、撮像モード、撮像日時、撮像位置及び温度であることを特徴とする画像処理装置。
請求項１から請求項６のいずれか１項に記載の画像処理装置において、
前記画像とともに前記画像に付与された前記コメントを表示する表示手段をさらに備えることを特徴とする画像処理装置。
被写体を撮影して画像を生成する撮像手段と、
前記被写体を撮像した時の撮像情報を取得する情報取得手段と、
請求項１から請求項７のいずれか１項に記載の画像処理装置と、
を備えることを特徴とする撮像装置。
請求項１から請求項７のいずれか１項に記載の画像処理装置の各手段をコンピュータで実行することができることを特徴とするプログラム。