JP4803147B2 - 撮像装置、画像生成方法、およびプログラム - Google Patents

Description

本発明は、デジタルカメラ等の撮像装置を用いて撮影時に画像に文字列を関連付けて表示させる技術に関し、特に画像ブログ（Weblog）を生成する画像ブログ生成技術に関する。

ウエブサイトに手記風の電子日記（ブログ）を書き込んで公開するユーザがいる。ブログはパソコンで作成した文章と説明用の画像を合成して作成する場合が多いが、携帯電話などの撮像装置で撮影した画像とキー入力した電子メールデータを電子絵日記作成装置に送信し、電子絵日記作成装置でブログデータを生成し、データベースに格納しておき、閲覧要求があると生成したブログデータを要求元装置に送信するように構成したものもある（例えば、特許文献１参照）。
また、受信した音声データを文字データに変換し、同時に受信した画像の口元に文字列を表示する画像表示装置がある（例えば、特許文献２参照）。
特開２００３−１７３３９号公報 特許第３７１１４１８号

しかしながら、上記特許文献１に開示の技術ではブログは書き手の体験や主張を表記した文章を主体とし撮影済み画像を説明用に取り込んで構成したものや、撮影者が、撮影済みの画像とその画像の撮影場所や日時、その日の思い出等を撮影後に編集して日記風に文字、または文字と画像で構成したものであって、撮影時に、注目画像（人物や動物等の被写体（人物以外の場合は、注目画像を擬人的にみて撮影者が被写体と同化した場合の））の感想や面白い発言をその注目画像と関連付けて表示しているものではないので、被写体側に立った言語的表現を読み手に直接的表現で伝えることができないといった課題があった。

また、撮影者が撮影時の様子や被写体の姿勢等から被写体に撮影者が役を割り当てて画像に面白みを付けたりしてブログそのものの表現を豊富化するといったことができなかった。

また、上述した特許文献２に開示の技術によれば、被写体人物の発言を被写体画像の口元に文字列風に文字表示できるので、被写体人物の主張や気持ちを可視的に伝えることができるが、撮影者が撮影時の様子や被写体の姿勢等から被写体に役を割り当てて画像に面白みを付けたりして画像表現を豊富化するといったことができなかった。

本発明は、撮影した画像を編集してブログを作成するのではなく、撮影時にスルー表示されるカメラ視野内の被写体を選ぶ（つまり注目画像を指定する）ことにより、選択された画像に文字列を関連付けて表示してなる画像ブログを作成し得る撮像装置、画像生成方法、およびプログラムの提供を目的とする。

上記課題を解決するために、請求項１に記載の発明の撮像装置は、被写体像を取り込んで画像データに変換し、撮影待機時に被写体画像をスルー表示する撮像系を備えた撮像装置において、文字列を所定の分類基準により分類し、分類した各文字列を検索可能に記録した文字列データベースと、撮像系によってスルー表示される画像のうちから文字列を関連付けて表示する注目画像を指定するための注目画像指定手段と、文字列データベースから注目画像指定作手段によって指定された注目画像に関連付けて表示するための文字列を取得する文字列取得手段と、文字列取得手段によって取得された複数の文字列の中から注目画像に関連付けて表示する文字列を絞り込むための文字列絞込み手段と、
文字列絞込み手段によって絞り込まれた文字列と注目画像とを視覚的に関連付けて表示する表示制御手段と、文字列絞込み手段によって絞り込まれた文字列と注目画像とを視覚的に関連付けて表示できるように合成してメモリに記録する画像ブログ記録制御手段と、を備えたことを特徴とする。

また、請求項２の発明は請求項１に記載の発明の撮像装置において、分類基準は、画像の属性を分類基準として含み、属性ごとに画像の特定部分のパターンを複数登録した画像データベースと、注目画像から前記画像データベースに登録されている画像パターンに応じた部分を抽出し、画像データベースに登録されている画像パターンと比較して画像の属性を取得する画像認識処理手段を備え、文字列取得手段は、画像認識処理手段によって取得された注目画像の属性を基に該注目画像に関連付けて表示するための文字列を取得する文字列自動取得手段を含むことを特徴とする。

また、請求項３の発明は請求項１または請求項２に記載の発明の撮像装置において、文字列取得手段は、分類基準に属する各分類の名称を順次表示する分類名表示手段と、分類名表示手段によって表示された分類名の中から所望の分類を選択するための分類選択手段を含み、この分類選択手段によって選択された分類に基づいて注目画像に関連付けて表示するための文字列を取得することを特徴とする。

また、請求項４の発明は請求項１に記載の発明の撮像装置において、文字列絞込み手段は、文字列取得手段によって取得された複数の文字列の中から注目画像に関連付けて表示する文字列を絞り込む絞込み手段を含むことを特徴とする。

また、請求項５の発明は請求項１に記載の発明の撮像装置において、音声入力装置と音声入力装置から入力した音声信号を文字に変換する音声／文字変換手段を備え、文字列絞込み手段は、音声／文字変換手段によって変換された文字を基に文字列取得手段によって取得された複数の文字列の中から注目画像に関連付けて表示する文字列を絞り込む音声絞込み手段を含むことを特徴とする。

また、請求項６の発明は請求項１に記載の発明の撮像装置において、文字を入力するためのキー入力手段を備え、文字列絞込み手段は、キー入力手段によって入力された文字を基に文字列取得手段によって取得された複数の文字列の中から注目画像に関連付けて表示する文字列を絞り込む絞込み手段を含むことを特徴とする。

また、請求項７の発明は請求項１に記載の発明の撮像装置において、更に、画像送信指示を検出すると、前記文字列と前記注目画像とを視覚的に関連付けて表示するように合成した画像をインターネット上のウエブサイトに送信する画像送信制御手段を備えたことを特徴とする。

また、請求項８に記載の画像ブログ生成方法は、被写体像を取り込んで画像データに変換し、撮影待機時に被写体画像をスルー表示する撮像系を備えた撮像装置において、撮像系によってスルー表示される画像のうちから文字列を関連付けて表示する注目画像を指定する画像指定ステップと、この画像指定ステップで指定された注目画像に関連付けて表示するための文字列を、所定の分類基準により分類された各文字列を記録した文字列データベースから取得する文字列取得ステップと、この文字列取得ステップで取得した複数の文字列の中から注目画像に関連付けて表示する文字列を絞り込む絞込みステップと、この絞込みステップによって絞り込まれた文字列と注目画像とを視覚的に関連付けて表示する表示ステップとからなり、絞り込まれた文字列と注目画像とを視覚的に関連付けて表示できるように合成してメモリに記録することを特徴とする。

また、請求項９に記載の画像ブログ生成プログラムは、コンピュータを制御するためのプログラムであって、コンピュータを、被写体像を取り込んで画像データに変換し、撮影待機時に被写体画像をスルー表示するスルー表示手段、撮像系によってスルー表示される画像のうちから文字列を関連付けて表示する注目画像として指定された注目画像に関連付けて表示するための文字列を、所定の分類基準により分類された各文字列を記録した文字列データベースから取得する文字列取得手段、この文字列取得ステップで取得した複数の文字列の中から注目画像に関連付けて表示する文字列を絞り込む絞込み手段、この絞込み手段によって絞り込まれた文字列と注目画像とを視覚的に関連付けて表示する表示手段、絞り込まれた文字列と注目画像とを視覚的に関連付けて表示できるように合成してメモリに記録する画像ブログ生成手段、として機能させる。

本発明によれば、撮影過程（スルー画像表示時）に、撮影者が指定した被写体（注目画像）に対しその属性や振る舞い等に応じた文字を対応付けて撮影することができるので、注目した被写体に対応したバラエティに富んだ画像を生成することができる。

また、撮影者は、スルー画像表示時に注目画像の属性や振る舞いに応じた文字を簡単に対応付けることができるので、撮影時の状況とは無関係にユーザが被写体や背景に役割を与えて小さな劇場世界をモニタ上に作り出してスルー画像をみながら楽しむことができる。

また、本発明を携帯電話等、通信機能を備えた装置に適用すれば、被写体に文字を対応付けて撮影したあと、携帯電話の無線送信機能を用いてインターネットに接続し、生成された絵日記風の画像を簡単にウエブサイトにアップロードできる。

本発明の撮像装置は、撮影時にスルー表示されるカメラ視野内の被写体（注目画像）を選ぶと、撮影環境や注目画像の動作や表情等の状態に応じた文字列を出力し、注目画像とその文字列を関連付けて表示してなる画像ブログを生成する。なお画像ブログという文言は説明が分かりやすいように使用しているものであって、格別限定するものではなく、画像日記、画像物語、ストーリー創作などの文言をあてはめてもよい。ブログとは本来ウエブ上のＵＲＬとともに日記や論評などを記録するものであり、本実施の形態の撮像装置ではカメラ内で完結してブログが作成できるので、この発明で使用するブログの意味は狭義のブログとは多少異なる。

本発明において属性とは、人物、動物、植物、生物、年齢層山、川、建造物等ある概念で分類できる分類区分のことを意味する。注目画像を決定したとき、その画像がどの属性に属するかを識別することができる。この属性は細かく設定しても良いし、大ざっぱに設定しても良い。
また、本発明は、撮像機能を備えた機器、例えば、デジタルカメラやカメラ付き携帯電話、カメラ付き携帯情報機器（ＰＤＡ（Personal Digital Assistant））などに適用できる。以下、図面を参照して本発明の実施形態について説明する。

＜実施形態１＞
図１は、本発明の実施形態に係わる撮像装置の一実施例として用いるデジタルカメラ１００の電子回路の構成例を示すブロック図である。

デジタルカメラ１００は、制御部１０、撮像部１１、画像データ処理部１２、画像認識処理部１３、画像データベース１４、プログラム格納メモリ１５、一時記憶メモリ１６、画像表示部１７、画像記録部１８、文字列データベース２０、外部入出力部４０、操作部６０を備えており、本発明に基づく画像ブログ生成モード（機能）を含む静止画撮影モードおよび動画撮影モード、および公知のオートフォーカス機能等を備えている。また、撮像部１１および画像データ処理部１２は本発明の撮像系を構成する。制御部１０は画像データ処理部１２、画像認識処理部１３を兼ねてもよい。

制御部１０は、デジタルカメラ１００全体の制御動作を司るものであり、ＣＰＵ若しくはＭＰＵ（以下、ＣＰＵ）と、該ＣＰＵで実行される動作プログラム等を記憶したフラッシュメモリ等のプログラム格納メモリ、及びワークメモリとして使用されるＲＡＭ等により構成されている。また、制御部１０は画像データ処理部１２からの画像データ（輝度及び色差信号）のＤＲＡＭ等の一時記憶メモリ１６へのＤＭＡ転送終了後に、この輝度及び色差信号を一時記憶メモリ１６から読出し、画像表示部１７の表示用バッファ１７１に書き込むよう制御する。また、送信指示があると通信制御プログラムの制御により外部入出力部４０を介してインターネットと接続し、撮影画像や画像ブログをウエブサイトにアップロードすることができる。

撮像部１１は、撮影レンズのほか、基本モードである撮影モードにおいてズームレンズを移動させて光学ズーム動作を行わせるズーム駆動部やフォーカスレンズを移動させて合焦動作を行わせるＡＦ駆動部等を含むレンズ駆動系（図示せず）と、撮像素子、信号変換部、撮像タイミング制御部や撮影補助光源等を含む撮像信号系（図示せず）を有しており、撮像レンズを経由し、撮像レンズの撮像光軸後方に配置された撮像素子に入射した被写体光像は撮像素子によって光電変換され撮像信号（アナログ）として出力される。撮像素子の出力信号は信号変換部で相関二重サンプリングおよびゲイン調整され、Ａ／Ｄ変換によりデジタル信号に変換される。Ａ／Ｄ変換された撮像信号は所定の周期で画像データ処理部１２に送られる。撮像素子は、被写体の二次元画像を撮像するＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの固体撮像デバイスであり、典型的には毎秒数十フレームの画像を撮像する。なお、撮像素子はＣＭＯＳに限定されない。

画像データ処理部１２は、撮像部１１から出力されたデジタル信号（画像データ）に対して画像補間処理及びγ補正処理を含むカラープロセス処理を行ってデジタル値の輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒを生成し、ＤＲＡＭ等の一時記憶メモリ１６にバス９０を介してＤＭＡ転送する。

画像認識処理部１３は、画像ブログ生成モード時に、一時記憶メモリ１６に記憶されている１フレーム分の画像データの中から注目画像として指定された画像の特定部分領域（例えば、注目画像が人物や動物の場合は顔画像領域）から画像（特定部分）を抽出しバス９０を介して制御部１０に送出する。また、抽出した特定部分とスルー表示される画像の特定領域内の画像を比較して類似判定によりスルー表示される画像のなかから注目画像を特定する。更に、抽出した特定部分と画像データベースの画像パターンを比較して注目画像の属性や感情を判別する。

人物等の顔画像領域の抽出処理は、公知の技術（例えば、特開平２００４−１４５５６３号公報に記載の技術）を適宜用いることができる。なお、この特定部分の認識処理のために専用の回路を設けてもよいし、プログラム格納メモリ１５等のメモリに画像認識処理のための画像認識処理プログラムを格納しておき、制御部１０で画像認識処理プログラムを実行させるようにしてもよい。

画像データベース１４には画像の属性ごとにいくつかの画像パターンが登録されており、画像認識処理部１３による注目画像の属性および感情判定の際に参照される。画像データベース１４の構成例等については後述する（図３の説明参照）。

プログラム格納メモリ１５は、本発明に基づく画像ブログ生成プログラムや、撮像制御プログラム、画像処理プログラム、通信制御プログラム等の各種プログラムを格納し、処理段階に応じて呼び出され制御部１０によって実行される。プログラム格納メモリ１５に格納されるプログラムの機能等については後述する（図２の説明参照）。また、上述した画像認識処理部３３を設けることなくプログラム格納メモリ１５に画像認識処理のための画像認識処理プログラムを格納するようにしてもよい。

一時記憶メモリ１６はＤＲＡＭ等のメモリで構成され、画像データ処理部１２から取得する画像データを一時記憶するバッファメモリや、画像認識処理部１３による注目画像の顔画像抽出処理用のワークメモリや、本発明の画像ブログ生成方法に基づく画像ブログ生成用のワークメモリ等、各種プログラムによるデータ処理に必要なワークメモリとして用いられる。

画像ブログ生成モードにおいて、一時記憶メモリ１６には、画像ブログ生成時に用いられる部分領域として、画像認識処理部１３による認識処理の際、注目画像から抽出された特定部分（たとえば、人物や動物の場合、顔）の特徴データを保持する特徴データ保持領域１６１および注目画像に関連付けて合成する文字列を保持しておく文字列保持領域１６２がそれぞれ複数個確保される。また、取得した季節（季節コード）を保持しておく季節データ保持領域１６３も確保される。

画像表示部１７はＶＲＡＭ等の表示バッファメモリ１７１や、表示制御部１７２及び液晶モニタ１７３を有し、制御部１０の制御下で表示用バッファメモリ１７１に書き込まれた上記輝度及び色差信号を表示制御部１７２を介して定期的に読み出し、これらのデータを基にビデオ信号を生成して液晶モニタ１７３に出力する。

画像記録部１８は、画像データの圧縮または伸張を行うデータ圧縮伸張部、ＤＲＡＭ等のバッファメモリから転送されるデータの記録媒体１９への書き込みや記録媒体１９からの読み出しを行うコントローラ（図示せず）から構成されている。

記録媒体１９は内蔵メモリ（フラッシュメモリ）や光ディスク、あるいは着脱可能なメモリーカード等の書き換え可能な記録媒体からなり画像記録部１８によって書き込まれた撮影画像データや、生成された画像ブログや、データ撮像情報等を保存記録する。また、文字列データベース２０を記録媒体１９に予め格納しておくようにしてもよい。

文字列データベース２０は、注目画像に関連付けて表示する文字列を所定の分類区分（被写体の属性や感情、撮影環境（季節、気候、撮影場所等）や、相手方や、言葉の種類等）に基づいて簡易に検索可能に構成されており、文字列データベース２０に格納されている文字列は撮影時に、撮影環境や被写体の属性によって自動的に注目画像に関連付けられて表示される。文字列は、また、キー操作（実施例ではカーソル操作）等により絞り込まれ、注目画像に視覚的に関連付けて表示することもできる。文字列データベース２０の構成例等については後述する（図４の説明参照）。

外部入出力部４０は、デジタルカメラ１００とＵＳＢケーブル等の接続手段やインターネット等の通信ネットワークによりデジタルカメラ１００に接続する外部装置との間で画像データやプログラム等を入出力する際の入出力インターフェィス等からなる。

操作部６０は、モードダイアル６１、カーソルキー６２、ＳＥＴキー６３、シャッターキー６５、メニューキー６６、および電源ボタン６９等のキーと、それらのキーが操作されると操作されたキーの操作信号を生成して制御部１０に送出するキー処理部（図示せず）等から構成されている。

モードダイアル６１は撮影モードや再生モードの選択を行うものである。ユーザはモードダイアル６１を操作して、各種撮影モードのほか本発明に基づく画像ブログ生成モードを選択することができる。画像ブログ生成モードは静止画撮影モードまたは動画撮影モード下で表示される処理選択メニューで選択できる。なお、モードダイアル６１で画像ブログ生成モードを選択できるように構成してもよい。

カーソルキー６２はモード設定やメニュー選択等に際して液晶モニタ１７３に表示されるメニューやアイコン等をカーソルでポイント（指定）する際に操作するキーであり、カーソルキー６２の操作によりカーソルを上下又は左右に移動させることができる。

ＳＥＴキー６３はカーソルキー６２によってカーソル表示されている項目を選択設定する際に押されるキーである。また、画像ブログ生成モード時には液晶モニタ１７３の中央部分（フォーカス領域）にある画像をプログ対象の画像（注目画像）として指定する注目画像指定キーとして機能させることもできる。また、カーソルキー６２およびＳＥＴキー６３は本実施形態において、注目画像やブログ用文字列の絞込み操作手段として用いることができる。

シャッターキー６５は、撮像時にレリーズ操作を行うもので、２段階のストロークを有しており、１段目の操作（半押し状態）でオートフォーカス（ＡＦ）と自動露出（ＡＥ）を行わせるための合焦指示信号を発生し、２段目の操作（全押し状態）で撮像処理を行うための撮像指示信号を発生する。なお、画像ブログ生成モード下では２段目の操作（全押し状態）があると、撮影処理が行われ、注目画像と文字列が関連付けられて記録媒体に記録される。
また、画像ブログ生成モード時には、上述したＳＥＴキー６３に代えて、液晶モニタ１７３の中央部分（フォーカス領域）にある画像をプログ対象の画像（注目画像）として指定する注目画像指定キーとして機能させるようにしてもよい。

メニューキー６６は、その時点で処理可能な選択メニューやアイコンを表示する場合に操作されるキーである。

図２はプログラム格納メモリ１５に格納されているプログラムの例を示す図であり、図示の例ではプログラム格納メモリ１５には、撮像制御プログラム１５１、画像処理プログラム１５２、通信制御プログラム１５３、および本発明に基づく画像ブログ生成プログラム１５４等が格納されている。また、画像認識処理部１３として専用の回路を設けない場合は、プログラム格納メモリ１５に画像認識処理のための画像認識処理プログラム１５５を格納するようにしてもよい。通信制御プログラムはインターネットとの接続制御プログラムを含んでいる。

なお、プログラムを格納するメモリはプログラム格納メモリ１５に限定されない。プログラムはその構成や使用目的に応じてプログラム格納メモリ１５以外のメモリ（例えば、記録媒体１９）に格納される。また、プログラムはその構成や使用目的に応じて外部入出力部４０を介してダウンロードして実行することもできる。

撮像制御プログラム１５１は、いくつかのサブプログラムからなり、制御部１０がレンズ駆動系や撮像信号系の動作制御や各種プログラムの実行タイミングの制御等を行うように機能する。画像処理プログラム１５２は、いくつかのサブプログラムからなり、画像データ処理部１２の動作制御や画像表示時の画像処理、画像記録／読み出し時の画像圧縮／伸張処理等を行うように機能する。通信制御プログラム１５３は、いくつかのサブプログラムからなり、外部入出力部４０によるデジタルカメラ１００と外部装置との間での画像データやプログラム等の送受信を制御するように機能する。また、本発明により生成された画像ブログをインターネット上のサイトに送信するよう機能することもできる。

画像ブログ生成プログラム１５４は、撮影時にスルー表示されるカメラ視野内の被写体（注目画像）を選ぶと、注目画像の属性や撮影環境や注目画像の動作等に応じた文字列を出力し、注目画像とその文字列を視覚的に関連付けて表示してなる画像ブログを生成する。画像ブログ生成プログラム１５４の動作例を図５のフローチャートに示す。

図３は注目画像の属性等の判定に用いる画像データベースの構成例を示す図である。画像データベース１４は図示のように画像の種類ごとに階層的に分類され、それぞれについていくつかの画像パターンが登録されている。

図示の例では第一分類（属性）として画像の種類（人物、動物、昆虫、魚、鳥、風景、建造物、・・）に分類され、第２分類として種類ごとに分類（（人物の場合は、例えば、高齢者、中年、青年、少年、幼児、乳幼児）、（動物の場合は、動物の種類および成獣、幼獣の別）、（昆虫の場合は、昆虫の種類および成虫、幼虫の別、・・、（風景の場合は、山、川、海、といった種類別）・・）され、最終的に分類された要素ごとにいくつかの画像パターンＡ１、Ａ２、・・・、Ａ１０、・・・、Ｄ１、Ｄ２、・・Ｄ２０、・・・が登録されている。また、各画像パターンＡ１、Ａ２、・・・、Ａ１０、・・・、Ｄ１、Ｄ２、・・Ｄ２０、・・・の多くは、正面パターン、左右側面パターン、俯瞰パターン、鳥瞰パターン別に登録されている。更に、画像が人物若しくは動物の場合は感情別にコード付けされて登録されている。なお、図示の例では分類の階層を２としたがこれに限定されない。

また、図示していないが、各分類階層ごとにコード付けなされている。これにより、画像認識部１３で注目画像と画像パターンＤ２との類似度が最も高いときこの注目画像は少年（人物）であると判定される。人物の分類コードを「０１」少年の分類コードを「０４」画像パターンＤ２と判定された注目画像のコードは「０１０４０１」となる。また、少年「喜び」の表情を示しているとし、「喜び」の分類コードを「０１」とすると、分類コードは「０１０４０１」となり、「後述する文字列データベースの注目画像の「属性」＋「感情」のコード「０１０４０１」（喜んでいる少年、（人物））と対応する。
これらの属性のよる分類、画像パターンの登録と認識の技術は、基本的には顔認識の技術と同じものである。属性としてＡさん、Ｂさん、・・・を分類・認識してもよい。画像の種類として人物個人の識別を行うか、人か動物かを識別するか、年代を識別するか、動植物の種類を識別するか、表情を識別するか・・・の違いである。

（文字列データベース）
注目画像と関連付けて表示する言葉（文字列）は、（１）撮影者が事実を述べる場合と、（２）撮影者の意図に応じて注目画像の台詞を変える場合によって異なり、（３）指定した被写体の年齢層（高齢者、中年、青年、学生、高校生、中学生、小学生、幼児、乳幼児）に応じて言葉使い、（４）職業、（５）シチュエーション（仕事中、家庭内、友人と一緒、飲み屋、・・）、（６）話しかける相手（被写体が一人の場合はカメラ外の相手の属性）、（７）若しくは複数の画像間で会話している構成では対話相手の属性や感情）によって異なる。

また、自動設定可能要素として、季節、時間、天候、イベントなどによりよく用いられる言葉（文字列）がある。
さらに、上記各言葉について標準語、方言（秋田弁、青森弁、山形弁、名古屋弁、大阪弁、京都弁、広島弁、博多弁、長崎弁、鹿児島弁、琉球弁）等の別で表現したい場合もある。
文字列データベースは、このような、被写体の属性や対話相手との関係や、職業や、シチュエーション、標準語・方言の別、自動設定可能要素等を考慮してインデックスで検索可能に関係付けられた語句（文字列）の集まりで構成されている。

図４は文字列データベース２０の構成例を示す図である。文字列データベース２０は、注目画像に関連付けて表示する文字列を所定の分類区分に基づいて簡易に検索可能に構成されている。なお、本実施形態では注目画像の分類基準（および分類コード）は画像データベース１４の分類基準（および分類コード）と一致（若しくは対応）するように構成することが望ましい。

文字列データベース２０の分類基準として、図示の例では、画像の属性２１、感情２２、季節２３、相手２４、言葉の種類２５が示されている。属性２１は、注目画像が人物の場合は、「年齢層（（老人、中年、・・・乳幼児））別、動物や昆虫、魚、鳥、植物の場合は「成獣（虫、魚、鳥、木（花））、幼獣（虫、魚、鳥、木（全体））、その他」の別、風景の場合は「明暗、新鮮、荒廃、その他」の別、に分類されている。

感情２２は、注目画像が人物または動物の場合に各属性に対応付けられた、「喜び」、「悲しみ」、「怒り」、「恐怖」、「好感」、「嫌悪」等の感情を表す言葉（文字列）からなる。

季節２２は、デジタルカメラ１００のカレンダー機能を基にして暦に従って自動的に決定できる春夏秋冬の別が属性ごとに示されている。なお、季節の分類として春夏秋冬とは別に季節行事（暦に従った行事、例えば、正月、節句、お彼岸、お盆、大晦日、クリスマスイブ等）用の言葉辞書を文字列データベース２０のサブ辞書として設けるようにしてもよい。

相手２４としては、季節別に、注目画像（撮影者による注目画像への言葉）、撮影者（注目画像による撮影者への言葉）、注目画像同士に分類されている。

言葉の種類２５としては、例えば、相手別に、「おはよう」、「今日は」等の挨拶言葉２５−１、「綺麗」、「汚い」等の美的表現２５−２、「旨い」、「不味い」等の嗜好表現２５−３、「早い」「遅い」、「すぐ行く」等の行動表現２５−４、「大きい」、「小さい」、「重い」「長い」等の尺度的表現２５−５、「〜してよ」といった依頼言葉２５−６、「おーい」といった呼びかけや、「オギャー」、ワンワン」、「コケコッコー」といった鳴き声２５−７、「ヨシヨシ」といったあやし言葉等を一括したその他２５−８として分類することができる。

なお、図示していないが、注目画像の属性に係わりなく撮影者が記入する説明文辞書や、慣用句辞書や、「人、動物、植物の名前や物の名称、地名」等の名称辞書や、「ガガーン」「ズドーン」、「ドシーン」、「ブー」といったような擬音辞書や、類似語や同義語を登録した類似語・同義語辞書や、方言を登録した方言辞書を文字列データベース２０のサブ辞書として設けることが望ましい。

（画像ブログ生成方法）
図５は、画像ブログ生成時の制御部１０の制御動作例を示すフローチャートであり、画像ブログ生成プログラムによる制御動作に相当する。以下、本実施形態に係わる画像ブログ生成時の動作について図５と、図１、図３、および図４を基に説明する。

画像ブログ生成モードが選択されると、注目画像カウンタＪの値を１に設定し（ステップＳ１）、スルー画像の表示を開始する（ステップＳ２）。

次に、注目画像指定操作（例えば、ＳＥＴキー６３の押し下げ操作）を検出するとステップＳ４に進み、そうでない場合はステップＳ２に戻る（ステップＳ３）。

次に、合焦領域（カメラ中央に示される矩形領域）に表示されている画像を注目画像として画像認識処理部１３に注目画像の特定部分（人物、動物の場合は顔部分）について画像認識処理を行わせ、画像認識処理部１３によって抽出された特定部分の特徴を一時記憶メモリ１６に確保されている特徴データ保持領域１６１のうちＪ番目の領域に保持（記憶）する（ステップＳ４）。

注目画像に関連付けて表示する文字列の種類を選択するための文字列種類自動表示処理を実行する。文字列種類自動表示に係わる動作例を図６のフローチャートに示す（ステップＳ５）。

ユーザは、上記ステップＳ５の文字列種類自動表示処理により表示された文字列から所望の文字列を得るためにカーソルキー６２を操作して、文字列選択や連想検索等による文字列絞込み処理により所望の文字列を選択し、所望の文字が確定すると確定キー（本実施形態では、ＳＥＴキー６３）を押すので、制御部１０は、確定キーの押し下げを検出すると、その文字列を注目画像に関連付けるべき言葉として、一時記憶メモリ１６の特徴データ保持領域１６１のうちＪ番目の領域に確保されている特徴データと対応付けて文字列保持領域１６２のうちＪ番目の領域に保持（記憶）する（ステップＳ６）。

次に、上記ステップで絞り込んだ文字列（表示文字列）と注目画像を視覚的に関連付けて液晶モニタ１７３に表示する（図９、図１０参照）（ステップＳ７）。

次の注目画像指定操作（例えば、ＳＥＴキー６３の押し下げ操作）の有無を調べ、注目画像指定操作を検出するとステップＳ９に進み、そうでない場合はステップＳ１４に進む（ステップＳ８）。

注目画像指定操作を検出すると、合焦領域（カメラ中央に示される矩形領域）にある画像を注目画像として画像認識処理部１３に特定部分（人物、動物の場合は顔部分）について画像認識処理を行わせ、画像認識処理部１３によって抽出された特定部分の特徴を一時記憶メモリ１６の特徴データ保持領域１６１のうちＪ番目の領域に確保されている特徴データと比較し（ステップＳ９）、類似度が所定の閾値を超えた場合はステップＳ１１に進み、所定の閾値以下の場合はステップＳ１３に進む（ステップＳ１０）。

類似度が所定の閾値を超えた場合は、指定された注目画像がすでに指定済みの注目画像の被写体と同一被写体と判定して抽出された特定部分の特徴を一時記憶メモリ１６の特徴データ保持領域１６１のうちＪ番目の領域に確保されている特徴データに上書きする（ステップＳ１１）。

次に、液晶モニタ１７３の所定領域にその注目被写体に関連付けられている言葉（文字列）を変更するか否かの選択メニューを表示して撮影者の選択を促し、撮影者が「変更」を選択するとステップＳ５（図６のステップＳ５−２）に戻る。「変更」を選択しない場合はＳ１３に進む（ステップＳ１２）。

注目画像カウンタＪの値に１を加えてステップＳ２に戻る。これにより、新たな注目画像に文字列を関連付けるための処理を開始できる（ステップＳ１３）。

シャッターキー６５が操作されたか否かを調べ、シャッターキー６５の操作がされていない場合はステップＳ２に戻る（ステップＳ１４）。

シャッターキー６５が半押し操作されるとオートフォーカス処理を行なう。オートフォーカス終了後、シャッターキー６５が全押し操作されると撮影処理を実行し、撮影された画像の各注目画像に一時記憶メモリ１６の文字列保持領域１６２に保持（記憶）されている文字列を視覚的に関連付けることができるように合成（たとえば、文字列を画像に上書き合成）し、記録部１８を制御して記録媒体に記録させて１枚分の画像の撮影を終了する（ステップＳ１５）。

制御部１０は、画像ブログ送信指示があると通信制御プログラムの制御により外部入出力部５０を介してインターネットと接続を試み、接続が成立すると、合成された画像ブログを外部入出力部５０を介してインターネット上のウエブサイト（ホームページ）にアップロード（送信）する。なお、ウエブサイトのＵＲＬは（図示しない設定画面において）予め設定済みであるものとする（ステップＳ１５）。

上記図５のフローチャートに示した動作により、デジタルカメラ１００はスルー表示時に撮影者が注目画像として指定した被写体画像に言葉（文字列）を視覚的に関連付けた画像ブログを生成し、簡単にインターネット上のウエブサイトにアップロードすることができる。また、ステップＳ７以下の動作により、複数の注目画像を指定し、それぞれ言葉（文字列）を視覚的に関連付けることもできる。

なお、図５に示したフローチャートでは、注目画像指定操作手段としてＳＥＴキー６３を用い、ＳＥＴキー６３が押されたときにステップＳ２およびステップＳ７でカメラの合焦領域にある画像を注目画像とするように構成したが、注目画像指定操作手段はＳＥＴキー６３に限定されない。例えば、シャッターキー６５を注目画像指定操作手段として用いるようにしてもよい。

また、カメラの合焦領域にある画像を注目画像とするのではなく、カーソルキー６２によってカーソルを画面中の所望の画像部分に移動させ、ＳＥＴキー６３等の注目画像指定操作手段の操作があるとカーソルが位置している部分画像を注目被写体とするようにしてもよい。

図５に示したフローチャートでは注目画像に関連付ける文字列の表示位置を所定の位置としたが、文字列の表示位置としては、注目画像の頭上、足元、口元、文字表示領域内（画面上で画像表示領域と文字表示領域を別にした場合）がある。

図６は、図５のフローチャートのステップＳ５の文字列種類自動表示処理時の動作例を示すフローチャートである。

制御部１０は、図５のステップＳ４での画像認識処理部１３の認識結果から得られる注目画像の属性（属性コード＋感情表現コード（人物、動物の以外の場合は「００」）と、現在日時とデジタルカメラ１００のカレンダー機能から季節（季節コード）を取得して一時記憶メモリ１６の季節データ保持領域１６３に保持する（ステップＳ５−１）。

次に、液晶モニタ１７３の所定の位置に、相手２３（注目画像、撮影者、注目画像同士）を選択するための表示（図示せず）を行いカーソルを位置づけて撮影者に相手先の選択を促し、相手先が選択されるとステップＳ５−３に進む（ステップＳ５−２）。

次に、液晶モニタ１７３の所定の位置に言葉の種類（挨拶、嗜好的表現、行動表現、尺度表現、依頼言葉、その他）を選択させるための表示（図７参照）を行いカーソルを位置づけて撮影者に言葉の種類の選択を促し、言葉の種類が選択されるとステップＳ５−４に進む（ステップＳ５−３）。

制御部１０は、ステップＳ５−１で取得した注目画像の属性、感情及び季節と、ステップＳ５−２、Ｓ５−３で選択された相手先および言葉の種類をキーとして文字列データベース２０を検索し、検索された言葉の種類に属する文字列（一個または複数個）を表示する（ステップＳ５−４）。

図７は、文字の種類を選択するための種類選択メニューの表示例を示す図であり、液晶モニタ１７３の画面の下部には図６のフローチャートのステップＳ５−３で言葉の種類（挨拶、嗜好的表現、行動表現、尺度表現、依頼言葉、その他）を選択するために文字表示される。撮影者はカーソル６２を操作して所望の選択メニューを指定し、ＳＥＴキー６３を押すことにより、注目画像に関連付けて表示する言葉（文字列）の種類を確定することができる。

（文字選択による文字列絞込みおよび文字列変更）
上記図６のフローチャートのステップＳ５−４で撮影者が選択した言葉の種類に属する文字列を文字列データベース２０から取得するが、取得した文字列は、通常、複数あるので図５のフローチャートのステップＳ５で複数の文字列の中から所望の文字列を迅速に取得するための絞込みを行っている。文字列の絞り込みは公知の絞込み方法を用いることができるが、効率的な絞込みを行うために同音語句または同義語句（同じ意未を持つ語句）の中から選択可能に表示して所望の文字列を絞り込むといった連想的な絞込みを行うことが望ましい。
また、文字列データベース２０には膨大な数の文字列が登録されているが、登録されている文字列では言葉として十分な表現ができない場合がある。このような場合に、絞り込まれた文字列の前後に文字を付加したり、文字列データベース２０に未登録の表現がある場合には撮影者による文字列ができることが望ましい。
以下、文字選択による文字列絞込みおよび文字列変更時の撮影者のキー操作、制御部１０の動作例および文字列表示例について図８〜図１０を基に説明する。

図８は、文字列絞込みの説明図であり、液晶モニタ１７３の画面の下部には図６のフローチャートのステップＳ５−４で文字列データベース２０から取得した文字列７１，７２、・・７５とスクロール指示欄７６、連想検索指示欄７７、方言指定欄７８、五十音による検索指示欄７９が表示されている。

表示されている文字列７１，７２、・・７５は撮影者がカーソル６２でスクロール欄７６を指定すると順方向または逆順方向にスクロールし、指定された言葉の種類の範囲内で文字列データベース２０から取得した文字列を順次表示する。

また、表示されている文字列７１，７２、・・７５のうちある文字列（例えば、文字列７２をカーソル６２で指定したあと、連想検索指示欄７７を指定すると、その文字列の類似語または同義語からなる連想辞書から取得され表示されるので、この連想検索により連想的に文字列の検索ができ、撮影者はカーソル６２の操作により所望の文字列を選択することができる。

表示されている文字列７１，７２、・・７５のうちある文字列を選択した後、方言指定欄７８を指定すると、「秋田弁、山形弁、名古屋弁、・・」といったように方言の種類が順次スクロール表示されるので所望の方言の種類を選択すると、選択した文字列が方言辞書により対応の方言に変換される。

五十音による検索指示欄７９をカーソル６２で指定すると、五十音が一文字ずつ検索指示欄７９内に表示されるので、ＳＥＴキー６３を押して五十音検索用の一文字を指定できる。そこで、表示されている文字列７１，７２、・・、７５をスクロールする手間を省きたいような場合には、五十音による検索指示欄７９で先頭文字を選択すると、五十音のうちの一文字（例えば、言葉の種類が美的表現の場合「う」）を選択すると、先頭文字が選択された文字と一致する文字列（例えば、「美しい、美しいですね、美しいわ、麗しい、・・」）が表示されるので撮影者はカーソル６２の操作により所望の文字列を選択することができる。
また、さらに先頭から２番目の文字として五十音のうちの一文字を選択し、先頭文字によって表示された文字列の中から先頭から２番目の文字が選択された文字と一致する文字列を表示するようにして文字列を絞り込むこともできる。

文字列を選択したが表現がしっくりしない場合や、文字列データベース２０に登録されていない言葉を注目画像に関連付けて表示したい場合には、五十音による検索指示欄７９で選択した文字を選択済みの文字列に追加したり、選択済みの文字列の一部を置換して変更することもできる。また、選択済みの文字列の一部を削除することもできる。

図９は注目画像に対応付けて表示された文字列の一実施例を示す図であり、文字列９３−１、９４−１を注目画像９１、９２の下方に（図９（ａ））、文字列９３−２，９４−２を夕目画像９１、９２の下方に表示（図９（ｂ））した例を示す。このように、注目画像が複数の場合でも文字列を注目画像に視覚的に関連付けて表示できることができる。

図１０は注目画像に対応付けて表示された吹き出しの一実施例を示す図であり、文字列９７を注目画像９６の口元から吹き出る吹き出し枠９８内に表示した例である。なお、図１０の例では文字列の表示位置を注目画像の口元（注目画像が風景や建造物の場合は近傍）とし、吹き出し枠内に表示するようにしたがこれに限定されない。口元に吹き出し枠を表示し、吹き出し枠内に文字列を表示するには公知の技術（例えば、特許文献２（特許第３７１１４１８号）や特許第３０７０９６号に開示の技術）を適宜用いることができる。

＜実施形態２＞
上記実施形態１では撮像装置が音声入力装置を備えていない例を示したが、撮像装置を音声入力装置を備えるように構成し、音声／文字変換部（若しくは音声／文字変換プログラム）により、入力した音声を文字に変換し、注目画像に関連付けて表示するようにすることもできる。

図１１は、実施形態２に係わるデジタルカメラの内部構成例を示すブロック図であり、
デジタルカメラ２００の内部構成は、実施形態１（図１）で示したデジタルカメラ１００の構成に、音声入出力部３１および音声／文字変換部３２を付加した構成でよい。

音声入出力部３１はデジタルカメラ２００の液晶モニタ１７３側に設けられたマイクロフォンであり、入力した音声を音声信号に変換して文字列音声／文字変換部３２に出力する。音声／文字変換部３２は音声入力部３１から入力した音声信号を一音節ごとに音声認識処理により認識して対応する文字列を出力する。

このような音声入出力部３１および音声／文字変換部３２を設けることにより、画像ブログ生成モードでの文字列絞込みを簡単に行うことができる。
具体的には、図５のフローチャートのステップＳ６を、「ユーザは、上記ステップＳ５の文字列種類自動表示処理により表示された文字列から所望の文字列を得るために、音声を発して所望の文字列を選択するので、制御部１０は音声／変換部３１を制御して音声入力部３１からの入力音声信号を音声認識し、出力された文字列とテップＳ５の文字列種類自動表示処理で取得した文字列を比較し、一致した文字列（つまり、類似度が所定の閾値を越えた文字列）を注目画像に関連付けるべき言葉として、一時記憶メモリ１６の特徴データ保持領域１６１のうちＪ番目の領域に確保されている特徴データと対応付けて文字列保持領域１６２のうちＪ番目の領域に保持（記憶）する（ステップＳ６）。」ように構成すればよい。
このように、文字列の絞込みを音声入力装置からの入力音声に基づいて行うよう構成することにより、カーソル操作で絞込みを行う場合に比べ簡単に文字列の絞込みを行うことができる。
＜実施形態３＞

本発明の画像ブログ生成方法をカメラ付き携帯電話機に適用すると、カメラ付き携帯電話機に設けられている文字入力キー若しくはマイクロフォン等を用いて文字列の絞込みを行い、生成した画像ブログをインターネット上のブログサイト（ホームページ）に簡単にアップロードすることができる。

図１２は、本実施形態に係わるカメラ付き携帯電話機３００の内部構成例を示すブロック図であり、携帯電話機３００は、無線送受信部３３１、無線信号処理部３３２、制御部３３３、キー入力部３３４、ドライバ３３７、表示部３３８、加入者情報記憶部３３９、ＲＯＭ３４０、一時記憶メモリ３４１、記憶部３４２、音声信号処理部３４３、スピーカ３４４、マイクロフォン３４５、ドライバ３４６、スピーカ３４７、バイブレータ３４８に加え、撮像部３３５、画像データ処理部３３６、画像認識処理部３４９、画像データベース３５９、音声／文字変換部３５１、および文字列データベース３５２を備えている。また、撮像部３３５および画像データ処理部３３６は本発明の撮像系を構成する。制御部１０は画像データ処理部３３６、画像認識処理部３４９を兼ねてもよい。
なお、文字列の絞込みをキー操作（カーソル操作若しくは文字キーの操作による入力文字）で行うように構成する場合は音声／文字変換部３５１は不要である。

無線送受信部３３１は無線によりアンテナ３１１を介して音声信号やデータを送受する。
無線信号処理部３３２は無線送受信部３３１で受信した音声信号やデータを復調したり、無線送受信部３３１から送信する音声信号やデータを変調するなどの無線通信に必要な処理を行う。
画像プログ生成モード時には通信制御プログラムの制御によりインターネットと接続すると、無線送受信部３３１を介してウエブサイト（ホームページ）に画像ブログを送信できる。

制御部３３３は、図２に示した各内部構成要素を総括し、ＲＯＭ４０に格納されている制御プログラム及び動作プログラムや、本発明に基づく画像ブログ生成プログラムや、通信制御プログラムや、撮像制御プログラム、画像処理プログラム、等の各種プログラムにより、各内部構成要素の動作を制御する。動作プログラムにはモード選択プログラム、本発明に係わる画像認識プログラムおよび画像ブログ生成プログラムを含んでいる。また、通信制御プログラムはインターネットとの接続制御プログラムを含んでいる。

キー入力部３３４は、電源キー、テンキー、送受信開始キー、送受信停止キー、カーソルキー、取り消しキー、決定キー、シャッターキー等の各種キーを含みこれらのキーが操作されると対応する信号が制御部３３３に送出される。カーソルキーは実施形態１（図１参照）のカーソルキー６２に、決定キーはＳＥＴキー６３に、シャッターキーはシャッターキー６６に相当する。

撮像部３３５は、撮像素子、信号変換部、撮像タイミング制御部や撮影補助光源等を含む撮像信号系（図示せず）を有しており、撮像レンズを経由し、撮像レンズの撮像光軸後方に配置された撮像素子に入射した被写体光像は撮像素子によって光電変換され撮像信号（アナログ）として出力される。撮像素子の出力信号は信号変換部で相関二重サンプリングおよびゲイン調整され、Ａ／Ｄ変換によりデジタル信号に変換される。Ａ／Ｄ変換された撮像信号は所定の周期で画像データ処理部３３６に送られる。

画像データ処理部３３６は、撮像部３３５から出力されたデジタル信号（画像データ）に対して画像補間処理及びγ補正処理を含むカラープロセス処理を行ってデジタル値の輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒを生成し、ＲＡＭ等の一時記憶メモリ３４１にバスを介してＤＭＡ転送する。

ドライバ３３７は表示部３３８を駆動し、画像及びデータを表示させる。また、加入者情報記憶部３３９は携帯電話機３００を呼び出すための電話番号やユーザ（加入者）のＩＤ等、プロフィールデータを格納する。

ＲＯＭ３４０は制御部の動作プログラムが記録されたプログラム格納用メモリであり、ＲＯＭ４０には制御プログラム及び動作プログラム、本発明に基づく画像ブログ生成プログラムや、撮像制御プログラム、画像処理プログラム、等の各種プログラムを格納し、処理段階に応じて呼び出され制御部１０によって実行される。また、動作プログラムにはモード選択プログラムが含まれている。また、上述した画像認識処理部３３を設けることなくプログラム格納メモリ１５に画像認識処理のための画像認識処理プログラムを格納するようにしてもよい。

一時記憶メモリ３４１はＤＲＡＭ等のメモリで構成され、無線通信端末として必要な各種データを記憶し、且つ制御部３３３が動作する上で必要なプログラムやデータを記憶する。また、一時記憶メモリ３４１は撮影モードおよび画像ブログ生成モードでは、画像データ処理部３３６から取得する画像データを一時記憶するバッファメモリや、画像認識処理部３４９による注目画像の顔画像抽出処理用のワークメモリや、画像ブログ生成用のワークメモリ等、各種プログラムによるデータ処理に必要なワークメモリとして用いられる。

画像ブログ生成モードにおいて、一時記憶メモリ３４１には、画像ブログ生成時に用いられる部分領域として、画像認識処理部３４９による認識処理の際、注目画像から抽出された特定部分（たとえば、人物や動物の場合、顔）の特徴データを保持する特徴データ保持領域および注目画像に関連付けて合成する文字列を保持しておく文字列保持領域がそれぞれ複数個確保される。また、取得した季節（季節コード）を保持しておく季節データ保持領域も確保される（図１参照）。

記憶部３４２は無線通信端末として必要な各種データや撮影画像や生成された画像ブログを記憶する。また、プログラムを記憶することもできる。携帯電話機３００の電源スイッチがオフの場合でも、記憶部３４２には電源が供給され記憶内容が維持される。

音声信号処理部３４３はマイクロフォン３４５から入力された音声信号を符号化処理したり、無線信号処理部３３２から出力された信号に基づいて音声信号を復号してスピーカ３４７から出力したりする。ドライバ３４６は、スピーカ３４７、バイブレータ３４８を駆動するためのドライバである。

画像認識処理部３４９は、実施形態１（図１）の画像認識処理部１３と同様の構成および機能を備え、画像ブログ生成モード時に、一時記憶メモリ１６に記憶されている１フレーム分の画像データの中から注目画像として指定された画像の特定部分領域（例えば、注目画像が人物や動物の場合は顔画像領域）から画像（特定部分）を抽出しバス９０を介して制御部１０に送出する。また、抽出した特定部分とスルー表示される画像の特定領域内の画像を比較して類似判定によりスルー表示される画像のなかから注目画像を特定する。更に、抽出した特定部分と画像データベースの画像パターンを比較して注目画像の属性や感情を判別する。また、画像データベース３５０は実施形態１（図１）の画像データベース２４と同様の構成および機能を備えている（図３参照）。

音声／文字変換部３５１は、マイクロフォン３４５から入力した音声信号を一音節ごとに音声認識処理により認識して対応する文字列を出力する。

上記カメラ付き携帯電話機３００のキー入力部３３４に設けられている文字入力キーを用いて画像ブログ生成モードでの文字列の絞込みを簡単に行うことができる。
具体的には、図５のフローチャートのステップＳ６を、「ユーザは、上記ステップＳ５の文字列種類自動表示処理により表示された文字列から所望の文字列を得るために、文字入力キーを操作して所望の文字列を選択するので、制御部１０はキー入力部３３４からの入力文字列とテップＳ５の文字列種類自動表示処理で取得した文字列を比較し、一致した文字列（つまり、類似度が所定の閾値を越えた文字列）を注目画像に関連付けるべき言葉として、一時記憶メモリ１６の特徴データ保持領域１６１のうちＪ番目の領域に確保されている特徴データと対応付けて文字列保持領域１６２のうちＪ番目の領域に保持（記憶）する（ステップＳ６）。」ように構成すればよい。
このように、文字列の絞込みを文字入力に基づいて行うよう構成することにより、カーソル操作で絞込みを行う場合に比べ簡単に文字列の絞込みを行うことができる。撮影者は、注目画像指定操作、音声出力、出力された文字列の確認操作といった簡単な操作で文字列を絞り込めば画像ブログを生成することができ、送信指示キーを押すだけで画像ブログをウエブサイトに送信できる。
また、表示部３３８に表示される被写体の属性や言葉の種類等の選択を入力装置からの入力音声に基づいて行うようにしてもよい（実施形態２参照）。

本発明の実施形態に係わる撮像装置の一実施例として用いるデジタルカメラの電子回路の構成例を示すブロック図である。 プログラム格納メモリに格納されているプログラムの例を示す図である。 注目画像の属性判定に用いる画像データベースの構成例を示す図である。 文字列データベースの構成例を示す図である。 画像ブログ生成時の制御部の制御動作例を示すフローチャートである。 図５のフローチャートの文字列種類自動表示処理時の制御部の動作例を示すフローチャートである。 種類選択メニューの表示例を示す図である。 文字列絞込みの説明図である。 注目画像に対応付けて表示された文字列の例である。 注目画像に対応付けて表示された吹き出しの例である。 実施形態２に係わるデジタルカメラの内部構成例を示すブロック図である。 実施形態３に係わるカメラ付き携帯電話機の内部構成例を示すブロック図であり、

符号の説明

１０，３３３ 制御部
１１，３３５ 撮像部
１２，３３６ 画像データ処理部
１３、３４９ 画像認識処理部
１４、３５０ 画像データベース
１５ プログラム格納メモリ
１６、３４１ 一時記憶メモリ
１７ 画像表示部
１８ 画像記録部
２０、３５２ 文字列データベース
３１ 音声入力部
３２、３５１ 音声／文字変換部
４０ 外部入出力部
６０ 操作部
１００、２００、２００‘ デジタルカメラ
３００ カメラ付き携帯電話機
３４５ マイクロフォン

Claims (9)

1. 被写体像を取り込んで画像データに変換し、撮影待機時に被写体画像をスルー表示する撮像系を備えた撮像装置において、
   文字列を所定の分類基準により分類し、分類した各文字列を検索可能に記録した文字列データベースと、
   前記撮像系によってスルー表示される画像のうちから文字列を関連付けて表示するための注目画像を指定する注目画像指定手段と、
   前記文字列データベースから前記注目画像指定作手段によって指定された注目画像に関連付けて表示するための文字列を取得する文字列取得手段と、
   前記文字列取得手段によって取得された複数の文字列の中から前記注目画像に関連付けて表示する文字列を絞り込むための文字列絞込み手段と、
   前記文字列絞込み手段によって絞り込まれた文字列と前記注目画像とを視覚的に関連付けて表示する表示制御手段と、
   前記文字列絞込み手段によって絞り込まれた文字列と前記注目画像とを視覚的に関連付けて表示できるように合成しメモリに記録する記録制御手段と、
   を備えたことを特徴とする撮像装置。
2. 前記所定の分類基準は、画像の属性を分類基準として含み、
   前記属性ごとに画像の特定部分のパターンを複数登録した画像データベースと、
   前記注目画像から前記画像データベースに登録されている画像パターンに応じた部分を抽出し、前記画像データベースに登録されている画像パターンと比較して注目画像の属性を取得する画像認識処理手段を備え、
   前記文字列取得手段は、前記画像認識処理手段によって取得された注目画像の属性に基づいて該注目画像に関連付けて表示するための文字列を取得する文字列自動取得手段を含むことを特徴とする請求項１に記載の撮像装置。
3. 前記文字列取得手段は、前記分類基準に属する各分類の名称を順次表示する分類名表示手段と、前記分類名表示手段によって表示された分類名の中から所望の分類を選択するための分類選択手段を含み、この分類選択手段によって選択された分類に基づいて前記注目画像に関連付けて表示するための文字列を取得することを特徴とする請求項１または２に記載の撮像装置。
4. 前記文字列絞込み手段は、前記文字列取得手段によって取得された複数の文字列の中から前記注目画像に関連付けて表示する文字列を絞り込む絞込み手段を含むことを特徴とする請求項１に記載の撮像装置。
5. 音声入力装置と音声入力装置から入力した音声信号を文字に変換する音声／文字変換手段を備え、
   前記文字列絞込み手段は、前記音声／文字変換手段によって変換された文字を基に前記文字列取得手段によって取得された複数の文字列の中から前記注目画像に関連付けて表示する文字列を絞り込む音声絞込み手段を含むことを特徴とする請求項１に記載の撮像装置。
6. 文字を入力するためのキー入力手段を備え、
   前記文字列絞込み手段は、前記キー入力手段によって入力された文字を基に前記文字列取得手段によって取得された複数の文字列の中から前記注目画像に関連付けて表示する文字列を絞り込む絞込み手段を含むことを特徴とする請求項１に記載の撮像装置。
7. 更に、画像送信指示を検出すると、前記文字列と前記注目画像とを視覚的に関連付けて表示するように合成した画像をインターネット上のウエブサイトに送信する画像送信制御手段を備えたことを特徴とする請求項１に記載の撮像装置。
8. 被写体像を取り込んで画像データに変換し、撮影待機時に被写体画像をスルー表示する撮像系を備えた撮像装置の画像生成方法において、
   前記撮像系によってスルー表示される画像のうちから文字列を関連付けて表示する注目画像を指定する画像指定ステップと、
   この画像指定ステップで指定された注目画像に関連付けて表示するための文字列を、所定の分類基準により分類された各文字列を記録した文字列データベースから取得する文字列取得ステップと、
   この文字列取得ステップで取得した複数の文字列の中から前記注目画像に関連付けて表示する文字列を絞り込む絞込みステップと、
   この絞込みステップによって絞り込まれた文字列と前記注目画像とを視覚的に関連付けて表示する表示ステップと、
   からなり、前記絞り込まれた文字列と前記注目画像とを視覚的に関連付けて表示できるように合成してメモリに記録することを特徴とする画像生成方法。
9. コンピュータを制御するためのプログラムであって、
   前記コンピュータを、
   被写体像を取り込んで画像データに変換し、撮影待機時に被写体画像をスルー表示するスルー表示手段、
   前記撮像系によってスルー表示される画像のうちから文字列を関連付けて表示する注目画像として指定された注目画像に関連付けて表示するための文字列を、所定の分類基準により分類された各文字列を記録した文字列データベースから取得する文字列取得手段、
   この文字列取得ステップで取得した複数の文字列の中から前記注目画像に関連付けて表示する文字列を絞り込む絞込み手段、
   この絞込み手段によって絞り込まれた文字列と前記注目画像とを視覚的に関連付けて表示する表示手段、
   前記絞り込まれた文字列と前記注目画像とを視覚的に関連付けて表示できるように合成してメモリに記録する画像ブログ生成手段、
   として機能させるためのプログラム。

Images