JP5565057B2 - 携帯情報端末、画像登録方法および画像分類整理方法 - Google Patents

Description

本発明は、携帯電話機、ＰＨＳ、ＰＤＡなどの携帯情報端末に係り、特にカメラで撮影した画像データを自動的に電話帳データに登録する携帯情報端末および画像登録方法、カメラで撮影した画像を自動的に分類整理する携帯情報端末および画像分類整理方法に関するものである。

携帯電話機の電話帳は使用頻度が極めて多いデータであるが、予め準備されたフィールドが十分に活用されていないのが現状である。例えばアドレスデータに対して静止画を割り付けることが可能となっているが、ユーザにとっては作業の手間がかかるため、静止画の割り付け機能はあまり使用されていない。静止画が電話帳の必須のフィールドではなく、また画像を設定することが面倒なために静止画の割り付け機能が活用されていないと考えられる。

画像を電話帳に登録する技術として、特許文献１、特許文献２に開示された技術がある。特許文献１に開示された携帯通信端末は、電話や電子メールの着信時にその発信元の着信時画像として用いる画像をカメラで撮像し、通信相手と撮像した画像とを関連付けて電話帳に登録する。

特許文献２に開示された情報処理装置は、カメラで撮像した静止画像に写っている人物の画像を抽出し、この人物画像が電話帳内に登録されていない場合に、抽出した人物画像を未登録顔データとして記憶しておき、テレビ電話による通話を行った際に、通話相手の携帯電話機から送信された通話相手の人物画像と一致する未登録顔データを、テレビ電話の通話相手の人物画像として電話帳に登録する。

また、携帯電話機のユーザにとっては、カメラで撮影した画像の整理も面倒な作業となる。従来、画像を自動的に分類整理する技術としては、特許文献３に開示された技術がある。特許文献３に開示された情報記録装置は、ユーザが所有する免許証、保険証などに埋め込まれている無線タグから個人情報を取得し、カメラで撮影した画像のデータを、無線タグから取得した個人情報に対応する固有の情報記録領域に記録する。

特開２００５−１７６２０８号公報 特開２００７−３１０７６５号公報 特開２００７−３３４９３８号公報

特許文献１に開示された携帯通信端末では、カメラで撮影した画像を電話や電子メールの通信相手と関連付けて電話帳に登録する。しかしながら、カメラで撮影する際に、通信相手と関係のある画像を取得できるとは限らない。したがって、無関係な画像を通信相手と関連付けて電話帳に登録してしまう可能性があった。また、特許文献１に開示された携帯通信端末では、画像の登録先が通信相手の電話帳データに限定されており、通信相手以外の電話帳データに画像を登録できないという問題点があった。

特許文献２に開示された情報処理装置では、通話相手の携帯電話機から送信された通話相手の人物画像と一致する未登録顔データを、テレビ電話の通話相手の人物画像として電話帳に登録する。しかしながら、特許文献２に開示された情報処理装置では、カメラで撮影した人物画像とテレビ電話の通話相手の人物画像との一致・不一致判定という誤差の生じ易い技術を用いるため、他人の未登録顔データを通話相手の人物画像として電話帳に誤って登録してしまったり、未登録顔データが通話相手本人の人物画像データであるにも拘わらず電話帳に登録できなかったりするという可能性があった。また、特許文献２に開示された情報処理装置では、テレビ電話機能を有する装置に限定されるという問題点があった。

また、特許文献３に開示された情報記録装置では、無線タグから個人情報を取得できる場合に限定されるという問題点があった。

本発明は、上記課題を解決するためになされたもので、カメラで撮影した画像データを電話帳データに登録する際の信頼性を向上させることができ、画像データの登録に必要な制約条件を従来よりも緩和することができる携帯情報端末および画像登録方法を提供することを目的とする。

また、本発明は、カメラで撮影した画像データを分類整理するユーザの作業を大幅に軽減することができ、画像データの分類整理に必要な制約条件を従来よりも緩和することができる携帯情報端末および画像分類整理方法を提供することを目的とする。

本発明の携帯情報端末は、画像を撮影するカメラと、音声を収音するマイクと、電話帳データを記憶する電話帳記憶手段と、画像撮影時に前記マイクで収音した音声情報の音声認識処理を行って音声情報をテキスト化する音声認識手段と、この音声認識手段から出力されたテキスト情報と関係する前記電話帳データを検索し、検索した電話帳データに前記カメラによって撮影された画像を登録するデータ関連付け手段と、シャッタボタンが半押しされたときに前記音声情報の録音を開始し、前記シャッタボタンが全押しされたときに前記音声情報の録音を終了する制御手段と、前記シャッタボタンが半押し状態になったときから途中で半押し状態が解除されたときまでの間に録音された音声情報を記憶するバッファとを備え、前記制御手段は、前記シャッタボタンが半押し状態になったときから途中で半押し状態が解除されることなく全押し状態になったときまでの間に録音された音声情報がある場合、この音声情報を前記音声認識処理の対象として前記音声認識手段に出力し、前記シャッタボタンが半押し状態になったときから途中で半押し状態が解除されることなく全押し状態になったときまでの間に録音された音声情報がない場合、前記バッファに記憶された音声情報を前記音声認識処理の対象として前記音声認識手段に出力することを特徴とするものである。

また、本発明の携帯情報端末は、画像を撮影するカメラと、音声を収音するマイクと、前記カメラによって撮影された画像データを記憶する記憶手段と、画像撮影時に前記マイクで収音した音声情報の音声認識処理を行って音声情報をテキスト化する音声認識手段と、前記カメラによって撮影された画像データを前記記憶手段に保存する際に、前記音声認識手段から出力されたテキスト情報と関係する、前記記憶手段の画像保存フォルダを検索し、検索した画像保存フォルダに画像データを保存する画像分類整理手段と、シャッタボタンが半押しされたときに前記音声情報の録音を開始し、前記シャッタボタンが全押しされたときに前記音声情報の録音を終了する制御手段と、前記シャッタボタンが半押し状態になったときから途中で半押し状態が解除されたときまでの間に録音された音声情報を記憶するバッファとを備え、前記制御手段は、前記シャッタボタンが半押し状態になったときから途中で半押し状態が解除されることなく全押し状態になったときまでの間に録音された音声情報がある場合、この音声情報を前記音声認識処理の対象として前記音声認識手段に出力し、前記シャッタボタンが半押し状態になったときから途中で半押し状態が解除されることなく全押し状態になったときまでの間に録音された音声情報がない場合、前記バッファに記憶された音声情報を前記音声認識処理の対象として前記音声認識手段に出力することを特徴とするものである。

また、本発明の携帯情報端末の画像登録方法は、画像撮影時にシャッタボタンが半押しされたときにマイクで収音した音声情報の録音を開始し、前記シャッタボタンが全押しされたときに前記音声情報の録音を終了する制御ステップと、前記音声情報の音声認識処理を音声認識手段で行って音声情報をテキスト化する音声認識ステップと、電話帳記憶手段に記憶された電話帳データを参照し、前記音声認識ステップで得られたテキスト情報と関係する電話帳データを検索して、カメラによって撮影された画像を前記検索した電話帳データに登録するデータ関連付けステップとを含み、前記制御ステップは、前記シャッタボタンが半押し状態になったときから途中で半押し状態が解除されることなく全押し状態になったときまでの間に録音された音声情報がある場合、この音声情報を前記音声認識処理の対象として前記音声認識手段に出力し、前記シャッタボタンが半押し状態になったときから途中で半押し状態が解除されることなく全押し状態になったときまでの間に録音された音声情報がない場合、前記シャッタボタンが半押し状態になったときから途中で半押し状態が解除されたときまでの間に録音された音声情報を記憶するバッファに格納されている音声情報を、前記音声認識処理の対象として前記音声認識手段に出力するステップを含むことを特徴とするものである。

また、本発明の携帯情報端末の画像分類整理方法は、画像撮影時にシャッタボタンが半押しされたときにマイクで収音した音声情報の録音を開始し、前記シャッタボタンが全押しされたときに前記音声情報の録音を終了する制御ステップと、前記音声情報の音声認識処理を音声認識手段で行って音声情報をテキスト化する音声認識ステップと、カメラによって撮影された画像データを記憶手段に保存する際に、前記音声認識ステップで得られたテキスト情報と関係する、前記記憶手段の画像保存フォルダを検索し、検索した画像保存フォルダに画像データを保存する画像分類整理ステップとを含み、前記制御ステップは、前記シャッタボタンが半押し状態になったときから途中で半押し状態が解除されることなく全押し状態になったときまでの間に録音された音声情報がある場合、この音声情報を前記音声認識処理の対象として前記音声認識手段に出力し、前記シャッタボタンが半押し状態になったときから途中で半押し状態が解除されることなく全押し状態になったときまでの間に録音された音声情報がない場合、前記シャッタボタンが半押し状態になったときから途中で半押し状態が解除されたときまでの間に録音された音声情報を記憶するバッファに格納されている音声情報を、前記音声認識処理の対象として前記音声認識手段に出力するステップを含むことを特徴とするものである。

本発明によれば、画像撮影時にユーザに音声情報を入力してもらうことで、その音声情報を携帯情報端末内でテキスト化して電話帳検索を行い、適切な電話帳データに画像を登録することにより、電話帳の画像フィールドに自動的に画像を登録できるようにしたので、これまで使用頻度が高くなかった電話帳データの画像フィールドを有効に利用することができる。本発明では、ユーザが入力した音声情報をテキスト化し、テキスト情報を基に電話帳データを検索するので、無関係な画像を電話帳データに誤って登録してしまったり、登録したい画像を電話帳データに登録できなかったりする可能性を低減することができる。また、本発明では、通信相手の電話帳データか否かに関係なく、画像を適切な電話帳データの画像フィールドに登録することができる。また、本発明では、従来の情報処理装置のようにテレビ電話機能を有する装置に限定されることがなくなる。

また、本発明では、画像撮影時にユーザに音声情報を入力してもらうことで、その音声情報を携帯情報端末内でテキスト化して画像保存フォルダの検索を行い、適切な画像保存フォルダに画像データを保存することにより、手動で整理が必要だった画像データを、自動的に適切な画像保存フォルダへ振り分けるようにしたので、ユーザにとって面倒な作業を大幅に軽減することができる。また、本発明では、従来の情報記録装置のように無線タグから個人情報を取得できる場合に限定されることがなくなる。

本発明の第１の実施の形態に係る携帯情報端末の動作の概要を説明する図である。 本発明の第１の実施の形態に係る携帯情報端末の構成を示すブロック図である。 本発明の第１の実施の形態に係る携帯情報端末の処理の流れを説明する図である。 本発明の第１の実施の形態に係る携帯情報端末の処理の流れを示すフローチャートである。 本発明の第１の実施の形態における人物画像の抽出方法を説明する図である。 本発明の第１の実施の形態における電話帳データの画像フィールドの更新方法を説明する図である。 本発明の第２の実施の形態に係る携帯情報端末の構成を示すブロック図である。 本発明の第２の実施の形態に係る携帯情報端末の処理の流れを示すフローチャートである。 本発明の第２の実施の形態における画像の分類整理方法を説明する図である。 本発明の第３の実施の形態に係る携帯情報端末の構成を示すブロック図である。 本発明の第３の実施の形態におけるコメント挿入処理を説明する図である。

［第１の実施の形態］
以下、本発明の実施の形態について図面を参照して説明する。図１（Ａ）〜図１（Ｄ）は本発明の第１の実施の形態に係る携帯情報端末の動作の概要を説明する図である。図１（Ａ）は携帯情報端末１の初期状態を示している。図中、２はカメラのシャッタボタン、３は表示部である。図１（Ｂ）は携帯情報端末１のユーザによってシャッタボタン２が半押しされた状態を示しており、このシャッタボタン２が半押し状態になったときからユーザが発したコメントの録音を開始する。図１（Ｂ）の例では、ユーザが「東京駅でＡさんとランチ」というコメントを発した場合を示している。

図１（Ｃ）はシャッタボタン２が全押しされた状態を示しており、このシャッタボタン２が全押し状態になったときに携帯情報端末１のカメラで画像を撮影し、またユーザコメントの録音を終了する。図１（Ｄ）はカメラで撮影した画像を電話帳データと関連付ける処理を示す図である。携帯情報端末１は、録音したユーザコメントの音声認識処理を行ってテキスト情報を取得すると共に、カメラで撮影した画像の解析処理を行って人物画像Ｐ１を抽出する。そして、携帯情報端末１は、テキスト情報と関係する電話帳データＤ１を検索し、この電話帳データＤ１と抽出した人物画像Ｐ１のデータ名（例えば「Ｎｏ．３」）とを関連付ける処理を行う。

以下、本実施の形態の携帯情報端末１についてより詳細に説明する。図２は携帯情報端末１の構成を示すブロック図である。図２では、携帯情報端末１の１例としてカメラ付き携帯電話機の構成を示している。携帯情報端末１は、一般的な携帯電話機が備えているマイク１０と、カメラ１１とを備えている。さらに、携帯情報端末１は、マイク１０による録音を制御するマイク制御部１２と、マイク１０が収音した音声情報を一時的に記憶するバッファ１３と、画像撮影時にマイク１０で収音した音声情報の音声認識処理を行って音声情報をテキスト化する音声認識部１４と、音声のテキスト化に使用する音声辞書を記憶する音声辞書記憶部１５と、音声認識部１４から出力されるテキスト情報を一時的に記憶するテキスト情報記憶部１６と、カメラ１１を制御するカメラ制御部１７と、カメラ１１によって撮影された画像の解析処理を行い、この画像から人物画像を抽出する画像情報解析部１８と、カメラ１１から出力された画像データ、および画像情報解析部１８によって抽出された人物画像のデータを記憶する画像データ記憶部１９と、電話帳データを記憶する電話帳記憶部２０と、音声認識部１４から出力されたテキスト情報と関係する電話帳データを検索し、検索した電話帳データに画像情報解析部１８によって抽出された人物画像を登録すると共に、テキスト情報とカメラ１１によって撮影された画像データとを関連付けるインデックス情報を作成するデータ関連付け部２１と、インデックス情報を記憶するインデックス情報記憶部２２と、携帯情報端末としての基本機能を提供する基本電話機能部２３とを備えている。

次に、本実施の形態の携帯情報端末１の動作を図３（Ａ）〜図３（Ｄ）、図４を参照して説明する。図３（Ａ）〜図３（Ｄ）は携帯情報端末１の処理の流れを説明する図、図４は携帯情報端末１の処理の流れを示すフローチャートである。
基本電話機能部２３は、電話通信、電子メールの送受信、電話帳データの作成・登録、ユーザに対する情報表示、ユーザからの操作受け付けなどの携帯情報端末としての基本機能を提供する。これらの基本機能については周知の技術であるので、詳細な説明は省略する。

ユーザの操作によって携帯情報端末１のカメラ１１が起動した後（図４ステップＳ１）、マイク制御部１２は、シャッタボタン２が半押しされたときに（図４ステップＳ２においてＹＥＳ）、マイク１０によって収音される音声の録音を開始する（ステップＳ３）。このシャッタボタン２が半押しの状態で、カメラ制御部１７は、カメラ１１のレンズの焦点を合わせるオートフォーカス処理などを行う。

マイク制御部１２は、途中でシャッタボタン２の半押し状態が解除された場合は（ステップＳ４においてＹＥＳ）、マイク１０によって収音された音声情報をバッファ１３に一時的に格納して録音開始前の状態に戻る（ステップＳ５）。このとき、マイク制御部１２は、マイク１０によって収音された音声のレベルが所定の音声閾値以下で、無音と判断される場合には、音声情報のバッファ１３への格納は行なわない。なお、シャッタボタン２が再び半押しされて、さらに半押し状態が解除された場合には、この半押し解除までに新たに収音された音声情報によってバッファ１３の記憶内容が上書きされ、過去にバッファ１３に格納された音声情報は消去される。

次に、マイク制御部１２は、シャッタボタン２が全押しされたときに（ステップＳ６においてＹＥＳ）、音声の録音を終了する（ステップＳ７）。このシャッタボタン２が全押しの状態で、カメラ制御部１７は、カメラ１１によって撮影された画像データを取り込む。マイク制御部１２は、シャッタボタン２が半押し状態になったときから途中で半押し状態が解除されることなく全押し状態になったときまでの間に、録音された音声情報がない場合は（ステップＳ８においてＮＯ）、録音された音声情報がバッファ１３にあるかどうかを確認する（ステップＳ９）。

録音された音声情報がバッファ１３にない場合（ステップＳ９においてＮＯ）、カメラ制御部１７は、ユーザコメントがないと判断して、シャッタボタン２の全押し状態で取り込んだ画像データを普通の画像データとして画像データ記憶部１９に保存する（ステップＳ１０）。

一方、シャッタボタン２が半押し状態になったときから途中で半押し状態が解除されることなく全押し状態になったときまでの間に、録音された音声情報がある場合（ステップＳ８においてＹＥＳ）、音声認識部１４は、この録音された音声情報の音声認識処理を行って音声情報のテキスト化を行い（ステップＳ１１）、テキスト情報をテキスト情報記憶部１６に保存する（ステップＳ１２）。このとき、音声認識部１４は、音声辞書記憶部１５に記憶された音声辞書を必要に応じて使用する。図３（Ａ）の例では、「トウキョウエキデエイサントランチ」という音声情報Ａ１が録音され、この音声情報Ａ１を音声認識処理した結果として、「東京駅／で／エイサン／と／ランチ」というテキスト情報Ｔ１が得られている。

また、ステップＳ８で音声情報がなく、バッファ１３に音声情報がある場合（ステップＳ９においてＹＥＳ）、音声認識部１４は、このバッファ１３に格納された音声情報の音声認識処理を行って音声情報のテキスト化を行い（ステップＳ１１）、テキスト情報をテキスト情報記憶部１６に保存する（ステップＳ１２）。

ステップＳ１１の音声認識処理と平行して、画像情報解析部１８は、シャッタボタン２の全押し状態で取り込んだ画像の解析処理を行い、この画像から人物画像を抽出する（ステップＳ１３）。そして、カメラ制御部１７は、シャッタボタン２の全押し状態で取り込んだ画像データを画像データ記憶部１９に保存し、画像情報解析部１８は、ステップＳ１３で抽出した人物画像のデータを画像データ記憶部１９に保存する（ステップＳ１４）。図３（Ｂ）に示した例では、シャッタボタン２の全押し状態で画像Ｐ２が撮影され、画像Ｐ２のうち領域Ｐ３が人物画像として認識され、画像Ｐ２から人物画像Ｐ３が抽出される。

次に、データ関連付け部２１は、電話帳記憶部２０に記憶された電話帳データを参照して、テキスト情報記憶部１６に記憶されたテキスト情報と関係する電話帳データを検索する。すなわち、データ関連付け部２１は、テキスト情報に含まれる単語のうち音声認識処理で固有名詞と認識された単語と一致する氏名が氏名フィールドに登録された電話帳データを検索し、テキスト情報に含まれる固有名詞と一致する氏名が登録された電話帳データを、テキスト情報と関係する電話帳データとする（ステップＳ１５）。

そして、データ関連付け部２１は、テキスト情報記憶部１６に記憶されたテキスト情報と、シャッタボタン２の全押し状態で取り込まれ画像データ記憶部１９に保存された画像データとを関連付けるインデックス情報を作成し、このインデックス情報をインデックス情報記憶部２２に保存する（ステップＳ１５）。

図３（Ｃ）の例では、テキスト情報Ｔ１と画像Ｐ２とを関連付けるインデックス情報が作成される。なお、データ関連付け部２１は、「東京駅／で／エイサン／と／ランチ」というテキスト情報Ｔ１と関係する電話帳データを検索するので、この検索で使用した固有名詞「エイサン」を、検索した電話帳データの氏名フィールドに登録された氏名「Ａさん」に置き換え、図３（Ｃ）に示すようにテキスト情報Ｔ１を「東京駅／で／Ａさん／と／ランチ」というように更新してもよい。

さらに、データ関連付け部２１は、画像データ記憶部１９に保存された人物画像データとステップＳ１５で検索した電話帳データとを関連付ける処理を行う。ここでは、データ関連付け部２１は、人物画像データのデータ名をステップＳ１５で検索した電話帳データに登録する電話帳データの更新処理を行えばよい。図３（Ｃ）の例では、人物画像Ｐ３のデータ名（例えば「Ｎｏ．３」）が電話帳データＤ２に登録される。以上で、携帯情報端末１の撮影時の処理が終了する。

ここで、バッファ１３を使用する理由を説明する。本実施の形態では、携帯情報端末１のシャッタボタン２の半押しは、カメラ１１のオートフォーカス処理のトリガーとなるのと同時に、音声の録音開始のトリガーとなる。したがって、ユーザがシャッタボタン２の半押しを解除して再度シャッタボタン２を半押しにするケースとしては、カメラ１１のレンズの焦点合わせをし直したい場合とユーザコメントを録音し直したい場合の２つのケースが考えられる。

ユーザがコメントを録音し直したい場合には、シャッタボタン２が再度半押しされたときから全押し状態になったときまでの間に音声情報が録音されるはずである（ステップＳ８においてＹＥＳ）。したがって、録音された音声情報をユーザのコメントとして処理すればよい。一方、ユーザがカメラ１１の焦点合わせをし直すだけでコメントをクリアしたくない場合には、シャッタボタン２が再度半押しされたときから全押し状態になったときまでの間は無音のはずである（ステップＳ８においてＮＯ）。したがって、ステップＳ８で音声情報がなく、バッファ１３に音声情報がある場合は（ステップＳ９においてＹＥＳ）、ユーザがカメラ１１の焦点合わせのみをし直したと見なして、バッファ１３に格納された音声情報をユーザのコメントとして処理すればよい。以上が、バッファ１３を使用する理由である。

次に、人物画像の抽出方法および電話帳データの画像フィールドの更新方法について説明する。電話帳データの画像フィールドと画像データとを関連付けるためには、撮影した画像データの人物認識を行う必要があるが、画像解析処理の結果、画像データに複数の人物画像が存在すると認識した場合、画像情報解析部１８は、最も大きい人物画像を抽出し、各人物画像の大きさが同一の場合には、撮影した画像の中心近くに存在する人物画像を抽出する。

図５（Ａ）の画像Ｐ４では、人物が一人なので、認識した人物画像Ｐ５をそのまま抽出すればよい。一方、図５（Ｂ）の画像Ｐ６では、人物画像Ｐ７と人物画像Ｐ８とが存在する。画像情報解析部１８は、人物画像Ｐ７の方が大きいので、画像Ｐ６から人物画像Ｐ７を抽出する。

図５（Ｃ）の画像Ｐ９では、人物画像Ｐ１０と人物画像Ｐ１１と人物画像Ｐ１２とが存在し、これらの人物画像Ｐ１１〜Ｐ１２の大きさは同一である。画像情報解析部１８は、画像Ｐ９の中心から最も近い位置に人物画像Ｐ１１が存在するので、画像Ｐ９から人物画像Ｐ１１を抽出する。なお、人物画像の大小判定は、複数の人物画像の面積（画素数）を比較して、面積の差分が所定の面積（画素数）閾値以下であれば、複数の人物画像の大きさが同一であると判定すればよい。

また、画像情報解析部１８は、抽出した人物画像に映っている人物が、電話帳データに登録すべき人としてどのくらい正しいかを示す尺度である正確度を計算する。画像情報解析部１８は、正確度を、（１／認識した人物の総数）で計算する。例えば図５（Ａ）の例のように画像Ｐ４に一人のみ写っているときの正確度は１．０である。図５（Ｂ）の例のように画像Ｐ６に二人映っているときの正確度は０．５であり、図５（Ｃ）の例のように画像Ｐ９に三人映っているときの正確度は０．３３である。

データ関連付け部２１は、ステップＳ１５で検索した電話帳データの画像フィールドが空の場合は、画像データ記憶部１９に保存された人物画像データをその正確度に関係なく電話帳データの画像フィールドに登録する（ステップＳ１６）。具体的な処理としては、データ関連付け部２１は、上記のとおり、人物画像データのデータ名を電話帳データに登録すればよい。

また、図６（Ａ）に示すように電話帳データＤ３の画像フィールドに既に人物画像Ｐ１３が登録されている場合には、現在登録されている人物画像Ｐ１３の正確度とステップＳ１３の処理で新たに抽出された人物画像Ｐ１４の正確度とを比較して、正確度が大きい人物画像を電話帳データＤ３に登録すべき画像として採用すればよい。

図６（Ａ）、図６（Ｂ）の例では、人物画像Ｐ１３の正確度が０．３３で、人物画像Ｐ１４の正確度が１．０なので、電話帳データＤ３に登録される人物画像がＰ１３からＰ１４に更新される。具体的な処理としては、データ関連付け部２１は、人物画像Ｐ１４のデータ名（例えば「Ｎｏ．４」）を電話帳データＤ３に登録すればよい。また、正確度が等しい場合、データ関連付け部２１は、新たに抽出された人物画像Ｐ１４を電話帳データＤ３に登録すべき画像として採用すればよい。なお、人物画像の登録に正確度を用いる場合には、画像情報解析部１８が計算した正確度を保存しておく必要がある。例えば、正確度は、対応する人物画像と共に画像データ記憶部１９に保存しておけばよい。

また、電話帳データの画像フィールドに既に登録されている人物画像のうち、正確度が付与されていない人物画像、すなわちユーザが手動で登録した人物画像については、更新の対象としない。また、データ関連付け部２１は、検索した電話帳データの画像フィールドに既に人物画像が登録されていて、その人物画像に正確度が付与されていない場合に、この人物画像を新たに抽出された人物画像と置き換えるかどうかをユーザに確認し、ユーザが人物画像を置き換える選択をした場合には、既に登録されている人物画像を新たに抽出された人物画像に置き換えるようにしてもよい。

以上のように、本実施の形態では、画像撮影時にユーザに音声情報を入力してもらうことで、その音声情報を携帯情報端末内でテキスト化して電話帳検索を行い、適切な電話帳データに人物画像を登録することにより、電話帳の画像フィールドに自動的に人物画像を登録できるようにしたので、これまで使用頻度が高くなかった電話帳データの画像フィールドを有効に利用することができる。

本実施の形態では、ユーザが入力した音声情報をテキスト化し、テキスト情報を基に電話帳データを検索するので、無関係な画像を電話帳データに誤って登録してしまったり、登録したい画像を電話帳データに登録できなかったりする可能性を低減することができる。また、本実施の形態では、通信相手か否かに関係なく、人物画像を電話帳データの画像フィールドに登録することができる。また、本実施の形態では、特許文献２に開示された情報処理装置のようにテレビ電話機能を有する装置に限定されることがなくなる。

また、本実施の形態では、テキスト情報と撮影した画像データとを関連付けるインデックス情報を作成するので、このインデックス情報の読み込みが可能な写真表示用のアプリケーションプログラムを準備すれば、テキスト情報と画像データとインデックス情報とを外部のコンピュータが読み出すことで、外部のコンピュータにおいて図３（Ｄ）に示すようなコメント付きの写真画像を表示することができる。

［第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。第１の実施の形態では、カメラで撮影した画像を電話帳データに自動的に登録する方法について説明したが、カメラで撮影した画像をテキスト情報に基づいて自動的に整理することも可能である。図７は本発明の第２の実施の形態に係る携帯情報端末の構成を示すブロック図である。本実施の形態の携帯情報端末１ａは、マイク１０と、カメラ１１と、マイク制御部１２と、バッファ１３と、音声認識部１４と、音声辞書記憶部１５と、テキスト情報記憶部１６と、カメラ制御部１７と、画像情報解析部１８と、画像データ記憶部１９と、電話帳記憶部２０と、データ関連付け部２１と、インデックス情報記憶部２２と、基本電話機能部２３と、画像分類整理部２４とを備えている。この携帯情報端末１ａは、第１の実施の形態の携帯情報端末１に対して画像分類整理部２４を追加したものである。

図８は携帯情報端末１ａの処理の流れを示すフローチャートである。ステップＳ１〜Ｓ１３，Ｓ１５，Ｓ１６の処理は第１の実施の形態と同じである。画像分類整理部２４は、シャッタボタン２の全押し状態で取り込んだ画像データを画像データ記憶部１９に保存する際に、テキスト情報記憶部１６に記憶されたテキスト情報と関係する、画像データ記憶部１９の画像保存フォルダを検索し、検索した画像保存フォルダに画像データを保存する（ステップＳ１７）。このとき、画像情報解析部１８が抽出した人物画像のデータについては同じ画像保存フォルダに保存してもよいし、別の画像保存フォルダに保存してもよい。

図９は画像の分類整理方法を説明する図である。図９に示すように、画像データ記憶部１９には、あらかじめ写真用の画像保存フォルダが構築されている。画像分類整理部２４は、テキスト情報記憶部１６に記憶されたテキスト情報に含まれる語が、画像保存フォルダのフォルダ名と一致した場合は、当該画像保存フォルダに画像データを保存する。テキスト情報に人の名前が含まれる場合には、この名前をフォルダ名とする画像保存フォルダに画像データを保存する。

例えば第１の実施の形態であれば、図９に示す「Ａさん」というフォルダ名を有する画像保存フォルダ９０に画像データが保存されることになる。また、テキスト情報に場所を示すキーワードが含まれている場合には、この場所をフォルダ名とする画像保存フォルダに画像データを保存する。画像保存フォルダをネットワーク上の共有フォルダとして設定すれば、その画像保存フォルダにアクセスできる人と写真データを共有することも可能である。

また、本実施の形態において、画像分類整理部２４は、音声認識処理で人の名前、物の名前あるいは地名と認識された語がテキスト情報に含まれる場合、この認識された名前をフォルダ名とする画像保存フォルダを画像データ記憶部１９に自動的に作成して、撮影した画像データを、作成した画像保存フォルダに保存するようにしてもよい。このとき、画像データ記憶部１９に同じ名前の画像保存フォルダが存在しない場合に、画像保存フォルダを作成するようにしてもよい。

以上のように、本実施の形態では、画像撮影時にユーザに音声情報を入力してもらうことで、その音声情報を携帯情報端末内でテキスト化して画像保存フォルダの検索を行い、適切な画像保存フォルダに画像データを保存することにより、手動で整理が必要だった画像データを、自動的に適切な画像保存フォルダへ振り分けるようにしたので、ユーザにとって面倒な作業を大幅に軽減することができる。本実施の形態では、特許文献３に開示された情報記録装置のように無線タグから個人情報を取得できる場合に限定されることがなくなる。

［第３の実施の形態］
次に、本発明の第３の実施の形態について説明する。図１０は本発明の第３の実施の形態に係る携帯情報端末の構成を示すブロック図である。本実施の形態の携帯情報端末１ｂは、マイク１０と、カメラ１１と、マイク制御部１２と、バッファ１３と、音声認識部１４と、音声辞書記憶部１５と、テキスト情報記憶部１６と、カメラ制御部１７と、画像情報解析部１８と、画像データ記憶部１９と、電話帳記憶部２０と、データ関連付け部２１と、インデックス情報記憶部２２と、基本電話機能部２３と、画像データ加工部２５とを備えている。この携帯情報端末１ｂは、第１の実施の形態の携帯情報端末１に対して画像データ加工部２５を追加したものである。

画像データ加工部２５は、シャッタボタン２の全押し状態で取り込まれ画像データ記憶部１９に保存された撮影画像の中に、テキスト情報記憶部１６に記憶されたテキスト情報を挿入する加工を行う。図１１の例では、画像Ｐ１５中に「東京駅でＡさんとランチ」というテキスト情報Ｔ２が挿入されている。
こうして、本実施の形態では、コメント挿入画像を生成することができる。図１０では、第１の実施の形態に画像データ加工部２５を追加した例を示しているが、第２の実施の形態に画像データ加工部２５を追加してもよいことは言うまでもない。

なお、第１〜第３の実施の形態では、携帯情報端末の１例としてカメラ付き携帯電話機を例に挙げて説明しているが、これに限るものではなく、本発明はカメラ付きＰＨＳ、カメラ付きＰＤＡなどの携帯情報端末に適用することもできる。

第１〜第３の実施の形態の携帯情報端末は、ＣＰＵ、メモリおよびインタフェースを備えたコンピュータと、これらのハードウェア資源を制御するプログラムによって実現することができる。ＣＰＵは、メモリに格納されたプログラムに従って第１〜第３の実施の形態で説明した処理を実行する。

上記の実施の形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）画像を撮影するカメラと、音声を収音するマイクと、電話帳データを記憶する電話帳記憶手段と、画像撮影時に前記マイクで収音した音声情報の音声認識処理を行って音声情報をテキスト化する音声認識手段と、この音声認識手段から出力されたテキスト情報と関係する前記電話帳データを検索し、検索した電話帳データに前記カメラによって撮影された画像を登録するデータ関連付け手段とを備えることを特徴とする携帯情報端末。

（付記２）付記１記載の携帯情報端末において、さらに、シャッタボタンが半押しされたときに前記音声情報の録音を開始し、前記シャッタボタンが全押しされたときに前記音声情報の録音を終了する制御手段を備えることを特徴とする携帯情報端末。

（付記３）付記１または付記２記載の携帯情報端末において、さらに、前記シャッタボタンが半押し状態になったときから途中で半押し状態が解除されたときまでの間に録音された音声情報を記憶するバッファを備え、前記制御手段は、前記シャッタボタンが半押し状態になったときから途中で半押し状態が解除されることなく全押し状態になったときまでの間に録音された音声情報がある場合、この音声情報を前記音声認識処理の対象として前記音声認識手段に出力し、前記シャッタボタンが半押し状態になったときから途中で半押し状態が解除されることなく全押し状態になったときまでの間に録音された音声情報がない場合、前記バッファに記憶された音声情報を前記音声認識処理の対象として前記音声認識手段に出力することを特徴とする携帯情報端末。

（付記４）付記１乃至３のいずれか１項に記載の携帯情報端末において、さらに、前記カメラによって撮影された画像の解析処理を行い、この画像から人物画像を抽出する画像情報解析手段を備え、前記データ関連付け手段は、前記カメラによって撮影された画像のうち前記画像情報解析手段によって抽出された人物画像を、前記検索した電話帳データに登録することを特徴とする携帯情報端末。

（付記５）付記４記載の携帯情報端末において、前記画像情報解析手段は、前記カメラによって撮影された画像に複数の人物画像が存在すると認識した場合、最も大きい人物画像を抽出し、各人物画像の大きさが同一の場合には、前記カメラによって撮影された画像の中心に最も近い人物画像を抽出すると共に、抽出した人物画像に映っている人物が、電話帳データに登録すべき人としてどのくらい正しいかを示す尺度である正確度を計算し、前記データ関連付け手段は、前記検索した電話帳データに既に人物画像が登録されている場合、現在登録されている人物画像の正確度と新たに抽出された人物画像の正確度とを比較して、正確度が大きい人物画像を、前記検索した電話帳データに登録すべき画像として採用することを特徴とする携帯情報端末。

（付記６）付記１乃至５のいずれか１項に記載の携帯情報端末において、さらに、前記音声認識手段から出力されたテキスト情報と前記カメラによって撮影された画像データとを関連付けるインデックス情報を作成するインデックス情報作成手段を備えることを特徴とする携帯情報端末。

（付記７）画像を撮影するカメラと、音声を収音するマイクと、前記カメラによって撮影された画像データを記憶する記憶手段と、画像撮影時に前記マイクで収音した音声情報の音声認識処理を行って音声情報をテキスト化する音声認識手段と、前記カメラによって撮影された画像データを前記記憶手段に保存する際に、前記音声認識手段から出力されたテキスト情報と関係する、前記記憶手段の画像保存フォルダを検索し、検索した画像保存フォルダに画像データを保存する画像分類整理手段とを備えることを特徴とする携帯情報端末。

（付記８）付記１乃至７のいずれか１項に記載の携帯情報端末において、さらに、前記カメラによって撮影された画像の中に、前記音声認識手段から出力されたテキスト情報を挿入する画像データ加工手段を備えることを特徴とする携帯情報端末。

（付記９）画像撮影時にマイクで収音した音声情報の音声認識処理を行って音声情報をテキスト化する音声認識ステップと、電話帳記憶手段に記憶された電話帳データを参照し、前記音声認識ステップで得られたテキスト情報と関係する電話帳データを検索して、カメラによって撮影された画像を前記検索した電話帳データに登録するデータ関連付けステップとを備えることを特徴とする携帯情報端末の画像登録方法。

（付記１０）画像撮影時にマイクで収音した音声情報の音声認識処理を行って音声情報をテキスト化する音声認識ステップと、カメラによって撮影された画像データを記憶手段に保存する際に、前記音声認識ステップで得られたテキスト情報と関係する、前記記憶手段の画像保存フォルダを検索し、検索した画像保存フォルダに画像データを保存する画像分類整理ステップとを備えることを特徴とする携帯情報端末の画像分類整理方法。

本発明は、カメラで撮影した画像を自動的に電話帳データに登録する技術、カメラで撮影した画像を自動的に分類整理する技術に適用することができる。

１，１ａ，１ｂ…携帯情報端末、２…シャッタボタン、３…表示部、１０…マイク、１１…カメラ、１２…マイク制御部、１３…バッファ、１４…音声認識部、１５…音声辞書記憶部、１６…テキスト情報記憶部、１７…カメラ制御部、１８…画像情報解析部、１９…画像データ記憶部、２０…電話帳記憶部、２１…データ関連付け部、２２…インデックス情報記憶部、２３…基本電話機能部、２４…画像分類整理部、２５…画像データ加工部。

Claims (8)

1. 画像を撮影するカメラと、
   音声を収音するマイクと、
   電話帳データを記憶する電話帳記憶手段と、
   画像撮影時に前記マイクで収音した音声情報の音声認識処理を行って音声情報をテキスト化する音声認識手段と、
   この音声認識手段から出力されたテキスト情報と関係する前記電話帳データを検索し、検索した電話帳データに前記カメラによって撮影された画像を登録するデータ関連付け手段と、
   シャッタボタンが半押しされたときに前記音声情報の録音を開始し、前記シャッタボタンが全押しされたときに前記音声情報の録音を終了する制御手段と、
   前記シャッタボタンが半押し状態になったときから途中で半押し状態が解除されたときまでの間に録音された音声情報を記憶するバッファとを備え、
   前記制御手段は、前記シャッタボタンが半押し状態になったときから途中で半押し状態が解除されることなく全押し状態になったときまでの間に録音された音声情報がある場合、この音声情報を前記音声認識処理の対象として前記音声認識手段に出力し、前記シャッタボタンが半押し状態になったときから途中で半押し状態が解除されることなく全押し状態になったときまでの間に録音された音声情報がない場合、前記バッファに記憶された音声情報を前記音声認識処理の対象として前記音声認識手段に出力することを特徴とする携帯情報端末。
2. 請求項１記載の携帯情報端末において、
   さらに、前記カメラによって撮影された画像の解析処理を行い、この画像から人物画像を抽出する画像情報解析手段を備え、
   前記データ関連付け手段は、前記カメラによって撮影された画像のうち前記画像情報解析手段によって抽出された人物画像を、前記検索した電話帳データに登録することを特徴とする携帯情報端末。
3. 請求項２記載の携帯情報端末において、
   前記画像情報解析手段は、前記カメラによって撮影された画像に複数の人物画像が存在すると認識した場合、最も大きい人物画像を抽出し、各人物画像の大きさが同一の場合には、前記カメラによって撮影された画像の中心に最も近い人物画像を抽出すると共に、抽出した人物画像に映っている人物が、電話帳データに登録すべき人としてどのくらい正しいかを示す尺度である正確度を計算し、
   前記データ関連付け手段は、前記検索した電話帳データに既に人物画像が登録されている場合、現在登録されている人物画像の正確度と新たに抽出された人物画像の正確度とを比較して、正確度が大きい人物画像を、前記検索した電話帳データに登録すべき画像として採用することを特徴とする携帯情報端末。
4. 請求項１乃至３のいずれか１項に記載の携帯情報端末において、
   さらに、前記音声認識手段から出力されたテキスト情報と前記カメラによって撮影された画像データとを関連付けるインデックス情報を作成するインデックス情報作成手段を備えることを特徴とする携帯情報端末。
5. 画像を撮影するカメラと、
   音声を収音するマイクと、
   前記カメラによって撮影された画像データを記憶する記憶手段と、
   画像撮影時に前記マイクで収音した音声情報の音声認識処理を行って音声情報をテキスト化する音声認識手段と、
   前記カメラによって撮影された画像データを前記記憶手段に保存する際に、前記音声認識手段から出力されたテキスト情報と関係する、前記記憶手段の画像保存フォルダを検索し、検索した画像保存フォルダに画像データを保存する画像分類整理手段と、
   シャッタボタンが半押しされたときに前記音声情報の録音を開始し、前記シャッタボタンが全押しされたときに前記音声情報の録音を終了する制御手段と、
   前記シャッタボタンが半押し状態になったときから途中で半押し状態が解除されたときまでの間に録音された音声情報を記憶するバッファとを備え、
   前記制御手段は、前記シャッタボタンが半押し状態になったときから途中で半押し状態が解除されることなく全押し状態になったときまでの間に録音された音声情報がある場合、この音声情報を前記音声認識処理の対象として前記音声認識手段に出力し、前記シャッタボタンが半押し状態になったときから途中で半押し状態が解除されることなく全押し状態になったときまでの間に録音された音声情報がない場合、前記バッファに記憶された音声情報を前記音声認識処理の対象として前記音声認識手段に出力することを特徴とする携帯情報端末。
6. 請求項１乃至５のいずれか１項に記載の携帯情報端末において、
   さらに、前記カメラによって撮影された画像の中に、前記音声認識手段から出力されたテキスト情報を挿入する画像データ加工手段を備えることを特徴とする携帯情報端末。
7. 画像撮影時にシャッタボタンが半押しされたときにマイクで収音した音声情報の録音を開始し、前記シャッタボタンが全押しされたときに前記音声情報の録音を終了する制御ステップと、
   前記音声情報の音声認識処理を音声認識手段で行って音声情報をテキスト化する音声認識ステップと、
   電話帳記憶手段に記憶された電話帳データを参照し、前記音声認識ステップで得られたテキスト情報と関係する電話帳データを検索して、カメラによって撮影された画像を前記検索した電話帳データに登録するデータ関連付けステップとを含み、
   前記制御ステップは、前記シャッタボタンが半押し状態になったときから途中で半押し状態が解除されることなく全押し状態になったときまでの間に録音された音声情報がある場合、この音声情報を前記音声認識処理の対象として前記音声認識手段に出力し、前記シャッタボタンが半押し状態になったときから途中で半押し状態が解除されることなく全押し状態になったときまでの間に録音された音声情報がない場合、前記シャッタボタンが半押し状態になったときから途中で半押し状態が解除されたときまでの間に録音された音声情報を記憶するバッファに格納されている音声情報を、前記音声認識処理の対象として前記音声認識手段に出力するステップを含むことを特徴とする携帯情報端末の画像登録方法。
8. 画像撮影時にシャッタボタンが半押しされたときにマイクで収音した音声情報の録音を開始し、前記シャッタボタンが全押しされたときに前記音声情報の録音を終了する制御ステップと、
   前記音声情報の音声認識処理を音声認識手段で行って音声情報をテキスト化する音声認識ステップと、
   カメラによって撮影された画像データを記憶手段に保存する際に、前記音声認識ステップで得られたテキスト情報と関係する、前記記憶手段の画像保存フォルダを検索し、検索した画像保存フォルダに画像データを保存する画像分類整理ステップとを含み、
   前記制御ステップは、前記シャッタボタンが半押し状態になったときから途中で半押し状態が解除されることなく全押し状態になったときまでの間に録音された音声情報がある場合、この音声情報を前記音声認識処理の対象として前記音声認識手段に出力し、前記シャッタボタンが半押し状態になったときから途中で半押し状態が解除されることなく全押し状態になったときまでの間に録音された音声情報がない場合、前記シャッタボタンが半押し状態になったときから途中で半押し状態が解除されたときまでの間に録音された音声情報を記憶するバッファに格納されている音声情報を、前記音声認識処理の対象として前記音声認識手段に出力するステップを含むことを特徴とする携帯情報端末の画像分類整理方法。

Images