JP5205560B2 - 可読データに基づいて個人的交友関係を推測する方法、タグ付けをする方法及びそのシステム - Google Patents

Description

本発明は、可読データからデジタル機器のユーザの個人的交友関係に関する情報またはユーザのスケジュールに関連する情報を抽出する方法並びに、これを用いてデジタルデータにタグを付ける方法及びそのシステムに関するものである。より詳細には、本発明は、可読データからデジタル機器のユーザの個人的交友関係情報、スケジュール情報などを抽出する方法並びに、これを用いてデジタル機器にて与えられるデジタルデータに含まれる人物に対する識別度を高めて、自動にタグを付ける方法及びそのシステムに関するものである。

近年、デジタルカメラ、カメラ付き移動通信機器、デジタルカムコーダ、ＭＰ３プレーヤなどのデジタル機器が広く普及されており、ユーザがデジタルデータを生成して変換する量や頻度が大きく増加している。このようなデジタルデータの生成及び変換の拡大は、必然的にデータの管理問題を伴う。しかしながら、通常、デジタルデータの場合、その情報量が膨大で、データの分類、統合などによるデータの管理（検索及び情報抽出等）が容易でないことがある。

デジタルデータの管理のための一つの従来技術として、タグを用いてデータを分類したり統合したりする等のデータ管理を行う技術が広く知られている。「タグ」とは、データへの迅速なアクセスまたは検索のためにデジタルデータに付けられる付加データとして理解されることができる。このようなタグは、一連の文字、数字、または文字と数字との組合せからなるものが一般的である。

このようなタグの種類には、場所に関するタグ、人物に関するタグ、事物に関するタグ、時間に関するタグなどがあり、そのうち、特に、デジタルデータから人物に関するタグをより高い精度で抽出するための試みが従来から行われてきた。

図１は、顔認識のための顔模様特性(face appearance feature）とコンテクスト特性（contextual features）とを示しており、これと関連して、マイクロソフトリサーチアジア（Microsoft Research Asia）によって２００３年発表された論文、「Automated Annotation of Human Faces in Family Albums」に示されているように、写真中の人物に対する顔認識率を高めるために、一般的な顔認識アルゴリズムにコンテクスト特性が付加されている。コンテクスト特性とは、同一の日または同一のイベントで撮った複数の写真に現れる個人は、同一の服を着ている確率が高く、該コンテクスト特性でアルバム内の限定数の個人を区別するに用いられるというものである。同論文によれば、互いに遠く離れた他の日（同論文によれば、二日を超える間隔）に撮った二枚の写真には、そのようなコンテクスト特性に基づいた顔認識は適用されなく、このような類似性を適用するためには、少なくとも二日内に撮った写真であることを条件とする。

しかしながら、同論文に示されたように、従来の顔認識技術は、一般的な顔模様特性に対する類似性の把握に加えて、同一時間範囲内に存在する人物の衣装に対する類似性の把握のみに基づいて顔認識を行っているため、その精度において相当に不十分な面があった。例えば、同一時間範囲を一日または二日に定めても、同一人物が他の衣装を着ている場合がしばしばありえる。特に、夏を除いた春、秋、冬の場合、室外ではシャツ上にジャンバーを着ていた人が、室内ではシャツのみを着ていることが大部分である。また、人物の様子が正面ではない時、顔の模様に対する認識だけでなく、着ている衣装の模様に対する認識の精度が落ちざるを得ないという致命的な短所がある。

一方、文字データからユーザの情報を抽出するための一つの従来技術として、携帯電話から与えられる音声通話履歴確認機能やＳＭＳ（Short Message Service）送受信履歴確認機能、電子メールサーバから与えられる電子メール送受信履歴確認機能などが広く知られている。しかしながら、そのような機能は、単にユーザの送受信行為を記録し、これを確認可能なようにするためのことに過ぎず、その中に含まれている具体的な情報を用いて、合理的にユーザが他人と結んでいる個人的交友関係を推測し、該推測情報を多様な分野に適用しようとする試みが存在しなかった。

さらに他の従来技術として、ユーザが自身のスケジュールを入力し、それによって過去、現在及び未来のスケジュールを確認することができ、必要によってはアラーム機能を提供する技術が、コンピュータプログラム、移動通信機器及び電子辞典などに広く導入されている。しかしながら、そのような場合にも、単にユーザの入力した情報を単に整理及び要約して見せてくれたり、予め定められた方式によりユーザの注意を喚起させてくれたりする機能のみを提供するだけ、その中に含まれている具体的な情報を用いて、ユーザが他人と結んでいる個人的交友関係を合理的に推測し、該推測情報を多様な分野に適用しようとする試みが存在しなかった。

従って、本発明は、上記の問題点に鑑みて成されたものであって、その目的は、可読データの内容を分析し、従来の顔認識方法より顕著に高い精度に顔認識を遂行することによって、好適な人物識別情報をデジタルデータに自動にタグを付ける方法及びそのシステムを提供することによって、ユーザがより便利にデジタルデータを管理し、他ユーザと共有するような機能を提供することにある。

また、本発明の他の目的は、可読データの内容を分析し、デジタル機器のユーザの個人的交友関係情報を推測することによって、ユーザと関連した多様な適用をしたり、前記ユーザと関連した付加的な情報を獲得できるようにしたりすることにある。

以下の実施の形態においては便宜上その必要があるときは、複数のセクシヨンまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明などの関係にある。また、以下の実施の形態において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合及び原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でも良い。さらに、以下の実施の形態において、その構成要素（要素ステップ等を含む）は、特に明示した場合及び原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合及び原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値及び範囲についても同様である。

前記のような本発明の目的を達成し、後述する本発明の特徴的な機能を遂行するための、本発明の特徴的な構成は下記のようである。

上記目的を解決するために、本発明の一つの好適な実施形態によれば、デジタルデータ管理システムにおいてデジタル機器のユーザと関連した可読データを用いて該デジタル機器から与えられたデジタルデータに人物の識別情報をタグとして付ける方法であって、前記デジタルデータ管理システムは前記デジタル機器の前記ユーザの識別情報を有し、前記デジタルデータは前記人物のイメージを有し、前記可読データは前記デジタル機器のユーザの個人的交友関係またはスケジュールに関する手掛り情報を有しており、（ａ）前記可読データの内容から前記入間関係に関する情報または前記スケジュールに関する情報を有する手掛り情報を自動に抽出するステップと、（ｂ）前記抽出された手掛り情報を用いて前記人物を識別するステップと、（ｃ）前記人物の識別情報を前記デジタルデータにタグとして自動に付けるステップとを含むタグ付け方法を提供する。

上記目的を解決するために、本発明の他の好適な実施形態によれば、デジタル機器のユーザと関連した可読データを用いて該デジタル機器から与えられたデジタルデータに人物の識別情報をタグとして付けるシステムであって、前記デジタルデータは前記人物のイメージを有し、前記可読データは前記デジタル機器のユーザの個人的交友関係に関する手掛り情報またはスケジュールに関する手掛り情報を有しており、前記入間関係に関する手掛り情報または前記スケジュールに関する手掛り情報を有する前記可読データが格納された言語データベースと、前記可読データを用いて前記デジタルデータに含まれた前記人物として判断される確率の高い候補群を決定する候補群リスト生成部と、前記候補群の一部または全部を前記デジタルデータにタグとして付けるタグ付け部とを含むタグ付けシステムを提供する。

上記目的を解決するために、本発明のさらに他の好適な実施形態によれば、デジタル機器により与えられる可読データを処理して個人的交友関係を推測する方法であって、前記デジタル機器はユーザの識別情報を有しており、前記可読データから個人的交友関係に関する手掛り情報を獲得するステップと、前記入間関係に関する手掛り情報に基づいて前記デジタル機器の前記ユーザと特定人物との個人的交友関係を推測するステップとを含む推測方法を提供する。

本発明によれば、可読データの内容を分析して従来の顔認識方法より顕著に高い精度に顔認識を行って好適な人物識別情報をデジタルデータに自動にタグを付けることによって、ユーザがより便利にデジタルデータを管理し、他ユーザと共有するような機能を提供することができる。

具体的には、可読データからデジタル機器のユーザの個人的交友関係情報、スケジュール情報などを抽出し、デジタル機器により与えられるデジタルデータに含まれた人物に対する識別の精度を高めることによって、ユーザ便宜的なタグ付け方法及びそのシステムを具現することができる。

また、本発明によれば、顔認識またはこれを用いたタグ付けとは関係なく、可読データの内容からデジタル機器のユーザの個人的交友関係を推測し、これに基づいてカテゴリー別に自動分類する等、多様な分野に適用することができるという活用度がある。

顔認識の精度を高めるための従来技術を示す図面である。 本発明による、顔認識の精度を高めるために可読データを用いるシステムを示すブロック図である。 本発明の一実施形態による、可読データの内容から個人的交友関係を推測し、顔認識の識別度を高めるための手掛りを見出す例を示す図面である。 本発明の一実施形態による、可読データの内容から個人的交友関係を推測し、顔認識の識別度を高めるための手掛りを見出す例を示す図面である。 本発明の一実施形態による、可読データの内容から個人的交友関係を推測し、顔認識の識別度を高めるための手掛りを見出す例を示す図面である。 本発明の他の実施形態による、複数の可読データの中最も有効な可読データの内容を参照して個人的交友関係を推測し、顔認識の識別度を高める場合の例を示す図面である。 本発明のさらに他の実施形態による、可読データに含まれたデジタル機器のユーザと相手方との個人的交友関係を推測し、顔認識の識別度を高める場合の例を示す図面である。

タグ付けシステム

図２は、本発明において可読データ（readable data）から個人的交友関係（personal relationship）に関する手掛り、スケジュール（日程）に関する手掛りなどを抽出し、これに基づいてデジタルデータに含まれた人物に対する識別の精度を高めて好適なタグを推薦または付与するタグ付けシステム２００のハードウェア構成を示すブロック図である。

「可読データ」については、以下の言語データベース２０２に対する説明部分で詳細に説明する。

図２に示すように、タグ付けシステム２００は、制御部２０１、言語データベース２０２、候補群リスト生成部２０３、タグ付け部２０４、通信部２０５、及びタグデータベース２０６を含むことができる。

制御部２０１は、通信部２０５を通じて言語データベース２０２から可読データに関する情報を受信し、該可読データに含まれた個人的交友関係情報、スケジュール情報などを用いてデジタルデータに含まれた人物に対する識別の精度を高めて、好適なタグを自動に推薦及び付与するように制御する役割をする。具体的には、制御部２０１は、該可読データ内の少なくとも一つの手掛りを抽出し、デシジョンフュージョン分析法に基づいてデジタルデータ内の人物として判断される確率の高い候補群リストを生成する作業を遂行するために、言語データベース２０２、候補群リスト生成部２０３、タグ付け部２０４の間で入出力をやり取りすることが出来るようにデータの流れを制御する。

ここで、デシジョンフュージョン（decision fusion）分析法に基づいてデジタルデータ内に含まれた人物として判断される確率の高い候補群リストを生成する作業に対する具体的な説明は、本明細書と同一の出願人が既に出願して特許登録査定を受けた韓国特許出願番号第１０−２００６−７７４１６号の明細書に詳細に示されており、本明細書では具体的な説明を省略する。

言語データベース２０２は、人間により認識可能な言語からなる可読データを含んでいるデータベースで、可読データの例には電子メール（E-MAIL）、電話、ＳＭＳメッセージ、チャット（例えば、メッセンジャーチャット）、スケジュール管理ブログラムを用いて生成されたデータ、電話番号帳、住所録、ウェブログなどが挙げられる。このような可読データは、所定のコンピュータ読出し可能な記録媒体に格納されることができる。前記電話の場合には、電話の内容を音声認識などによってテキスト形態に変換した場合を含む。コンピュータ読出し可能な記録媒体の例には、ハードディスク、フレキシブルディスク及び磁気テープのような磁気媒体（magnetic media）、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体（optical media）、フロプテイカルディスク（Floptical disk）のような磁気−光媒体（magneto-optical media）、及びロム（ＲＯＭ）、ラム（ＲＡＭ）、フラッシュメモリなどのようなハードウェア装置が挙げられる。

候補群リスト生成部２０３は、可読データ内の手掛り（例えば、個人的交友関係に対する手掛り、時間及び場所に対する手掛り等）を分析し、デジタルデータに含まれた人物として判断される確率の高い候補群リストを生成する機能を遂行する。この候補群リスト生成部２０３は、手掛り抽出部２０３ａ、付加情報獲得部２０３ｂ、デシジョンフュージョン部２０３ｃを含むことができる。

手掛り抽出部２０３ａは、可読データからデジタル機器のユーザの個人的交友関係に対する情報、スケジュール（会合の時間、場所、イベント等）に対する情報などの手掛り情報を認識し、これを抽出する機能を遂行する。可読データから特定な手掛り情報を認識する方法の一例として、固有名認識（Named Entity Recognition）及び時間関係分析を通じた自然語処理アルゴリズムを用いる方法が挙げられる。これと関連したより詳細な説明は、固有名認識について記述しているウェブページである、
http://en.wikipedia.org/wiki/Named_entity_recognitionと、時間関係分析に関する論文である、「デジタル映像技法のための自然言語マルチ動画時間関係分析及び再現」及び「テキストアニメーションのための文脈基盤韓国語副詞範疇あいまい性解消」に記載されている。また、データの形式性有無によって指定された位置に指定された情報が含まれている定形化データの場合、フィールドルックアップ（Field Lookup）の方式を追加に用いることもできる。

手掛り抽出部２０３ａにて抽出された少なくとも一つの手掛りは、デシジョンフュージョン部２０３ｃによる分析法によって結合され、前記デジタルデータに含まれた人物として判断される確率の高い候補群リストを生成するのに用いることができる。

具体的には、図３Ｂに示すように、「本日２時に会議室で朴部長と簡単な会議」というメッセージが送信または受信された場合、２時付近に会議室という場所で作成されたデジタルデータに含まれる人物は、「朴部長」及び／又は前記メッセージの送受信者である確率が高くなり、そのため、前記デジタルデータに「朴部長」及び／又は前記メッセージの送受信者の名前などがタグとして推薦されることができる。

付加情報獲得部２０３ｂは、手掛り抽出部２０３ａにより可読データの内容から抽出された手掛り情報以外の情報（以下、付加情報と称す）を獲得する機能をする。付加情報獲得部２０３ｂにより獲得された付加情報が存在する場合、手掛り抽出部２０３ａにより抽出された少なくとも一つの手掛り情報と少なくとも一つの前記付加情報とがデシジョンフュージョン分析法により結合され、さらに正確な人物識別を可能にし、これに基づいてデジタルデータに含まれた人物として判断される確率の高い侯補群リストを推薦することができる。

前記付加情報の例としては、デジタルデータが生成された時刻及び／又は場所情報などが挙げられる。このように付加情報獲得部２０３ｂにより獲得された生成時刻及び／又は場所情報と手掛り抽出部２０３ａにより抽出された手掛り情報とがデシジョンフュージョン分析法により結合され、該デジタルデータに含まれた人物として判断される確率の高い候補群リストを生成することができるようになる。例えば、図３Ｂに示すような「本日２時に会議室で朴部長と簡単な会議」というメッセージでは、デジタルデータが生成された時刻が本日２時付近である場合は、手掛り抽出部２０３ａにより抽出された手掛りによる影響が支配的でありえるが、デジタルデータの生成された時刻が本日７時付近である場合は、手掛り抽出部２０３ａにより抽出された手掛りによる影響が相当減るはずである。

前記付加情報の他の例としては、前記デジタル機器のユーザの生活パターンが挙げられる。例えば、「水曜日午後２時に会議をすると、７時までマラソン会議をしてから共に夕食を食べる」という習慣（即ち、生活パターン）が前記ユーザにある場合、このような生活パターンも付加情報として機能することができる。即ち、水曜日午後７時にデジタルデータを生成したにもかかわらず、該デジタルデータに含まれた人物が「朴部長」及び／又は前記メッセージの送受信者などとして判断される確率が依然として高くありえるものである。これは、デジタル機器のユーザの生活パターンによって異なることがあることはもちろんである。

即ち、候補群リスト生成部２０３は、手掛り抽出部２０３ａ、付加情報獲得部２０３ｂ、デシジョンフュージョン部２０３ｃの有機的な結合によって、デジタルデータに含まれた人物として判断される確率を高く受けた候補人物をデジタルデータに付けられるタグとして推薦する機能を遂行する。必要に応じて最も高い確率を有する上位ｎ名の人物から構成されたＴｏｐ＿ｎリストを生成することもできる。

デシジョンフュージョン部２０３ｃが遂行するデシジョンフュージョン分析法に対する説明は、前述のように韓国出願第１０−２００６−７７４１６号に詳細に開示されており、それに対する詳細な説明は省略する。

タグ付け部２０４は、候補群リスト生成部２０３により推薦された人物の中少なくとも一つの人物を有選択し、デジタルデータにタグを付ける機能を遂行する。その後、デジタルデータに付けられたタグ情報は、タグデータベース２０６に記録されることができる。タグデータベース２０６は、デジタルデータと該デジタルデータに付けられたタグ情報とをするルックアップテーブルの形態で具現されることができる。

手掛り抽出

一般的に、２人以上が会議を行う前には、当事者の間で事前に連絡が行われる。したがって、その連絡、即ち可読データの内容には、会議の参加者、場所、時間及び目的などの手掛り情報が含まれ得る。このような手掛り情報は、デジタルデータにタグとして利用するのに十分な価値を有している。

図３Ａ及び３Ｂは、可読データ、例えばＳＭＳ（ショートメッセージサービス）または電子メールが人物関係に関する手掛り又は／及びスケジュールに関する手掛り（即ち、時間情報、場所情報または目的情報）を含んでいる場合を示す。

図３Ａに示すように、手掛り抽出部２０３ａは、ＳＭＳメッセージの内容に示された「日曜日」という表現から時間手掛り情報を抽出することができ、「遊び公園前」という表現からも場所手掛り情報を抽出することができる。また、日曜日に遊び公園で会う場合は、格別な関係である確率が高いので、該手掛り情報から恋人または友人関係であることを推測することができる。

一方、図３Ｂに示すように、手掛り抽出部２０３ａは、電子メールの内容に示された「本日２時」から時間手掛り情報を抽出することができ、「会議室」からも場所手掛り情報を抽出することができ、「朴部長」から個人的交友関係手掛りを抽出することができる。ここでは、「会議室」または「部長」のような内容が検出され、前記デジタル機器のユーザと前記電子メールの送信者または受信者、そして朴部長とはビジネス関係にあることを推測することができる。

付加情報獲得部２０３ｂにより獲得されたデジタルデータの生成時刻及び／又は場所情報が、前記のような手掛りにマッチングされる時刻及び／又は場所範囲内に含まれる場合、該手掛りに含まれる人物情報（図３Ｂの場合、朴部長）またはＳＭＳの送受信者（図３Ａ及び図３Ｂの場合）がデジタルデータに含まれる人物として判断される確率が高いといえる。

しかしながら、前述のように、付加情報獲得部２０３ｂにより獲得されたデジタルデータの生成時刻及び／又は場所情報が、前記各手掛りと一致する時刻及び／又は場所範囲を逸脱するほど該確率は低くなる。

前記の場合は、ＳＭＳ及び電子メールの記録だけでなく、ＭＭＳ、チャットなどの記録から手掛り情報を抽出する場合にも適用可能であり、音声通話記録も音声認識技術によりデジタル化されて記録することができ、手掛り抽出部２０３ａによる手掛り抽出の対象になることが出来ることは当然である。

一方、このような手掛り抽出の対象は、意思の交換により生成されたデータにのみ限定されない。図３Ｃに示すように、ユーザからスケジュールを入力され、これを管理するプログラムにより生成されたデータでも意思疎通により生成されたデータの場合と同様に手掛り情報を抽出することができる。

図３Ｃは、ユーザがスケジュール管理プログラムに入力したスケジュールの例を示す。同図のように、７日に「英子」と７時に約束があり、１６日８時に会食が江南駅にあることを示す。手掛り抽出部２０３ａは、スケジュール管理プログラムから前記のような手掛りを抽出し、付加情報獲得部２０３ｂにより獲得されたデジタルデータの生成時刻及び場所が、７日７時付近ならば該デジタルデータに含まれた人物は「英子」である確率が高く、７日に「英子」及び「デート」という手掛りが検出されるので、前記デジタル機器のユーザと英子とは恋人関係であることを推測することができ、付加情報獲得部２０３ｂにより獲得されたデジタルデータの生成時刻及び場所が１６日８時付近ならば、デジタルデータに含まれた人物は会社同僚である確率が高く、前記ユーザとビジネス関係にあることを推測することができる。

候補群リスト生成部２０３は、このような多様な手掛りをデシジョンフュージョン部２０３ｃにより結合し、最も高い確率を有する候補群リストを生成してディスプレイする。もちろん、これはデジタル機器のユーザごとの固有の特性に応じて差があり、該偏差はデシジョンフュージョン分析法によりリアルタイムに反映されることができる。

可読データからスケジュール手掛り情報を抽出する過程が、自然語処理アルゴリズムとフィールドルックアップ方式とによってなされることは前述のようである。

図４は、ＳＭＳメッセージを通じて最初に決めた約束情報が変更される場合の例を示す。JiroはTanakaに７時に光化門前で会おうを提案したが、Tanakaはこれに対する回答でJiroの提案を拒否し、９時に会社前で会おうという新たなスケジュールを提案している。この場合、Tanakaの回答前は、Jiroの提案に示されるスケジュールが有効であったが、Tanakaの回答以後に最も有効なスケジュール情報は、Tanakaが送信したメッセージに示されるスケジュール情報となる。このように、スケジュールが生成、変更及び取り消された多様な場合において、手掛り抽出部２０３ａは、メッセージの送受信時刻及び内容情報に基づいて最も有効なスケジュール情報を抽出することができ、このような過程は同様に自然語処理アルゴリズム及びフィールドルックアップ方式などによって行われることができる。このように、手掛り拍出部２０３ａが最も有効な手掛り情報を抽出した後、付加情報獲得部２０３ｂにより獲得された付加情報と前記手掛り情報とをデシジョンフュージョン部２０３ｃにより結合することによって、候補群リスト生成部２０３はデジタルデータに含まれた人物として判断される確率の最も高い候補群リストをディスプレイすることができる。

同様に、ユーザがスケジュール管理プログラムに入力したスケジュールを生成、変更または取り消す場合にも、候補群リスト生成部２０３は最も有効なスケジュール情報を参考として候補群リストを生成することができることはもちろんである。

更に、図４によれば、TanakaとJiroとは全て「会おう」のように気楽な文体を用いていることから、友人関係であることを推測することができる。

個人的交友関係推測の追加例及びこれを用いた適用

可読データ、例えばＳＭＳに個人的交友関係に関する手掛り情報が含まれている場合、このような手掛り情報を通じて親密度を計算して個人的交友関係を推測することによって、多様な分野に適用することができる。例えば、タグ付けとは関わらず、該推測された個人的交友関係をデジタル機器の画面上にディスプレイする事もでき、該推測された個人的交友関係から推測の対象になった特定相手方を個人的交友関係に関するカテゴリー別（家族、友人、職場の同僚等）に自動分類することもできる。これに対しては、個人的交友関係推測だけでなくスケジュールに対する推測においても類似に適用されることができる。このような適用は、本明細書全体に渡り特別な言及がなくても該当することに注目されたい。

その他に、前記可読データから抽出された前記の手掛り情報をタグ付けに用いる例に対して説明すれば、前記入間関係に関する手掛り情報又は／及びスケジュールに関する手掛り情報から親密度を計算し、前記親密度の高い者であるほどデジタルデータに含まれる人物として判断される確率の高いと判断することができる。

上記について、図５を参考として具体的に説明する。

図５に示すように、「パパ、機嫌を直してください」という文句と「ハート」模様とが示されている。このような表示から上記のようなメッセージを送信したデジタル機器のユーザは、該メッセージの受信者と父子関係にあることが分かり、「ハート」模様を用いたことをみて親密度の高いとみなすことができる。従って、手掛り抽出部２０３ａは、「ハート」模様、笑い表示などのように親密さを示す手掛りを抽出し、ＳＭＳの相手方がデジタル機器のユーザと親密度が高いと判断することができ、前記メッセージの受信者が前記デジタル機器のユーザと「家族」の関係に該当すると推測するようになる。

このような複数の個人的交友関係に関する手掛りを活用すれば、前記デジタル機器のユーザと親密度の高い順に複数の人物にそれぞれの確率を割当することができる。前記デジタル機器のユーザにより生成されたデジタルデータに含まれた人物は、前記ユーザと親密な関係を結んでいる人物である確率が高いので、顔認識の確率を高めるのに寄与することができる。ここで、このような親密度に基づいた候補群リストは、デシジョンフュージョン部２０３ｃによる分析法によりリアルタイムにアップデートされることが出来ることはもちろんである。即ち、前記のような個人的交友関係に関する手掛りにより親密度が高く出てきても、共に撮った写真がほぼないならば、親密度の低い関係にアップデートされることができるものである。

以下では、個人的交友関係の推測に対するその他の例を詳察する。

可読データの送受信相手方がデジタル機器にショートカットキーとして格納されている場合、手掛り抽出部２０３ａは前記デジタル機器のユーザとの親密さの確率が高いと判断することができる。また、ショートカットキーとして格納されている人物の中でもショートカットキーがゼロに近いほどより密な家族、恋人または友人である確率が高いと判断することができる。しかしながら、ユーザによってショートカットキーとして格納されていても何ら関係でない人物である場合もある。これに対しては、各ユーザによってショートカットキー登録人との通話記録、ＳＭＳ記録などを参照にして確率を調整することができる。

一方、登録された名前自体に「ハート」などの文字が含まれている場合や、「ダーリン」のような付属説明または可愛い言葉が付いている場合は、手掛り抽出部２０３ａは、デジタル機器のユーザと親密度の高い人物、例えば、家族、友人、恋人などと判断することができる。

また、サイワールド（ソーシャル・ネットワーキング・サービス）などのミニホームページ（個人ホームページ）に記録された１寸情報や、ブログ等に記録された訪問者情報を用いて親密度を判断することもできる。例えば、デジタル機器のユーザと１寸関係にある人物は該ユーザと親密な関係の人物である確率が高く、ブログ等に記録された訪問者情報、例えばリップルをした回数が多い人物などは該ユーザと密な関係の人物と判断される確率の高いことである。ここで、最近１寸関係になった人物や最近ブログ等にリップルをした回数が急激に増加した人物はより親密度が高いと判断することができる。このような高い親密度に基づいて、家族、友人、恋人などと判断することができる。具体的には、この中何に該当しているかに対する個人的交友関係の推測に対する精度は前記ユーザの個人特性を反映可能なデシジョンフュージョンなどを用いて高めることができる。この点、本明細書全体に渡り特別な言及がなくても適用されることはもちろんである。

また、通話の頻度数、通話時間、通話時間帯などの情報を用いても相手方との親密度に対する把握が可能である。例えば、特定人物との通話の頻度数が多いほど該特定人物は前記デジタル機器のユーザと親密度の高い人物である確率が大きく、週中夜または週末に通話時間が長いと親しい友人、家族、恋人などのように個人的に親密度の高い人物である確率が大きく、週中昼に通話をしばしばする相手方ならばビジネス的に親密度のある人物である確率が大きい。このような概念は通話だけでなく電子メール、ＳＭＳ等にも適用可能である。

その他に、エクセルファイルやワードで作成された文書のように公式的な文書から人物の名前などの手掛り情報が抽出される場合、該人物はデジタル機器のユーザとビジネス的な関係を結んでいる確率が多少高いことを示すこともでき、可読データに敬語文体が使われていると、相手方がデジタル機器のユーザより目上の人である確率が高いと判断することもできる。

本発明に係る実施形態における方法は、コンピュータにより具現される多様な動作を実行するためのプログラム命令を含むコンピュータ読取可能な記録媒体を含む。コンピュータ読取可能な記録媒体としては、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。この媒体に記録されるプログラム命令は本発明のために特別に設計され構成されたものでもよく、コンピュータソフトウェアの当業者に公知され使用できるものでもよい。コンピュータ読取可能な記録媒体の例は、ハードディスク、フレキシブルディスク及び磁気テープのような磁気媒体（magnetic media）、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体（optical media）、フロップティーカールディスク（Floptical disk）のような磁気−光媒体（magneto-optical media）、及びリードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリなどのようなプログラム命令を格納して遂行するように特別に構成されたハードウェア装置を含む。プログラム命令の例には、コンパイラーにより作られるような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行されることのできる高級言語コードが含まれる。前述したハードウェア装置は本発明の動作を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成されることができ、その逆も同様である。

以上のように、本発明では具体的な構成要素などのような特定事項と限定された実施形態及び図面により説明したが、これは本発明のより全体的な理解を助けるために提供されたものであり、本発明は前述の実施形態に限定されるものではなく、本発明が属する分野で通常的な知識を持った者であれば、このような記載から多様な修正及び変形が可能であるはずである。

以上、本発明の詳細な説明では具体的な実施形態について説明したが、本発明の要旨から逸脱しない範囲内で多様に変形できる。よって、本発明の権利範囲は、上述の実施形態に限定されるものではなく、特許請求の範囲の記載及びこれと均等なものに基づいて定められるべきである。

２００ タグ付けシステム
２０１ 制御部
２０２ 言語データベース
２０３ 候補群リスト生成部
２０４ タグ付け部
２０５ 通信部
２０６ タグデータベース

Claims (26)

1. デジタルデータ管理システムにおいて、可読データを分析することによって、デジタル機器から得られた人物の画像を含むデジタルデータに該人物に関連するタグ情報を付与する該デジタルデータ管理システムにより実行されるタグ付け方法であって、
   前記デジタルデータ管理システムは、前記可読データを保存する言語データベース、該可読データ内の手掛かり情報を認識及び抽出する候補群リスト生成部及び前記デジタルデータにタグを付けるタグ付け部を有すると共に、該デジタルデータ管理システムは、個人的人間関係を表す複数のカテゴリーの分類情報及び前記デジタル機器のユーザの識別情報を有しており、
   前記可読データには、前記デジタル機器のユーザと前記人物との個人的人間関係及びスケジュールに関する手掛かり情報が含まれており、
   （ａ）前記候補群リスト生成部が、前記可読データから前記手掛り情報を抽出するステップと、
   （ｂ）前記候補群リスト生成部が、前記抽出された手掛り情報を用いて前記デジタルデータに含まれている前記人物を識別するステップと、
   （ｃ）前記タグ付け部が、前記人物を識別する情報を用いて前記デジタルデータに１つ以上のタグを付与するステップとを含み、
   前記人物を識別するステップでは、該人物及び前記ユーザの関係が前記個人的人間関係を表す複数のカテゴリーの少なくとも１つのいずれに該当するか推測され、前記デジタルデータは、推測されたカテゴリーに分類されることを特徴とするタグ付け方法。
2. 前記ステップ（ｂ）は、前記抽出された手掛り情報を前記デジタルデータが作成された場所または時間に関する情報と比較して、前記人物として判断される確率が高い候補群を決定することを特徴とする請求項１に記載のタグ付け方法。
3. 前記場所に関する情報は、位置追跡システム及び移動通信システムのうちの少なくとも１つから得られた前記デジタル機器の位置ログから取得され、
   前記時間に関する情報は、前記デジタルデータが作成された時刻から取得されることを特徴とする請求項２に記載のタグ付け方法。
4. 前記ステップ（ｂ）は、前記手掛り情報をデシジョンフュージョン技術を用いて組み合わせることによって、前記人物として判断される確率が高い前記候補群を決定し、
   前記デシジョンフュージョン技術は、複数の手掛りと先験確率に基づいて特定の項目に対して判断を下す過程を意味することを特徴とする請求項２に記載のタグ付け方法。
5. 前記可読データは、通信ネットワークを介した通信手段により送信または受信されたデータであることを特徴とする請求項１に記載のタグ付け方法。
6. 前記通信手段は、電子メール、ショートメッセージサービス（ＳＭＳ）、マルチメディアメッセージングサービス（ＭＭＳ）、またはメッセンジャープログラムを含むことを特徴とする請求項５に記載のタグ付け方法。
7. 前記通信手段は、有線及び／または無線通信手段を含み、
   前記可読データは、前記有線及び／または無線通信手段で認識した人間の声を音声認識技術によってデジタル化して記録したデータであることを特徴とする請求項５に記載のタグ付け方法。
8. 前記可読データは、ユーザから入力されたスケジュールを管理するスケジュール管理プログラムによって生成されたデータ、及び、電話番号帳、住所録またはウェブログに含まれているデータのうちの少なくとも１つを含むことを特徴とする請求項１に記載のタグ付け方法。
9. 前記ステップ（ａ）は、フィールドルックアップ及び自然言語処理（ＮＬＰ）アルゴリズムのうちの少なくとも１つを用いて行われることを特徴とする請求項１に記載のタグ付け方法。
10. 前記ステップ（ａ）は、以前の手掛り情報の変更または取消を示す新しい手掛り情報を参照することによって、最も有効な手掛り情報を決定することを特徴とする請求項１に記載のタグ付け方法。
11. 前記個人的人間関係は、前記デジタル機器の前記ユーザと該ユーザの知人との関係を含むことを特徴とする請求項１に記載のタグ付け方法。
12. 可読データを分析することにより、デジタル機器から得られた人物の画像を含むデジタルデータに該人物に関連するタグ情報を付与するシステムであって、
    前記可読データには、前記デジタル機器の前記ユーザと前記人物との個人的人間関係及びスケジュールに関する手掛かり情報が含まれており、
    該システムは、個人的人間関係を表す複数のカテゴリーの分類情報を有し、
    前記手掛り情報を含んでいる前記可読データを格納する言語データベースと、
    前記可読データを用いて前記人物として判断される確率が高い候補群の情報を生成する候補群リスト生成部と、
    前記候補群の情報を用いて前記デジタルデータに１つ以上のタグを付与するタグ付け部とを含み、
    前記候補群リスト生成部は、前記人物及び前記ユーザの関係が前記個人的人間関係を表す複数のカテゴリーの少なくとも１つのいずれに該当するか推測を行い、前記デジタルデータは、推測されたカテゴリーに分類されることを特徴とするシステム。
13. 前記候補群リスト生成部は、
    前記可読データから前記手掛り情報を抽出する手掛り抽出部を含むことを特徴とする請求項１２に記載のシステム。
14. 前記候補群リスト生成部は、
    前記抽出された前記手掛り情報を、前記デジタルデータが作成された場所または時間に関する情報と比較して、前記人物として判断される確率の高い前記候補群を決定する付加情報獲得部をさらに含むことを特徴とする請求項１３に記載のシステム。
15. 前記手掛り抽出部は、フィールドルックアップ及び自然言語処理（ＮＬＰ）アルゴリズムのうちの少なくとも１つを用いて手掛り情報を抽出することを特徴とする請求項１３に記載のシステム。
16. 前記可読データは、
    通信手段により生成されたデータ、ユーザから入力されたスケジュールを管理するスケジュール管理プログラムによって生成されたデータ、及び、電話番号帳、住所録またはウェブログに含まれているデータのうちの少なくとも１つを含むことを特徴とする請求項１２に記載のシステム。
17. 前記手掛り抽出部は、前記スケジュールの作成、変更、取消を示す手掛り情報を参照することによって、最も有効な手掛り情報を決定することを特徴とする請求項１３に記載のシステム。
18. 前記個人的人間関係は、前記デジタル機器の前記ユーザと該ユーザの知人との関係を含むことを特徴とする請求項１２に記載のシステム。
19. デジタル機器から得られた可読データを分析することによって該デジタル機器のユーザと該ユーザと通信を行う特定人物との個人的人間関係を推測するデジタルデータ管理システムにより実行される個人的人間関係の推測方法であって、
    前記可読データは、前記デジタル機器のユーザと前記人物との個人的人間関係に関する手掛かり情報を含み、
    前記デジタルデータ管理システムは、該可読データ内の手掛かり情報を認識及び抽出する候補群リスト生成部を有すると共に、該デジタルデータ管理システムは、個人的人間関係を表す複数のカテゴリーの分類情報及び前記デジタル機器のユーザの識別情報を有しており、
    前記デジタル機器は、該デジタル機器のユーザの識別情報を有しており、
    前記候補群リスト生成部が、前記可読データから前記個人的人間関係に関する手掛り情報を取得するステップと、
    前記候補群リスト生成部が、前記手掛り情報を参照することによって前記ユーザと特定人物との個人的人間関係を推測するステップとを含み、
    前記推測するステップでは、前記ユーザが前記デジタル機器を用いて前記特定人物と平日の日中に通信する頻度が平日の夜又は週末に通信する頻度よりも高い場合には、前記特定人物が前記カテゴリーの分類情報のうち、ビジネス関係に属するとして推測されることを特徴とする推測方法。
20. デジタル機器から得られた可読データを分析することによって該デジタル機器のユーザと該ユーザと通信を行う特定人物との個人的人間関係を推測するデジタルデータ管理システムにより実行される個人的人間関係の推測方法であって、
    前記可読データは、前記デジタル機器のユーザと前記人物との個人的人間関係に関する手掛かり情報を含み、
    前記デジタルデータ管理システムは、該可読データ内の手掛かり情報を認識及び抽出する候補群リスト生成部を有すると共に、該デジタルデータ管理システムは、個人的人間関係を表す複数のカテゴリーの分類情報及び前記デジタル機器のユーザの識別情報を有しており、
    前記デジタル機器は、該デジタル機器のユーザの識別情報を有しており、
    前記候補群リスト生成部が、前記可読データから前記個人的人間関係に関する手掛り情報を取得するステップと、
    前記候補群リスト生成部が、前記手掛り情報を参照することによって前記ユーザと特定人物との個人的人間関係を推測するステップとを含み、
    前記推測するステップでは、前記ユーザが前記デジタル機器を用いて前記特定人物と平日の夜又は週末に通信する頻度が平日の日中に通信する頻度よりも高い場合には、前記特定人物が前記カテゴリーの分類情報のうち、恋人、家族、及び友人の少なくとも１つに属するとして推測されることを特徴とする推測方法。
21. デジタル機器から得られた可読データを分析することによって該デジタル機器のユーザと該ユーザと通信を行う特定人物との個人的人間関係を推測するデジタルデータ管理システムにより実行される個人的人間関係の推測方法であって、
    前記可読データは、前記デジタル機器のユーザと前記人物との個人的人間関係に関する手掛かり情報を含み、
    前記デジタルデータ管理システムは、該可読データ内の手掛かり情報を認識及び抽出する候補群リスト生成部を有すると共に、該デジタルデータ管理システムは、個人的人間関係を表す複数のカテゴリーの分類情報及び前記デジタル機器のユーザの識別情報を有しており、
    前記デジタル機器は、該デジタル機器のユーザの識別情報を有しており、
    前記候補群リスト生成部が、前記可読データから前記個人的人間関係に関する手掛り情報を取得するステップと、
    前記候補群リスト生成部が、前記手掛り情報を参照することによって前記ユーザと特定人物との個人的人間関係を推測するステップとを含み、
    前記推測するステップでは、前記手掛かり情報が、絵文字又は愛称として用いられる言葉を含む場合には、前記特定人物が前記カテゴリーの分類情報のうち、恋人、家族、及び友人の少なくとも１つに属するとして推測されることを特徴とする推測方法。
22. デジタル機器から得られた可読データを分析することによって該デジタル機器のユーザと該ユーザと通信を行う特定人物との個人的人間関係を推測するデジタルデータ管理システムにより実行される個人的人間関係の推測方法であって、
    前記可読データは、前記デジタル機器のユーザと前記人物との個人的人間関係に関する手掛かり情報を含み、
    前記デジタルデータ管理システムは、該可読データ内の手掛かり情報を認識及び抽出する候補群リスト生成部を有すると共に、該デジタルデータ管理システムは、個人的人間関係を表す複数のカテゴリーの分類情報及び前記デジタル機器のユーザの識別情報を有しており、
    前記デジタル機器は、該デジタル機器のユーザの識別情報を有しており、
    前記候補群リスト生成部が、前記可読データから前記個人的人間関係に関する手掛り情報を取得するステップと、
    前記候補群リスト生成部が、前記手掛り情報を参照することによって前記ユーザと特定人物との個人的人間関係を推測するステップとを含み、
    前記推測するステップでは、前記人物が前記デジタル機器のショートカットキーとして登録されている場合には、前記特定人物が前記カテゴリーの分類情報のうち、恋人、友人及び家族の少なくとも１つに属するとして推測されることを特徴とする推測方法。
23. 前記可読データは、前記ユーザに関連する文書ファイルに含まれているデータであることを特徴とする請求項１９から２２のいずれかに記載の推測方法。
24. デジタル機器から得られた可読データを分析することによって該デジタル機器のユーザと該ユーザと通信を行う特定人物との個人的人間関係を推測するデジタルデータ管理システムにより実行される個人的人間関係の推測方法であって、
    前記可読データは、前記デジタル機器のユーザと前記人物との個人的人間関係に関する手掛かり情報を含み、
    前記デジタルデータ管理システムは、該可読データ内の手掛かり情報を認識及び抽出する候補群リスト生成部を有すると共に、該デジタルデータ管理システムは、個人的人間関係を表す複数のカテゴリーの分類情報及び前記デジタル機器のユーザの識別情報を有しており、
    前記デジタル機器は、該デジタル機器のユーザの識別情報を有しており、
    前記候補群リスト生成部が、前記可読データから前記個人的人間関係に関する手掛り情報を取得するステップと、
    前記候補群リスト生成部が、前記手掛り情報を参照することによって前記ユーザと特定人物との個人的人間関係を推測するステップとを含み、
    前記推測するステップでは、前記人物が前記ユーザに関連する文書ファイルの中で言及されている場合には、前記人物が前記カテゴリーの分類情報のうち、ビジネス関係に属するとして推測されることを特徴とする方法。
25. デジタルデータ管理システムにおいて、可読データを分析することによって、デジタル機器から得られた人物の画像を含むデジタルデータに該人物に関連するタグ情報を付与する該デジタルデータ管理システムにより実行されるタグ付け方法であって、
    前記デジタルデータ管理システムは、前記可読データを保存する言語データベース、該可読データ内の手掛かり情報を認識及び抽出する候補群リスト生成部及び前記デジタルデータにタグを付けるタグ付け部を有すると共に、該デジタルデータ管理システムは、前記デジタル機器のユーザの識別情報を有しており、
    前記可読データには、前記デジタル機器のユーザと前記人物との個人的人間関係のカテゴリー及びスケジュールに関する手掛かり情報が含まれており、
    （ａ）前記候補群リスト生成部が、前記可読データから前記手掛り情報を抽出するステップと、
    （ｂ）前記候補群リスト生成部が、前記抽出された手掛り情報を用いて前記デジタルデータに含まれている前記人物を識別するステップと、
    （ｃ）前記タグ付け部が、前記人物を識別する情報を用いて前記デジタルデータに１つ以上のタグを付与するステップとを含み、
    前記個人的人間関係のカテゴリーは、前記候補群リスト生成部が、前記人物及び前記ユーザの関係を表す複数のカテゴリーの少なくとも１つのいずれに該当するか推測することにより決定されることを特徴とする方法。
26. 可読データを分析することにより、デジタル機器から得られた人物の画像を含むデジタルデータに該人物に関連するタグ情報を付与するシステムであって、
    前記可読データには、前記デジタル機器の前記ユーザと前記人物との個人的人間関係のカテゴリー及びスケジュールに関する手掛かり情報が含まれており、
    前記手掛り情報を含んでいる前記可読データを格納する言語データベースと、
    前記可読データを用いて前記人物として判断される確率が高い候補群の情報を生成する候補群リスト生成部と、
    前記候補群の情報を用いて前記デジタルデータに１つ以上のタグを付与するタグ付け部とを含み、
    前記個人的人間関係のカテゴリーは、前記候補群リスト生成部が、該人物及び前記ユーザの関係を表す複数のカテゴリーの少なくとも１つのいずれに該当するか推測することにより決定されることを特徴とするシステム。

Images