JP4937671B2 - 生活記録作成システムおよびその制御方法 - Google Patents

Description

本発明は，日記、旅行記録、生活記録の作成を支援するシステム及びその制御方法に関するものである。

映像あるいは音声を含む日記、旅行記録等の生活記録を電子データで作成し、ウェブ・ページとして公開することが広く行われている。日記等の生活記録をウェブ・ページとして公開するには，電子データをHTML（hyper text markup language）で記述し、利用者のパーソナルコンピュータからウェブ上のサーバにアップロードする。従って、旅行先で撮影した映像、あるいは音声をウェブ・ページで公開するには、自宅に戻り、映像及び音声と説明文を編集しHTMLによるウェブ・ページを作成する必要があり、大きな手間と、高度な技術および知識が必要である。
映像あるいは音声による情報を含んだウェブ・ページの作成に関する文献には以下のものがある。
特開2003-173309号公報 特開2004-32129号公報

本発明は、日記、旅行記録等の生活に関する記録の作成を希望する利用者に、ウェブ・ページとして公開可能な形式の生活記録を簡単な操作で作成可能とするシステム及びその制御方法を提供するものである。

本発明に係るシステムはガイダンスを提供するサーバを有しており、利用者はサーバが提供するガイダンスに従って携帯電話機(移動端末)を用いて文字、音声、映像をサーバに送信する。サーバは携帯電話機の位置情報、ユーザが送信した情報等から、ユーザが希望する記録のジャンル、概要等を決定し、予め決められている書式に従ってウェブ・ページを作成する。

本発明のシステムは、日記の対象となる現場、あるいは旅行先等で、サーバからの指示に従って、携帯電話機のカメラにより撮影された映像、あるいはマイクから入力された音声をサーバに送信する。サーバは送信された映像あるいは音声から必要な情報を作成してウェブ・ページを構成する。従って、ユーザはウェブ・ページに関する知識を必要とせず、旅行先等の現場から直接データを入力してウェブ・ページを作成することが可能となる。

図１は本発明に係るサーバ100の機能と携帯電話機(移動端末)110の概要を示す図である。サーバ100は日記、旅行記録等の生活記録の作成を希望する利用者にガイダンスを提供するものである。利用者はサーバ100が提供するガイダンスに従って携帯電話機110のカメラ、マイク、あるいはキーボートを用いて映像、音声、文字をサーバ100に送信する。サーバ100は送信された音声を音声認識手段よりテキストデータに変換し、含まれる単語の頻度を算出してユーザが送信した情報のジャンル等を判断する。また、送信された映像を編集してウェブ・ページ用のデータを作成する。

生活記録の作成を希望する利用者は携帯電話機110からサーバ100を呼び出し、記録の開始とウェブ・ページの作成を要求する。日記、旅行記等、複数の形式が提供される場合は、サーバ100は利用可能な形式をユーザに示し、ユーザに選択を
要求する。テンプレート記憶部101にはユーザに音声あるいは映像の送信を指示するガイダンスと、ユーザから送信された音声あるいは映像のデータを整形し処理する方法を指定するコマンドが記述されたガイダンス用テンプレートが記憶されている。
サーバ100のテンプレート読み出し部102は、テンプレート記憶部101からユーザが指定した形式のガイダンス用テンプレートを読み出し、テンプレート解釈実行部103に渡す。解釈実行部103は渡されたテンプレートに記述されているコマンドを1つずつ取り出し実行する。

テンプレートから取り出して解釈したコマンドが表示部にガイダンス文を表示し、ユーザにキー操作を求めるコマンドの時、サーバ100は通信制御部104を介してガイダンス文とキー入力の指示を携帯電話機110に送信し、キー情報の返信を待つ。携帯電話機110は通信制御部111を介して受信したガイダンス文を表示部113に表示し、ユーザによるキー114の操作を要求する。
コマンドが音声の入力を求めるものの時は、サーバ100は通信制御部104及び111を介して携帯電話機110に音声の入力を要求する。この要求を受けた携帯電話機110は音声入力制御部115によりマイク116から音声を取得して、サーバ100に送信する。コマンドが映像の入力を求めるものの時は、サーバ100は携帯電話機110に映像の入力を要求する。携帯電話機110の映像入力制御部117はカメラ118を制御し、得られた映像データをサーバ100に送信する。
また、テンプレートから取り出されたコマンドがユーザから送信された映像データまたは音声データの加工を指示した時、テンプレート解釈実行部103は整形処理部105の対応する処理手段に映像データまたは音声データを渡し処理を指示する。
ガイダンス用テンプレートに記述されているコマンドの実行が全て終了すると、サーバ100は整形処理部105が生成したデータを出力形式テンプレートに適用して、ウェブ・ページ用のHTMLデータを生成しデータ記憶部106に記憶する。データ記憶部106に記憶されたデータは、インターネット出力部107により適宜ウェブ・ページとして公開される。

図2はサーバ100の概要図であり、特に整形処理部105の機能構成を示す図である。各部の機能は以下のとおりである。
通信管理部104：ネットワーク109を介して携帯電話機(移動端末)110とデータの授受を行う。
テンプレート解釈実行部103：端末110からの要求により、図示されていないテンプレート記憶部(図１の101)からガイダンス用テンプレートを読み出し、テンプレートに記述されているコマンドを順次実行する。
ユーザ情報取得部131：ユーザ特定部132、時間取得部133、及び、位置取得部134から構成されている。ユーザ特定部132は要求元の端末110の情報、あるいはユーザのログインID等からユーザを特定し、データベースから生活記録に利用するユーザ情報を取得する。時間取得部133はサーバ100または端末110の時刻機構から現在の時刻を取得する。位置取得部134は端末110のGPS機能、あるいは屋内外のビーコン等から取得した情報により端末110の位置情報を取得する。位置情報に基づいて時間取得部133が取得した時刻を現地の時刻に変更する構成も可能である。

通話情報記録部135：テンプレート解釈実行部103が、ガイダンス用テンプレートから音声あるいは映像を取得するコマンドを実行した時に機能するものであり、音声記録部136と映像記録部137からなっている。音声または映像を取得するコマンドが実行されると、サーバ100は端末110にマイクからの音声、またはカメラにより撮影された映像の送信を指示すると共に、アナログ通話記録格納部138に送信されてきた音声データあるいは映像データの記録を指示する。
アナログ通話記録格納部138：端末110から送信された音声データと映像データを記録する手段であり、アナログ音声データ用記録部139とアナログ映像データ用記録部140からなっている。
通話情報符号化部141：端末110から送信され、アナログ通話記録格納部138に記録された音声データと映像データをディジタル化する部分であり、音声データをディジタル化する音声符号化部142と、映像データをディジタル化する映像符号化部143からなっている。

ディジタル通話記録格納部145：通話情報符号化部134が音声データと映像データをディジタル化したデータを記録する部分であり、ディジタル音声データ用記録部146とディジタル映像データ用記録部147からなっている。
カテゴリデータ部148：カテゴリ分類部154がテキストのカテゴリを推定する時に使用するデータを記憶する部分であり、カテゴリ定義データ149と類義語データ150からなっている。類義語データ150は類義語のデータベースであり、出現頻度等の解析等のため類似の意義をもつ語を統一された語に変換するためのものである。カテゴリ定義データ149は各分野で使用される確率の高い単語の情報を記憶するデータベースであり、解析対象のテキストに含まれる単語の分布あるいは頻度からそのテキストが属するカテゴリを決定するために使用される。

メディア解析部151：ディジタル音声データとディジタル映像データから生活記録を作成するために必要となるデータを取得する部分である。ディジタル音声データは音声認識部152によりテキストデータに変換され、テキスト解析部153により形態解析、意味解析等の解析が行われる。この解析によりテキストから名詞あるいは動詞等、重要な単語が抽出される。カテゴリ分類部154は抽出された単語の出現頻度等をカテゴリデータ部148に記憶されている単語情報と比較照合しテキストが属するカテゴリを決定する。
メディア分解部155は映像データに含まれる映像と音声を分離し、音声データを音声認識部152に渡しカテゴリの決定に利用する。分離された映像データは映像解析部156に渡される。映像解析部156は映像の変化量を検出し、変化量が大きな時点をシーンの変更点とみなして映像を分割する。また、画像抽出部157はシーンの先頭部分、あるいは映像の持続時間等から映像の特徴点を抽出して静止画を作成する。

出力形式テンプレート162：日記あるいは旅行記録をウェブ・ページとして公開するための形式を定義するテンプレート、あるいは、それらを印刷するためのテンプレートが記憶されている。
出力部158：出力形式解析部160と出力整形部161から構成されている。出力形式解析部160はユーザが要求した形式、例えば、日記か旅行記録か、ウェブに公開するか、印刷するか等に従って、出力形式テンプレート162に記憶されているテンプレートから対応するものを読み出し解析する。例えば、旅行記録をウェブ・ページとして公開可能する場合、この解析により、整形処理部105が作成したタイトル文、要約、静止画等を、HTMLにより記述されデータに組み込み、ウェブ・ページとして公開可能な形式に変換される。
変換されたデータは、出力データ記憶部163に保管され公開される。

図3はユーザが携帯電話機300からシステム301のサーバ100にアクセスして、生活記録、例えば旅行記録を登録し、ウェブ・ページとして公開する過程を示すものである。
ステップ302：ユーザはシステム301のサーバ100に携帯電話機あるいはTV電話機からアクセスし生活記録の作成を依頼する。サーバ100は発信元の電話番号、ユーザが入力したユーザコード、暗証番号からユーザの正当性を認証する。日記形式、旅行記形式等、複数の形式の生活記録が可能、あるいは、動画の有無、音声の有無等 複数の態様が可能であれば、ユーザに利用可能な形式を提示し、希望する形式の選択を要求する。
ステップ303：ユーザが選択した形式のウェブ・ページに対応したガイダンス用テンプレートがテンプレート記憶部101から読み出され、テンプレート解釈実行部103に渡される。テンプレート解釈実行部103は渡されたガイダンス用テンプレートに記述されているコマンドを1つずつ実行する。ユーザ情報はユーザ特定部132により、現在の時刻は時間取得部133により、ユーザの位置情報は位置取得部134により取得され記憶される。またに音声データは音声記録部136により取得され、アナログ音声データ記録部139に記録され、映像データは映像記録部137により取得されアナログ映像データ記録部140に記録される。

ステップ304：ガイダンス用テンプレートに記述された全てのコマンドの実行が終了すると、サーバ100はユーザに通信の終了を通知する。ユーザは電話の接続を切断する。
ステップ305：サーバ100はアナログ音声データ記録部139及びアナログ映像データ記録部140に記録されている音声データ及び映像データをウェブ・ページとして公開可能なディジタル形式のデータに変換する。音声データは音声符号化部142によりディジタル化され、ディジタル音声データ記録部146に記録され、映像データは映像符号化部143によりディジタル化され、ディジタル映像データ記録部147に記録される。
ステップ306：メディア解析部151がディジタル化された音声データと映像データを解析する。音声データはテキストデータに変換され、公開する記録のジャンル、要約等が作成される。また、映像データから映像を特徴付ける静止画等が作成される。
ステップ307：ステップ306で作成された要約、静止画、映像データ等をウェブ・ページ用のテンプレートに合成し、ウェブ・ページとして公開可能なデータを作成する。
ステップ308：作成されたウェブ・ページ・データをウェブ・ページ・サーバに登録して公開する。
なお、図3の例は、ステップ303で携帯電話機から音声と映像を取得し、ステップ304で電話の接続を切断した後に、ステップ305からステップ307で取得した音声と映像を加工し、ウェブ・ページ用のデータを作成する手順となっている。しかし、サーバ100が取得した音声と映像の処理を高速に行うことが可能であれば、ステップ307の処理が終了した時に電話の接続を切断する手順とすることが可能である。

図3の310は、公開されるウェブ・ページの例である。311は、時間取得部133と位置取得部134により取得された時間と位置、メディア解析部151により得られたタイトル・見出し情報である。312はテキスト解析部153によりユーザの音声データから作成された要約文である。313はユーザが携帯電話機のカメラにより撮影した映像データから画像抽出部157が作成した静止画像であり、映像データへリンクが張られている。314は、テキスト解析部153によりユーザの音声データから作成されたテキストに多く出現する単語のリストであり、ホームページのウェブ検索等に利用される。315は音声ファイルへのリンクである。

図4は整形処理部105における処理の流れを示す図である。
ステップ400：テンプレート解釈実行部103がユーザにより指定された形式に対応するガイダンス用テンプレートをテンプレート記憶部101から読み出し、テンプレートに記述されているコマンドの実行を開始する。
ステップ401：ユーザ情報取得部131のユーザ特定部132、時間取得部133、位置取得部134が各々ユーザ情報、時刻情報、端末110の位置情報を取得し、所定の記憶場所に記憶する。
ステップ402：音声データと映像データを取得するコマンドを実行したテンプレート解釈実行部103は、ユーザに音声と映像の送信を要求すると共に、通話情報記録部132にユーザが送信した音声データと映像データの取得を指示する。通話情報記録部132は携帯電話機から送信されて来た音声データと映像データを各々音声記録部136と映像録部137により受信し、アナログ通話記録格納部138のアナログ音声データ用記録部139とアナログ映像データ用記録部140に記録する。ユーザが音声及び映像の終了を指示すると記録動作は終了する。
ステップ403：音声データと映像データの取得を終了すると、テンプレート解釈実行部103は通話情報符号化部141にアナログ通話記録格納部138に記録された音声データと映像データのディジタル化を指示する。通話情報符号化部141の音声符号化部142はアナログ音声データ記録部139に記録された音声データをインターネットのウェブ・ページに公開可能な形式のディジタルデータに変換し、同じく、映像符号化部143はアナログ映像データ記録部140に記録された映像データをインターネットのウェブ・ページに公開可能な形式のディジタルデータに変換する。

ステップ404：メディア解析部151は、音声認識部152によりディジタル化された音声データ、及び映像データから抽出されたディジタル音声データを音声認識手段によりテキストデータに変換する。
ステップ405：メディア解析部151のテキスト解析部153は、文法解析あるいは意味解析等の形態解析の手法を用いて音声認識部152が生成したテキストデータを解析し、テキストを構成している単語を抽出する。
ステップ406：カテゴリデータ部148には、意味が同じあるいは非常に近い語に関するデータベースである類義語データ150が設けられている。テキスト解析部153は類義語データ150を参照して、テキストデータから抽出された各単語を統一された単語に変換し、各単語の出現頻度を計算する。
ステップ407：ステップ406でテキストデータから算出した出現頻度の高い単語を多く含む部分を抽出し、要約文とする。本実施例では単語の出現頻度に基づいて要約文を作成する方法を用いた。しかし、長文のテキストデータから要約文を作成する多くの方法が提案されており、採用する方法は適宜選択可能である。
ステップ408：カテゴリデータ部148には、例えば「旅行」「ヨーロッパ」等のカテゴリと、各カテゴリに属する単語からなるカテゴリ定義データ149が設けられている。テキスト解析部153はテキストデータから抽出された単語を多く含むカテゴリを所定数抽出して、作成するウェブ・ページのカテゴリとする。図2に示されるカテゴリデータ部184は、例えば「ホテル」、「旅館」、「コテージ」等を「ホテル」に統一する類義語データベース150と、「旅行」を「ホテル」「飛行機」「観光」等の語により定義するカテゴリ定義データベース149により構成するものであるが、両データベースを1つのデータベースに統合することも可能である。図5-1に、類義語の定義と、カテゴリの定義を同時に行う例が示されている。同図では、例えば、「海外旅行」「家族旅行」「新婚旅行」等の類義語を代表する語である「旅行」を直接カテゴリとしている。

ステップ409：メディア分解部155はディジタル化された映像データから音声部分を抽出して音声認識部152に渡し、ステップ404以降の処理を依頼すると共に、映像データの解析を行う。解析のフローが図5-2(a)に示されている。この処理は、画像の変化が大きい箇所をシーンの切り替わり部分とみなして、映像データをシーンに分割するものである。

図5-2(a)のフローの概要は以下の通りである。
ステップ521でディジタル映像データの先頭に第１のポインタを設定し、ステップ522で映像を１画面進める。ステップ523で映像データは終了したが否かを判定し、終了した時はステップ526に進み、処理を終了する。映像データが続く場合はステップ524に進む。ステップ524で、進められた画面と前の画面の変化量を算出し、変化量が所定量以上か否かを判断する。所定量が小さい場合は、進められた画面と前の画面は連続したシーン内と判断し、ステップ52２に戻る。変化量が所定以上在る時はステップ525に進む。現在の画像は新たなシーンの先頭であるため、ステップ525で、ポインタの値を＋１して、現在の画像の位置にポインタを設定する。その後、ステップ522に戻り処理を続ける。
図5-2(b)は映像データとポインタの関係を示す図である。映像データ527の先頭にはボインタ1が設定されておの、変化の大きい映像部分に順次ボインタ2、ボインタ3、・・・、ボインタnが設定されている。ポインタとポインタに挟まれた映像が1つのシーンとみなされる。

図4の整形処理部105における処理の流れに戻る。
ステップ410：ステップ409の処理で決定されたシーン毎に映像データを分割し、個別のファイルを生成する。
ステップ411：各シーンの開始部分を静止画として取り出し、シーンの代表画像とする。
ステップ412：ウェブ・ページの形態が記述されたウェブ・ページ用のテンプレートに、ステップ407、408、410、411で作成決定された要約文、カテゴリ、シーン毎の映像ファイル、静止画、及びユーザのディジタル音声ファイルを結合してウェブ・ページを作成する。
ステップ413：ステップ412で作成されたHTMLで記述されたウェブ・ページ・データをウェブ・ページ・サーバに登録して、処理を終了する。

図6は、テンプレート解釈実行部103がガイダンス用のテンプレートを実行することにより行われるユーザとの対話の一例であり、図7-1及び図7-2はテンプレート解釈実行部103が実行するガイダンス用のテンプレートの例である。図6のフローを参照してガイダンス用のテンプレートを説明する。

ステップ600：ユーザがサーバ100にアクセスし、ガイダンス用のテンプレートを決定すると、テンプレート解釈実行部103は決定されたガイダンス用のテンプレートをテンプレート記憶部から読み出しの実行を開始する。ステップ600ではユーザに記録のタイトルの入力を要求する。
(A)テンプレートの開始を宣言するものであり、変数の確保と初期化を行う。
(B)タイトル用の音声と映像を取得するコマンドである。音声による対話方式（dialogue）で、音声をファイル「title_audio」に、映像をファイル「title_video」に取得する。終了は「＃」キーを操作する。
ユーザに対するガイダンスとして、「発信音の後にタイトルを発声してください。終了時には＃ボタンを押してください。」のメッセージを、音声合成機能（TTS）を用いて再生する。

ステップ601：ユーザは携帯電話機のカメラにより対象物を撮影すると共にタイトル「はじめてのかいがいりょこう」を発声する。終了時に「＃」キーを操作する。サーバは、時刻、位置情報等を収集し、ユーザが入力したタイトル文の解析を行う。
(C) 取得した音声データを音声のテキスト化機能（STT）を用いて音声認識し、その結果をテキストファイル「user_title」に記憶する。
(D)現地時間(local)のタイムゾーンを変数「user_timel」に取得する。また、必要に応じて+09:00等の処理を行い日本時間、あるいは現地時間を取得する。
(E)GPS、基地局等から携帯電話機の位置情報を変数「user_place」に取得する。測地系、座標系を指定して、緯度経度による取得等が可能である。また、必要に応じて、取得した緯度経度から、国、市（city）への変換を行う。変換のレベルの指定が可能である。
(F)取得した音声データに含まれる単語から、その音声データが分類されるカテゴリ（user_category）を決定する。複数に分類することも可能であるが、最大の数は「maxnum」とする。
(G)取得した音声データに含まれる単語の出現頻度を算出し、出現頻度の高い単語（user_word）を最大値以下（maxnum）で取得する。

ステップ602：このステップでは、ユーザに記録する本文の送信を要求する。
(H)本文の音声と映像を取得するコマンドである。音声による対話方式（dialogue）で、音声データをファイル「message_audio」に、映像データをファイル「message_video」に取得する。終了は「＃」キーを操作する。
ユーザに対するガイダンスとして、「発信音の後に本文を発声してください。終了時には＃ボタンを押してください。」のメッセージを、音声合成機能（TTS）を用いて再生する。

ステップ603：ユーザは携帯電話機のカメラにより対象物を撮影すると共に本文「パリに来ています・・・・・・」を発声し、終了時に「＃」キーを操作する。サーバはユーザが入力した本文を解析する。
(I)音声のテキスト化機能（STT）を利用して取得した音声を認識し、その結果をテキストファイル「user_message」に記憶する。
(J)テキストファイル「user_message」から頻出単語「user_word」を抽出し、それらを参考に要約文「user_summary」を作成。
(K)映像ファイル「message_video」を解析し、変化量が大きな部分、即ちシーンの切り替わり箇所を検出し、その時間（scene_time）を取得する。
(L)検出シーンに合わせて、音声ファイル「message_audio」を分割する。
(M)検出シーンに合わせて、映像ファイル「message_video」を分割する。
(N)ステップ600で作成したタイトル映像「title_video」の開始箇所から静止画を作成し、タイトル静止画「title_image」とする。
(O)本文映像をシーンで分割した映像ファイルの開始箇所から静止画を作成する（imessage_div）。

ステップ604： ユーザに作成した記録を公開するか否かの確認を求める。
(P)作成した記録を公開するか、非公開とするかを確認するため、「１件お預かりしました。公開する場合は＊、非公開の場合は＃ボタンを押してください。」の音声メッセージを通知する。

ステップ605：ユーザは公開するため「＊」キーを操作する。「＊」キーを受信したテンプレート解釈実行部103は作成したデータをウェブ・サーバに登録する。

ステップ606：作成したデータをウェブ・サーバに登録した旨の通知と、処理を継続するか、終了するかの確認を行う。
(Q)処理の継続／終了を確認するため「公開設定にしました。続ける場合は＊、終了時には＃ボタンを押してください。」の音声メッセージを通知する。

ステップ607：ユーザは「＊」キーにより終了を通知する。
(R)テンプレート解釈実行部103はファイル・クローズ等の終了処理を行い、携帯電話機との接続を切る。

図7-1及び図7-2に示されるガイダンス用テンプレートは、コマンドの先頭から終了まで順次直線的に実行する例である。例えば、ユーザが入力したキーの種類に応答して実行順序を変更する条件ジャンプ・コマンド、あるいは所定回繰り返し実行するループ・コマンド等、処理の順序を変更する制御用コマンドを付加することにより複雑なガイダンスが可能となる。

図４のステップ412で、出力形式解析部160は出力形式テンプレート記憶部152からウェブ・ページ用のテンプレートを読み出し、位置情報、時刻情報等、ユーザ情報取得部131が取得した情報、及び、メディア解析部151により生成された画像あるいはテキストと合成して公開可能なウェブ・ページを生成する。図8は生成されたウェブ・ページが例である。
図8の801はタイトル部であり、図7-1のコマンド(C)により変換されたたタイトルが表示される。
802は登録時刻であり図7-1のコマンド(D)により取得された時刻情報を日本時間(又は、現地時間)に変換したものが表示される。
803は登録場所であり、図7-1のコマンド(C)により取得された携帯電話機の位置情報を国名あるいは都市名に変換したものが表示される。
805はメッセージに出現する頻度の高い単語であり、図7-2のコマンド(J)によりテキストファイルから抽出された高い出現頻度の単語が表示される。
806はメッセージの概要であり、図7-2のコマンド(J)により頻出単語から生成された要約文が表示される。
807は音声メッセージへのリンクであり、図7-2のコマンド(L)により生成された音声ファイルの格納場所を指示するデータがリンク・タグと共に格納されている。
808は静止画像であり、図7-2のコマンド(N)により生成された静止画が表示される。
809は静止画像の説明であり、タイトル部の文字が表示される。

図9は、図8に示されるウェブ・ページを生成するためのHTML用テンプレートの例である。出力形式解析部160は当該HTML用テンプレートを解析し、<#server# … #server#>で囲まれた部分にメディア解析部151が作成したデータ、あるいはデータファイルが格納され場所をリンク情報として代入する。各部の概要は以下のとおりである。

(A)ウェブ・ページのためのヘッダー部分である。
(B)図8のタイトル部801に対応する部分であり、「<#server# print_text($user_title[$num]); #server#>」に、タイトルデータ「user_title」が代入される。
(C)図8の登録時刻802に対応する部分であり、「<#server# print_time($user_time, "hh:mm", "local"); #server#>」に時刻データ「user_time」が日本時間、あるいは現地時間に変換され代入される。
(D)図8の登録場所803に対応する部分であり、「<#server# print_text($user_place[$num]); #server#>」に位置のデータ「user_place」を国名、あるいは都市名に変換したものが代入される。
(E)図8のカテゴリ804に対応する部分であり、「<#server# print_texts($user_category[$num][], "、"); #server#>」にカテゴリに関するデータ「user_category」が代入される。
(F)図8のメッセージ中の頻出単語805に対応する部分であり、「<#server# print_texts($user_word[$num][], "、"); #server#>」に頻度データ「user_word」が代入される。
(G)図8の静止画像808に対応する部分であり、「<#server# insert_img($title_image[$num]); #server#>」に画像ファイル「title_image」が格納されている位置データが代入される。
(H)図8の静止画像の説明文809に対応する部分であり、「<#server# print_text($user_title[$num]); #server#>」にタイトルデータ「user_title」が代入される。
(I)図8のメッセージの概要805に対応する部分であり、「<#server# print_text($user_summary[$num]); #server#>」に概要データ「user_summary」が代入される。
(J)図8の音声へのリンク807に対応する部分であり、「<#server# print_filepath($message_audio[$num]); #server#>」に音声ファイル「message_audio」が格納されている位置情報が代入される。

上記の例は、HTML用テンプレートの所定箇所にテキストあるいは画像を代入してウェブ用のデータを生成するものであるが、図4のステップ410で分割された映像データのシーンの数に応じてウェブ・ページに表示する画像の数を変更する構成とすることも可能である。また、本実施例のユーザは音声と映像を入力する構成であるが、ユーザが文字あるいは静止画を入力し、それらを用いてウェブ・ページを作成する構成も可能である。また、本実施例では出力用のテンプレートはウェブ・ページ作成用のHTML用テンプレートであるが、XMLあるいは印刷用のスクリプトを出力用のテンプレートとすることも可能である。

本発明に係るサービス提供システムは、日記、旅行記録等の生活記録の作成を希望する利用にガイダンスを提供するサーバを有しており、利用者はサーバが提供するガイダンスに従って携帯電話機から文字、音声、映像をサーバに送信する。サーバは携帯電話機の位置情報、送信されたデータから、情報のジャンル、概要等を決定し、予め決められている書式に従ってウェブ・ページを作成する。

本発明の生活記録作成装置およびその制御方法により、日記の対象となる現場、あるいは旅行先等で、サーバからの指示に従って、携帯電話機のカメラにより撮影された映像、あるいはマイクから入力された音声をサーバに送信することにより、簡単にウェブ・ページを作成することが可能となる。また、サーバは送信された映像あるいは音声から必要な情報を抽出してウェブ・ページを作成する。この構成により、利用者はウェブ・ページ作成に関する知識を必要とせず、旅行先等の現場から直接データを入力してウェブ・ページを作成することが可能となる。

本発明に係るシステムの概要図 本発明に係るシステムのサーバの構成図 本発明に係るシステムの処理フローの概要図 本発明に係るシステムのサーバの処理フローの概要図 本発明に係るシステムで用いられる類語テーブルの図 本発明に係るシステムにおける映像データの処理フロー図 本発明に係るシステムとユーザ間のデータの授受を示す図 本発明に係るシステムとユーザ間のデータ授受を制御するテンプレートの図 本発明に係るシステムとユーザ間のデータ授受を制御するテンプレートの図 ウェブ・ページの例を示す図 本発明に係るシステムにおいてウェブ・ページを作成するテンプレートの図

Claims (8)

1. 複数のガイダンス用テンプレートを記憶するガイダンス用テンプレート記憶部と、
   複数の出力用テンプレートを記憶する出力用テンプレート記憶部と、
   移動端末からの要求に応答してユーザが指示したガイダンス用テンプレートを前記ガイダンス用テンプレート記憶部から読み出すガイダンステンプレート読み出し部と、
   移動端末からの要求に応答してユーザが指示した出力用テンプレートを前記出力用テンプレート記憶部から読み出す出力用テンプレート読み出し部と、
   前記読み出されたガイダンス用テンプレートを解釈しユーザの操作を要求するガイダンステンプレート解釈実行部と、
   前記テンプレート解釈実行部のユーザの操作の要求に応答して移動端末から音声データを受信し整形する音声データ整形部と、
   前記テンプレート解釈実行部のユーザの操作の要求に応答して移動端末から映像データを受信し整形する映像データ整形部と、
   前記音声データ整形部と映像データ整形部が処理したデータを前記出力用テンプレート記憶部から読み出された出力用テンプレートに基づいて出力データを生成する出力整形部からなる生活記録作成システムであって、
   前記ガイダンステンプレート解釈実行部はガイダンス用テンプレートに記述されているコマンドを1つずつ実行することにより表示部にガイダンス文を表示しユーザの操作を要求する構成であり、
   前記音声データ整形部は前記ガイダンス文に応答してユーザが入力した音声データを整形するものであり、
   前記音声データをテキストデータに変換する音声認識部と、
   前記テキストデータを形態要素解析するテキスト解析部と
   前記テキスト解析部の出力から要約文を生成する要約文生成部と、
   前記テキスト解析部の出力から前記テキストデータのカテゴリを決定するカテゴリ決定部を有し、
   前記映像データ整形部はユーザが入力した映像データを整形するものであり、
   映像データの変化点を抽出してシーンに分解するシーン分解部と、
   映像データから静止画を生成する静止画生成部を有し、
   前記出力整形部は、
   前記読み出された出力用テンプレートの所定の位置に前記映像データ整形部と前記音声データ整形部の出力を代入し、音声データおよび／あるいは映像データのファイルが格納され場所をリンク情報として代入することを特徴とする生活記録作成システム。
2. 前記ガイダンス用テンプレートは時刻情報と移動端末の位置情報を取得するコマンドを有することを特徴とする請求項１記載の生活記録作成システム。
3. 前記整形処理部は前記テキストデータから出現頻度の大きい単語を抽出して前記テキストデータのカテゴリを決定するカテゴリ決定手段を有することを特徴とする請求項１または請求項２記載の生活記録作成システム。
4. 前記出力用テンプレートは前記整形処理部が整形処理したデータからウェブ・ページのHTMLデータを生成するテンプレートであることを特徴とする請求項１乃至３記載の生活記録作成システム。
5. 複数のガイダンス用テンプレートを記憶するガイダンス用テンプレート記憶部からユーザが指示したガイダンス用テンプレートを読み出すガイダンステンプレート読み出しステップと、
   前記読み出されたガイダンス用テンプレートを解釈しユーザの操作を要求するガイダンステンプレート解釈実行ステップと、
   前記テンプレート解釈実行ステップにおいてユーザの操作の要求に応答して移動端末から音声データを受信し整形する音声データ整形ステップと、
   前記テンプレート解釈実行ステップにおいてユーザの操作の要求に応答して移動端末から映像データを受信し整形する映像データ整形ステップと、
   複数の出力用テンプレートを記憶する出力用テンプレート記憶部から移動端末からの要求に応答してユーザが指示した出力用テンプレートを読み出す出力用テンプレート読み出しステップと、
   前記音声データ整形ステップと映像データ整形ステップにおいて処理したデータを前記出力用テンプレート読み出しステップにおいて読み出された出力用テンプレートに基づいて出力データを生成する出力整形ステップからなる生活記録作成方法であって、
   前記ガイダンステンプレート解釈実行ステップはガイダンス用テンプレートに記述されているコマンドを1つずつ実行することにより表示部にガイダンス文を表示しユーザの操作を要求するステップであり、
   前記音声データ整形ステップは前記ガイダンス文に応答してユーザが入力した音声データを整形するものであり、
   前記音声データをテキストデータに変換する音声認識ステップと、
   前記テキストデータを形態要素解析するテキスト解析ステップと
   前記テキスト解析部の出力から要約文を生成する要約文生成ステップと、
   前記テキスト解析部の出力から前記テキストデータのカテゴリを決定するカテゴリ決定ステップを有し、
   前記映像データ整形部はユーザが入力した映像データを整形するものであり、
   映像データの変化点を抽出してシーンに分解するシーン分解ステップと、
   映像データから静止画を生成する静止画生成ステップを有し、
   前記出力整形ステップは、
   前記読み出された出力用テンプレートの所定の位置に前記映像データ整形ステップと前記音声データ整形ステップにおいて生成されたデータを代入し、音声データおよび／あるいは映像データのファイルが格納され場所をリンク情報として代入するステップを有することを特徴とする生活記録作成方法。
6. 前記ガイダンス用テンプレートは時刻情報と移動端末の位置情報を取得するコマンドを有することを特徴とする請求項５記載の生活記録作成方法。
7. 前記整形処理部は前記テキストデータから出現頻度の大きい単語を抽出して前記テキストデータのカテゴリを決定するカテゴリ決定手ステップを有することを特徴とする請求項５または請求項６記載の生活記録作成方法。
8. 前記出力用テンプレートは前記整形処理部が整形処理したデータからウェブ・ページのHTMLデータを生成するテンプレートであることを特徴とする請求項５乃至７記載の生活記録作成方法。

Images