JP5576646B2 - 手話映像生成装置、手話映像生成方法、及びプログラム - Google Patents

手話映像生成装置、手話映像生成方法、及びプログラム

Info

Publication number
JP5576646B2
JP5576646B2 JP2009283054A JP2009283054A JP5576646B2 JP 5576646 B2 JP5576646 B2 JP 5576646B2 JP 2009283054 A JP2009283054 A JP 2009283054A JP 2009283054 A JP2009283054 A JP 2009283054A JP 5576646 B2 JP5576646 B2 JP 5576646B2
Authority
JP
Japan
Prior art keywords
sign language
term
language video
dictionary
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009283054A
Other languages
English (en)
Other versions
JP2011123422A (ja
Inventor
雄三 大嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ASTEM, INC.
Original Assignee
ASTEM, INC.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ASTEM, INC. filed Critical ASTEM, INC.
Priority to JP2009283054A priority Critical patent/JP5576646B2/ja
Publication of JP2011123422A publication Critical patent/JP2011123422A/ja
Application granted granted Critical
Publication of JP5576646B2 publication Critical patent/JP5576646B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Machine Translation (AREA)

Description

本発明は、手話映像を生成する手話映像生成装置等や、手話映像を出力する手話映像出力装置に関する。
従来、文字(テキスト)を手話のアニメーションに変換し、その変換後の手話のアニメーションを表示する装置が知られている(例えば、特許文献1参照)。
特開2004−254218号公報
しかしながら、頻繁に手話のアニメーションの検索、取得、表示を行うと、リアルタイムで処理を行うことが難しくなる、という問題があった。例えば、新用語である「イロハ」を含む文字列を手話のアニメーションに変換する際に、「イ」「ロ」「ハ」にそれぞれ対応する手話のアニメーションを別々に取得し、それらを順次表示するのに必要な時間は、用語「イロハ」に対応する一の手話のアニメーションを取得して表示するのに必要な時間よりも長くなる。
一般的に言えば、テキストを手話映像に変換する際に、リアルタイム処理が可能となるようにスピードアップすることが求められていた。
本発明は、上記課題を解決するためになされたものであり、その一の目的は、テキストを手話映像に変換する際の処理速度を向上させることができるように、用語と手話映像とのペアを複数有する手話映像辞書を充実させることができる手話映像生成装置等を提供することである。また、本発明のその他の目的は、そのようにして充実された手話映像辞書を用いて、テキストを手話映像に変換する手話映像出力装置を提供することである。
上記目的を達成するため、本発明による手話映像生成装置は、用語と当該用語に対応する手話映像とのペアである用語ペア情報を複数有する手話映像辞書が記憶される記憶部と、複数の文章を含む文章群から、前記手話映像辞書に存在しない用語を取得する用語取得部と、前記用語取得部が取得した用語に対応する2以上の手話映像を前記手話映像辞書から取得し、当該2以上の手話映像を連結した手話映像を生成する手話映像生成部と、前記用語取得部が取得した用語と、前記手話映像生成部が生成した、当該用語に対応する手話映像とのペアである用語ペア情報を前記記憶部に蓄積する蓄積部と、を備えたものである。
このような構成により、手話映像辞書に記憶されていない用語に対応する手話映像を生成し、その手話映像と用語とのペアをあらかじめ手話映像辞書に追加することができる。その結果、その手話映像辞書を用いて、テキストを手話映像に変換する際には、検索、取得の回数が減ることになり、処理速度を向上させることができる。したがって、リアルタイム処理を実現することがより容易になり得る。
また、本発明による手話映像生成装置では、前記用語取得部は、前記文章群から、出現数に応じた値がしきい値よりも大きい用語を取得してもよい。
このような構成により、出現数に応じた値の小さい用語と手話映像とのペアを手話映像辞書に追加しないことになる。その結果、使用頻度の低い用語ペア情報によって手話映像辞書のデータ容量が非常に大きくなる事態を回避することができる。
また、本発明による手話映像生成装置では、前記手話映像生成部は、前記手話映像辞書に含まれる用語が連続した用語を前記用語取得部が取得した場合に、その取得した用語に含まれる2以上の用語にそれぞれ対応する手話映像を前記手話映像辞書から取得し、当該2以上の手話映像を連結した手話映像を生成してもよい。
このような構成により、手話映像辞書に含まれる2以上の用語が連結した用語に対応する用語ペア情報をあらかじめ生成することができる。
また、本発明による手話映像生成装置では、前記手話映像辞書は、文字と当該文字に対応する手話映像とのペアである文字ペア情報をも複数有するものであり、前記手話映像生成部は、前記用語取得部が取得した用語に含まれる2以上の文字にそれぞれ対応する手話映像を前記手話映像辞書から取得し、当該2以上の手話映像を連結した手話映像を生成してもよい。
このような構成により、例えば、造語などの新用語に対応する手話映像を生成することができ、その手話映像と新用語とのペアである用語ペア情報をあらかじめ生成することができる。
また、本発明による手話映像生成装置では、前記蓄積部が前記記憶部に蓄積した用語ペア情報を出力する出力部をさらに備えてもよい。
このような構成により、その出力された用語ペア情報を、例えば、他の装置の手話映像辞書に取り込むことによって、その手話映像辞書を充実させることができる。その結果として、その手話映像辞書を用いてテキストを手話映像に変換する際の処理速度を向上させることができる。
また、本発明による手話映像生成装置では、前記文章群は、ウェブサイトに存在する文章群であってもよい。
このような構成により、例えば、ウェブサイトに存在する新用語に対応する用語ペア情報を手話映像辞書に追加することができる。
また、本発明による手話映像生成装置では、前記文章群は、字幕放送の文章群であってもよい。
このような構成により、例えば、字幕放送に含まれる新用語に対応する用語ペア情報を手話映像辞書に追加することができる。
また、本発明による手話映像生成装置では、前記手話映像は、アニメーションの映像であってもよい。
また、本発明による手話映像出力装置は、用語と当該用語に対応する手話映像とのペアである用語ペア情報を複数有する手話映像辞書が記憶される手話映像辞書記憶部と、前記手話映像生成装置が出力した用語ペア情報を受け付ける用語ペア情報受付部と、前記用語ペア情報受付部が受け付けた用語ペア情報を前記手話映像辞書記憶部に蓄積する用語ペア情報蓄積部と、テキストを受け付けるテキスト受付部と、前記テキスト受付部が受け付けたテキストに含まれる用語に対応する手話映像を前記手話映像辞書記憶部で記憶されている手話映像辞書から取得する手話映像取得部と、前記手話映像取得部が取得した手話映像を出力する手話映像出力部と、を備えたものである。
このような構成により、手話映像生成装置から出力された用語ペア情報を手話映像出力装置の手話映像辞書に追加することによって、手話映像辞書を充実させることができる。その結果、テキストに応じた手話映像を出力する際の処理速度を向上させることができる。
本発明による手話映像生成装置等によれば、テキストを手話映像に変換する際の処理速度を向上させることができるように、用語と手話映像とのペアを複数有する手話映像辞書を充実させることができる。また、本発明による手話映像出力装置によれば、そのようにして充実された手話映像辞書を用いて、テキストを手話映像に変換することにより、テキストを手話映像に変換する際の処理速度を向上させることができる。
本発明の実施の形態1による手話映像生成装置と手話映像出力装置との構成を示すブロック図 同実施の形態による手話映像生成装置の動作を示すフローチャート 同実施の形態による手話映像生成装置の動作を示すフローチャート 同実施の形態による手話映像生成装置の動作を示すフローチャート 同実施の形態による手話映像生成装置の動作を示すフローチャート 同実施の形態による手話映像出力装置の動作を示すフローチャート 同実施の形態における手話映像辞書の一例を示す図 同実施の形態における手話映像辞書の一例を示す図 同実施の形態における取得された用語の一例を示す図 同実施の形態における手話映像辞書の一例を示す図 同実施の形態における手話映像の表示されたテレビ受像機の画面の一例を示す図 上記実施の形態におけるコンピュータシステムの外観一例を示す模式図 上記実施の形態におけるコンピュータシステムの構成の一例を示す図
以下、本発明による手話映像生成装置及び手話映像出力装置について、実施の形態を用いて説明する。なお、以下の実施の形態において、同じ符号を付した構成要素及びステップは同一または相当するものであり、再度の説明を省略することがある。
(実施の形態1)
本発明の実施の形態1による手話映像生成装置と手話映像出力装置とについて、図面を参照しながら説明する。本実施の形態による手話映像生成装置は、文章群から手話映像辞書に存在しない用語を取得し、その用語に対応する手話映像を生成し、その取得した用語と生成した手話映像とのペアを手話映像辞書に蓄積するものである。
図1は、本実施の形態による手話映像システムの構成を示すブロック図である。本実施の形態による手話映像システムは、手話映像生成装置1と手話映像出力装置2とを備える。手話映像生成装置1と、手話映像出力装置2とは、有線または無線の通信回線500を介して接続されている。通信回線500は、例えば、インターネットやイントラネット、公衆電話回線網等であってもよい。また、図1では、説明の便宜上、1個の手話映像出力装置2のみが存在する場合を示しているが、手話映像システムは、2以上の手話映像出力装置2を備えていてもよい。
本実施の形態による手話映像生成装置1は、記憶部11と、文章群記憶部12と、用語取得部13と、手話映像生成部14と、蓄積部15と、出力部16とを備える。
記憶部11では、複数の用語ペア情報を有する手話映像辞書が記憶される。用語ペア情報は、用語と、その用語に対応する手話映像とのペアである。用語ペア情報は、例えば、用語「山」と、その用語「山」を示す手話映像との対を有する情報である。手話映像は、例えば、アニメーションの映像であってもよく、あるいは、手話通訳者等が実際に手話を行っているところを撮影した映像であってもよい。また、手話映像がアニメーションの映像である場合に、その手話映像は、映像そのものの情報(例えば、モーションJPEGやMPEGなど)であってもよく、映像を生成する元となる情報(例えば、Virtual Reality Modeling Language(仮想現実モデリング言語、VRML)など)であってもよい。このように、手話映像は、結果として手話の動画像を表示可能な情報であれば、その内容やデータ形式等を問わない。また、記憶部11では、複数の文字ペア情報を有する手話映像辞書も記憶される。文字ペア情報は、文字と、その文字に対応する手話映像とのペアである。文字は、例えば、日本語であれば平仮名の各文字であってもよく、英語であればアルファベットの各文字であってもよい。このように、本実施の形態による手話映像辞書は、複数の用語ペア情報と、複数の文字ペア情報とを有する情報である。また、この記憶部11では、あらかじめデフォルトの手話映像辞書が記憶されているものとする。そして、後述するように、そのデフォルトの手話映像辞書に含まれない用語に対応する用語ペア情報が新たに記憶部11に蓄積されることになる。その結果、記憶部11で記憶されている手話映像辞書が充実したものとなる。
記憶部11にデフォルトの手話映像辞書が記憶される過程は問わない。例えば、記録媒体を介してデフォルトの手話映像辞書が記憶部11で記憶されるようになってもよく、通信回線等を介して送信されたデフォルトの手話映像辞書が記憶部11で記憶されるようになってもよく、あるいは、入力デバイスを介して入力されたデフォルトの手話映像辞書が記憶部11で記憶されるようになってもよい。記憶部11での記憶は、RAM等における一時的な記憶でもよく、あるいは、長期的な記憶でもよい。記憶部11は、所定の記録媒体(例えば、半導体メモリや磁気ディスク、光ディスクなど)によって実現されうる。
文章群記憶部12では、複数の文章を含む文章群が記憶される。この文章群は、ウェブサイトに存在する文章群(例えば、ニュースのウェブサイトの文章群など)であってもよく、字幕放送の文章群であってもよい。字幕放送の文章群とは、字幕放送によって配信されたテキストの集合である文章群であってもよい。
文章群記憶部12に文章群が記憶される過程は問わない。例えば、記録媒体を介して文章群が文章群記憶部12で記憶されるようになってもよく、通信回線等を介して送信された文章群が文章群記憶部12で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された文章群が文章群記憶部12で記憶されるようになってもよい。文章群記憶部12での記憶は、RAM等における一時的な記憶でもよく、あるいは、長期的な記憶でもよい。文章群記憶部12は、所定の記録媒体(例えば、半導体メモリや磁気ディスク、光ディスクなど)によって実現されうる。
用語取得部13は、文章群記憶部12で記憶されている複数の文章を含む文章群から、記憶部11で記憶されている手話映像辞書に存在しない用語を取得する。また、用語取得部13は、その文章群から、出現数に応じた値がしきい値よりも大きい用語を取得する。出現数に応じた値とは、例えば、注目している用語の出現数そのものであってもよく、注目している用語の出現割合であってもよい。出現割合とは、ある文章群における全ての用語の出現数の合計が分母であり、文章群における注目している用語の出現数が分子である値であってもよい。また、出現数に応じた値は、自然言語処理の分野などで用いられる、いわゆるTF(Term Frequency)であってもよい。しきい値より大きいとは、しきい値を含んでもよく、含まなくてもよい。また、しきい値は、例えば、あらかじめ設定された値であってもよく、出現数に応じた値に応じて定められてもよい。後者の場合には、例えば、しきい値は、各用語に対応する出現数に応じた値の最大値に0.9などの1よりも小さい値を掛けた値であってもよい。用語取得部13は、例えば、文章群に含まれる用語を特定し、その特定した用語のうち、手話映像辞書に存在しないものであって、出現数に応じた値がしきい値よりも大きいものを取得してもよい。なお、文章群に含まれる用語を特定する際には、例えば、文章群に含まれる形態素のうち、特定の品詞の形態素である用語を特定してもよい。その特定の品詞は、例えば、自立語に対応する品詞(例えば、助詞、助動詞以外の品詞であってもよい)であってもよく、名詞であってもよい。また、用語取得部13は、用語が連続している用語(例えば、名詞の連続している用語)を特定してもよい。用語が連続しているとは、一の用語と他の用語との間に文字が存在しないことである。例えば、文章群に文字列「特許出願明細書」が含まれる場合には、用語取得部13は、その文字列である用語「特許出願明細書」を特定してもよい。用語が連続している用語も特定する場合には、用語取得部13は、その用語が連続している用語に含まれる各用語及び、2以上の任意の用語の連続をも特定してもよく、あるいは、特定しなくてもよい。前者の場合には、例えば、文章群に文字列「特許出願明細書」が含まれる場合に、用語「特許出願明細書」「特許出願」「出願明細書」「特許」「出願」「明細書」がそれぞれ取特定されることになる。後者の場合には、例えば、文章群に文字列「特許出願明細書」が含まれる場合に、用語「特許出願明細書」のみが特定されることになる。なお、用語が連続している用語を特定する際には、所定の品詞の用語が連続している用語のみを特定してもよい。例えば、用語取得部13は、文章群に含まれる各自立語(これは連続していないものである)を特定するが、それと同時に、名詞が連続している用語も特定してもよい。本実施の形態では、この場合について説明する。活用する用語を特定する際には、用語取得部13は、その活用の基本形に対応する用語を特定してもよい。例えば、文章群に用語「出願した」が含まれる場合に、用語取得部13は、用語「出願する」を特定してもよい。例えば、形態素解析によって各形態素の基本形を知ることができるため、用語取得部13は、基本形の用語を取得することができる。また、数詞である用語の特定を行わなくてもよく、行ってもよい。本実施の形態では、数詞である用語の特定は行わないものとする。用語を特定するとは、例えば、その特定した用語を図示しない記録媒体に蓄積することであってもよく、その特定した用語に特定したことを示すフラグ等を設定することであってもよい。また、用語取得部13が取得した用語は、図示しない記録媒体で一時的に記憶されてもよい。
手話映像生成部14は、用語取得部13が取得した用語に対応する2以上の手話映像を手話映像辞書から取得し、2以上の手話映像を連結した手話映像を生成する。このようにして生成された手話映像が、用語取得部13が取得した用語を示す手話映像となる。「用語取得部13が取得した用語に対応する2以上の手話映像」とは、例えば、取得された用語が2以上の用語の連続である場合には、その2以上の用語にそれぞれ対応する2以上の手話映像であってもよく、取得された用語が2以上の文字を含む場合には、その2以上の文字にそれぞれ対応する2以上の手話映像であってもよい。2以上の手話映像を連結する際の手話映像の順番は、取得された用語における、その2以上の手話映像に対応する用語や文字の順番と同じであることが好適である。
なお、用語取得部13が取得した用語が、用語の連続したものであるかどうかに応じて手話映像を生成する処理を変えてもよい。
例えば、用語の連続した用語を用語取得部13が取得した場合であって、その用語取得部13が取得した用語に含まれる各用語の全てが手話映像辞書に含まれる場合には、手話映像生成部14は、その取得された用語に含まれる2以上の用語にそれぞれ対応する手話映像を手話映像辞書から取得し、2以上の手話映像を連結した手話映像を生成してもよい。その手話映像の連結の際には、用語取得部13が取得した用語における2以上の用語の順番と、その2以上の用語にそれぞれ対応する手話映像の順番とが同じになるように連結することが好適である。また、例えば、用語の連続した用語を用語取得部13が取得した場合であって、その用語取得部13が取得した用語に含まれる各用語の一部の用語のみが手話映像辞書に含まれる場合には、手話映像生成部14は、その取得された用語に含まれる2以上の用語のうち、手話映像辞書に含まれるものについては、その用語に対応する手話映像を手話映像辞書から取得し、手話映像辞書に含まれないものについては、その用語に含まれる2以上の文字にそれぞれ対応する手話映像を手話映像辞書から取得し、その2以上の手話映像を連結した手話映像を生成し、それらの取得及び生成した2以上の手話映像を連結した手話映像を生成してもよい。その用語に対応する手話映像の連結の際には、用語取得部13が取得した用語における2以上の用語の順番と、その2以上の用語にそれぞれ対応する手話映像の順番とが同じになるように連結することが好適である。また、その文字に対応する手話映像の連結の際には、用語における文字の順番と、その文字にそれぞれ対応する手話映像の順番とが同じになるように連結することが好適である。また、例えば、用語取得部13が取得した用語に手話映像辞書に含まれる用語が存在しない場合(すなわち、用語の連続ではない用語を用語取得部13が取得した場合であってもよく、用語の連続した用語を用語取得部13が取得した場合であって、その用語取得部13が取得した用語に含まれる用語の全てが手話映像辞書に含まれない場合であってもよい)には、手話映像生成部14は、その取得された用語に含まれる2以上の文字にそれぞれ対応する手話映像を手話映像辞書から取得し、その2以上の手話映像を連結した手話映像を生成してもよい。その手話映像の連結の際には、用語取得部13が取得した用語における文字の順番と、その文字にそれぞれ対応する手話映像の順番とが同じになるように連結することが好適である。
また、手話映像生成部14が手話映像を連結する際には、単につなげるだけであってもよく、あるいは、一の手話映像の終点の画像と、他の手話映像の始点の画像とがなめらかにつながるように、両者をなめらかにつなぐ映像を両手話映像の間に挿入してもよい。そのような、両者をなめらかにつなぐ映像は、例えば、モーフィングの技術によって生成してもよく、オーバーラップの技術によって生成してもよく、その他の方法によって生成してもよい。
蓄積部15は、用語取得部13が取得した用語と、その用語に対応して、手話映像生成部14が生成した手話映像とのペアである用語ペア情報を記憶部11に蓄積する。なお、蓄積部15は、その用語ペア情報の蓄積の際に、記憶部11で記憶されているデフォルトの手話映像辞書に含まれる用語ペア情報や、後述する出力部16がすでに出力した用語ペア情報と区別可能なように用語ペア情報を蓄積してもよい。例えば、蓄積部15は、新たに蓄積する用語ペア情報に未出力である旨のフラグを設定して蓄積してもよい。なお、後述する出力部16がその用語ペア情報を出力した際に、その未出力である旨のフラグの設定が解除されてもよい。また、例えば、蓄積部15は、新たに蓄積する用語ペア情報を、それまでに記憶されている用語ペア情報と異なる領域に蓄積してもよい。なお、後述する出力部16がその用語ペア情報を出力した際に、その出力された用語ペア情報がデフォルトの手話映像辞書に含まれる用語ペア情報等と同じ領域に移動されてもよい。
出力部16は、蓄積部15が記憶部11に蓄積した用語ペア情報を出力する。なお、その出力の際に、出力部16は、デフォルトの手話映像辞書に含まれる用語ペア情報や、すでに出力した用語ペア情報を出力しないことが好適である。
ここで、この出力は、例えば、表示デバイス(例えば、CRTや液晶ディスプレイなど)への表示でもよく、所定の機器への通信回線を介した送信でもよく、記録媒体への蓄積でもよく、他の構成要素への引き渡しでもよい。本実施の形態では、出力部16が用語ペア情報を送信する場合について説明する。送信先のアドレス等の情報は、出力部16が図示しない記録媒体においてあらかじめ保持していてもよく、あるいは、送信前に他の構成要素や装置から受け取ってもよい。なお、図1では、出力部16が1個の手話映像出力装置2にのみ用語ペア情報を送信する場合について示しているが、出力部16は、2以上の手話映像出力装置2に用語ペア情報を送信してもよい。出力部16は、出力を行うデバイス(例えば、表示デバイスやプリンタなど)を含んでもよく、あるいは含まなくてもよい。また、出力部16は、ハードウェアによって実現されてもよく、あるいは、それらのデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。
なお、記憶部11と、文章群記憶部12とは、同一の記録媒体によって実現されてもよく、あるいは、別々の記録媒体によって実現されてもよい。前者の場合には、手話映像辞書を記憶している領域が記憶部11となり、文章群を記憶している領域が文章群記憶部12となる。
本実施の形態による手話映像出力装置2は、手話映像辞書記憶部21と、用語ペア情報受付部22と、用語ペア情報蓄積部23と、テキスト受付部24と、手話映像取得部25と、手話映像出力部26とを備える。
手話映像辞書記憶部21では、用語と用語に対応する手話映像とのペアである用語ペア情報を複数有する手話映像辞書が記憶される。その手話映像辞書は、記憶部11で記憶されている手話映像辞書と同様のものである。すなわち、手話映像辞書は、複数の用語ペア情報と、複数の文字ペア情報とを有してもよい。この手話映像辞書記憶部21で記憶される手話映像辞書についても、前述の記憶部11の場合と同様に、デフォルトの手話映像辞書と、後述する用語ペア情報蓄積部23によって追加されるものとが存在する。
手話映像辞書記憶部21にデフォルトの手話映像辞書が記憶される過程は問わない。例えば、記録媒体を介してデフォルトの手話映像辞書が手話映像辞書記憶部21で記憶されるようになってもよく、通信回線等を介して送信されたデフォルトの手話映像辞書が手話映像辞書記憶部21で記憶されるようになってもよく、あるいは、入力デバイスを介して入力されたデフォルトの手話映像辞書が手話映像辞書記憶部21で記憶されるようになってもよい。手話映像辞書記憶部21での記憶は、RAM等における一時的な記憶でもよく、あるいは、長期的な記憶でもよい。手話映像辞書記憶部21は、所定の記録媒体(例えば、半導体メモリや磁気ディスク、光ディスクなど)によって実現されうる。
用語ペア情報受付部22は、手話映像生成装置1が出力した用語ペア情報を受け付ける。本実施の形態では、用語ペア情報受付部22が、出力部16が送信した用語ペア情報を受信する場合について説明する。なお、用語ペア情報受付部22は、受信以外の方法によって用語ペア情報を受け付けてもよい。例えば、用語ペア情報受付部22は、入力デバイス(例えば、キーボードやマウス、タッチパネルなど)から入力された用語ペア情報を受け付けてもよく、所定の記録媒体(例えば、光ディスクや磁気ディスク、半導体メモリなど)から読み出された用語ペア情報を受け付けてもよい。なお、用語ペア情報受付部22は、受け付けを行うためのデバイス(例えば、モデムやネットワークカードなど)を含んでもよく、あるいは含まなくてもよい。また、用語ペア情報受付部22は、ハードウェアによって実現されてもよく、あるいは所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。
用語ペア情報蓄積部23は、用語ペア情報受付部22が受け付けた用語ペア情報を手話映像辞書記憶部21に蓄積する。
テキスト受付部24は、テキストを受け付ける。このテキストとは、手話を生成する元となるテキストである。すなわち、このテキストに対応する手話が、手話映像出力装置2において生成され、出力されることになる。このテキストは通常の文章(例えば、「兵庫県のイロハでは、昨日の豪雨によって床上浸水になった住宅の被害調査を開始した。」など)であってもよく、手話映像に変更する単語の並びである単語列(例えば、「兵庫県、イロハ、昨日、豪雨、床上浸水、住宅、被害、調査、開始」など)であってもよい。
テキスト受付部24は、例えば、入力デバイス(例えば、キーボードやマウス、タッチパネルなど)から入力されたテキストを受け付けてもよく、有線もしくは無線の通信回線を介して送信されたテキスト(例えば、字幕放送のテキストであってもよい)を受信してもよく、所定の記録媒体(例えば、光ディスクや磁気ディスク、半導体メモリなど)から読み出されたテキストを受け付けてもよい。なお、テキスト受付部24は、受け付けを行うためのデバイス(例えば、モデムやネットワークカードなど)を含んでもよく、あるいは含まなくてもよい。また、テキスト受付部24は、ハードウェアによって実現されてもよく、あるいは所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。
手話映像取得部25は、テキスト受付部24が受け付けたテキストに含まれる用語に対応する手話映像を手話映像辞書記憶部21で記憶されている手話映像辞書から取得する。テキスト受付部24が受け付けたテキストが通常の文章である場合には、手話映像取得部25は、用語取得部13による用語の特定の処理と同様にして、その文章における用語を特定する処理を行ってもよい。一方、テキスト受付部24が受け付けたテキストが単語列である場合には、手話映像取得部25は、単語列に含まれる各単語である用語に対する手話映像の取得を行ってもよい。また、用語に対応する手話映像とは、その用語を含む用語ペア情報が手話映像辞書記憶部21に存在する場合には、その用語と同じ用語ペア情報に含まれる手話映像のことである。一方、その用語を含む用語ペア情報が手話映像辞書記憶部21に存在しない場合には、その用語を構成する各文字に対応する手話映像を、その文字と同じ順番になるように連結した手話映像である。文字に対応する手話映像とは、その文字と同じ文字ペア情報に含まれる手話映像のことである。また、手話映像取得部25は、テキストに含まれる用語の連続に対応する手話映像が存在する場合には、その手話映像を取得する。テキストに含まれる用語の連続に対応する手話映像とは、その用語の連続である用語に対応する手話映像のことである。
手話映像出力部26は、手話映像取得部25が取得した手話映像を出力する。この出力は、リアルタイムでの出力であってもよく、あるいは、一括した出力であってもよい。前者の場合には、手話映像出力部26は、例えば、手話映像を表示デバイスに表示してもよく、手話映像を他の機器に送信してもよい。後者の場合、すなわち、一括して出力する場合には、手話映像出力部26は、例えば、手話映像を記録媒体に蓄積してもよく、手話映像を他の機器に送信してもよい。
ここで、この出力は、例えば、表示デバイス(例えば、CRTや液晶ディスプレイなど)への表示でもよく、所定の機器への通信回線を介した送信でもよく、記録媒体への蓄積でもよく、他の構成要素への引き渡しでもよい。本実施の形態では、手話映像出力部26は、手話映像を表示するものとする。なお、手話映像出力部26は、出力を行うデバイス(例えば、表示デバイスなど)を含んでもよく、あるいは含まなくてもよい。また、手話映像出力部26は、ハードウェアによって実現されてもよく、あるいは、それらのデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。
なお、手話映像出力部26が出力する手話映像についても、手話映像生成部14による手話映像の生成の際と同様に、単につなげたものであってもよく、あるいは、一の手話映像の終点の画像と、他の手話映像の始点の画像とがなめらかにつながるように、両者をなめらかにつなぐ映像を両手話映像の間に挿入してもよい。その両者をなめらかにつなぐ映像を作成したり、挿入したりする処理は、手話映像取得部25によって行われてもよく、手話映像出力部26によって行われてもよく、あるいは、その他の構成要素によって行われてもよい。また、その両者をなめらかにつなぐ映像は、前述のように、モーフィングやオーバーラップ等の技術を用いて生成されてもよい。
次に、本実施の形態による手話映像生成装置1の動作について、図2のフローチャートを用いて説明する。
(ステップS101)用語取得部13は、用語の取得を行うかどうか判断する。そして、用語の取得を行う場合には、ステップS102に進み、そうでない場合には、ステップS104に進む。なお、用語取得部13は、例えば、用語の取得を行う旨の指示を受け付けた場合に、用語の取得を行うと判断してもよく、あるいは、文章群記憶部12に新たな文章群が蓄積された場合に、その新たな文章群からの用語の取得を行うと判断してもよい。
(ステップS102)用語取得部13は、文章群記憶部12で記憶されている文章群から用語を取得する。この処理の詳細については、図3のフローチャートを用いて後述する。
(ステップS103)手話映像生成部14は、用語取得部13が取得した用語に対する手話映像を生成し、蓄積部15は、用語取得部13が取得した用語と、手話映像生成部14が生成した手話映像とのペアである用語ペア情報を記憶部11に蓄積する。そして、ステップS101に戻る。この処理の詳細については、図4のフローチャートを用いて後述する。
(ステップS104)出力部16は、用語ペア情報を出力するかどうか判断する。そして、用語ペア情報を出力する場合には、ステップS105に進み、そうでない場合には、ステップS101に戻る。なお、出力部16は、例えば、用語ペア情報を出力する旨の指示を受け付けた場合に、用語ペア情報を出力すると判断してもよく、定期的(例えば、1日に1回など)に、用語ペア情報を出力すると判断してもよい。
(ステップS105)出力部16は、記憶部11で記憶されている用語ペア情報であって、デフォルトの手話映像辞書に含まれるものではなく、またすでに出力されているものではないものを出力する。そして、ステップS101に戻る。
なお、図2のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
図3のフローチャートは、図2のフローチャートにおける用語の取得の処理(ステップS102)の詳細を示すフローチャートである。
(ステップS201)用語取得部13は、文章群記憶部12で記憶されている文章群において、用語を特定する。その用語の特定は、例えば、前述のように、文章群に対して形態素解析を行い、所定の品詞の形態素を特定することによって行ってもよい。本実施の形態では、この用語の特定において、用語が連続している用語の特定も行うものとする。
なお、形態素解析のシステムとして、日本語の場合には、例えば、奈良先端科学技術大学院大学で開発された「ChaSen(茶筌)」(http://chasen.naist.jp)等が知られている。また、英語の場合には、英単語に品詞を付与するソフトウェアとして、例えば、「TnT」(http://www.coli.uni−saarland.de/〜thorsten/tnt/)や「Brill Tagger」(http://www.cs.jhu.edu/〜brill/)等が知られている。Brillのものについては、例えば、次の文献を参照されたい。
文献:Eric Brill、「Transformation−Based Error−Driven Learning and Natural Language Processing:A Case Study in Part−of−Speech Tagging」、Computational Linguistics,Vol.21,No.4,p.543−565、1995年
(ステップS202)用語取得部13は、特定した用語に対してユニーク処理を行う。ユニーク処理とは、用語の重複をなくす処理である。例えば、3個の用語「特許」が特定された場合には、1個の「特許」を残して残りの2個の「特許」を削除することになる。このユニーク処理については、すでに公知であり、その詳細な説明を省略する。
(ステップS203)用語取得部13は、カウンタiを1に設定する。
(ステップS204)用語取得部13は、ユニーク処理後のi番目の用語が、記憶部11で記憶されている手話映像辞書に含まれるかどうか判断する。そして、含まれる場合には、ステップS207に進み、含まれない場合には、ステップS205に進む。
(ステップS205)用語取得部13は、ユニーク処理後のi番目の用語の出現数に関する値が、しきい値よりも大きいかどうか判断する。そして、しきい値よりも大きい場合には、ステップS206に進み、そうでない場合には、ステップS207に進む。
(ステップS206)用語取得部13は、ユニーク処理後のi番目の用語を図示しない記録媒体で一時的に記憶する。この一時的に記憶された用語が、用語取得部13によって取得された用語となる。
(ステップS207)用語取得部13は、カウンタiを1だけインクリメントする。
(ステップS208)用語取得部13は、ユニーク処理後のi番目の用語が存在するかどうか判断する。そして、存在する場合には、ステップS204に戻り、そうでない場合には、図2のフローチャートに戻る。
図4は、図2のフローチャートにおける手話映像の生成等の処理(ステップS105)の詳細を示すフローチャートである。
(ステップS301)手話映像生成部14は、カウンタiを1に設定する。
(ステップS302)手話映像生成部14は、用語取得部13が取得したi番目の用語は、2以上の用語が連続している用語であるかどうか判断する。この判断は、例えば、そのi番目の用語が2以上の形態素から構成されるのかどうか判断することによってなされてもよい。2以上の形態素から構成されるのかどうかは、例えば、再度、形態素解析を行うことによって判断してもよく、あるいは、用語取得部13からその情報も受け取ることによって判断してもよい。そして、i番目の用語が、2以上の用語が連続している用語である場合には、ステップS303に進み、そうでない場合には、ステップS310に進む。
(ステップS303)手話映像生成部14は、カウンタjを1に設定する。
(ステップS304)手話映像生成部14は、i番目の用語に含まれるj番目の用語が、記憶部11で記憶されている手話映像辞書に含まれるかどうか判断する。そして、含まれる場合には、ステップS306に進み、そうでない場合には、ステップS305に進む。
(ステップS305)手話映像生成部14は、そのj番目の用語に含まれる各文字に応じた手話映像を生成する処理を行う。この処理の詳細については、図5のフローチャートを用いて後述する。なお、そのようにして生成された手話映像は、図示しない記憶媒体において、一時的に記憶されてもよい。
(ステップS306)手話映像生成部14は、そのj番目の用語に対応する手話映像を手話映像辞書から取得する。j番目の用語に対応する手話映像とは、そのj番目の用語と同じ用語ペア情報に含まれる手話映像のことである。そのようにして取得された手話映像は、図示しない記録媒体において一時的に記憶されてもよい。
(ステップS307)手話映像生成部14は、カウンタjを1だけインクリメントする。
(ステップS308)手話映像生成部14は、i番目の用語にj番目の用語が存在するかどうか判断する。そして、存在する場合には、ステップS304に戻り、存在しない場合には、ステップS309に進む。
(ステップS309)手話映像生成部14は、i番目の用語に含まれる各用語について生成あるいは取得した手話映像を、その各用語と同じ順番で連結する。
(ステップS310)手話映像生成部14は、i番目の用語に含まれる各文字に応じた手話映像を生成する処理を行う。この処理の詳細については、図5のフローチャートを用いて後述する。
(ステップS311)蓄積部15は、ステップS309で連結された手話映像、あるいは、ステップS310で生成された手話映像と、i番目の用語とのペアである用語ペア情報を記憶部11の手話映像辞書に追加する。
(ステップS312)手話映像生成部14は、カウンタiを1だけインクリメントする。
(ステップS313)手話映像生成部14は、用語取得部13が取得したi番目の用語が存在するかどうか判断する。そして、存在する場合には、ステップS302に戻り、そうでない場合には、図2のフローチャートに戻る。
図5のフローチャートは、図4のフローチャートにおける用語の文字に応じた手話映像の生成の処理(ステップS305,S310)の詳細を示すフローチャートである。
(ステップS401)手話映像生成部14は、カウンタkを1に設定する。
(ステップS402)手話映像生成部14は、手話映像の生成の対象となる用語(ステップS305の場合には、j番目の用語であり、ステップS310の場合には、i番目の用語である)に含まれるk番目の文字に対応する手話映像を手話映像辞書から取得する。k番目の文字に対応する手話映像とは、そのk番目の文字と同じ文字ペア情報に含まれる手話映像のことである。そのようにして取得された手話映像は、図示しない記録媒体において一時的に記憶されてもよい。
(ステップS403)手話映像生成部14は、カウンタkを1だけインクリメントする。
(ステップS404)手話映像生成部14は、手話映像の生成の対象となる用語にk番目の文字が存在するかどうか判断する。そして、存在する場合には、ステップS402に戻り、存在しない場合には、ステップS405に進む。
(ステップS405)手話映像生成部14は、手話映像の生成の対象となる用語に含まれる各文字について取得した手話映像を、その各文字と同じ順番で連結する。そして、図4のフローチャートに戻る。
次に、本実施の形態による手話映像出力装置2の動作について、図6のフローチャートを用いて説明する。
(ステップS501)用語ペア情報受付部22は、用語ペア情報を受け付けたかどうか判断する。そして、用語ペア情報を受け付けた場合には、ステップS502に進み、そうでない場合には、ステップS503に進む。
(ステップS502)用語ペア情報蓄積部23は、用語ペア情報受付部22が受け付けた用語ペア情報を手話映像辞書記憶部21で記憶されている手話映像辞書に追加する。そして、ステップS501に戻る。
(ステップS503)テキスト受付部24は、テキストを受け付けたかどうか判断する。そして、テキストを受け付けた場合には、ステップS504に進み、そうでない場合には、ステップS501に戻る。
(ステップS504)手話映像取得部25は、テキスト受付部24が受け付けたテキストに含まれる用語を特定する。その特定された用語は、図示しない記録媒体において一時的に記憶されてもよい。なお、テキスト受付部24が受け付けたテキストが用語列である場合には、このステップS504の処理を行わなくてもよい。その場合には、以下の処理において、「特定された用語」は、その用語列に含まれる各用語のことになる。
(ステップS505)手話映像取得部25は、カウンタiを1に設定する。
(ステップS506)手話映像取得部25は、特定されたi番目の用語に対応する手話映像を取得する。この取得の際に、手話映像取得部25は、i番目の用語を検索キーとして、手話映像辞書において、その検索キーと完全一致する用語(この用語を「完全一致用語」とする)、あるいは、その検索キーと前方一致する用語(この用語を「前方一致用語」とする。なお、この前方一致用語は完全一致用語ではないものとする。)を検索する。そして、前方一致用語が検索された場合には、その前方一致用語と、特定されたi番目の用語を先頭とする2以上の用語の並び(テキストから特定された用語の並び)とが一致するかどうか判断する。この判断は、例えば、特定されたi番目の用語を先頭とする用語列において、前方一致用語を検索キーとする検索を行うことによって判断してもよい。検索でヒットすれば両者が一致することになり、ヒットしなければ両者が一致しないことになる。両者が一致した場合には、手話映像取得部25は、前方一致用語に対応する手話映像を取得する。また、手話映像取得部25は、前方一致用語に含まれる、i番目の用語に後続する特定された用語(この用語にi番目の用語は含まれない)の数だけカウンタiをインクリメントする。一方、完全一致用語のみが検索された場合、または、前方一致用語も検索されたが、その前方一致用語と、特定されたi番目の用語を先頭とする2以上の用語の並びとが一致しない場合には、手話映像取得部25は、その検索された完全一致用語に対応する手話映像を取得する。また、前方一致用語及び完全一致用語の両方が検索されなかった場合には、手話映像取得部25は、i番目の用語に含まれる各文字に対応する手話映像を、その各文字と同じ順番で連結した手話映像を取得する。
(ステップS507)手話映像出力部26は、手話映像取得部25が取得した手話映像を出力する。
(ステップS508)手話映像取得部25は、カウンタiを1だけインクリメントする。
(ステップS509)手話映像取得部25は、特定されたi番目の用語が存在するかどうか判断する。そして、存在する場合には、ステップS506に戻り、そうでない場合には、ステップS501に戻る。
なお、図6のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。また、図6のフローチャートのステップS506において、i番目の用語を検索キーとして検索を行うことによって、手話映像を取得する場合について説明したが、そうでなくてもよい。例えば、特定された用語の連続に対応する手話映像を取得する場合には、手話映像取得部25は、i番目の用語を検索キーとした検索を行うと共に、i番目とi+1番目の用語の連続、i番目〜i+2番目の用語の連続、…、i番目〜i+N(Nは1以上のあらかじめ決められた整数)番目の用語の連続を検索キーとした検索を行い、最も長い検索キーでヒットした用語に対応する手話映像を取得してもよい。その場合にも、ヒットした最も長い検索キーがi番目〜i+K番目の用語の連続であれば、そのKだけカウンタiをインクリメントするものとする。
次に、本実施の形態による手話映像生成装置1及び手話映像出力装置2の動作について、具体例を用いて説明する。
この具体例では、用語取得部13は、毎日午後11時に、その日に公開されたニュースの記事の集合である文章群をウェブサイトから取得し、文章群記憶部12に蓄積するものとする。そして、その文章群から、用語を取得するものとする。
また、この具体例では、出現数に応じた値は、出現数そのものであるとする。また、出現数に応じた値と比較するしきい値は、「5」に設定されているものとする。そして、そのしきい値「5」以上の出現数を有する用語を、用語取得部13は取得するものとする。
また、この具体例では、出力部16は、毎日午前2時に、蓄積された未送信の用語ペア情報を手話映像出力装置2に送信するものとする。
また、この具体例では、記憶部11において、図7で示される手話映像辞書と、図8で示される手話映像辞書とが記憶されているものとする。図7の手話映像辞書は、用語ペア情報に関するものである。その手話映像辞書では、未出力フラグと、用語ペア情報とが対応付けられている。未出力フラグは、用語ペア情報が未出力であるかどうかを示すフラグである、その値が「0」であれば、未出力ではない、すなわち、すでに出力されたことを示し、その値が「1」であれば、未出力であることを示す。図7の用語ペア情報では、用語と手話映像とが対応付けられている。この具体例では、手話映像がAVI(Audio Video Interleave)のファイルフォーマットである場合について示しているが、その手話映像のファイルフォーマットやコーデックの方式は任意である。
まず、ある日の午後11になったとする。すると、用語取得部13は、その日に公開されたニュースの記事である文章群をウェブサイトから取得する処理を行い、その文章群を文章群記憶部12に蓄積したとする。この具体例では、文章群記憶部12において、次の文章群が記憶されているものとする。
文章群「台風の影響で、西日本では豪雨となり、大きな被害が発生した。兵庫県のイロハでは、雨量が観測史上、最も多くなった。イロハでは床上浸水は200戸、床下浸水は300戸に達した。また、イロハの西隣のあいう市でも、床上浸水は50戸、床下浸水は80戸になった。さらに、イロハの東隣のABC町でも、床上浸水は30戸、床下浸水は50戸になった。………」
その後、用語取得部13は、用語を取得する処理を実行すると判断し(ステップS101)、その文章群から用語を取得する処理を行う(ステップS102)。具体的には、用語取得部13は、その文章群に含まれる用語を特定する(ステップS201)。この具体例では、用語取得部13は、その文章群に対して形態素解析を行い、自立語を取得するものとする。ここで、自立語は、助詞と助動詞以外の品詞の形態素である。したがって、用語取得部13は、形態素解析の結果を用いて、助詞と助動詞以外の品詞である形態素を抜き出して、図示しない記録媒体に蓄積する。次に、用語取得部13は、その特定した用語について、ユニーク処理を行う(ステップS202)。そのユニーク処理の結果、特定された用語は、次のようになる。なお、各用語は、便宜上、カギ括弧で区切っている。また、この具体例では、用語(形態素)そのものと、その用語の読みも取得している。その用語及び読みにおいて、用語(形態素)を読点(カンマ)で区切っている。
用語「台風(たいふう)」「影響(えいきょう)」「西(にし)」「日本(にほん)」「西、日本(にし、にほん)」「豪雨(ごうう)」「なる(なる)」「大きな(おおきな)」「被害(ひがい)」「発生する(はっせいする)」「兵庫県(ひょうごけん)」「イロハ(いろは)」「雨量(うりょう)」「観測(かんそく)」「史上(しじょう)」「観測、史上(かんそく、しじょう)」「最も(もっとも)」「多い(おおい)」「床上(ゆかうえ)」「浸水(しんすい)」「床上、浸水(ゆかうえ、しんすい)」「戸(こ)」「床下(ゆかした)」「床下、浸水(ゆかした、しんすい)」「達する(たっする)」「また(また)」「西隣(にしどなり)」「あいう市(あいうし)」「さらに(さらに)」「東隣(ひがしどなり)」「ABC町(ABCちょう)」………
その後、用語取得部13は、1番目の用語「台風」が、手話映像辞書に含まれるかどうか判断する(ステップS203,S204)。具体的には、用語取得部13は、その用語「台風」を検索キーとして、記憶部11で記憶されている手話映像辞書を検索する。図7で示されるように、用語「台風」が手話映像辞書に含まれるため、その検索で、用語「台風」がヒットする。したがって、用語取得部13は、用語「台風」が手話映像辞書に含まれると判断する。
次に、用語取得部13は、2番目の用語「影響」が、手話映像辞書に含まれるかどうか判断する(ステップS207,S208,S204)。この場合には、含まれなかったとする。すると、用語取得部13は、その用語「影響」の文章群における個数をカウントする。この場合には、文章群における用語「影響」の個数は「4」であったとする。すると、用語取得部13は、用語「影響」の出現数「4」がしきい値「5」以上ではないと判断し(ステップS205)、この場合にも用語「影響」を取得しない。
このようにして、順次、ユニーク処理後の用語について、判断処理を行っていく。そして、用語「イロハ」が判断対象になったとする。すると、用語取得部13は、その用語「イロハ」が、手話映像辞書に含まれるかどうか判断する(ステップS204)。この場合には、含まれなかったとする。すると、用語取得部13は、その用語「イロハ」の文章群における個数をカウントする。この場合には、その個数は「6」であったとする。すると、用語取得部13は、用語「イロハ」の出現数「6」がしきい値「5」以上であると判断し(ステップS205)、その用語「イロハ」と、その用語の読み「いろは」を図示しない記録媒体において一時的に記憶する(ステップS206)。このように、用語取得部13は、ユニーク処理後の全ての用語について、用語の取得の処理を行ったとする。その処理の結果、図9で示される3個の用語が取得されたとする。すなわち、その3個の用語が、図示しない記録媒体において一時的に記憶されたものとする(ステップS206)。
すると、手話映像生成部14等は、手話映像を生成し、蓄積する処理を行う(ステップS103)。具体的には、手話映像生成部14は、1番目の用語が、2以上の用語の連続であるかどうか判断する(ステップS301,S302)。その判断は、図9の1番目の用語「イロハ」に、形態素の区切りを示す読点(カンマ)が含まれるかどうか判断することによって行うことができる。「イロハ」には読点が含まれないため、手話映像生成部14は、用語「イロハ」が2以上の用語の連続ではないと判断し、その用語の文字に応じた手話映像の生成を行う(ステップS310)。具体的には、手話映像生成部14は、用語「イロハ」に対応する読み「いろは」の1番目の文字「い」を読み出し、その文字を検索キーとして手話映像辞書を検索し、ヒットしたレコードから、手話映像「i.avi」を取得する(ステップS401,S402)。また、手話映像生成部14は、2番目の文字「ろ」を読み出し、その文字に対応する手話映像「ro.avi」を取得する(ステップS403,S404,S402)。また、手話映像生成部14は、3番目の文字「は」を読み出し、その文字に対応する手話映像「ha.avi」を取得する(ステップS403,S404,S402)。その後、手話映像生成部14は、手話映像「i.avi」「ro.avi」「ha.avi」を、その取得した順番に連結する(ステップS405)。そして、手話映像生成部14は、その連結後の手話映像のファイル名を「iroha.avi」に設定し、その手話映像「iroha.avi」と、用語「イロハ」とを蓄積部15に渡す。すると、蓄積部15は、用語「イロハ」と、手話映像「iroha.avi」とのペアである用語ペア情報を構成し、その用語ペア情報を記憶部11の手話映像辞書に追加する(ステップS311)。その追加の際には、未出力フラグを「1」に設定しておくものとする。
次に、手話映像生成部14は、図9の2番目の用語「床上、浸水」が、2以上の用語の連続であるかどうか判断する(ステップS312,S313,S302)。この場合には、その2番目の用語に読点が含まれるため、手話映像生成部14は、用語「床上、浸水」が2以上の用語の連続であると判断する。そして、その用語「床上、浸水」に含まれる1番目の用語「床上」が、手話映像辞書に含まれるかどうか判断する(ステップS303,S304)。具体的には、手話映像生成部14は、その用語「床上」を検索キーとして、図7の手話映像辞書を検索する。この場合には、その検索でヒットするため、そのヒットしたレコードから手話映像「above_floor.avi」を取得し(ステップS306)、図示しない記録媒体において一時的に記憶する。また、手話映像生成部14は、2番目の用語「浸水」が、手話映像辞書に含まれるかどうか判断する(ステップS307,S308,S304)。この場合にも含まれるため、手話映像生成部14は、用語「浸水」に対応する手話映像「inundation.avi」を取得し(ステップS306)、図示しない記録媒体において一時的に記憶する。その後、手話映像生成部14は、手話映像「above_floor.avi」「inundation.avi」を、その取得した順番に連結する(ステップS309)。そして、手話映像生成部14は、その連結後の手話映像のファイル名を「above_floor_inundation.avi」に設定し、その手話映像と、用語「床上、浸水」とを蓄積部15に渡す。すると、蓄積部15は、用語「床上浸水」と、手話映像「above_floor_inundation.avi」とのペアである用語ペア情報を構成し、その用語ペア情報を記憶部11の手話映像辞書に追加する(ステップS311)。その追加の際には、未出力フラグを「1」に設定しておくものとする。なお、手話映像辞書に追加される用語においては、読点を削除しておくものとする。その読点を削除する処理は、手話映像生成部14において行われてもよく、あるいは、蓄積部15において行われてもよい。
次に、手話映像生成部14は、図9の3番目の用語「床下、浸水」が、2以上の用語の連続であると判断する(ステップS312,S313,S302)。そして、手話映像生成部14は、その用語「床下、浸水」に含まれる1番目の用語「床下」が、手話映像辞書に含まれるかどうか判断する(ステップS303,S304)。この場合には、用語「床下」は手話映像辞書に含まれなかったとする。すると、手話映像生成部14は、その用語「床下」の文字に応じた手話映像の生成を行う(ステップS305)。具体的には、用語「イロハ」の場合と同様に、手話映像生成部14は、用語「床下」の読み「ゆかした」の各文字に対応する手話映像「yu.avi」「ka.avi」「shi.avi」「ta.avi」を取得し、それらの手話映像を、取得した順番に連結する(ステップS401〜S405)。そして、手話映像生成部14は、その連結後の手話映像のファイル名を「yukashita.avi」に設定し、その手話映像「yukashita.avi」を図示しない記録媒体において一時的に記憶する。また、手話映像生成部14は、2番目の用語「浸水」が手話映像辞書に含まれると判断し、その手話映像「inundation.avi」を取得して一時的に記憶する(ステップS307,S308,S304,S306)。その後、手話映像生成部14は、手話映像「yukashita.avi」「inundation.avi」を、その取得した順番に連結する(ステップS309)。そして、手話映像生成部14は、その連結後の手話映像のファイル名を「yukashita_inundation.avi」に設定し、その手話映像と、用語「床下、浸水」とを蓄積部15に渡す。すると、蓄積部15は、用語「床下浸水」と、手話映像「yukashita_inundation.avi」とのペアである用語ペア情報を構成し、その用語ペア情報を記憶部11の手話映像辞書に追加する(ステップS311)。その追加の際には、未出力フラグを「1」に設定しておくものとする。このようにして、手話映像を生成し、用語ペア情報を蓄積する処理は終了する。その結果、手話映像辞書には、図10で示されるように、新たな3個の用語ペア情報が追加されている。また、その新たな用語ペア情報に対応する各未出力フラグは、「1」に設定されている。
その後、午前2時になると、出力部16は、出力の処理を行うと判断し(ステップS104)、図10で示される手話映像辞書から、未出力フラグが「1」である用語ペア情報を読み出し、その用語ペア情報を手話映像出力装置2に送信する(ステップS105)。なお、出力部16は、その送信の後に、送信した用語ペア情報に対応する未出力フラグを「0」に設定するものとする。
手話映像生成装置1から送信された用語ペア情報は、通信回線500を介して用語ペア情報受付部22で受信される(ステップS501)。そして、用語ペア情報蓄積部23は、その受信された3個の用語ペア情報を手話映像辞書に追加する(ステップS502)。なお、その用語ペア情報の追加が行われる前には、手話映像辞書記憶部21において、図7,図8で示される手話映像辞書と同様の情報が記憶されていたとする。ただし、未出力フラグはなくてもよい。したがって、3個の用語ペア情報が蓄積されると、用語ペア情報に関する手話映像辞書は、図10で示されるようになる。このように、手話映像生成装置1から手話映像出力装置2に用語ペア情報を送信することによって、両装置において手話映像辞書を同期させることができる。
なお、この具体例において、手話映像出力装置2は、テレビ受像機のセットトップボックスであり、そのテレビ受像機が受信した字幕放送のテキストをテキスト受付部24に入力し、手話映像出力部26が出力した手話映像を、テレビ受像機の画面内画面として表示するものとする。
ユーザが、手話映像出力装置2と接続されている図示しないテレビ受像機を操作して、ニュース番組のチャンネルを選択したとする。すると、そのニュース番組に対応する字幕放送も受信され、字幕放送のテキスト「兵庫県のイロハでは、昨日の豪雨によって床上浸水または床下浸水になった住宅の被害調査を開始した。……」が手話映像出力装置2に入力される。そして、そのテキストをテキスト受付部24が受け付け(ステップS503)、そのテキストに含まれる用語「兵庫県」「イロハ」「昨日」「豪雨」……を特定する(ステップS504)。この用語の特定も、形態素解析を行い、自立語を特定することによって行うものとする。その特定された用語は、図示しない記録媒体において一時的に記憶される。
その後、手話映像取得部25は、各用語に対応する手話映像を、手話映像辞書記憶部21で記憶されている手話映像辞書を用いて取得する。その取得の際に、特定された用語の連続に対応する手話映像が存在する場合には、その手話映像を取得する。そして、手話映像取得部25は取得した手話映像を手話映像出力部26に順番に渡し、手話映像出力部26は、その受け取った手話映像をテレビ受像機に出力する(ステップS505〜S509)。その結果、図11で示されるように、テレビ受像機の画面に手話映像が表示されることになる。
以上のように、本実施の形態による手話映像生成装置1によれば、新用語に対応する用語ペア情報を手話映像辞書に追加することができる。その結果として、その手話映像辞書を用いて、テキストを手話映像に変換した際に、その処理速度を向上させることができる。特に、手話映像をつなげる際に両者をなめらかにつなぐ処理(例えば、モーフィングの処理やオーバーラップの処理等)を行う場合には、手話映像をつなげる箇所が少ない方が、処理速度が格段に向上することになる。したがって、あらかじめ用語に対応する手話映像や、文字に対応する手話映像を連結しておくことによって、手話映像をつなげる箇所を少なくすることができ、処理速度の向上に貢献することになる。また、その新用語の出現数や出現割合などがしきい値よりも小さい場合には、その新用語に対応する用語ペア情報を手話映像辞書に追加しないことによって、手話映像辞書のデータ容量が非常に大きくなる事態を回避することができる。また、そのようにして生成した用語ペア情報を出力することによって、他の装置においてその用語ペア情報を利用することができるようになる。
また、本実施の形態による手話映像出力装置2によれば、手話映像生成装置1から出力された用語ペア情報を受け付けて蓄積し、テキストを手話映像に変換する際に用いることによって、その変換の処理速度を向上させることができる。特に、2以上の手話映像を続けて出力する際に、その手話映像をなめらかにつなぐ処理を行う場合には、そのことがより顕著となる。
なお、用語の取得で用いられる文章群は、手話映像に変換されるテキストと同じ分野のものであることが好適である。例えば、手話映像に変換されるテキストがニュースの分野のものである場合には、文章群もニュースの記事などであることが好適である。また、手話映像に変換されるテキストが科学技術に関するものである場合には、文章群も科学技術に関する文章群(例えば、技術文書や論文等)であることが好適である。このようにすることで、テキスト受付部24が受け付けたテキストに含まれる用語が、手話映像辞書記憶部21で記憶されている手話映像辞書に含まれる可能性を高くすることができる。
また、本実施の形態では、手話映像生成装置1が用語ペア情報を出力する場合について説明したが、そうでなくてもよい。手話映像生成装置1が用語ペア情報を出力しない場合には、手話映像生成装置1は出力部16を備えていなくてもよい。手話映像生成装置1が出力部16を備えていない場合には、例えば、記憶部11が着脱可能な記録媒体であり、その記憶部11を手話映像生成装置1から取り外して、他の装置で用いるようにしてもよい。
また、本実施の形態では、手話映像辞書に文字ペア情報も含まれる場合について説明したが、文字ペア情報を用いた用語ペア情報の生成を行わない場合には、手話映像辞書に文字ペア情報が含まれていなくてもよい。
また、本実施の形態では、2以上の用語が連続している用語が取得された場合には、その取得された用語を構成する用語に対応する手話映像を用いて2以上の用語が連続している用語に対応する手話映像を生成する場合について説明したが、そうでなくてもよい。取得された全ての用語に対応する手話映像の生成を、その取得された用語に含まれる各文字に対応する手話映像を用いて行ってもよい。
また、本実施の形態では、用語取得部13が、出現数に応じた値がしきい値よりも大きい用語を文章群から取得する場合について説明したが、そうでなくてもよい。用語取得部13は、その出現数に応じた値に関係なく、用語の取得を行ってもよい。
また、本実施の形態では、用語取得部13が形態素解析を行うことによって用語の特定を行う場合について説明したが、用語取得部13は、他の解析方法を用いて用語の特定を行ってもよい。例えば、用語取得部13は、機能素解析を用いて用語の特定を行ってもよい。機能素解析については、例えば、特開2008−71001号公報や、インターネットのサイト「http://www.c2cube.com/tech/index.html」等に記載されており、すでに公知である。用語取得部13は、例えば、その機能素解析によって文章を解析し、解析結果の未知語の連続である用語を特定してもよい。
また、上記実施の形態では、手話映像生成装置1及び手話映像出力装置2がシステムを構成する場合について説明したが、それらの装置は、スタンドアロンの装置であってもよい。
また、上記実施の形態において、各処理または各機能は、単一の装置または単一のシステムによって集中処理されることによって実現されてもよく、あるいは、複数の装置または複数のシステムによって分散処理されることによって実現されてもよい。
また、上記実施の形態において、各構成要素が実行する処理に関係する情報、例えば、各構成要素が受け付けたり、取得したり、選択したり、生成したり、送信したり、受信したりした情報や、各構成要素が処理で用いるしきい値や数式、アドレス等の情報等は、上記説明で明記していない場合であっても、図示しない記録媒体において、一時的に、あるいは長期にわたって保持されていてもよい。また、その図示しない記録媒体への情報の蓄積を、各構成要素、あるいは、図示しない蓄積部が行ってもよい。また、その図示しない記録媒体からの情報の読み出しを、各構成要素、あるいは、図示しない読み出し部が行ってもよい。
また、上記実施の形態において、各構成要素等で用いられる情報、例えば、各構成要素が処理で用いるしきい値やアドレス、各種の設定値等の情報がユーザによって変更されてもよい場合には、上記説明で明記していない場合であっても、ユーザが適宜、それらの情報を変更できるようにしてもよく、あるいは、そうでなくてもよい。それらの情報をユーザが変更可能な場合には、その変更は、例えば、ユーザからの変更指示を受け付ける図示しない受付部と、その変更指示に応じて情報を変更する図示しない変更部とによって実現されてもよい。その図示しない受付部による変更指示の受け付けは、例えば、入力デバイスからの受け付けでもよく、通信回線を介して送信された情報の受信でもよく、所定の記録媒体から読み出された情報の受け付けでもよい。
また、上記実施の形態において、手話映像生成装置1に含まれる2以上の構成要素が通信デバイスや入力デバイス等を有する場合に、2以上の構成要素が物理的に単一のデバイスを有してもよく、あるいは、別々のデバイスを有してもよい。また、上記実施の形態において、手話映像出力装置2に含まれる2以上の構成要素が通信デバイスや入力デバイス等を有する場合に、2以上の構成要素が物理的に単一のデバイスを有してもよく、あるいは、別々のデバイスを有してもよい。
また、上記実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをCPU等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。なお、上記実施の形態における手話映像生成装置1を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、複数の文章を含む文章群から、用語と当該用語に対応する手話映像とのペアである用語ペア情報を複数有する手話映像辞書が記憶される記憶部で記憶されている手話映像辞書に存在しない用語を取得する用語取得部、前記用語取得部が取得した用語に対応する2以上の手話映像を前記手話映像辞書から取得し、当該2以上の手話映像を連結した手話映像を生成する手話映像生成部、前記用語取得部が取得した用語と、前記手話映像生成部が生成した、当該用語に対応する手話映像とのペアである用語ペア情報を前記記憶部に蓄積する蓄積部として機能させるためのプログラムである。
なお、上記プログラムにおいて、上記プログラムが実現する機能には、ハードウェアでしか実現できない機能は含まれない。例えば、情報を取得する取得部や、情報を出力する出力部などにおけるモデムやインターフェースカードなどのハードウェアでしか実現できない機能は、上記プログラムが実現する機能には少なくとも含まれない。
また、このプログラムは、サーバなどからダウンロードされることによって実行されてもよく、所定の記録媒体(例えば、CD−ROMなどの光ディスクや磁気ディスク、半導体メモリなど)に記録されたプログラムが読み出されることによって実行されてもよい。また、このプログラムは、プログラムプロダクトを構成するプログラムとして用いられてもよい。
また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
図12は、上記プログラムを実行して、上記実施の形態による手話映像生成装置1や手話映像出力装置2を実現するコンピュータの外観の一例を示す模式図である。上記実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現されうる。
図12において、コンピュータシステム900は、CD−ROM(Compact Disk Read Only Memory)ドライブ905、FD(Floppy(登録商標) Disk)ドライブ906を含むコンピュータ901と、キーボード902と、マウス903と、モニタ904とを備える。
図13は、コンピュータシステム900の内部構成を示す図である。図13において、コンピュータ901は、CD−ROMドライブ905、FDドライブ906に加えて、MPU(Micro Processing Unit)911と、ブートアッププログラム等のプログラムを記憶するためのROM912と、MPU911に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するRAM(Random Access Memory)913と、アプリケーションプログラム、システムプログラム、及びデータを記憶するハードディスク914と、MPU911、ROM912等を相互に接続するバス915とを備える。なお、コンピュータ901は、LANへの接続を提供する図示しないネットワークカードを含んでいてもよい。
コンピュータシステム900に、上記実施の形態による手話映像生成装置1や手話映像出力装置2の機能を実行させるプログラムは、CD−ROM921、またはFD922に記憶されて、CD−ROMドライブ905、またはFDドライブ906に挿入され、ハードディスク914に転送されてもよい。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ901に送信され、ハードディスク914に記憶されてもよい。プログラムは実行の際にRAM913にロードされる。なお、プログラムは、CD−ROM921やFD922、またはネットワークから直接、ロードされてもよい。
プログラムは、コンピュータ901に、上記実施の形態による手話映像生成装置1や手話映像出力装置2の機能を実行させるオペレーティングシステム(OS)、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能(モジュール)を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム900がどのように動作するのかについては周知であり、詳細な説明は省略する。
また、本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
以上より、本発明による手話映像生成装置等によれば、テキストを手話映像に変換する際の処理速度を向上させることができるように、用語と手話映像とのペアである用語ペア情報を複数有する手話映像辞書を充実させることができるという効果が得られ、例えば、用語ペア情報を生成する装置等として有用である。
1 手話映像生成装置
2 手話映像出力装置
11 記憶部
12 文章群記憶部
13 用語取得部
14 手話映像生成部
15 蓄積部
16 出力部
21 手話映像辞書記憶部
22 用語ペア情報受付部
23 用語ペア情報蓄積部
24 テキスト受付部
25 手話映像取得部
26 手話映像出力部

Claims (9)

  1. 用語と当該用語に対応する手話映像とのペアである用語ペア情報を複数有する手話映像辞書が記憶される記憶部と、
    複数の文章を含む文章群から、前記手話映像辞書に存在しない用語を取得する用語取得部と、
    前記手話映像辞書に含まれる用語が連続した用語を前記用語取得部が取得した場合に、その取得した用語に含まれる2以上の用語にそれぞれ対応する手話映像を前記手話映像辞書から取得し、当該2以上の手話映像を連結した手話映像を生成する手話映像生成部と、
    前記用語取得部が取得した用語と、前記手話映像生成部が生成した、当該用語に対応する手話映像とのペアである用語ペア情報を前記記憶部に蓄積する蓄積部と、を備えた手話映像生成装置。
  2. 前記用語取得部は、前記文章群から、出現数に応じた値がしきい値よりも大きい用語を取得する、請求項1記載の手話映像生成装置。
  3. 前記手話映像辞書は、文字と当該文字に対応する手話映像とのペアである文字ペア情報をも複数有するものであり、
    前記手話映像生成部は、前記用語取得部が取得した用語に含まれる2以上の文字にそれぞれ対応する手話映像を前記手話映像辞書から取得し、当該2以上の手話映像を連結した手話映像を生成する、請求項1または請求項記載の手話映像生成装置。
  4. 前記蓄積部が前記記憶部に蓄積した用語ペア情報を出力する出力部をさらに備えた、請求項1から請求項のいずれか記載の手話映像生成装置。
  5. 前記文章群は、ウェブサイトに存在する文章群である、請求項1から請求項のいずれか記載の手話映像生成装置。
  6. 前記文章群は、字幕放送の文章群である、請求項1から請求項のいずれか記載の手話映像生成装置。
  7. 前記手話映像は、アニメーションの映像である、請求項1から請求項のいずれか記載の手話映像生成装置。
  8. 用語と当該用語に対応する手話映像とのペアである用語ペア情報を複数有する手話映像辞書が記憶される記憶部と、用語取得部と、手話映像生成部と、蓄積部とを用いて処理される手話映像生成方法であって、
    前記用語取得部が、複数の文章を含む文章群から、前記手話映像辞書に存在しない用語を取得する用語取得ステップと、
    前記手話映像生成部が、前記手話映像辞書に含まれる用語が連続した用語を前記用語取得ステップで取得した場合に、その取得した用語に含まれる2以上の用語にそれぞれ対応する手話映像を前記手話映像辞書から取得し、当該2以上の手話映像を連結した手話映像を生成する手話映像生成ステップと、
    前記蓄積部が、前記用語取得ステップで取得した用語と、前記手話映像生成ステップで生成した、当該用語に対応する手話映像とのペアである用語ペア情報を前記記憶部に蓄積する蓄積ステップと、を備えた手話映像生成方法。
  9. コンピュータを、
    複数の文章を含む文章群から、用語と当該用語に対応する手話映像とのペアである用語ペア情報を複数有する手話映像辞書が記憶される記憶部で記憶されている手話映像辞書に存在しない用語を取得する用語取得部、
    前記手話映像辞書に含まれる用語が連続した用語を前記用語取得部が取得した場合に、その取得した用語に含まれる2以上の用語にそれぞれ対応する手話映像を前記手話映像辞書から取得し、当該2以上の手話映像を連結した手話映像を生成する手話映像生成部、
    前記用語取得部が取得した用語と、前記手話映像生成部が生成した、当該用語に対応する手話映像とのペアである用語ペア情報を前記記憶部に蓄積する蓄積部として機能させるためのプログラム。
JP2009283054A 2009-12-14 2009-12-14 手話映像生成装置、手話映像生成方法、及びプログラム Expired - Fee Related JP5576646B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009283054A JP5576646B2 (ja) 2009-12-14 2009-12-14 手話映像生成装置、手話映像生成方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009283054A JP5576646B2 (ja) 2009-12-14 2009-12-14 手話映像生成装置、手話映像生成方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2011123422A JP2011123422A (ja) 2011-06-23
JP5576646B2 true JP5576646B2 (ja) 2014-08-20

Family

ID=44287331

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009283054A Expired - Fee Related JP5576646B2 (ja) 2009-12-14 2009-12-14 手話映像生成装置、手話映像生成方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP5576646B2 (ja)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63208167A (ja) * 1987-02-25 1988-08-29 Hitachi Ltd 自然語解析における未登録語の取り扱い方式
JP3338992B2 (ja) * 1992-10-29 2002-10-28 株式会社日立製作所 手話/単語変換システム
JP3567596B2 (ja) * 1996-04-09 2004-09-22 株式会社日立製作所 手話アニメーション生成装置
JPH10240120A (ja) * 1997-02-26 1998-09-11 Toshiba Corp 手話学習装置、手話学習方法及び手話学習データ記憶媒体
JP4379146B2 (ja) * 2004-01-07 2009-12-09 沖電気工業株式会社 情報表示装置
JP4492299B2 (ja) * 2004-11-01 2010-06-30 沖電気工業株式会社 映像装置、映像表示方法及びプログラム
JP4548313B2 (ja) * 2005-11-09 2010-09-22 沖電気工業株式会社 映像作成装置及び映像作成方法

Also Published As

Publication number Publication date
JP2011123422A (ja) 2011-06-23

Similar Documents

Publication Publication Date Title
US9008489B2 (en) Keyword-tagging of scenes of interest within video content
CN104731959B (zh) 基于文本的网页内容生成视频摘要的方法、装置及系统
CA2704142C (en) Deep tag cloud associated with streaming media
US20130145241A1 (en) Automated augmentation of text, web and physical environments using multimedia content
JP2006285963A (ja) 別々のデータ情報源にまたがる選択済みコンテンツの生の要約の作成を容易にするシステム及び方法
CN104731960A (zh) 基于电子商务网页内容生成视频摘要的方法、装置及系统
US8700702B2 (en) Data extraction system, terminal apparatus, program of the terminal apparatus, server apparatus, and program of the server apparatus for extracting prescribed data from web pages
CN1581951A (zh) 信息处理设备及其方法
CN110784662A (zh) 一种视频背景的更换方法、系统、装置和存储介质
US12067055B2 (en) Information display method and electronic apparatus
CN115357755B (zh) 视频生成方法、视频展示方法和装置
TW589886B (en) Displaying text of video in browsers on a frame by frame basis
JP4774087B2 (ja) 動画評価方法、装置及びプログラム
JP6231315B2 (ja) 情報処理装置
JP5576646B2 (ja) 手話映像生成装置、手話映像生成方法、及びプログラム
KR20150000178A (ko) 웹 이미지 대체 텍스트 생성 장치 및 방법
WO2020070483A1 (en) Data processing apparatus and method
KR20210136609A (ko) 영상 뉴스 콘텐츠 생성 장치 및 방법
JP2008216397A (ja) 情報を提示する装置と方法及びその提示情報を作成する装置と方法
Steinberger et al. Wrapping up a Summary: from Representation to Generation
JP5048598B2 (ja) テキスト抽出装置、そのシステム、その方法、および、そのプログラム
JP2009086597A (ja) テキスト音声変換サービスシステム及び方法
JP2009266065A (ja) 関連語辞書作成方法及び装置、並びに関連語辞書作成プログラム
JP4990248B2 (ja) 記事提供方法、システム、装置及びプログラム
CN110750194A (zh) 一种提供待发布信息的方法、设备和介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120724

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140116

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140620

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140704

R150 Certificate of patent or registration of utility model

Ref document number: 5576646

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees