JPH0721202A - 非コード化情報のデータベース化方式 - Google Patents
非コード化情報のデータベース化方式Info
- Publication number
- JPH0721202A JPH0721202A JP5147401A JP14740193A JPH0721202A JP H0721202 A JPH0721202 A JP H0721202A JP 5147401 A JP5147401 A JP 5147401A JP 14740193 A JP14740193 A JP 14740193A JP H0721202 A JPH0721202 A JP H0721202A
- Authority
- JP
- Japan
- Prior art keywords
- information
- keyword
- database
- moving image
- coded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
(57)【要約】
【目的】図面や絵や動画像など文字コード化されていな
いために特徴の抽出が困難な非コード化情報を自動的に
データベース化して省力化を図る。 【構成】スキャナ２で読み込んだ非コード化情報（図）
を含む文章を画像処理３によって文章データ部分４と図
データ部分５とに分離し、文字認識処理６によって図デ
ータ部分５の中および周辺にある文字をコード化する。
そのコード化された文字情報７に言語処理８を施して複
数のキーワード９を抽出し、各キーワード９に重み付け
を行う。つまり、図データ部分５に関連の強いキーワー
ド９ほど大きな点数付けを行い、点数が基準点以上の基
準点を図データ部分５に付加してその図データ部分５を
データベース化する。
いために特徴の抽出が困難な非コード化情報を自動的に
データベース化して省力化を図る。 【構成】スキャナ２で読み込んだ非コード化情報（図）
を含む文章を画像処理３によって文章データ部分４と図
データ部分５とに分離し、文字認識処理６によって図デ
ータ部分５の中および周辺にある文字をコード化する。
そのコード化された文字情報７に言語処理８を施して複
数のキーワード９を抽出し、各キーワード９に重み付け
を行う。つまり、図データ部分５に関連の強いキーワー
ド９ほど大きな点数付けを行い、点数が基準点以上の基
準点を図データ部分５に付加してその図データ部分５を
データベース化する。
Description
【０００１】
【産業上の利用分野】本発明は、図面や絵や動画像など
の文字コード化されない非コード化情報を対象として、
その情報のデータベース化を図ったり、高精度な検索を
可能にしたりする技術に関する。本発明の利用分野とし
ては、任意の言葉で検索できる図面，絵，動画像など
のデータベースシステム、マルチメディアシステム、
言葉で検索できる電子ファイルシステム、テレビ画
像の自動選択録画および検索システム、ビデオ録画画
像の分類および検索システム、インタラクティブムー
ビーなどがある。
の文字コード化されない非コード化情報を対象として、
その情報のデータベース化を図ったり、高精度な検索を
可能にしたりする技術に関する。本発明の利用分野とし
ては、任意の言葉で検索できる図面，絵，動画像など
のデータベースシステム、マルチメディアシステム、
言葉で検索できる電子ファイルシステム、テレビ画
像の自動選択録画および検索システム、ビデオ録画画
像の分類および検索システム、インタラクティブムー
ビーなどがある。
【０００２】
【従来の技術】従来、図面や画像などの非コード化情報
をデータベース化する場合、それぞれに対して単純に異
なった番号を付け、別途に対照表を用意して、データベ
ースを蓄積したり、そのデータベースを検索したりして
いた。あるいは、図面や画像などの非コード化情報を人
間が見て、その非コード化情報が表現している意味（内
容）に最も適切なキーワードや検索情報を付加して分類
し、データベースを蓄積したり、そのデータベースを検
索したりしていた。例えば画像ファイルシステムなどで
は入力したイメージ画像に対して、人間が表題や検索情
報を後から入力していた。いずれにしろ、人為的な判断
が必須となっていた。
をデータベース化する場合、それぞれに対して単純に異
なった番号を付け、別途に対照表を用意して、データベ
ースを蓄積したり、そのデータベースを検索したりして
いた。あるいは、図面や画像などの非コード化情報を人
間が見て、その非コード化情報が表現している意味（内
容）に最も適切なキーワードや検索情報を付加して分類
し、データベースを蓄積したり、そのデータベースを検
索したりしていた。例えば画像ファイルシステムなどで
は入力したイメージ画像に対して、人間が表題や検索情
報を後から入力していた。いずれにしろ、人為的な判断
が必須となっていた。
【０００３】
【発明が解決しようとする課題】図面や絵や動画像など
の非コード化情報は、その情報の特徴を単純に抽出する
ことがきわめてむずかしい。したがって、従来からそれ
らの非コード化情報を分類したり整理したりする場合、
機械的に番号を付け、別途に対照表を用意するか、ある
いは、人間がその非コード化情報を見て適当な表題や検
索情報を付加するなどしていた。これらは、その大部分
の作業が人為的なものであった。機械的に番号を付けた
場合は対照表を用意して検索しなければならず、検索作
業がきわめて大変であった。また、表題や検索情報を付
加する場合も、それらを付加する作業自体が大変なもの
であった。このようにデータベースの作成に多大な手間
がかかる上に、検索情報を人間が付けているために主観
が入り込んでしまい、客観的で的確なデータベース化が
むずかしいという問題を有していた。
の非コード化情報は、その情報の特徴を単純に抽出する
ことがきわめてむずかしい。したがって、従来からそれ
らの非コード化情報を分類したり整理したりする場合、
機械的に番号を付け、別途に対照表を用意するか、ある
いは、人間がその非コード化情報を見て適当な表題や検
索情報を付加するなどしていた。これらは、その大部分
の作業が人為的なものであった。機械的に番号を付けた
場合は対照表を用意して検索しなければならず、検索作
業がきわめて大変であった。また、表題や検索情報を付
加する場合も、それらを付加する作業自体が大変なもの
であった。このようにデータベースの作成に多大な手間
がかかる上に、検索情報を人間が付けているために主観
が入り込んでしまい、客観的で的確なデータベース化が
むずかしいという問題を有していた。
【０００４】本発明は、このような事情に鑑みて創案さ
れたものであって、図面や絵や動画像など文字コード化
されていないために本来的にはそのものから特徴を抽出
することがきわめてむずかしい非コード化情報の中にお
いて、あるいはそのような非コード化情報の周辺におい
て、その非コード化情報を説明するために付加されてい
る文字あるいは音声の言語情報に着目し、そのような言
語情報を用いて図面や絵や動画像などの非コード化情報
を自動的にデータベース化したり高精度な検索が可能に
なるようにすることを目的とする。換言すれば、従来に
おいてそのデータベース化に莫大な人手作業を必要とし
た非コード化情報のデータベース化を自動化し、省力化
を図ることを目的とする。また、従来にあっては、分類
やキーワード付けのなされていない非コード化情報のデ
ータベースの検索はむずかしいものであったが、その検
索を容易化することも目的とする。
れたものであって、図面や絵や動画像など文字コード化
されていないために本来的にはそのものから特徴を抽出
することがきわめてむずかしい非コード化情報の中にお
いて、あるいはそのような非コード化情報の周辺におい
て、その非コード化情報を説明するために付加されてい
る文字あるいは音声の言語情報に着目し、そのような言
語情報を用いて図面や絵や動画像などの非コード化情報
を自動的にデータベース化したり高精度な検索が可能に
なるようにすることを目的とする。換言すれば、従来に
おいてそのデータベース化に莫大な人手作業を必要とし
た非コード化情報のデータベース化を自動化し、省力化
を図ることを目的とする。また、従来にあっては、分類
やキーワード付けのなされていない非コード化情報のデ
ータベースの検索はむずかしいものであったが、その検
索を容易化することも目的とする。
【０００５】
〔１〕第１の発明に係る非コード化情報のデータベース
化方式は、その最大の特徴が、非コード化情報に含まれ
る文字情報から抽出したキーワードに重み付けをし、一
定以上に重みのあるキーワードを非コード化情報部分に
付加してデータベース化する点にある。すなわち、非コ
ード化情報を含む文章をスキャナで読み込んで電子化
し、画像処理によって非コード化情報部分を分離すると
ともに、文字認識処理によって非コード化情報部分の中
および周辺にある文字をコード化し、言語処理によりそ
のコード化された文字情報から複数のキーワードを抽出
する。
化方式は、その最大の特徴が、非コード化情報に含まれ
る文字情報から抽出したキーワードに重み付けをし、一
定以上に重みのあるキーワードを非コード化情報部分に
付加してデータベース化する点にある。すなわち、非コ
ード化情報を含む文章をスキャナで読み込んで電子化
し、画像処理によって非コード化情報部分を分離すると
ともに、文字認識処理によって非コード化情報部分の中
および周辺にある文字をコード化し、言語処理によりそ
のコード化された文字情報から複数のキーワードを抽出
する。
【０００６】そして、各キーワードに対してそれに対応
した文字情報が元の非コード化情報部分に近いほどまた
出現頻度が高いものほど大きな点数を付与し、点数が基
準点に達しているキーワードを前記の非コード化情報部
分に付加しその非コード化情報部分のデータベースを作
成することを特徴としている。
した文字情報が元の非コード化情報部分に近いほどまた
出現頻度が高いものほど大きな点数を付与し、点数が基
準点に達しているキーワードを前記の非コード化情報部
分に付加しその非コード化情報部分のデータベースを作
成することを特徴としている。
【０００７】〔２〕第２の発明に係る非コード化情報の
データベース化方式は、その最大の特徴が、動画像に含
まれる音声情報から抽出したキーワードに重み付けを
し、一定以上に重みのあるキーワードを分割動画像に付
加してデータベース化する点にある。すなわち、音声を
伴う動画像を分割処理して分割動画像を得るとともに、
音声認識処理によってその分割動画像が伴っている音声
の内容を認識して音声情報を得、言語処理によりその音
声情報から複数のキーワードを抽出する。そして、各キ
ーワードに対してそれの出現頻度が高いものほど大きな
点数を付与し、点数が基準点に達しているキーワードを
前記の分割動画像に付加し動画像のデータベースを作成
することを特徴としている。
データベース化方式は、その最大の特徴が、動画像に含
まれる音声情報から抽出したキーワードに重み付けを
し、一定以上に重みのあるキーワードを分割動画像に付
加してデータベース化する点にある。すなわち、音声を
伴う動画像を分割処理して分割動画像を得るとともに、
音声認識処理によってその分割動画像が伴っている音声
の内容を認識して音声情報を得、言語処理によりその音
声情報から複数のキーワードを抽出する。そして、各キ
ーワードに対してそれの出現頻度が高いものほど大きな
点数を付与し、点数が基準点に達しているキーワードを
前記の分割動画像に付加し動画像のデータベースを作成
することを特徴としている。
【０００８】
〔１〕第１の発明によれば、コード化した文字情報から
抽出したキーワードに対して点数を付与し、基準点以上
のキーワードを分離した非コード化情報部分に付加して
データベース化してあるから、非コード化情報部分とそ
れを分類・検索するためのキーワードとの関連付けが密
接なものとなる。
抽出したキーワードに対して点数を付与し、基準点以上
のキーワードを分離した非コード化情報部分に付加して
データベース化してあるから、非コード化情報部分とそ
れを分類・検索するためのキーワードとの関連付けが密
接なものとなる。
【０００９】〔２〕第２の発明によれば、分割動画像が
伴っている音声情報から抽出したキーワードに対して点
数を付与し、基準点以上のキーワードを分割動画像に付
加してデータベース化してあるから、分割動画像とそれ
を分類・検索するためのキーワードとの関連付けが密接
なものとなる。
伴っている音声情報から抽出したキーワードに対して点
数を付与し、基準点以上のキーワードを分割動画像に付
加してデータベース化してあるから、分割動画像とそれ
を分類・検索するためのキーワードとの関連付けが密接
なものとなる。
【００１０】
【実施例】以下、本発明に係る実施例を図面に基づいて
詳細に説明する。
詳細に説明する。
【００１１】第１実施例 この第１実施例は、文書中にある図についてのデータベ
ースの作成に関するものである。図１は第１実施例に係
る非コード化情報のデータベース化方式の構成を示すブ
ロック線図である。
ースの作成に関するものである。図１は第１実施例に係
る非コード化情報のデータベース化方式の構成を示すブ
ロック線図である。
【００１２】非コード化情報である図を含む文書１を画
像データとしてスキャナ２で読み込み、文章情報と図の
情報とを電子化する。次に、これらに対して所要の画像
処理３を施すことにより、文章データ部分４と図データ
部分５とに分離する。図データ部分５が非コード化情報
に相当している。さらに、文章データ部分４と図データ
部分５に対して文字認識処理６を行い、文章データ部分
４中の文字および図データ部分５中の文字をそれぞれコ
ード化する。このコード化によって作成されたのが文字
情報７であるが、その文字情報７に対して言語処理８を
施すことによって複数のキーワード９を抽出する。これ
らのキーワード９は、元の文書１に対応している。
像データとしてスキャナ２で読み込み、文章情報と図の
情報とを電子化する。次に、これらに対して所要の画像
処理３を施すことにより、文章データ部分４と図データ
部分５とに分離する。図データ部分５が非コード化情報
に相当している。さらに、文章データ部分４と図データ
部分５に対して文字認識処理６を行い、文章データ部分
４中の文字および図データ部分５中の文字をそれぞれコ
ード化する。このコード化によって作成されたのが文字
情報７であるが、その文字情報７に対して言語処理８を
施すことによって複数のキーワード９を抽出する。これ
らのキーワード９は、元の文書１に対応している。
【００１３】次いで、抽出した複数のキーワード９に対
して点数付け処理１０を行う。この点数付け処理１０に
ついては次のように行う。すなわち、図の辺の付近にお
いて他の文章とは離れており、しかも、図の辺と平行に
記載されている文章から抽出したキーワードに対しては
最も大きな点数を与える。図中にある文字から抽出した
キーワードには次に大きな点数を与える。図の周辺に存
在する文章から抽出したキーワードに対して次に大きな
点数を与えるが、この場合、図から位置的に近い順に大
きな点数を与える。さらに、出現頻度の高いキーワード
ほど大きな点数を与える。以上のようにして、さまざま
のキーワード９に対してそれぞれ独自の点数が付与され
ることになる。
して点数付け処理１０を行う。この点数付け処理１０に
ついては次のように行う。すなわち、図の辺の付近にお
いて他の文章とは離れており、しかも、図の辺と平行に
記載されている文章から抽出したキーワードに対しては
最も大きな点数を与える。図中にある文字から抽出した
キーワードには次に大きな点数を与える。図の周辺に存
在する文章から抽出したキーワードに対して次に大きな
点数を与えるが、この場合、図から位置的に近い順に大
きな点数を与える。さらに、出現頻度の高いキーワード
ほど大きな点数を与える。以上のようにして、さまざま
のキーワード９に対してそれぞれ独自の点数が付与され
ることになる。
【００１４】次に、点数判別処理１１により各キーワー
ド９に付与されている点数が基準点に達しているか否か
を判断し、基準点以上の点数をもつキーワード９をそれ
に該当する図データ部分５に対して付加する付加処理１
２を施すことによって図のデータベース１３を作成す
る。
ド９に付与されている点数が基準点に達しているか否か
を判断し、基準点以上の点数をもつキーワード９をそれ
に該当する図データ部分５に対して付加する付加処理１
２を施すことによって図のデータベース１３を作成す
る。
【００１５】以上のようにして作成された図のデータベ
ース１３を分類する場合には上記のキーワード９に従っ
て分類する。また、そのデータベース１３を検索する場
合には、検索者が検索したい図に関連した言葉を入力
し、入力した言葉に合致するキーワード９またはそれに
近いキーワード９を付加されている図データ部分５を読
み出す。この検索の場合において、付与されている点数
が高いキーワード９から順に検索するのである。
ース１３を分類する場合には上記のキーワード９に従っ
て分類する。また、そのデータベース１３を検索する場
合には、検索者が検索したい図に関連した言葉を入力
し、入力した言葉に合致するキーワード９またはそれに
近いキーワード９を付加されている図データ部分５を読
み出す。この検索の場合において、付与されている点数
が高いキーワード９から順に検索するのである。
【００１６】第２実施例 この第２実施例は、動画像についてのデータベースの作
成に関するものである。図２は第２実施例に係る非コー
ド化情報の検索方式の構成を示すブロック線図である。
成に関するものである。図２は第２実施例に係る非コー
ド化情報の検索方式の構成を示すブロック線図である。
【００１７】非コード化情報の顕著な例である音声を伴
う動画像２１に対して分割処理２２を施すことにより、
動画像２１を任意の一定時間またはシーンごとに分割
し、分割動画像２３を得る。次に、分割動画像２３が伴
っている音声に対して音声認識処理２４を施し、その分
割動画像２３の中で話されている会話や音声の内容を認
識する。この音声認識処理２４によって音声情報２５が
得られるが、この音声情報２５に対して言語処理２６を
施すことによって複数のキーワード２７を抽出する。こ
れらのキーワード２７は、分割動画像２３に対応してい
る。
う動画像２１に対して分割処理２２を施すことにより、
動画像２１を任意の一定時間またはシーンごとに分割
し、分割動画像２３を得る。次に、分割動画像２３が伴
っている音声に対して音声認識処理２４を施し、その分
割動画像２３の中で話されている会話や音声の内容を認
識する。この音声認識処理２４によって音声情報２５が
得られるが、この音声情報２５に対して言語処理２６を
施すことによって複数のキーワード２７を抽出する。こ
れらのキーワード２７は、分割動画像２３に対応してい
る。
【００１８】次いで、抽出した複数のキーワード２７に
対して点数付け処理２８を施す。この点数付け処理２８
は、出現頻度の高いキーワードほど大きな点数を与える
ものとする。これにより、各キーワード２７に対してそ
れぞれ独自の点数が付与されることになる。
対して点数付け処理２８を施す。この点数付け処理２８
は、出現頻度の高いキーワードほど大きな点数を与える
ものとする。これにより、各キーワード２７に対してそ
れぞれ独自の点数が付与されることになる。
【００１９】次に、点数判別処理２９により各キーワー
ド２７に付与されている点数が基準点に達しているか否
かを判断し、基準点以上の点数をもつキーワード２７を
それに該当する分割動画像２３またはその分割動画像２
３に付随して音声が記録されている部分に対して付加す
る付加処理３０を施すことによって動画像のデータベー
ス３１を作成する。
ド２７に付与されている点数が基準点に達しているか否
かを判断し、基準点以上の点数をもつキーワード２７を
それに該当する分割動画像２３またはその分割動画像２
３に付随して音声が記録されている部分に対して付加す
る付加処理３０を施すことによって動画像のデータベー
ス３１を作成する。
【００２０】以上のようにして作成された動画像のデー
タベース３１を分類する場合には上記のキーワード２７
に従って分類する。また、そのデータベース３１を検索
する場合には、検索者が検索したい動画像に関連した言
葉を入力し、入力した言葉に合致するキーワード２７ま
たはそれに近いキーワード２７を付加されている分割動
画像２３を読み出す。この検索の場合において、付与さ
れている点数が高いキーワード２７から順に検索するの
である。
タベース３１を分類する場合には上記のキーワード２７
に従って分類する。また、そのデータベース３１を検索
する場合には、検索者が検索したい動画像に関連した言
葉を入力し、入力した言葉に合致するキーワード２７ま
たはそれに近いキーワード２７を付加されている分割動
画像２３を読み出す。この検索の場合において、付与さ
れている点数が高いキーワード２７から順に検索するの
である。
【００２１】以上説明した第１実施例および第２実施例
によれば、次の利点がある。
によれば、次の利点がある。
【００２２】 データベースの作成を完全自動化する
ことにより大幅な省力化を図ることができる。
ことにより大幅な省力化を図ることができる。
【００２３】 キーワードの付加を自動的に行うた
め、人間の主観が入り込む余地がなく、キーワードのバ
ラツキのない均質で精度の高いデータベース化が可能と
なっている。
め、人間の主観が入り込む余地がなく、キーワードのバ
ラツキのない均質で精度の高いデータベース化が可能と
なっている。
【００２４】 キーワードの付加を自動的に負うた
め、人手作業の場合に比べて大幅な高速化を図ることが
できる。
め、人手作業の場合に比べて大幅な高速化を図ることが
できる。
【００２５】 人間では分からないか判断しにくいよ
うな情報に対しても、客観的なキーワードを付加するこ
とができる。
うな情報に対しても、客観的なキーワードを付加するこ
とができる。
【００２６】 前後に存在する多くの言語情報を用い
ることにより、幅広いキーワードが付加でき、漏れのな
い分類や検索が可能になる。
ることにより、幅広いキーワードが付加でき、漏れのな
い分類や検索が可能になる。
【００２７】第３実施例 この第３実施例はマルチメディアデータベースの検索に
関するものである。具体的には、ＣＤ−ＲＯＭのように
すでに作られており、読み出しはできるが書き込みがで
きないデータベースに示した有効な検索方式である。Ｃ
Ｄ−ＲＯＭ等に記録されたマルチメディアデータベース
の中から特定の図面や画像や動画像の一部を検索するシ
ステムである。図３は第３実施例に係る非コード化情報
の検索方式の構成を示すブロック線図である。
関するものである。具体的には、ＣＤ−ＲＯＭのように
すでに作られており、読み出しはできるが書き込みがで
きないデータベースに示した有効な検索方式である。Ｃ
Ｄ−ＲＯＭ等に記録されたマルチメディアデータベース
の中から特定の図面や画像や動画像の一部を検索するシ
ステムである。図３は第３実施例に係る非コード化情報
の検索方式の構成を示すブロック線図である。
【００２８】検索者４１は自分が欲する情報に関連した
言葉や文章を自然言語４２としてシステムに入力する。
システムは、入力された自然言語４２に対して言語処理
４３を施すことにより、その自然言語４２の中から適切
な複数のキーワード４４を自動的に抽出する。そして、
そのキーワード４４を用いてまずＣＤ−ＲＯＭ等のマル
チメディアデータベース４５の中のコード化された文字
情報４５ａを検索し、キーワード４４と同一または同様
の意味もしくは近い意味の文字データを抽出する。
言葉や文章を自然言語４２としてシステムに入力する。
システムは、入力された自然言語４２に対して言語処理
４３を施すことにより、その自然言語４２の中から適切
な複数のキーワード４４を自動的に抽出する。そして、
そのキーワード４４を用いてまずＣＤ−ＲＯＭ等のマル
チメディアデータベース４５の中のコード化された文字
情報４５ａを検索し、キーワード４４と同一または同様
の意味もしくは近い意味の文字データを抽出する。
【００２９】次に、システムは、抽出した文字データに
対して位置的に近い部位にある画像情報４５ｂを近い順
に検索する。あるいは、抽出した文字データに対して時
間的に近い部位にある動画像を一定シーン切り出して抽
出する。切り出すシーンの長さは検索者４１の指示によ
り任意に設定でき、また、抽出後も任意に変更できる。
この図面や画像や動画像の抽出においては、抽出されて
きたものとキーワード４４とのマッチング処理４６を行
い、一定の度合い以上にマッチングしておれば、画像サ
ーチ処理４７を行って抽出すべき対象を絞り込んでい
き、最終的に画像抽出処理４８により抽出対象を検索者
４１に提供する。
対して位置的に近い部位にある画像情報４５ｂを近い順
に検索する。あるいは、抽出した文字データに対して時
間的に近い部位にある動画像を一定シーン切り出して抽
出する。切り出すシーンの長さは検索者４１の指示によ
り任意に設定でき、また、抽出後も任意に変更できる。
この図面や画像や動画像の抽出においては、抽出されて
きたものとキーワード４４とのマッチング処理４６を行
い、一定の度合い以上にマッチングしておれば、画像サ
ーチ処理４７を行って抽出すべき対象を絞り込んでい
き、最終的に画像抽出処理４８により抽出対象を検索者
４１に提供する。
【００３０】検索者４１は、以上の処理によって得られ
た情報が満足できないものであったり、あるいはさらに
詳細な情報を得たい場合には、システムに対して次のス
テップの指示をする。システムは、画像認識処理４９に
よってデータベース４５中の画像情報４５ｂを分析し文
字認識によりイメージ状の文字を文字コードに変換す
る。また、音声認識処理５０によってデータベース４５
中の音声情報４５ｃを分析し音声認識により音声を文字
コードに変換する。そして、この新たに生成された文字
コードの少なくともいずれか一方に基づいてデータベー
ス４５を前記と同様に検索し、関連する文字データに対
して位置的もしくは時間的に近い部位にある画像情報４
５ｂや動画像の一部のシーンを抽出し、前述と同様の手
順を経て検索者４１に提供する。
た情報が満足できないものであったり、あるいはさらに
詳細な情報を得たい場合には、システムに対して次のス
テップの指示をする。システムは、画像認識処理４９に
よってデータベース４５中の画像情報４５ｂを分析し文
字認識によりイメージ状の文字を文字コードに変換す
る。また、音声認識処理５０によってデータベース４５
中の音声情報４５ｃを分析し音声認識により音声を文字
コードに変換する。そして、この新たに生成された文字
コードの少なくともいずれか一方に基づいてデータベー
ス４５を前記と同様に検索し、関連する文字データに対
して位置的もしくは時間的に近い部位にある画像情報４
５ｂや動画像の一部のシーンを抽出し、前述と同様の手
順を経て検索者４１に提供する。
【００３１】この第３実施例の検索方式によれば、ＣＤ
−ＲＯＭだけでなく、分類やキーワード付けのなされて
いないどのようなデータベースからでも検索者が必要と
する任意の非コード化情報を高速かつ的確に検索するこ
とができる。
−ＲＯＭだけでなく、分類やキーワード付けのなされて
いないどのようなデータベースからでも検索者が必要と
する任意の非コード化情報を高速かつ的確に検索するこ
とができる。
【００３２】第４実施例 この第４実施例はインタラクティブムービーの作成およ
び検索に係るものである。図４はインタラクティブムー
ビーのデータベースの概念図、図５はキーワード画像対
照表を示す図である。データベース５１は、画像データ
記録部５２とキーワード画像対照表５３とを有してい
る。画像データ記録部５２には、画像データ番号が割り
当てられた複数の画像データ５２ａ，５２ｂ……５２ｉ
…が記録されている。キーワード画像対照表５３におい
ては、キーワードと画像データ番号との対応だけでな
く、次に接続して行うべき抽出対象となるキーワードと
の対応を付けたキーワードリンクが確保されている。
び検索に係るものである。図４はインタラクティブムー
ビーのデータベースの概念図、図５はキーワード画像対
照表を示す図である。データベース５１は、画像データ
記録部５２とキーワード画像対照表５３とを有してい
る。画像データ記録部５２には、画像データ番号が割り
当てられた複数の画像データ５２ａ，５２ｂ……５２ｉ
…が記録されている。キーワード画像対照表５３におい
ては、キーワードと画像データ番号との対応だけでな
く、次に接続して行うべき抽出対象となるキーワードと
の対応を付けたキーワードリンクが確保されている。
【００３３】この方式は第２実施例とよく似ている。ま
ず最初に、動画像情報とともに同時記録されている音声
情報の分析を行って、ナレーションや会話などの音声部
分を抽出し、音声認識処理によって文字コードに変換す
る。次いで、変換した文字コード列に言語処理を施して
キーワードを抽出する。次に、動画像情報に画像処理を
行い、画面内に文字情報の記録されている動画像を切り
出す。そして、１つの文字情報に関して、文字情報それ
ぞれについて最も鮮明に文字情報が記録されている画像
を１枚ずつ自動的に抽出する。今度は、その画像に対し
て文字認識処理を行い、画面内の文字を認識し文字コー
ドに変換する。次いで、上記と同様に変換した文字コー
ド列に言語処理を施してキーワードを抽出する。以上に
より、音声情報に基づいたキーワードと画像情報に基づ
いたキーワードとが抽出されたことになる。
ず最初に、動画像情報とともに同時記録されている音声
情報の分析を行って、ナレーションや会話などの音声部
分を抽出し、音声認識処理によって文字コードに変換す
る。次いで、変換した文字コード列に言語処理を施して
キーワードを抽出する。次に、動画像情報に画像処理を
行い、画面内に文字情報の記録されている動画像を切り
出す。そして、１つの文字情報に関して、文字情報それ
ぞれについて最も鮮明に文字情報が記録されている画像
を１枚ずつ自動的に抽出する。今度は、その画像に対し
て文字認識処理を行い、画面内の文字を認識し文字コー
ドに変換する。次いで、上記と同様に変換した文字コー
ド列に言語処理を施してキーワードを抽出する。以上に
より、音声情報に基づいたキーワードと画像情報に基づ
いたキーワードとが抽出されたことになる。
【００３４】動画像情報の中の音声および文字からキー
ワードを抽出した部位に対して検索用の識別信号を記録
し、データベース５１において動画像情報の前部（また
は後部）に、キーワードと識別信号（画像データ番号）
との組み合わせよりなるキーワード画像対照表５３を付
加する。
ワードを抽出した部位に対して検索用の識別信号を記録
し、データベース５１において動画像情報の前部（また
は後部）に、キーワードと識別信号（画像データ番号）
との組み合わせよりなるキーワード画像対照表５３を付
加する。
【００３５】インタラクティブムービーを作成する場合
には、このようにして作成した１つまたは複数の動画像
情報を組み合わせて作成する。ユーザーは、そのときに
見たいストーリーや場面を自然言語で入力する。する
と、システムが言語処理を行ってキーワードを抽出し、
そのキーワードと同じまたは同様の意味もしくは近い意
味をもつキーワードをキーワード画像対照表５３より選
択する。その結果、ユーザーが求める内容に最も近い動
画像情報が抽出され、その動画像情報の先頭または必要
部位からの再生が開始される。
には、このようにして作成した１つまたは複数の動画像
情報を組み合わせて作成する。ユーザーは、そのときに
見たいストーリーや場面を自然言語で入力する。する
と、システムが言語処理を行ってキーワードを抽出し、
そのキーワードと同じまたは同様の意味もしくは近い意
味をもつキーワードをキーワード画像対照表５３より選
択する。その結果、ユーザーが求める内容に最も近い動
画像情報が抽出され、その動画像情報の先頭または必要
部位からの再生が開始される。
【００３６】このようにユーザーがインタラクティブに
自分の見たい内容の動画像情報を抽出することができ
る。さらに、ユーザーが複数のキーワードを順次に入力
することにより、複数の動画像を接続して任意のストー
リーのムービーを作ることができる。
自分の見たい内容の動画像情報を抽出することができ
る。さらに、ユーザーが複数のキーワードを順次に入力
することにより、複数の動画像を接続して任意のストー
リーのムービーを作ることができる。
【００３７】また、動画像情報から抽出した複数のキー
ワード相互間に、キーワードリンクという多様な関連付
けを行うことにより複雑なインタラクティブムービーの
作成も可能となる。
ワード相互間に、キーワードリンクという多様な関連付
けを行うことにより複雑なインタラクティブムービーの
作成も可能となる。
【００３８】
〔１〕第１の発明によれば、非コード化情報のデータベ
ース化が自動的に行われるから、ほぼ全般的に人為的作
業に頼っていた従来方式に比べて大幅な省力化を図るこ
とができ、また、高精度な検索も可能になった。
ース化が自動的に行われるから、ほぼ全般的に人為的作
業に頼っていた従来方式に比べて大幅な省力化を図るこ
とができ、また、高精度な検索も可能になった。
【００３９】〔２〕第２の発明によれば、動画像のデー
タベース化が自動的に行われるから、ほぼ全般的に人為
的作業に頼っていた従来方式に比べて大幅な省力化を図
ることができ、また、高精度な検索も可能になった。
タベース化が自動的に行われるから、ほぼ全般的に人為
的作業に頼っていた従来方式に比べて大幅な省力化を図
ることができ、また、高精度な検索も可能になった。
【図１】本発明の第１実施例に係る非コード化情報のデ
ータベース化方式の構成を示すブロック線図である。
ータベース化方式の構成を示すブロック線図である。
【図２】本発明の第２実施例に係る非コード化情報のデ
ータベース化方式の構成を示すブロック線図である。
ータベース化方式の構成を示すブロック線図である。
【図３】本発明の第３実施例に係る非コード化情報の検
索方式の構成を示すブロック線図である。
索方式の構成を示すブロック線図である。
【図４】本発明の第４実施例に係るインタラクティブム
ービーのデータベースの概念図である。
ービーのデータベースの概念図である。
【図５】第４実施例におけるキーワード画像対照表を示
す図である。
す図である。
１…図を含む文書、２…スキャナ、３…画像処理、４…
文章データ部分、５…図データ部分、６…文字認識処
理、７…文字情報、８…言語処理、９…キーワード、１
０…点数付け処理、１１…点数判別処理、１２…付加処
理、１３…図のデータベース、２１…動画像、２２…分
割処理、２３…分割動画像、２４…音声認識処理、２５
…音声情報、２６…言語処理、２７…キーワード、２８
…点数付け処理、２９…点数判別処理、３０…付加処
理、３１…動画像のデータベース、４１…検索者、４２
…自然言語、４３…言語処理、４４…キーワード、４５
…マルチメディアデータベース、４５ａ…文字情報、４
５ｂ…画像情報、４５ｃ…音声情報、４６…マッチング
処理、４７…画像サーチ処理、４８…画像抽出処理、４
９…画像認識処理、５０…音声認識処理、５１…インタ
ラクティブムービーデータベース、５２…画像データ記
録部、５３…キーワード画像対照表
文章データ部分、５…図データ部分、６…文字認識処
理、７…文字情報、８…言語処理、９…キーワード、１
０…点数付け処理、１１…点数判別処理、１２…付加処
理、１３…図のデータベース、２１…動画像、２２…分
割処理、２３…分割動画像、２４…音声認識処理、２５
…音声情報、２６…言語処理、２７…キーワード、２８
…点数付け処理、２９…点数判別処理、３０…付加処
理、３１…動画像のデータベース、４１…検索者、４２
…自然言語、４３…言語処理、４４…キーワード、４５
…マルチメディアデータベース、４５ａ…文字情報、４
５ｂ…画像情報、４５ｃ…音声情報、４６…マッチング
処理、４７…画像サーチ処理、４８…画像抽出処理、４
９…画像認識処理、５０…音声認識処理、５１…インタ
ラクティブムービーデータベース、５２…画像データ記
録部、５３…キーワード画像対照表
フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 9194−5Ｌ Ｇ０６Ｆ 15/40 ５３０ Ｑ 8125−5Ｌ 15/62 Ｐ
Claims (2)
- 【請求項１】 非コード化情報を含む文章をスキャナで
読み込んで電子化し、画像処理によって非コード化情報
部分を分離するとともに、文字認識処理によって非コー
ド化情報部分の中および周辺にある文字をコード化し、
言語処理によりそのコード化された文字情報から複数の
キーワードを抽出し、各キーワードに対してそれに対応
した文字情報が元の非コード化情報部分に近いほどまた
出現頻度が高いものほど大きな点数を付与し、点数が基
準点に達しているキーワードを前記の非コード化情報部
分に付加しその非コード化情報部分のデータベースを作
成することを特徴とする非コード化情報のデータベース
化方式。 - 【請求項２】 音声を伴う動画像を分割処理して分割動
画像を得るとともに、音声認識処理によってその分割動
画像が伴っている音声の内容を認識して音声情報を得、
言語処理によりその音声情報から複数のキーワードを抽
出し、各キーワードに対してそれの出現頻度が高いもの
ほど大きな点数を付与し、点数が基準点に達しているキ
ーワードを前記の分割動画像に付加し動画像のデータベ
ースを作成することを特徴とする非コード化情報のデー
タベース化方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5147401A JP3023461B2 (ja) | 1993-06-18 | 1993-06-18 | 非コード化情報のデータベース化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5147401A JP3023461B2 (ja) | 1993-06-18 | 1993-06-18 | 非コード化情報のデータベース化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0721202A true JPH0721202A (ja) | 1995-01-24 |
| JP3023461B2 JP3023461B2 (ja) | 2000-03-21 |
Family
ID=15429459
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5147401A Expired - Fee Related JP3023461B2 (ja) | 1993-06-18 | 1993-06-18 | 非コード化情報のデータベース化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3023461B2 (ja) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07219957A (ja) * | 1994-01-28 | 1995-08-18 | Matsushita Electric Ind Co Ltd | 情報分類装置、情報検索装置及び情報収集装置 |
| JPH08329228A (ja) * | 1995-03-31 | 1996-12-13 | Toshiba Corp | 図面検索方法および装置 |
| JPH09128401A (ja) * | 1995-10-27 | 1997-05-16 | Sharp Corp | 動画像検索装置及びビデオ・オン・デマンド装置 |
| JP2000123047A (ja) * | 1998-10-19 | 2000-04-28 | Nec Corp | キ―ワ―ドをメディア・オブジェクトに割り当てる方法、及び装置 |
| JP2002169827A (ja) * | 2000-12-04 | 2002-06-14 | Advance Design Corp | 一括検索サイト |
| JP2003522346A (ja) * | 1998-11-30 | 2003-07-22 | ヘンリー シー ユーエン | ビデオ及びグラフィック用サーチエンジン |
| WO2005029353A1 (ja) * | 2003-09-18 | 2005-03-31 | Fujitsu Limited | 注釈管理システム、注釈管理方法、文書変換サーバ、文書変換プログラム、電子文書付加プログラム |
| WO2006028213A1 (ja) * | 2004-09-11 | 2006-03-16 | Yoshikuni Tamura | 広告・情報配信システム |
| JP2008152522A (ja) * | 2006-12-18 | 2008-07-03 | Hitachi Ltd | データマイニングシステム、データマイニング方法及びデータ検索システム |
| JP2008176748A (ja) * | 2007-01-22 | 2008-07-31 | Fujitsu Ltd | 情報付与プログラム、情報付与装置、および情報付与方法 |
| JP2008268985A (ja) * | 2007-04-16 | 2008-11-06 | Yahoo Japan Corp | タグを付与する方法 |
| JP2010055259A (ja) * | 2008-08-27 | 2010-03-11 | Konica Minolta Business Technologies Inc | 画像処理装置、画像処理プログラム及び画像処理方法 |
| JP2010108244A (ja) * | 2008-10-30 | 2010-05-13 | Toyota Motor Corp | 対応付けデータベース構築方法、物体情報認識方法、物体情報認識システム |
-
1993
- 1993-06-18 JP JP5147401A patent/JP3023461B2/ja not_active Expired - Fee Related
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07219957A (ja) * | 1994-01-28 | 1995-08-18 | Matsushita Electric Ind Co Ltd | 情報分類装置、情報検索装置及び情報収集装置 |
| JPH08329228A (ja) * | 1995-03-31 | 1996-12-13 | Toshiba Corp | 図面検索方法および装置 |
| JPH09128401A (ja) * | 1995-10-27 | 1997-05-16 | Sharp Corp | 動画像検索装置及びビデオ・オン・デマンド装置 |
| JP2000123047A (ja) * | 1998-10-19 | 2000-04-28 | Nec Corp | キ―ワ―ドをメディア・オブジェクトに割り当てる方法、及び装置 |
| JP2003522346A (ja) * | 1998-11-30 | 2003-07-22 | ヘンリー シー ユーエン | ビデオ及びグラフィック用サーチエンジン |
| JP2002169827A (ja) * | 2000-12-04 | 2002-06-14 | Advance Design Corp | 一括検索サイト |
| WO2005029353A1 (ja) * | 2003-09-18 | 2005-03-31 | Fujitsu Limited | 注釈管理システム、注釈管理方法、文書変換サーバ、文書変換プログラム、電子文書付加プログラム |
| JPWO2006028213A1 (ja) * | 2004-09-11 | 2008-05-08 | 好邦 田村 | 広告・情報配信システム |
| WO2006028213A1 (ja) * | 2004-09-11 | 2006-03-16 | Yoshikuni Tamura | 広告・情報配信システム |
| JP4832307B2 (ja) * | 2004-09-11 | 2011-12-07 | 好邦 田村 | 広告・情報配信システム |
| JP2008152522A (ja) * | 2006-12-18 | 2008-07-03 | Hitachi Ltd | データマイニングシステム、データマイニング方法及びデータ検索システム |
| JP2008176748A (ja) * | 2007-01-22 | 2008-07-31 | Fujitsu Ltd | 情報付与プログラム、情報付与装置、および情報付与方法 |
| US8316014B2 (en) | 2007-01-22 | 2012-11-20 | Fujitsu Limited | Recording medium storing information attachment program, information attachment apparatus, and information attachment method |
| JP2008268985A (ja) * | 2007-04-16 | 2008-11-06 | Yahoo Japan Corp | タグを付与する方法 |
| JP2010055259A (ja) * | 2008-08-27 | 2010-03-11 | Konica Minolta Business Technologies Inc | 画像処理装置、画像処理プログラム及び画像処理方法 |
| US9093074B2 (en) | 2008-08-27 | 2015-07-28 | Konica Minolta Business Technologies, Inc. | Image processing apparatus, image processing program and image processing method |
| JP2010108244A (ja) * | 2008-10-30 | 2010-05-13 | Toyota Motor Corp | 対応付けデータベース構築方法、物体情報認識方法、物体情報認識システム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3023461B2 (ja) | 2000-03-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6363380B1 (en) | Multimedia computer system with story segmentation capability and operating program therefor including finite automation video parser | |
| US7908141B2 (en) | Extracting and utilizing metadata to improve accuracy in speech to text conversions | |
| US20050138018A1 (en) | Information retrieval system, search result processing system, information retrieval method, and computer program product therefor | |
| MXPA97002675A (en) | System and method for examining digital audio / video data | |
| JPH0721202A (ja) | 非コード化情報のデータベース化方式 | |
| JPH10507555A (ja) | デジタル・オーディオとビデオ・データを走り読みするための方法とそのシステム | |
| US7349477B2 (en) | Audio-assisted video segmentation and summarization | |
| Hauptmann et al. | Video retrieval using speech and image information | |
| CN112784078A (zh) | 一种基于语义识别的视频自动剪辑方法 | |
| CN112632326A (zh) | 一种基于视频脚本语义识别的视频生产方法及装置 | |
| CN115272533A (zh) | 一种基于视频结构化数据的智能图文转视频的方法及系统 | |
| CN116361510A (zh) | 一种利用影视类作品和剧本建立剧本场景片段视频自动提取和检索的方法和装置 | |
| CN114996506A (zh) | 语料生成方法、装置、电子设备和计算机可读存储介质 | |
| CN114547373A (zh) | 一种基于音频智能识别搜索节目的方法 | |
| JP2000067085A (ja) | 非コ―ド化情報のデ―タベ―ス化方式 | |
| KR100451004B1 (ko) | 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치 및방법과 그에 따른 내용기반 검색/탐색 방법 | |
| US7949667B2 (en) | Information processing apparatus, method, and program | |
| KR100348901B1 (ko) | 오디오/영상물의 음향적 장면분할방법 | |
| WO2021167238A1 (ko) | 내용 기반 동영상 목차 자동생성 방법 및 시스템 | |
| Hauptmann et al. | Artificial intelligence techniques in the interface to a digital video library | |
| JPH05233719A (ja) | 複合的な情報間の関連性識別方法 | |
| JP2006195900A (ja) | マルチメディアコンテンツ生成装置及び方法 | |
| CN106021249A (zh) | 一种基于内容的语音文件检索方法和系统 | |
| JPH08123976A (ja) | アニメーション作成装置 | |
| CN117082293B (zh) | 一种基于文字创意的视频自动生成方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080121 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090121 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100121 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110121 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120121 Year of fee payment: 12 |
|
| LAPS | Cancellation because of no payment of annual fees |