JP6996191B2 - 端末装置、情報処理システム、情報処理方法及びプログラム - Google Patents

端末装置、情報処理システム、情報処理方法及びプログラム Download PDF

Info

Publication number
JP6996191B2
JP6996191B2 JP2017186707A JP2017186707A JP6996191B2 JP 6996191 B2 JP6996191 B2 JP 6996191B2 JP 2017186707 A JP2017186707 A JP 2017186707A JP 2017186707 A JP2017186707 A JP 2017186707A JP 6996191 B2 JP6996191 B2 JP 6996191B2
Authority
JP
Japan
Prior art keywords
rectangle
information
image
unit
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017186707A
Other languages
English (en)
Other versions
JP2019061553A (ja
Inventor
章敬 中島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2017186707A priority Critical patent/JP6996191B2/ja
Publication of JP2019061553A publication Critical patent/JP2019061553A/ja
Application granted granted Critical
Publication of JP6996191B2 publication Critical patent/JP6996191B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、端末装置、情報処理システム、情報処理方法及びプログラムに関する。
従来から、電子黒板等に描画された画像を抽出する方法について、様々な工夫が成されている。例えば、従来の電子黒板では、ペン等の入力装置でテキスト認識の対象となる手書き文字が囲われると、囲われた領域内に描画された手書き文字を、テキスト認識機能（ＯＣＲ；Optical Character Recognition/Reader）等によってテキストデータに変換して出力する技術が知られている。
また、従来の電子黒板では、電子黒板に描画された画像データから、予め設定された色や線種で描画された画像によって特定された領域内の画像データを抽出する技術が知られている。
上述した後者の電子黒板では、領域を特定するための画像と同じ色や似た色の他の画像が、同じ線種や似た線種で描画されていた場合、どの画像が領域を特定するための画像であるかを判定することが困難になる。このため、従来では、利用者によって特定された領域内の画像データ以外の、利用者が意図していない画像データが抽出される可能性がある。
本発明は、上記事情に鑑みてなされたものであり、利用者が意図した画像データを抽出すること目的としている。
本発明は、表示装置に表示された表示画像のうち、特定の属性情報が設定された画像に外接する矩形群について、矩形毎に、前記表示画像における矩形の位置と大きさを示す矩形領域情報を取得する領域情報取得部と、前記矩形毎の矩形領域情報に基づき、前記矩形群に含まれる第一の矩形と第二の矩形の位置、又は、前記第一の矩形と前記第二の矩形の位置及び大きさに基づき、前記矩形群から、情報を抽出する対象とする矩形を指定する矩形指定部と、前記指定された矩形に対応する矩形内の情報を抽出する情報抽出部と、を有し、前記矩形指定部は、前記第二の矩形の中心点が前記第一の矩形内に含まれない場合に、前記第一の矩形及び前記第二の矩形を、前記情報を抽出する対象に指定する、端末装置である。
利用者が意図した情報を抽出することができる。
第一の実施形態の情報処理システムのシステム構成の一例を示す図である。 電子黒板のハードウェア構成の一例を示す図である。 サーバ装置のハードウェア構成の一例を示す図である。 利用者が電子黒板を利用する状態を示したイメージ図である。 第一の実施形態の情報処理システムの有する各装置の機能構成を説明する図である。 第一の実施形態の属性データベースの一例を示す図である。 第一の実施形態のコンテンツデータベースの一例を示す図である。 第一の実施形態の重要事項データベースの一例を示す図である。 電子黒板のディスプレイに表示される画面について説明する図である。 第一の実施形態のページデータを説明する図である。 ストローク配列データを説明する図である。 座標配列データを説明する図である。 メディアデータを説明する図である。 第一の実施形態の電子黒板の有する重要事項抽出部の機能を説明する図である。 第一の実施形態の情報処理システムの動作を説明するシーケンス図である。 第一の実施形態の重要事項抽出部で扱う画像のデータ構造を説明する図である。 重要事項抽出部の処理を説明するフローチャートである。 重要事項抽出部の有する属性検出部の処理を説明するフローチャートである。 重畳画像から生成されたバイナリ画像の一例を示す図である。 重要事項抽出部の有するノイズ除去部の処理を説明するフローチャートである。 ノイズ除去部による縮小処理と膨張処理を説明する第一の図である。 ノイズ除去部による縮小処理と膨張処理を説明する第二の図である。 重要事項抽出部の有する不要領域除去部の処理を説明するフローチャートである。 ラベリング処理部によりラベリングを説明する図である。 小矩形除去部の処理を説明するフローチャートである。 重なり判定部の処理を説明するフローチャートである。 重なり判定部による処理を説明する図である。 抽出された重要事項情報について説明する図である。 第二の実施形態の情報処理システムの有する各装置の機能構成を説明する図である。 第二の実施形態の情報処理システムの動作を説明するシーケンス図である。 第三の実施形態の情報処理システムを説明する図である。 情報処理システムの変形例を示す第一の図である。 情報処理システムの変形例を示す第二の図である。 情報処理システムの変形例を示す第三の図である。
（第一の実施形態）
以下に図面を参照して、第一の実施形態について説明する。図１は、第一の実施形態の情報処理システムのシステム構成の一例を示す図である。
本実施形態の情報処理システム１００は、電子黒板（電子情報ボード）２００と、サーバ装置３００と、を有する。情報処理システム１００において、電子黒板２００とサーバ装置３００とは、ネットワークを介して接続される。したがって、本実施形態の情報処理システム１００は、電子黒板２００を含む複数の装置を有するシステムである。
本実施形態の情報処理システム１００において、電子黒板２００は、手書き入力された文字や画像等を示すストローク情報、電子黒板２００の画面をキャプチャした画像データ、マイク等の集音装置よって集音された音声データ等を、サーバ装置３００に送信する。尚、本実施形態の電子黒板２００は、ストローク情報や画像データ、音声データを取得したときの日時を、取得した情報と対応付けてサーバ装置３００に送信しても良い。
また、電子黒板２００は、複数の端末装置と通信が可能であり、各端末装置から画像データや音声データを取得しても良い。この場合、電子黒板２００に表示される画像は、複数の端末装置によって共有されても良く、電子黒板２００は、複数の端末装置に共有される画面を表示させる共有端末（端末装置）となる。
以下の説明では、電子黒板２００からサーバ装置３００に送信される各種のデータをコンテンツデータと呼ぶ。したがって、本実施形態のコンテンツデータは、音声データ、画像データ、動画データと、それぞれの情報を受信した日時を示す情報等を含む。
尚、本実施形態のストローク情報とは、電子黒板２００に対して手書き入力が行われた場合において、利用者に手書き入力された一画毎の軌跡を示す点群の座標情報である。本実施形態では、一画毎の軌跡を示す点群（ストローク情報）によって描画される画像がストローク画像となる。ストローク情報の詳細は、後述される。
また、例えば、電子黒板２００がある会議において使用された場合、本実施形態の電子黒板２００は、会議名を特定する情報と、会議中に電子黒板２００が取得したコンテンツデータとを対応付けてサーバ装置３００へ送信しても良い。
本実施形態のサーバ装置３００は、受信したコンテンツデータを格納する。このとき、サーバ装置３００は、電子黒板２００から取得したコンテンツデータを、会議毎に格納しても良い。また、本実施形態の電子黒板２００は、サーバ装置３００の有する音声認識機能を用いて、発話データに基づく操作指示（コマンド）を受け付ける音声操作が行われても良い。
尚、本実施形態の音声データは、電子黒板２００の周辺で発話した人の声や、人の声以外の様々な音等、集音装置が集音した全ての音を示す波形をデジタル化したデータである。したがって、本実施形態では、電子黒板２００の周辺で発話した人の声を示す発話データは、音声データの一部である。
さらに、本実施形態の電子黒板２００は、画面のキャプチャ画像から、電子黒板２００を用いて行われた会議等における重要事項を示す重要事項情報を抽出する。
電子黒板２００の利用者は、電子黒板２００に表示された画面において、利用者が重要だと考える重要事項が描画されていた場合、この部分を強調するために、特定の色や線種のストローク画像を入力することが推定される。
そこで、本実施形態では、特定の属性（色や線種）のストローク画像によって指定されている領域内の画像データを重要事項と捉え、この領域内の画像データを重要事項情報として抽出する。
言い換えれば、本実施形態では、電子黒板２００の画面のキャプチャ画像において、特定の属性で描画されたストローク画像が示す領域内の画像データを、重要事項情報として抽出する。
さらに、本実施形態では、キャプチャ画像において、領域を特定するためのストローク画像以外にも、特定の属性で描画された画像が存在する場合に、この画像を除去する処理を行う。
本実施形態では、この処理を行うことで、利用者が重要だと考える事項が描画された領域内の画像データのみを、重要事項情報として抽出することができ、利用者が意図した画像データを抽出することができる。言い換えれば、本実施形態では、利用者が意図した情報（重要事項情報）を抽出することができる。
以下の説明では、電子黒板２００に対する手書き入力を受け付けることを、ストローク画像の入力を受け付ける、と表現する。言い換えれば、以下の説明では、電子黒板２００が、ディスプレイに対する利用者の手又は電子ペン等の接触を検出してから、利用者の手又は電子ペン等が離れたことを検出するまでの間は、ストローク画像が入力されている状態となる。
本実施形態の電子黒板２００は、コンテンツデータから重要事項情報を抽出して保存しておくことで、電子黒板２００を用いた会議の途中や、会議終了時等の任意のタイミングで、会議の参加者に、会議で決定された重要事項を迅速に提示することができる。
つまり、本実施形態の情報処理システム１００は、コンテンツデータに含まれる重要事項情報を抽出し、電子黒板２００に提供する重要事項抽出サービスを提供するシステムと言える。
以下に、図２及び図３を参照して、本実施形態の情報処理システム１００の有する各装置のハードウェア構成について説明する。図２は、電子黒板のハードウェア構成の一例を示す図である。
図２に示されているように、電子黒板２００は、ＣＰＵ(Central Processing Unit)２０１、ＲＯＭ(Read Only Memory)２０２、ＲＡＭ(Random Access Memory)２０３、ＳＳＤ(Solid State Drive)２０４、ネットワークＩ／Ｆ(Interface)２０５、及び、外部機器接続Ｉ／Ｆ２０６を備えた端末装置である。
これらのうち、ＣＰＵ２０１は、電子黒板２００全体の動作を制御する。尚、ＣＰＵ２０１は、例えば、複数のＣＰＵを含んでいても良い。
ＲＯＭ２０２は、ＣＰＵ２０１やＩＰＬ(Initial Program Loader)等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。ＳＳＤ２０４は、電子黒板用のプログラム等の各種データを記憶する。ネットワークＩ／Ｆ２０５は、通信ネットワークとの通信を制御する。外部機器接続Ｉ／Ｆ２０６は、ＵＳＢ(Universal Serial Bus)メモリ２６００、外付け機器（カメラ２４００、スピーカ２３００、マイク２２００）との通信を制御する。
また、電子黒板２００は、キャプチャデバイス２１１、ＧＰＵ２１２、ディスプレイコントローラ２１３、接触センサ２１４、センサコントローラ２１５、電子ペンコントローラ２１６、近距離通信回路２１９、近距離通信回路２１９のアンテナ２１９ａ、及び電源スイッチ２２２を備えている。
これらのうち、キャプチャデバイス２１１は、ＰＣ４００－１のディスプレイに対して映像情報を静止画または動画として表示させる。ＧＰＵ(Graphics Processing Unit)２１２は、グラフィクスを専門に扱う半導体チップである。ディスプレイコントローラ２１３は、ＧＰＵ２１２からの入力画像をディスプレイ２３０（表示装置）等へ出力するために画面表示の制御及び管理を行う。接触センサ２１４は、ディスプレイ２３０上に電子ペン２５００や利用者の手Ｈ等が接触したことを検知する。
センサコントローラ２１５は、接触センサ２１４の処理を制御する。接触センサ２１４は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ２３０の上側両端部に設置された２つ受発光装置が、ディスプレイ２３０に平行して複数の赤外線を放射し、ディスプレイ２３０の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ２１４は、物体によって遮断された２つの受発光装置が放射した赤外線のＩＤをセンサコントローラ２１５に出力し、センサコントローラ２１５が、物体の接触位置である座標位置を特定する。
電子ペンコントローラ２１６は、電子ペン２５００と通信することで、ディスプレイ２３０へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路２１９は、ＮＦＣ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。
電源スイッチ２２２は、電子黒板２００の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。
また、電子黒板２００は、バスライン２１０を備えている。バスライン２１０は、図２に示されているＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
更に、電子黒板２００は、ＲＳ－２３２Ｃポート２２３、変換コネクタ２２４、Ｂｌｕｅｔｏｏｔｈコントローラ２２５を有する。
ＲＳ－２３２Ｃポート２２３は、バスライン２１０と接続されており、ＰＣ４００－２等をＣＰＵ２０１等に接続する。変換コネクタ２２４は、ＰＣ４００－２のＵＳＢ（Universal Serial Bus）ポートに電子黒板２００を接続するためのコネクタである。
Ｂｌｕｅｔｏｏｔｈコントローラ２２５は、例えば、ＰＣ４００－１等と、Ｂｌｕｅｔｏｏｔｈによる通信を行うためのコントローラである。
尚、接触センサ２１４は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。また、電子ペンコントローラ２１６が、電子ペン２５００のペン先及びペン尻だけでなく、電子ペン２５００の利用者が握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。
次に、図３を参照して、本実施形態のサーバ装置３００のハードウェア構成について説明する。図３は、サーバ装置のハードウェア構成の一例を示す図である。
サーバ装置３００は、コンピュータによって構築されており、図３に示されているように、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、ＨＤ(Hard Disk)３０４、ＨＤＤ(Hard Disk Drive)３０５、記録メディア３０６、メディアＩ／Ｆ３０７、ディスプレイ３０８、ネットワークＩ／Ｆ３０９、キーボード３１１、マウス３１２、ＣＤ－ＲＯＭドライブ３１４、及び、バスライン３１０を備えた情報処理装置である。
これらのうち、ＣＰＵ３０１は、サーバ装置３００全体の動作を制御する。また、本実施形態では、ＣＰＵ３０１は、複数のＣＰＵを含んでいても良い。
ＲＯＭ３０２は、ＩＰＬ等のＣＰＵ３０１の駆動に用いられるプログラムを記憶する。ＲＡＭ３０３は、ＣＰＵ３０１のワークエリアとして使用される。ＨＤ３０４は、プログラム等の各種データを記憶する。ＨＤＤ(Hard Disk Drive)３０５は、ＣＰＵ３０１の制御にしたがってＨＤ３０４に対する各種データの読み出し又は書き込みを制御する。メディアＩ／Ｆ３０７は、フラッシュメモリ等の記録メディア３０６に対するデータの読み出し又は書き込み（記憶）を制御する。ディスプレイ３０８は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。ネットワークＩ／Ｆ３０９は、通信ネットワークを利用してデータ通信をするためのインターフェースである。キーボード３１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。マウス３１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＣＤ－ＲＯＭドライブ３１４は、着脱可能な記録媒体の一例としてのＣＤ－ＲＯＭ(Compact Disc Read Only Memory)３１３に対する各種データの読み出し又は書き込みを制御する。
また、サーバ装置３００は、バスライン３１０を備えている。バスライン３１０は、図３に示されているＣＰＵ３０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
次に、図４を参照して、本実施形態の電子黒板２００を利用する状態について説明する。図４は、利用者が電子黒板を利用する状態を示したイメージ図である。
例えば、利用者Ａが電子黒板２００を利用する場合、電源スイッチ２２２を押下すると、後述する表示制御部が、ディスプレイ２３０上にログイン画面を表示させる。このとき、利用者Ａが、電子黒板２００の近距離通信回路２１９に、自身のＩＣカード１０を近接させると、電子黒板２００は、ＩＣカード１０からＩＣカード１０の識別情報を読み取る。そして、電子黒板２００は、サーバ装置３００に対して、ＩＣカード１０の識別情報を含む認証要求を送信する。そして、電子黒板２００は、サーバ装置３００から、利用者Ａが認証されたことを示す通知を受けると、利用者Ａによって入力された情報をＩＣカード１０の識別情報と対応付けてサーバ装置３００に保存することができるようになる。
次に、図５を参照して、情報処理システム１００の有する各装置の機能について説明する。図５は、第一の実施形態の情報処理システムの有する各装置の機能を説明する図である。
始めに、電子黒板２００の機能について説明する。以下に説明する電子黒板２００の各部は、電子黒板２００の有する１又は複数のＣＰＵ２０１がＲＯＭ２０２等に格納されたプログラムを読み出して実行することで実現される。
本実施形態の電子黒板２００は、ページ記憶部２５０、表示制御部２６０、入力部２６１、集音部２６２、ページ処理部２６３、重要事項抽出部２６４、通信部２６５、カード読取部２６６、カード情報対応付け部２６６、属性設定部２６８、属性データベース２７０を有する。
本実施形態のページ記憶部２５０は、ページ処理部２６３の処理により取得された各種のデータを記憶する。具体的には、ページ記憶部２５０には、重畳画像データ２５１、ストローク画像データ２５２、ページデータ２５３、ＰＤＦ（Portable Document Format）データ２５４が格納される。各データの詳細は、後述される。尚、本実施形態のページ記憶部２５０は、例えば、電子黒板２００のＳＳＤ２０４等に設けられても良い。
本実施形態の表示制御部２６０は、入力部２６１が取得した画像をディスプレイ２３０に表示させる。
本実施形態の入力部２６１は、例えば、電子黒板２００に入力される入力画像データや、電子黒板２００に入力された各種のファイル、遠隔地に設置された他の電子黒板２００に表示されている画像を取得する。入力画像データは、例えば、電子黒板２００と接続されたＰＣ４００－２等から出力される。
また、入力部２６１は、ディスプレイ２３０に対して手書き入力された文字や画像を示すストローク画像等を取得する。また、入力部２６１は、カメラ２４００により撮影された動画データ等を取得する。本実施形態では、動画データは、画像データに含まれる。また、入力部２６１は、電子黒板２００に対するストローク画像の属性の変更指示を受け付ける。
本実施形態の集音部２６２は、マイク２２００に入力された音声を音声データとして取得する。また、集音部２６２は、映像と共に入力される音声データを取得する。
本実施形態のページ処理部２６３は、ディスプレイ２３０に表示された１ページの画像から、重畳画像データ２５１、ページデータ２５３、ＰＤＦデータ２５４を取得する。また、ページ処理部２６３は、１ページの画像にストローク画像が入力された場合には、ストローク画像データ２５２を取得する。
具体的には、ページ処理部２６３は、ディスプレイ２３０に表示された画像や入力されたストローク画像等を重畳させた重畳画像の画像データを取得し、重畳画像データ２５１としてページ記憶部２５０に格納する。尚、ページ処理部２６３は、ディスプレイ２３０に対してストローク画像が入力されていない場合には、ディスプレイ２３０に表示された画像を重畳画像データとする。
本実施形態の重畳画像とは、ディスプレイ２３０の画面をキャプチャしたキャプチャ画像であり、重畳画像データとは、キャプチャ画像データである。言い換えれば、本実施形態のキャプチャ画像は、ディスプレイ２３０に表示された表示画像である。
また、ページ処理部２６３は、ディスプレイ２３０に対してストローク画像が入力された場合には、ストローク画像の画像データを取得し、ストローク画像データ２５２として、ページ記憶部２５０に格納する。
また、ページ処理部２６３は、ディスプレイ２３０に表示された画像から、この画像を表示させるための表示用のページデータを生成し、ページデータ２５３としてページ記憶部２５０に格納する。ページデータ２５３の詳細は、後述される。
また、ページ処理部２６３は、重畳画像データ２５１と、ストローク画像データ２５２と、ページデータ２５３と、から、重畳画像データ２５１をＰＤＦ形式に変換したＰＤＦデータ２５４を生成し、ページ記憶部２５０に格納する。
本実施形態のＰＤＦデータ２５４は、重畳画像データ２５１から生成されるＰＮＧ（Portable Network Graphics）形式の画像データと、ページデータから生成されるベクタ形式のストローク画像データとを含むものとした。尚、ベクタ形式のデータとは、幾何図形を作成するための情報を数値や式として表現したデータである。尚、本実施形態のＰＤＦデータは、ストローク画像が入力されていない場合には、重畳画像データ２５１から生成されるＰＮＧ（Portable Network Graphics）形式の画像データのみとなる。
本実施形態では、重畳画像データ２５１には、例えば、ページを識別するページ識別情報（ページＩＤ）が含まれ、重畳画像データ２５１、ストローク画像データ２５２、ページデータ２５３、ＰＤＦデータ２５４のそれぞれが、ページＩＤによって対応付けられていても良い。
本実施形態では、ページ記憶部２５０に格納されたデータのうち、ページデータ２５３以外の重畳画像データ２５１、ストローク画像データ２５２、ＰＤＦデータ２５４が、コンテンツデータの一部として、サーバ装置３００に送信されても良い。
本実施形態の重要事項抽出部２６４は、ページ処理部２６３に記録された重畳画像データから、重要事項情報を抽出する。重要事項抽出部２６４の詳細は、後述される。
本実施形態の通信部２６５は、入力部２６１が受け付けた各種のデータや、集音部２６２が取得した音声データや、重畳画像データ、ＰＤＦデータ等を含むコンテンツデータや、重要事項抽出部２６４により抽出された重要事項情報をサーバ装置３００へ送信する。
本実施形態のカード読取部２６６は、アンテナ２１９ａにＩＣカード等が翳されると、ＩＣカードに記録されている識別情報（カードＩＤ）を読み取る。本実施形態のカードＩＤは、例えば、ＩＣカードの所有者（電子黒板２００の利用者）を特定するためのカード識別情報である。
カード情報対応付け部２６７は、カード読取部２６６が読み取ったカードＩＤと、コンテンツデータとを対応付ける。具体的には、カード情報対応付け部２６７は、例えば、カード読取部２６６によりカードＩＤが読み取られてから所定時間内に取得したコンテンツデータを、読み取ったカードＩＤと対応付けても良い。
このようにすれば、本実施形態では、例えば、会議の参加者が、発話する前や文字や数字等を書き込む前等に、自身が所持しているＩＣカードをアンテナ２１９ａに翳すだけで、文字、画像、音声等のコンテンツデータと、コンテンツデータを入力した参加者とを対応付けることができる。また、通信部２６５は、コンテンツデータを送信する際に、コンテンツデータに対応付けられたカードＩＤと共に、サーバ装置３００へ送信する。
本実施形態の属性設定部２６８は、ストローク画像に対する属性の変更指示に基づき、属性データベース２７０を参照して、属性の変更指示を受けたストローク画像に対し、設定された特定の属性を設定する以下の説明では、特定の属性を特定の属性情報と呼ぶ。
本実施形態における特定の属性情報とは、この属性情報が設定されたストローク画像が特定する領域内の情報が、重要事項情報であることを示す識別情報でもある。また、本実施形態の属性の変更指示とは、例えば、ディスプレイ２３０の所定の位置をタッチする操作を行うことや、予め決められた特定の形状のストローク画像を描画することによって、与えられても良い。
尚、本実施形態の特定の属性情報は、属性設定部２６８に予め設定されていても良い。また、本実施形態の特定の属性情報は、属性データベース２７０が参照されて、選択された属性情報であっても良い。
本実施形態の属性データベース２７０は、手書き入力により描画されるストローク画像
に設定される属性情報の一覧が格納されている。本実施形態の属性情報とは、例えば、ストローク画像の色や線の太さや種類等である。属性データベース２７０は、例えば、電子黒板２００のＳＳＤ２０４等に設けられていても良い。属性データベース２７０の詳細は後述される。
次に、本実施形態のサーバ装置３００の機能について説明する。本実施形態のサーバ装置３００は、コンテンツデータベース３３０、重要事項データベース３４０を有する。図５では、これらの各データベースは、サーバ装置３００に設けられるものとしているが、これに限定されない。これらの各データベースは、サーバ装置３００の外部の記憶装置等に設けられていても良い。
また、本実施形態のサーバ装置３００は、通信部３６１、音声認識部３６２、コンテンツ格納部３６３、重要事項格納部３６４を有する。本実施形態のサーバ装置３００の有する各部は、サーバ装置３００が有する１又は複数のＣＰＵ３０１が、ＲＯＭ３０２等に格納されたプログラムを読み出して実行することで実現される。
コンテンツデータベース３３０は、電子黒板２００から受信した各種のデータ（コンテンツデータ）が格納される。
重要事項データベース３４０は、重要事項抽出部２６４により抽出された重要事項情報が格納される。各データベースの詳細は、後述される。
本実施形態の通信部３６１は、サーバ装置３００と他の装置との通信を行う。具体的には、通信部３６１は、サーバ装置３００と電子黒板２００との間の情報の送受信を行う。
本実施形態の音声認識部３６２は、コンテンツデータに含まれる音声データを、音声認識機能によってテキストデータに変換する。音声認識部３６２の音声認識機能は、例えば、人工知能等によって実現されても良い。
本実施形態のコンテンツ格納部３６３は、通信部３６１がコンテンツデータを受信すると、このコンテンツデータをコンテンツデータベース３３０に格納する。
重要事項格納部３６４は、通信部３６１が、電子黒板２００の重要事項抽出部２６４により抽出された重要事項情報を受信すると、受信した重要事項情報を重要事項データベース３４０に格納する。尚、本実施形態の重要事項格納部３６４は、重要事項情報を格納する際に、重要事項情報を、重要事項情報の抽出元となる重畳画像データが取得された日時や、重畳画像データと対応付けられた会議の名称等と対応付けて格納しても良い。
次に、図６乃至図８を参照して、本実施形態のサーバ装置３００の有する各データベースについて説明する。
図６は、第一の実施形態の属性データベースの一例を示す図である。本実施形態の属性データベース２７０は、情報の項目として、線種、線色、線幅を有し、それぞれが対応付けられている。尚、図６に示す「線」とは、直線と曲線を含み、ストローク画像である一画の画像を示す。項目「線種」の値は、線の種類を示す。項目「線色」の値は、線の色を示す。項目「線幅」の値は、線の太さを示す。
図６では、例えば、線種として、実線、点線１、点線２、・・と行った線種が存在することがわかる。また、図６では、例えば、線色として、赤、橙、黄等といった色が存在することがわかる。また、図６では、例えば、線幅として、××ｍｍ、○○ｍｍといった線幅が存在することがわかる。
本実施形態の属性情報とは、属性データベース２７０の有する各項目と、項目の値とを含む情報である。つまり、本実施形態の属性情報とは、ストローク画像の色と線種と線幅を示す情報である。
ここで、本実施形態の属性設定部２６８に保持される特定の属性情報の設定について説明する。
本実施形態の情報処理システム１００において、電子黒板２００は、入力部２６１が、属性情報の一覧の表示要求を受け付けると、属性データベース２７０を参照し、属性情報の一覧画面を電子黒板２００のディスプレイ２３０に表示させる。
属性情報の一覧画面とは、例えば、属性データベース２７０の有する項目毎に、項目の値を設定させる画面等である。電子黒板２００は、ディスプレイ２３０に表示された画面において、項目「線種」、「線色」、「線幅」毎の値が選択されると、選択された各項目の値を、特定の属性情報として、属性設定部２６８に保持させる。
したがって、本実施形態の属性制御部２６８に保持される属性情報は、ストローク画像を描画する際の線種と、線色と、線幅を示す情報である。例えば、電子黒板２００において、項目「線種」の値に点線１、項目「線色」に橙、項目「線幅」に０．８ｍｍが選択された場合、属性情報は、「点線１、橙、０．８ｍｍ」となる。
図７は、第一の実施形態のコンテンツデータベースの一例を示す図である。
本実施形態のコンテンツデータベース３３０は、情報の項目として、会議ＩＤ、日付、カードＩＤ、時刻、コンテンツデータを有する。
項目「会議ＩＤ」の値は、電子黒板２００を用いて開催されている会議を特定するための識別情報である。項目「日付」の値は、対応する会議ＩＤで特定される会議が開催された日付を示す。項目「カードＩＤ」の値は、ＩＣカードに格納されたカード識別情報を示す。項目「時刻」の値は、対応するコンテンツデータが取得された時刻を示す。項目「コンテンツデータ」の値は、コンテンツデータそのものである。
図７の例では、２０１７年２月１０日に開催された会議ＩＤ「００１」の会議において、電子黒板２００は、１０：００に、カードＩＤ「１００」と対応付けられた音声データを取得したことがわかる。同様に、電子黒板２００は、１０：０１に、カードＩＤ「１００」と対応付けられた重畳画像データを取得し、１０：０３に、カードＩＤ「１００」と対応付けられたストローク画像データを取得したことがわかる。
尚、コンテンツデータベース３３０には、音声認識部３６２によって音声データから変換されたテキストデータが格納されても良い。この場合、テキストデータは、ＨＤ３０４等に格納されても良い。また、コンテンツデータベース３３０には、会議ＩＤと対応付けられた会議名等が含まれても良い。
図８は、第一の実施形態の重要事項データベースの一例を示す図である。本実施形態の重要事項データベース３４０は、情報の項目として、会議ＩＤ、日付、重要事項、ページデータＩＤを有し、それぞれの項目が対応付けられている。本実施形態の重要事項情報は、重要事項データベース３４０において、項目「会議ＩＤ」、「日付」、「カードＩＤ」、「重要事項」、「ページＩＤ」の値を含む情報であっても良い。
項目「日付」は、「重要事項」が含まれるが取得された日付を示す。項目「重要事項」の値は、重畳画像データから抽出された、重要事項を示す画像データを示す。項目「ページＩＤ」の値は、重要事項を示す画像データが含まれる重畳画像を識別するためのページ識別情報である。
尚、重要事項データベース３４０は、情報の項目として、図８に示す全ての項目を有していなくても良い。重要事項データベース３４０は、情報の項目として、項目「会議ＩＤ」と項目「重要事項」が含まれれば良い。
図８の例では、２０１７年２月１０日に開催された会議ＩＤ「００１」の会議において、カードＩＤ「１００」と対応付けられた画像データ１１．ｊｐｇが重要事項として抽出されたことがわかる。
尚、本実施形態のサーバ装置３００では、ＯＣＲ（Optical Character Recognition）を有し、重要事項情報として抽出された画像データによって示される画像の文字認識を行っても良い。その場合、サーバ装置３００は、重要事項情報に、画像データから文字認識されたテキストデータを含めてもよい。本実施形態では、この処理を行うことで、重要事項をテキストデータとして記憶することができる。
尚、上述した情報処理システム１００では、サーバ装置３００を一台のサーバ装置としたが、これに限定されない。情報処理システム１００の有するサーバ装置３００は複数台であっても良く、その場合、どのサーバ装置にどの機能やどのデータベースを備えさせても良い。さらに、本実施形態で説明する電子黒板２００と、サーバ装置３００とが接続された情報処理システム１００のシステム構成は一例であり、用途や目的に応じて様々なシステム構成例があることは言うまでもない。
次に、図９乃至図１３を参照して、本実施形態のページ処理部２６３により生成され、記録されるページデータ２５３について説明する。はじめに、本実施形態の電子黒板２００のディスプレイ２３０に表示される画面について説明する。
図９は、電子黒板のディスプレイに表示される画面について説明する図である。図９（Ａ）は、重畳される画像を説明する図であり、図９（Ｂ）は、重畳画像の一例を示す図である。
本実施形態の電子黒板２００において、表示制御部２６０は、入力部２６１により取得される入力画像や、ストローク画像、ＵＩ（User Interface）画像及び背景画像を予め指定されたレイアウトにしたがって重畳して表示させる。
尚、ＵＩ画像とは、予め設定された画像である。また、背景画像は、例えば、無地の画像やグリッド線を含む画像等であり、重畳画像に含まれるメディアデータである。メディアデータの詳細は、後述される。
表示制御部２６０は、図９に示すように、ＵＩ画像を表示させるためのレイヤ９１、ストローク画像を表示させるためのレイヤ９２、ＰＣから出力されて電子黒板２００に入力される入力画像を表示させるレイヤ９３、背景画像を表示させるためのレイヤ９４を有する。
本実施形態の表示制御部２６０は、電子黒板２００の利用者からディスプレイ２３０を見たとき、レイヤ９１が１層目、レイヤ９２が２層目、レイヤ９３が３層目、レイヤ９４が４層目となるように、各レイヤを重畳させる。
そして、表示制御部２６０は、ＵＩ画像の画像データ（ＵＩ画像データ）、ストローク画像データ、入力画像の画像データ（入力画像データ）、背景画像の画像データ（背景画像データ）を合成することで、４層の重畳画像９０の画像データを生成する。
つまり、本実施形態の重畳画像とは、ディスプレイ２３０の各レイヤに表示された画像を合成した画像である。
次に、図１０を参照して、本実施形態のページデータについて説明する。図１０は、第一の実施形態のページデータを説明する図である。
本実施形態のページデータとは、重畳画像をディスプレイ２３０に表示させるための表示用のデータである。
本実施形態のページデータは、情報の項目として、ページデータＩＤ、開始時刻、終了時刻、ストローク配列データＩＤ、メディアデータＩＤを有する。
項目「ページデータＩＤ」の値は、ページデータを識別するための識別情報である。例えば、ページデータＩＤ「ｐ００１」のページデータが、重畳画像９０から生成された場合、ページデータＩＤ「ｐ００１」と重畳画像９０を識別するページＩＤとは対応づけられている。
項目「開始時刻」の値は、ページデータＩＤが特定するページの表示が開始された時刻を示す。項目「終了時刻」の値は、ページの更新が終了した時刻を示す。言い換えれば、項目「終了時刻」の値は、ストローク画像の入力等により、ページの内容の書き換えが終了した時刻を示す。
項目「ストローク配列データＩＤ」の値は、ストローク画像の入力により生成されたストローク配列データを識別するための識別情報を示す。本実施形態のストローク配列データは、特定の形状を示す点群の座標情報を含む。つまり、本実施形態のストローク配列データが、一画毎の軌跡を示す点群であるストローク情報である。
項目「メディアデータＩＤ」の値は、メディアデータを識別するための識別情報を示す。メディアデータとは、背景画像をディスプレイ２３０に表示させるための画像データである。言い換えれば、メディアデータとは、ディスプレイ２３０に表示された背景画像の画像データである。
このように、本実施形態では、入力されたストローク画像をディスプレイ２３０に表示させるためのストローク配列データを、ページデータと対応付ける。
また、本実施形態では、ストローク画像が入力されなかった場合には、ページデータと対応付けられるストローク配列データが存在しないため、ページデータにおける項目「ストローク配列データＩＤ」の値が空欄となる。
例えば、図１０の例では、ページデータＩＤ「ｐ００１」は、ストローク配列データＩＤ「ｓｔ００１」と対応付けられている。したがって、ページデータＩＤ「ｐ００１」で特定されるページデータには、ストローク画像が入力されたことがわかる。
また、図１０の例では、ページデータＩＤ「ｐ００２」は、ストローク配列データＩＤの値が入力されていない。したがって、ページデータＩＤ「ｐ００２」で特定されるページ画像データには、ストローク画像が入力されていないことがわかる。
次に、図１１を参照して、本実施形態のストローク配列データについて説明する。図１１は、ストローク配列データを説明する図である。
本実施形態のストローク配列データは、複数のストロークデータを含んでいる。各ストロークデータは、利用者が手書き入力によってストローク画像を描画する度に生成される。例えば、利用者が電子ペン２５００でアルファベットの「Ｓ」を描く場合、一筆書きとなるため、１つのストロークデータＩＤで、一文字が示される。また、例えば、利用者が電子ペン２５００でアルファベットの「Ｔ」を描く場合、２画となるので、２つのストロークデータＩＤで、一文字のアルファベットの「Ｔ」が示されることになる。
本実施形態のストローク配列データは、情報の項目として、ストロークデータＩＤ、開始時刻、終了時刻、色、幅、及び座標廃立データＩＤを含む。
項目「ストロークデータＩＤ」は、ストロークデータを識別するための識別情報である。項目「開始時刻」の値は、利用者がストロークを書き始めた時刻を示す。項目「終了時刻」の値は、利用者がストロークを書き終わった時刻を示す。
項目「色」の値は、そのストロークの色を示し、項目「幅」の値は、ストロークの幅を示す。項目「座標配列データＩＤ」の値は、ストロークの通過点に関する情報が含まれる座標配列データ（座標群）を識別するための識別情報を示す。
次に、図１２を参照して、本実施形態の座標配列データについて説明する。図１２は、座標配列データを説明する図である。
本実施形態の座標配列データは、座標配列データＩＤ毎に設けられる。本実施形態の座標配列データは、情報の項目として、Ｘ座標値、Ｙ座標値、差分時刻、筆圧を有する。
項目「Ｘ座標値」と項目「Ｙ座標」の値は、ストロークが通過した点毎の、ディスプレイ２３０上での位置を示す。項目「差分時刻」の値は、利用者がストロークを書き始めた時刻から、項目「Ｘ座標値」と項目「Ｙ座標」の値とが示す位置を通過した時刻までの差分を示す。項目「筆圧」の値は、電子ペン２５００の筆圧を示す。
次に、図１３を参照して、本実施形態のメディアデータについて説明する。図１３は、メディアデータを説明する図である。
本実施形態のメディアデータは、情報の項目として、メディアデータＩＤ、データの種類、記録時刻、Ｘ座標値、Ｙ座標値、幅、高さ、及びデータを含む。
項目「メディアデータＩＤ」の値は、メディアデータを識別するための識別情報を示す。項目「データの種類」の値は、メディアデータの種類を示す。項目「記録時刻」の値は、電子黒板２００において、重畳画像データが保存された時刻を示す。項目「Ｘ座標値」と項目「Ｙ座標」の値は、ディスプレイ２３０上に表示されるメディアデータの位置を示す。尚、より具体的には、項目「Ｘ座標値」と項目「Ｙ座標」の値は、ディスプレイ２３０の左上端の座標を基準としたときのメディアデータの左上端の位置を示している。
項目「幅」の値と、項目「高さ」の値は、メディアデータのサイズを示す。より具体的には、項目「幅」の値と、項目「高さ」の値は、メディアデータの種類が画像であった場合の画像の幅と高さを示す。項目「データ」の値は、メディアデータの内容を示している。
本実施形態のページデータは、以上のような構造のデータとして、電子黒板２００に格納されている。
次に、図１４を参照して、本実施形態の重要事項抽出部２６４について説明する。図１４は、第一の実施形態の電子黒板の有する重要事項抽出部の機能を説明する図である。
本実施形態の重要事項抽出部２６４は、属性検出部２７１、ノイズ除去部２７２、不要領域除去部２７３、重要事項情報出力部２７４を有する。
本実施形態の属性検出部２７１は、ページ記憶部２５０に格納された重畳画像データが示す重畳画像から、属性設定部２６８に保持された特定の属性情報が示す色の画像を検出する。
具体的には、本実施形態の属性検出部２７１は、画像変換部２７５、バイナリ画像生成部２７６を有する。
画像変換部２７５は、ＲＧＢ色空間で示される画像を、ＨＳＶ色空間で示される画像に変換する。より具体的には、画像変換部２７５は、ＲＧＢ色空間で示される重畳画像データを、ＨＳＶ色空間で示される重畳画像データへ変換する。以下の説明では、ＲＧＢ色空間で示される画像をＲＧＢ画像データと呼び、ＨＳＶ色空間で示される画像をＨＳＶ画像データと呼ぶ。尚、ＨＳＶ色空間とは、色相（Hue）、彩度（Saturation・Chroma）、明度（Value・Lightness・Brightness）の三つの成分からなる色空間である。
バイナリ画像生成部２７６は、画像変換部２７５によって変換されたＨＳＶ画像から、特定の属性情報が示す色で描画された画像の領域の値を「１」とし、それ以外の領域の値を「０」としたバイナリ画像を生成する。バイナリ画像とは、白と黒のみの２値で表現される画像である。
尚、本実施形態では、ＲＧＢ画像データをＨＳＶ画像データに変換した後にＨＳＶ画像データからバイナリ画像を生成するものとしたが、色空間の変換は、ＲＧＢ色空間からＨＳＶ色空間への変換に限定されない。
例えば、本実施形態では、ＲＧＢ色空間の画像データを、ＸＹＺ表色系で示される色空間の画像データに変換しても良いし、ｘｙＹ表色系で示される色空間の画像データに変換しても良い。また、本実施形態では、ＲＧＢ色空間の画像データを、Ｌ＊ｕ＊ｖ表色系で示される色空間の画像データに変換しても良いし、Ｌ＊ａ＊ｂ表色系で示される色空間の画像データに変換しても良い。また、本実施形態では、ＲＧＢ色空間の画像データを、ＨＬＳ表色系で示される色空間の画像データに変換しても良い。また、本実施形態では、ＲＧＢ色空間の画像データを、輝度信号Ｙと、２つの色差信号を使って表現されるＹＵＶ色空間や、ＹＣｂＣｒ色空間や、ＹＰｂＰｒ色空間の画像データに変換しても良い。
本実施形態のノイズ除去部２７２は、属性検出部２７１により、特定の属性情報が示す色のストローク画像が検出されると、このストローク画像が検出された重畳画像からノイズを除去する。
本実施形態のノイズ除去部２７２によって除去されるノイズとは、例えば、特定の属性情報が示す色によって描画された画像であって、特定の属性情報が示す線幅より細い幅で描画された画像等である。
本実施形態のノイズ除去部２７２は、例えば、バイナリ画像を膨張させる膨張処理と、バイナリ画像を縮小させる縮小処理を実行するモルフォロジー変換処理を行うことで、バイナリ画像に対するノイズの除去を行う。
本実施形態の不要領域除去部２７３は、ノイズ除去部２７２によってノイズが除去された後のバイナリ画像から、不要な領域を除去する処理を行う。
本実施形態の不要領域除去部２７３によって除去される不要な領域とは、重要事項が含まれる領域とは考えられない大きさの領域である。
本実施形態の不要領域除去部２７３は、ラベリング処理部２７７、小矩形除去部２７８、重なり判定部２７９を有する。
ラベリング処理部２７７は、バイナリ画像に対して、画素の連続性に基づいて、連続する画素のラベリングを行う。そして、ラベリング処理部２７７は、同じレベルが付与された画素群に外接する矩形の領域（バウンディングボックス）を示す情報を取得する。
つまり、本実施形態のラベリング処理部２７７は、特定の属性情報が設定された画像に外接する矩形群について、矩形毎に、１ページ分の画像（重畳画像）における矩形の位置と大きさを示す矩形領域情報を取得する領域情報取得部の機能を果たす。
以下の説明では、ラベリング処理部２７７が取得する領域を示す情報を、バウンディングボックス領域情報と呼ぶ。尚、バウンディングボックスとは、図形対象を取り囲むもので、通常は目に見えない長方形の枠であって,その図形対象が選択されたとき見えるようになるものである。バウンディングボックス領域情報の詳細は、後述される。
小矩形除去部２７８は、バウンディングボックス領域情報による算出されるバウンディングボックス領域の面積と、ディスプレイ２３０の面積とを比較した結果に応じて、バウンディングボックスを除去する。
重なり判定部２７９は、小矩形除去部２７８により除去されていないバウンディングボックス同士が重なり合っているか否かを判定する。そして、重なり判定部２７９は、重なり合っていないバウンディングボックスと、重なりあっていても、ある条件を満たしているバウンディングボックスとを、重要事項情報を抽出するために特定された領域と判定する。
重要事項情報出力部２７４は、不要領域除去部２７３によって、重要事項情報を抽出するために特定された領域内の画像データを、重要事項情報として出力する。
以下に、図１５を参照して、本実施形態の情報処理システム１００の動作について説明する。図１５は、第一の実施形態の情報処理システムの動作を説明するシーケンス図である。
本実施形態の情報処理システム１００において、電子黒板２００は、表示制御部２６０により、コンテンツデータをディスプレイ２３０に表示させる（ステップＳ１５０１）。
続いて、電子黒板２００は、入力部２６１により、手書き入力で入力されるストローク画像の属性の変更指示の入力を受け付ける（ステップＳ１５０２）。具体的には、例えば、電子黒板２００は、ディスプレイ２３０上の特定の位置に対するタップ等を、属性の変更指示として受け付けても良い。
電子黒板２００は、属性の変更指示を受け付けると、属性設定部２６８が保持している特定の属性情報を入力されるストローク画像に対して設定する（ステップＳ１５０３）。
続いて、電子黒板２００は、入力部２６１が、ディスプレイ２３０に対するストローク画像の入力を受け付けると、表示制御部２６０により、入力されたストローク画像を特定の属性情報のストローク画像として、ディスプレイ２３０に描画する（ステップＳ１５０４）。
続いて、電子黒板２００は、入力部２６１が、ディスプレイ２３０に表示された画像の切り替え指示を受け付けると（ステップＳ１５０５）、ページ処理部２６３が、ディスプレイ２３０に表示された画面の重畳画像データと、ストローク画像データと、をページ記憶部２５０に格納する（ステップＳ１５０６）。
尚、図１５では、ストローク画像が入力される例を示しているが、ストローク画像が入力されずに、画像の切り替え指示を受け付けた場合には、ページ処理部２６３は、重畳画像データのページ記憶部２５０に格納する。
また、ページ処理部２６３は、ページデータとＰＤＦデータとを生成し、ページ記憶部２５０に格納する（ステップＳ１５０７）。
続いて、電子黒板２００は、重要事項抽出部２６４により、重畳画像データから重要事項情報を抽出する処理を行う（ステップＳ１５０８）。ステップＳ１５０８の処理の詳細は、後述される。
続いて、電子黒板２００は、コンテンツデータと、重要事項抽出部２６４が抽出した重要事項情報と、を取得し（ステップＳ１５０９）、コンテンツデータと重要事項情報とをサーバ装置３００へ送信する（ステップＳ１５１０）。ここで取得されるコンテンツデータは、重畳画像データと、ＰＤＦデータと、を含む。
続いて、電子黒板２００は、重要事項抽出部２６４により抽出された重要事項情報の一覧を表示させる（ステップＳ１５１１）。尚、電子黒板２００は、重要事項情報の一覧の表示要求を受け付けた場合にのみ、重要事項情報の一覧を表示するようにしても良い。
サーバ装置３００は、通信部３６１が、電子黒板２００からコンテンツデータと重要事項情報とを受信する（ステップＳ１５１２）。続いて、サーバ装置３００は、コンテンツ格納部３６３がコンテンツデータをコンテンツデータベース３３０へ格納し、重要事項格納部３６４が重要事項データベース３４０に重要事項情報を格納する（ステップＳ１５１３）。
以下に、本実施形態の重要事項抽出部２６４による処理について、さらに説明する。図１６は、第一の実施形態の重要事項抽出部で扱う画像のデータ構造を説明する図である。図１６（Ａ）は、一般的な画像を説明する図である。図１６（Ａ）に示すように、画像Ｇは、画素Ｐ１、Ｐ２、・・・、Ｐｎの集合によって構成される。
図１６（Ｂ）は、画素が有する値を説明する図である。画素Ｐｎは、画像ＧがＲＧＢ画像である場合には、Ｒ値、Ｂ値、Ｇ値に加え、透過率αを含む。
図１６（Ｃ）は、画像のデータ構造を説明する図である。本実施形態において、画像のデータ構造は、一次元配列として扱う。例えば、画像Ｇは、画素Ｐ１のＲ値、Ｂ値、Ｇ値、透過率α、画素Ｐ２のＲ値、Ｂ値、Ｇ値、透過率α、と続く一次元配列として扱われる。
本実施形態の重畳画像も、図１６に示す一般的な画像と同様のデータ構造を有するものとした。また、本実施形態では、画像Ｇのデータ構造におけるＲＧＢ値を参照して、特定の属性情報が設定されたストローク画像を検出する。
図１７は、重要事項抽出部の処理を説明するフローチャートである。図１７に示す処理は、図１５のステップＳ１５０８において、重要事項抽出部２６４が実行する処理である。尚、重要事項抽出部２６４は、電子黒板２００の有する１つ又は複数のＣＰＵ２０１がＲＯＭ２０２等に格納されたプログラムを読み出して実行することで実現される。
本実施形態の重要事項抽出部２６４は、属性検出部２７１により、重畳画像データから特定の属性情報の色が設定されたストローク画像データを検出する（ステップＳ１７０１）。
続いて、重要事項抽出部２６４は、ノイズ除去部２７２により、重畳画像データからノイズを除去する処理を行う（ステップＳ１７０２）。続いて、重要事項抽出部２６４は、不要領域除去部２７３により、不要な領域を除去する処理を行う（ステップＳ１７０３）。ステップＳ１７０２とステップＳ１７０３の処理の詳細は、後述される。
続いて、重要事項抽出部２６４は、重要事項情報出力部２７４により、ステップＳ１７０３までの処理によって抽出された領域内かの画像データを重要事項情報として出力し（ステップＳ１７０４）、処理を終了する。
次に、図１８を参照して、図１７のステップＳ１７０１に示す属性検出部２７１の処理について説明する。図１８は、重要事項抽出部の有する属性検出部の処理を説明するフローチャートである。
本実施形態の属性検出部２７１は、ＲＧＢ画像データである重畳画像データを取得すると、画像変換部２７５により、この重畳画像データをＨＳＶ画像データに変換する（ステップＳ１８０１）。
具体的には、画像変換部２７５は、重畳画像に含まれる全ての画素に対して、ＲＧＢ値をＨＳＶ値に変換する処理を行う。ここで、Ｒ値、Ｇ値、Ｂ値の中で最大値をＩｍａｘとし、最小値をＩｍｉｎとし、ＲＧＢ値は０～２５５)で正規化されているものとして考えた場合、色相Ｈは、最大値ＩｍａｘがＲ値の場合、以下の式（１）で求められる。ただし、色相Ｈ＜０の場合は、３６０を足す。
Figure 0006996191000001
 また、色相Ｈは、最大値ＩｍａｘがＧ値の場合、以下の式（２）で求められる。
Figure 0006996191000002
 また、色相Ｈは、最大値ＩｍａｘがＢ値の場合、以下の式（３）で求められる。
Figure 0006996191000003
 また、彩度Ｓは、以下の式（４）で求められ、明度Ｖは、最大値Ｉｍａｘの値とする。
Figure 0006996191000004
 次に、属性検出部２７１は、バイナリ画像生成部２７６により、ＨＶＳ画像データに変換された重畳画像データから、重畳画像のバイナリ画像を生成し（ステップＳ１８０２）、処理を終了する。
以下に、例えば、特定の属性情報が示す色をオレンジ色とした場合のバイナリ画像生成部２７６の処理について説明する。
オレンジ色をＨＳＶ値で示した場合、［Ｈｔ，Ｓｔ，Ｖｔ］＝［１５，３０，２２５］である。バイナリ画像生成部２７６は、この値を基準値として、以下の式（５）によって重畳画像の各画素の値Ｂを算出し、バイナリ画像を生成する。尚、式（５）において、αはゆらぎの許容範囲である。
Figure 0006996191000005
 本実施形態では、基準値となるＨ値、Ｓ値、Ｖ値にゆらぎαを設け、所定の範囲とすることで、例えば、ディスプレイ２３０に表示された画像を重畳画像データとして出力する際に生じるＨＳＶ値の変化により、検出すべきストローク画像が検出されなくなる、といったことを抑制できる。尚、ＨＳＶ値の変化は、ディスプレイ２３０に表示された画像を重畳画像データとする際の圧縮処理等によって生じる。
本実施形態のゆらぎαは、例えば、ディスプレイ２３０に表示された画像を重畳画像データとして出力する際の圧縮の方法等に応じて、任意の値に設定されて良い。
尚、上述した例では、特定の属性情報が示す色をオレンジ色としたが、特定の属性情報が示す色は任意の色であって良い。
図１９は、重畳画像から生成されたバイナリ画像の一例を示す図である。図１９（Ａ）は、ＨＳＶ画像とされた重畳画像の例を示しており、図１９（Ｂ）は、図１９（Ａ）に示す重畳画像から生成されたバイナリ画像の例を示している。
図１９（Ａ）に示す重畳画像１９１では、特定の属性情報が示す色のストローク画像ＳＴ１、ＳＴ２、ＳＴ３が含まれる。
本実施形態のバイナリ画像生成部２７６は、このストローク画像ＳＴ１、ＳＴ２、ＳＴ３に含まれる画素の値を全て「１」とすることで、図１９（Ｂ）に示す二値のバイナリ画像１９１Ａを生成する。
バイナリ画像１９１Ａでは、ストローク画像ＳＴ１と対応する白色のストローク画像ＳＴ１ａ、ストローク画像ＳＴ２と対応する白色のストローク画像ＳＴ２ａ、ストローク画像ＳＴ３と対応する白色のストローク画像ＳＴ３ａが含まれることがわかる。
本実施形態では、以上のように、重畳画像から特定の属性情報が示す色の画像を検出する。
次に、図２０を参照して、図１７のステップＳ１７０２に示すノイズ除去部２７２の処理について説明する。図２０は、重要事項抽出部の有するノイズ除去部の処理を説明するフローチャートである。
本実施形態のノイズ除去部２７２は、属性検出部２７１により生成されたバイナリ画像における白色の領域を縮小させる処理を行う（ステップＳ２００１）。続いて、ノイズ除去部２７２は、縮小された白色の領域を膨張させる処理を行い（ステップＳ２００２）、処理を終了する。
以下に、図２１及び図２２を参照して、本実施形態のノイズ除去部２７２の処理について具体的に説明する。
図２１は、ノイズ除去部による縮小処理と膨張処理を説明する第一の図である。図２１（Ａ）は、縮小処理を説明する図であり、図２１（Ｂ）は、膨張処理を説明する図である。
本実施形態では、入力されたバイナリ画像に対して、図２１（Ａ）に示すような縮小処理を行うと、細かいノイズを除去することができる。縮小処理は、以下の式（６）のように示すことができる。
Figure 0006996191000006
 尚、式（６）において、Ａは入力画像、Ｂは構造化要素、ｃは結果Ｃの構成要素を示す。
図２１（Ａ）の入力画像Ａは、構造化要素Ｂと、結果ｃが示す構成要素を含む。縮小処理において、構造化要素Ｂの原点は、入力画像Ａの要素と対比される。そして、構造化要素Ｂの原点は、構造化要素Ｂに含まれる全ての要素が、入力画像Ａの要素と重なる場合のみ、残される。
結果Ｃは、このようにして構造化要素Ｂの原点と入力画像Ａの各要素とを重ねて対比した結果の、構造化要素Ｂの原点の軌跡を示している。
図２１（Ａ）の入力画像Ａの各要素（画素）に対し、原点を要素Ｂｏとする構造化要素Ｂを重ねていった場合、要素Ｂｏが入力画像Ａの要素Ａ１に重なった場合と、要素Ａ２に重なった場合に、構造化要素Ｂの要素Ｂｏ以外の全ての要素が、入力画像Ａと重なる。したがって、結果Ｃは、要素Ａ１と要素Ａ２を含むものとなる。
また、本実施形態では、入力されたバイナリ画像に対して、図２１（Ｂ）に示すような膨張処理は、以下の式（７）のように示すことができる。
Figure 0006996191000007
 尚、式（７）において、Ａは入力画像、Ｂは構造化要素Ｂ、ｃは結果Ｃの構成要素を示す。
図２１（Ｂ）の結果Ｃは、入力画像Ａに含まれる要素と構造化要素Ｂの要素を足したものである。膨張処理において、構造化要素Ｂの原点となる要素Ｂｏは、入力画像Ａの各要素と重ねられる。そして、膨張処理では、要素Ｂｏを入力画像Ａの各要素と重ねたとき、入力画像Ａに、構造化要素Ｂの要素Ｂｏ以外の要素と重なる要素が存在しない場合、入力画像Ａの該当する位置に要素を加える。
したがって、図２１（Ｂ）に示す結果Ｃに含まれる要素は、入力画像Ａに含まれる要素に、要素Ａ１１～要素Ａ１６が加えられる。
本実施形態のノイズ除去部２７２は、上述した縮小処理と膨張処理とを、バイナリ画像１９１Ａ（図１９参照）に対して行う。
図２２は、ノイズ除去部による縮小処理と膨張処理を説明する第二の図である。図２２（Ａ）は、バイナリ画像１９１Ａを示し、図２２（Ｂ）は、バイナリ画像１９１Ａに対して縮小処理を行った結果であるバイナリ画像１９１Ｂを示し、図２２（Ｃ）は、バイナリ画像１９１Ａに対して膨張処理を行った結果であるバイナリ画像１９１Ｃを示す。
バイナリ画像１９１Ｂには、ストローク画像ＳＴ１ｂ、ＳＴ２ｂのみが存在し、バイナリ画像１９１Ａでは存在していたストローク画像ＳＴ３ａが除去されていることがわかる。また、バイナリ画像１９１Ｂを膨張させたバイナリ画像１９１Ｃにも、ストローク画像ＳＴ１ｃ、ＳＴ２ｃのみが存在し、ストローク画像ＳＴ３ａが除去されていることがわかる。
本実施形態では、以上のようにして、ノイズを除去することで、属性検出部２７１によって検出された特定の属性情報が示す色の画像であって、特定の属性情報が示す線幅よりも幅の細い線の画像をノイズとして除去することができる。
言い換えれば、本実施形態では、ノイズ除去部２７２の処理によって、属性検出部２７１が検出した画像のうち、特定の属性情報が示す線幅以外の幅で描画された画像を、バイナリ画像から除去することができる。
尚、本実施形態では、ノイズ除去部２７２は、縮小処理と膨張処理を用いたモルフォロジー変換処理を行うものとしたが、これに限定されない。ノイズ除去部２７２は、特定の属性情報が示す線幅よりも細い線画をノイズとして除去できれば良い。
次に、図２３を参照して、図１７のステップＳ１７０３に示す不要領域除去部２７３の処理について説明する。図２３は、重要事項抽出部の有する不要領域除去部の処理を説明するフローチャートである。
本実施形態の不要領域除去部２７３は、ノイズ除去部２７２による処理が行われた後のバイナリ画像に対し、ラベリング処理部２７７により、ラベリングを行い、バイナリ画像に含まれる各画像のバウンディングボックス領域情報を取得する（ステップＳ２３０１）。
続いて、不要領域除去部２７３は、小矩形除去部２７８によって、バウンディングボックス領域情報により示される矩形領域の面積が所定値以下のバウンディングボックスを、ノイズとして除去する（ステップＳ２３０２）。ステップＳ２３０２の処理の詳細は、後述される。
続いて、不要領域除去部２７３は、残ったバウンディングボックス領域情報に基づき、重なり合っていないバウンディングボックス又は、所定の条件で重なり合っているバウンディングボックスを抽出し（ステップＳ２３０３）、処理を終了する。ステップＳ２３０３の処理の詳細は、後述される。
本実施形態では、ステップＳ２３０３において抽出されたバウンディングボックス内の画像データが、重要事項情報出力部２７４によって、重要事項情報として出力される。
以下に、図２４を参照して、本実施形態のラベリング処理部２７７によるラベリングについて説明する。
図２４は、ラベリング処理部によりラベリングを説明する図である。図２４（Ａ）は、ラベリング処理部２７７に入力されるバイナリ画像の一部を示しており、図２４（Ｂ）は、ラベリングされた状態を示しており、図２４（Ｃ）は、ラベリングした結果のバウンディングボックス領域情報を示す。
本実施形態のラベリング処理部２７７は、バイナリ画像における画素の連続性に基づき、各画素のラベリングを行う。本実施形態のラベリング処理部２７７は、４近傍での領域成長法により、ラベリングを行うものとした。
図２４の例では、図２４（Ａ）に示すバイナリ画像２４１に含まれる４つの白色の領域２４１ａ、２４１ｂ、２４１ｃ、２４１ｄのそれぞれについて、ラベリングされる。
そして、ラベリング処理部２７７は、図２４（Ｂ）に示すように、ラベリングされた領域２４１ａ、２４１ｂ、２４１ｃ、２４１ｄのそれぞれのバウンディングボックスについて、バウンディングボックス領域情報を取得する。
具体的には、ラベリング処理部２７７は、バウンディングボックスの４つの頂点のうち、左上の頂点の座標と、バウンディングボックスの高さと幅を、バウンディングボックス領域情報として取得する。
図２４（Ｃ）は、領域２４１ａのバウンディングボックス領域情報２４１Ａを示している。図２４（Ｂ）において、領域２４１ａのバウンディングボックスは、矩形２４１Ｓである。したがって、バウンディングボックス領域情報２４１Ａは、矩形２４１Ｓの左上の頂点Ｐの座標と、矩形２４１Ｓの幅ｗｉｄｔｈと、高さｈｉｇｈｔを含む情報となる。尚、頂点Ｐの座標は、バイナリ画像２４１の左上の頂点を原点としたときの座標であっても良い。
尚、本実施形態では、４近傍の領域成長法により、ラベリングを行うものとしたが、これに限定されない。ラベリング処理部２７７は、８近傍の領域成長法によりラベリングを行っても良い。
次に、図２５を参照して、図２３のステップＳ２３０２における小矩形除去部２７８の処理について説明する。
図２５は、小矩形除去部の処理を説明するフローチャートである。本実施形態の小矩形除去部２７８は、全てのバウンディングボックス領域情報について、ステップＳ２５０２以降の処理を行ったか否かを判定する（ステップＳ２５０１）。
ステップＳ２５０１において、全てのバウンディングボックス領域情報について、該当する処理を行った場合、小矩形除去部２７８は、処理を終了する。
ステップＳ２５０１において、全てのバウンディングボックス領域情報について該当する処理を行っていない場合、小矩形除去部２７８は、ラベリング処理部２７７が取得したバウンディングボックス領域情報が示す領域の面積を算出する（ステップＳ２５０２）。
続いて、小矩形除去部２７８は、算出した面積が、所定の閾値以下であるか否を判定する（ステップＳ２５０３）。ここでは、ディスプレイ２３０における表示領域の面積の５％を所定の閾値とした。
ステップＳ２５０３において、面積が所定の閾値以下である場合、小矩形除去部２７８は、このバウンディングボックス領域情報が示す領域を、重要事項情報出力部２７４による重要事項情報の抽出対象から除外し（ステップＳ２５０４）、ステップＳ２５０１に戻る。
ステップＳ２５０３において、面積が所定の閾値より大きい場合、小矩形除去部２７８は、ステップＳ２５０１に戻る。つまり、面積が所定の閾値より大きいバウンディングボックスは、重要事項情報の抽出対象から除外しない。
本実施形態では、この処理によって、重要事項を含む領域を特定する画像とは考えられない小さい画像（例えば、点の画像等）をノイズとして除去することができる。
また、本実施形態では、所定の閾値をディスプレイ２３０の表示領域の５％としているが、これに限定されない。
所定の閾値は、例えば、ディスプレイ２３０の解像度に対するバウンディングボックス内のドット数の割合を示す値としても良い。また、ディスプレイ２３０の表示領域の面積は、ディスプレイ２３０の解像度（縦横のドット数）と、ディスプレイ２３０の大きさ（dot/inch）から算出されても良い。
また、所定の閾値は、ディスプレイ２３０の大きさに応じて設定されても良い。手書き入力される文字を囲うバウンディングボックスの大きさと、ディスプレイ２３０の大きさとの関係は、ディスプレイ２３０の大きさによって変化する。例えば、ディスプレイ２３０の表示領域の面積に対するバウンディングボックスの面積の割合は、ディスプレイ２３０の表示領域の面積が小さいほど大きくなり、表示領域の面積が大きいほど小さくなる可能性がある。
本実施形態では、ディスプレイ２３０の表示領域の面積に対する、バウンディングボックスの面積の割合を示す値を所定の閾値とすることで、ディスプレイ２３０の大きさに応じて、除去すべきバウンディングボックスの大きさを任意に変更できる。
次に、図２６を参照して、図２３のステップＳ２３０２における重なり判定部２７９の処理について説明する。
本実施形態の重なり判定部２７９は、小矩形除去部２７８により除去されていないバウンディングボックスのうち、重なりあっているバウンディングボックスから、一方のバウンディングボックスを選択し、除去する。以下の説明では、小矩形除去部２７８によって除去されずに残ったバウンディングボックスをバウンディングボックス群と呼ぶ。
図２６は、重なり判定部の処理を説明するフローチャートである。本実施形態の重なり判定部２７９は、変数ｉの値を０に設定する（ステップＳ２６０１）。続いて、重なり判定部２７９は、変数ｉの値が、Ｎ未満であるか否かを判定する（ステップＳ２６０２）。
尚、Ｎは整数であり、小矩形除去部２７８によって除去されずに残ったバウンディングボックス群に含まれるバウンディングボックスの数を示す。言い換えれば、Ｎは、重なり判定部２７９による処理の対象となるバウンディングボックスの数である。
ステップＳ２６０２において、変数ｉの値がＮ未満でない場合、つまり、変数ｉの値がＮ以上である場合、重なり判定部２７９は、後述するステップＳ２６１１へ進む。
ステップＳ２６０２において、変数ｉの値がＮ未満である場合、重なり判定部２７９は、変数ｖの値を０に設定する（ステップＳ２６０３）。
続いて、重なり判定部２７９は、変数ｖの値が、Ｎ未満であるか否かを判定する（ステップＳ２６０４）。ステップＳ２６０４において、変数ｖの値がＮ未満でない場合、つまり、変数ｖの値がＮ以上である場合、重なり判定部２７９は、変数ｉの値に、ｉ＋１を設定し（ステップＳ２６０５）、ステップＳ２６０２に戻る。
ステップＳ２６０４において、変数ｖの値がＮ未満である場合、重なり判定部２７９は、バウンディングボックス群のうち、ｉ＋ｖ番目のバウンディングボックスの中心点が、ｉ番目のバウンディングボックス内に存在しているか否かを判定する（ステップＳ２６０６）。言い換えれば、重なり判定部２７９は、ｉ番目のバウンディングボックス内に、ｉ＋ｖ番目のバウンディングボックスが重なっているか否かを判定している。
また、例えば、ｉ番目のバウンディングボックスは、ディスプレイ２３０に表示された表示画像のうち、特定の属性情報が設定された画像に外接する矩形群に含まれる、第一の矩形である。また、例えば、ｉ＋ｖ番目のバウンディングボックスは、ディスプレイ２３０に表示された表示画像のうち、特定の属性情報が設定された画像に外接する矩形群に含まれる、第二の矩形である。
ステップＳ２６０６において、中心点がｉ番目のバウンディングボックス内に存在しない場合、重なり判定部２７９は、後述するステップＳ２６１０へ進む。中心点がｉ番目のバウンディングボックス内に存在しない場合とは、ｉ番目のバウンディングボックスとｉ＋ｖ番目のバウンディングボックスとが、重なっていない場合や、一部が重なっている場合等である。
このように、本重なり判定部２７９は、ステップＳ２６０６において、ｉ番目とｉ＋ｖ番目のバウンディングボックスの中心点の位置に応じて、ｉ＋ｖ番目のバウンディングボックスを、重要事項情報出力部２７４による情報の抽出対象に指定するか否かを判定している。
ステップＳ２６０６において、中心点がｉ番目のバウンディングボックス内に存在する場合、重なり判定部２７９は、ｉ＋ｖ番目のバウンディングボックスの面積が、ｉ番目のバウンディングボックスの面積よりも小さいか否かを判定する（ステップＳ２６０７）。
言い換えれば、重なり判定部２７９は、ｉ番目のバウンディングボックスと、ｉ＋ｖ番目のバウンディングボックスとが重なっている領域の大きさの度合いを判定している。
ステップＳ２６０７において、面積が小さくない場合、つまり、ｉ＋ｖ番目のバウンディングボックスが、ｉ番目のバウンディングボックスの面積以上である場合、重なり判定部２７９は、後述するステップＳ２６１０へ進む。
ｉ＋ｖ番目のバウンディングボックスが、ｉ番目のバウンディングボックスの面積以上の場合、仮に、ｉ＋ｖ番目のバウンディングボックスの中心点と、ｉ番目のバウンディングボックスの中心点とが重なっていたとしても、ｉ＋ｖ番目のバウンディングボックスには、ｉ番目のバウンディングボックスと重ならない領域が存在することを示している。このため、本実施形態では、ｉ＋ｖ番目のバウンディングボックスをバウンディングボックス群から除去しない。
ステップＳ２６０７において、ｉ＋ｖ番目のバウンディングボックスの面積が、ｉ番目のバウンディングボックスの面積より小さい場合、重なり判定部２７９は、ｉ＋ｖ番目のバウンディングボックスを重要事項情報の抽出対象から除去する（ステップＳ２６０８）。
ｉ＋ｖ番目のバウンディングボックスの面積が、ｉ番目のバウンディングボックスの面積より小さい場合、ｉ＋ｖ番目のバウンディングボックスの全領域が、ｉ番目のバウンディングボックスに重なる可能性があることを示している。このため、本実施形態では、ｉ＋ｖ番目のバウンディングボックスを、バウンディングボックス群から除去する。
このように、本実施形態の重なり判定部２７９は、ステップＳ２６０７において、ｉ番目とｉ＋ｖ番目のバウンディングボックスの大きさに基づき、ｉ＋ｖ番目のバウンディングボックスを重要事項情報出力部２７４による情報の抽出対象に指定するか否かを判定している。
続いて、重なり判定部２７９は、Ｎの値をＮ－１に設定し（ステップＳ２６０９）、ｖの値をｖ＋１に設定して（ステップＳ２６１０）、ステップＳ２６０２に戻る。
ステップＳ２６０２において、ｉの値がＮ以上となった場合、重なり判定部２７９は、除去されていないバウンディングボックスを、重要事項情報を抽出する領域に指定し（ステップＳ２６１１）、処理を終了する。
以上の処理から、本実施形態の重なり判定部２７９は、バウンディングボックス領域情報が示すｉ番目とｉ＋ｖ番目のバウンディングボックスの位置、又は、位置及び大きさに基づき、情報の抽出対象とするバウンディングボックスを指定する矩形指定部である。また、本実施形態の重要事項情報出力部２７４は、重なり判定部２７９によって指定された矩形内の情報（画像データ）を出力する情報抽出部である。
尚、本実施形態では、バウンディングボックスの中心点が、他のバウンディングボックス内に含まれるか否かに応じて、バウンディングボックス同士が重なっているか否かを判定するものとした。
したがって、本実施形態では、バウンディングボックス同士が重なっているか否かを、各バウンディングボックスの頂点の位置に基づき判定する場合と比較して、簡易な処理とすることができる。
次に、図２７を参照して、本実施形態の重なり判定部２７９の処理について、さらに説明する。
図２７は、重なり判定部による処理を説明する図である。図２７（Ａ）は、バウンディングボックスが除去されない場合を示す図であり、図２７（Ｂ）は、バウンディングボックスが除去される場合を説明する第一の図であり、図２７（Ｃ）は、バウンディングボックスが除去される場合を説明する第二の図である。
図２７に示すバイナリ画像２８１には、バウンディングボックスＢ１～Ｂ７が含まれる。このバウンディングボックスＢ１～Ｂ７は、二値の画像であるバイナリ画像２８１において、所定の範囲の色の画像と対応する画素群に外接する外接矩形群である。また、バウンディングボックスＢ１～Ｂ７は、二値の画像であるバイナリ画像２８１において、所定の範囲の色の画像と対応する画素群に外接する外接矩形群のうち、ディスプレイ２３０の表示領域の面積に対するバウンディングボックスの面積の割合が、所定の閾値より大きい外接矩形群である。
図２７（Ａ）では、重なり判定部２７９により、バウンディングボックスＢ１がｉ番目のバウンディングボックスとして選択され、バウンディングボックスＢ２がｖ番目のバウンディングボックスとして選択された場合の処理について説明する。
この場合、重なり判定部２７９は、バウンディングボックスＢ２の中心点Ｒ２が、バウンディングボックスＢ１に含まれるか否かを判定する。図２７（Ａ）の場合、中心点Ｒ２は、バウンディングボックスＢ１に含まれない。したがって、重なり判定部２７９は、バウンディングボックスＢ２を、バウンディングボックス群から除去しない。
図２７（Ｂ）、（Ｃ）では、バウンディングボックスＢ１がｉ番目のバウンディングボックスとして選択され、バウンディングボックスＢ３がｖ番目のバウンディングボックスとして選択された場合の処理について説明する。
この場合、バウンディングボックスＢ３の中心点Ｒ３は、バウンディングボックスＢ１に含まれる。したがって、重なり判定部２７９は、バウンディングボックスＢ３の面積が、バウンディングボックスＢ１の面積より小さいか否かを判定する。
図２７（Ｂ）の例では、バウンディングボックスＢ３の面積は、バウンディングボックスＢ１の面積より小さい。したがって、重なり判定部２７９は、バウンディングボックスＢ３をバウンディングボックス群から除去する。
図２７（Ｃ）は、バイナリ画像２８１からバウンディングボックスＢ３が除去された状態を示している。
本実施形態では、除去されたバウンディングボックスＢ３内の画像は、バウンディングボックスＢ３を内包するバウンディングボックスＢ１の画像として扱われるようになる。
重なり判定部２７９で、バウンディングボックスＢ４～Ｂ７も、同様に、バウンディングボックス群から除去される。
したがって、バイナリ画像２８１において、重要事項情報を抽出する領域と特定されるバウンディングボックスは、バウンディングボックスＢ１とバウンディングボックスＢ２となる。
本実施形態では、このようにして、重要事項情報を抽出する領域を特定することで、利用者が意図した画像データを重要事項情報として抽出できる。
図２８は、抽出された重要事項情報について説明する図である。図２８（Ａ）は、ディスプレイ２３０の表示例を示す図であり、図２８（Ｂ）は、本実施形態を適用することで抽出される画像の一覧の例を示す図であり、図２８（Ｂ）は、本実施形態を適用しない場合に抽出される画像の一覧の例を示す図である。
図２８（Ａ）に示すように、ディスプレイ２３０には、特定の属性情報が設定されたストローク画像ＳＴ２１～ＳＴ２４が描画されている。このとき、ディスプレイ２３０に表示された画像は、重畳画像として保存される。
この重畳画像に対して、本実施形態の重要事項抽出部２６４による処理を適用した場合、
ストローク画像ＳＴ２２～ＳＴ２４は、ストローク画像ＳＴ２１が示す領域内の画像として扱われる。したがって、図２８（Ａ）において、重要事項情報として抽出されるのは、ストローク画像ＳＴ２１によって指定された領域内の画像Ｇａの画像データのみとなる。
よって、本実施形態では、重要事項抽出部２６４により抽出された重要事項情報の一覧として、図２８（Ｂ）に示すように、ストローク画像ＳＴ２２～ＳＴ２４を含む画像Ｇａのみが表示される。
これに対し、本実施形態を適用しない場合では、図２８（Ｃ）に示すように、画像Ｇａ以外にも、特定の属性情報が設定されたストローク画像ＳＴ２２～ＳＴ２４が抽出されることになり、重要事項情報の一覧に利用者が意図しない情報が含まれてしまう。
このように、本実施形態によれば、特定の属性情報が設定されたストローク画像によって指定される領域の中から、利用者が意図していると推定される領域を特定し、特定された領域内の画像データのみを抽出することができる。したがって、本実施形態によれば、利用者が意図した画像データを抽出することができる。
尚、本実施形態では、電子黒板２００に対して、利用者の手書きによって特定の属性情報のストローク画像を入力されることで、重要事項が含まれる領域が指定されるものとしたが、これに限定されない。
本実施形態では、例えば、電子黒板２００と接続されたＰＣ４００－２等から出力されて、電子黒板２００に入力される入力画像データにおいて、特定の属性情報の画像によって、重要事項が含まれる領域が指定されていても良い。この場合、属性検出部２７１は、重畳画像から特定の属性情報の色の画像を検出すれば良く、ノイズ除去部２７２、不要領域除去部２７３によるその後の処理も、上述した処理と同様である。
したがって、本実施形態では、利用者による手書き入力以外の方法で指定された領域内の画像データを、重要事項情報として抽出することができる。
（第二の実施形態）
以下に図面を参照して、第二の実施形態について説明する。第二の実施形態は、情報処理システムにおいて、重要事項抽出部をサーバ装置に設けた点が、第一の実施形態と相違する。よって、以下の第二の実施形態の説明では、第一の実施形態との相違点についてのみ説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。
図２９は、第二の実施形態の情報処理システムの有する各装置の機能構成を説明する図である。
本実施形態の情報処理システム１００Ａは、電子黒板２００Ａとサーバ装置３００Ａとを有する。
本実施形態の電子黒板２００Ａは、ページ記憶部２５０、表示制御部２６０、入力部２６１、集音部２６２、ページ処理部２６３、通信部２６５、カード読取部２６６、カード情報対応付け部２６６、属性設定部２６８、属性データベース２７０を有する。
本実施形態のサーバ装置３００Ａは、コンテンツデータベース３３０、重要事項データベース３４０、通信部３６１、音声認識部３６２、コンテンツ格納部３６３、重要事項抽出部２６４Ａ、重要事項格納部３６４を有する。
本実施形態の重要事項抽出部２６４Ａは、コンテンツデータベース３３０に格納されたＰＤＦデータに含まれるＰＮＧ形式の画像データから、重要事項情報を抽出する点のみ、第一の実施形態の重要事項抽出部２６４と相違する。
本実施形態において、サーバ装置３００Ａは、電子黒板２００から受信したコンテンツデータから、重要事項情報を抽出する。
以下に、図３０を参照して本実施形態の情報処理システム１００Ａの動作を説明する。図３０は、第二の実施形態の情報処理システムの動作を説明するシーケンス図である。
図３０のステップＳ３００１からステップＳ３００７までの処理は、図１５のステップＳ１５０１からステップＳ１５０７までの処理と同様であるから、説明を省略する。ステップＳ３０１７において、ページデータとＰＤＦデータとがページ記憶部２５０に格納されると、電子黒板２００Ａは、通信部２６５により、コンテンツデータを取得し（ステップＳ３００８）、サーバ装置３００へ送信する（ステップＳ３００９）。
サーバ装置３００Ａは、通信部３６１がコンテンツデータを受信すると（ステップＳ３０１０）、コンテンツ格納部３６３が受信したコンテンツデータをコンテンツデータベース３３０に格納させる（ステップＳ３０１１）。
続いて、重要事項抽出部２６４Ａは、コンテンツデータベース３３０に格納されたＰＤＦデータから、ＰＮＧ形式の画像データを抽出し（ステップＳ３０１２）、抽出した画像データから、重要事項情報を抽出する（ステップＳ３０１３）。
続いて、サーバ装置３００Ａは、重要事項格納部３６４により、抽出した重要事項情報を重要事項データベース３４０に格納する（ステップＳ３０１４）。続いて、サーバ装置３００Ａは、重要事項データベース３４０に格納した重要事項情報を読み出して（ステップＳ３０１５）、通信部３６１により電子黒板２００Ａへ送信させる（ステップＳ３０１６）。
電子黒板２００Ａは、通信部２６５が重要事項情報を受信すると、受信した重要事項情報の一覧を表示させる（ステップＳ３０１７）。
以上のように、本実施形態では、サーバ装置３００Ａにおいて重要事項情報の抽出を行うため、電子黒板２００Ａ側の処理負荷を軽減させることができる。
尚、本実施形態では、重要事項抽出部２６４Ａは、コンテンツデータベース３３０に格納されたＰＤＦデータに含まれるＰＮＧ形式の画像データから重要事項情報を抽出するものとしたが、これに限定されない。本実施形態の重要事項抽出部２６４Ａは、コンテンツデータベース３３０に格納された重畳画像データに基づき、重要事項情報を抽出しても良い。
尚、上述した情報処理システム１００Ａでは、サーバ装置３００Ａを一台のサーバ装置としたが、これに限定されない。情報処理システム１００Ａの有するサーバ装置３００Ａは複数台であっても良く、その場合、どのサーバ装置にどの機能やどのデータベースを備えさせても良い。さらに、本実施形態で説明する電子黒板２００Ａと、サーバ装置３００Ａとが接続された情報処理システム１００Ａのシステム構成は一例であり、用途や目的に応じて様々なシステム構成例があることは言うまでもない。
（第三の実施形態）
以下に図面を参照して、第三の実施形態について説明する。第三の実施形態は、情報処理システムにおいて、電子黒板の代わりに、画像投影装置を用いた点が、第一の実施形態と相違する。よって、以下の第三の実施形態の説明では、第一の実施形態との相違点についてのみ説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。
図３１は、第三の実施形態の情報処理システムを説明する図である。図３１に示す情報処理システム１００Ｂは、画像投影装置（プロジェクタ）７００とサーバ装置３００とを有する。
画像投影装置７００は、例えば、画像投影装置７００と接続された端末装置から入力された画像データを、スクリーン８００に投影する。スクリーン８００は、例えば、ホワイトボードや壁面等が代用されても良く、ディスプレイ２３０に相当するものとなる。
また、画像投影装置７００は、電子ペンや利用者の手等の動作を検出することで、スクリーン８００に対する手書き入力を検出し、スクリーン８００にストローク画像を投影させる。
また、画像投影装置７００は、例えば、スクリーン８００に表示された保存ボタン２８５が操作されると、スクリーン８００に投影されている画像の画像データを、重畳画像データとして取得し、サーバ装置３００へ送信する。画像投影装置７００からサーバ装置３００へ送信される画像データには、手書き入力されたストローク画像も含まれる。
また、本実施形態の画像投影装置７００は、電子黒板２００と同様に、取得した重畳画像データから重要事項情報の抽出を行う。
尚、画像投影装置７００は、例えば、保存ボタン２８５が操作された場合に、サーバ装置３００にページデータを送信する以外に、例えば、ＵＳＢメモリ等の可搬型の記録媒体にページデータを出力し、保存させても良い。
以上のように、本実施形態では、画像投影装置７００とサーバ装置３００のシステムにおいても、利用者が意図した画像データを抽出できる。
次に、図３２乃至図３４を参照して、上述した各実施形態の情報処理システムの変形例について説明する。
図３２は、情報処理システムの変形例を示す第一の図である。図３２の例では、電子黒板２００の代わりに、端末装置６００、画像投影装置７００Ａ、ペン動作検出装置８１０を有する。
端末装置６００は、画像投影装置７００Ａ及びペン動作検出装置８１０と有線で接続されている。
画像投影装置７００Ａは、端末装置６００により入力された画像データをスクリーン８００に投影させる。
ペン動作検出装置８１０は、電子ペン８２０と通信を行っており、スクリーン８００の近傍における電子ペン８２０の動作を検出する。具体的には、電子ペン８２０は、スクリーン８００上において、電子ペン８２０が示している点を示す座標情報を検出し、端末装置６００へ送信する。
端末装置６００は、ペン動作検出装置８１０から受信した座標情報に基づき、電子ペン８２０によって入力されるストローク画像の画像データを生成し、画像投影装置７００Ａによってストローク画像をスクリーン８００に描画させる。
また、端末装置６００は、画像投影装置７００Ａに投影させている背景画像と、電子ペン８２０によって入力されたストローク画像とを合成した重畳画像を示す重畳画像データを生成する。そして、端末装置６００は、重畳画像データから重要事項情報を抽出する。
図３３は、情報処理システムの変形例を示す第二の図である。図３３の例では、電子黒板２００の代わりに、端末装置６００とディスプレイ８００Ａと、ペン動作検出装置８１０とを有する。
ペン動作検出装置８１０は、ディスプレイ８００Ａの近傍に配置され、ディスプレイ８００Ａ上に、電子ペン８２０Ａが示している点を示す座標情報を検出し、端末装置６００へ送信する。尚、図３３の例では、電子ペン８２０Ａは、端末装置６００によってＵＳＢコネクタを介して充電されても良い。
端末装置６００は、ペン動作検出装置８１０から受信した座標情報に基づき、電子ペン８２０Ａによって入力されるストローク画像の画像データを生成し、ディスプレイ８００Ａに表示させる。
また、本実施形態の端末装置６００は、画像投影装置７００Ａに投影させている背景画像と、電子ペン８２０によって入力されたストローク画像とを合成した重畳画像を示す重畳画像データを生成する。そして、端末装置６００は、重畳画像データから重要事項情報を抽出する。
図３４は、情報処理システムの変形例を示す第三の図である。図３４の例では、電子黒板２００の代わりに、端末装置６００と、画像投影装置７００Ａとを有する。
端末装置６００は、電子ペン８２０Ｂと無線通信（Ｂｌｕｅｔｏｏｔｈ等）を行って、スクリーン８００上において電子ペン８２０Ｂが示す点の座標情報を受信する。そして、端末装置６００は、受信した座標情報に基づき、電子ペン８２０Ｂにより入力されるストローク画像の画像データを生成し、画像投影装置７００Ａにストローク画像を投影させる。
また、端末装置６００は、画像投影装置７００Ａに投影させている背景画像と、電子ペン８２０によって入力されたストローク画像とを合成した重畳画像を示す重畳画像データを生成する。そして、端末装置６００は、重畳画像データから重要事項情報を抽出する。
以上のように、上述した各実施形態は、様々なシステム構成において適用することができる。
また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたＡＳＩＣ(Application Specific Integrated Circuit)、ＤＳＰ（digital signal processor）、ＦＰＧＡ（Field Programmable Gate Array）、ＳＯＣ(System on a chip)、ＧＰＵ（Graphics Processing Unit）や従来の回路モジュール等のデバイスを含むものとする。
以上、各実施形態に基づき本発明の説明を行ってきたが、上記実施形態に示した要件に本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することができ、その応用形態に応じて適切に定めることができる。
１００、１００Ａ、１００Ｂ 情報処理システム
２００、２００Ａ 電子黒板
２３０ ディスプレイ
２５０ ページ記憶部
２６０ 表示制御部
２６１ 入力部
２６３ ページ処理部
２６４ 重要事項抽出部
２６５ 通信部
２６６ カード読取部
２６７ カード情報対応付け部
２６８ 属性設定部
２７０ 属性データベース
２７１ 属性検出部２７１
２７２ ノイズ除去部
２７３ 不要領域除去部
２７４ 重要事項情報出力部
２７５ 画像変換部
２７６ バイナリ画像生成部
２７７ ラベリング処理部
２７８ 小矩形除去部
２７９ 重なり判定部
３００、３００Ａ サーバ装置
３３０ コンテンツデータベース
３４０ 重要事項データベース
３６１ 通信部
３６２ 音声認識部
３６３ コンテンツ格納部
３６４ 重要事項格納部
特開２００３－２２２６９０号公報

Claims (9)

  1. 表示装置に表示された表示画像のうち、特定の属性情報が設定された画像に外接する矩形群について、矩形毎に、前記表示画像における矩形の位置と大きさを示す矩形領域情報を取得する領域情報取得部と、
    前記矩形毎の矩形領域情報に基づき、前記矩形群に含まれる第一の矩形と第二の矩形の位置、又は、前記第一の矩形と前記第二の矩形の位置及び大きさに基づき、前記矩形群から、情報を抽出する対象とする矩形を指定する矩形指定部と、
    前記指定された矩形に対応する矩形内の情報を抽出する情報抽出部と、を有し、
    前記矩形指定部は、
    前記第二の矩形の中心点が前記第一の矩形内に含まれない場合に、前記第一の矩形及び前記第二の矩形を、前記情報を抽出する対象に指定する、端末装置。
  2. 前記矩形指定部は、
    前記第二の矩形の中心点が前記第一の矩形内に含まれ、且つ、前記第二の矩形の面積が前記第一の矩形の面積以上である場合に、前記第一の矩形及び前記第二の矩形を、前記情報を抽出する対象に指定する、請求項１記載の端末装置。
  3. 前記特定の属性情報が設定された画像は、
    前記表示装置に対して入力されたストローク画像である、請求項１又は２記載の端末装置。
  4. 前記表示画像から、前記特定の属性情報が示す色を含む所定の範囲の色の画像を抽出した二値の画像を生成するバイナリ画像生成部と、
    前記二値の画像において、前記特定の属性情報が示す線幅以外の幅で描画された画像を除去するノイズ除去部と、を有し、
    前記矩形群は、
    前記ノイズ除去部による処理が行われた前記二値の画像における、前記所定の範囲の色の画像と対応する画素群に外接する外接矩形群のうち、前記表示装置における表示領域の面積に対する前記外接矩形の面積の割合が所定の閾値より大きい外接矩形群である、請求項１乃至３の何れか一項に記載の端末装置。
  5. 前記情報抽出部によって抽出された情報を、重要事項情報として前記表示装置に表示させる表示制御部を有する、請求項１乃至４の何れか一項に記載の端末装置。
  6. 前記表示画像は、前記表示装置の画面のキャプチャ画像である、請求項１乃至５の何れか一項に記載の端末装置。
  7. 端末装置と、情報処理装置とを有する情報処理システムであって、
    前記情報処理装置は、
    前記端末装置の表示装置に表示された表示画像のうち、特定の属性情報が設定された画像に外接する矩形群について、矩形毎に、前記表示画像における矩形の位置と大きさを示す矩形領域情報を取得する領域情報取得部と、
    前記矩形毎の矩形領域情報に基づき、前記矩形群に含まれる第一の矩形と第二の矩形の位置、又は、前記第一の矩形と前記第二の矩形の位置及び大きさに基づき、前記矩形群から、情報を抽出する対象とする矩形を指定する矩形指定部と、
    前記指定された矩形に対応する矩形内の情報を抽出する情報抽出部と、を有し、
    前記矩形指定部は、
    前記第二の矩形の中心点が前記第一の矩形内に含まれない場合に、前記第一の矩形及び前記第二の矩形を、前記情報を抽出する対象に指定する、情報処理システム。
  8. 端末装置による情報処理方法であって、前記端末装置が、
    表示装置に表示された表示画像のうち、特定の属性情報が設定された画像に外接する矩形群について、矩形毎に、前記表示画像における矩形の位置と大きさを示す矩形領域情報を取得し、
    前記矩形毎の矩形領域情報に基づき、前記矩形群に含まれる第一の矩形と第二の矩形の位置、又は、前記第一の矩形と前記第二の矩形の位置及び大きさに基づき、前記矩形群から、情報を抽出する対象とする矩形を指定し、
    前記指定された矩形に対応する矩形内の情報を抽出する、情報処理方法。
  9. 表示装置に表示された表示画像のうち、特定の属性情報が設定された画像に外接する矩形群について、矩形毎に、前記表示画像における矩形の位置と大きさを示す矩形領域情報を取得する処理と、
    前記矩形毎の矩形領域情報に基づき、前記矩形群に含まれる第一の矩形と第二の矩形の位置、又は、前記第一の矩形と前記第二の矩形の位置及び大きさに基づき、前記矩形群から、情報を抽出する対象とする矩形を指定する処理と、
    前記指定された矩形に対応する矩形内の情報を抽出する処理と、をコンピュータに実行させ、
    前記矩形を指定する処理は、
    前記第二の矩形の中心点が前記第一の矩形内に含まれない場合に、前記第一の矩形及び前記第二の矩形を、前記情報を抽出する対象に指定する、前記コンピュータに実行させるプログラム。
JP2017186707A 2017-09-27 2017-09-27 端末装置、情報処理システム、情報処理方法及びプログラム Active JP6996191B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017186707A JP6996191B2 (ja) 2017-09-27 2017-09-27 端末装置、情報処理システム、情報処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017186707A JP6996191B2 (ja) 2017-09-27 2017-09-27 端末装置、情報処理システム、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2019061553A JP2019061553A (ja) 2019-04-18
JP6996191B2 true JP6996191B2 (ja) 2022-01-17

Family

ID=66178624

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017186707A Active JP6996191B2 (ja) 2017-09-27 2017-09-27 端末装置、情報処理システム、情報処理方法及びプログラム

Country Status (1)

Country Link
JP (1) JP6996191B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008033393A (ja) 2006-07-26 2008-02-14 Hitachi Software Eng Co Ltd ダイジェスト作成装置、ダイジェスト作成方法、およびプログラム
JP2010271855A (ja) 2009-05-20 2010-12-02 Nippon Telegr & Teleph Corp <Ntt> 描画装置、描画方法、プログラムおよび記録媒体
JP2012151722A (ja) 2011-01-20 2012-08-09 Murata Mach Ltd 画像処理装置、画像処理システム、画像処理方法、および、プログラム
JP2015176483A (ja) 2014-03-17 2015-10-05 富士通株式会社 画像処理プログラム、画像処理方法、及び情報処理装置
JP2016045725A (ja) 2014-08-22 2016-04-04 株式会社リコー 表示装置、伝送システムおよび伝送方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008033393A (ja) 2006-07-26 2008-02-14 Hitachi Software Eng Co Ltd ダイジェスト作成装置、ダイジェスト作成方法、およびプログラム
JP2010271855A (ja) 2009-05-20 2010-12-02 Nippon Telegr & Teleph Corp <Ntt> 描画装置、描画方法、プログラムおよび記録媒体
JP2012151722A (ja) 2011-01-20 2012-08-09 Murata Mach Ltd 画像処理装置、画像処理システム、画像処理方法、および、プログラム
JP2015176483A (ja) 2014-03-17 2015-10-05 富士通株式会社 画像処理プログラム、画像処理方法、及び情報処理装置
JP2016045725A (ja) 2014-08-22 2016-04-04 株式会社リコー 表示装置、伝送システムおよび伝送方法

Also Published As

Publication number Publication date
JP2019061553A (ja) 2019-04-18

Similar Documents

Publication Publication Date Title
US10572779B2 (en) Electronic information board apparatus, information processing method, and computer program product
US10698560B2 (en) Organizing digital notes on a user interface
CN1276384C (zh) 视频流可分类符号分离的方法与系统
US9317124B2 (en) Command input by hand gestures captured from camera
US9405182B2 (en) Image processing device and image processing method
US9292186B2 (en) Note capture and recognition with manual assist
CN104102336A (zh) 提供非接触交互的便携式设备和方法
KR20100051648A (ko) 디지털 영상의 영역들을 조작하는 방법
US9542756B2 (en) Note recognition and management using multi-color channel non-marker detection
US20150220800A1 (en) Note capture, recognition, and management with hints on a user interface
JP5887264B2 (ja) 物体認識装置、方法、プログラム、および該ソフトウェアを格納したコンピュータ可読媒体
JP7009904B2 (ja) 端末装置、情報処理システム、情報処理方法及びプログラム
US10725653B2 (en) Image processing device, image processing system, and image processing method
JP2016099643A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP7155781B2 (ja) 情報処理装置及び情報処理プログラム
US20140247209A1 (en) Method, system, and apparatus for image projection
JP6996191B2 (ja) 端末装置、情報処理システム、情報処理方法及びプログラム
US10921977B2 (en) Information processing apparatus and information processing method
US10298907B2 (en) Method and system for rendering documents with depth camera for telepresence
CN109461203B (zh) 手势三维图像生成方法、装置、计算机设备及存储介质
JP6977408B2 (ja) 情報処理システム、端末装置、情報処理方法及び情報処理プログラム
JP4728540B2 (ja) 会議等支援用画像投影装置
Matulic et al. Smart ubiquitous projection: discovering surfaces for the projection of adaptive content
JP7279442B2 (ja) 表示装置、表示方法、表示プログラム
JP7331578B2 (ja) 表示装置、画像表示方法、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200707

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210707

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211129

R151 Written notification of patent or utility model registration

Ref document number: 6996191

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151