JP7159669B2 - Delivery device, program, delivery system - Google Patents

Delivery device, program, delivery system Download PDF

Info

Publication number
JP7159669B2
JP7159669B2 JP2018138042A JP2018138042A JP7159669B2 JP 7159669 B2 JP7159669 B2 JP 7159669B2 JP 2018138042 A JP2018138042 A JP 2018138042A JP 2018138042 A JP2018138042 A JP 2018138042A JP 7159669 B2 JP7159669 B2 JP 7159669B2
Authority
JP
Japan
Prior art keywords
drawn image
processing method
image
drawn
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018138042A
Other languages
Japanese (ja)
Other versions
JP2020016963A (en
Inventor
直孝 和泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2018138042A priority Critical patent/JP7159669B2/en
Publication of JP2020016963A publication Critical patent/JP2020016963A/en
Application granted granted Critical
Publication of JP7159669B2 publication Critical patent/JP7159669B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)

Description

本発明は、配信装置、プログラム、及び、配信システムに関する。 The present invention relates to a distribution device, program, and distribution system.

オフィス等で多機能な電子黒板が利用されるようになってきた。電子黒板は、接続されているパソコンが画面に表示する資料の共有、資料への手書き、Webページの表示、及び、他拠点の電子黒板との表示内容の共有等が可能である。また、他拠点との音声通話や音声の録音も可能である。電子黒板は会議に限らず、思考の整理、及び、大画面を利用した画像の制作などにも幅広く利用されている。 Multifunctional electronic blackboards have come to be used in offices and the like. The electronic blackboard can share materials displayed on the screen of a connected personal computer, handwrite on materials, display web pages, and share display contents with electronic blackboards at other sites. It is also possible to make voice calls and record voices with other bases. Electronic blackboards are widely used not only for meetings but also for organizing thoughts and creating images using large screens.

電子黒板が表示した画面はスクリーンショットとしてファイルに保存することができ、電子黒板が再度、表示したり印刷したりできるだけでなく、電子メール等で配信できるため、議事録の作成や配信も容易になる。 The screen displayed by the electronic blackboard can be saved in a file as a screenshot, and the electronic blackboard can not only be displayed or printed again, but also can be distributed by e-mail, etc., making it easy to create and distribute meeting minutes. Become.

例えば、スクリーンショットで生成された画像データを取り込んだPCが画像データに対しノイズ除去等の画像処理や、所定のデータ形式に変換する処理を行い、会議に参加したメンバーに対して処理後の画像データを配信するという技術が開示されている(例えば、特許文献1参照。)。 For example, a PC that has captured image data generated by a screenshot performs image processing such as noise removal on the image data, or processing to convert it to a predetermined data format, and sends the processed image to the members who participated in the meeting. A technique of distributing data has been disclosed (see, for example, Patent Document 1).

しかしながら、従来の技術では、筆記者の要望に応じた処理を画像データに対し行うことができないという問題がある。例えば、手書きで引いた線(描画像)の上側や枠(描画像)で囲った部分に特定の処理(強調や削除など)を行ったり、手書きされた描画像によって配信方法や配信先を指定したりするといったことが困難である。 However, the conventional technique has a problem that it is impossible to process image data according to the writer's request. For example, specific processing (emphasis, deletion, etc.) can be performed on the upper side of a hand-drawn line (drawing image) or the part surrounded by a frame (drawing image), or the delivery method and delivery destination can be specified based on the handwritten drawing image. It is difficult to do

本発明は、上記課題に鑑み、筆記者の要望に応じた処理を画像データに対し行うことができる配信装置を提供することを目的とする。 SUMMARY OF THE INVENTION It is an object of the present invention to provide a delivery apparatus capable of performing processing on image data in accordance with a writer's request.

上記課題に鑑み、本発明は、電子黒板から送信された画像データを配信する配信装置であって、前記画像データ及び前記画像データに書き込まれた描画像の色情報を受信する受信手段と、前記色情報に基づいて前記画像データから前記描画像を検出する描画像検出手段と、前記描画像検出手段が検出した前記描画像に基づいて前記画像データに対する加工方法を決定する加工方法決定手段と、前記描画像検出手段が検出した前記描画像に基づいて、前記画像データにおいて加工対象となるオブジェクトを決定し、前記加工方法決定手段が決定した加工方法で前記オブジェクトを加工する加工手段と、前記加工手段により前記オブジェクトが加工された前記画像データを配信先に配信する配信手段と、前記描画像検出手段が検出した前記描画像の場所を特定する場所特定手段と前記描画像の色、前記描画像の形状、及び、前記描画像の場所に対応付けられた前記オブジェクトの加工方法と共に、前記描画像の色、前記描画像の形状、及び、前記描画像の場所に前記オブジェクトの前記配信先が対応付けられている加工方法記憶部と、を有し、前記加工方法決定手段は、前記描画像の色、前記描画像の形状、及び、前記描画像の場所に対応付けられている前記オブジェクトの加工方法を前記加工方法記憶部から取得し、前記配信手段は、前記加工方法記憶部において、前記描画像の色、前記描画像の形状、及び、前記描画像の場所に対応付けられている前記配信先に前記オブジェクトが加工された前記画像データを配信することを特徴とする配信装置を提供する。 In view of the above problems, the present invention provides a distribution apparatus for distributing image data transmitted from an electronic blackboard, comprising: receiving means for receiving the image data and color information of a drawn image written in the image data; a drawn image detecting means for detecting the drawn image from the image data based on color information; a processing method determining means for determining a processing method for the image data based on the drawn image detected by the drawn image detecting means; processing means for determining an object to be processed in the image data based on the drawn image detected by the drawn image detecting means, and processing the object by the processing method determined by the processing method determining means; distribution means for distributing the image data in which the object has been processed by means to a distribution destination ; location specifying means for specifying the location of the drawn image detected by the drawn image detection means ; The shape of the image and the processing method of the object associated with the location of the drawn image, the color of the drawn image, the shape of the drawn image, and the distribution destination of the object at the location of the drawn image. and a processing method storage section associated with the processing method determining means, wherein the processing method determining means stores the color of the drawn image, the shape of the drawn image, and the shape of the object associated with the location of the drawn image. The processing method is acquired from the processing method storage unit, and the distributing unit associates the color of the drawn image, the shape of the drawn image, and the location of the drawn image with the processing method storage unit. To provide a distribution device characterized by distributing the image data in which the object is processed to a distribution destination .

筆記者の要望に応じた処理を画像データに対し行うことができる配信装置を提供することができる。 It is possible to provide a distribution device that can process image data according to the writer's request.

本実施形態の配信システムの動作の概略を説明する図の一例である。It is an example of the figure explaining the outline of operation|movement of the delivery system of this embodiment. 配信システムの概略構成図の一例である。1 is an example of a schematic configuration diagram of a distribution system; FIG. コンピュータシステムの一例のハードウェア構成図である。1 is a hardware configuration diagram of an example of a computer system; FIG. 電子黒板のハードウェア構成図の一例である。It is an example of the hardware block diagram of an electronic blackboard. 配信システムが有する電子黒板、メールサーバ、及び、配信サーバの機能をブロック状に示す機能ブロック図の一例である。FIG. 2 is an example of a functional block diagram showing functions of an electronic blackboard, a mail server, and a distribution server included in the distribution system in block form; ワークフロー定義と対応付けられる描画像属性情報の登録方法を説明する図の一例である。FIG. 10 is a diagram illustrating an example of a method of registering drawn image attribute information associated with a workflow definition; ワークフロー定義登録画面の一例を示す図である。FIG. 10 is a diagram showing an example of a workflow definition registration screen; 描画像の検出について説明する図の一例である。FIG. 10 is an example of a diagram for explaining detection of a drawn image; 描画像の形状の特定方法を説明する図の一例である。It is an example of the figure explaining the identification method of the shape of a drawn image. 描画像の場所判断方法を説明する図の一例である。It is an example of the figure explaining the location determination method of a drawn image. 部分カラーという加工方法を説明する図の一例である。It is an example of the figure explaining the processing method called a partial color. 塗りつぶしという加工方法を説明する図の一例である。It is an example of the figure explaining the processing method called fill-out. 配信システムの全体的な動作を説明するシーケンス図の一例である。FIG. 10 is an example of a sequence diagram explaining the overall operation of the distribution system;

以下、本発明を実施するための形態について図面を参照しながら説明する。 EMBODIMENT OF THE INVENTION Hereinafter, it demonstrates, referring drawings for the form for implementing this invention.

<配信システムの動作の概略>
図1は、本実施形態の配信システムの動作の概略を説明する図の一例である。ユーザは電子黒板2に対し任意に手書きする。電子黒板2にはPC(Personal Computer)などから送信された背景画像が表示されていてもよいし、いなくてもよい。
<Overview of distribution system operation>
FIG. 1 is an example of a diagram for explaining the outline of the operation of the delivery system of this embodiment. The user arbitrarily handwrites on the electronic blackboard 2 . A background image transmitted from a PC (Personal Computer) or the like may or may not be displayed on the electronic blackboard 2 .

(1)ユーザがスクリーンショットで作成した画像データを電子黒板2は配信サーバ40に送信する。画像データにはユーザが描画像301を手書きしており、画像データと共にユーザが描画像301の手書きした色のカラーリスト(各色のRGB値)が送信される。 (1) The electronic blackboard 2 transmits the image data created by the user as a screen shot to the distribution server 40 . In the image data, the drawn image 301 is handwritten by the user, and a color list (RGB values of each color) of colors handwritten in the drawn image 301 by the user is transmitted together with the image data.

(2)配信サーバ40では、予め描画像属性情報がワークフロー定義と対応付けられている。例えば、
描画像属性情報:色(赤)+形状(下線)+場所(どこでも)
ワークフロー定義: 楷書化 + メール送信
のごとくである。これは、描画像301が赤で下線の形状であればどこに手書きされていても下線の部分(下線の上方向のオブジェクト)を楷書化してメールで送信するという処理を行うことを意味している。
(2) In the distribution server 40, the drawn image attribute information is associated with the workflow definition in advance. for example,
Drawing image attribute information: color (red) + shape (underline) + location (anywhere)
Workflow definition: It's like formatting + email transmission. This means that if the drawn image 301 is red and has an underlined shape, the underlined portion (the object above the underline) is printed in block form and sent by e-mail regardless of where the handwriting is. .

このため、配信サーバ40は描画像301を画像データから検出する。そして、この描画像301から描画像属性情報を検出する。まず、ユーザが手書きした色のRGB値に基づいて描画像301を取得できる。ここでは「赤」がRGB値から特定されたものとする。次に、配信サーバ40は描画像301の形状を解析して例えば「下線」を検出する。描画像301は1つとは限らないので、各描画像301がそれぞれ予め登録されている形状であるかどうかを判断する。また、配信サーバ40は描画像301の場所を特定する。このように、描画像301の色、形状、及び、場所が描画像属性情報となる。 Therefore, the distribution server 40 detects the drawn image 301 from the image data. Then, drawn image attribute information is detected from the drawn image 301 . First, a drawing 301 can be obtained based on the RGB values of the colors handwritten by the user. Here, it is assumed that "red" is specified from the RGB values. Next, the distribution server 40 analyzes the shape of the drawn image 301 and detects, for example, an "underline". Since the number of drawn images 301 is not limited to one, it is determined whether or not each drawn image 301 has a shape registered in advance. Also, the distribution server 40 identifies the location of the drawn image 301 . Thus, the color, shape, and location of the drawn image 301 are drawn image attribute information.

(3)配信サーバ40は描画像属性情報に対応付けられたワークフロー定義を実行する。例えば、ワークフロー定義が「楷書化 + メール送信」の場合、描画像301の上側のオブジェクト(例えば文字)を楷書化する。図1(b)では、「キゲン」という文字が文字認識され、更に漢字「期限」に変換されている。配信サーバ40は画像データの「キゲン」を「期限」に置き換えて、電子メールで送信する。 (3) The distribution server 40 executes the workflow definition associated with the drawn image attribute information. For example, if the workflow definition is "formatting + mail transmission", the upper object (for example, characters) of the drawn image 301 is formatted. In FIG. 1(b), the character "kigen" is recognized and further converted into the kanji character "deadline". The distribution server 40 replaces the ``deadline'' of the image data with the ``deadline'' and sends it by e-mail.

このように、ユーザが手書きした描画像301に応じて配信サーバ40がワークフローを実行できる。ユーザは任意の描画像属性情報及び任意のワークフロー定義を登録し、描画像属性情報と任意のワークフロー定義を対応付けることができるので、ユーザが種々の描画像301を手書きすることで、配信サーバ40はユーザの細かな要望に応じた処理を画像データに対し行い、ユーザが描画像301で指定した配信先に送信することができる。 In this way, the distribution server 40 can execute the workflow according to the drawn image 301 handwritten by the user. The user can register arbitrary drawn image attribute information and arbitrary workflow definition, and associate the drawn image attribute information with arbitrary workflow definition. The image data can be processed according to the user's detailed request, and can be transmitted to the distribution destination designated by the user in the drawn image 301 .

なお、ワークフローの実行に必ずしも色と形状と場所の全てが必要ではなく、色のみ、色と場所のみ、又は、色と形状のみでも配信サーバ40はワークフローを実行できる。色のみのワークフローとは、カラーリストで検出した描画像は例えば下線に予め決まっており、下線の近くのオブジェクトを色で決まる加工方法で加工するようなワークフローである。 All of the colors, shapes, and locations are not necessarily required to execute the workflow, and the delivery server 40 can execute the workflow using only colors, colors and locations, or only colors and shapes. A color-only workflow is a workflow in which the drawn image detected by the color list is pre-determined, for example, as an underline, and the object near the underline is processed by a processing method determined by the color.

<用語について>
ワークフローとは、画像データなどの電子データに対し実行される1以上の処理であり、各処理の順番が決まっている場合が多い。複数の処理が実行されることまでは必要なく、1つ以上の処理を含んでいればよい。また、ワークフローと呼ばれていなくてもよく、例えば、連携処理、連続処理と呼ばれていてもよい。
<Terms>
A workflow is one or more processes performed on electronic data such as image data, and the order of each process is often determined. It is not necessary that multiple processes are executed, and it is sufficient that one or more processes are included. Also, it does not have to be called a workflow, and may be called, for example, cooperative processing or continuous processing.

配信とは情報を関係者又は関係機関に配ることをいう。配信先は装置でも人でもよい。 Distribution refers to distributing information to related parties or related organizations. The delivery destination may be a device or a person.

描画像の色情報とは描画像の色を特定するための情報である。描画像は画像データの一部なので、色情報は画像データの画素値を特定する情報になる。本実施形態ではカラーリストやRGB値という用語で説明される。 The color information of the drawn image is information for specifying the color of the drawn image. Since the drawn image is part of the image data, the color information is information specifying the pixel values of the image data. In the present embodiment, the terms "color list" and "RGB value" will be used.

加工とは工作を加えることをいう。本実施形態では画像データの加工であるため、画像処理又は編集と称してもよい。 Machining means adding work. In the present embodiment, it is processing of image data, so it may be called image processing or editing.

<システム構成例>
図2は、本実施例の配信システム100の概略構成図の一例である。配信システム100は、ネットワークNを介して接続されたメールサーバ20、配信サーバ40、電子黒板2、及び、配信先装置60を有する。
<System configuration example>
FIG. 2 is an example of a schematic configuration diagram of the distribution system 100 of this embodiment. The delivery system 100 has a mail server 20, a delivery server 40, an electronic blackboard 2, and a delivery destination device 60, which are connected via a network N.

ネットワークNは、配信サーバ40、電子黒板2又は配信先装置60が設置されている拠点などに構築されているLAN、LANをインターネットに接続するプロバイダのプロバイダネットワーク、及び、回線事業者が提供する回線等により構築されている。ネットワークNは社内ネットワークのみでも、インターネットを含んでもよい。この他、VPN(Virtual Private Network)や広域イーサネット(登録商標)が含まれていてもよい。ネットワークNは有線又は無線のどちらで構築されてもよく、また、有線と無線が組み合わされていてもよい。また、3G、LTE(Long Term Evolution)、4Gなどの携帯電話網により接続される場合、LANはなくてもよい。 The network N includes a LAN constructed at a site where the distribution server 40, the electronic blackboard 2 or the distribution destination device 60 is installed, a provider network of a provider that connects the LAN to the Internet, and a line provided by a line operator. etc. The network N may be a corporate network only or may include the Internet. In addition, VPN (Virtual Private Network) and Wide Area Ethernet (registered trademark) may be included. The network N may be constructed as either wired or wireless, or may be a combination of wired and wireless. Also, when connecting via a mobile phone network such as 3G, LTE (Long Term Evolution), or 4G, a LAN may be omitted.

電子黒板2は少なくともタッチパネルを有しておりユーザが描いたストロークを点の座標として取り込んで大型のディスプレイに表示する。何らかの意味をもつ1つ以上のストロークの集まりが描画像である。この他、PCと接続されPCが表示する画面を電子黒板2が表示する機能、電子黒板2が表示するPCの画面と描画像を保存する機能、描画像を遠隔地にある他の電子黒板2と共有する機能などを有している。 The electronic blackboard 2 has at least a touch panel, takes in the strokes drawn by the user as point coordinates, and displays them on a large display. A drawn image is a collection of one or more strokes that have some meaning. In addition, the electronic blackboard 2 is connected to a PC and displays a screen displayed by the PC, a function to save the PC screen displayed by the electronic blackboard 2 and a drawn image, and a function to save the drawn image to another electronic blackboard 2 at a remote location. It has functions such as sharing with

電子黒板2には、SMTP(Send Mail Transfer Protocol)サーバのIPアドレスとポート番号が設定されている。電子黒板2が送信する電子メールはいったんこのSMTPサーバに送信され、SMTPサーバが宛先のメールアドレスのドメインから特定したメールサーバ20に電子メールを転送する。 An IP address and a port number of an SMTP (Send Mail Transfer Protocol) server are set on the electronic blackboard 2 . The electronic mail sent by the electronic blackboard 2 is once sent to this SMTP server, and the SMTP server transfers the electronic mail to the mail server 20 specified from the domain of the destination mail address.

メールサーバ20は、少なくとも電子メールの受信側の機能を有する電子メールのためのサーバである。受信側の機能としてはPOP(Post Office Protocol )というプロトコルが知られている。現在使われているバージョンは3なのでPOP3と呼ばれる。また、IMAPというプロトコルも知られている。両者の違いは電子メールを保管する場所であり、POP3では受信端末側(本実施例では配信サーバ40)が電子メールを受信して保管するが、IMAPではメールサーバ20が電子メールを保管する。本実施形態ではどちらのプロトコルを採用しても良いが、説明の便宜上、POP3を前提にして説明する。 The mail server 20 is a server for e-mail having at least the function of receiving e-mail. A protocol called POP (Post Office Protocol) is known as a function on the receiving side. The version currently in use is 3, so it is called POP3. A protocol called IMAP is also known. The difference between the two is the place where the e-mail is stored. In POP3, the receiving terminal side (distribution server 40 in this embodiment) receives and stores the e-mail, but in IMAP, the mail server 20 stores the e-mail. Either protocol may be adopted in this embodiment, but for convenience of explanation, POP3 will be assumed.

メールサーバ20には電子黒板2から直接、又は、SMTPというプロトコルで1つ以上のSMTPサーバから転送された電子メールが蓄積される。電子黒板2は配信サーバ40のメールアドレスを宛先にして電子メールを送信するが、SMTPサーバはメールアドレスをDNSサーバでPOP3サーバ(本実施形態のメールサーバ20)のIPアドレスに変換して、このPOP3サーバに転送する。一般にはいくつかのルーティングを経て配信サーバ40に設定されたIPアドレスを有するメールサーバ20に到達する。配信サーバ40は予め設定されているユーザIDとパスワードをメールサーバ20に送信して、認証が成立すると自機宛の電子メールをメールサーバ20から取得する。 The mail server 20 stores electronic mail directly from the electronic whiteboard 2 or transferred from one or more SMTP servers using a protocol called SMTP. The electronic blackboard 2 sends an e-mail addressed to the mail address of the distribution server 40, but the SMTP server converts the mail address into the IP address of the POP3 server (mail server 20 of the present embodiment) using the DNS server. Transfer to POP3 server. Generally, the mail reaches the mail server 20 having the IP address set in the distribution server 40 through several routings. The distribution server 40 transmits a preset user ID and password to the mail server 20, and acquires an e-mail addressed to itself from the mail server 20 when authentication is established.

配信サーバ40は、画像データの配信処理を行う情報処理装置である(配信装置の一例)。配信サーバ40はワークフロー定義にしたがって、メールサーバ20から受信した画像データをOCR(Optical Character Reader)処理したり、PDFに変換したりするなどして配信先装置60に送信する。 The distribution server 40 is an information processing device that performs image data distribution processing (an example of a distribution device). The distribution server 40 transmits the image data received from the mail server 20 to the distribution destination device 60 after processing the image data received from the mail server 20 by OCR (Optical Character Reader) processing, converting to PDF, etc., according to the workflow definition.

配信サーバ40には、POP3サーバ又はIMAPサーバとしてのメールサーバ20のIPアドレスとポート番号が設定されている。また、認証用のユーザID(アカウント)とパスワードも設定されている。配信サーバ40が所定のタイミングでメールサーバ20にアクセスすると、認証の成立により配信サーバ40のメールアドレスを宛先とする電子メールを受信することができる。 The distribution server 40 is set with the IP address and port number of the mail server 20 as a POP3 server or an IMAP server. A user ID (account) and password for authentication are also set. When the distribution server 40 accesses the mail server 20 at a predetermined timing, it is possible to receive e-mail addressed to the mail address of the distribution server 40 due to the establishment of authentication.

なお、配信サーバ40を複合機が兼ねることができる。複合機の「複合」とは、プリント、FAX送受信、原稿のスキャン、及び、コピーなどの複数の機能を有することを意味するが、本実施形態では複合機が複数の機能を有することは必要でない。配信サーバ40を兼ねる複合機は、プリンター、印刷装置、ファクシミリ装置、又はスキャナ装置と呼ばれていてもよい。 Note that the distribution server 40 can also be a multi-function device. The term "multifunction" of a multifunction device means having multiple functions such as printing, fax transmission/reception, document scanning, and copying, but in this embodiment, it is not necessary for the multifunction device to have multiple functions. . A multi-function device that also serves as the distribution server 40 may be called a printer, a printing device, a facsimile device, or a scanner device.

配信サーバ40が複合機の場合、画像データの入力手段(スキャナ)として使われてもよい。この場合、スキャナがスキャンした原稿に用いられている手書きの色がユーザにより複合機に入力される。これにより、電子黒板2が送信した画像データと同様の処理が可能になる。 If the distribution server 40 is a multi-function machine, it may be used as an image data input means (scanner). In this case, the user inputs handwritten colors used in the document scanned by the scanner to the multifunction device. As a result, the same processing as the image data transmitted by the electronic whiteboard 2 can be performed.

配信先装置60は、配信システム100において配信サーバ40が処理した画像データが送信される配信先の装置である。配信先の装置の一例として、クライアントPC60a、タブレット端末60b、及び、サーバ60cが図示されているが配信先はこれらに限られず、例えばネットワークストレージなどでもよい。記憶手段と通信手段を有する装置であれば配信先装置60となりうる。クライアントPC60aが配信先装置60の場合、配信サーバ40はワークフロー定義に設定されている配信先フォルダにSMB(Server Message Block)などのプロトコルで画像データを送信する。タブレット端末60bが配信先装置60の場合、配信サーバ40はワークフロー定義に設定されているメールアドレスを宛先にして画像データを送信する。サーバ60cが配信先装置60の場合、配信サーバ40はワークフロー定義に設定されているサーバのIPアドレスに、HTTP、FTP(File Transfer Protocol)、又はWebDAV等の通信プロトコルで画像データを送信する。なお、配信先装置60と配信方法の組み合わせなどは一例に過ぎない。 The delivery destination device 60 is a delivery destination device to which the image data processed by the delivery server 40 is transmitted in the delivery system 100 . A client PC 60a, a tablet terminal 60b, and a server 60c are illustrated as examples of delivery destination devices, but the delivery destination is not limited to these, and may be, for example, a network storage. Any device having storage means and communication means can serve as the delivery destination device 60 . When the client PC 60a is the delivery destination device 60, the delivery server 40 transmits the image data to the delivery destination folder set in the workflow definition using a protocol such as SMB (Server Message Block). When the tablet terminal 60b is the delivery destination device 60, the delivery server 40 sends the image data to the mail address set in the workflow definition. When the server 60c is the delivery destination device 60, the delivery server 40 transmits the image data to the IP address of the server set in the workflow definition using a communication protocol such as HTTP, FTP (File Transfer Protocol), or WebDAV. Note that the combination of the delivery destination device 60 and the delivery method is merely an example.

なお、PC60は、ワークフロー定義に基づく画像データの加工結果をユーザが確認するための情報処理装置としても使用される。同様の確認は電子黒板2においても可能である。 It should be noted that the PC 60 is also used as an information processing device for the user to check the processing result of the image data based on the workflow definition. Similar confirmation is also possible on the electronic blackboard 2 .

<ハードウェア構成>
<<配信サーバ、メールサーバのハードウェア構成例>>
配信サーバ40及びメールサーバ20は、例えば図3に示すハードウェア構成のコンピュータシステムにより実現される。図3は本実施形態に係るコンピュータシステム200の一例のハードウェア構成図である。
<Hardware configuration>
<<Example of Hardware Configuration of Distribution Server and Mail Server>>
The distribution server 40 and the mail server 20 are implemented by a computer system having the hardware configuration shown in FIG. 3, for example. FIG. 3 is a hardware configuration diagram of an example of the computer system 200 according to this embodiment.

図3に示したコンピュータシステム200は、入力装置201、表示装置202、外部I/F203、RAM(Random Access Memory)204、ROM(Read Only Memory)205、CPU(Central Processing Unit)206、通信I/F207、及びHDD(Hard Disk Drive)208などを備え、それぞれがバスBで相互に接続されている。 The computer system 200 shown in FIG. F 207 , HDD (Hard Disk Drive) 208 , etc., are connected to each other via a bus B, respectively.

入力装置201はキーボードやマウス、タッチパネルなどを含み、ユーザが各操作信号を入力するのに用いられる。表示装置202はディスプレイなどを含み、コンピュータシステム200による加工結果を表示する。 The input device 201 includes a keyboard, mouse, touch panel, etc., and is used by the user to input various operation signals. The display device 202 includes a display and the like, and displays the processing result by the computer system 200 .

通信I/F207はコンピュータシステム200を社内ネットワーク及びインターネット等に接続させるインタフェースである。これにより、コンピュータシステム200は通信I/F207を介してデータ通信を行うことができる。 A communication I/F 207 is an interface that connects the computer system 200 to an in-house network, the Internet, and the like. Thereby, the computer system 200 can perform data communication via the communication I/F 207 .

HDD208はプログラムやデータを格納している不揮発性の記憶装置である。格納されるプログラムやデータには、例えばコンピュータシステム200全体を制御する基本ソフトウェアであるOS(Operating System)や、OS上において各種機能を提供するアプリケーションソフトウェアなどがある。HDD208は格納しているプログラムやデータ
を所定のファイルシステム及び/又はDB(データベース)により管理している。
The HDD 208 is a non-volatile storage device that stores programs and data. The stored programs and data include, for example, an OS (Operating System), which is basic software that controls the entire computer system 200, and application software that provides various functions on the OS. The HDD 208 manages stored programs and data using a predetermined file system and/or DB (database).

外部I/F203は、外部装置とのインタフェースである。外部装置には、記録媒体203aなどがある。これにより、コンピュータシステム200は外部I/F203を介して記録媒体203aの読み取り及び/又は書き込みを行うことができる。記録媒体203aにはフレキシブルディスク、CD(Compact Disk)、DVD(Digital Versatile Disk)、SDメモリカード(SD Memory card)、USBメモリ(Universal Serial Bus memory)などがある。 An external I/F 203 is an interface with an external device. The external device includes a recording medium 203a and the like. Thereby, the computer system 200 can read and/or write the recording medium 203 a via the external I/F 203 . The recording medium 203a includes a flexible disk, a CD (Compact Disk), a DVD (Digital Versatile Disk), an SD memory card, a USB memory (Universal Serial Bus memory), and the like.

ROM205は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリ(記憶装置)である。ROM205には、コンピュータシステム200の起動時に実行されるBIOS(Basic Input/Output System)、OS設定、及びネットワーク設定などのプログラムやデータが格納されている。RAM204は、プログラムやデータを一時保持する揮発性の半導体メモリ(記憶装置)である。 The ROM 205 is a non-volatile semiconductor memory (storage device) that can retain programs and data even when power is turned off. The ROM 205 stores programs and data such as a BIOS (Basic Input/Output System) executed when the computer system 200 is started, OS settings, and network settings. A RAM 204 is a volatile semiconductor memory (storage device) that temporarily holds programs and data.

CPU206は、ROM205やHDD208などの記憶装置からプログラムやデータをRAM204上に読み出し、処理を実行することで、コンピュータシステム200全体の制御や機能を実現する演算装置である。 The CPU 206 is an arithmetic unit that realizes control and functions of the entire computer system 200 by reading programs and data from storage devices such as the ROM 205 and the HDD 208 onto the RAM 204 and executing processing.

なお、メールサーバ20及び配信サーバ40はクラウドコンピューティングに対応していてよい。クラウドコンピューティングとは、特定ハードウェア資源が意識されずにネットワーク上のリソースが利用される利用形態をいう。 Note that the mail server 20 and the distribution server 40 may be compatible with cloud computing. Cloud computing is a form of usage in which resources on a network are used without being conscious of specific hardware resources.

また、配信先装置60のハードウェア構成図は図3と同等か異なっていても本実施形態の説明上、支障がないものとする。 Further, even if the hardware configuration diagram of the distribution destination device 60 is the same as or different from that of FIG. 3, it will not hinder the explanation of the present embodiment.

<<電子黒板のハードウェア構成>>
続いて、図4を用いて、本実施形態の電子黒板2のハードウェア構成を説明する。なお、図4は、電子黒板2のハードウェア構成図の一例である。
<<Hardware configuration of the electronic blackboard>>
Next, the hardware configuration of the electronic blackboard 2 of this embodiment will be described with reference to FIG. Note that FIG. 4 is an example of a hardware configuration diagram of the electronic blackboard 2 .

図4に示されているように、電子黒板2は、電子黒板2全体の動作を制御するCPU101、IPL等のCPU101の駆動に用いられるプログラムを記憶したROM102、CPU101のワークエリアとして使用されるRAM103、電子黒板2用のプログラム等の各種データを記憶するSSD104、通信ネットワーク9との通信を制御するネットワークコントローラ105、及び、USBメモリ5との通信を制御する外部記憶コントローラ106を備えている。 As shown in FIG. 4, the electronic blackboard 2 includes a CPU 101 that controls the overall operation of the electronic blackboard 2, a ROM 102 that stores programs such as IPL used to drive the CPU 101, and a RAM 103 that is used as a work area for the CPU 101. , an SSD 104 for storing various data such as programs for the electronic blackboard 2 , a network controller 105 for controlling communication with the communication network 9 , and an external storage controller 106 for controlling communication with the USB memory 5 .

また、電子黒板2は、ノートPC6のディスプレイに対して映像情報を静止画又は動画として表示させるキャプチャデバイス111、グラフィックスを専門に扱うGPU(Graphics Processing Unit)112、及び、GPUからの出力画像をディスプレイ3やテレビ会議端末7へ出力するために画面表示の制御及び管理を行うディスプレイコントローラ113を備えている。 The electronic blackboard 2 also includes a capture device 111 for displaying video information as a still image or moving image on the display of the notebook PC 6, a GPU (Graphics Processing Unit) 112 that specializes in graphics, and an output image from the GPU. A display controller 113 is provided for controlling and managing screen display for output to the display 3 and the teleconference terminal 7 .

更に、電子黒板2は、接触センサ115の処理を制御するセンサコントローラ114、ディスプレイ3上に電子ペン4やユーザの手H等が接触したことを検知する接触センサ115を備えている。この接触センサ115は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ3の上側両端部に設置された2つ受発光装置が、ディスプレイ3に平行して複数の赤外線を放射し、ディスプレイ3の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ115は、物体によって遮断された2つの受発光装置が放射した赤外線のID(Identification)をセンサコントローラ114に出力し、センサコントローラ114が、物体の接触位置である座標位置を特定する。なお、以下に示す全ての各IDは、識別情報の一例である。 Further, the electronic blackboard 2 includes a sensor controller 114 that controls processing of the contact sensor 115 , and a contact sensor 115 that detects that the electronic pen 4 or the user's hand H or the like touches the display 3 . The contact sensor 115 performs coordinate input and coordinate detection using an infrared shielding method. In this method of inputting coordinates and detecting coordinates, two light emitting/receiving devices installed at both ends of the upper side of the display 3 radiate a plurality of infrared rays parallel to the display 3, and are provided around the display 3. This is a method of receiving light that is reflected by a reflecting member and returns along the same optical path as that of light emitted by a light receiving element. The contact sensor 115 outputs to the sensor controller 114 the ID (Identification) of the infrared rays emitted by the two light emitting/receiving devices blocked by the object, and the sensor controller 114 identifies the coordinate position that is the contact position of the object. All IDs shown below are examples of identification information.

また、接触センサ115としては、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する2の抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。 Further, the contact sensor 115 is not limited to the infrared shielding type, and may be a capacitive type touch panel that identifies a contact position by detecting a change in capacitance, or a contact position by detecting a voltage change of two opposing resistive films. Various detection means may be used, such as a resistive touch panel for specifying, an electromagnetic induction touch panel for specifying a contact position by detecting electromagnetic induction generated when a contact object touches the display unit, and the like.

また、電子黒板2は、電子ペンコントローラ116を備えている。この電子ペンコントローラ116は、電子ペン4と通信することで、ディスプレイ3へのペン先のタッチやペン尻のタッチの有無を判断する。なお、電子ペンコントローラ116が、電子ペン4のペン先及びペン尻だけでなく、電子ペン4のユーザが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。 The electronic blackboard 2 also includes an electronic pen controller 116 . The electronic pen controller 116 communicates with the electronic pen 4 to determine whether or not the display 3 has been touched with the tip of the pen or the bottom of the pen. It should be noted that the electronic pen controller 116 may determine whether or not the part of the electronic pen 4 held by the user or other parts of the electronic pen 4 is touched, in addition to the tip and the pen butt of the electronic pen 4 .

更に、電子黒板2は、CPU101、ROM102、RAM103、SSD104、ネットワークコントローラ105、外部記憶コントローラ106、キャプチャデバイス111、GPU112、センサコントローラ114、及び電子ペンコントローラ116を、電気的に接続するためのアドレスバスやデータバス等のバスライン120を備えている。 Further, the electronic blackboard 2 includes an address bus for electrically connecting the CPU 101, ROM 102, RAM 103, SSD 104, network controller 105, external storage controller 106, capture device 111, GPU 112, sensor controller 114, and electronic pen controller 116. and a bus line 120 such as a data bus.

なお、電子黒板2用のプログラムは、CD-ROM等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよいし、プログラム配信用のサーバから配信されてもよい。 The program for the electronic whiteboard 2 may be recorded on a computer-readable recording medium such as a CD-ROM and distributed, or may be distributed from a program distribution server.

<機能について>
図5は、配信システム100が有する電子黒板2、メールサーバ20、及び、配信サーバ40の機能をブロック状に示す機能ブロック図の一例である。
<About functions>
FIG. 5 is an example of a functional block diagram showing functions of the electronic blackboard 2, the mail server 20, and the distribution server 40 included in the distribution system 100 in block form.

<<電子黒板>>
電子黒板2は、認証部11、画像生成部12及びメール送信部13は有する。電子黒板2が有するこれらの機能は、図4に示した電子黒板2が有するCPU101がSSD104等に記憶されたプログラムを実行して電子黒板2が有するハードウェア要素と協働することで実現される機能又は手段である。
<<Electronic Blackboard>>
The electronic blackboard 2 has an authentication section 11 , an image generation section 12 and an email transmission section 13 . These functions of the electronic blackboard 2 are realized by the CPU 101 of the electronic blackboard 2 shown in FIG. It is a function or a means.

また、電子黒板2は図4に示したSSD104、RAM103又はROM102に構築されたユーザ情報DB14を有する。ユーザ情報DB14にはユーザに関する情報(例えば、ユーザIDとパスワード)が記憶されている。 Further, the electronic blackboard 2 has a user information DB 14 constructed in the SSD 104, RAM 103 or ROM 102 shown in FIG. The user information DB 14 stores information about users (for example, user IDs and passwords).

認証部11はユーザを認証する。例えば、ユーザが入力したパスワードとユーザIDがユーザ情報DB14に記憶されているか否かに基づいてユーザを認証する。ICカード、又は、生体認証情報のいずれで認証してもよい。なお、認証は認証サーバが行ってもよく、この場合、認証部11は認証サーバに認証情報(パスワードとユーザID)を送信し、認証サーバから認証結果を取得する。したがって、ユーザ情報DB14を有していなくてもよい。 An authentication unit 11 authenticates a user. For example, the user is authenticated based on whether or not the password and user ID entered by the user are stored in the user information DB 14 . Either an IC card or biometric information may be used for authentication. The authentication may be performed by an authentication server. In this case, the authentication unit 11 transmits authentication information (password and user ID) to the authentication server and acquires the authentication result from the authentication server. Therefore, it does not have to have the user information DB 14 .

画像生成部12はディスプレイ3に表示された画面を取り込み、画像データを生成する。取り込むとはディスプレイ3に表示されている画面の画像データを生成することをいう。「キャプチャする」と称する場合がある。取り込まれた画像データは、ノートPC等が送信した背景画像だけの場合、描画像だけの場合、及び、背景画像と描画像を含む場合がある。本実施形態では、描画像だけ、又は、背景画像と描画像を含む画像データが配信される場合を主に説明する。ただし、背景画像だけの画像データも従来のワークフロー定義で配信可能である。 The image generator 12 takes in the screen displayed on the display 3 and generates image data. Taking in means generating image data of the screen displayed on the display 3 . Sometimes referred to as "capturing". The captured image data may include only the background image transmitted from the notebook PC or the like, only the drawn image, or include the background image and the drawn image. In this embodiment, a case where only a drawn image or image data including a background image and a drawn image is distributed will be mainly described. However, image data of only background images can also be delivered with the conventional workflow definition.

メール送信部13は、予め登録されている配信サーバ40のメールアドレスを宛先に設定する。適宜、件名、送信元のメールアドレス(電子黒板2を示す)を設定する。更に、電子メールに画像データを添付し、予め設定されているSMTPサーバに送信する。このSMTPサーバが図2のメールサーバ20の場合もある。ユーザは電子メールを編集して本文を編集できる(例えば、社外秘などの注意事項を電子メールの本文で設定することもできる。)。 The mail transmission unit 13 sets the pre-registered mail address of the distribution server 40 as the destination. The subject and the sender's mail address (indicating the electronic whiteboard 2) are appropriately set. Further, the image data is attached to the e-mail and sent to a preset SMTP server. This SMTP server may be the mail server 20 in FIG. The user can edit the e-mail to edit the text (for example, a note such as confidentiality can be set in the e-mail text).

<<メールサーバ>>
メールサーバ20は、メール受付部21、及び、メール配信部22を有する。メールサーバ20が有するこれらの機能は、図3に示したHDD209からRAM204に展開されたプログラム209pをCPU206が実行することにより実現されている機能又は手段である。なお、このプログラム209pは、プログラム配信用のサーバから配信されてもよいし、USBメモリや光記憶媒体などの可搬性の記憶媒体に記憶された状態で配布されてもよい。
<<mail server>>
The mail server 20 has a mail reception unit 21 and a mail delivery unit 22 . These functions of the mail server 20 are functions or means implemented by the CPU 206 executing the program 209p developed in the RAM 204 from the HDD 209 shown in FIG. The program 209p may be distributed from a program distribution server, or may be distributed while being stored in a portable storage medium such as a USB memory or an optical storage medium.

また、メールサーバ20は図3に示したHDD209又はRAM204に構築されたメール蓄積DB23を有する。メール蓄積DB23には各電子黒板2から送信されたメールが蓄積される。 The mail server 20 also has a mail storage DB 23 built in the HDD 209 or RAM 204 shown in FIG. Mail transmitted from each electronic whiteboard 2 is accumulated in the mail accumulation DB 23 .

Figure 0007159669000001
表1はメール蓄積DB23に記憶されているメールを模式的に示す。メール蓄積DB23には、送信元メールアドレス、宛先メールアドレス、件名、本文、及び、添付ファイルの各項目がメールごとに記憶されている。送信元メールアドレスはメールを送信した電子黒板2のメールアドレスである。宛先メールアドレスは配信サーバ40のメールアドレスである。件名は電子メールのタイトルであり、本文は電子メールの本文である。添付ファイルは、ユーザの操作により電子黒板2が取り込んだ画像データである。表1では1つのメールに複数の画像データが添付されているが、1つの画像データが取り込まれるごとに1つのメールに添付され送信されてもよい。
Figure 0007159669000001
Table 1 schematically shows mails stored in the mail storage DB 23 . In the mail storage DB 23, each item of sender's mail address, destination mail address, title, text, and attached file is stored for each mail. The source email address is the email address of the electronic whiteboard 2 that sent the email. The destination mail address is the mail address of the distribution server 40 . The subject is the title of the e-mail, and the body is the body of the e-mail. The attached file is image data captured by the electronic blackboard 2 by user's operation. Although a plurality of image data are attached to one mail in Table 1, each time one piece of image data is captured, it may be attached to and sent to one mail.

電子メールに添付され画像データが送信された場合、配信サーバ40は送信元メールアドレス、宛先メールアドレス、件名、及び、本文の少なくとも1つに基づいて、ワークフローの入力となり得る電子メールか否かを判断する。例えば送信元メールアドレスが予め登録された電子黒板2である場合にワークフローの入力と判断する。また、件名に「input for workflow」と記述されているとワークフローの入力と判断する。また、本文にカラーリストが記載されている場合にワークフローの入力と判断する。あるいは、配信サーバ40に送信された全ての電子メールをワークフローの対象としてもよい。 When the image data attached to the e-mail is sent, the distribution server 40 determines whether the e-mail can be input to the workflow based on at least one of the source e-mail address, the destination e-mail address, the subject, and the text. to decide. For example, when the sender's mail address is the pre-registered electronic whiteboard 2, it is determined to be a workflow input. Also, if the subject contains "input for workflow", it is determined to be a workflow input. Also, if a color list is described in the text, it is determined to be a workflow input. Alternatively, all e-mails sent to distribution server 40 may be subject to the workflow.

本文には、描画像をユーザが描画する際に使用した電子ペンに設定されていた色(すなわち、描画像の色)のカラーリストが記述されている。カラーリストは1つ以上のRGB値である。ただし、色空間はsRGB、XYZ、HSK、HLS、Labなどでもよい。例えば、赤のRGBは一般に「255 0 0」であるが、本実施形態では描画像の描画に使用される赤のRGBが「255 01 01」のように決まっている。これにより、背景画像の赤「255 0 0」と区別して描画像を検出できる。青、緑なども同様であり、その他の色についても描画像の描画に使用される色は一般には使用されないRGB値となっている。取り得る色の数は256×256×256なので、描画像の色と背景画像の色が一致する可能性を低減できる。 The text describes a color list of colors set in the electronic pen used when the user draws the drawn image (that is, the colors of the drawn image). A color list is one or more RGB values. However, the color space may be sRGB, XYZ, HSK, HLS, Lab, or the like. For example, red RGB is generally "255 0 0", but in this embodiment, red RGB used for drawing a drawing image is determined as "255 01 01". As a result, the drawing image can be detected by distinguishing it from the red "255 0 0" of the background image. The same is true for blue, green, and other colors, and the colors used to draw the drawn image are RGB values that are not generally used. Since the number of possible colors is 256×256×256, it is possible to reduce the possibility that the color of the drawing image and the color of the background image match.

図5に戻って説明する。メール受付部21は、電子黒板2が送信した電子メールを直接、又は1つ以上のSMTPサーバを介して取得する。メール受付部21は取得したメールをメール蓄積DB23に記憶させる。 Returning to FIG. 5, description will be made. The mail receiving unit 21 receives e-mails sent by the electronic whiteboard 2 directly or via one or more SMTP servers. The mail reception unit 21 stores the acquired mail in the mail storage DB 23 .

メール配信部22は配信サーバ40から送信されたユーザIDとパスワードで配信サーバ40の認証が成立すると、認証した配信サーバ40のメールアドレスを宛先とするメールをメール蓄積DB23から読み出して、配信サーバ40に送信する。ユーザIDは通常、メールアドレスのうち@よりも前の部分なので配信サーバ40のメールアドレスが容易に特定される。これにより、配信サーバ40は自機宛のメールとメールに添付された画像データを取得できる。 When the distribution server 40 is authenticated by the user ID and password transmitted from the distribution server 40, the mail distribution unit 22 reads the mail addressed to the authenticated mail address of the distribution server 40 from the mail storage DB 23, and sends the mail to the distribution server 40. Send to Since the user ID is usually the part before @ in the mail address, the mail address of distribution server 40 can be easily specified. As a result, the distribution server 40 can acquire the mail addressed to itself and the image data attached to the mail.

<<配信サーバ>
配信サーバ40は、プログラム実行部41、処理実行部42、確認要求部43、ワークフロー定義決定部44、場所判断部45、形状判断部46、描画像検出部47、メール取得部48、及び、ワークフロー定義登録受付部49を有する。配信サーバ40が有するこれらの機能は、図3に示したCPU206がHDD208等に記憶されたプログラムを実行し、コンピュータシステム200のハードウェア要素と協働することにより実現される機能又は手段である。
<<Distribution server>
The distribution server 40 includes a program execution unit 41, a process execution unit 42, a confirmation request unit 43, a workflow definition determination unit 44, a location determination unit 45, a shape determination unit 46, a drawn image detection unit 47, an email acquisition unit 48, and a workflow It has a definition registration reception unit 49 . These functions of distribution server 40 are functions or means implemented by CPU 206 shown in FIG.

また、配信サーバ40は、図3に示したHDD208、ROM205又はRAM204等により構築される定義情報記憶部50を有する。定義情報記憶部50には、描画像属性情報に対応付けられた1つ以上のワークフロー定義が記憶されている。 Further, the distribution server 40 has a definition information storage unit 50 constructed by the HDD 208, ROM 205, RAM 204, or the like shown in FIG. The definition information storage unit 50 stores one or more workflow definitions associated with drawn image attribute information.

Figure 0007159669000002
表2(a)は、定義情報記憶部50に記憶されているワークフロー定義の一例を示す。定義情報記憶部50にはユーザごとにワークフロー定義が記憶されている。後述するようにユーザは所望のワークフロー定義を登録できる。
Figure 0007159669000002
Table 2(a) shows an example of a workflow definition stored in the definition information storage unit 50. FIG. The definition information storage unit 50 stores a workflow definition for each user. As will be described later, the user can register a desired workflow definition.

定義情報記憶部50には色、形状、場所、加工、配信フロー、及び、詳細設定の各項目が対応付けて登録されている。このうち、色、形状及び場所は、描画像属性情報である。加工は、画像データに対する画像処理方法であり、配信フローには電子黒板2が画像データをどのように配信するかが設定されている。詳細設定は、配信先のアドレスなどである。表2(b)に詳細設定の各項目を示す。なお、配信フローの「プロジェクト1」とは種々のプロジェクト名を示しており、プロジェクト名に対応付けられた配信先に配信されることを意味している。プロジェクト名には、例えば、プロジェクトの参加者のメールアドレスが対応付けられている。 In the definition information storage unit 50, each item of color, shape, location, processing, distribution flow, and detailed setting is associated and registered. Of these, color, shape and location are drawn image attribute information. Processing is an image processing method for image data, and how the electronic blackboard 2 distributes image data is set in the distribution flow. The detailed settings include the delivery destination address and the like. Table 2(b) shows each item of detailed setting. Note that "project 1" in the distribution flow indicates various project names, and means that the distribution is performed to the distribution destination associated with the project name. A project name is associated with, for example, the e-mail addresses of project participants.

表2(a)のうち加工と配信フローがワークフロー定義に相当する。ワークフロー定義とは画像データにどのような処理を施しどこに配信するかを定義する情報である。 The processing and delivery flows in Table 2(a) correspond to the workflow definition. A workflow definition is information that defines what kind of processing is applied to image data and where it is delivered.

表2(b)は詳細設定の一例を示す。詳細設定は、配信パス/アドレス、ユーザ情報、及び、ドメインの各項目を有している。配信パス/アドレスはフォルダ配信の配信先となるパス、メール配信のメールアドレス、又は、配信先のサーバのIPアドレスなどである。ユーザ情報はユーザの認証情報、配信権限情報などである。ドメインはフォルダ配信やFTP配信において配信元(配信サーバ40)を制限するために使用される認証情報である。 Table 2(b) shows an example of detailed settings. The detailed settings have items of delivery path/address, user information, and domain. The delivery path/address is a delivery destination path for folder delivery, an e-mail address for mail delivery, or an IP address of a delivery destination server. The user information includes user authentication information, distribution authority information, and the like. The domain is authentication information used to limit the distribution source (distribution server 40) in folder distribution or FTP distribution.

図5に戻って説明する。メール取得部48は、上記のようにユーザIDとパスワードをメールサーバ20に送信して認証を受けると共に、認証が成立するとメールサーバ20から自機(配信サーバ40)のメールアドレスを宛先とする電子メールを取得する(受信する)。メール取得部48は、取得した電子メールを描画像検出部47に送出する。 Returning to FIG. 5, description will be made. The mail acquisition unit 48 transmits the user ID and password to the mail server 20 as described above and receives authentication. Get (receive) mail. The mail acquisition unit 48 sends the acquired e-mail to the drawn image detection unit 47 .

描画像検出部47は電子メールに添付された画像データからカラーリストに基づいて描画像を検出する。1つの画像データから複数の描画像が検出されてよい。描画像検出部47は描画像を形状判断部46に送出する。 A drawn image detection unit 47 detects a drawn image from the image data attached to the e-mail based on the color list. A plurality of drawn images may be detected from one image data. The drawn image detection unit 47 sends the drawn image to the shape determination unit 46 .

形状判断部46は、描画像の形状が予め定められているどの形状と見なせるかを判断する。この判断にはパターンマッチングや機械学習で得られた識別器などが使用されてよい。形状判断部46は予め決まっている形状が検出されると、その形状の描画像の座標を場所判断部45に送出する。 The shape determination unit 46 determines which predetermined shape the shape of the drawn image can be regarded as. A discriminator obtained by pattern matching or machine learning may be used for this determination. When a predetermined shape is detected, the shape determination unit 46 sends the coordinates of the drawn image of the shape to the location determination unit 45 .

場所判断部45は、予め定められた形状の描画像の座標に基づいて描画像がどこにあるかを判断する。例えば、右上、右下、左上、左下などを判断する。なお、複数の画像データが添付されている場合は、何ページ目から描画像が検出されたのかも特定しておく。描画像が検出されたページ番号も描画像属性情報の場所として扱われる。場所判断部45は描画像ごとに場所をワークフロー定義決定部44に送出する。 The place determination unit 45 determines where the drawn image is based on the coordinates of the drawn image having a predetermined shape. For example, upper right, lower right, upper left, lower left, etc. are determined. If a plurality of image data are attached, the page from which the drawn image was detected is also specified. The page number where the drawn image was detected is also treated as the location of the drawn image attribute information. The location determination unit 45 sends the location of each drawn image to the workflow definition determination unit 44 .

ワークフロー定義決定部44は、描画像の色、形状、場所に対応付けられた加工と配信フローを定義情報記憶部50から取得する。すなわち、ワークフロー定義を決定する。また、描画像の座標、加工、及び、配信フローは処理実行部42に送出される。描画像の座標は加工対象のオブジェクトを特定するために使用される。 The workflow definition determination unit 44 acquires from the definition information storage unit 50 processing and distribution flows associated with the color, shape, and location of the drawn image. That is, it determines the workflow definition. Also, the coordinates, processing, and delivery flow of the drawn image are sent to the processing execution unit 42 . The coordinates of the drawn image are used to identify the object to be processed.

プログラム実行部41は、予め登録された複数のプラグイン41-1、41-2、…、41-n(以下、任意のプラグインをプラグイン41-iとする)有し、処理実行部42からの制御にしたがって各プラグイン41-iを実行する。プラグイン41-iはワークフローが有する加工や配信フローと1対1に対応する。プラグイン41-iは、例えば部分カラー、塗りつぶし、OCR、PDF化、メール送信、フォルダ配信等にそれぞれが対応している。原則的に各プラグイン41-iは互いに異なる処理を実行するが、同じ処理を実行するプラグイン41-iが存在してもよい。 The program execution unit 41 has a plurality of pre-registered plug-ins 41-1, 41-2, . Each plug-in 41-i is executed according to the control from . The plug-in 41-i corresponds one-to-one with the processing and distribution flow of the workflow. The plug-in 41-i supports, for example, partial color, filling, OCR, PDF conversion, mail transmission, folder distribution, and the like. In principle, each plug-in 41-i performs different processing, but there may be plug-ins 41-i that perform the same processing.

処理実行部42はワークフローを実行する。処理実行部42は加工と配信フローを順番に実行するため、これらの処理に対応するプラグイン41-iに画像データを送出してその実行を要求する。プラグイン41-iから処理された画像データ(画像データから別の形式のデータに変換されていてもよい)を取得すると、処理実行部42は配信フローに対応する次のプラグイン41-iに配信を要求する。このように、電子黒板2から送信された画像データに対しワークフロー定義で定義されている処理を実行できる。 The process execution unit 42 executes workflows. Since the processing execution unit 42 sequentially executes the processing and distribution flows, it sends the image data to the plug-in 41-i corresponding to these processes and requests the execution thereof. When the processed image data (which may be converted from the image data into data in another format) is acquired from the plug-in 41-i, the processing execution unit 42 sends the next plug-in 41-i corresponding to the distribution flow. Request delivery. In this way, the processing defined by the workflow definition can be executed on the image data transmitted from the electronic whiteboard 2 .

確認要求部43は、電子黒板2又はクライアントPC60aに対しプラグイン41-iの加工結果が適切かどうかの確認をユーザに要求し、確認結果を取得する。確認には例えば電子メールとこの電子メールに記述されたURLを使用する。電子黒板2のメールアドレスは送信元として画像データに記載されている。クライアントPC60aのユーザのメールアドレスは例えば、電子黒板2の予約IDに対応付けられているものとする。あるいは、画像データを送信するために使用された電子メールにユーザのメールアドレスが記述されている。 The confirmation request unit 43 requests the electronic blackboard 2 or the client PC 60a to confirm whether or not the processing result of the plug-in 41-i is appropriate, and obtains the confirmation result. For confirmation, for example, an e-mail and a URL described in this e-mail are used. The e-mail address of the electronic blackboard 2 is described in the image data as the sender. It is assumed that the mail address of the user of the client PC 60a is associated with the reservation ID of the electronic blackboard 2, for example. Alternatively, the user's e-mail address is described in the e-mail used to send the image data.

確認要求部43が送信する電子メールには画像データの加工結果が表示されるURLが記述されており、ユーザはURLにアクセスすることで加工結果の確認と配信の許可を入力できる。また、ユーザはアクセス先のURLに表示された加工結果が、描画像属性情報で指示した加工結果と異なる場合、又は、追加の処理を施したい場合に、任意に編集できる。 The e-mail sent by the confirmation requesting unit 43 describes a URL for displaying the result of image data processing, and the user can confirm the result of processing and input permission for distribution by accessing the URL. In addition, the user can arbitrarily edit when the processing result displayed at the URL of the access destination is different from the processing result indicated by the drawn image attribute information, or when additional processing is desired.

ワークフロー定義登録受付部49は、ユーザにワークフロー定義を登録するための画面情報を提供し、描画像属性情報とワークフロー情報の登録を受け付けるWebサーバの機能を有する。画面情報はHTML、スクリプト言語(JavaScript:登録商標)、及び、CSS(Cascade Style Sheet)などで記述されている。画面情報をWebページやWebアプリという場合もある。Webアプリとは、ブラウザソフト上で動作するスクリプト言語(たとえばJavaScript(登録商標))によるプログラムとWebサーバ側のプログラムが協調することによって動作し、ブラウザ上で使用されるソフトウェア又はその仕組みを言う。 The workflow definition registration reception unit 49 has the function of a web server that provides the user with screen information for registering the workflow definition and receives the registration of drawn image attribute information and workflow information. The screen information is described in HTML, a script language (JavaScript: registered trademark), CSS (Cascade Style Sheet), and the like. Screen information may also be referred to as a web page or a web application. A web application refers to software or its mechanism that operates by cooperation between a script language (for example, JavaScript (registered trademark)) program that operates on browser software and a program on the web server side, and that is used on the browser.

<ワークフロー定義の登録>
図6、図7を用いてワークフロー定義の登録方法を説明する。図6は、ワークフロー定義と対応付けられる描画像属性情報の登録方法を説明する図の一例である。ワークフロー定義登録受付部49は図6のような画面を表示するための画面情報をクライアントPC60aに送信する。クライアントPC60aは図6のような描画像属性情報登録画面401を表示する。ユーザはクライアントPC60aを操作して描画像属性情報登録画面401から描画像属性情報を登録する。
<Registration of workflow definition>
A method of registering a workflow definition will be described with reference to FIGS. 6 and 7. FIG. FIG. 6 is an example of a diagram illustrating a method of registering drawn image attribute information associated with a workflow definition. The workflow definition registration reception unit 49 transmits screen information for displaying a screen as shown in FIG. 6 to the client PC 60a. The client PC 60a displays a drawn image attribute information registration screen 401 as shown in FIG. The user operates the client PC 60 a to register the drawn image attribute information from the drawn image attribute information registration screen 401 .

描画像属性情報登録画面401は、色選択欄402、形状選択欄403、場所選択欄404、及び、遷移ボタン406を有する。色選択欄402は描画像属性情報の色をユーザが選択するために使用され、形状選択欄403は描画像属性情報の形状をユーザが選択するために使用され、場所選択欄404は描画像属性情報の場所をユーザが選択するために使用される。遷移ボタン406が押下されると、図7のワークフロー定義登録画面501が表示される。 The drawn image attribute information registration screen 401 has a color selection field 402 , a shape selection field 403 , a location selection field 404 , and a transition button 406 . The color selection field 402 is used by the user to select the color of the drawing image attribute information, the shape selection field 403 is used by the user to select the shape of the drawing image attribute information, and the location selection field 404 is used to select the drawing image attribute. Used for user selection of information location. When the transition button 406 is pressed, the workflow definition registration screen 501 of FIG. 7 is displayed.

なお、形状選択欄403の「ジェスチャ」とは描画像ではなくユーザのジェスチャ操作を意味する。ジェスチャ操作とは、指で決まった軌跡を描くことをいう。ユーザがジェスチャを選択すると、ジェスチャ設定欄405が表示される。ジェスチャ設定欄405は、上下左右の矢印ボタン4051と、矢印設定欄4052と、登録ボタン4053を有している。矢印ボタン4051はジェスチャの方向を設定するためのボタンであり、矢印設定欄4052はユーザが選択した矢印が表示される欄であり、登録ボタン4053は、矢印設定欄4052の矢印(ジェスチャ)を登録するためのボタンである。 Note that the “gesture” in the shape selection field 403 does not mean the drawn image but the user's gesture operation. A gesture operation refers to drawing a predetermined trajectory with a finger. When the user selects a gesture, a gesture setting field 405 is displayed. The gesture setting field 405 has up, down, left, and right arrow buttons 4051 , an arrow setting field 4052 , and a registration button 4053 . An arrow button 4051 is a button for setting the direction of the gesture, an arrow setting field 4052 is a field for displaying an arrow selected by the user, and a register button 4053 registers the arrow (gesture) in the arrow setting field 4052. It is a button for

図6では矢印設定欄4052に「↑→↓」と選択されているので、ユーザがこのような形状の軌跡でディスプレイ3を指でなぞると、ジェスチャの形状が一致したと判断される。なお、軌跡は描画像とちがって画像データに表示されないため、画像データとは別に、軌跡を表す座標点列、又は、各矢印の始点と終点が電子メールに添付される。 In FIG. 6, since "↑→↓" is selected in the arrow setting field 4052, when the user traces the display 3 with a locus of such a shape with the finger, it is determined that the shape of the gesture matches. Unlike the drawn image, the trajectory is not displayed in the image data. Therefore, a sequence of coordinate points representing the trajectory or the start and end points of each arrow is attached to the e-mail separately from the image data.

図7は、ワークフロー定義登録画面501の一例を示す。ワークフロー定義登録画面501では加工と配信フローというワークフロー定義が選択される。同様にワークフロー定義登録受付部49は図7のような画面を表示するための画面情報をクライアントPC60aに送信する。 FIG. 7 shows an example of the workflow definition registration screen 501. As shown in FIG. On the workflow definition registration screen 501, a workflow definition of processing and delivery flow is selected. Similarly, the workflow definition registration reception unit 49 transmits screen information for displaying a screen such as that shown in FIG. 7 to the client PC 60a.

ワークフロー定義登録画面501は、加工選択欄502、配信フロー選択欄503、及び、登録ボタン506を有している。加工選択欄502は画像データにどのような加工を行うかをユーザが選択するための欄である。配信フロー選択欄503は加工した画像データをどのように配信するかをユーザが選択するための欄である。なお、配信フロー選択欄503でプロジェクトが選択された場合、プロジェクト選択欄504が表示される。 The workflow definition registration screen 501 has a processing selection field 502 , a delivery flow selection field 503 , and a registration button 506 . A processing selection field 502 is a field for the user to select what kind of processing is to be performed on the image data. A distribution flow selection field 503 is a field for the user to select how to distribute the processed image data. Note that when a project is selected in the distribution flow selection field 503, a project selection field 504 is displayed.

加工選択欄502の部分カラーとは、描画像が示す場所(枠内、下線の上側、波線の上側、☆マークの内側等)のオブジェクトを決まった色に変更することをいう。塗りつぶしとは、描画像が示す場所を塗りつぶすことをいう。つまり削除に相当する。解像度アップとは、描画像が示す場所の解像度を増大すること(例えば4×4の画素を16×16に変更する)をいう。楷書化は崩し文字を正確な文字に変更する処理又は所定のフォントに変更することをいう。OCRとは手書き文字をテキストデータに変換することをいう(文字認識すること)。 Partial color in the processing selection field 502 means changing the object in the location indicated by the drawn image (inside the frame, above the underline, above the wavy line, inside the ☆ mark, etc.) to a predetermined color. “Filling” refers to filling the area indicated by the drawn image. That is, it corresponds to deletion. Resolution up refers to increasing the resolution of the location indicated by the drawn image (for example, changing 4×4 pixels to 16×16 pixels). Kaisho refers to a process of changing a broken character to an accurate character or changing to a predetermined font. OCR means converting handwritten characters into text data (character recognition).

配信フロー選択欄503の任意の配信方法が選択されると、詳細設定欄505が表示される。ユーザは詳細設定欄505に配信パス等を設定する。 When an arbitrary distribution method is selected in the distribution flow selection field 503, a detail setting field 505 is displayed. The user sets a distribution path and the like in the detailed setting field 505 .

<描画像の検出について>
続いて、図8を用いて描画像の検出について説明する。図8(a)は、描画像301を含む画像データの一例を示す。図8(a)の画像データには2つの描画像301a、301bが含まれている。画像データにはカラーリストが添付されているので、描画像検出部47はこのカラーリストのRGB値と一致する色の画素を検出する。つまり、画像データの画素値とカラーリストのRGB値とを1画素ずつ比較し、カラーリストのRGB値と一致する画素を特定する。特定した画素が描画像の画素である。こうすることで、1つの画像データから各色の描画像301a、301bを検出できる。
<About drawing image detection>
Next, detection of a drawn image will be described with reference to FIG. FIG. 8A shows an example of image data including a drawn image 301. FIG. The image data of FIG. 8(a) includes two drawn images 301a and 301b. Since the color list is attached to the image data, the drawn image detection unit 47 detects pixels whose colors match the RGB values of this color list. That is, the pixel value of the image data and the RGB value of the color list are compared pixel by pixel, and the pixel that matches the RGB value of the color list is specified. The identified pixels are the pixels of the drawn image. By doing so, the drawn images 301a and 301b of each color can be detected from one image data.

図8(b)は検出された描画像301a、301bを示す。図8(b)では下線という描画像301aと、枠という描画像301bが検出されている。 FIG. 8(b) shows the detected drawn images 301a, 301b. In FIG. 8B, a drawn image 301a of an underline and a drawn image 301b of a frame are detected.

<描画像の形状の特定>
図9は描画像の形状の特定方法を説明する図の一例である。図9(a)に示すように、形状判断部46は抽出された描画像301aに対しパターンマッチングを行う。形状判断部46は予め登録されている各形状のテンプレートを有している。図9(a)では下線のテンプレート310aが左上に示されている。形状判断部46は、各形状のテンプレート310aと描画像301を含む画像との相関値を計算する。テンプレート310aを少しずつずらしてこの処理を行い、相関値が閾値以上の場合、描画像301aがテンプレート310aと同じ形状であると判断する。相関値としては、SSD(Sum of Squared Difference)、SAD(Sum of Absolute Difference)、NCC(Normalized Cross-Correlation)などが知られている。
<Specifying the shape of the drawn image>
FIG. 9 is an example of a diagram for explaining a method of specifying the shape of a drawn image. As shown in FIG. 9A, the shape determining unit 46 performs pattern matching on the extracted drawn image 301a. The shape determination unit 46 has a template of each shape registered in advance. In FIG. 9A, an underlined template 310a is shown at the upper left. The shape determination unit 46 calculates a correlation value between each shape template 310 a and an image including the drawn image 301 . This processing is performed while the template 310a is shifted little by little, and if the correlation value is equal to or greater than the threshold value, it is determined that the drawn image 301a has the same shape as the template 310a. SSD (Sum of Squared Difference), SAD (Sum of Absolute Difference), NCC (Normalized Cross-Correlation), etc. are known as correlation values.

図9(b)では円形のテンプレート310bが左上に示されている。円形のテンプレート310bにより円形の描画像301bの検出が可能になる。このように、すべての形状のテンプレートで相関値を算出することで、1つの画像データから複数の描画像の形状を判断できる。 A circular template 310b is shown at the upper left in FIG. 9(b). Circular template 310b enables detection of circular drawn image 301b. In this way, by calculating correlation values for templates of all shapes, it is possible to determine the shapes of a plurality of drawn images from one image data.

なお、形状を判断するための識別器を機械学習で構築することも可能である。例えば、ニューラルネットワーク、ディープラーニング、線形回帰、ロジスティック回帰、サポートベクターマシン、決定木、ランダムフォレスト、Ada Boost、ナイーブベース、k近傍法、などの機械学習のアルゴリズムで描画像が表す形状を学習する。学習で得られた識別器は入力された画像データがどのような形状を有するかを出力する。 Note that it is also possible to construct a discriminator for judging the shape by machine learning. For example, machine learning algorithms such as neural network, deep learning, linear regression, logistic regression, support vector machine, decision tree, random forest, Ada Boost, naive base, k nearest neighbor method, etc. learn the shape represented by the image. The discriminator obtained by learning outputs what kind of shape the input image data has.

<場所の判断>
図10は描画像の場所判断方法を説明する図の一例である。例えば、場所判断部45は画像データを4つに等分し、4つのうちどの部分に描画像301の重心が含まれるかを判断する。そして、重心が所属する場所に描画像301が存在すると判断する。これにより、右上、右下、左上、左下などの場所を特定できる。
<Judgment of location>
FIG. 10 is an example of a diagram for explaining a method of determining the location of a drawn image. For example, the location determining unit 45 divides the image data into four equal parts and determines which of the four parts contains the center of gravity of the drawn image 301 . Then, it is determined that the drawn image 301 exists at the location to which the center of gravity belongs. This allows you to specify locations such as top right, bottom right, top left, bottom left.

以上のように、色、形状、及び、場所が決定されることで、ワークフロー定義(加工と配信フロー)が決定される。なお、画像データを4分割以上してより詳細な場所を判断してもよい。 As described above, the workflow definition (processing and delivery flow) is determined by determining the color, shape, and location. Note that the location may be determined in more detail by dividing the image data into four or more.

<加工について>
図11を用いて加工について説明する。図11は、部分カラーという加工方法を説明する図である。まず、図11(a)は部分カラーが施される前の画像データを示す。例えば、下線の描画像301aに対応付けられた加工が部分カラーであるとする。この場合、部分カラーに対応したプラグイン41-iは下線の上方のオブジェクト320を特定する。下線の上方のオブジェクト320とは、下線に対し垂直な上方向に所定距離内で最も近いオブジェクトをいう。オブジェクトは例えば連続した一連の画素の集まりをいう。図11では1文字1文字がオブジェクトである。連続した一連の画素の検出方法としては各種の輪郭追跡アルゴリズムが知られている。オブジェクトは背景画像でも描画像でもよい。
<About processing>
Processing will be described with reference to FIG. FIG. 11 is a diagram for explaining a processing method called partial color. First, FIG. 11(a) shows image data before partial color is applied. For example, assume that the processing associated with the underlined drawn image 301a is partial color. In this case, the plug-in 41-i corresponding to partial color identifies the object 320 above the underline. The object 320 above the underline is the closest object within a predetermined distance in the upward direction perpendicular to the underline. An object is, for example, a group of consecutive pixels. In FIG. 11, each character is an object. Various contour tracking algorithms are known as methods for detecting a continuous series of pixels. An object can be a background image or a rendered image.

図11では、描画像の上方の「わかりやすいとは何か」というオブジェクト320(正確には複数のオブジェクト)が検出される。「わかりやすいとは何か」の各文字がオブジェクトである。文字に限らず三角や四角の図形なども同様にオブジェクトとして検出される。 In FIG. 11, an object 320 (more precisely, a plurality of objects) of "what is easy to understand" above the drawn image is detected. Each letter in "what is intelligible" is an object. Not only characters but also triangular and square figures are similarly detected as objects.

部分カラーに対応したプラグイン41-iはオブジェクト320を決まった色に変更する。すなわち、オブジェクト320に対応する画素の画素値を変更する。図11(b)はオブジェクト320の色が変更された画像データの一例を示す。こうすることで、下線という描画像301aの上方の文字の色を変更できる。このオブジェクト320はノートPCなどから送信された背景画像であるので、適切な色が付されているとは限らない。本実施形態では背景画像の任意のオブジェクト320をユーザが好む色に変更できる。 The plug-in 41-i corresponding to partial color changes the object 320 to a fixed color. That is, the pixel value of the pixel corresponding to the object 320 is changed. FIG. 11(b) shows an example of image data in which the color of the object 320 has been changed. By doing so, the color of the characters above the drawn image 301a, which is the underline, can be changed. Since this object 320 is a background image sent from a notebook PC or the like, it is not necessarily colored appropriately. In this embodiment, any object 320 in the background image can be changed to a color preferred by the user.

なお、加工により、元の描画像301aは不要となるため元の描画像を削除してもよい。画像データからは描画像301aがなくなりユーザが見やすくなる。一方で、描画像301aがあることで画像データのオブジェクト320が強調される面もあるため、元の描画像301aを残してもよい。このように、元の描画像301aを残すこと及び削除することには一長一短があるので、ユーザが選択できるとなおよい。例えば、ワークフロー定義の登録時に元の描画像301aを残すかどうかをユーザが選択できる。ユーザは、元の描画像301aを削除したい場合には、描画像301aを削除するように設定した描画像301aを手書きし、元の描画像301aを削除したくない場合には、描画像301aを削除しないように設定した描画像301aを手書きする。 It should be noted that the original drawn image 301a may be deleted because the original drawn image 301a becomes unnecessary after processing. The drawn image 301a disappears from the image data, making it easier for the user to see. On the other hand, the presence of the drawn image 301a may enhance the object 320 of the image data, so the original drawn image 301a may be left. Since leaving and deleting the original drawn image 301a has advantages and disadvantages in this way, it is even better if the user can select. For example, the user can select whether to leave the original drawn image 301a when registering the workflow definition. If the user wants to delete the original drawn image 301a, the user can handwrite the drawn image 301a set to delete the drawn image 301a. The drawn image 301a set not to be deleted is handwritten.

図12は、塗りつぶしという加工方法を説明する図である。まず、図12(a)は塗りつぶしが施される前の画像データを示す。例えば、枠という描画像301bに対応付けられた加工が塗りつぶしであるとする。この場合、塗りつぶしに対応したプラグイン41-iは枠の描画像301b内のオブジェクト321を特定する。例えば枠の右端と左端の間、及び、枠の上端と上端の間に含まれるオブジェクト321を特定する。このオブジェクト321の外接矩形を塗りつぶし範囲とする。 FIG. 12 is a diagram for explaining a processing method called painting. First, FIG. 12(a) shows image data before being painted over. For example, it is assumed that the processing associated with the drawn image 301b of the frame is filling. In this case, the plug-in 41-i corresponding to the fill identifies the object 321 in the drawing image 301b of the frame. For example, the object 321 included between the right and left edges of the frame and between the top and top edges of the frame is specified. The circumscribing rectangle of this object 321 is set as the filling range.

図12の例では、枠の描画像301bに囲まれた「脳という名のデータベース」の各文字がオブジェクト321である。そして全てのオブジェクト321が隠れる最小の矩形(外接矩形)が塗りつぶし範囲となる。 In the example of FIG. 12, the objects 321 are the characters of “database named brain” surrounded by the drawing image 301b of the frame. The smallest rectangle (circumscribing rectangle) that hides all the objects 321 becomes the filling range.

図12(b)はオブジェクト321が塗りつぶされた画像データの一例を示す。図12(b)では、オブジェクト321が矩形323で塗りつぶされている。なお、塗りつぶす際の色はオブジェクト321の背景と同じ色であることが好ましい。こうすることで、塗りつぶしの違和感を低減できる。あるいは、白又は黒などの決まった色でもよい。また、塗りつぶしの色はワークフローを定義する際にユーザが選択できてよい。 FIG. 12B shows an example of image data in which the object 321 is filled. In FIG. 12B , the object 321 is filled with a rectangle 323 . It is preferable that the color used for filling is the same color as the background of the object 321 . By doing so, it is possible to reduce the sense of incongruity of the filling. Alternatively, it may be a fixed color such as white or black. Also, the fill color may be user selectable when defining the workflow.

こうすることで、ユーザは任意のオブジェクト321を塗りつぶすことができる。元のオブジェクト321は視認できないので、オブジェクト321を削除する効果がある。オブジェクト321によっては秘匿性が高いものがあるが、本実施形態では任意のオブジェクトを削除することができる。 By doing so, the user can paint over any object 321 . Since the original object 321 is invisible, it has the effect of deleting the object 321 . Some objects 321 are highly confidential, but any object can be deleted in this embodiment.

図12(b)では、枠の描画像301bが消去されている。このような処理は枠の描画像301bに対応付けられた加工において枠の描画像301bを消去する旨が設定されていることで実現できる。これにより、塗りつぶしの後、枠の描画像301bが残ることを防止できる。 In FIG. 12B, the drawn image 301b of the frame is erased. Such processing can be realized by setting to erase the frame drawn image 301b in the processing associated with the frame drawn image 301b. As a result, it is possible to prevent the drawing image 301b of the frame from remaining after filling.

この他、解像度アップ、楷書化、OCRの各加工についても、対象となるオブジェクトが特定されれば同様に実行できる。 In addition, resolution enhancement, printing, and OCR processing can be performed in the same way if the target object is specified.

また、図12では特定のオブジェクトの加工について説明したが、画像データの全体を加工してもよい。例えば、画像データがカラーである場合に全体を白黒に変換したり、エッジを強調したりしてもよい。また、顔、人名、製品名等を検出して塗りつぶしてもよい。この場合は、プラグイン41-iが顔認識機能を有し、人名リスト又は製品名リストを有していることが好ましい。 Further, although processing of a specific object has been described in FIG. 12, the entire image data may be processed. For example, if the image data is color, the entire image may be converted to black and white, or edges may be emphasized. Also, a face, a person's name, a product name, etc. may be detected and painted over. In this case, the plug-in 41-i preferably has a face recognition function and a personal name list or a product name list.

図11,図12では背景画像の一部がオブジェクトとして検出されているが、オブジェクトが描画像301の場合もある。 Although part of the background image is detected as an object in FIGS. 11 and 12, the object may be the drawn image 301. FIG.

<動作手順>
図13を用いて配信システム100の全体的な動作を説明する。図13は、配信システム100の全体的な動作を説明するシーケンス図の一例である。
<Operation procedure>
The overall operation of distribution system 100 will be described with reference to FIG. FIG. 13 is an example of a sequence diagram explaining the overall operation of the distribution system 100. As shown in FIG.

S1:ユーザは電子黒板2に描画像301を手書きし、これをワークフローで配信したいと考えるとスクリーンショットを作成する。電子黒板2の画像生成部12は画像データを生成する。電子黒板2は、ユーザが電子ペンで描画像301を作成した際の色(RGB値)を記録している。メール送信部13は、画像データを電子メールに添付すると共に本文に、1つ以上の色のRGB値であるカラーリストを設定する。メール送信部13は画像データとカラーリストをメールサーバ20に送信する。ユーザごとに加工内容が異なる場合はユーザIDも送信される。 S1: The user handwrites the drawn image 301 on the electronic blackboard 2, and creates a screen shot when he/she wants to distribute this by a workflow. The image generator 12 of the electronic blackboard 2 generates image data. The electronic blackboard 2 records the colors (RGB values) when the user creates the drawn image 301 with the electronic pen. The mail transmission unit 13 attaches the image data to the e-mail and sets a color list, which is RGB values of one or more colors, in the body of the e-mail. The mail transmission section 13 transmits the image data and the color list to the mail server 20 . If the processing content differs for each user, the user ID is also transmitted.

S2:メールサーバ20のメール受付部21は画像データとカラーリストを受信し、メール蓄積DB23に蓄積する。そして、配信サーバ40のメール取得部48がメールサーバ20に電子メールを要求すると、メールサーバ20のメール配信部22が画像データとカラーリストを配信サーバ40に送信する。 S2: The mail reception unit 21 of the mail server 20 receives the image data and the color list, and stores them in the mail storage DB 23 . When the mail acquisition unit 48 of the distribution server 40 requests the mail server 20 to send an e-mail, the mail distribution unit 22 of the mail server 20 transmits the image data and the color list to the distribution server 40 .

S3:配信サーバ40のメール取得部48は画像データとカラーリストを取得し、描画像検出部47が画像データから描画像301を検出する。複数の描画像301がある場合は全ての描画像を検出する。 S3: The mail acquisition unit 48 of the distribution server 40 acquires the image data and the color list, and the drawn image detection unit 47 detects the drawn image 301 from the image data. If there are multiple drawn images 301, all drawn images are detected.

S4:次に、形状判断部46が描画像301ごとに形状を特定する。形状判断部46が判断できるすべての描画像301について形状を特定してもよいが、処理負荷を低減するためにユーザがワークフロー定義で登録している形状のみを検出することが有効である。この場合、電子黒板2からユーザIDを取得して定義情報記憶部50からこのユーザIDに対応付けられているワークフロー定義を形状判断部46が取得すればよい。 S4: Next, the shape determination unit 46 identifies the shape of each drawn image 301 . Although the shape may be specified for all drawn images 301 that can be determined by the shape determination unit 46, it is effective to detect only the shapes registered by the user in the workflow definition in order to reduce the processing load. In this case, the user ID is obtained from the electronic blackboard 2 and the shape determination section 46 obtains the workflow definition associated with this user ID from the definition information storage section 50 .

S5:次に、場所判断部45は描画像301の場所を特定する。場所の判断は、ステップS4で形状が特定された描画像301についてのみ行われる。 S5: Next, the location determination unit 45 identifies the location of the drawn image 301 . Location determination is performed only for the drawn image 301 whose shape was specified in step S4.

S6:ワークフロー定義決定部44は、描画像属性情報(色、形状及び場所)に対応付けられているワークフロー定義(加工と配信フロー)を定義情報記憶部50から取得する。 S6: The workflow definition determination unit 44 acquires from the definition information storage unit 50 the workflow definition (processing and distribution flow) associated with the drawn image attribute information (color, shape and location).

S7:処理実行部42は加工に対応したプラグイン41-iを呼び出して、画像データに対する加工を行う。 S7: The processing execution unit 42 calls the plug-in 41-i corresponding to processing and processes the image data.

S8-1、8-2:次に、確認要求部43は内容確認通知を電子黒板2又はクライアントPCに送信する。内容確認通知とは、加工された画像データ又は加工された画像データを保存したURLを通知して、ユーザに加工結果を確認してもらうことをいう。確認により、ユーザは所望の加工が行われたか否かを判断できる。なお、内容確認通知は電子黒板2又はクライアントPCのいずれかに送信すればよい。また、電子黒板2又はクライアントPCのどちらにも内容確認通知を送信しなくてもよい。 S8-1, 8-2: Next, the confirmation request unit 43 transmits a content confirmation notification to the electronic blackboard 2 or the client PC. The content confirmation notification refers to notifying the processed image data or the URL where the processed image data is stored to have the user confirm the processing result. By checking, the user can determine whether or not the desired processing has been performed. Note that the content confirmation notification may be sent to either the electronic blackboard 2 or the client PC. Also, it is not necessary to send the content confirmation notification to neither the electronic blackboard 2 nor the client PC.

S9-1,9-2:電子黒板2又はクライアントPCのユーザは内容承認通知を配信サーバ40に送信する。例えば、画像データのIDと共に配信許可の旨を送信してもよいし、URL上で配信許可ボタンを押下してもよい。また、ユーザが加工された画像データを修正してもよい。修正により、ユーザは所望の加工を行うことができる。 S9-1, 9-2: The user of the electronic blackboard 2 or the client PC sends a content approval notification to the distribution server 40. FIG. For example, the ID of the image data may be sent along with the permission of distribution, or a distribution permission button may be pressed on the URL. Also, the user may correct the processed image data. The modification allows the user to perform desired processing.

S10:配信サーバ40の確認要求部43が内容承認通知を受信すると、配信フローに対応したプラグイン41-iが画像データを配信先装置60に配信する。 S10: When the confirmation request unit 43 of the distribution server 40 receives the content approval notification, the plug-in 41-i corresponding to the distribution flow distributes the image data to the distribution destination device 60. FIG.

<まとめ>
以上説明したように、本実施形態の配信システムは、電子黒板上で会議の資料等に書き込まれた描画像をカラーリストに基づいて抽出し、描画像の色、形状、及び、場所に応じて加工(画像処理)を行う。加工は、色と形状と場所によって予め決められており(塗りつぶし、色変換、OCR,文字フォントの変更)、加工後の画像データを配信相手に配信する。これにより、電子黒板2を用いた会議において、色を使い分けて手書きするという簡単な操作で、筆記者(ユーザ)の細かい要望に応じた加工を配信サーバ40が会議後に自動的に行い配信可能となる。
<Summary>
As described above, the delivery system of the present embodiment extracts a drawn image written in meeting materials or the like on an electronic blackboard based on a color list, and distributes Processing (image processing) is performed. The processing is predetermined according to the color, shape, and location (painting, color conversion, OCR, character font change), and the processed image data is distributed to the distribution partner. As a result, in a conference using the electronic blackboard 2, the distribution server 40 can automatically perform processing according to the detailed requests of the scribe (user) after the conference with a simple operation of handwriting in different colors. Become.

<その他の適用例>
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
<Other application examples>
Although the best mode for carrying out the present invention has been described above using examples, the present invention is by no means limited to such examples, and various modifications can be made without departing from the scope of the present invention. and substitutions can be added.

例えば、本実施形態では電子黒板2がメールサーバ20を介して画像データを配信サーバ40に送信したが、電子黒板2は画像データを直接、配信サーバ40に送信できる。例えば、配信サーバ40のWeb APIを使用する。 For example, although the electronic blackboard 2 transmits image data to the distribution server 40 via the mail server 20 in this embodiment, the electronic blackboard 2 can directly transmit image data to the distribution server 40 . For example, the Web API of distribution server 40 is used.

また、本実施形態では、描画像301と画像データが一体に電子黒板2から配信サーバ40に送信されているが、描画像301と画像データは別々の画像として送信されてもよい。この場合、描画像301は他の描画像だけでなく画像データのオブジェクトを特定できるように画像データに対する座標を有する。 Further, in the present embodiment, the drawn image 301 and the image data are transmitted together from the electronic blackboard 2 to the distribution server 40, but the drawn image 301 and the image data may be transmitted as separate images. In this case, the rendered image 301 has coordinates relative to the image data so that the object of the image data can be identified as well as other rendered images.

また、電子黒板2がワークフローに入力するデータは画像データに限られない。例えば、テキストデータ、PDF、又はHTMLデータなど、描画像301でワークフロー定義を指定できる電子データであれば電子黒板2が送信できる。 Further, the data that the electronic blackboard 2 inputs to the workflow is not limited to image data. For example, the electronic blackboard 2 can transmit any electronic data such as text data, PDF, or HTML data that can specify a workflow definition in the drawn image 301 .

また、電子黒板2は描画像301が手書きされた画像データを送信できる電子機器であればよい。例えば、プロジェクタ型の電子黒板がある。プロジェクタはカメラと音波で電子ペンの位置を検出し、描画像を投影する。このように電子黒板2は描画像を表示する機能を有していればよい。 Further, the electronic blackboard 2 may be any electronic device capable of transmitting image data in which the drawn image 301 is handwritten. For example, there is a projector-type electronic blackboard. The projector detects the position of the electronic pen with a camera and sound waves and projects a drawing image. Thus, the electronic blackboard 2 only needs to have the function of displaying drawn images.

例えば、スマートフォンやタブレット端末などでもユーザが描画像を手書きできるものは本実施形態の電子黒板2と成りうる。 For example, a smart phone, a tablet terminal, or the like that allows a user to handwrite a drawn image can be the electronic blackboard 2 of the present embodiment.

また、本実施形態では配信サーバ40が画像データに対する加工を行ったが、電子黒板が画像データに対する加工を行ってもよい。この場合、電子黒板が配信サーバとなる。 Also, in the present embodiment, the distribution server 40 processes the image data, but the electronic blackboard may process the image data. In this case, the electronic blackboard becomes the distribution server.

また、配信サーバ40とは別に複合機が存在してもよい。複数の配信サーバ40が存在してもよい。 Also, a multi-function device may exist separately from the distribution server 40 . A plurality of distribution servers 40 may exist.

また、図5などの構成例は、電子黒板2、メールサーバ20,及び配信サーバ40の処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。また、電子黒板2、メールサーバ20,及び配信サーバ40の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、1つの処理単位が更に多くの処理を含むように分割することもできる。 Further, the configuration examples of FIG. 5 and the like are divided according to the main functions in order to facilitate understanding of the processing of the electronic blackboard 2, mail server 20, and distribution server 40. FIG. The present invention is not limited by the division method or name of the unit of processing. Further, the processes of the electronic blackboard 2, the mail server 20, and the distribution server 40 can be divided into more processing units according to the processing contents. Also, one processing unit can be divided to include more processing.

なお、メール取得部48は受信手段の一例であり、描画像検出部47は描画像検出手段の一例であり、ワークフロー定義決定部44は加工方法決定手段の一例であり、プラグイン41-1は加工手段の一例であり、プラグイン41-2は配信手段の一例でり、形状判断部46は形状特定手段の一例であり、場所判断部45は場所特定手段の一例であり、ワークフロー定義登録受付部49は加工方法登録受付手段の一例であり、定義情報記憶部50は加工方法記憶部の一例である。画像生成部12は画像データ生成手段の一例であり、メール送信部13は送信手段の一例である。 The mail acquisition unit 48 is an example of receiving means, the drawn image detection unit 47 is an example of drawn image detection means, the workflow definition determination unit 44 is an example of processing method determination means, and the plug-in 41-1 is an example of a processing method determination unit. The plug-in 41-2 is an example of processing means, the plug-in 41-2 is an example of distribution means, the shape determination unit 46 is an example of shape identification means, the location determination unit 45 is an example of location identification means, and accepts workflow definition registration. The unit 49 is an example of processing method registration receiving means, and the definition information storage unit 50 is an example of a processing method storage unit. The image generation unit 12 is an example of image data generation means, and the mail transmission unit 13 is an example of transmission means.

2 電子黒板
3 ディスプレイ
4 電子ペン
20 メールサーバ
40 配信サーバ
60 配信先装置
100 配信システム
2 electronic blackboard 3 display 4 electronic pen 20 mail server 40 delivery server 60 delivery destination device 100 delivery system

特開2004-215176号公報Japanese Patent Application Laid-Open No. 2004-215176

Claims (9)

電子黒板から送信された画像データを配信する配信装置であって、
前記画像データ及び前記画像データに書き込まれた描画像の色情報を受信する受信手段と、
前記色情報に基づいて前記画像データから前記描画像を検出する描画像検出手段と、
前記描画像検出手段が検出した前記描画像に基づいて前記画像データに対する加工方法を決定する加工方法決定手段と、
前記描画像検出手段が検出した前記描画像に基づいて、前記画像データにおいて加工対象となるオブジェクトを決定し、前記加工方法決定手段が決定した加工方法で前記オブジェクトを加工する加工手段と、
前記加工手段により前記オブジェクトが加工された前記画像データを配信先に配信する配信手段と、
前記描画像検出手段が検出した前記描画像の場所を特定する場所特定手段と
前記描画像の色、前記描画像の形状、及び、前記描画像の場所に対応付けられた前記オブジェクトの加工方法と共に、前記描画像の色、前記描画像の形状、及び、前記描画像の場所に前記オブジェクトの前記配信先が対応付けられている加工方法記憶部と、を有し、
前記加工方法決定手段は、前記描画像の色、前記描画像の形状、及び、前記描画像の場所に対応付けられている前記オブジェクトの加工方法を前記加工方法記憶部から取得し、
前記配信手段は、前記加工方法記憶部において、前記描画像の色、前記描画像の形状、及び、前記描画像の場所に対応付けられている前記配信先に前記オブジェクトが加工された前記画像データを配信することを特徴とする配信装置。
A distribution device for distributing image data transmitted from an electronic blackboard,
receiving means for receiving the image data and color information of a drawn image written in the image data;
drawn image detection means for detecting the drawn image from the image data based on the color information;
processing method determination means for determining a processing method for the image data based on the drawn image detected by the drawn image detection means;
processing means for determining an object to be processed in the image data based on the drawn image detected by the drawn image detecting means, and processing the object by the processing method determined by the processing method determining means;
a distribution means for distributing the image data in which the object is processed by the processing means to a distribution destination;
a location identifying means for identifying the location of the drawn image detected by the drawn image detection means ;
The color of the drawn image, the shape of the drawn image, and the processing method of the object associated with the location of the drawn image, as well as the color of the drawn image, the shape of the drawn image, and the location of the drawn image. a processing method storage unit in which the delivery destination of the object is associated with
The processing method determination means acquires a processing method of the object associated with the color of the drawn image, the shape of the drawn image, and the location of the drawn image from the processing method storage unit,
The distributing means distributes the image data in which the object is processed to the distribution destination associated with the color of the drawn image, the shape of the drawn image, and the location of the drawn image in the processing method storage unit. A distribution device characterized by distributing the
電子黒板から送信された画像データを配信する配信装置であって、
前記画像データ及び前記画像データに書き込まれた描画像の色情報を受信する受信手段と、
前記色情報に基づいて前記画像データから前記描画像を検出する描画像検出手段と、
前記描画像検出手段が検出した前記描画像に基づいて前記画像データに対する加工方法を決定する加工方法決定手段と、
前記描画像検出手段が検出した前記描画像に基づいて、前記画像データにおいて加工対象となるオブジェクトを決定し、前記加工方法決定手段が決定した加工方法で前記オブジェクトを加工する加工手段と、
前記加工手段により前記オブジェクトが加工された前記画像データを配信先に配信する配信手段と、
前記描画像検出手段が検出した前記描画像の場所を特定する場所特定手段と
前記描画像の色、前記描画像の形状、及び、前記描画像の場所に前記オブジェクトの加工方法が対応付けられている加工方法記憶部と、を有し、
前記加工方法決定手段は、前記描画像の色、前記描画像の形状、及び、前記描画像の場所に対応付けられている前記オブジェクトの加工方法を前記加工方法記憶部から取得し、
前記描画像の色、前記描画像の形状、前記描画像の場所のそれぞれの選択、及び、前記オブジェクトの加工方法の選択を受け付け、
前記加工方法記憶部に、前記描画像の色、前記描画像の形状、前記描画像の場所、及び、前記オブジェクトの加工方法の選択を対応付けて記憶する加工方法登録受付手段を有することを特徴とする配信装置。
A distribution device for distributing image data transmitted from an electronic blackboard,
receiving means for receiving the image data and color information of a drawn image written in the image data;
drawn image detection means for detecting the drawn image from the image data based on the color information;
processing method determination means for determining a processing method for the image data based on the drawn image detected by the drawn image detection means;
processing means for determining an object to be processed in the image data based on the drawn image detected by the drawn image detecting means, and processing the object by the processing method determined by the processing method determining means;
a distribution means for distributing the image data in which the object is processed by the processing means to a distribution destination;
a location identifying means for identifying the location of the drawn image detected by the drawn image detection means ;
a processing method storage unit in which a processing method for the object is associated with the color of the drawn image, the shape of the drawn image, and the location of the drawn image ;
The processing method determination means acquires a processing method of the object associated with the color of the drawn image, the shape of the drawn image, and the location of the drawn image from the processing method storage unit,
Receiving selection of each of the color of the drawn image, shape of the drawn image, and location of the drawn image, and selection of a processing method for the object;
The processing method storage unit includes processing method registration reception means for storing the color of the drawn image, the shape of the drawn image, the location of the drawn image, and selection of a processing method for the object in association with each other . distribution device.
前記描画像検出手段が検出した前記描画像の形状を特定する形状特定手段を有し、
前記加工方法決定手段は、前記形状特定手段が特定した前記形状及び前記色情報に基づいて前記オブジェクトの加工方法を決定することを特徴とする請求項1又は2に記載の配信装置。
a shape identifying means for identifying the shape of the drawn image detected by the drawn image detecting means;
3. The distribution apparatus according to claim 1, wherein said processing method determining means determines a processing method for said object based on said shape and said color information specified by said shape specifying means.
電子黒板から送信された画像データを配信する配信装置を、
前記画像データ及び前記画像データに書き込まれた描画像の色情報を受信する受信手段と、
前記色情報に基づいて前記画像データから前記描画像を検出する描画像検出手段と、
前記描画像検出手段が検出した前記描画像に基づいて前記画像データに対する加工方法を決定する加工方法決定手段と、
前記描画像検出手段が検出した前記描画像に基づいて、前記画像データにおいて加工対象となるオブジェクトを決定し、前記加工方法決定手段が決定した加工方法で前記オブジェクトを加工する加工手段と、
前記加工手段により前記オブジェクトが加工された前記画像データを配信先に配信する配信手段と、
前記描画像検出手段が検出した前記描画像の場所を特定する場所特定手段と
前記描画像の色、前記描画像の形状、及び、前記描画像の場所に対応付けられた前記オブジェクトの加工方法と共に、前記描画像の色、前記描画像の形状、及び、前記描画像の場所に前記オブジェクトの前記配信先が対応付けられている加工方法記憶部、として機能させ、
前記加工方法決定手段は、前記描画像の色、前記描画像の形状、及び、前記描画像の場所に対応付けられている前記オブジェクトの加工方法を前記加工方法記憶部から取得し、
前記配信手段は、前記加工方法記憶部において、前記描画像の色、前記描画像の形状、及び、前記描画像の場所に対応付けられている前記配信先に前記オブジェクトが加工された前記画像データを配信することを特徴とするプログラム。
A distribution device for distributing image data transmitted from an electronic blackboard,
receiving means for receiving the image data and color information of a drawn image written in the image data;
drawn image detection means for detecting the drawn image from the image data based on the color information;
processing method determination means for determining a processing method for the image data based on the drawn image detected by the drawn image detection means;
processing means for determining an object to be processed in the image data based on the drawn image detected by the drawn image detecting means, and processing the object by the processing method determined by the processing method determining means;
a distribution means for distributing the image data in which the object is processed by the processing means to a distribution destination;
a location identifying means for identifying the location of the drawn image detected by the drawn image detection means ;
The color of the drawn image, the shape of the drawn image, and the processing method of the object associated with the location of the drawn image, as well as the color of the drawn image, the shape of the drawn image, and the location of the drawn image. functions as a processing method storage unit in which the delivery destination of the object is associated with
The processing method determination means acquires a processing method of the object associated with the color of the drawn image, the shape of the drawn image, and the location of the drawn image from the processing method storage unit,
The distributing means distributes the image data in which the object is processed to the distribution destination associated with the color of the drawn image, the shape of the drawn image, and the location of the drawn image in the processing method storage unit. A program characterized by delivering
電子黒板から送信された画像データを配信する配信装置を、
前記画像データ及び前記画像データに書き込まれた描画像の色情報を受信する受信手段と、
前記色情報に基づいて前記画像データから前記描画像を検出する描画像検出手段と、
前記描画像検出手段が検出した前記描画像に基づいて前記画像データに対する加工方法を決定する加工方法決定手段と、
前記描画像検出手段が検出した前記描画像に基づいて、前記画像データにおいて加工対象となるオブジェクトを決定し、前記加工方法決定手段が決定した加工方法で前記オブジェクトを加工する加工手段と、
前記加工手段により前記オブジェクトが加工された前記画像データを配信先に配信する配信手段と、
前記描画像検出手段が検出した前記描画像の場所を特定する場所特定手段と
前記描画像の色、前記描画像の形状、及び、前記描画像の場所に前記オブジェクトの加工方法が対応付けられている加工方法記憶部、として機能させ、
前記加工方法決定手段は、前記描画像の色、前記描画像の形状、及び、前記描画像の場所に対応付けられている前記オブジェクトの加工方法を前記加工方法記憶部から取得し、
前記描画像の色、前記描画像の形状、前記描画像の場所のそれぞれの選択、及び、前記オブジェクトの加工方法の選択を受け付け、
前記加工方法記憶部に、前記描画像の色、前記描画像の形状、前記描画像の場所、及び、前記オブジェクトの加工方法の選択を対応付けて記憶する加工方法登録受付手段として機能させることを特徴とするプログラム。
A distribution device for distributing image data transmitted from an electronic blackboard,
receiving means for receiving the image data and color information of a drawn image written in the image data;
drawn image detection means for detecting the drawn image from the image data based on the color information;
processing method determination means for determining a processing method for the image data based on the drawn image detected by the drawn image detection means;
processing means for determining an object to be processed in the image data based on the drawn image detected by the drawn image detecting means, and processing the object by the processing method determined by the processing method determining means;
a distribution means for distributing the image data in which the object is processed by the processing means to a distribution destination;
a location identifying means for identifying the location of the drawn image detected by the drawn image detection means ;
Functioning as a processing method storage unit in which a processing method for the object is associated with the color of the drawn image, the shape of the drawn image, and the location of the drawn image ,
The processing method determination means acquires a processing method of the object associated with the color of the drawn image, the shape of the drawn image, and the location of the drawn image from the processing method storage unit,
Receiving selection of each of the color of the drawn image, shape of the drawn image, and location of the drawn image, and selection of a processing method for the object;
The processing method storage unit functions as a processing method registration reception unit that associates and stores the color of the drawn image, the shape of the drawn image, the location of the drawn image, and selection of the processing method for the object. Program characterized.
前記配信装置を、
前記描画像検出手段が検出した前記描画像の形状を特定する形状特定手段として機能させ、
前記加工方法決定手段は、前記形状特定手段が特定した前記形状及び前記色情報に基づいて前記オブジェクトの加工方法を決定することを特徴とする請求項4又は5に記載のプログラム。
the delivery device,
Functioning as shape identification means for identifying the shape of the drawn image detected by the drawn image detection means,
6. The program according to claim 4 , wherein said processing method determining means determines a processing method for said object based on said shape and said color information specified by said shape specifying means.
電子黒板と、前記電子黒板から送信された画像データを配信する配信装置と、を有する配信システムであって、
前記電子黒板は、
ディスプレイに表示された画像に対し手書きされた描画像を画像と共に取り込んで画像データを生成する画像データ生成手段と、
前記画像データ生成手段が生成した前記画像データを前記配信装置に送信する送信手段と、を有し、
前記配信装置は、
前記画像データ及び前記画像データに書き込まれた描画像の色情報を受信する受信手段と、
前記色情報に基づいて前記画像データから前記描画像を検出する描画像検出手段と、
前記描画像検出手段が検出した前記描画像に基づいて前記画像データに対する加工方法を決定する加工方法決定手段と、
前記描画像検出手段が検出した前記描画像に基づいて、前記画像データにおいて加工対象となるオブジェクトを決定し、前記加工方法決定手段が決定した加工方法で前記オブジェクトを加工する加工手段と、
前記加工手段により前記オブジェクトが加工された前記画像データを配信先に配信する配信手段と、
前記描画像検出手段が検出した前記描画像の場所を特定する場所特定手段と
前記描画像の色、前記描画像の形状、及び、前記描画像の場所に対応付けられた前記オブジェクトの加工方法と共に、前記描画像の色、前記描画像の形状、及び、前記描画像の場所に前記オブジェクトの前記配信先が対応付けられている加工方法記憶部と、を有し、
前記加工方法決定手段は、前記描画像の色、前記描画像の形状、及び、前記描画像の場所に対応付けられている前記オブジェクトの加工方法を前記加工方法記憶部から取得し、
前記配信手段は、前記加工方法記憶部において、前記描画像の色、前記描画像の形状、及び、前記描画像の場所に対応付けられている前記配信先に前記オブジェクトが加工された前記画像データを配信することを特徴とする配信システム。
A delivery system comprising an electronic blackboard and a delivery device for delivering image data transmitted from the electronic blackboard,
The electronic blackboard is
an image data generation means for generating image data by taking in a drawn image handwritten on an image displayed on a display together with the image;
transmitting means for transmitting the image data generated by the image data generating means to the distribution device;
The distribution device
receiving means for receiving the image data and color information of a drawn image written in the image data;
drawn image detection means for detecting the drawn image from the image data based on the color information;
processing method determination means for determining a processing method for the image data based on the drawn image detected by the drawn image detection means;
processing means for determining an object to be processed in the image data based on the drawn image detected by the drawn image detection means, and processing the object by the processing method determined by the processing method determining means;
a distribution means for distributing the image data in which the object has been processed by the processing means to a distribution destination;
a location identifying means for identifying the location of the drawn image detected by the drawn image detection means ;
The color of the drawn image, the shape of the drawn image, and the processing method of the object associated with the location of the drawn image, as well as the color of the drawn image, the shape of the drawn image, and the location of the drawn image. a processing method storage unit in which the delivery destination of the object is associated with
The processing method determination means acquires a processing method of the object associated with the color of the drawn image, the shape of the drawn image, and the location of the drawn image from the processing method storage unit,
The distributing means distributes the image data in which the object is processed to the distribution destination associated with the color of the drawn image, the shape of the drawn image, and the location of the drawn image in the processing method storage unit. A distribution system characterized by distributing the
電子黒板と、前記電子黒板から送信された画像データを配信する配信装置と、を有する配信システムであって、
前記電子黒板は、
ディスプレイに表示された画像に対し手書きされた描画像を画像と共に取り込んで画像データを生成する画像データ生成手段と、
前記画像データ生成手段が生成した前記画像データを前記配信装置に送信する送信手段と、を有し、
前記配信装置は、
前記画像データ及び前記画像データに書き込まれた描画像の色情報を受信する受信手段と、
前記色情報に基づいて前記画像データから前記描画像を検出する描画像検出手段と、
前記描画像検出手段が検出した前記描画像に基づいて前記画像データに対する加工方法を決定する加工方法決定手段と、
前記描画像検出手段が検出した前記描画像に基づいて、前記画像データにおいて加工対象となるオブジェクトを決定し、前記加工方法決定手段が決定した加工方法で前記オブジェクトを加工する加工手段と、
前記加工手段により前記オブジェクトが加工された前記画像データを配信先に配信する配信手段と、
前記描画像検出手段が検出した前記描画像の場所を特定する場所特定手段と
前記描画像の色、前記描画像の形状、及び、前記描画像の場所に前記オブジェクトの加工方法が対応付けられている加工方法記憶部と、を有し、
前記加工方法決定手段は、前記描画像の色、前記描画像の形状、及び、前記描画像の場所に対応付けられている前記オブジェクトの加工方法を前記加工方法記憶部から取得し、
前記描画像の色、前記描画像の形状、前記描画像の場所のそれぞれの選択、及び、前記オブジェクトの加工方法の選択を受け付け、
前記加工方法記憶部に、前記描画像の色、前記描画像の形状、前記描画像の場所、及び、前記オブジェクトの加工方法の選択を対応付けて記憶する加工方法登録受付手段を有することを特徴とする配信システム。
A delivery system comprising an electronic blackboard and a delivery device for delivering image data transmitted from the electronic blackboard,
The electronic blackboard is
an image data generation means for generating image data by taking in a drawn image handwritten on an image displayed on a display together with the image;
transmitting means for transmitting the image data generated by the image data generating means to the distribution device;
The distribution device
receiving means for receiving the image data and color information of a drawn image written in the image data;
drawn image detection means for detecting the drawn image from the image data based on the color information;
processing method determination means for determining a processing method for the image data based on the drawn image detected by the drawn image detection means;
processing means for determining an object to be processed in the image data based on the drawn image detected by the drawn image detecting means, and processing the object by the processing method determined by the processing method determining means;
a distribution means for distributing the image data in which the object is processed by the processing means to a distribution destination;
a location identifying means for identifying the location of the drawn image detected by the drawn image detection means ;
a processing method storage unit in which a processing method for the object is associated with the color of the drawn image, the shape of the drawn image, and the location of the drawn image ;
The processing method determination means acquires a processing method of the object associated with the color of the drawn image, the shape of the drawn image, and the location of the drawn image from the processing method storage unit,
Receiving selection of each of the color of the drawn image, shape of the drawn image, and location of the drawn image, and selection of a processing method for the object;
The processing method storage unit includes processing method registration reception means for storing the color of the drawn image, the shape of the drawn image, the location of the drawn image, and selection of a processing method for the object in association with each other . delivery system.
前記配信装置は
前記描画像検出手段が検出した前記描画像の形状を特定する形状特定手段を有し、
前記加工方法決定手段は、前記形状特定手段が特定した前記形状及び前記色情報に基づいて前記オブジェクトの加工方法を決定することを特徴とする請求項7又は8に記載の配信システム。
The distribution device
a shape identifying means for identifying the shape of the drawn image detected by the drawn image detecting means;
9. The delivery system according to claim 7 , wherein said processing method determining means determines a processing method for said object based on said shape and said color information specified by said shape specifying means.
JP2018138042A 2018-07-23 2018-07-23 Delivery device, program, delivery system Active JP7159669B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018138042A JP7159669B2 (en) 2018-07-23 2018-07-23 Delivery device, program, delivery system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018138042A JP7159669B2 (en) 2018-07-23 2018-07-23 Delivery device, program, delivery system

Publications (2)

Publication Number Publication Date
JP2020016963A JP2020016963A (en) 2020-01-30
JP7159669B2 true JP7159669B2 (en) 2022-10-25

Family

ID=69579543

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018138042A Active JP7159669B2 (en) 2018-07-23 2018-07-23 Delivery device, program, delivery system

Country Status (1)

Country Link
JP (1) JP7159669B2 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000043485A (en) 1998-07-31 2000-02-15 Ricoh Co Ltd Electronic whiteboard system
JP2016200860A (en) 2015-04-07 2016-12-01 キヤノン株式会社 Information processing apparatus, control method thereof, and program

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0262671A (en) * 1988-08-30 1990-03-02 Toshiba Corp Color editing processor
JPH1141452A (en) * 1997-07-23 1999-02-12 Minolta Co Ltd Image forming device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000043485A (en) 1998-07-31 2000-02-15 Ricoh Co Ltd Electronic whiteboard system
JP2016200860A (en) 2015-04-07 2016-12-01 キヤノン株式会社 Information processing apparatus, control method thereof, and program

Also Published As

Publication number Publication date
JP2020016963A (en) 2020-01-30

Similar Documents

Publication Publication Date Title
US10901605B2 (en) Electronic whiteboard, method for displaying data, and image processing system
JP4719543B2 (en) Workflow system, server device, processing method of workflow system, and workflow program
JP6880763B2 (en) Information analysis system, information analysis method
EP3251055B1 (en) Information processing apparatus and program
JP6733393B2 (en) Shared terminal, communication system, image transmission method, and program
JP2016134014A (en) Electronic information board device, information processing method and program
US10412267B2 (en) Document management system
US10079952B2 (en) System, apparatus and method for processing and combining notes or comments of document reviewers
JP6992293B2 (en) Shared terminals, communication systems, image transmission methods, and programs
US20180082663A1 (en) Information processing apparatus, image displaying method, and non-transitory computer readable medium
JP6919432B2 (en) Shared terminals, communication systems, communication methods, and programs
US10887479B2 (en) Multifunctional peripheral device detecting and displaying signature lines within an electronic document
US20050071738A1 (en) Scan document identification-send scanning using a template so that users can handwrite the destination and identification information
JP7159669B2 (en) Delivery device, program, delivery system
US11979440B2 (en) Text data transmission-reception system, shared terminal, and method of processing information
JP7543788B2 (en) Display device, input method, and program
JP7259828B2 (en) Display device, display method, program
JP7056285B2 (en) Shared terminals, communication systems, communication methods, and programs
JP7081195B2 (en) Communication terminals, communication systems, communication methods, and programs
JP5371926B2 (en) How to convert handwritten data into clear text
US20240193975A1 (en) Image processing apparatus, image processing method, and storage medium
WO2016121403A1 (en) Information processing apparatus, image processing system, and program
JP7017167B2 (en) Shared terminals, communication systems, image transmission methods, and programs
JP7040248B2 (en) Shared terminals, communication systems, communication methods, and programs
JP7147334B2 (en) Shared terminal, communication system, display method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210520

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220412

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220913

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220926

R151 Written notification of patent or utility model registration

Ref document number: 7159669

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151