WO2021075280A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2021075280A1
WO2021075280A1 PCT/JP2020/037531 JP2020037531W WO2021075280A1 WO 2021075280 A1 WO2021075280 A1 WO 2021075280A1 JP 2020037531 W JP2020037531 W JP 2020037531W WO 2021075280 A1 WO2021075280 A1 WO 2021075280A1
Authority
WO
WIPO (PCT)
Prior art keywords
writing
image
board
area
written
Prior art date
Application number
PCT/JP2020/037531
Other languages
English (en)
French (fr)
Inventor
野村　直樹
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/767,394 priority Critical patent/US20240078007A1/en
Priority to CN202080070912.XA priority patent/CN114514499A/zh
Priority to JP2021552314A priority patent/JP7447908B2/ja
Publication of WO2021075280A1 publication Critical patent/WO2021075280A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B43—WRITING OR DRAWING IMPLEMENTS; BUREAU ACCESSORIES
    • B43L—ARTICLES FOR WRITING OR DRAWING UPON; WRITING OR DRAWING AIDS; ACCESSORIES FOR WRITING OR DRAWING
    • B43L1/00—Repeatedly-usable boards or tablets for writing or drawing
    • B43L1/04—Blackboards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program, and more particularly to an information processing device, an information processing method, and a program capable of appropriately recording the information written in the writing target.
  • Patent Document 1 when the writer holds (for example, lifts) the blackboard eraser, the information on the blackboard is photographed by a digital camera, so that the information written on the blackboard is erased before the blackboard is erased.
  • the technology for recording the information on the blackboard is disclosed.
  • Patent Document 1 there is a possibility that the information written in the writing target cannot be properly recorded.
  • This disclosure was made in view of such a situation, and makes it possible to appropriately record the information written in the writing target.
  • the information processing apparatus of the present disclosure has an area setting unit for setting a writing area including the writing information in a writing image indicating a writing target in which the writing information is written, and the writing image according to a change in the writing area. It is an information processing device including a recording control unit that controls recording.
  • the information processing apparatus sets a writing area including the writing information in a writing image including the writing information written on the writing target, and responds to a change in the writing area.
  • a writing area including the writing information is set in the writing image including the writing information written on the writing target, and the recording of the writing image is controlled according to the change of the writing area.
  • FIG. 1 is a diagram showing an outline of a board writing recording system according to the present embodiment.
  • the board writing recording system 1 is configured to include an information processing device 10 and an input device 20 connected to the information processing device 10.
  • the writing target 2 is an object on which visual information (hereinafter referred to as writing information 3) such as dots, lines, characters, sentences, mathematical formulas, symbols, pictures, figures, or images is written.
  • writing information 3 such as dots, lines, characters, sentences, mathematical formulas, symbols, pictures, figures, or images
  • Writing target 2 is composed of a blackboard, a whiteboard, electronic paper, a touch panel, and the like.
  • the writing information 3 is written on the writing target 2 by a chalk, a marker, a stylus, a finger, or the like, and is erased from the writing target 2 by a blackboard eraser or an eraser.
  • the writer 4 is a person who performs an operation on the writing target 2.
  • the writer 4 writes the writing information 3 on the writing target 2 and deletes the writing information 3 written on the writing target 2. For example, in a lecture or a conference, the writer 4 gives an explanation about the writing information 3 while instructing the writing information 3 written on the writing target 2 with a hand, a laser pointer, a pointer, or the like.
  • the input device 20 is a device for inputting information about the physical space in which the input device 20 is installed.
  • the input device 20 is configured to include, for example, an image pickup device and a voice input device.
  • the image pickup device photoelectrically converts the image pickup light obtained by the lens system composed of an image pickup lens, an aperture, a zoom lens, a focus lens, etc. It includes an image sensor that generates an imaging signal and the like.
  • the audio input device includes a microphone that picks up ambient sound, a microphone amplifier circuit that amplifies the audio signal obtained by the microphone, an A / D converter, and a signal processing circuit such as a noise canceller.
  • the input device 20 outputs image data converted into a digital signal and audio data at the time of imaging.
  • the input device 20 can take an image of an object in the physical space as an image pickup target.
  • the input device 20 takes an image of the writing object 2 in which the writing information 3 is written as an imaging object, associates the imaging time with the acquired image, and outputs the image to the information processing apparatus 10.
  • the image acquired by imaging may include other than the writing target 2.
  • the input device 20 outputs the image extracted from the image acquired by the imaging to the information processing device 10.
  • the information processing device 10 For example, an image obtained by extracting a region in which the writing target 2 is reflected from the image acquired by imaging is output to the information processing device 10.
  • the function as the input device 20 may be provided in the writing target 2.
  • the input device 20 and the writing target 2 are realized as an electronic blackboard that acquires and outputs an image by scanning the state of the writing target 2.
  • the input device 20 acquires the image of the writing target 2, associates the acquisition time with the acquired image, and outputs the image to the information processing device 10.
  • the image input by the input device 20 may be a moving image.
  • the moving image is data including a plurality of still images (image data) and the reproduction time (corresponding to the imaging time) of each still image.
  • image data image data
  • reproduction time corresponding to the imaging time
  • the still image that constitutes the moving image is also called a frame.
  • the number of frames per unit time is also called the frame rate and is represented by the number of frames per second (FPS: FramePerSecond).
  • the image input by the input device 20 may be a still image. In that case, the input device 20 continuously inputs images.
  • the number of images input per unit time is also referred to as a frame rate following a moving image.
  • the image of the writing target 2 in which the writing information 3 is written which is input by the input device 20, is referred to as a writing image or a board writing image.
  • the board writing image shall be a still image. If the image input by the input device 20 is a moving image, the board writing image is one still image constituting the moving image.
  • the information processing device 10 selectively records the board writing image to be recorded among the board writing images input by the input device 20.
  • recording means storing information in a storage medium.
  • the information processing device 10 monitors the board writing image and records the board writing image by detecting that the writing information 3 written in the writing target 2 has changed.
  • a board image that is selectively recorded based on a change in written information is also referred to as a recorded image below.
  • the change in the written information 3 may be the deletion of the written information 3.
  • the information processing device 10 records the board-written image before the start of erasing as a recorded image.
  • the most written information 3 is written in the writing target 2 before the start of erasing the written information 3. Therefore, by selectively recording the board-written image before the start of erasing, unnecessary recording can be suppressed and the board-written image can be efficiently recorded.
  • the change in the written information 3 may be the writing (that is, additional writing) of the written information 3.
  • the information processing device 10 records the board writing image after the addition is completed as a recorded image.
  • the writing information 3 is most often written in the writing target 2 after the addition of the writing information 3 is completed. Therefore, by selectively recording the board-written image after the addition is completed, unnecessary recording can be suppressed and the board-written image can be efficiently recorded.
  • FIG. 2 is a block diagram showing a functional configuration example of the board writing recording system 1.
  • the board writing recording system 1 of FIG. 2 is configured to include an information processing device 10, an input device 20, and an output device 30.
  • the input device 20 continuously inputs the board writing image and outputs each of the board writing images to the information processing device 10.
  • the output device 30 is a device that outputs information based on the control of the information processing device 10.
  • the output device 30 is realized by a display device such as a liquid crystal display device, a plasma display device, an organic EL (Electro-Luminescence) display device, a laser projector, an LED (Light Emitting Diode) projector, and a lamp.
  • a display device such as a liquid crystal display device, a plasma display device, an organic EL (Electro-Luminescence) display device, a laser projector, an LED (Light Emitting Diode) projector, and a lamp.
  • the board writing image (recorded image) on the output device 30, for example, a student who is taking a lecture in a lecture room or a viewer who is watching the lecture in a distant classroom is written in the writing target 2.
  • the written information 3 written can be confirmed in real time.
  • the information processing device 10 is a device that controls the operation of the entire board writing recording system 1.
  • the information processing device 10 is realized by an arbitrary device such as a PC (Personal Computer), a smartphone, a tablet terminal, or a dedicated device.
  • the information processing device 10 includes an image acquisition unit 51, a board writing image extraction unit 52, a board writing area setting unit 53, a recording control unit 54, a storage unit 55, and an output control unit 56.
  • the image acquisition unit 51 acquires, for example, a frame-based image input by the input device 20, and supplies the image to the board writing image extraction unit 52.
  • the board writing image extraction unit 52 extracts the area in which the writing target 2 is reflected from the image from the image acquisition unit 51 as a board writing image.
  • the extracted board writing image is supplied to the board writing area setting unit 53.
  • the board writing area setting unit 53 sets a writing area, which is an area including the writing information 3, in the board writing image (writing image) indicating the writing target 2.
  • the writing area is an area indicating the ratio of the writing information 3 to the written range in the writing object 2 as a whole. In the following, the writing area is also referred to as a board writing area.
  • the board writing image in which the board writing area is set is supplied to the recording control unit 54.
  • the recording control unit 54 records the board writing image in the storage unit 55 according to the change in the writing area in the board writing image in frame units, specifically, depending on whether the board writing area is increased or decreased. To control.
  • the recording control unit 54 includes a mode setting unit 61.
  • the mode setting unit 61 sets the board writing state mode indicating the state of change of the writing information 3 in the board writing image (writing target 2).
  • the writing on-board state mode includes a "writing on-board” mode indicating that the writing information 3 is being written (added) on the writing target 2, and a "erasing on-board writing” indicating a state in which the writing information 3 is erased on the writing target 2. There is a "medium” mode.
  • the recording control unit 54 controls the recording of the board writing image in the storage unit 55 according to the board writing state mode set by the mode setting unit 61.
  • the storage unit 55 records the board writing image as a recorded image under the control of the recording control unit 54.
  • the output control unit 56 generates output information based on the board writing image stored in the storage unit 55, and causes the output device 30 to output the output information.
  • step S11 the image acquisition unit 51 acquires an image input from the input device 20.
  • FIG. 4 shows an example of a captured image input from the input device 20.
  • the captured image 80 shown in FIG. 4 shows the writing target 2 and the writing person 4 on which the writing information 3 is written.
  • the captured image 80 may be one frame of a moving image or a still image.
  • the writing target 2 is made to appear sufficiently large, and the writing information 3 written on the writing target 2 is made to appear in a color close to the color seen by the naked eye.
  • step S12 the board writing image extraction unit 52 extracts the board writing image from the captured image acquired by the image acquisition unit 51.
  • the extraction of the board writing image may be performed automatically or manually.
  • the four points c1, c2, c3, and c4 at the four corners of the writing target 2 are designated in the captured image 80, so that the writing target 2 The area is specified, and the four points c1 to c4 are projected and converted to extract the board image 90.
  • the shape of the writer 4 is recognized in the board image 90, and the area in which the writer 4 is reflected is excluded, so that the board image 90 in which only the writing target 2 is reflected can be obtained as shown in FIG. ..
  • a method for removing the region in which the writer 4 is reflected from the board image 90 for example, a technique such as moving object removal is used, but other techniques may be used.
  • the pixels in which the writing information 3 is written in the writing target 2 are made white (for example, 1), and the other pixels are made black (for example, 0).
  • the binarization process to convert is performed.
  • a binarized image composed of black pixels and white pixels as shown in FIG. 7 is obtained as the board writing image 100.
  • step S13 the board writing area setting unit 53 sets the board writing area in the board writing image extracted by the board writing image extraction unit 52.
  • the board writing area setting unit 53 sets the board writing area by performing expansion processing on the writing information 3 in the board writing image. Further, the board writing area setting unit 53 performs a resolution reduction process on the board writing image in which the board writing area is set.
  • the board-written image 110 is a binarized image having a resolution of 1920 ⁇ 1080 pixels and the area of white pixels occupies about 5% of the entire board-written image 110.
  • the board writing image 120 is a binarized image having a resolution of 320 ⁇ 180 pixels and the area of white pixels occupies about 22% of the entire board writing image 120.
  • a board writing image in which a board writing area is set like the board writing image 120 is also referred to as a board writing area image.
  • the white pixel area is the board writing area indicating the ratio of the writing information 3 to the writing range in the writing target 2.
  • the size of the writing area on the board is an index showing what percentage of the writing target 2 is used for writing.
  • the area of the white pixels was about 5% of the entire board writing image 110, whereas in the board writing image 120, the area of the white pixels was the board writing image. It is about 22% of the total of 120.
  • step S14 the recording control unit 54 executes the recording control process according to the board writing state mode.
  • the mode setting unit 61 of the recording control unit 54 sets the board writing state mode according to the change in the board writing area. Specifically, when the board writing area increases, the mode setting unit 61 sets the "board writing creating" mode as the board writing state mode. On the other hand, when the board writing area is reduced, the mode setting unit 61 sets the "board writing erasing" mode as the board writing state mode.
  • the recording control unit 54 controls the recording of the board writing image in the storage unit 55 based on the set board writing state mode. Specifically, when the "writing on board” mode is set, since the writing information is added to the writing on the board, the recording control unit 54 updates the recording candidate image that is a candidate for the recording image. On the other hand, when the "erasing board writing" mode is set, since the writing information is erased in the board writing image, the recording control unit 54 records the recording candidate image at that time as a recording image.
  • FIG. 9 is a diagram illustrating recording control according to a change in the board writing area in the board writing image.
  • FIG. 9 shows a board writing image, a board writing area image, and a recording candidate image at each of the times t1 to t4.
  • the recording candidate image at time t1 is a recording candidate image updated by the board writing image on which "AB" is written.
  • the board writing state mode is set according to the change in the board writing area, and the recording of the board writing image is controlled based on the set board writing state mode.
  • the recording of the board writing image is controlled according to the change of the board writing area set in the board writing image, not the change of the writing information in the board writing image.
  • the board image is recorded in a state closer to the human sense, so that the information written on the writing target can be appropriately recorded. It becomes.
  • step S31 the recording control unit 54 determines whether or not the board writing state mode is the "board writing in progress" mode.
  • the board writing state mode for the current frame is determined by the change in the board writing area in the previous frame.
  • the board writing state mode for the first frame is the "board writing erasing" mode.
  • step S32 If it is determined that the board writing state mode is the "board writing in progress" mode, the process proceeds to step S32.
  • step S32 the recording control unit 54 determines whether or not the board writing area has increased by one pixel or more from the current value.
  • the size of the board writing area shall be stored in pixel units.
  • the current value of the board writing area is held in a predetermined storage area, and is appropriately updated for each frame of the board writing image.
  • step S33 If it is determined that the board writing area has increased by one pixel or more from the current value, that is, if the writing information is added in the writing target 2, the process proceeds to step S33.
  • step S33 the recording control unit 54 updates the recording candidate image with the board writing image at that time.
  • the recording candidate image is held in a predetermined storage area, and is updated by the board writing image at that time by increasing the board writing area, for example.
  • step S34 the recording control unit 54 updates the current value and the maximum value of the board writing area to the number of pixels of the board writing area (the size of the board writing area) at that time.
  • the maximum value of the board writing area is also held in a predetermined storage area, and is appropriately updated for each frame of the board writing image.
  • step S35 the recording control unit 54 maintains the "board writing creating" mode as the board writing state mode, and the process proceeds to the board writing recording process of the next frame.
  • flow F1 the processing flow of steps S31 to S35 is appropriately referred to as flow F1.
  • step S32 If it is determined in step S32 that the board writing area has not increased by one pixel or more from the current value, the process proceeds to step S36.
  • step S36 the recording control unit 54 determines whether or not the board writing area has decreased by 5% or more from the maximum value.
  • step S37 When it is determined that the writing area on the board is reduced by 5% or more from the maximum value, that is, when the writing information is erased by a certain amount or more in the writing target 2, the process proceeds to step S37.
  • step S37 the recording control unit 54 records the recording candidate image at that time as a recording image.
  • the recording control unit 54 updates the minimum value of the board writing area to the number of pixels of the board writing area (the size of the board writing area) at that time.
  • the minimum value of the board writing area is also held in a predetermined storage area, and is appropriately updated for each frame of the board writing image.
  • step S39 the recording control unit 54 shifts the board writing state mode to the "board writing erasing" mode, and the process proceeds to the board writing recording process of the next frame.
  • step S36 if it is determined that the board writing area is not reduced by 5% or more from the maximum value, the process proceeds to step S40.
  • step S40 the recording control unit 54 updates the current value of the board writing area to the number of pixels of the board writing area (the size of the board writing area) at that time.
  • step S41 the recording control unit 54 maintains the "board writing creating" mode as the board writing state mode, and the process proceeds to the board writing recording process of the next frame.
  • flow F3 the processing flow of steps S31, S32, S36, S40, and S41 is appropriately referred to as flow F3.
  • step S31 when it is determined that the board writing state mode is not the "board writing in progress” mode, that is, when the board writing state mode is the "board writing erasing" mode, the process proceeds to step S42 in FIG.
  • step S42 the recording control unit 54 determines whether or not the board writing area is reduced by one pixel or more from the minimum value.
  • step S43 When it is determined that the writing area on the board is reduced by one pixel or more from the minimum value, that is, when the writing information is erased in the writing target 2, the process proceeds to step S43.
  • step S43 the recording control unit 54 updates the minimum value of the board writing area to the number of pixels of the board writing area (the size of the board writing area) at that time.
  • step S44 the recording control unit 54 maintains the "board writing erasing" mode as the board writing state mode, and the process proceeds to the board writing recording process of the next frame.
  • step S42 If it is determined in step S42 that the board writing area is not reduced by one pixel or more from the minimum value, the process proceeds to step S45.
  • step S45 the recording control unit 54 determines whether or not the board writing area has increased by 1% or more from the minimum value.
  • step S46 When it is determined that the board writing area has increased by 1% or more from the minimum value, that is, when the writing information is added by a certain amount or more in the writing target 2, the process proceeds to step S46.
  • step S46 the recording control unit 54 updates the recording candidate image with the board writing image at that time.
  • step S47 the recording control unit 54 updates the current value of the board writing area to the number of pixels of the board writing area (the size of the board writing area) at that time.
  • step S48 the recording control unit 54 shifts the board writing state mode to the "board writing creating" mode, and the process proceeds to the board writing recording process of the next frame.
  • step S45 If it is determined in step S45 that the board writing area has not increased by 1% or more from the minimum value, the process proceeds to step S49.
  • step S49 the recording control unit 54 maintains the "board writing erasing" mode as the board writing state mode, and the process proceeds to the board writing recording process of the next frame.
  • the recording of the board writing image is controlled according to the board writing state mode.
  • FIG. 12 is a diagram showing an example of mode transition of the board writing state mode in the recording control process described with reference to the flowcharts of FIGS. 10 and 11.
  • FIG. 12 shows changes in the written information in the board writing image at each time from time T1 to T6.
  • the board writing process is started at time T1.
  • the board writing state mode at this time is set to the "board writing erasing" mode.
  • FIG. 13 is a diagram showing an example of a mode transition after the time T6 in FIG.
  • FIG. 13 shows changes in the written information in the board writing image at each time from time T11 to T16.
  • the written information is not further erased from the state at time T11, and the process of flow F6 in the above-mentioned record control process is executed. As a result, the "erasing board" mode is maintained.
  • the recording candidate image including the writing information included in the recorded recorded image is recorded again as the recorded image, so that useless recording may occur.
  • FIG. 14 is a block diagram showing another functional configuration example of the board writing recording system 1.
  • the information processing device 10 of FIG. 14 is different from the information processing device 10 of FIG. 2 in that the recording control unit 54 further includes the pixel information setting unit 161.
  • the pixel information setting unit 161 sets pixel information representing the state of each pixel in the board writing area in the board writing image (board writing area image).
  • the writing information is written as pixel information on the pixels forming the board writing area corresponding to the writing information that has not been erased (remaining) after being written in the board writing area image.
  • the remaining time on the board which is the elapsed time since then.
  • the pixel information setting unit 161 is provided with pixel information in pixels forming a board writing area (hereinafter referred to as a recorded area) corresponding to the written information that has been recorded as a recorded image and has not been erased in the board writing area image.
  • the recorded flag is set instead of the remaining time on the board.
  • steps S111 to S114 in the flowchart of FIG. 15 is the same as the processing of steps S11 to S14 in the flowchart of FIG. 3, so the description thereof will be omitted.
  • step S115 the pixel information setting unit 161 sets the pixel information (board writing remaining time) for each pixel of the board writing area in the board writing area image. ..
  • FIG. 16 is a diagram showing an example of a set of remaining time on the board.
  • FIG. 16 shows a board writing area image at each of the times t11 to t15 and a pixel information array in which the board writing remaining time is set.
  • a pixel information array of the same size (320 ⁇ 180 pixels) is prepared.
  • the remaining time on the board is set to the value corresponding to each pixel of the pixel information array.
  • the white pixel area does not exist, and all the values of the pixel information array are set to 0.
  • the two pixels of (2,3) and (2,4) are set as white pixels in the board writing area image at time t13
  • the two pixels of (2,3) and (2,4) are set in the pixel information array.
  • the value corresponding to is set to 1 as the remaining time on the board, and the value corresponding to the pixel (2, 2) is set to 2 as the remaining time on the board.
  • the two pixels of (3,3) and (4,3) are set as white pixels in the board writing area image at time t14
  • the two pixels of (3,3) and (4,3) are set in the pixel information array.
  • the value corresponding to is set to 1 as the remaining time on the board
  • the value corresponding to the two pixels of (2, 3) and (2, 4) is set to 2 as the remaining time on the board
  • the value corresponding to the pixel of) is set to 3 as the remaining time on the board.
  • the value corresponding to the two pixels (3,3) and (4,3) in the pixel information array is set to the value corresponding to the two pixels.
  • 2 is set as the remaining time on the board
  • 3 is set as the remaining time on the board for the values corresponding to the two pixels of (2, 3) and (2, 4), and the values corresponding to the pixels of (2, 2) are set. Is set to 4 as the remaining time on the board.
  • the remaining time on the board in the board writing area (white pixels) is counted up with the passage of time.
  • FIG. 17 shows a board writing image, a board writing area image, a pixel information array in which the board writing remaining time is set, and a recording candidate image at each of the times t21 to t24.
  • FIG. 17 Also in the example of FIG. 17, a 5 ⁇ 5 pixel board writing area image and a pixel information array are shown.
  • the values corresponding to the three pixels (2,2), (2,3), and (2,4) are set to 6, 5 and 4, respectively, as the remaining time for writing on the board.
  • the values corresponding to the three pixels of 4, 2), (4, 3), and (4, 4) are set to 3, 2, and 1 as the remaining time on the board. That is, in the board image, "A” is written at the earliest time and "F” is written at the most recent time.
  • 0 is set as the remaining time for writing on the board for the values corresponding to the three pixels (2,2), (2,3), and (2,4), and the writing information remains.
  • -1 is set as the remaining time on the board for the values corresponding to the three pixels of (4,2), (4,3), and (4,4). That is, the recorded flag is set in the three pixels (4, 2), (4, 3), and (4, 4) that form the recorded area.
  • the values corresponding to the three pixels (2,2), (2,3), and (2,4) are set to 3,2,1 as the remaining time on the board, respectively.
  • 0 is set as the remaining time on the board for the values corresponding to the four pixels of (2,2), (2,3), (4,2), and (4,3).
  • -1 is set as the remaining writing time on the board to the value corresponding to one pixel of (2, 4) in which the writing information remains. That is, the recorded flag is set in the two pixels (2, 4) and (4, 4) that form the recorded area.
  • steps S131 to S143 of FIG. 18 is basically the same as the processing flow (flows F1, F2, F3) in steps S31 to S41 of FIG. 10, but the processing of step S133 is added. Is different.
  • step S132 when it is determined that the writing area has increased by one pixel or more from the current value, for example, after recording the recorded image, as at time t23 in FIG. If the written information is added, the process proceeds to step S133.
  • step S133 the recording control unit 54 masks the recorded area in the board image.
  • the recorded area corresponds to a pixel in which the recorded flag -1 is set in step S115 of the board writing recording process (FIG. 15) one frame before.
  • step S134 the recording candidate image is updated by the board writing image that masks the recorded area (pixels in which the recorded flag is set).
  • FIG. 19 is a diagram showing an example of the mode transition of the board writing state mode in the recording control process described with reference to the flowchart of FIG. 18, and is a diagram showing an example of the mode transition after the time T6 of FIG.
  • FIG. 19 shows changes in the written information in the board image at each time from time T21 to T26.
  • the written information is not further erased from the state at time T21, and the process of flow F6 in the above-mentioned record control process is executed. As a result, the "erasing board" mode is maintained.
  • the process of flow F1 in the above-mentioned recording control process is executed.
  • the recording candidate image 173 is updated by the board writing image in which only "PQR” is written, in which the pixels of the recorded area corresponding to "FGHIJ” and "KLMNO” are masked, and the "board writing in progress” mode is maintained. Will be done.
  • the recorded image 174 is once recorded as the recorded image 171 as shown by the dotted frame. "FGHIJ” and “KLMNO” are not recorded. As a result, the recording candidate image excluding the writing area included in the recorded recorded image is recorded as the recorded image.
  • the recording candidate image including the writing information included in the recorded recorded image is not recorded again as the recorded image, so that it is possible to prevent unnecessary recording from occurring. ..
  • the value of -1 is set as the recorded flag set for the pixels forming the recorded area, but any value can be used as long as it can be distinguished from the remaining time on the board.
  • the value can also be set.
  • the recording candidate image at that time Is recorded as a recorded image.
  • FIG. 20 is a diagram illustrating an example in which recording control is performed according to the remaining time of writing on the board in order to avoid recording an image of writing on the board including erroneous writing.
  • FIG. 20 shows a board writing image, a board writing area image, a pixel information array in which the board writing remaining time is set, and a recording candidate image at each of the times t31 to t34.
  • the values corresponding to the three pixels (2,2), (2,3), and (2,4) are set to 6, 5 and 4, respectively, as the remaining time for writing on the board.
  • the values corresponding to the three pixels of 4, 2), (4, 3), and (4, 4) are set to 3, 2, and 1 as the remaining time on the board. That is, in the board image, "A” is written at the earliest time and "F” is written at the most recent time.
  • the values corresponding to the three pixels (2,2), (2,3), and (2,4) are set according to the elapsed time from the writing of "ABC".
  • the remaining time on the board is set to 9, 8 and 7, respectively, and the values corresponding to the three pixels (4,2), (4,3), and (4,4) in which "DEF" is erased are the remaining time on the board. Each time is set to 0.
  • the values corresponding to the three pixels (2,2), (2,3), and (2,4) are set to 12, 11, and 10 as the remaining time on the board, respectively.
  • 2, 1 are set as the remaining time on the board for the values corresponding to the three pixels of 4, 2), (4, 3), and (4, 4), respectively.
  • 0 is set as the remaining time on the board for the values corresponding to the four pixels of (2,2), (2,3), (4,2), and (4,3).
  • -1 is set as the remaining writing time on the board for the values corresponding to the two pixels (2, 4) and (4, 4) in which the writing information remains. That is, the recorded flag is set in the two pixels (2, 4) and (4, 4) that form the recorded area.
  • steps S231 to S243 of FIG. 21 is basically the same as the processing flow (flows F1, F2, F3) in steps S131 to S142 of FIG. Is different.
  • step S237 in the "writing on the board” mode, if it is determined that the writing area has decreased by 5% or more from the maximum value, the process proceeds to step S238.
  • step S2308 the recording control unit 54 determines whether or not the remaining time on the board of the erased board writing area is longer than the predetermined time.
  • the predetermined time for example, it is determined whether or not the remaining time on the board of the erased board writing area is longer than 6 unit times.
  • step S239 If it is determined that the remaining time on the board in the erased board area is longer than the predetermined time, the process proceeds to step S239, and the process of flow F2 is executed thereafter. That is, the recording candidate image at that time is recorded as a recorded image, and the mode shifts to the "erasing board writing" mode.
  • step S2308 when it is determined that the remaining time of the erased board writing area is not longer (shorter) than the predetermined time, that is, the remaining time of the erased board writing area is as shown at time t32 in FIG.
  • the process proceeds to step S242, and thereafter, the process of the flow F3 is executed. That is, the recording candidate image at that time is not recorded as a recorded image.
  • FIG. 22 is a diagram showing an example of the mode transition of the board writing state mode in the recording control process described with reference to the flowchart of FIG. 21, and is a diagram showing an example of the mode transition after the time T6 of FIG.
  • FIG. 22 shows changes in the written information in the board writing image at each time of time T31 and T32.
  • the image on which the "MNO" erased before the predetermined time elapses may be recorded as a memo image 222, or may be discarded without being recorded.
  • the writer 4 erases a certain amount or more of the written information for rewriting the erroneous writing while writing the written information 3, the erroneous writing is included. By not recording the image written on the board, it is possible to prevent unnecessary recording from occurring.
  • FIG. 23 is a block diagram showing a configuration example of computer hardware that executes the above-mentioned series of processes programmatically.
  • the information processing device 10 described above is realized by a computer having the configuration shown in FIG. 23.
  • the CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 1005 is further connected to the bus 1004.
  • An input unit 1006 including a keyboard and a mouse, and an output unit 1007 including a display and a speaker are connected to the input / output interface 1005.
  • the input / output interface 1005 is connected to a storage unit 1008 including a hard disk and a non-volatile memory, a communication unit 1009 including a network interface, and a drive 1010 for driving the removable media 1011.
  • the CPU 1001 loads and executes the program stored in the storage unit 1008 into the RAM 1003 via the input / output interface 1005 and the bus 1004, thereby executing the above-mentioned series of processes. Is done.
  • the program executed by the CPU 1001 is recorded on the removable media 1011 or provided via a wired or wireless transmission medium such as a local area network, the Internet, or a digital broadcast, and is installed in the storage unit 1008.
  • a wired or wireless transmission medium such as a local area network, the Internet, or a digital broadcast
  • the program executed by the computer may be a program that is processed in chronological order according to the order described in this specification, or may be a program that is processed in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • the present disclosure may have the following structure.
  • a writing image indicating a writing target in which writing information is written an area setting unit for setting a writing area including the writing information, and an area setting unit.
  • An information processing device including a recording control unit that controls recording of the written image in response to a change in the writing area.
  • the writing area indicates the ratio of the writing information to the written range in the writing target.
  • the area setting unit sets the writing area by performing expansion processing on the writing information in the writing image.
  • the area setting unit further performs a resolution reduction process on the written image in which the writing area is set.
  • the information processing device according to (1) or (2), wherein the area setting unit sets a character area in which character recognition has been performed in the written image in the written area.
  • the recording control unit In response to the increase in the writing area, the writing image updates the recording candidate image that is a candidate for the recording image.
  • the information processing apparatus according to any one of (1) to (5), which records the recording candidate image as the recorded image in accordance with the decrease in the writing area.
  • the recording control unit records the recording candidate image excluding the writing area included in the recorded recorded image as the recorded image.
  • the recording control unit uses the writing image masking the remaining writing area to display the recording candidate.
  • the information processing device according to (7) for updating an image.
  • a set unit for setting a recorded flag to the pixels of the writing area remaining in the written image is further provided.
  • the recording control unit determines whether or not to record the recording candidate image as the recorded image based on the remaining time of the erased writing area when the writing area is reduced (6). Information processing device.
  • a set unit for setting the remaining time of the writing area is further provided for each pixel of the writing image.
  • the recording control unit determines whether or not to record the recording candidate image as the recorded image based on the remaining time set in the pixel of the erased writing area (10).
  • Information processing device (12) The information processing apparatus according to (11), wherein the recording control unit does not record the recording candidate image as the recorded image when the remaining time set in the pixel of the erased writing area is shorter than a predetermined time. .. (13) The information processing device according to (12), wherein the recording control unit records the writing area whose remaining time is shorter than the predetermined time as a memo image different from the recorded image.
  • the information processing apparatus according to any one of (1) to (13), further comprising an image extraction unit that extracts the written image from the captured image captured by the writing target.
  • the captured image is a still image.
  • Information processing device In the writing image including the writing information written in the writing target, the writing area including the writing information is set. An information processing method that controls the recording of the written image in response to a change in the writing area.
  • On the computer In the writing image including the writing information written in the writing target, the writing area including the writing information is set. A program for executing a process of controlling the recording of the written image in response to a change in the writing area.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Drawing Aids And Blackboards (AREA)
  • Facsimiles In General (AREA)

Abstract

本開示は、筆記対象に筆記された情報を適切に記録することができるようにする情報処理装置、情報処理方法、およびプログラムに関する。 領域設定部は、筆記情報が筆記された筆記対象を示す筆記画像において、筆記情報を含む筆記領域を設定し、記録制御部は、筆記領域の変化に応じて、筆記画像の記録を制御する。本開示は、例えば、板書記録システムに適用することができる。

Description

情報処理装置、情報処理方法、およびプログラム
　本開示は、情報処理装置、情報処理方法、およびプログラムに関し、特に、筆記対象に筆記された情報を適切に記録できるようにした情報処理装置、情報処理方法、およびプログラムに関する。
　一般的に、黒板や白板などの筆記対象に情報が筆記されたり消去されたりしながら、会議や講義などが進行することが多い。
　筆記対象に筆記された情報を記録しておくことは、後にその情報を参照することが可能となるため利便性が高い。他方、その情報を常時記録しておくことは、記憶容量の無駄遣いにもなり得る。そのため、筆記対象に筆記された情報を効率的に記録する技術が求められている。
　例えば、特許文献１には、筆記者が黒板消しを保持した（例えば、持ち上げた）ときに、デジタルカメラによって黒板の情報を撮影することで、黒板に記載された情報が消し取られる前に黒板の情報を記録する技術が開示されている。
特開２００５－１２５６２８号公報
　しかしながら、特許文献１に開示されているような技術では、筆記対象に筆記された情報を適切に記録できない可能性もあった。
　本開示は、このような状況に鑑みてなされたものであり、筆記対象に筆記された情報を適切に記録できるようにするものである。
　本開示の情報処理装置は、筆記情報が筆記された筆記対象を示す筆記画像において、前記筆記情報を含む筆記領域を設定する領域設定部と、前記筆記領域の変化に応じて、前記筆記画像の記録を制御する記録制御部とを備える情報処理装置である。
　本開示の情報処理方法、または、プログラムは、情報処理装置が、筆記対象に筆記された筆記情報を含む筆記画像において、前記筆記情報を含む筆記領域を設定し、前記筆記領域の変化に応じて、前記筆記画像の記録を制御する情報処理方法、または、コンピュータにそれらの処理を実行させるためのプログラムである。
　本開示においては、筆記対象に筆記された筆記情報を含む筆記画像において、前記筆記情報を含む筆記領域が設定され、前記筆記領域の変化に応じて、前記筆記画像の記録が制御される。
本開示の実施の形態に係る板書記録システムの概要を示す図である。 板書記録システムの機能構成例を示すブロック図である。 板書記録処理の流れについて説明するフローチャートである。 撮像画像の例を示す図である。 板書画像の抽出について説明する図である。 板書画像の抽出について説明する図である。 板書画像の例を示す図である。 板書領域の設定について説明する図である。 板書領域の変化に応じた記録制御について説明する図である。 記録制御処理の詳細について説明するフローチャートである。 記録制御処理の詳細について説明するフローチャートである。 モード遷移の例を示す図である。 モード遷移の例を示す図である。 情報処理装置の他の機能構成例を示すブロック図である。 板書記録処理について説明するフローチャートである。 板書残存時間のセットの例を示す図である。 記録済み領域のマスキングについて説明する図である。 記録制御処理の詳細について説明するフローチャートである。 モード遷移の例を示す図である。 板書残存時間に応じた記録について説明する図である。 記録制御処理の詳細について説明するフローチャートである。 モード遷移の例を示す図である。 コンピュータのハードウェアの構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下、実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．板書記録システムの概要
　２．板書記録システムの構成例
　３．板書記録処理の流れ
　　３－１．モードに応じた記録制御の詳細
　　３－２．モード遷移の例
　４．板書記録システムの他の構成例
　５．板書記録処理の流れ
　　５－１．記録済み領域のマスキング
　　５－２．板書残存時間に応じた記録制御
　６．コンピュータの構成例
＜１．板書記録システムの概要＞
　図１は、本実施の形態に係る板書記録システムの概要を示す図である。
　図１に示されるように、板書記録システム１は、情報処理装置１０と、情報処理装置１０に接続される入力装置２０を含むように構成される。
　筆記対象２は、点、線、文字、文章、数式、記号、絵、図形、または画像などの視覚的な情報（以下、筆記情報３という）が筆記される物体である。
　筆記対象２は、黒板、ホワイトボード、電子ペーパー、またはタッチパネルなどで構成される。筆記情報３は、チョーク、マーカー、スタイラス、または指などにより筆記対象２に筆記され、黒板消しまたはイレーサなどにより筆記対象２から消去される。
　筆記者４は、筆記対象２に対して動作を行う人である。
　筆記者４は、筆記対象２に筆記情報３を筆記し、筆記対象２に筆記された筆記情報３を消去する。例えば、筆記者４は、講義または会議などにおいて、筆記対象２に筆記された筆記情報３を、手やレーザーポインタ、指示棒などで指示しながら、筆記情報３に関する説明を行う。
　入力装置２０は、入力装置２０が設置された物理空間に関する情報を入力する装置である。入力装置２０は、例えば、撮像装置と音声入力装置を含むように構成される。
　撮像装置は、撮像レンズ、絞り、ズームレンズ、フォーカスレンズなどにより構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成するイメージセンサなどを含む。
　音声入力装置は、周囲の音を収音するマイクロフォン、マイクロフォンで得られた音声信号を増幅処理するマイクアンプ回路、Ａ／Ｄ変換器、およびノイズキャンセラなどの信号処理回路を含む。
　入力装置２０は、デジタル信号に変換された画像データと撮像時の音声データを出力する。
　入力装置２０は、物理空間における物体を撮像対象として撮像可能である。本実施の形態においては、入力装置２０は、筆記情報３が筆記された筆記対象２を撮像対象として撮像し、撮像時刻と取得された画像とを対応付けて、情報処理装置１０に出力する。
　但し、撮像により取得された画像には、筆記対象２以外も含まれ得る。その場合、入力装置２０は、撮像により取得された画像から抽出された画像を、情報処理装置１０に出力する。例えば、撮像により取得された画像から筆記対象２が映った領域が抽出された画像が、情報処理装置１０に出力される。
　また、入力装置２０としての機能は、筆記対象２に備えられていてもよい。例えば、入力装置２０と筆記対象２は、筆記対象２の状態をスキャニングすることで画像を取得し出力する電子黒板として実現される。この場合、入力装置２０は、筆記対象２の画像を取得し、取得時刻と取得した画像とを対応付けて、情報処理装置１０に出力する。
　入力装置２０により入力される画像は、動画像であってもよい。動画像とは、複数の静止画像（画像データ）と各々の静止画像の再生時刻（撮像時刻に対応する）を含むデータである。動画像が再生される場合、再生時刻の順に静止画像が連続的に再生される。動画像を構成する静止画像は、フレームともいう。単位時間当たりのフレーム数は、フレームレートともいわれ、１秒間当たりのフレームの数（ＦＰＳ：Frame Per Second）で表される。
　また、入力装置２０により入力される画像は、静止画像であってもよい。その場合、入力装置２０は、連続的に画像を入力する。本明細書では、単位時間当たりに入力される画像数を、動画像に倣ってフレームレートともいう。
　以下においては、入力装置２０により入力される、筆記情報３が筆記された筆記対象２の画像を、筆記画像または板書画像という。板書画像は、静止画像であるものとする。入力装置２０により入力される画像が動画像であれば、板書画像は、動画像を構成する１枚の静止画像である。
　情報処理装置１０は、入力装置２０により入力される板書画像のうち、記録すべき板書画像を選択的に記録する。本明細書において、記録とは、記憶媒体に情報を記憶することをいう。情報処理装置１０は、板書画像をモニタリングして、筆記対象２に筆記された筆記情報３に変化が発生したことを検出することで、板書画像を記録する。筆記情報の変化に基づいて選択的に記録される板書画像を、以下では記録画像ともいう。
　筆記情報３の変化は、筆記情報３の消去であってもよい。その場合、情報処理装置１０は、消去開始前の板書画像を記録画像として記録する。典型的には、筆記情報３の消去開始前の筆記対象２には、筆記情報３が最も多く筆記されている。したがって、消去開始前の板書画像を選択的に記録することで、無駄な記録が抑制され、板書画像を効率的に記録することができる。
　筆記情報３の変化は、筆記情報３の筆記（すなわち、追記）であってもよい。その場合、情報処理装置１０は、追記終了後の板書画像を記録画像として記録する。典型的には、筆記情報３の追記終了後の筆記対象２には、筆記情報３が最も多く筆記されている。したがって、追記終了後の板書画像を選択的に記録することで、無駄な記録が抑制され、板書画像を効率的に記録することができる。
＜２．板書記録システムの構成例＞
　図２は、板書記録システム１の機能構成例を示すブロック図である。
　図２の板書記録システム１は、情報処理装置１０、入力装置２０、および出力装置３０を含むように構成される。
　入力装置２０は、上述したように、連続的に板書画像を入力し、その板書画像それぞれを情報処理装置１０に出力する。
　出力装置３０は、情報処理装置１０の制御に基づいて情報を出力する装置である。
　出力装置３０は、液晶ディスプレイ装置、プラズマディスプレイ装置、有機ＥＬ（Electro-Luminescence）ディスプレイ装置、レーザープロジェクタ、ＬＥＤ（Light Emitting Diode）プロジェクタ、およびランプなどの表示装置により実現される。
　出力装置３０が板書画像（記録画像）を表示することで、例えば講義室で講義を受講している受講者や、その講義を遠方の教室で視聴している視聴者は、筆記対象２に筆記された筆記情報３をリアルタイムに確認することができる。
　情報処理装置１０は、板書記録システム１全体の動作を制御する装置である。情報処理装置１０は、ＰＣ（Personal Computer）、スマートフォン、タブレット端末、または専用の機器などの任意の装置により実現される。
　図２に示されるように、情報処理装置１０は、画像取得部５１、板書画像抽出部５２、板書領域設定部５３、記録制御部５４、記憶部５５、および出力制御部５６から構成される。
　画像取得部５１は、入力装置２０により入力される、例えばフレーム単位の画像を取得し、板書画像抽出部５２に供給する。
　板書画像抽出部５２は、画像取得部５１からの画像から筆記対象２が映った領域を板書画像として抽出する。抽出された板書画像は、板書領域設定部５３に供給される。
　板書領域設定部５３は、筆記対象２を示す板書画像（筆記画像）において、筆記情報３を含む領域である筆記領域を設定する。筆記領域は、筆記対象２全体において筆記情報３が筆記された範囲の占める割合を示す領域である。以下においては、筆記領域を板書領域ともいう。板書領域が設定された板書画像は、記録制御部５４に供給される。
　記録制御部５４は、フレーム単位の板書画像における筆記領域の変化に応じて、具体的には、板書領域が増加したか、または、減少したかに応じて、板書画像の記憶部５５への記録を制御する。
　記録制御部５４は、モード設定部６１を備えている。モード設定部６１は、板書画像（筆記対象２）における筆記情報３の変化の状態を示す板書状態モードを設定する。板書状態モードには、筆記対象２において筆記情報３が筆記（追記）されている状態を示す「板書作成中」モードと、筆記対象２において筆記情報３が消去されている状態を示す「板書消去中」モードがある。
　記録制御部５４は、モード設定部６１により設定された板書状態モードに応じて、板書画像の記憶部５５への記録を制御する。
　記憶部５５は、記録制御部５４の制御に基づいて、板書画像を記録画像として記録する。
　出力制御部５６は、記憶部５５に記憶された板書画像に基づいて出力情報を生成し、出力装置３０に出力させる。
＜３．板書記録処理の流れ＞
　次に、図３のフローチャートを参照して、板書記録システム１における板書記録処理の流れについて説明する。図３の処理は、入力装置２０から入力される画像の１フレーム毎に実行される。
　ステップＳ１１において、画像取得部５１は、入力装置２０から入力される画像を取得する。
　図４は、入力装置２０から入力される撮像画像の例を示している。図４に示される撮像画像８０には、筆記情報３が筆記されている筆記対象２と筆記者４が映っている。撮像画像８０は、動画像の１フレームであってもよいし、静止画像であってもよい。
　撮像画像８０において、筆記対象２が小さく映ったり、ホワイトバランスが適切に調整されていない場合、筆記情報３の追記や消去の判断に誤りが生じるおそれがある。そのため、撮像画像８０においては、筆記対象２が十分大きく映るようにし、筆記対象２に筆記される筆記情報３が肉眼で見る色合いに近い色で映るようにする。
　ステップＳ１２において、板書画像抽出部５２は、画像取得部５１により取得された撮像画像から、板書画像を抽出する。板書画像の抽出は、自動で行われてもよいし、手動で行われてもよい。
　板書画像の抽出が手動で行われる場合、図５に示されるように、撮像画像８０において、筆記対象２の四隅の４点ｃ１，ｃ２，ｃ３，ｃ４が指定されることで、筆記対象２の領域が特定され、その４点ｃ１乃至ｃ４が射影変換されることで、板書画像９０が抽出される。
　次いで、板書画像９０において筆記者４の形状が認識され、筆記者４が映り込んだ領域が除外されることで、図６に示されるように、筆記対象２のみが映る板書画像９０が得られる。板書画像９０から筆記者４が映り込んだ領域を除去する手法としては、例えば、動体除去などの技術が用いられるが、その他の技術が用いられてもよい。
　さらに、筆記者４が除去された板書画像９０に対して、筆記対象２のうち筆記情報３が筆記された画素を白色（例えば、１）に、それ以外の画素を黒色（例えば、０）に変換する二値化処理が施される。これにより、図７に示されるような、黒画素と白画素からなる二値化画像が、板書画像１００として得られる。
　ステップＳ１３において、板書領域設定部５３は、板書画像抽出部５２により抽出された板書画像において、板書領域を設定する。
　具体的には、板書領域設定部５３は、板書画像における筆記情報３に対して膨張処理を施すことで、板書領域を設定する。さらに、板書領域設定部５３は、板書領域が設定された板書画像に対して低解像度化処理を施す。
　例えば、図８左側に示される板書画像１１０が、板書画像抽出部５２により抽出されたとする。板書画像１１０は、１９２０×１０８０画素の解像度を有し、白画素の面積が板書画像１１０全体の約５％を占める二値化画像である。
　このような板書画像１１０に対して、注目画素の周辺に１画素でも白画素が存在すれば、その注目画素を白画素に置き換える膨張処理が施される。さらに、膨張処理が施された板書画像１１０に対して、低解像度化処理が施される。
　これにより、図８左側に示される板書画像１１０が、図８右側に示される板書画像１２０に変換される。板書画像１２０は、３２０×１８０画素の解像度を有し、白画素の面積が板書画像１２０全体の約２２％を占める二値化画像である。
　以下においては、板書画像１２０のように板書領域が設定された板書画像を板書領域画像ともいう。
　板書領域画像においては、白画素の領域が、筆記対象２において筆記情報３が筆記された範囲の占める割合を示す板書領域となる。板書領域の大きさは、筆記対象２の何割程度が筆記に使用されているかを表す指標となる。
　具体的には、図８の例で、板書画像１１０においては、白画素の面積が板書画像１１０全体の約５％であったのに対し、板書画像１２０においては、白画素の面積が板書画像１２０全体の約２２％となる。
　単に、筆記情報の変化に応じて板書画像の記録を制御するようにした場合、チョークやマーカーで筆記された線や点の増減の大きさによって、板書画像が記録されるか否かが決まる。
　しかしながら、板書画像において同じ面積を占有する筆記情報であっても、筆記された複数の文字の密度や、文字自体の線の密度によっては、板書画像が記録されるか否かが定まらず、人間の感覚とずれてしまう可能性がある。例えば、筆記された文字の密度が低い場合に、それらの文字が消去されたにも関わらず、板書画像が記録されないおそれがある。
　そこで、板書画像において設定された板書領域の変化に応じて記録を制御することで、より人間の感覚に近い状態で、板書画像が記録されるか否かが決まるようにすることができる。
　なお、板書画像における筆記情報に対して膨張処理を施すことで板書領域が設定される以外にも、板書画像において文字認識が行われるようにし、その文字認識が行われた文字領域が、板書領域に設定されるようにしてもよい。
　さて、図３のフローチャートの説明に戻り、ステップＳ１４において、記録制御部５４は、板書状態モードに応じた記録制御処理を実行する。
　まず、記録制御部５４のモード設定部６１は、板書領域の変化に応じて、板書状態モードを設定する。具体的には、モード設定部６１は、板書領域が増加したときには、板書状態モードとして「板書作成中」モードを設定する。一方、モード設定部６１は、板書領域が減少したときには、板書状態モードとして「板書消去中」モードを設定する。
　そして、記録制御部５４は、設定された板書状態モードに基づいて、板書画像の記憶部５５への記録を制御する。具体的には、「板書作成中」モードが設定されたときには、板書画像において筆記情報が追記されていることから、記録制御部５４は、記録画像の候補となる記録候補画像を更新する。一方、「板書消去中」モードが設定されたときには、板書画像において筆記情報が消去されていることから、記録制御部５４は、その時点の記録候補画像を記録画像として記録する。
　図９は、板書画像における板書領域の変化に応じた記録制御について説明する図である。
　図９には、時刻ｔ１乃至ｔ４それぞれにおける板書画像、板書領域画像、および記録候補画像が示されている。
　まず、時刻ｔ１の板書画像においては、筆記情報として“ＡＢ”が筆記され、“ＡＢ”が筆記された範囲が白画素に設定された板書領域画像が得られている。時刻ｔ１における記録候補画像は、“ＡＢ”が筆記された板書画像により更新された記録候補画像となる。
　時刻ｔ２の板書画像において、筆記情報として“ＡＢ”に加えて“Ｃ”が筆記されると、“ＡＢＣ”が筆記された範囲が白画素に設定された板書領域画像が得られる。このとき、板書領域が増加していることから、「板書作成中」モードが設定され、記録候補画像は、“ＡＢＣ”が筆記された板書画像により更新される。
　時刻ｔ３の板書画像において、筆記情報としての“ＡＢＣ”が全て消去されると、全ての画素が黒画素に設定された板書領域画像が得られる。このとき、板書領域が減少していることから、「板書消去中」モードが設定され、“ＡＢＣ”が筆記された記録候補画像が、記録画像として記録される。
　さらに、時刻ｔ４の板書画像において、筆記情報として“ＤＥＦ”が筆記されると、“ＤＥＦ”が筆記された範囲が白画素に設定された板書領域画像が得られる。このとき、板書領域が増加していることから、「板書作成中」モードが設定され、記録候補画像は、“ＤＥＦ”が筆記された板書画像により更新される。
　このようにして、板書領域の変化に応じて板書状態モードが設定され、設定された板書状態モードに基づいて、板書画像の記録が制御される。
　以上の処理によれば、板書画像における筆記情報の変化ではなく、板書画像において設定された板書領域の変化に応じて板書画像の記録が制御される。これにより、筆記された文字の密度によらず、より人間の感覚に近い状態で、板書画像が記録されるか否かが決まるので、筆記対象に筆記された情報を適切に記録することが可能となる。
（３－１．モードに応じた記録制御の詳細）
　ここで、図１０および図１１のフローチャートを参照して、図３のステップＳ１４における板書状態モードに応じた記録制御処理の詳細について説明する。図１０および図１１の処理もまた、１フレーム毎の板書画像に対して実行される。
　ステップＳ３１において、記録制御部５４は、板書状態モードが「板書作成中」モードであるか否かを判定する。後述するように、現在フレームについての板書状態モードは、前フレームにおける板書領域の変化によって決まる。なお、最初のフレームについての板書状態モードは、「板書消去中」モードとされる。
　板書状態モードが「板書作成中」モードであると判定された場合、処理はステップＳ３２に進む。
　ステップＳ３２において、記録制御部５４は、板書領域が現在値より１画素以上増加したか否かを判定する。板書領域の大きさは、画素単位で記憶されるものとする。板書領域の現在値は、所定の記憶領域に保持されており、板書画像のフレーム毎に適宜更新される。
　板書領域が現在値より１画素以上増加したと判定された場合、すなわち、筆記対象２において筆記情報が追記されているような場合、処理はステップＳ３３に進む。
　ステップＳ３３において、記録制御部５４は、その時点での板書画像により、記録候補画像を更新する。記録候補画像は、所定の記憶領域に保持されており、例えば板書領域が増加することで、その時点での板書画像により更新される。
　記録候補画像が更新されると、ステップＳ３４において、記録制御部５４は、板書領域の現在値と最大値を、そのときの板書領域の画素数（板書領域の大きさ）に更新する。板書領域の最大値もまた、所定の記憶領域に保持されており、板書画像のフレーム毎に適宜更新される。
　そして、ステップＳ３５において、記録制御部５４は、板書状態モードとして「板書作成中」モードを維持し、処理は次のフレームの板書記録処理に進む。
　ここで、ステップＳ３１乃至Ｓ３５の処理の流れを、適宜、フローＦ１ということとする。
　さて、ステップＳ３２において、板書領域が現在値より１画素以上増加していないと判定された場合、処理はステップＳ３６に進む。
　ステップＳ３６において、記録制御部５４は、板書領域が最大値より５％以上減少したか否かを判定する。
　板書領域が最大値より５％以上減少したと判定された場合、すなわち、筆記対象２において筆記情報が一定以上消去された場合、処理はステップＳ３７に進む。
　ステップＳ３７において、記録制御部５４は、その時点での記録候補画像を記録画像として記録する。
　記録画像が記録されると、ステップＳ３８において、記録制御部５４は、板書領域の最小値を、そのときの板書領域の画素数（板書領域の大きさ）に更新する。板書領域の最小値もまた、所定の記憶領域に保持されており、板書画像のフレーム毎に適宜更新される。
　そして、ステップＳ３９において、記録制御部５４は、板書状態モードを「板書消去中」モードへ移行し、処理は次のフレームの板書記録処理に進む。
　ここで、ステップＳ３１，Ｓ３２，Ｓ３６乃至Ｓ３９の処理の流れを、適宜、フローＦ２ということとする。
　さて、ステップＳ３６において、板書領域が最大値より５％以上減少していないと判定された場合、処理はステップＳ４０に進む。
　ステップＳ４０において、記録制御部５４は、板書領域の現在値を、そのときの板書領域の画素数（板書領域の大きさ）に更新する。
　そして、ステップＳ４１において、記録制御部５４は、板書状態モードとして「板書作成中」モードを維持し、処理は次のフレームの板書記録処理に進む。
　ここで、ステップＳ３１，Ｓ３２，Ｓ３６，Ｓ４０，Ｓ４１の処理の流れを、適宜、フローＦ３ということとする。
　ところで、ステップＳ３１において、板書状態モードが「板書作成中」モードでないと判定された場合、すなわち、板書状態モードが「板書消去中」モードである場合、処理は図１１のステップＳ４２に進む。
　ステップＳ４２において、記録制御部５４は、板書領域が最小値より１画素以上減少したか否かを判定する。
　板書領域が最小値より１画素以上減少したと判定された場合、すなわち、筆記対象２において筆記情報が消去されているような場合、処理はステップＳ４３に進む。
　ステップＳ４３において、記録制御部５４は、板書領域の最小値を、そのときの板書領域の画素数（板書領域の大きさ）に更新する。
　そして、ステップＳ４４において、記録制御部５４は、板書状態モードとして「板書消去中」モードを維持し、処理は次のフレームの板書記録処理に進む。
　ここで、ステップＳ３１，Ｓ４２乃至Ｓ４４の処理の流れを、適宜、フローＦ４ということとする。
　さて、ステップＳ４２において、板書領域が最小値より１画素以上減少していないと判定された場合、処理はステップＳ４５に進む。
　ステップＳ４５において、記録制御部５４は、板書領域が最小値より１％以上増加したか否かを判定する。
　板書領域が最小値より１％以上増加したと判定された場合、すなわち、筆記対象２において筆記情報が一定以上追記された場合、処理はステップＳ４６に進む。
　ステップＳ４６において、記録制御部５４は、その時点での板書画像により、記録候補画像を更新する。
　記録候補画像が更新されると、ステップＳ４７において、記録制御部５４は、板書領域の現在値を、そのときの板書領域の画素数（板書領域の大きさ）に更新する。
　そして、ステップＳ４８において、記録制御部５４は、板書状態モードを「板書作成中」モードへ移行し、処理は次のフレームの板書記録処理に進む。
　ここで、ステップＳ３１，Ｓ４２，Ｓ４５乃至Ｓ４８の処理の流れを、適宜、フローＦ５ということとする。
　さて、ステップＳ４５において、板書領域が最小値より１％以上増加していないと判定された場合、処理はステップＳ４９に進む。
　ステップＳ４９において、記録制御部５４は、板書状態モードとして「板書消去中」モードを維持し、処理は次のフレームの板書記録処理に進む。
　以上のようにして、板書状態モードに応じて、板書画像の記録が制御される。
（３－２．モード遷移の例）
　図１２は、図１０および図１１のフローチャートを参照して説明した記録制御処理における板書状態モードのモード遷移の例を示す図である。
　図１２においては、時刻Ｔ１乃至Ｔ６の各時刻での、板書画像における筆記情報の変化が示されている。
　図１２の例では、時刻Ｔ１において板書記録処理が開始される。このときの板書状態モードは、「板書消去中」モードとされる。
　時刻Ｔ２においては、板書画像においていずれの筆記情報も筆記されておらず、上述した記録制御処理におけるフローＦ６の処理が実行される。その結果、「板書消去中」モードが維持される。
　時刻Ｔ３において、板書画像において“Ａ”が筆記されると、上述した記録制御処理におけるフローＦ５の処理が実行される。その結果、“Ａ”が筆記された板書画像により記録候補画像が更新され、「板書作成中」モードへ移行される。
　時刻Ｔ４においては、時刻Ｔ３の状態から筆記情報が追記されておらず、上述した記録制御処理におけるフローＦ３の処理が実行される。その結果、「板書作成中」モードが維持される。
　時刻Ｔ５において、時刻Ｔ４の状態から“Ａ”の右側に“Ｂ”が追記されると、上述した記録制御処理におけるフローＦ１の処理が実行される。その結果、“ＡＢ”が筆記された板書画像により記録候補画像が更新され、「板書作成中」モードが維持される。
　時刻Ｔ６において、時刻Ｔ５の状態から“ＡＢ”の右側に“ＣＤＥ”が、その下側に“ＦＧＨＩＪ”，“ＫＬＭＮＯ”が追記されると、上述した記録制御処理におけるフローＦ１の処理が実行される。その結果、“ＡＢＣＤＥ”，“ＦＧＨＩＪ”，“ＫＬＭＮＯ”が筆記された板書画像により記録候補画像が更新され、「板書作成中」モードが維持される。
　図１３は、図１２の時刻Ｔ６より後のモード遷移の例を示す図である。
　図１３においては、時刻Ｔ１１乃至Ｔ１６の各時刻での、板書画像における筆記情報の変化が示されている。
　時刻Ｔ１１において、図１２の時刻Ｔ６の状態から“ＡＢＣ”が消去されると、上述した記録制御処理におけるフローＦ２の処理が実行される。その結果、“ＡＢＣＤＥ”，“ＦＧＨＩＪ”，“ＫＬＭＮＯ”が筆記された記録候補画像が記録画像１５１として記録され、「板書消去中」モードへ移行される。
　時刻Ｔ１２においては、時刻Ｔ１１の状態から筆記情報がさらに消去されておらず、上述した記録制御処理におけるフローＦ６の処理が実行される。その結果、「板書消去中」モードが維持される。
　時刻Ｔ１３において、時刻Ｔ１２の状態から“ＤＥ”がさらに消去されると、上述した記録制御処理におけるフローＦ４の処理が実行される。その結果、「板書消去中」モードが維持される。
　時刻Ｔ１４において、時刻Ｔ１３の状態から、消去前の“Ａ”が筆記されていた箇所に“Ｐ”が筆記されると、上述した記録制御処理におけるフローＦ５の処理が実行される。その結果、“Ｐ”，“ＦＧＨＩＪ”，“ＫＬＭＮＯ”が筆記された板書画像により記録候補画像が更新され、「板書作成中」モードへ移行される。
　時刻Ｔ１５において、時刻Ｔ１４の状態から“Ｐ”の右側に“ＱＲ”が追記されると、上述した記録制御処理におけるフローＦ１の処理が実行される。その結果、“ＰＱＲ”，“ＦＧＨＩＪ”，“ＫＬＭＮＯ”が筆記された板書画像により記録候補画像が更新され、「板書作成中」モードが維持される。
　その後、時刻Ｔ１６において、時刻Ｔ１５の状態から“ＦＧＨＩＪ”が消去されると、上述した記録制御処理におけるフローＦ２の処理が実行される。その結果、“ＰＱＲ”，“ＫＬＭＮＯ”が筆記された記録候補画像が記録画像１５２として記録され、「板書消去中」モードへ移行される。
　ここで、図１３のモード遷移の中で記録された記録画像１５１と記録画像１５２を比較すると、記録画像１５２の点線の枠で示される“ＦＧＨＩＪ”，“ＫＬＭＮＯ”が、記録画像１５１として一度記録されているにも関わらず、再び記録されてしまう。
　すなわち、上述した板書記録システム１の構成では、記録済みの記録画像に含まれる筆記情報を含んだ記録候補画像が、記録画像として再び記録されてしまうため、無駄な記録が発生する場合がある。
　そこで、以下においては、上述したような、一度記録されている筆記情報が再び記録されてしまうことを避ける例について説明する。
＜４．板書記録システムの他の構成例＞
　図１４は、板書記録システム１の他の機能構成例を示すブロック図である。
　図１４の情報処理装置１０は、図２の情報処理装置１０と比較して、記録制御部５４が画素情報セット部１６１をさらに備える点で異なる。
　画素情報セット部１６１は、板書画像（板書領域画像）における板書領域の画素毎に、その画素の状態を表す画素情報をセットする。
　例えば、画素情報セット部１６１は、板書領域画像において、筆記されてから消去されていない（残存している）筆記情報に対応する板書領域を形成する画素に、画素情報として、筆記情報が筆記されてからの経過時間である板書残存時間をセットする。
　また、画素情報セット部１６１は、板書領域画像において、記録画像として記録済みで、かつ、消去されていない筆記情報に対応する板書領域（以下、記録済み領域という）を形成する画素に、画素情報として、板書残存時間に代えて、記録済みフラグをセットする。
＜５．板書記録処理の流れ＞
　次に、図１５のフローチャートを参照して、図１４の板書記録システム１における板書記録処理の流れについて説明する。図１５の処理もまた、入力装置２０から入力される画像の１フレーム毎に実行される。
　なお、図１５のフローチャートにおけるステップＳ１１１乃至Ｓ１１４の処理は、図３のフローチャートにおけるステップＳ１１乃至Ｓ１４の処理と同様であるので、その説明は省略する。
　すなわち、ステップＳ１１４においてモードに応じた記録制御処理が実行された後、ステップＳ１１５において、画素情報セット部１６１は、板書領域画像における板書領域の画素毎に、画素情報（板書残存時間）をセットする。
　図１６は、板書残存時間のセットの例を示す図である。
　図１６には、時刻ｔ１１乃至ｔ１５それぞれにおける板書領域画像と、板書残存時間がセットされる画素情報配列が示されている。
　板書領域画像（板書画像）が、３２０×１８０画素の解像度を有する場合、同一サイズ（３２０×１８０画素）の画素情報配列が用意される。画素情報配列の各画素に対応する値には、板書残存時間がセットされる。
　図１６の例では、説明の簡単のため、５×５画素の板書領域画像と画素情報配列が示されている。以下では、例えば上から２画素目、左から２画素目の画素を（２，２）の画素などという。
　時刻ｔ１１の板書領域画像においては、白画素の領域が存在せず、画素情報配列の全ての値が０にセットされている。
　時刻ｔ１２の板書領域画像において、（２，２）の画素が白画素に設定されると、画素情報配列において、（２，２）の画素に対応する値には、板書残存時間として１がセットされる。
　時刻ｔ１３の板書領域画像において、（２，３），（２，４）の２画素が白画素に設定されると、画素情報配列において、（２，３），（２，４）の２画素に対応する値には、板書残存時間として１がセットされ、（２，２）の画素に対応する値には、板書残存時間として２がセットされる。
　時刻ｔ１４の板書領域画像において、（３，３），（４，３）の２画素が白画素に設定されると、画素情報配列において、（３，３），（４，３）の２画素に対応する値には、板書残存時間として１がセットされ、（２，３），（２，４）の２画素に対応する値には、板書残存時間として２がセットされ、（２，２）の画素に対応する値には、板書残存時間として３がセットされる。
　そして、時刻ｔ１４の状態から、いずれの画素も白画素に設定されずに時刻ｔ１５になると、画素情報配列において、（３，３），（４，３）の２画素に対応する値には、板書残存時間として２がセットされ、（２，３），（２，４）の２画素に対応する値には、板書残存時間として３がセットされ、（２，２）の画素に対応する値には、板書残存時間として４がセットされる。
　以上のようにして、時間の経過とともに、板書領域（白画素）の板書残存時間がカウントアップされていく。
（５－１．記録済み領域のマスキング）
　図１７を参照して、一度記録されている筆記情報が再び記録されてしまうことを避けるために、記録候補画像を更新する際に、記録済み領域をマスキングする例について説明する。
　図１７には、時刻ｔ２１乃至ｔ２４それぞれにおける板書画像、板書領域画像、板書残存時間がセットされる画素情報配列、および記録候補画像が示されている。
　図１７の例でも、５×５画素の板書領域画像と画素情報配列が示されている。
　時刻ｔ２１の板書画像においては、筆記情報として“ＡＢＣ”，“ＤＥＦ”が筆記され、板書領域画像においては、（２，２），（２，３），（２，４），（４，２），（４，３），（４，４）の画素が白画素に設定されている。このとき、記録候補画像は、“ＡＢＣ”，“ＤＥＦ”が筆記された板書画像により更新されている。
　このとき、画素情報配列において、（２，２），（２，３），（２，４）の３画素に対応する値には、板書残存時間として６，５，４がそれぞれセットされ、（４，２），（４，３），（４，４）の３画素に対応する値には、板書残存時間として３，２，１がそれぞれセットされている。すなわち、板書画像においては、“Ａ”が最も前の時間に筆記され、“Ｆ”が最も直近の時間に筆記されている。
　時刻ｔ２２の板書画像において、時刻ｔ２１の状態から“ＡＢＣ”が消去されると、板書領域画像においては、（２，２），（２，３），（２，４）の画素が黒画素に設定され、“ＡＢＣ”，“ＤＥＦ”が筆記された記録候補画像が、記録画像として記録される。
　このとき、画素情報配列において、（２，２），（２，３），（２，４）の３画素に対応する値には、板書残存時間として０がそれぞれセットされ、筆記情報が残存した（４，２），（４，３），（４，４）の３画素に対応する値には、板書残存時間として－１がそれぞれセットされる。すなわち、記録済み領域を形成する（４，２），（４，３），（４，４）の３画素には、記録済みフラグがセットされる。
　時刻ｔ２３の板書画像において、時刻ｔ２２の状態から、消去前の“ＡＢＣ”が筆記されていた箇所に“ＧＨＩ”が筆記されると、板書領域画像においては、（２，２），（２，３），（２，４）の画素が再び白画素に設定される。このとき、画素情報配列において、記録済みフラグである－１がセットされている記録済み領域（板書画像において“ＤＥＦ”が筆記されている領域）の画素がマスキングされることで、“ＧＨＩ”のみが筆記された記録候補画像が、記録画像として記録される。
　このとき、画素情報配列において、（２，２），（２，３），（２，４）の３画素に対応する値には、板書残存時間として３，２，１がそれぞれセットされる。
　時刻ｔ２４の板書画像において、時刻ｔ２３の状態から“ＧＨ”，“ＤＥ”が消去されると、板書領域画像においては、（２，２），（２，３），（４，２），（４，３）の画素が黒画素に設定され、“ＧＨＩ”のみが筆記された記録候補画像が、記録画像として記録される。
　このとき、画素情報配列において、（２，２），（２，３），（４，２），（４，３）の４画素に対応する値には、板書残存時間として０がそれぞれセットされ、筆記情報が残存した（２，４）の１画素に対応する値には、板書残存時間として－１がセットされる。すなわち、記録済み領域を形成する（２，４），（４，４）の２画素には、記録済みフラグがセットされる。
　次に、図１８のフローチャートを参照して、上述した記録済み領域のマスキングを実現する記録制御処理の詳細について説明する。
　図１８のステップＳ１３１乃至Ｓ１４３における処理の流れは、基本的には、図１０のステップＳ３１乃至Ｓ４１における処理の流れ（フローＦ１，Ｆ２，Ｆ３）と同様であるが、ステップＳ１３３の処理が加わる点で異なる。
　具体的には、「板書作成中」モードでのステップＳ１３２において、板書領域が現在値より１画素以上増加したと判定された場合、例えば、図１７の時刻ｔ２３のように、記録画像の記録後に筆記情報が追記されているような場合、処理はステップＳ１３３に進む。
　ステップＳ１３３において、記録制御部５４は、板書画像において、記録済み領域をマスキングする。記録済み領域は、１フレーム前の板書記録処理（図１５）のステップＳ１１５において、記録済みフラグである－１がセットされた画素に対応する。これにより、ステップＳ１３４においては、記録済み領域（記録済みフラグがセットされた画素）をマスキングした板書画像により、記録候補画像が更新される。
　図１９は、図１８のフローチャートを参照して説明した記録制御処理における板書状態モードのモード遷移の例を示す図であり、図１２の時刻Ｔ６より後のモード遷移の例を示す図である。
　図１９においては、時刻Ｔ２１乃至Ｔ２６の各時刻での、板書画像における筆記情報の変化が示されている。
　時刻Ｔ２１において、図１２の時刻Ｔ６の状態から“ＡＢＣ”が消去されると、上述した記録制御処理におけるフローＦ２の処理が実行される。その結果、“ＡＢＣＤＥ”，“ＦＧＨＩＪ”，“ＫＬＭＮＯ”が筆記された記録候補画像が記録画像１７１として記録されるとともに、残存した“ＤＥ”，“ＦＧＨＩＪ”，“ＫＬＭＮＯ”に対応する板書領域画像１７２の白画素の領域が、記録済み領域に設定され、「板書消去中」モードへ移行される。
　時刻Ｔ２２においては、時刻Ｔ２１の状態から筆記情報がさらに消去されておらず、上述した記録制御処理におけるフローＦ６の処理が実行される。その結果、「板書消去中」モードが維持される。
　時刻Ｔ２３において、時刻Ｔ２２の状態から“ＤＥ”がさらに消去されると、上述した記録制御処理におけるフローＦ４の処理が実行される。その結果、板書領域画像１７２において、消去された“ＤＥ”に対応する白画素の領域が、記録済み領域から解除され、「板書消去中」モードが維持される。
　時刻Ｔ２４において、時刻Ｔ２３の状態から、消去前の“Ａ”が筆記されていた箇所に“Ｐ”が筆記されると、上述した記録制御処理におけるフローＦ５の処理が実行される。その結果、“ＦＧＨＩＪ”，“ＫＬＭＮＯ”に対応する記録済み領域の画素がマスキングされ、“Ｐ”のみが筆記された板書画像により記録候補画像１７３が更新され、「板書作成中」モードへ移行される。
　時刻Ｔ２５において、時刻Ｔ２４の状態から“Ｐ”の右側に“ＱＲ”が追記されると、上述した記録制御処理におけるフローＦ１の処理が実行される。その結果、“ＦＧＨＩＪ”，“ＫＬＭＮＯ”に対応する記録済み領域の画素がマスキングされた、“ＰＱＲ”のみが筆記された板書画像により記録候補画像１７３が更新され、「板書作成中」モードが維持される。
　その後、時刻Ｔ２６において、時刻Ｔ２５の状態から“ＦＧＨＩＪ”が消去されると、上述した記録制御処理におけるフローＦ２の処理が実行される。その結果、“ＰＱＲ”のみが筆記された記録候補画像が記録画像１７４として記録され、「板書消去中」モードへ移行される。
　ここで、図１９のモード遷移の中で記録された記録画像１７１と記録画像１７４を比較すると、記録画像１７４においては、点線の枠で示されるように、記録画像１７１として一度記録されている“ＦＧＨＩＪ”，“ＫＬＭＮＯ”が記録されていない。その結果、記録済みの記録画像に含まれる筆記領域を除いた記録候補画像が、記録画像として記録されるようになる。
　すなわち、以上の処理によれば、記録済みの記録画像に含まれる筆記情報を含んだ記録候補画像が、再び記録画像として記録されなくなるので、無駄な記録が発生することを防ぐことが可能となる。
　以上の例では、記録済み領域を形成する画素に設定される記録済みフラグとして、－１の値がセットされるものとしたが、板書残存時間と区別することができる値であれば、任意の値がセットされるようにもできる。
　ところで、上述した処理では、「板書作成中」モードにおいて一定以上の筆記情報が消去されると（具体的には、板書領域が最大値より５％以上減少すると）、その時点での記録候補画像が記録画像として記録される。
　したがって、筆記者４が、筆記情報３を筆記している最中に、誤記の書き直しなどのために一定以上の筆記情報を消去した場合にも、誤記を含んだ板書画像が記録されてしまうため、結果として、無駄な記録が発生することになる。
　そこで、以下においては、上述したような、誤記を含んだ板書画像が記録されてしまうことを避ける例について説明する。
（５－２．板書残存時間に応じた記録制御）
　図２０は、誤記を含んだ板書画像が記録されてしまうことを避けるために、板書残存時間に応じた記録制御を行う例について説明する図である。
　図２０には、時刻ｔ３１乃至ｔ３４それぞれにおける板書画像、板書領域画像、板書残存時間がセットされる画素情報配列、および記録候補画像が示されている。
　図２０の例でも、５×５画素の板書領域画像と画素情報配列が示されている。
　時刻ｔ３１の板書画像においては、筆記情報として“ＡＢＣ”，“ＤＥＦ”が筆記され、板書領域画像においては、（２，２），（２，３），（２，４），（４，２），（４，３），（４，４）の画素が白画素に設定されている。このとき、記録候補画像は、“ＡＢＣ”，“ＤＥＦ”が筆記された板書画像により更新されている。
　このとき、画素情報配列において、（２，２），（２，３），（２，４）の３画素に対応する値には、板書残存時間として６，５，４がそれぞれセットされ、（４，２），（４，３），（４，４）の３画素に対応する値には、板書残存時間として３，２，１がそれぞれセットされている。すなわち、板書画像においては、“Ａ”が最も前の時間に筆記され、“Ｆ”が最も直近の時間に筆記されている。
　時刻ｔ３２の板書画像において、時刻ｔ３１の状態から“ＤＥＦ”が消去されると、板書領域画像においては、（４，２），（４，３），（４，４）の画素が黒画素に設定され、板書領域が減少するものの、“ＡＢＣ”，“ＤＥＦ”が筆記された記録候補画像は、記録画像として記録されない。
　このとき、画素情報配列において、（２，２），（２，３），（２，４）の３画素に対応する値には、“ＡＢＣ”が筆記されてからの経過時間に伴って、板書残存時間として９，８，７がそれぞれセットされ、“ＤＥＦ”が消去された（４，２），（４，３），（４，４）の３画素に対応する値には、板書残存時間として０がそれぞれセットされる。
　時刻ｔ３３の板書画像において、時刻ｔ３２の状態から、消去前の“ＤＥＦ”が筆記されていた箇所に“ＧＨＩ”が筆記されると、板書領域画像においては、（４，２），（４，３），（４，４）の画素が再び白画素に設定される。記録候補画像は、“ＡＢＣ”，“ＧＨＩ”が筆記された板書画像により更新される。
　このとき、画素情報配列において、（２，２），（２，３），（２，４）の３画素に対応する値には、板書残存時間として１２，１１，１０がそれぞれセットされ、（４，２），（４，３），（４，４）の３画素に対応する値には、板書残存時間として３，２，１がそれぞれセットされる。
　時刻ｔ３４の板書画像において、時刻ｔ３３の状態から“ＡＢ”，“ＧＨ”が消去されると、板書領域画像においては、（２，２），（２，３），（４，２），（４，３）の画素が黒画素に設定され、“ＡＢＣ”，“ＧＨＩ”が筆記された記録候補画像が、記録画像として記録される。
　このとき、画素情報配列において、（２，２），（２，３），（４，２），（４，３）の４画素に対応する値には、板書残存時間として０がそれぞれセットされ、筆記情報が残存した（２，４），（４，４）の２画素に対応する値には、板書残存時間として－１がセットされる。すなわち、記録済み領域を形成する（２，４），（４，４）の２画素には、記録済みフラグがセットされる。
　次に、図２１のフローチャートを参照して、上述した板書残存時間に応じた記録制御を実現する記録制御処理の詳細について説明する。
　図２１のステップＳ２３１乃至Ｓ２４３における処理の流れは、基本的には、図１８のステップＳ１３１乃至Ｓ１４２における処理の流れ（フローＦ１，Ｆ２，Ｆ３）と同様であるが、ステップＳ２３８の処理が加わる点で異なる。
　具体的には、「板書作成中」モードでのステップＳ２３７において、板書領域が最大値より５％以上減少したと判定された場合、処理はステップＳ２３８に進む。
　ステップＳ２３８において、記録制御部５４は、消去された板書領域の板書残存時間が所定時間より長いか否かを判定する。ここでは、例えば、消去された板書領域の板書残存時間が、６単位時間より長いか否かが判定される。
　消去された板書領域の板書残存時間が所定時間より長いと判定された場合、ステップＳ２３９に進み、これ以降、フローＦ２の処理が実行される。すなわち、その時点での記録候補画像が記録画像として記録され、「板書消去中」モードへ移行される。
　一方、ステップＳ２３８において、消去された板書領域の板書残存時間が所定時間より長くない（短い）と判定された場合、すなわち、図２０の時刻ｔ３２のように、消去された板書領域の板書残存時間が６単位時間以下であるような場合、処理はステップＳ２４２に進み、これ以降、フローＦ３の処理が実行される。すなわち、その時点での記録候補画像は記録画像として記録されない。
　図２２は、図２１のフローチャートを参照して説明した記録制御処理における板書状態モードのモード遷移の例を示す図であり、図１２の時刻Ｔ６より後のモード遷移の例を示す図である。
　図２２においては、時刻Ｔ３１，３２の各時刻での、板書画像における筆記情報の変化が示されている。
　時刻Ｔ３１において、図１２の時刻Ｔ６の状態から、板書残存時間が所定時間より短い“ＭＮＯ”が消去されると、上述した記録制御処理におけるフローＦ３の処理が実行される。その結果、板書領域の現在値が減少し（最大値は維持され）、「板書作成中」モードが維持される。
　時刻Ｔ３２において、時刻Ｔ３１の状態から、所定時間経過後の板書領域、すなわち、板書残存時間が所定時間より長い“ＫＬ”までが消去された場合、上述した記録制御処理におけるフローＦ２の処理が実行される。その結果、“ＡＢＣＤＥ”，“ＦＧＨＩＪ”，“ＫＬＭＮＯ”が筆記された記録候補画像が記録画像２１１として記録され、「板書消去中」モードへ移行される。
　一方、時刻Ｔ３２において、時刻Ｔ３１の状態から、残存した“ＫＬ”の下側に“ＳＴＵ”が追記された場合、上述した記録制御処理におけるフローＦ１の処理が実行される。その結果、“ＡＢＣＤＥ”，“ＦＧＨＩＪ”，“ＫＬ”“ＳＴＵ”が筆記された板書画像により記録候補画像２２１が更新され、「板書作成中」モードが維持される。
　このとき、所定時間が経過する前に消去された“ＭＮＯ”が筆記された画像は、メモ画像２２２として記録されてもよいし、記録されずに破棄されてもよい。
　このように、図２２のモード遷移の中では、「板書作成中」モードにおいて一定以上の筆記情報が消去された場合であっても、記録候補画像は、所定時間が経過する前に消去された“ＭＮＯ”を含む板書画像により更新されない。
　すなわち、以上の処理によれば、筆記者４が、筆記情報３を筆記している最中に、誤記の書き直しなどのために一定以上の筆記情報を消去した場合であっても、誤記を含んだ板書画像が記録されなくなることで、無駄な記録が発生することを防ぐことが可能となる。
＜６．コンピュータの構成例＞
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
　図２３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　上述した情報処理装置１０は、図２３に示す構成を有するコンピュータにより実現される。
　ＣＰＵ（Central Processing Unit）１００１、ＲＯＭ（Read Only Memory）１００２、ＲＡＭ（Random Access Memory）１００３は、バス１００４により相互に接続されている。
　バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、キーボード、マウスなどよりなる入力部１００６、ディスプレイ、スピーカなどよりなる出力部１００７が接続される。また、入出力インタフェース１００５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１００８、ネットワークインタフェースなどよりなる通信部１００９、リムーバブルメディア１０１１を駆動するドライブ１０１０が接続される。
　以上のように構成されるコンピュータでは、ＣＰＵ１００１が、例えば、記憶部１００８に記憶されているプログラムを入出力インタフェース１００５およびバス１００４を介してＲＡＭ１００３にロードして実行することにより、上述した一連の処理が行われる。
　ＣＰＵ１００１が実行するプログラムは、例えばリムーバブルメディア１０１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部１００８にインストールされる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたときなどの必要なタイミングで処理が行われるプログラムであっても良い。
　本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　さらに、本開示は以下のような構成をとることができる。
（１）
　筆記情報が筆記された筆記対象を示す筆記画像において、前記筆記情報を含む筆記領域を設定する領域設定部と、
　前記筆記領域の変化に応じて、前記筆記画像の記録を制御する記録制御部と
　を備える情報処理装置。
（２）
　前記筆記領域は、前記筆記対象において前記筆記情報が筆記された範囲の占める割合を示す
　（１）に記載の情報処理装置。
（３）
　前記領域設定部は、前記筆記画像における前記筆記情報に対して膨張処理を施すことで、前記筆記領域を設定する
　（１）または（２）に記載の情報処理装置。
（４）
　前記領域設定部は、前記筆記領域が設定された前記筆記画像に対して低解像度化処理をさらに施す
　（３）に記載の情報処理装置。
（５）
　前記領域設定部は、前記筆記画像において文字認識が行われた文字領域を、前記筆記領域に設定する
　（１）または（２）に記載の情報処理装置。
（６）
　前記記録制御部は、
　　前記筆記領域の増加に応じて、前記筆記画像により、記録画像の候補となる記録候補画像を更新し、
　　前記筆記領域の減少に応じて、前記記録候補画像を前記記録画像として記録する
　（１）乃至（５）のいずれかに記載の情報処理装置。
（７）
　前記記録制御部は、記録済みの前記記録画像に含まれる前記筆記領域を除いた前記記録候補画像を前記記録画像として記録する
　（６）に記載の情報処理装置。
（８）
　前記記録制御部は、前記記録画像が記録された後、前記筆記領域の一部が残存した状態から前記筆記領域が増加したとき、残存した前記筆記領域をマスキングした前記筆記画像により、前記記録候補画像を更新する
　（７）に記載の情報処理装置。
（９）
　前記記録画像が記録されたとき、前記筆記画像において残存している前記筆記領域の画素に記録済みフラグをセットするセット部をさらに備え、
　前記記録制御部は、前記筆記領域が増加したとき、前記記録済みフラグがセットされた前記画素をマスキングした前記筆記画像により、前記記録候補画像を更新する
　（８）に記載の情報処理装置。
（１０）
　前記記録制御部は、前記筆記領域が減少したとき、消去された前記筆記領域の残存時間に基づいて、前記記録候補画像を前記記録画像として記録するか否かを決定する
　（６）に記載の情報処理装置。
（１１）
　前記筆記画像の画素毎に、前記筆記領域の前記残存時間をセットするセット部をさらに備え、
　前記記録制御部は、消去された前記筆記領域の前記画素にセットされている前記残存時間に基づいて、前記記録候補画像を前記記録画像として記録するか否かを決定する
　（１０）に記載の情報処理装置。
（１２）
　前記記録制御部は、消去された前記筆記領域の前記画素にセットされている前記残存時間が所定時間より短い場合、前記記録候補画像を前記記録画像として記録しない
　（１１）に記載の情報処理装置。
（１３）
　前記記録制御部は、前記残存時間が前記所定時間より短い前記筆記領域を、前記記録画像とは別のメモ画像として記録する
　（１２）に記載の情報処理装置。
（１４）
　前記筆記対象が撮像された撮像画像から前記筆記画像を抽出する画像抽出部をさらに備える
　（１）乃至（１３）のいずれかに記載の情報処理装置。
（１５）
　前記撮像画像は、動画像の１フレームである
　（１４）に記載の情報処理装置。
（１６）
　前記撮像画像は、静止画像である
　（１４）に記載の情報処理装置。
（１７）
　情報処理装置が、
　筆記対象に筆記された筆記情報を含む筆記画像において、前記筆記情報を含む筆記領域を設定し、
　前記筆記領域の変化に応じて、前記筆記画像の記録を制御する
　情報処理方法。
（１８）
　コンピュータに、
　筆記対象に筆記された筆記情報を含む筆記画像において、前記筆記情報を含む筆記領域を設定し、
　前記筆記領域の変化に応じて、前記筆記画像の記録を制御する
　処理を実行させるためのプログラム。
　１　板書記録システム，　１０　情報処理装置，　２０　入力装置，　３０　出力装置，　５１　画像取得部，　５２　板書画像抽出部，　５３　板書領域設定部，　５４　記録制御部，　５５　記録部，　５６　出力制御部，　６１　モード設定部，　１６１　画素情報セット部

Claims (18)

  1. 　筆記情報が筆記された筆記対象を示す筆記画像において、前記筆記情報を含む筆記領域を設定する領域設定部と、
    　前記筆記領域の変化に応じて、前記筆記画像の記録を制御する記録制御部と
    　を備える情報処理装置。
  2. 　前記筆記領域は、前記筆記対象において前記筆記情報が筆記された範囲の占める割合を示す
    　請求項１に記載の情報処理装置。
  3. 　前記領域設定部は、前記筆記画像における前記筆記情報に対して膨張処理を施すことで、前記筆記領域を設定する
    　請求項２に記載の情報処理装置。
  4. 　前記領域設定部は、前記筆記領域が設定された前記筆記画像に対して低解像度化処理をさらに施す
    　請求項３に記載の情報処理装置。
  5. 　前記領域設定部は、前記筆記画像において文字認識が行われた文字領域を、前記筆記領域に設定する
    　請求項１に記載の情報処理装置。
  6. 　前記記録制御部は、
    　　前記筆記領域の増加に応じて、前記筆記画像により、記録画像の候補となる記録候補画像を更新し、
    　　前記筆記領域の減少に応じて、前記記録候補画像を前記記録画像として記録する
    　請求項１に記載の情報処理装置。
  7. 　前記記録制御部は、記録済みの前記記録画像に含まれる前記筆記領域を除いた前記記録候補画像を前記記録画像として記録する
    　請求項６に記載の情報処理装置。
  8. 　前記記録制御部は、前記記録画像が記録された後、前記筆記領域の一部が残存した状態から前記筆記領域が増加したとき、残存した前記筆記領域をマスキングした前記筆記画像により、前記記録候補画像を更新する
    　請求項７に記載の情報処理装置。
  9. 　前記記録画像が記録されたとき、前記筆記画像において残存している前記筆記領域の画素に記録済みフラグをセットするセット部をさらに備え、
    　前記記録制御部は、前記筆記領域が増加したとき、前記記録済みフラグがセットされた前記画素をマスキングした前記筆記画像により、前記記録候補画像を更新する
    　請求項８に記載の情報処理装置。
  10. 　前記記録制御部は、前記筆記領域が減少したとき、消去された前記筆記領域の残存時間に基づいて、前記記録候補画像を前記記録画像として記録するか否かを決定する
    　請求項６に記載の情報処理装置。
  11. 　前記筆記画像の画素毎に、前記筆記領域の前記残存時間をセットするセット部をさらに備え、
    　前記記録制御部は、消去された前記筆記領域の前記画素にセットされている前記残存時間に基づいて、前記記録候補画像を前記記録画像として記録するか否かを決定する
    　請求項１０に記載の情報処理装置。
  12. 　前記記録制御部は、消去された前記筆記領域の前記画素にセットされている前記残存時間が所定時間より短い場合、前記記録候補画像を前記記録画像として記録しない
    　請求項１１に記載の情報処理装置。
  13. 　前記記録制御部は、前記残存時間が前記所定時間より短い前記筆記領域を、前記記録画像とは別のメモ画像として記録する
    　請求項１２に記載の情報処理装置。
  14. 　前記筆記対象が撮像された撮像画像から前記筆記画像を抽出する画像抽出部をさらに備える
    　請求項１に記載の情報処理装置。
  15. 　前記撮像画像は、動画像の１フレームである
    　請求項１４に記載の情報処理装置。
  16. 　前記撮像画像は、静止画像である
    　請求項１４に記載の情報処理装置。
  17. 　情報処理装置が、
    　筆記対象に筆記された筆記情報を含む筆記画像において、前記筆記情報を含む筆記領域を設定し、
    　前記筆記領域の変化に応じて、前記筆記画像の記録を制御する
    　情報処理方法。
  18. 　コンピュータに、
    　筆記対象に筆記された筆記情報を含む筆記画像において、前記筆記情報を含む筆記領域を設定し、
    　前記筆記領域の変化に応じて、前記筆記画像の記録を制御する
    　処理を実行させるためのプログラム。
PCT/JP2020/037531 2019-10-17 2020-10-02 情報処理装置、情報処理方法、およびプログラム WO2021075280A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/767,394 US20240078007A1 (en) 2019-10-17 2020-10-02 Information processing apparatus, information processing method, and program
CN202080070912.XA CN114514499A (zh) 2019-10-17 2020-10-02 信息处理装置、信息处理方法和程序
JP2021552314A JP7447908B2 (ja) 2019-10-17 2020-10-02 情報処理装置、情報処理方法、およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019190231 2019-10-17
JP2019-190231 2019-10-17

Publications (1)

Publication Number Publication Date
WO2021075280A1 true WO2021075280A1 (ja) 2021-04-22

Family

ID=75537992

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/037531 WO2021075280A1 (ja) 2019-10-17 2020-10-02 情報処理装置、情報処理方法、およびプログラム

Country Status (4)

Country Link
US (1) US20240078007A1 (ja)
JP (1) JP7447908B2 (ja)
CN (1) CN114514499A (ja)
WO (1) WO2021075280A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114945107A (zh) * 2022-04-15 2022-08-26 北京奕斯伟计算技术股份有限公司 视频处理方法和相关装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11353459A (ja) * 1998-06-08 1999-12-24 Toyota Motor Corp 符号読み取り装置
JP2005125628A (ja) * 2003-10-24 2005-05-19 Fuji Photo Film Co Ltd 記録装置
JP2016019138A (ja) * 2014-07-08 2016-02-01 株式会社東芝 画像処理装置、方法及びプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110145725A1 (en) * 2009-12-11 2011-06-16 Richard John Campbell Methods and Systems for Attaching Semantics to a Collaborative Writing Surface
JP6276570B2 (ja) * 2013-12-05 2018-02-07 キヤノン株式会社 画像音声再生システム及び画像音声再生方法とプログラム
JP2016009266A (ja) * 2014-06-23 2016-01-18 コニカミノルタ株式会社 撮影システム、撮影の方法、およびコンピュータープログラム
US9706168B1 (en) * 2014-10-13 2017-07-11 Surround.IO Room conferencing system with heat map annotation of documents
JP6308116B2 (ja) * 2014-11-28 2018-04-11 京セラドキュメントソリューションズ株式会社 文書記録システム及び文書記録プログラム
US10839494B2 (en) * 2015-02-13 2020-11-17 Light Blue Optics Ltd Timeline image capture systems and methods
US10720187B2 (en) * 2015-09-29 2020-07-21 International Business Machines Corporation Method and apparatus to extract key video frames from online education
CN106919333B (zh) * 2017-02-21 2020-08-25 海信视像科技股份有限公司 电子书写板上书写内容的记录方法和装置
JP6844358B2 (ja) * 2017-03-22 2021-03-17 富士ゼロックス株式会社 書込保存装置および書込保存プログラム
JP7210908B2 (ja) * 2018-06-05 2023-01-24 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
CN110427601B (zh) * 2019-07-16 2021-05-18 广州视源电子科技股份有限公司 表格处理方法、装置、智能交互平板及存储介质
US11849196B2 (en) * 2019-09-11 2023-12-19 Educational Vision Technologies, Inc. Automatic data extraction and conversion of video/images/sound information from a slide presentation into an editable notetaking resource with optional overlay of the presenter
CN110716680B (zh) * 2019-10-09 2021-05-07 广州视源电子科技股份有限公司 智能交互平板的控制方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11353459A (ja) * 1998-06-08 1999-12-24 Toyota Motor Corp 符号読み取り装置
JP2005125628A (ja) * 2003-10-24 2005-05-19 Fuji Photo Film Co Ltd 記録装置
JP2016019138A (ja) * 2014-07-08 2016-02-01 株式会社東芝 画像処理装置、方法及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114945107A (zh) * 2022-04-15 2022-08-26 北京奕斯伟计算技术股份有限公司 视频处理方法和相关装置
CN114945107B (zh) * 2022-04-15 2024-02-02 北京奕斯伟计算技术股份有限公司 视频处理方法和相关装置

Also Published As

Publication number Publication date
JP7447908B2 (ja) 2024-03-12
JPWO2021075280A1 (ja) 2021-04-22
US20240078007A1 (en) 2024-03-07
CN114514499A (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
JP5493709B2 (ja) 映像編集装置
KR100996787B1 (ko) 오디오 비주얼 컨텐트 요약 및 인덱싱 방법, 이 방법을 수행하도록 실행가능한 컴퓨터 판독가능 기록 매체, 및 미팅의 오디오 및 비디오 컨텐트를 캡쳐하기 위한 시스템
US20140105563A1 (en) Segmenting and playback of whiteboard video capture
JP7210908B2 (ja) 情報処理装置、情報処理方法及びプログラム
WO2019090903A1 (zh) 一种视频处理方法、装置、终端设备和存储介质
JP5037673B2 (ja) 情報処理装置、情報処理システム、情報処理方法、情報処理プログラム及びコンピュータ読み取り可能な記録媒体
CN103888696A (zh) 照片的拍摄和查看方法和拍摄装置
WO2021075280A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN111881904A (zh) 板书记录方法和系统
JP2018041049A (ja) 学習支援装置、学習支援プログラムおよび学習支援方法
JP4830105B2 (ja) 画像処理装置、画像処理プログラム及び画像処理方法
CN105229999A (zh) 图像记录装置、图像记录方法以及程序
CN106936830B (zh) 一种多媒体数据的播放方法和装置
JP2016157201A (ja) 情報処理装置、操作取消方法、コンピュータプログラム、及び記憶媒体
KR101978168B1 (ko) 동영상 콘텐츠의 실시간 제작 방법
JP2018156158A (ja) 発表評価システム、評価端末、撮像端末、評価方法、表示方法、評価プログラムおよび表示プログラム
JP4872564B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム
JP2009004846A (ja) 電子黒板連携授業録画システム
JP2008020944A (ja) 画像処理方法、プログラムおよび装置
JP7513019B2 (ja) 画像処理装置および方法、並びに、プログラム
KR102546070B1 (ko) 타임 랩스 영상의 노이즈 제거 방법
CN114363521B (zh) 图像处理方法、装置及电子设备
US20230368396A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
CN117831041A (zh) 板书检测方法、装置、设备及可读存储介质
CN117311884A (zh) 内容显示方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20877700

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021552314

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 17767394

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20877700

Country of ref document: EP

Kind code of ref document: A1