WO2019065345A1 - 録音再生システム、録音再生方法、録音装置、記録媒体および録画装置 - Google Patents

録音再生システム、録音再生方法、録音装置、記録媒体および録画装置 Download PDF

Info

Publication number
WO2019065345A1
WO2019065345A1 PCT/JP2018/034357 JP2018034357W WO2019065345A1 WO 2019065345 A1 WO2019065345 A1 WO 2019065345A1 JP 2018034357 W JP2018034357 W JP 2018034357W WO 2019065345 A1 WO2019065345 A1 WO 2019065345A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
recording
point
index
unit
Prior art date
Application number
PCT/JP2018/034357
Other languages
English (en)
French (fr)
Inventor
石山　塁
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US16/651,776 priority Critical patent/US11403834B2/en
Priority to JP2019544973A priority patent/JP7095703B2/ja
Publication of WO2019065345A1 publication Critical patent/WO2019065345A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327—Table of contents
    • G11B27/329—Table of contents on a disc [VTOC]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K1/00—Methods or arrangements for marking the record carrier in digital fashion
    • G06K1/12—Methods or arrangements for marking the record carrier in digital fashion otherwise than by punching
    • G06K1/121—Methods or arrangements for marking the record carrier in digital fashion otherwise than by punching by printing code marks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/12—Formatting, e.g. arrangement of data block or words on the record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B31/00—Associated working of cameras or projectors with sound-recording or sound-reproducing means
    • G03B31/06—Associated working of cameras or projectors with sound-recording or sound-reproducing means in which sound track is associated with successively-shown still pictures

Definitions

  • the present disclosure relates to a recording and reproduction system, a recording and reproduction method, and the like.
  • Patent Document 1 discloses a technique for recognizing speech to be recorded and dividing the speech if there is a conjunction that changes the topic, and recording between the conjunctions as one reproduction unit.
  • Patent Document 2 discloses a technique for searching for recorded data by a search term and adding a mark to a sound generation position of a candidate section.
  • An object of the present disclosure is to provide a technology that solves the above-mentioned problems.
  • a recording apparatus includes: recording means for recording voice; index generation imaging means for picking up an image to be an index for indexing the recorded voice; And indexing means for adding the captured image as an index to the recorded sound.
  • a recording control program stored in a recording medium includes a recording process for recording a voice, and a point image described with a writing implement as an index for indexing the recorded voice.
  • the index generation imaging process to be imaged by the index generation imaging means, a point identifier extraction process for extracting a point feature amount from the point image as a point identifier, the voice recorded in the voice during the recording, the point identifier And causing the computer to execute an indexing process that assigns as an index.
  • a recording apparatus includes a recording unit that records a moving image, an imaging unit that generates an index that captures an image serving as an index that indexes the recorded moving image, and during recording. And indexing means for adding the captured image as an index to the recorded moving image.
  • a recording and reproduction system includes recording means for recording a recorded voice or a recorded moving image, and an index for indexing the recorded voice or the recorded moving image.
  • Index generation imaging means for capturing one image, and index assigning means for adding the captured first image as an index to the voice recorded during recording or to the moving image recorded during recording
  • a playback unit for playing back a voice or a moving image recorded in the recording unit
  • an obtaining unit for obtaining a second image captured by the index generation imaging unit as a playback start index at the time of playback;
  • a recording and reproducing method records a recorded voice or a recorded moving image in a recording unit, and becomes an index for indexing the recorded voice or the recorded moving image.
  • the first image taken as an index is added to the voice recorded during recording, or to the moving image recorded during recording by capturing one image with the imaging means for index generation, at the time of reproduction,
  • the second image captured by the index generation imaging unit is acquired as an index of reproduction start, the second image and the first image are collated, and from the collation result, the second image and the first image are collated.
  • the first image is reproduced as an index from the audio or video recorded in the recording means.
  • FIG. It is a schematic diagram for demonstrating the operation
  • FIG. It is a block diagram which shows the other example of a function structure of the point identifier extraction part which concerns on 2nd Embodiment. It is a flowchart which shows the procedure of the other example of the point identifier extraction process which concerns on 2nd Embodiment. It is a block diagram which shows the further another example of a function structure of the point identifier extraction part which concerns on 2nd Embodiment. It is a flowchart which shows the procedure of the further another example of the point identifier extraction process which concerns on 2nd Embodiment.
  • the recording device 100 is a recording device that can add a cue index for reproduction to recorded data.
  • the recording device 100 includes a recording unit 101, an index generation imaging unit 102, and an index assignment unit 103.
  • the recording unit 101 records a voice.
  • the index generation imaging unit 102 captures an image serving as an index for indexing the sound recorded by the recording unit 101.
  • the index assigning unit 103 assigns a captured image as an index to audio data recorded during recording.
  • the recording data can be reproduced by a simple operation at an arbitrary timing desired by the user during recording. Indexing indexes can be given.
  • the sound recording apparatus describes points in a sentence, a drawing, a portion of an object, or the like in a printed matter which is a target of a topic or an agenda while recording a voice input to a microphone.
  • the recording device picks up the described point, and assigns a point image or a point identifier extracted from the point image as a cue index.
  • the recording device picks up a point identifier from a point image by imaging the same printed matter, a drawing, or a point on an object when the recording data is searched for and reproduced. Then, the recording device collates the extracted point identifier with the point identifier as the indexing index added at the time of recording, and reproduces the recording data from the position indexed by the coincident point identifier.
  • the recording device of the present embodiment has a stationery shape such as a pen shape. Further, the determination of the match of the point identifiers may be determined as the match if the difference is within the predetermined threshold.
  • FIG. 2A is a diagram showing an outline of a recording and reproducing system 200 including the recording device 210 according to the present embodiment.
  • the recording device 210 shown on the left side of FIG. 2A describes the point 253 with ink at the position on the printed material 252 targeted by the voice being recorded, and assigns a point image or a point identifier extracted from the point image as an index .
  • the recording device 210 includes a point writing unit (pen) 211 having a pen point 212, a point imaging unit (for example, a microscope camera) 213 which magnifies and images the described points, and a recording unit (recording unit)
  • the memory card 214 and a voice input unit (for example, a microphone) 215 are provided.
  • the recording device 210 also includes an operation unit (such as a switch) and a display unit (such as a lamp).
  • the point imaging unit 213 may be another high resolution camera as long as it can capture a point image that can extract a point identifier from the described point. The configuration of the reproduction function in the recording device 210 will be described later.
  • the user When the user gives an index to the voice being recorded, the user writes the point 253 at the target position of the topic on the printed matter 252 with the pen tip 212 of the recording device 210.
  • the described point 253 is imaged by the point imaging unit 213, and a point image or point identifiers 231 to 233 are added as an index to a desired position (time) of the recording data 241 and recorded in the recording unit 214.
  • the recording data 241 and the point image or point identifier 231 to 233 of the index may be recorded in association with the recording data and the point image or point identifier, or may be integrally recorded in association with each other.
  • the recording device 220 shown on the right side of FIG. 2A is an example of reproducing the recorded data 241 associated with the point 253 described in ink at the position on the printed material 252 for which the recorded voice is a target.
  • the point imaging unit 213 of the recording device 220 images the point 253 on the printed material 252 corresponding to the recording desired to be reproduced by the user with the point imaging unit 213, the point image comparison unit 247 detects the imaged point image or point identifier 234. And the point images or point identifiers 231 to 233 recorded in the recording unit 214 as an index. Then, if the point image and the point identifier match, the reproduction unit (not shown) reproduces the recording data 241 associated with the described position of the point 253.
  • the matching of the point image or the point identifier may be the same as long as the difference is within a predetermined threshold.
  • FIG. 2B is a diagram showing a functional configuration of a recording and reproduction system 200 including the recording device 210 according to the present embodiment.
  • the same components as in FIG. 2A are denoted by the same reference numerals.
  • an audio input unit (microphone) 215, a point writing unit (pen) 211, a point imaging unit (microscope camera) 213, an index assigning unit 236, and a recording unit (memory card) 214 are used.
  • the point image pickup unit (microscope camera) 213 picks up a point described by the point writing unit (pen) 211 on the index medium 254 with respect to the voice of the speaker input from the voice input unit (microphone) 215
  • the point image or point identifier is assigned as an index, and is recorded in the recording unit (memory card) 214.
  • a point imaging unit (microscope camera) 213, a point image comparison unit 247, and a reproduction unit 248 are used.
  • the point image collating unit 247 collates the imaged point image with the point image stored as the index in the recording unit 214. Be done.
  • the reproduction unit 248 reproduces and outputs the recorded data of the recording unit 214, using the point images as an index.
  • the collation of the point image collation part 247 it is desirable to be performed by the point identifier extracted from the point image.
  • FIG. 2C is a diagram showing a method of generating points that can extract point feature amounts that are point identifiers according to the present embodiment.
  • FIG. 2C is a schematic view of a state in which points are described by the pen-shaped recording device 210 on a printed matter (print material) 252 in the present embodiment.
  • the dimensional relationship of each element is not accurate.
  • a point 253 including minute grains 256 is described by the recording device 210 at the surface position corresponding to the recorded voice of the printed material (printed material) 252.
  • the point writing portion (pen) 211 of the recording device 210 is filled with the ink 261 including the minute particles 256.
  • the point description medium is not limited to ink. It may be a solid pencil lead or ink.
  • the point 253 described on the surface position corresponding to the recorded voice of the printed material (printed material) 252 contains minute particles 256 at random positions.
  • fine particles 256 fine particles such as metal powder and glass powder, or a dust can be used. It is desirable that the minute particles 256 be particles having different reflection characteristics from the material (excluding the minute particles 256) constituting the point 253. In addition, it is desirable that the minute particles 256 be contained unevenly at the point 253. That is, the distribution of the fine particles 256 at the point 253 is desirably nonuniform.
  • the planar shape of the point 253 is irregular. The planar shape of the point 253 is a shape viewed from directly above the point 253.
  • Such a point 253 is formed, for example, by dropping a single drop of printing ink mixed with fine particles 256, paint or the like on the surface of an object using a writing instrument 260 such as a pen and solidifying it.
  • a writing instrument 260 such as a pen and solidifying it.
  • the method for forming the point 253 is not limited to such a method, and any other method may be used such as applying a printing ink mixed with fine particles 256, a paint or the like with a brush or the like.
  • FIG. 2C is a diagram showing an example of a method of describing a point identifier that can be extracted by a pen-type recording device 210 on a printed material (print material) 252 in the present embodiment, and an example of a method of extracting a point identifier.
  • the description method of the point which can extract a point identifier is not limited to FIG. 2C.
  • the point description material 271 includes a material containing fine particles, a material characterized by surface reflection and color pattern, a material through which the pattern of the medium (paper) is transmitted, a material from which the bleeding on the medium (paper) occurs, etc. .
  • the limitation of the point writing medium 272, the difference in the point imaging method 273, and the feature quantity extraction method 274 of the point image as the point identifier are as shown in the figure.
  • a point that can extract point identifiers can be described in a wide range of media, and as a material that allows the imaging unit to be portable, the captured image is stable, and distinguishable point identifiers can be easily extracted, Use a material containing fine particles.
  • the material of the point or the method of describing the point, the method of imaging the point, and the method of extracting the point identifier are not limited to this, and may be those described in FIG. 2C or others.
  • FIG. 2D is a diagram showing a dotted structure of another recording device 280 according to the present embodiment.
  • the recording device 280 is not provided with a point writing unit (pen) 211 and a point imaging unit (microscope camera) 213 separately like the recording device 210, but realizes point writing and point imaging by interlocking operation
  • the pen 281 has a stamp format.
  • FIG. 2D the same components as those of the recording device 210 of FIG. 2A are denoted by the same reference numerals, and redundant description will be omitted. Further, in FIG. 2D, the configuration and operation of the tip portion 282 which is a feature of the stamp-type pen 281 will be described.
  • the tip portion 282 has a lid 283 and a container 284 movable in the lid 283 in the axial direction of the pen 281.
  • a point writing unit (pen) 211 In the container 284, a point writing unit (pen) 211, a point imaging unit (microscope camera) 213, and a movable mirror 285 are provided.
  • the movable mirror 285 is biased counterclockwise by a tension spring.
  • the point imaging unit (microscope camera) 213 and the movable mirror 285 are fixed to the container 284, and the point writing unit (pen) 211 is connected and fixed to the lid 283.
  • the tip end 282 changes into a state in which the end of the container 284 is accommodated in the lid 283 and a state in which the half of the container 284 is accommodated in the lid 283. Therefore, along with the storage of the container 284, the point writing unit (pen) 211 moves to a position in contact with the printed matter 252.
  • the point writing unit (pen) 211 does not move the movable mirror 285 clockwise. Therefore, the image of the printed material 252 in contact with the lower surface of the container 284 is reflected by the movable mirror 285 and input to the point imaging unit (microscope camera) 213.
  • the container 284 is housed in the lid portion 283 to a half thereof.
  • the point writing portion (pen) 211 describes a point with respect to the printed matter 252 in contact with the lower surface of the container 284.
  • the point writing unit (pen) 211 moves the movable mirror 285 clockwise, and the image of the printed material 252 is not input to the point imaging unit (microscope camera) 213.
  • the point writing portion (pen) 211 does not push the movable mirror 285 until it is housed in the lid 283 up to the end of the container 284 and the movable mirror 285 is biased counterclockwise by the tension spring. At this time, the image of the point 253 described on the printed material 252 contacting the lower surface of the container 284 is reflected by the movable mirror 285 and is input to the point imaging unit (microscope camera) 213.
  • Such a stamp format is not limited to the structure of FIG. 2D.
  • Patent Document 3 For the details, refer to Patent Document 3.
  • FIG. 3A is a diagram showing an application example of a recording and reproduction system 200 including the recording device 210 according to the present embodiment.
  • FIG. 3A shows the case where the present embodiment is applied to price negotiation while looking at a quote as the printed matter 252.
  • the estimate creator 311 tells the customer 312 the first point in the vicinity of the estimated content by the recording device 210 and images with the microscope camera, “How about this of this estimate? "?” Then, the point image or point identifier of the first point is assigned as a cue index, in association with the voice of the creator 311 "How about this estimate?" In response to this question, after the customer 312 answered “This price is good," and while using a microscope camera to write a second point near the other estimate contents, "Can't we be cheaper here?" And request.
  • the estimate creator 311, the customer 312, or the third party 321 plays back the recorded data at a later date.
  • the point image of the first point is used as an index, "How about this part of the estimate? ... this price is good, but " It is reproduced and output.
  • the point image of the second point is used as an index, and "It can not be cheaper here? ... Reconsider it! " is reproduced and output.
  • FIG. 3B is a diagram showing another application example of the recording and reproduction system 200 including the recording device 210 according to the present embodiment.
  • FIG. 3B shows a case where the present embodiment is applied to product development while looking at a design drawing as the printed matter 252.
  • the designer of the design drawing 331 instructs the other developers 332 and 333 to write a third point in the vicinity of the target site using the recording device 210 and capture it with the microscope camera. How about the document here? " Then, the point image or point identifier of the third point is assigned as a cue index, in association with the voice of the creator 331 "How about this material?" In response to this question, while the developer 332 describes the fourth point at the position of interest in the target site and captures an image with a microscope camera, it responds that “the description here is unclear and should be improved”. A new fourth point image or point identifier is assigned as an index in association with the voice of the developer 332 “I will not improve the explanation here and should improve”. In response to the developer 332's response, the developer 333 strikes "Say yes" and is recorded.
  • the creator 331 reproduces the recorded data later by design change or the like.
  • the point image of the fourth point is used as an index to reproduce and output "It is difficult to understand the explanation here.
  • FIG. 3C is a diagram showing yet another application example of the recording and reproduction system 200 including the recording device 210 according to the present embodiment.
  • FIG. 3C shows a case where this embodiment is applied to product development while looking at the prototype 251.
  • the salesman 351 describes the fifth point in the vicinity of the target site by the recording device 210 for the prototype 251 and captures an image with a microscope camera, saying "This side is cool” Describe. Then, the point image or point identifier of the fifth point is assigned as a cue index, in association with the voice of the salesman 351 "This area is not cool.” In response to this impression, the salesman 352 points out an improvement plan, saying “It is better to make it round here" while describing it with a microscope camera with the sixth point described at a specific position in the target site . A new sixth point image or point identifier is assigned as an index in association with the voice of the salesperson 352 "Here it is better to round.”
  • the designer 361 of the prototype 251 later reproduces the recorded data by design change or the like.
  • the point image of the fifth point is used as an index to reproduce and output that “this side is not cool”.
  • the point image of the sixth point is used as an index to be reproduced and output as "It is better to round here.”
  • FIG. 4 is a block diagram showing a functional configuration of the recording device 210 according to the present embodiment.
  • the recording device 210 of FIG. 4 does not have a function of extracting a point identifier from a point image. That is, this is a configuration example in which the extraction of the load point identifier is delegated to the outside.
  • FIG. 4 the same components as in FIGS. 2A and 2B are denoted by the same reference numerals.
  • the recording device 210 includes a point writing unit (pen) 211, an audio input unit (microphone) 215, a point imaging unit (microscope camera) 213, an index assigning unit 236, a recording unit (memory card) 214, and a display unit. It includes (a lamp and the like) 405 and an operation unit (a switch and the like) 406.
  • the point writing unit (pen) 211 writes points at a notable position corresponding to the recorded voice such as a printed matter or a prototype as shown in FIG. 2C.
  • a voice input unit (microphone) 215 inputs a voice of a conversation referring to a printed matter, a prototype, or the like.
  • the point imaging unit (microscope camera) 213 captures an enlarged image of the point described by the point writing unit (pen) 211.
  • the index assigning unit 236 assigns, as an index, a point image described at a position where the speaker pays attention to the voice of the conversation input by the voice input unit (microphone) 215.
  • the recording unit (memory card) 214 includes a recording unit 441 that stores voice recording data of a conversation, and a point image storage unit 442 that associates point images as indexes and stores them.
  • the recording unit 214 may be a fixed memory which can not be inserted and removed like a memory card.
  • the display unit (lamp or the like) 405 notifies the user of the state of the recording device 210, such as a power lamp, a recording lamp, or an index assignment operation lamp.
  • An operation unit (switch or the like) 406 operates the recording device 210 such as, for example, a power ON / OFF switch, a recording start / end switch, and an index assignment switch.
  • FIG. 5 is a view showing configuration data stored in the recording unit 214 according to the present embodiment.
  • the recording unit 214 in FIG. 5 stores point images as an index.
  • Three configuration data 510, 520, and 530 are stored in the recording unit 214 shown in FIG.
  • the configuration of the recording unit 214 is not limited to the configuration data of FIG. Any recording configuration may be used as long as recording data can be indexed by a point image.
  • a time stamp (recording time or imaging time of a point) is associated with recording data or a point image.
  • the voice frame 512 of the recording data is stored in association with the time stamp 511 indicating the recording time.
  • a time stamp 514 indicating the imaging time in association with the point image data 513 and a cue adjustment time 515 are stored.
  • the cue adjustment time 515 is an option. Since the imaging time is later than the recording data by the point description time and the imaging time, the cue adjustment time 515 is set to adjust the delay. The cue adjustment may be performed at the time of recording or at the time of reproduction.
  • the recording position and the recording data are associated with each other, and the storage position of the point is associated with the point image.
  • the voice frame 522 of the recording data is stored in association with the recording address 521 indicating the recording position.
  • an address pointer 524 that points to a recording address at the time of imaging of a point in association with the point image data 523 and a cue adjustment address 525 are stored.
  • the cue adjustment address 525 is an option. Since the address at the time of imaging is different from the address of the recording data for the time of the point description time and the imaging time, the cue adjustment address 525 is set for the adjustment.
  • the cue adjustment may be performed at the time of recording or at the time of reproduction.
  • a point image as an index is recorded in association with the recording data.
  • the voice frame 512 of the recording data and the point image 533 as an index are stored in association with the time stamp 511 indicating the recording time.
  • FIG. 6 is a block diagram showing another functional configuration of the recording device 210 according to the present embodiment.
  • the recording device 210 of FIG. 6 has a function of extracting a point identifier from a point image. That is, since the point identifier is provided to the outside, the recording capacity and the communication capacity can be reduced. 6, the same reference numerals as in FIGS. 2A, 2B and 4 denote the same constituent elements in FIG.
  • the point identifier extraction unit 602 extracts a point identifier from the point image captured by the point imaging unit 213.
  • the recording unit (memory card) 214 has a recording unit 441 for storing voice recording data of conversation, and a point identifier storage unit 642 for storing point identifiers as indexes in association with each other.
  • the recording unit 214 may be a fixed memory which can not be inserted and removed like a memory card.
  • FIG. 7 is a view showing configuration data stored in another recording unit 214 according to the present embodiment.
  • the recording unit 214 in FIG. 7 stores point identifiers as an index.
  • the recording unit 214 in FIG. 7 stores three pieces of configuration data 710, 720, and 730.
  • the configuration data of the recording unit 214 is not limited to the configuration data of FIG. 7. Any recording configuration may be used as long as recording data can be indexed by a point identifier. Further, in FIG. 7, the same components as in FIG. 5 will be assigned the same reference numerals and overlapping descriptions will be omitted.
  • a time stamp (recording time or imaging time of a point) is associated with recording data or a point identifier.
  • the point identifier storage unit 642 of the configuration data 710 stores a time stamp 514 representing an imaging time in association with the point identifier 713 and a cue adjustment time 515.
  • the recording position and the recording data are associated with each other, and the storage position of the point is associated with the point identifier.
  • the point identifier storage unit 642 of the configuration data 720 an address pointer 524 and a cue adjustment address 525 are stored that are associated with the point identifier 723 and point to the recording address at the time of imaging of the point.
  • the recording data and the point identifier as an index are associated.
  • the voice frame 512 of the recording data and the point identifier 733 as an index are stored in association with the time stamp 511 indicating the recording time.
  • FIG. 8A is a block diagram showing an example of a functional configuration of the point identifier extraction unit 602 according to the present embodiment.
  • FIG. 8A shows a part of the recording device 210 including the point identifier extraction unit 602.
  • the point identifier extraction unit 602 according to the present embodiment has a function of extracting a point identifier from a printed matter or a point image on the prototype 251. Note that it is assumed that all of the point identifier extraction units in this specification extract the point identifiers by the same or similar processing as the point identifier extraction unit 602.
  • a printed matter or a prototype 251 a point 253 described by a writing tool formed on the surface, and minute particles 256 included in the point 253 are the printed matter or a prototype described with reference to FIG. 2C. This is the same as 251, point 253, and minute particles 256.
  • the point imaging unit (microscope camera) 213 has a function of optically acquiring an image of a point 253 on a printed matter or a prototype 251, that is, an imaging function.
  • a camera using a charge coupled device (CCD) image sensor or a complementary metal oxide semiconductor (CMOS) image sensor can be used as the point imaging unit (microscope camera) 213.
  • CCD charge coupled device
  • CMOS complementary metal oxide semiconductor
  • the point identifier extraction unit 602 has a function of extracting a point identifier from a point image.
  • the point identifier extraction unit 602 includes an image storage unit 832, a coordinate system determination unit 833, a normalized image generation unit 834, a normalized image storage unit 835, a fixed region determination unit 836, and a feature amount extraction unit 837 as main functional units. Have.
  • the point identifier extraction unit 602 is an information processing unit including, for example, one or more operation processing units such as a microprocessor, and storage units such as a memory used as the image storage unit 832 and the normalized image storage unit 835 or a hard disk And a program.
  • the program is read from an external computer-readable recording medium into the memory when the information processing unit is started, etc., and controls the operation of the operation processing unit to obtain a coordinate system determination unit 833, a normal on the operation processing unit.
  • a functional configuration unit such as a quantization image generation unit 834, a fixed region determination unit 836, and a feature quantity extraction unit 837 is realized.
  • the coordinate system determination unit 833 has a function of determining a coordinate system unique to the image of the point 253 from the entire image of the point 253 stored in the image storage unit 832.
  • a coordinate system specific to the image of the point 253 is defined by three parameters of the position of the origin, the direction of the axis, and the scale.
  • the coordinate system specific to the image of the point 253 is determined from the entire image of the point 253, and therefore, depends on the planar shape of the point 253.
  • the normalized image generation unit 834 has a function of normalizing the image of the point 253 stored in the image storage unit 832 to a normalized coordinate system and storing the normalized image in the normalized image storage unit 835.
  • the normalized coordinate system is defined by three parameters of the position of the origin, the direction of the axis, and the scale.
  • the fixed area determination unit 836 has a function of setting a predetermined area in the normalized image of the point 253 stored in the normalized image storage unit 835 as a feature extraction area. If a predetermined area is a fixed area, its shape, size, and number of areas are arbitrary. As described above, since the coordinate system unique to the image of point 253 depends on the planar shape of point 253, the normalized image and the feature value extraction region which is a fixed region therein are dependent on the planar shape of point 253 Area.
  • the coordinate system determination unit 833, the normalized image generation unit 834, and the fixed region determination unit 836 constitute a region determination unit 838 that determines a region dependent on the plane shape of the layer from the image of the point 253. .
  • a feature quantity extraction unit 837 extracts, as a point identifier, a feature quantity depending on the distribution of the grains 256 in the feature quantity extraction region in the normalized image of the point 253 stored in the normalized image storage unit 835, and outputs it. Have.
  • FIG. 8B is a flowchart showing a procedure of an example of point identifier extraction processing according to the present embodiment. The operation of the point identifier extraction unit 602 will be described below with reference to FIGS. 8A and 8B.
  • the printed matter and the image of the point 253 on the prototype 251 are acquired using the point imaging unit (microscope camera) 213, and the point identifier extraction unit 602 stores the point image in the image storage unit 832 (step S801).
  • the coordinate system determination unit 833 of the point identifier extraction unit 602 inputs and analyzes the image of the point 253 from the image storage unit 832, determines a coordinate system unique to the image of the point 253, and The position of the origin, the direction of the axis, and the scale are transmitted to the normalized image generation unit 834 (step S802).
  • the normalized image generation unit 834 of the point identifier extraction unit 602 sets the image storage unit 832 based on the coordinate system unique to the image of the point 253 determined by the coordinate system determination unit 833 and the normalized coordinate system.
  • the stored image of the point 253 is normalized, and the normalized image is stored in the normalized image storage unit 835 (step S 803).
  • the fixed area determination unit 836 of the point identifier extraction unit 602 determines a predetermined fixed area in the normalized image stored in the normalized image storage unit 835 as a feature amount extraction region, and the feature amount extraction unit It is transmitted to 837 (step S804).
  • the feature quantity extraction unit 837 of the point identifier extraction unit 602 determines the feature quantity depending on the distribution of the particles 256 in the feature quantity extraction region in the normalized image of the point 253 stored in the normalized image storage unit 835.
  • the point identifier is extracted and output (step S805).
  • FIG. 9A is a block diagram showing an example of a functional configuration of the coordinate system determination unit 833 according to the present embodiment.
  • the coordinate system determination unit 833 in this example includes a resolution reduction unit 951, a low resolution image storage unit 952, a keypoint scale detection unit 953, a direction detection unit 954, and a statistical processing unit 955.
  • the resolution reducing unit 951 has a function of reducing the resolution of the image of the point 253 stored in the image storage unit 832 based on a predetermined reference and storing the image in the low resolution image storage unit 952.
  • the resolution lowering unit 951 is a functional component for generating a gray-scale pattern according to the density of the grain 256 from the image of the point 253.
  • the keypoint scale detection unit 953 has a function of detecting the keypoint and the scale from the image having the gradation pattern stored in the low resolution image storage unit 952.
  • the key point means a point or an area that appears characteristically on the image even if the scale changes
  • the scale to be detected means the optimal scale that is the strongest at the scale change.
  • the detection of the keypoint and the scale by the keypoint / scale detection unit 953 corresponds to the detection of the keypoint and the scale performed in the process of generating a scale-invariant feature transform (SIFT) descriptor.
  • SIFT scale-invariant feature transform
  • SIFT is not suitable for images in which minute particles 256 are scattered, but it is possible to stably extract key points and scales from the gray-scale pattern generated by reducing the resolution as described above .
  • the direction detection unit 954 has a function of determining, for each key point detected by the key point / scale detection unit 953, a “direction” that characterizes the key point.
  • the detection of the direction by the direction detection unit 954 corresponds to the detection of the orientation performed in the process of generating the SIFT descriptor.
  • the statistical processing unit 955 is based on the keypoint and scale detected by the keypoint / scale detection unit 953 and the direction of each keypoint detected by the direction detection unit 954, the unique coordinate system origin, axis, and It has the function of determining the scale. For example, the statistical processing unit 955 determines the origin of a unique coordinate system based on the distribution of a plurality of key points. Specifically, the statistical processing unit 955 sets the center of gravity of the detected plurality of key points as the origin of the unique coordinate system. In addition, the statistical processing unit 955 determines the scale and axis of the unique coordinate system based on the distribution of the scales and directions of the plurality of key points.
  • the statistical processing unit 955 sets the scale of the plurality of key points and the center of the distribution of directions as the scale and axis of the unique coordinate system. That is, the center of the distribution of the scales of the plurality of key points is set as the scale of the unique coordinate system, and the center of the distribution of the directions of the plurality of key points is set as the axis of the unique coordinate system.
  • a mode may be used as the center of the distribution.
  • the present invention is not limited to the mode value, and an average value or a median value may be used.
  • FIG. 9B is a schematic diagram for explaining the operation of the coordinate system determination unit 833 according to the present embodiment.
  • an image G 911 shows an image of a point 253 stored in the image storage unit 832.
  • the resolution lowering unit 951 generates an image having a gradation pattern depending on the density of the grains 256 at the point 253, as shown in the image G912, from the image G911.
  • the difference in density is expressed by the difference in type of hatching.
  • the key point scale detection unit 953 detects the key point scale and the scale from the image G 912.
  • the circle drawn on the image G 912 is a scale, and the center of the circle is a key point.
  • the direction detection unit 954 detects the direction for each keypoint. Line segments in a circle drawn on the image G 912 indicate directions.
  • the statistical processing unit 955 determines the scale and axis of the unique coordinate system based on the detected scale and direction distribution of the key point, the horizontal axis is scale, vertical as shown in the histogram G 913.
  • a histogram whose axis is frequency and a histogram whose horizontal axis is direction and whose vertical axis is frequency as shown in a histogram G 914 are created.
  • the statistical processing unit 955 obtains the scale of the mode from the histogram G 913, and uses this as the scale of the unique coordinate system.
  • the statistical processing unit 955 obtains the direction of the mode from the histogram G 914, and sets this direction as the direction of the axis of the unique coordinate system.
  • the statistical processing unit 955 obtains the center of gravity of the detected key point, and uses this as the origin of the unique coordinate system.
  • the circle drawn in the image G 915 indicates the scale of the unique coordinate system
  • the center of the circle is the origin of the unique coordinate system
  • the arrow in the circle indicates the direction of the unique coordinate system axis.
  • FIG. 9B another image G921 is different from the image G911 in the planar shape of the point and the distribution of particles in the point, the low resolution image G922 generated from the image G921, and the detected key point A scale, generated histograms G923, G924, and an image G925 depicting the determined unique coordinate system are described.
  • the unique coordinate system will often be different if the plane geometry of the layer, and the distribution of grains within the layer, are different.
  • FIG. 9C is a block diagram showing another example of the functional configuration of the coordinate system determination unit 833 according to the present embodiment.
  • the coordinate system determination unit 833 in this example includes a binarization unit 961, a binarized image storage unit 962, a fill image generation unit 963, a fill image storage unit 964, and a shape processing unit 965.
  • the binarization unit 961 has a function of binarizing the image of the point 253 stored in the image storage unit 832 and storing the binarized image storage unit 962.
  • a binary image in which most pixels in the background area are white pixels (value 0) and the area of point 253 is a mixture of white pixels (value 0) and black pixels (value 1) according to the distribution of grains 256 Is obtained.
  • the fill image generation unit 963 is an image having the same shape as the planar shape of the point 253 from the binarized image stored in the binarized image storage unit 962 and having the inside filled with black pixels (fill (Image) is generated and stored in the fill image storage unit 964.
  • the method of generating a filled image from a binarized image is arbitrary.
  • the fill-in image generation unit 963 may generate a fill-in image by performing a morphological operation on the binarized image stored in the binarized image storage unit 962.
  • the fill image generation unit 963 may generate a fill image from a binarized image by performing a dilation process of n pixels and a contraction process of n pixels, where n is a predetermined pixel length.
  • the dilation processing of n pixels is an operation of changing the values of all pixels present within n pixel lengths from the pixel of interest to “1” when the value of the pixel of interest is “1”. This means processing performed by paying attention to the entire surface element of the valued image.
  • the contraction process of n pixels is within n pixel lengths from the pixel of interest when the value of the pixel of interest is “0” with respect to the binary image after the expansion process of n pixels is performed. This means processing to focus all pixels in the binarized image to an operation of setting the values of all pixels to “0”.
  • the shape processing unit 965 has a function of determining a unique coordinate system from the features of the filled image stored in the filled image storage unit 964. For example, the shape processing unit 965 determines the center of gravity of the filled image as the origin of the unique coordinate system. In addition, the shape processing unit 965 determines, for example, an axis that passes through the center of gravity and is parallel to the image plane and in which the secondary moment around the axis is minimum or maximum is the axis of the unique coordinate system. Furthermore, the shape processing unit 965 determines, for example, the area of the filled image to the scale of the unique coordinate system.
  • FIG. 9D is a schematic view for explaining the operation of the coordinate system determination unit according to the present embodiment.
  • an image G 931 shows an image of a point 253 stored in the image storage unit 832.
  • the binarization unit 961 generates a binarized image G932 from the image G931.
  • black pixels are indicated by hatching and white pixels are indicated by white circles.
  • the fill-in image generation unit 963 generates a fill-in image G933 filled with black pixels from the binarized image G932.
  • the shape processing unit 965 extracts the center of gravity, the momentum, and the area of the filled image G933, and sets them as the origin, axis, and scale of the unique coordinate system.
  • the normalized image generation unit 834 regards the origin of the coordinate system unique to the image of the point 253 determined by the coordinate system determination unit 833 as the origin of the normalized coordinate system. In addition, the normalized image generation unit 834 rotates the image of the point 253 about the origin so that the axis of the unique coordinate system coincides with the axis of the normalized coordinate system. Furthermore, the normalized image generation unit 834 enlarges or reduces the image of the point 253 so that the scale of the unique coordinate system matches the scale of the normalized coordinate system. In other words, the normalized image generation unit 834 performs a coordinate transformation on the image of the point 253 by using the unique coordinate system as the coordinate system before conversion and the normalized coordinate system as the coordinate system after conversion, and performs normalization. Generate an image.
  • FIG. 10A is a schematic diagram for explaining the operation of the normalized image generation unit 834 according to the present embodiment.
  • images G1016 and G1026 are images depicting a coordinate system unique to the images G911 and G921 shown in FIG. 9B. That is, the circle drawn as a solid line in the images G1016 and G1026 indicates the scale of the unique coordinate system, the center of the circle is the origin of the unique coordinate system, and the arrow in the circle indicates the unique coordinate system axis. .
  • the normalized image generation unit 834 sets the images G1016 and G1026 such that the axis of the unique coordinate system coincides with the axis of the normalized coordinate system, and the scale of the unique coordinate system matches the scale of the normalized coordinate system. Is rotated about the origin and enlarged or reduced to generate a normalized image.
  • images G1017 and G1027 show normalized images of the images G1016 and G1026 thus generated. Circles drawn in the images G1017 and G1027 indicate the scale of the normalized coordinate system, and arrows in the circle indicate the axes of the normalized coordinate system.
  • the fixed area determination unit 836 defines the fixed area in the normalized image using the normalized coordinate system. For example, the fixed area determination unit 836 sets the origin of the normalized coordinate system as the center of gravity, sets the scale of the normalized coordinate system as the size of the side, and sets a square having two sides parallel to the axis of the normalized coordinate system as the fixed area. Do. Of course, the shape of the fixed area is not limited to a square, and may be another shape such as a rectangle. Further, the size of the side does not have to match the scale of the normalized coordinate system, and may be any fixed value.
  • FIG. 10B is a schematic diagram for explaining the operation of the fixed area determination unit 836 according to the present embodiment.
  • images G1018 and G1028 are examples of images in which the feature amount extraction region is added to the images G1017 and G1027 shown in FIG. 10A. That is, the circles drawn in the images G1018 and G1028 indicate the scale of the normalized coordinate system, the center of the circle indicates the origin of the normalized coordinate system, and the arrows in the circle indicate the axes of the normalized coordinate system. Then, a square drawn by solid lines in the images G1018 and G1028 is a fixed area which is an area for extracting the feature amount.
  • a feature quantity extraction unit 837 extracts, as a point identifier, a feature quantity depending on the distribution of the grains 256 in the feature quantity extraction region in the normalized image of the point 253 stored in the normalized image storage unit 835, and outputs it. Have.
  • a vector of a fixed dimension number as follows can be considered as the feature amount extracted by the feature amount extraction unit 837.
  • Example 1 of feature quantity The feature quantity extraction unit 837 equally divides the feature quantity extraction region in the normalized image of the point 253 n in a direction parallel to the axis of the normalized coordinate system, and m in the direction perpendicular to the axis
  • the feature amount extraction area is divided into (n ⁇ m) blocks by equally dividing.
  • the feature amount extraction unit 837 extracts the luminance of each block.
  • the feature amount extraction unit 837 compares the luminance of each block with a threshold, and sets the luminance of each block to binary by setting the value to 1, for example, if the luminance is equal to or more than the threshold. Quantize.
  • the feature quantity extraction unit 837 outputs a bit string in which the quantized values of each block are arranged in a predetermined order as a (n ⁇ m) dimensional feature quantity constituting a point identifier.
  • the feature amount extraction unit 837 extracts a binary robust independent elementary feature (BRIEF) having a fixed bit length from the feature amount extraction region in the normalized image of the point 253, and determines the number of fixed dimensions constituting an individual identifier. Output as feature quantity of.
  • BRIEF binary robust independent elementary feature
  • the feature quantities extracted by the feature quantity extraction unit 837 are not limited to the above example.
  • the feature quantity extraction unit 837 may extract the SIFT feature quantity as a point identifier from the feature quantity extraction region in the normalized image of the point 253.
  • the SIFT feature amount is directly extracted from the image of the feature amount extraction region, one of the grains 256 has the minimum scale and the direction is not output, and the descriptor becomes unstable. Therefore, it is desirable to reduce the resolution of the image of the feature quantity extraction region based on a predetermined standard to generate an image having a gray-scale pattern, and extract the SIFT feature quantity from the image having the gray-scale pattern.
  • FIG. 11A is a block diagram showing another example of the functional configuration of the point identifier extraction unit 602 according to the present embodiment.
  • FIG. 11A shows a part of the recording device 210 including the point identifier extraction unit 602.
  • the point identifier extraction unit 602 according to this embodiment has a function of extracting a point identifier of a printed matter or a prototype 251.
  • the same components as in FIG. 8A will be assigned the same reference numerals and redundant descriptions will be omitted.
  • the point identifier extraction unit 602 has a function of extracting a point identifier from a point image.
  • the point identifier extraction unit 602 of this example includes a point region determination unit 1133 and a feature amount extraction unit 1134 as main functional units.
  • the program of the point identifier extraction unit 602 is read from an external computer-readable recording medium into the memory at the time of startup of the information processing unit or the like, and controls the operation of the operation processing unit to obtain points on the operation processing unit.
  • a functional configuration unit such as a region determination unit 1133 and a feature extraction unit 1134 is realized.
  • the point area determination unit 1133 has a function of determining the entire planar shape of the point 253 stored in the image storage unit 832 as a feature quantity extraction area.
  • the feature quantity extraction unit 1134 has a function of extracting a feature quantity depending on the distribution of the grains 256 from the feature quantity extraction region in the image of the point 253 stored in the image storage unit 832 and outputting it as a point identifier. .
  • FIG. 11B is a flowchart showing another procedure of point identifier extraction processing according to the present embodiment.
  • the operation of the point identifier extraction unit 602 will be described below with reference to FIGS. 11A and 11B.
  • FIG. 11B the same steps as those in FIG. 8B are denoted by the same step numbers, and redundant description will be omitted.
  • the point area determination unit 1133 of the point identifier extraction unit 602 determines the entire planar shape of the point 253 as a feature quantity extraction area (step S1102).
  • the point region determination unit 1133 can extract the entire planar shape of the point 253, for example, by binarizing the image of the point 253 and performing morphological operation on this binarized image.
  • the feature quantity extraction unit 1134 of the point identifier extraction unit 602 extracts a feature quantity depending on the distribution of the grains 256 from the feature quantity extraction region in the image of the point 253 stored in the image storage unit 832 , And output as point identifiers (step S1103).
  • the feature amount extraction unit 1134 extracts a feature amount that is robust to image rotation or the like, for example, a SIFT feature amount.
  • the feature quantities extracted by the feature quantity extraction unit 1134 are not limited to SIFT feature quantities.
  • SIFT feature quantities are extracted directly from the image, one of the grains 256 has the minimum scale and the direction is not output, the descriptor becomes unstable, the inlier ratio becomes small, and matching becomes difficult. Therefore, in this example, SIFT feature quantities are extracted as follows.
  • the feature quantity extraction unit 1134 reduces the resolution of the image of the feature quantity extraction region of the point 253 on the basis of a predetermined standard. This produces an image with a gray-scale pattern that is dependent on the density of grains 256 at point 253.
  • the feature amount extraction unit 1134 extracts SIFT feature amounts from the image having the gray-scale pattern.
  • FIG. 12A is a block diagram showing still another example of the functional configuration of the point identifier extraction unit 602 according to the present embodiment.
  • FIG. 12A shows a part of the recording device 210 including the point identifier extraction unit 602.
  • the point identifier extraction unit 602 according to the present embodiment has a function of extracting a point identifier of a printed matter or a prototype 251.
  • the same components as in FIG. 8A or FIG. 11A will be assigned the same reference numerals and overlapping descriptions will be omitted.
  • the point identifier extraction unit 602 has a function of extracting a point identifier from a point image.
  • the point identifier extraction unit 602 of this example includes an image storage unit 832, a first feature extraction unit 1233, a second feature extraction unit 1234, and a feature integration unit 1235 as main functional units.
  • the program of the point identifier extraction unit 602 is read from an external computer-readable recording medium into the memory at the time of startup of the information processing unit or the like, and the operation of the operation processing unit is controlled.
  • a functional configuration unit such as one feature extraction unit 1233, a second feature extraction unit 1234, and a feature integration unit 1235 is realized.
  • the first feature quantity extraction unit 1233 has a function of extracting a feature quantity depending on the planar shape of the point 253 and the distribution of the grains 256 from the image of the point 253 as a first feature quantity.
  • the first feature quantity extraction unit 1233 is, for example, the coordinate system determination unit 833, the normalized image generation unit 834, the normalized image storage unit 835, the fixed area determination unit 836, and the feature quantity extraction described with reference to FIG. 8A. This can be realized by the unit 837.
  • the first feature quantity extraction unit 1233 can be realized by, for example, the point area determination unit 1133 and the feature quantity extraction unit 1134 described with reference to FIG. 11A.
  • the second feature quantity extraction unit 1234 has a function of extracting a feature quantity depending on the planar shape of the point 253 as a second feature quantity from the image of the point 253.
  • the second feature quantity extraction unit 1234 has a function of extracting, from the image of the point 253, a feature quantity that does not depend on the distribution of the grains 256, as a second feature quantity.
  • the feature quantities extracted by the second feature quantity extraction unit 1234 for example, the minimum or maximum 2 calculated in the process of determining the axis of the unique coordinate system by the coordinate system determination unit 833 described with reference to FIG. 9C. The following moment can be used.
  • the feature quantities extracted by the second feature quantity extraction unit 1234 are not limited to the above, and other feature quantities such as the area of the planar shape of the point 253 and the perimeter may be used.
  • the feature amount integration unit 1235 generates a point identifier from the first feature amount extracted by the first feature amount extraction unit 1233 and the second feature amount extracted by the second feature amount extraction unit 1234. Have. For example, the feature amount integrating unit 1235 sets a feature amount obtained by connecting the first feature amount and the second feature amount as a point identifier.
  • FIG. 12B is a flowchart illustrating another example of the procedure of the point identifier extraction process according to the present embodiment.
  • the operation of the point identifier extraction unit 602 will be described below with reference to FIGS. 12A and 12B.
  • FIG. 12B the same steps as those in FIGS. 8B and 11B are denoted by the same step numbers, and redundant description will be omitted.
  • the first feature quantity extraction unit 1233 of the point identifier extraction unit 602 extracts a first feature quantity depending on the planar shape of the point 253 and the distribution of the grains 256 from the image of the point 253 (step S1202).
  • the second feature quantity extraction unit 1234 of the point identifier extraction unit 602 extracts a second feature quantity depending on the planar shape of the point 253 from the image of the point 253 (step S1203).
  • the feature amount integration unit 1235 of the point identifier extraction unit 602 generates and outputs a point identifier by integrating the first feature amount and the second feature amount (step S1204).
  • the point identifier has the first feature amount and the second feature amount. Therefore, in the collation identification using the point identifiers extracted in this example, the comparison of the point identifiers is performed by comparing the first feature amounts, comparing the second feature amounts, and comparing the first feature amounts with the first feature amounts.
  • the present invention can be implemented with any one, two, or all three combinations of three patterns of overall comparisons combining two feature quantities. Therefore, for example, it is possible to first compare the second feature amounts with one another, exclude candidates that are not the same or not similar, compare the first feature amounts of the remaining candidates, and finally identify and match them. become.
  • FIG. 13 is a block diagram showing a hardware configuration of the recording device 210 according to the present embodiment.
  • recording data and a point image or a point identifier are matched by a time stamp is demonstrated, it is not limited to this.
  • FIG. 13 the same components as those in FIG. 2A, FIG. 2B and FIG.
  • a CPU Central Processing Unit
  • a ROM Read Only Memory 1320 stores fixed data and programs such as initial data and programs.
  • a RAM (Random Access Memory) 1340 is a random access memory used by the CPU 1310 as a work area for temporary storage. In the RAM 1340, an area for storing data necessary for realizing the present embodiment is secured.
  • the voice input data 1341 is data input from the voice input unit (microphone) 215, and includes a time stamp indicating a recording time and a voice frame.
  • the imaging data 1342 is image data imaged by the point imaging unit (microscope camera) 213, and includes point image data and a time stamp indicating an imaging time.
  • the operation input data 1343 is input data from the operation unit (such as a switch) 406.
  • Display output data 1344 is output data to a display unit (such as a lamp) 405.
  • the storage 1350 stores a database and various parameters used by the CPU 1310 or the following data or program necessary for realizing the present embodiment.
  • the point identifier extraction algorithm 1351 is an algorithm of point identifier extraction used when the recording device 210 assigns an index by a point identifier.
  • the storage 1350 stores the following programs.
  • the recording device control program 1352 is a program for controlling the entire recording device 210.
  • the recording control module 1353 is a module for recording the voice input from the voice input unit (microphone) 215 in the recording unit 441.
  • An index generation module 1354 is a module for using a point image captured by a point imaging unit (microscope camera) 213 as an index, and is an imaging module and a point identifier extraction module used when an index is given by a point identifier.
  • the index assignment module 1355 is a module for assigning the point image or point identifier generated by the index generation module 1354 in association with the recording data as an index.
  • the input / output interface 1360 is an interface for controlling data input / output with an input / output device.
  • an audio input unit (microphone) 215, a point imaging unit (microscope camera) 213, a display unit (such as a lamp) 405, an operation unit (such as a switch) 406, etc. are connected to the input / output interface 1360. .
  • FIG. 14 is a flowchart showing the processing procedure of the recording device 210 according to the present embodiment. This flowchart is executed by the CPU 1310 of FIG. 13 using the RAM 1340, and implements the functional configuration unit of FIG. 4 or FIG.
  • step S1401 the recording device 210 determines whether or not the power ON switch operation is performed. If there is a power ON switch operation, the recording device 210 executes power ON processing such as initialization in step S1403.
  • step S1411 the recording device 210 determines whether a switch operation to start recording is performed. If it is a switch operation to start recording, the recording device 210 performs processing for starting voice input from the voice input unit (microphone) in step S1413. Then, in step S1415, the recording device 210 performs recording start processing of the audio frame associated with the time stamp.
  • the recording device 210 determines whether or not the switch operation for ending recording is performed in step S1421. If it is a switch operation of recording end, in step S1423, the recording device 210 performs recording end processing of the audio frame in the recording unit. Then, in step S1425, the recording device 210 performs an end process of the voice input from the voice input unit (microphone).
  • the recording device 210 determines in step S1431 whether or not it is the imaging of the index point image. In the case of capturing an index point image, the recording device 210 captures an index point image in step S1433. In the case of assigning an index by a point identifier, the recording device 210 extracts the point identifier from the captured point image in step S1435. Then, in step S1437, the recording device 210 associates the point image (or point identifier) with the time stamp and performs storage processing in the storage unit.
  • the recording device 210 determines whether or not the power OFF switch operation is performed in step S1441. If there is no power OFF switch operation, the recording device 210 repeats the process from step S1411. On the other hand, if the power OFF switch operation is performed, the recording device 210 performs the power OFF process in step S1443, and ends.
  • the relation between the point writing process and the point imaging process is not shown, for example, the point writing process is detected and the point writing time is made a time stamp, or the point writing process is detected. More accurate and efficient indexing can be performed by matching the start of the point imaging process or the like.
  • the point image extracted and the point identifier extracted from the point image are added as an index in association with the voice being recorded, any timing desired by the user at the site during the recording can be obtained.
  • An index for cueing at the time of reproduction can be added to the recorded data by a simple operation.
  • the recording apparatus according to the present embodiment differs from the second embodiment in that recording data and a recording unit for recording a point image or a point identifier associated with the recording data as an index are provided outside.
  • the other configurations and operations are similar to those of the second embodiment, and therefore the same configurations and operations are denoted by the same reference numerals and the detailed description thereof is omitted.
  • FIG. 15 is a diagram showing an outline of a recording and reproduction system 1500 including a recording device 1510 according to the present embodiment.
  • the same components as in FIG. 2A will be assigned the same reference numerals and overlapping descriptions will be omitted.
  • the recording / reproducing system 1500 in FIG. 15 includes a recording device 1510, a portable terminal 1520 such as a smartphone, an information processing device 1530 as a server or a personal computer, and a network 1540 wirelessly connecting the portable terminal 1520 and the information processing device 1530. And.
  • the recording device 1510 includes an interface cable 1511 connectable to the portable terminal 1520, for example, a USB cable.
  • the voice input from the voice input unit (microphone) 215 of the recording device 1510 is provided with a point image or point identifier acquired by the pen 281 in a stamp format including a point writing unit and a point imaging unit as an index, and an interface It is output to the portable terminal 1520 via the cable 1511.
  • Recorded data and index data are transmitted in association with each other from the portable terminal 1520 to the information processing apparatus 1530 via the network 1540.
  • the recording data and the index data are recorded in association with each other.
  • the point image may be acquired by the point imaging unit 213 instead of the stamp-type pen 281.
  • FIG. 16 is a block diagram showing a functional configuration of the recording device 1510 according to the present embodiment.
  • the same components as in FIG. 4 and FIG. 6 will be assigned the same reference numerals and overlapping descriptions will be omitted.
  • the voice storage unit 1541 and the point image / point identifier storage unit 1542 may be a temporary storage unit, and the recording data and the point image / point identifier as the index data can be output from the voice / index output unit 1508 such as USB It is output to the portable terminal 1520 via 1509.
  • FIG. 17 is a diagram showing an outline of another recording and reproducing system 1700 including the recording device 1710 according to the present embodiment.
  • the same components as in FIG. 2A and FIG. 15 will be assigned the same reference numerals and overlapping descriptions will be omitted.
  • the recording and reproducing system 1700 in FIG. 17 includes a recording device 1710, an information processing device 1530 as a server or a personal computer, and a network 1540 wirelessly connecting the recording device 1710 and the information processing device 1530.
  • the recording device 1710 includes a communication control unit 1709 connectable to the network 1540.
  • the point image or point identifier acquired by the point imaging unit 213 is added as an index to the voice input from the voice input unit (microphone) 215 of the recording device 1710, and the information processing device 1530 is added via the communication control unit 1709. To the voice recording unit 1531.
  • FIG. 18 is a block diagram showing the functional configuration of another recording device 1710 according to this embodiment. Note that, in FIG. 18, the same components as in FIG. 4, FIG. 6, and FIG. 16 will be assigned the same reference numerals and overlapping descriptions will be omitted.
  • the voice storage unit 1541 and the point image / point identifier storage unit 1542 may be a temporary storage unit, and the recording data and the point image / point identifier as index data can be transmitted from the voice / index transmission unit 1708 to the communication control unit 1709. It is transmitted to the information processing device 1530 via
  • a recording device with a simpler configuration can be provided, and power consumption can be suppressed.
  • the recording apparatus according to this embodiment is different from the second and third embodiments in that a microphone as an audio input unit is provided outside.
  • the other configurations and operations are the same as those of the second and third embodiments, and therefore the same configurations and operations are denoted by the same reference numerals and the detailed description thereof will be omitted.
  • FIG. 19 is a view showing an outline of a recording device 1910 according to the present embodiment.
  • the same components as in FIG. 2A, FIG. 4 and FIG. 6 will be assigned the same reference numerals and redundant description will be omitted.
  • a pen-type index acquisition unit 1911, an audio input unit (microphone) 1915, an index acquisition unit 1911, and an audio input unit (microphone) 1915 are connected, and an index-added audio is provided.
  • an audio recording unit 1912 for recording data is provided in the recording device 1910 of FIG. 19, a pen-type index acquisition unit 1911, an audio input unit (microphone) 1915, an index acquisition unit 1911, and an audio input unit (microphone) 1915.
  • FIG. 20 is a block diagram showing a functional configuration of the recording device 1910 according to the present embodiment.
  • FIG. 19 the same components as those in FIGS. 2A, 4, 6, 15, and 17 will be assigned the same reference numerals and overlapping descriptions will be omitted.
  • the recording device 1910 includes an index acquisition unit 1911, an audio input unit (microphone) 1915, and an audio recording unit 1912.
  • the voice recording unit 1912 includes a voice acquisition unit 2021 that obtains an input voice from a voice input unit (microphone) 1915, and a point image acquisition unit 2022 that obtains a point image from the index acquisition unit 1911.
  • a recording device with a simpler configuration can be provided, and power consumption can be further suppressed.
  • the recording apparatus according to the present embodiment differs from the second to fourth embodiments in that the recording apparatus has a reproduction function.
  • the other configurations and operations are similar to those of the second to fourth embodiments, and therefore, the same configurations and operations are denoted by the same reference numerals and the detailed description thereof will be omitted.
  • FIG. 21 is a diagram showing an outline of a recording and reproduction system 2100 by the recording device 2110 according to the present embodiment.
  • the recording device 2110 of FIG. 21 has a recording function and a reproduction function, and realizes both functions of the recording and reproduction system 2100 of the present embodiment.
  • the same components as in FIG. 2A are assigned the same reference numerals and redundant description will be omitted.
  • the recording function of the recording device 2110 is operated, and voice is input from the voice input unit 215.
  • the point writing unit 211 describes the point 253 on the printed material 252, picks up the point 253 by the point imaging unit 213, assigns a point image or a point identifier to the recording data as an index, and stores the internal memory or memory card.
  • the point imaging unit 213 picks up the point 253 and matches it with the point image or point identifier as the index recorded in the internal memory. It plays back the recorded data in the associated internal memory. Also, as shown on the right side, the point imaging unit 213 picks up the point 253 and matches it with the point image or point identifier as the index recorded on the memory card, and the memory card Play the recorded data.
  • playback from the memory card on the right is not limited to the recorded data recorded by the recording device 2110 itself, and by inserting the memory card, recorded data recorded by other recording devices can also be played back at the beginning It is.
  • FIG. 22 is a sequence diagram showing an operation procedure of the recording and reproduction system 2100 by the recording device 2110 according to the present embodiment.
  • FIG. 22 shows an example in which recording time and imaging time are associated with each other and indexed, another indexing method may be used.
  • step S 2211 the control unit of the recording device 2110 sets the recording mode by using a mode switch or the like. Then, in step S2213, the control unit instructs start of recording by using a recording start switch or the like.
  • the voice input unit (microphone) starts voice input processing in step S2215.
  • the input voice is sent to the control unit of the recording device 2110, and in step S2217, the control unit associates the time stamp with the time stamp and records the voice frame in the recording unit 441 of the voice recording unit 604.
  • the point writing unit (pen) writes points in a target position of a printed matter or a prototype in step S2221. Then, in step S2223, the control unit instructs the point imaging unit to capture a point image.
  • the point imaging unit (microscope camera) captures the described point image in step S2225.
  • the process proceeds from step S2221 to step S2225 without step S2223.
  • the control unit extracts a point identifier from the point image in step S2227.
  • the control unit associates the time stamp with the time stamp and stores the point identifier in the point identifier storage unit 642 of the voice recording unit 604.
  • step S2231 the control unit of the recording device 2110 sets the playback mode by using a mode switch or the like.
  • the control unit instructs the point imaging unit to pick up an image of the point described in the desired position on the printed matter or the prototype in step S2233.
  • the point imaging unit (microscope camera) captures a point image described in step S2235.
  • the control unit extracts a point identifier from the point image in step S2237.
  • step S2239 the control unit reads the point identifier recorded from the point identifier storage unit 642 of the voice recording unit 604, and collates the point identifier with the extracted point identifier.
  • step S2241 locates the recording / playback using the matched point identifiers as an index.
  • reproduction timing adjustment may be performed to adjust the difference between the index assignment time (position) and the recording time (position).
  • the adjustment time may be fixed or variable according to the actual deviation.
  • step S2243 the audio reproduction unit (speaker) starts cue reproduction from the index time (position) of the recording unit 441.
  • the point identifier is recorded as an index in order to reduce the recording capacity, but a point image may be recorded and the point identifier may be extracted at the time of collation.
  • FIG. 23 is a block diagram showing a functional configuration of a recording device 2110 according to the present embodiment.
  • the point identifier collating unit 2308 collates the point identifier stored in the point identifier storage unit 642 in the recording mode with the point identifier extracted from the captured point image in the reproduction mode. If the difference between the point identifiers is equal to or less than a predetermined threshold value, it is regarded as a point identifier match.
  • the reproduction voice acquisition unit 2309 acquires voice data from the recording unit 441 using the point identifier determined as a match as an index, and sends the voice data to the voice output unit (speaker) 2310.
  • the voice output unit (speaker) 2310 performs cue output from the voice associated with the target position of the printed matter or prototype on which the points are described.
  • FIG. 24 is a block diagram showing a hardware configuration of a recording device 2110 according to the present embodiment.
  • the same components as in FIG. 13 will be assigned the same reference numerals and overlapping descriptions will be omitted.
  • a RAM 2440 is a random access memory used by the CPU 1310 as a temporary storage work area. In the RAM 2440, an area for storing data necessary for realizing the present embodiment is secured.
  • the operation mode 2441 is a flag indicating whether the operation mode of the recording device 2110 is the recording mode or the reproduction mode.
  • the imaging data 2442 is data imaged by the point imaging unit (microscope camera) 213, and includes a point identifier and a time stamp indicating an imaging time.
  • the storage data 2445 is data stored as an index in the point identifier storage unit 642 of the recording unit 214, and includes a point identifier and a time stamp indicating an imaging time.
  • the point identifier matching result 2446 is a point identifier when the matching result is a match.
  • the voice output data 2447 is data for voice output from the voice output unit (speaker) 2310, and includes a time stamp and a voice frame.
  • the storage 2450 stores a database and various parameters used by the CPU 1310 or the following data or program necessary for realizing the present embodiment.
  • the storage 2450 stores the following programs.
  • the mode setting module 2452 is a module for setting the operation mode of the recording device 2110 to either the recording mode or the reproduction mode.
  • the reproduction control module 2456 is a module for acquiring the audio output data 2447 from the recording unit 441 of the recording unit 214 and outputting the audio from the audio output unit (speaker) 2310.
  • the point identifier collation module 2457 is a module for collating the point identifier extracted from the imaged point with the point identifier stored as an index in the point identifier storage unit 642 in the reproduction mode.
  • the playback cueing module 2458 reads the recorded data associated with the recording unit 441 using the point identifier as an index, and outputs the voice output unit (speaker) 2310 Output module from
  • the input / output interface 2460 provides an interface for controlling data input / output with an input / output device.
  • an audio output unit (speaker) 2310 is connected to the input / output interface 2460.
  • FIG. 25A is a flowchart showing the processing procedure of the recording device 2110 according to the present embodiment. This flowchart is executed by the CPU 1310 in FIG. 24 using the RAM 2440, and implements the functional configuration unit in FIG. In FIG. 25A, the same steps as those in FIG. 14 have the same step numbers, and the redundant description will be omitted.
  • step S 2511 the recording device 2110 determines whether it is in the recording mode. In the case of the recording mode, in step S 2513, the recording device 2110 executes a recording process which can add an index by a point image or a point identifier. Note that the recording process in step S 2513 is the same as steps S 1411 to S 1437 in FIG. 14, and thus redundant description will be omitted.
  • the recording device 2110 determines in step S 2521 whether or not the playback mode is set. In the case of the reproduction mode, the recording device 2110 executes reproduction processing including cue reproduction in step S 2523 using the point image and the index assignment by the point identifier.
  • FIG. 25B is a flowchart showing the procedure of the reproduction process (S2523) according to the present embodiment.
  • step S2531 the recording device 2110 determines whether it is acquisition of index data for capturing a point image. If it is not acquisition of index data, the recording device 2110 performs normal reproduction processing without cueing in step S2551.
  • the recording device 2110 extracts a point identifier from the captured point image in step S 2533.
  • the recording device 2110 collates the point identifier extracted from the point image with the point identifier recorded as an index at the time of recording.
  • the recording device 2110 determines whether or not the point identifiers match. In the determination of the match, if the difference between the point identifiers is within the predetermined threshold, the match is determined. If the point identifiers match, the recording device 2110 counts up the number of matches by one in step S2539. The first match number is “0”.
  • the recording device 2110 After incrementing the number of matches by one, or when the point identifiers do not match, the recording device 2110 checks in step S2541 whether the comparison with all the point identifiers associated with the recording data is completed. judge. If the matching with the all point identifier is not completed, the recording device 2110 repeats the matching with the remaining point identifiers from step S2535 until the matching with the all point identifier is completed.
  • the recording device 2110 branches into three in accordance with the number of matches in step S2543. If the number of matches is “1”, the recording device 2110 adjusts the cueing timing, if necessary, in step S2545, and starts reproduction of the recorded data. If the number of matches is “2 or more,” the recording device 2110 displays a plurality of cue-out candidates on the display screen in step S2547. Then, in step S2549, the recording device 2110 waits for a user cue selection instruction, and if there is an instruction, the recording device 2110 starts reproduction of the recorded data in step S2545. If a plurality of cue-out candidates can not be displayed, the configuration may be such that the skip switch is used to forward in order. When the number of matches is “0”, the recorded data is not reproduced (or an error may be notified).
  • step S2545 is immediately performed. It is possible to perform cue play.
  • recording and quick play can be realized independently by the portable recording device.
  • the reproduction from the memory card is not limited to the recorded data recorded by the recording device itself, and the recorded data recorded by another recording device can also be played back by inserting the memory card.
  • the recording apparatus according to the present embodiment differs from the fifth embodiment in that reproduction is delegated to a highly functional terminal or computer.
  • the other configurations and operations are the same as those of the fifth embodiment, and therefore, the same configurations and operations are denoted by the same reference numerals and the detailed description thereof will be omitted.
  • FIG. 26 is a diagram showing an outline of a recording and reproducing system 2600 including the recording device 210 according to the present embodiment.
  • the pen-type recording device 210 only instructs recording and reproduction cueing, and the load-intensive reproduction processing is executed by a server, an information processing apparatus as a computer, or a portable terminal such as a smartphone Do.
  • the same components as in FIG. 2A will be assigned the same reference numerals and overlapping descriptions will be omitted.
  • the recording and reproduction system 2600 includes a recording device 210 that only gives instructions for recording and reproduction, an information processing device 2620, and a portable terminal 2630.
  • the information processing device 2620 acquires recorded data and a point image or point identifier as an index from the recording device 210 by a memory card or communication, and performs cueing using the point image or point identifier from the recording device 210 at the time of reproduction. Perform playback processing including playback.
  • the information processing device 2620 includes an audio recording unit 2621 including a recording unit and a point identifier storage unit, a point identifier collating unit 2622, and an audio reproduction unit 2623.
  • the point identifier collating unit 2622 collates the point identifier stored as an index in the point identifier storage unit with the point identifier of the point image acquired from the recording device 210 at the time of reproduction.
  • the audio reproduction unit 2623 cues and reproduces the audio indexed by the point identifier from the audio output unit (speaker) 2624.
  • the portable terminal 2630 has an audio output unit (speaker) 2634, and outputs a cue reproduction sound in accordance with a reproduction instruction from the information processing device 2620.
  • FIG. 27A is a sequence diagram showing an operation procedure of the recording and reproducing system 2600 including the recording device 210 according to the present embodiment.
  • FIG. 27A is a sequence diagram when the recording device 210 does not have a point identifier extraction function of extracting a point identifier from a point image.
  • the same steps as those in FIG. 22 are assigned the same step numbers, and the redundant description will be omitted.
  • the contents of the voice recording unit (memory card) 214 of the recording device 210 are copied to the voice recording unit 2621 of the information processing device 2620.
  • point images are stored in the point image storage unit as an index.
  • control unit of the recording device 210 outputs (sends) the point image captured in step S2735 to the control unit of the information processing device 2620.
  • step S2737 the control unit of the information processing device 2620 extracts a point identifier from the captured point image.
  • the control unit acquires a point image from the point image storage unit of the voice recording unit 2621 in step S2739.
  • the control unit extracts a point identifier from the obtained point image in step S2741.
  • step S2743 the control unit collates the point identifier of the captured point image with the point identifier of the point image acquired from the point image storage unit.
  • step S2745 the control unit of the information processing device 2620 acquires, from the recording unit, the recording data associated with the point identifier whose matching result is identical.
  • step S2747 the control unit instructs the audio output unit (speaker) to reproduce the recording data acquired from the recording unit.
  • the audio output unit (speaker) starts cue recording and reproduction with the point image as an index.
  • FIG. 27B is a sequence diagram showing another operation procedure of the recording and reproduction system 2600 including the recording device 210 according to the present embodiment. Note that, in FIG. 27B, the same steps as those in FIGS. 22 and 27A are denoted by the same step numbers, and redundant description will be omitted.
  • point identifier extraction processing (S2227 and S2237) is added to FIG. 27A, and point identifier extraction processing (S2737 and S2741) in the control unit of the information processing device 2620 is deleted.
  • the other steps are the same, so duplicate explanations are omitted.
  • FIG. 28 is a block diagram showing the functional configuration of an information processing apparatus 2620 as a terminal or computer according to this embodiment.
  • the same components as in FIG. 26 will be assigned the same reference numerals and overlapping descriptions will be omitted.
  • the information processing device 2620 includes a communication control unit 2801, an input / output interface 2802, a voice recording unit 2621, an index acquisition unit 2804, a point identifier extraction unit 2805, a point identifier comparison unit 2806, and a reproduction index unit 2807. And a reproduced voice data output unit 2808.
  • the information processing device 2620 is connected to the input / output interface 2802.
  • the voice storage unit (memory card) 214 and the index point image input unit 2821 are not necessary when the recording data and the index point identifier are received from the recording device 210 through communication.
  • the communication control unit 2801 controls communication when the recording data and the point identifier for index are received from the recording device 210 by communication.
  • the index acquisition unit 2804 includes a point image acquisition unit 2841, a point identifier extraction unit 2842 and a point identifier acquisition unit 2843. That is, when an index is recorded as a point image according to the configuration of the index acquisition unit 2804, the point image is acquired by the point image extraction unit, the point identifier extraction unit extracts the point identifier, and the point identifier comparison unit 2806 collates. On the other hand, when the index is recorded as a point identifier, the point identifier is acquired and the point identifier collating unit 2806 is collated as it is.
  • the point identifier collating unit 2806 collates the index of the point image recorded in the recording unit at the time of recording with the index of the point image imaged at the time of reproduction using the point identifier.
  • the reproduction cueing unit 2807 acquires, from the recording unit, the recording data associated with the point identifier.
  • the reproduction sound data output unit 2808 causes the sound output unit (speaker) 2624 to output sound based on the recording data extracted by the reproduction search unit 2807.
  • FIG. 29 is a block diagram showing the hardware configuration of an information processing apparatus 2620 as a terminal or computer according to this embodiment.
  • the same components as in FIG. 26 and FIG. 28 are assigned the same reference numerals and redundant descriptions will be omitted.
  • a CPU 2910 is a processor for arithmetic control, and implements the functional configuration unit of FIG. 28 by executing a program.
  • One or more CPUs 2910 may be provided.
  • the ROM 2920 stores fixed data and programs such as initial data and programs.
  • a network interface 2930 communicates with external devices via a network.
  • a RAM 2940 is a random access memory used by the CPU 2910 as a temporary storage work area. In the RAM 2940, an area for storing data necessary for realizing the present embodiment is secured.
  • the imaging data 2941 is imaging data of a point acquired from the recording device 210.
  • the index matching data 2942 is data for index matching for cueing, and includes a captured point image and a point identifier extracted from the point image.
  • the read point identifier 2943 is data of the point identifier as an index read from the voice recording unit 2621.
  • the point identifier collation result 2944 is data of the collation result of the point identifier extracted from the imaged point image and the point identifier read out from the voice recording unit 2621, and is a coincident point identifier.
  • Reproduction sound data 2945 is sound data reproduced from the recording unit of the sound recording unit 2621 with the matched point identifier as an index.
  • Transmission / reception data 2946 is data transmitted / received via the network interface 2930.
  • the input / output data 2947 is data to be input / output by an input / output device connected to the input / output interface 2802.
  • the storage 2950 stores a database and various parameters used by the CPU 2910, or the following data or program necessary for realizing the present embodiment.
  • the voice recording unit 2621 stores recording data and a point image or point identifier as an index.
  • the point identifier extraction algorithm 2951 is an algorithm for extracting a point identifier from a point image.
  • the storage 2950 stores the following programs.
  • the information processing device control program 2952 is a program that controls the entire information processing device 2620.
  • the recording data acquisition module 2953 is a module for acquiring recording data from the recording device 210.
  • the point identifier extraction module 2955 is a module for extracting a point identifier from a point image.
  • the point identifier collation module 2956 is a module that collates the point identifier extracted from the captured point image with the point identifier read from the voice recording unit 2621.
  • the recording / reproduction module 2957 uses the matched point identifier as an index to locate the recording data re-input / output interface 2802 to control data input / output with the input / output device.
  • the input / output interface 2802 includes an audio storage unit (memory card) 214, an index point image input unit 2821, an audio output unit (speaker) 2624, and a display.
  • the unit 2822 and the operation unit 2823 are connected.
  • FIG. 30 is a flowchart showing the processing procedure of the information processing apparatus 2620 as a terminal or computer according to the present embodiment. This flowchart is executed by the CPU 2910 in FIG. 29 using the RAM 2940, and implements the functional configuration unit in FIG.
  • step S3011 the information processing device 2620 determines whether or not recording data is to be acquired. If it is acquisition of sound recording data, the information processing device 2620 executes acquisition processing of sound recording data in step S3013. Note that acquisition of recording data includes acquisition of a point image or a point identifier as an index.
  • the information processing device 2620 determines in step S3021 whether the recording data is to be reproduced. If the recording data is to be reproduced, the information processing device 2620 executes reproduction processing of the recording data including the captured point image and the cue reproduction indexed by the point identifier in step S3023.
  • step S3023 in FIG. 30 is the same as the reproduction process (S2523) in FIG. 25B by the recording device 2110 except that the main body is replaced with the information processing device 2620. If the point identifier can be acquired when acquiring index data, step S 2533 is deleted.
  • the recording apparatus according to the present embodiment differs from the second to sixth embodiments in that a cueing index is provided in recording.
  • the other configurations and operations are similar to those of the second to sixth embodiments, and therefore, the same configurations and operations are denoted by the same reference numerals and the detailed description thereof will be omitted.
  • FIG. 31 is a diagram showing an outline of a recording and reproduction system 3100 including a recording device 3110 according to the present embodiment.
  • the same components as in FIG. 19 will be assigned the same reference numerals and overlapping descriptions will be omitted.
  • the recording / reproducing system 3100 includes a pen-type index acquisition unit 1911, a recording unit (memory card) 3114 for recording only point images or point identifiers, a video camera 3112 for recording, an information processing apparatus 3120, and a portable terminal 3130. And.
  • the video camera 3112 acquires video and audio.
  • the information processing apparatus 3120 records a moving image and sound received from the video camera 3112 and a point image or point identifier as an index acquired from the index acquisition unit 1911 by a memory card or communication, and an index acquisition unit at the time of reproduction The recording and reproduction process including the cue reproduction is performed using the point image from 1911 and the point identifier.
  • the information processing apparatus 3120 includes a moving image recording unit 3121 including a recording unit and a point identifier storage unit, a point identifier comparing unit 3122, a moving image reproduction unit 3123, and a display unit 3124.
  • the point identifier collating unit 3122 collates the point identifier stored as an index in the point identifier storage unit with the point identifier of the point image acquired from the index acquiring unit 1911 at the time of reproduction.
  • the moving image reproduction unit 3123 cues and reproduces the moving image indexed by the point identifier from the display unit 3124.
  • the portable terminal 3130 has a display screen 3134, and outputs a cue reproduction video according to a reproduction instruction from the information processing device 3120.
  • the index acquisition unit 1911, the video camera 3112, and the moving image recording unit 3121 can be regarded as the recording device 3110.
  • the pen-type index acquisition unit 1911 may be replaced by a recording device 210 or the like.
  • the video camera 3112 may be configured to acquire only a moving image and to record sound by the recording device 210 or the like.
  • FIG. 32 is a block diagram showing a functional configuration of the recording device 3110 according to the present embodiment.
  • the same components as in FIG. 2A, FIG. 19 and FIG. 31 are assigned the same reference numerals and redundant description will be omitted.
  • the recording device 3110 includes an index acquisition unit 1911, a moving image input unit (video camera) 3112, and a moving image recording unit 3121.
  • the moving image recording unit 3121 includes a moving image acquisition unit 3221 that acquires an input moving image from a moving image input unit (video camera) 3112 and a point image acquisition unit 2022 that acquires a point image from the index acquisition unit 1911.
  • the moving image recording unit 3121 includes an index assigning unit 3236 that associates a moving image with a point image or a point identifier, and a recording unit 3241 that records moving image data.
  • FIG. 33 is a block diagram showing the functional configuration of an information processing apparatus 3120 as a terminal or computer according to this embodiment.
  • the same components as those in FIGS. 26 and 28 are assigned the same reference numerals and redundant description will be omitted.
  • the information processing device 3120 includes a moving image recording unit 3121, a playback playback cueing unit 3307 for recording, and a playback moving image data output unit 3308.
  • the playback index unit 3307 acquires, from the moving picture recording unit, the recording data associated with the point identifier.
  • the reproduction moving image data output unit 3308 causes the display unit 2822 to output a moving image based on the recorded data extracted by the reproduction index unit 3307 and causes the audio output unit (speaker) 2624 to output an audio.
  • the head since the captured image is added as an index in association with the moving image being recorded, the head at the time of reproduction of the recorded data by a simple operation at an arbitrary timing desired by the user during recording. It is possible to give an index for delivery.
  • FIG. 34 is a view showing the configuration of a recording data analysis table 3400 for statistical processing based on a point according to another embodiment.
  • the recording data analysis table 3400 stores a point identifier group 3401 that is determined to be the same point and a reference count 3402 of the assigned point. Further, in association with the point identifier group 3401, time stamps 3403 sorted in time order, point identifiers 3404, and voice frames 3405 in a plurality of point references are stored. Then, the target evaluation analysis 3406 analyzed from the number of times of reference 3402 and the content of the audio frame 3405 is stored. In this case, it is more desirable if the end of the audio frame associated with the point image or the point identifier can be set.
  • indexing by a point image or a point identifier was demonstrated, it is not limited to this.
  • other index identification information can be used, and the same effect can be obtained.
  • a reference medium 3501, index identification information 3502, an identifier 3503, and an identifier generation method 3504 are stored in association with each other.
  • a point is used as an index for paper / resin / metal
  • a point identifier is used as an identifier.
  • a symbol or character is used as an index for paper / resin / metal
  • a pattern identifier is used as an identifier.
  • the media surface is indexed and a pattern identifier is used as an identifier.
  • shape is used as an index
  • a shape identifier is used as an identifier.
  • index identification information that can be used in the present disclosure is not limited to these. It is only required that the user can generate a distinctive index index with simple operation at the site. “Identifiable” means the case where the distance between the identifiers is long, as it is difficult for the same identifier or similar identifier to appear.
  • the present embodiment may be applied to a system configured of a plurality of devices, or may be applied to a single device. Furthermore, the present disclosure is also applicable to the case where an information processing program or a recording control program for realizing the functions of the embodiments is supplied to a system or apparatus directly or remotely. Therefore, in order to realize the functions of the present disclosure on a computer, a program installed on the computer, a medium storing the program, and a WWW (World Wide Web) server for downloading the program are also included in the scope of the present disclosure. .
  • a non-transitory computer readable medium storing a program that causes a computer to execute at least the processing steps included in the above-described embodiment is included in the scope of the present disclosure.
  • the recording device according to claim 2 or 3, further comprising interlocking means for interlocking the process of describing the points by the point describing means and the imaging of the points by the imaging means for index generation.
  • the image processing apparatus further comprises point identifier extraction means for extracting a point feature quantity from the point image and setting it as a point identifier, and the index assigning means indexes the point identifier of the picked up point image with respect to the voice being recorded.
  • the recording device according to any one of Appendices 2 to 4 given as.
  • Interface means connectable to the communication terminal; Outputting means for outputting the sound recorded in the recording means and the image given by the index giving means to the communication terminal through the interface means;
  • the recording device according to any one of claims 1 to 7, further comprising: (Appendix 9)
  • the voice communication device according to any one of claims 1 to 7, further comprising transmission means for associating the sound recorded in the recording means with the image given by the index giving means and transmitting it to the information processing apparatus indexing the sound with the image. Recording device.
  • (Supplementary Note 10) Reproduction means for reproducing the sound recorded in the recording means;
  • An acquisition unit that acquires an image captured by the index generation imaging unit as an index to start reproduction during playback;
  • Collation means for collating the image acquired by the acquisition means with the image provided by the indexing means;
  • the image acquired by the acquisition unit matches the image provided by the index application unit based on the collation result of the collation unit, the image provided by the index application unit is used as an index and recorded in the recording unit
  • Reproduction control means for controlling the reproduction means so as to reproduce from the voiced sound;
  • the recording device according to any one of appendices 1 to 9, further comprising: (Supplementary Note 11)
  • the reproduction control means when there are a plurality of images given by the index giving means that matches the image obtained by the obtaining means, a plurality of sounds recorded in the recording means with the plurality of images as an index 15.
  • the recording device which controls the reproduction means to select and reproduce.
  • (Supplementary Note 12) The recording device according to any one of appendices 1 to 11, wherein the recording device has a pen-shaped stationery shape.
  • (Supplementary Note 13) Record the voice, Imaging a point image described with a writing instrument with an imaging means for index generation to generate an index for indexing the recorded voice; Extracting the point feature amount from the point image and using it as a point identifier, appending the point identifier as an index to the voice recorded during recording; Recording control program that causes a computer to execute.
  • a recording device comprising (Supplementary Note 15) Recording means for recording a recorded voice or a recorded moving image; Index generation imaging means for imaging a first image to be an index for indexing the recorded voice or the recorded moving image; Indexing means for assigning the first image captured as an index to the voice recorded during recording or to the moving image recorded during recording; Playback means for playing back the audio or video recorded in the recording means;
  • An acquisition unit configured to acquire a second image captured by the imaging unit for index generation at the time of playback as an index for starting playback; Collation means for collating the second image with the first image; When the second image and the first image match based on the comparison result of the comparison unit, the reproduction unit is configured to reproduce the first image as an index from the voice or the moving image recorded in the recording unit.
  • Recording and playback system comprising: (Supplementary Note 16) Recording the recorded voice or recorded video on the recording means, A first image serving as an index for indexing the recorded voice or the recorded moving image is captured by an index generation imaging unit; The first image captured is added as an index to the sound recorded during recording, or to a moving image recorded during recording, At the time of reproduction, the second image captured by the index generation imaging unit is acquired as an index for starting reproduction; Collating the second image with the first image; When the second image and the first image match from the comparison result, the first image is used as an index to reproduce from the voice or the moving image recorded in the recording means. Recording and playback method.
  • First receiving means for receiving, during recording, a voice being recorded or a moving picture being recorded and a first image serving as an index for indexing the voice or the moving picture being recorded; Recording means for recording the received voice or video; Indexing means for indexing the received first image as an index to the received audio or video; Playback means for playing back the audio or video recorded in the recording means; Second receiving means for receiving a second image as an index of start of reproduction at the time of reproduction; Collation means for collating the second image with the first image; When the second image and the first image match based on the comparison result of the comparison unit, the reproduction unit is configured to reproduce the first image as an index from the voice or the moving image recorded in the recording unit.
  • An information processing apparatus comprising: (Appendix 18) Receiving at the time of recording, a voice being recorded or a video being recorded, and a first image serving as an index for indexing the voice or the video being recorded; Recording the received voice or video on a recording means; Indexing the received first image to the received audio or video as an index; During playback, receive the second image as an index of playback start, Collating the second image with the first image; When the second image and the first image match from the comparison result, the first image is used as an index to reproduce from the voice or the moving image recorded in the recording means.
  • An information processing method that causes a computer to perform things.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Studio Devices (AREA)

Abstract

録音中または録画中に、現場においてユーザが望む任意のタイミングにおいて、簡単な操作により記録データに再生時の頭出し用インデックスを付与する。録音装置は、音声を録音する録音部と、録音された音声を索引するインデックスとなる画像を撮像するためのインデックス生成用撮像部と、録音中に、録音された音声に、撮像された画像をインデックスとして付与するインデックス付与部と、を備える。

Description

録音再生システム、録音再生方法、録音装置、記録媒体および録画装置
　本開示は、録音再生システム、録音再生方法等に関する。
　上記技術分野において、録音する音声を認識し、音声中に話題を変える接続詞があるとそこで分割し、接続詞間を１つの再生単位として録音する技術が、特許文献１に開示されている。また、録音データを検索語で検索して、候補区間の音声の発生位置にマークを付加する技術が、特許文献２に開示されている。
特開２０１０－００８９３８号公報 特開２０１６－１５７２２５号公報 国際公開第２０１７／０３８４３２号
　しかしながら、上記文献に記載の技術では、あらかじめ決められた音声の条件を満たせばインデックスとしてのマークの付与が可能であり、また、再生時の頭出しを実現するためには音声認識処理によるキーワードの入力や検索が必要であった。そのため、録音中に、ユーザが望む任意のタイミングにおいて、簡単な操作により記録データに再生時の頭出し用インデックスを付与することができなかった。
　本開示の目的は、上述の課題を解決する技術を提供することにある。
　上記目的を達成するため、本開示に係る録音装置は、音声を録音する録音手段と、録音された前記音声を索引するインデックスとなる画像を撮像するためのインデックス生成用撮像手段と、録音中に、録音された前記音声に、撮像された前記画像をインデックスとして付与するインデックス付与手段と、を備える。
　上記目的を達成するため、本開示に係る記録媒体に格納された録音制御プログラムは、音声を録音する録音処理と、録音された前記音声を索引するインデックスとなる、筆記具で記載された点画像をインデックス生成用撮像手段で撮像するインデックス生成用撮像処理と、前記点画像から点特徴量を抽出して点識別子とする点識別子抽出処理と、録音中に、録音された前記音声に、前記点識別子をインデックスとして付与するインデックス付与処理と、をコンピュータに実行させる。
　上記目的を達成するため、本開示に係る録画装置は、動画を録画する録画手段と、録画された前記動画を索引するインデックスとなる画像を撮像するためのインデックス生成用撮像手段と、録画中に、録音された前記動画に、撮像された前記画像をインデックスとして付与するインデックス付与手段と、を備える。
　上記目的を達成するため、本開示に係る記録再生システムは、録音された音声または録画された動画を記録する記録手段と、録音された前記音声または録画された前記動画を索引するインデックスとなる第１画像を撮像するインデックス生成用撮像手段と、録音中に録音された前記音声に、または、録画中に録画された前記動画に、撮像された前記第１画像をインデックスとして付与するインデックス付与手段と、前記記録手段に記録された音声または動画を再生する再生手段と、再生時に、前記インデックス生成用撮像手段で撮像された第２画像を再生開始のインデックスとして取得する取得手段と、前記第２画像と前記第１画像とを照合する照合手段と、前記照合手段の照合結果から、前記第２画像と前記第１画像とが一致する場合、前記第１画像をインデックスとして、前記記録手段に記録された音声または動画から再生するよう、前記再生手段を制御する再生制御手段と、を備える。
　上記目的を達成するため、本開示に係る記録再生方法は、録音された音声または録画された動画を記録手段に記録し、録音された前記音声または録画された前記動画を索引するインデックスとなる第１画像を、インデックス生成用撮像手段で撮像し、録音中に録音された前記音声に、または録画中に録画された前記動画に、撮像された前記第１画像をインデックスとして付与し、再生時に、前記インデックス生成用撮像手段で撮像された第２画像を再生開始のインデックスとして取得し、前記第２画像と前記第１画像とを照合し、照合結果から、前記第２画像と前記第１画像とが一致する場合、前記第１画像をインデックスとして、前記記録手段に記録された音声または動画から再生する。
　本開示によれば、録音中に、現場においてユーザが望む任意のタイミングにおいて、簡単な操作により記録データに再生時の頭出し用インデックスを付与することができる。
第１実施形態に係る録音装置の構成を示すブロック図である。 第２実施形態に係る録音装置を含む記録再生システムの概要を示す図である。 第２実施形態に係る録音装置を含む記録再生システムの機能構成を示す図である。 第２実施形態に係る点識別子となる点特徴量を抽出可能な点の生成方法を示す図である。 第２実施形態に係る他の録音装置の点記載構造を示す図である。 第２実施形態に係る録音装置を含む記録再生システムの適用例を示す図である。 第２実施形態に係る録音装置を含む記録再生システムの他の適用例を示す図である。 第２実施形態に係る録音装置を含む記録再生システムのさらに他の適用例を示す図である。 第２実施形態に係る録音装置の機能構成を示すブロック図である。 第２実施形態に係る記録部の構成を示す図である。 第２実施形態に係る録音装置の他の機能構成を示すブロック図である。 第２実施形態に係る他の記録部を示すブロック図である。 第２実施形態に係る点識別子抽出部の機能構成の一例を示すブロック図である。 第２実施形態に係る点識別子抽出処理の一例の手順を示すフローチャートである。 第２実施形態に係る座標系決定部の機能構成の一例を示すブロック図である。 第２実施形態に係る座標系決定部の動作を説明するための模式図である。 第２実施形態に係る座標系決定部の機能構成の他例を示すブロック図である。 第２実施形態に係る座標系決定部の動作を説明するための模式図である。 第２実施形態に係る正規化画像生成部の動作を説明するための模式図である。 第２実施形態に係る固定領域決定部の動作を説明するための模式図である。図である。 第２実施形態に係る点識別子抽出部の機能構成の他例を示すブロック図である。 第２実施形態に係る点識別子抽出処理の他例の手順を示すフローチャートである。 第２実施形態に係る点識別子抽出部の機能構成のさらに他例を示すブロック図である。 第２実施形態に係る点識別子抽出処理のさらに他例の手順を示すフローチャートである。 第２実施形態に係る録音装置のハードウェア構成を示すブロック図である。 第２実施形態に係る録音装置の処理手順を示すフローチャートである。 第３実施形態に係る録音装置を含む記録再生システムの概要を示す図である。 第３実施形態に係る録音装置の機能構成を示すブロック図である。 第３実施形態に係る録音装置を含む他の記録再生システムの概要を示す図である。 第３実施形態に係る他の録音装置の機能構成を示すブロック図である。 第４実施形態に係る録音装置の概要を示す図である。 第４実施形態に係る録音装置の機能構成を示すブロック図である。 第５実施形態に係る録音装置による記録再生システムの概要を示す図である。 第５実施形態に係る録音装置による記録再生システムの動作手順を示すシーケンス図である。 第５実施形態に係る録音装置の機能構成を示すブロック図である。 第５実施形態に係る録音装置のハードウェア構成を示すブロック図である。 第５実施形態に係る録音装置の処理手順を示すフローチャートである。 第５実施形態に係る再生処理の手順を示すフローチャートである。 第６実施形態に係る録音装置を含む記録再生システムの概要を示す図である。 第６実施形態に係る録音装置を含む記録再生システムの動作手順を示すシーケンス図である。 第６実施形態に係る録音装置を含む記録再生システムの他の動作手順を示すシーケンス図である。 第６実施形態に係る端末やコンピュータとしての情報処理装置の機能構成を示すブロック図である。 第６実施形態に係る端末やコンピュータとしての情報処理装置のハードウェア構成を示すブロック図である。 第６実施形態に係る端末やコンピュータとしての情報処理装置の処理手順を示すフローチャートである。 第７実施形態に係る録画装置を含む記録再生システムの概要を示す図である。 第７実施形態に係る録画装置の機能構成を示すブロック図である。 第７実施形態に係るサーバとしての情報処理装置の機能構成を示すブロック図である。 他の実施形態に係る点に基づく統計処理用の録音データ分析テーブルの構成を示す図である。 他の実施形態に係るインデックス用識別情報の例を示す図である。
　以下に、図面を参照して、本開示における実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素は単なる例示であり、本開示の技術範囲をそれらに限定する趣旨のものではない。
　［第１実施形態］
　第１実施形態としての録音装置１００について、図１を用いて説明する。録音装置１００は、録音データに再生時の頭出し用インデックスを付与できる録音装置である。
　図１に示すように、録音装置１００は、録音部１０１と、インデックス生成用撮像部１０２と、インデックス付与部１０３と、を含む。録音部１０１は、音声を録音する。インデックス生成用撮像部１０２は、録音部１０１により録音された音声を索引するインデックスとなる画像を撮像する。インデックス付与部１０３は、録音中に、録音された音声データに、撮像された画像をインデックスとして付与する。
　本実施形態によれば、録音中の音声に対して、撮像された画像をインデックスとして付与するので、録音中に、現場においてユーザが望む任意のタイミングで、簡単な操作により録音データに再生時の頭出し用インデックスを付与することができる。
　［第２実施形態］
　次に、第２実施形態に係る録音装置について説明する。本実施形態に係る録音装置は、マイクに入力された音声を録音中に、話題や議題の対象としている印刷物内の文章や図面、物体の部分などに点を記載する。録音装置は、記載した点を撮像し、点画像または点画像から抽出した点識別子を頭出し用インデックスとして付与する。録音装置は、録音データを頭出し再生する場合は、同じ印刷物や図面や物体上の点を撮像して、点画像から点識別子を抽出する。そして、録音装置は、抽出した点識別子と、録音時に付与した頭出し用インデックスとしての点識別子とを照合し、一致する点識別子によりインデックスされている位置から録音データを再生する。
　これによって、印刷物内の文章、図面内の部分、又は、物体の部分などに対応付けられた音声を再生することができる。特に、出先における面談や会議の録音を再生する場合に、再生者が望む録音位置からの頭出しが可能になる。なお、本実施形態の録音装置は、ペン型等の文房具の形状を有するのが、ユーザの使い易さとしては望ましい。また、点識別子の一致の判定は、その差が所定閾値以内であれば一致と判定してもよい。
　《記録再生システム》
　以下、図２Ａ～図２Ｃおよび図３Ａ～図３Ｃを参照して、本実施形態の録音装置を含む記録再生システムの構成および動作を説明する。
　（システム概要）
　図２Ａは、本実施形態に係る録音装置２１０を含む記録再生システム２００の概要を示す図である。
　図２Ａの左側に示す録音装置２１０は、録音中の音声が対象とする印刷物２５２上の位置にインクで点２５３を記載して、点画像または点画像から抽出された点識別子をインデックスとして付与する。録音装置２１０は、ペン先２１２を有する点記載部（ペン）２１１と、記載した点を拡大して撮像する点撮像部（例えば、顕微鏡カメラ）２１３と、録音データおよびインデックスを記録する記録部（例えば、メモリカード）２１４と、音声入力部（例えば、マイク）２１５と、を備える。なお、図２Ａには図示されていないが、録音装置２１０は、操作部（スイッチなど）や表示部（ランプなど）も備える。また、点撮像部２１３は、記載した点から点識別子を抽出できる点画像を撮像できるカメラであれば、他の高解像度カメラであってもよい。また、録音装置２１０における再生機能の構成は後述する。
　ユーザは、録音中の音声にインデックスを付与する場合、録音装置２１０のペン先２１２で印刷物２５２上の話題の対象位置に点２５３を記載する。記載された点２５３が点撮像部２１３で撮像され、録音データ２４１の所望位置（時刻）に点画像または点識別子２３１～２３３がインデックスとして付与されて、記録部２１４に記録される。なお、録音データ２４１と、インデックスの点画像または点識別子２３１～２３３は、録音データと、点画像又は点識別子を対応付けてそれぞれ記録されてもよく、対応付けて一体に記録されてもよい。
　図２Ａの右側に示す録音装置２２０は、録音された音声が対象とする印刷物２５２上の位置にインクで記載された点２５３に対応付けられた録音データ２４１を再生する例である。録音装置２２０の点撮像部２１３は、ユーザが再生を望む録音に対応付いた印刷物２５２上の点２５３を点撮像部２１３で撮像すると、点画像照合部２４７は、撮像した点画像または点識別子２３４と、記録部２１４にインデックスとして記録された点画像または点識別子２３１～２３３とを照合する。そして、点画像や点識別子が一致すれば、再生部（図示せず）が点２５３の記載位置に対応付けられた録音データ２４１を再生する。なお、点画像や点識別子の一致は、その差が所定閾値以内であれば一致としてもよい。
　（システム機能構成）
　図２Ｂは、本実施形態に係る録音装置２１０を含む記録再生システム２００の機能構成を示す図である。なお、図２Ｂにおいて、図２Ａと同様の構成要素には同じ参照番号を付す。
　図２Ｂにおいて、録音時２３０には、音声入力部（マイク）２１５と、点記載部（ペン）２１１と、点撮像部（顕微鏡カメラ）２１３と、インデックス付与部２３６と、記録部（メモリカード）２１４と、が使用される。音声入力部（マイク）２１５から入力される発話者の音声に対して、インデックス用媒体２５４上に点記載部（ペン）２１１で記載された点を点撮像部（顕微鏡カメラ）２１３で撮像して、点画像または点識別子をインデックスとして付与し、記録部（メモリカード）２１４に記録する。
　図２Ｂにおいて、再生時２４０には、点撮像部（顕微鏡カメラ）２１３と、点画像照合部２４７と、再生部２４８と、が使用される。インデックス用媒体２５４上に記載された点を点撮像部（顕微鏡カメラ）２１３で撮像すると、点画像照合部２４７により、撮像された点画像と記録部２１４にインデックスとして記憶された点画像とが照合される。そして、点画像が一致すると、その点画像をインデックスとして再生部２４８は記録部２１４の録音データを再生して出力する。なお、点画像照合部２４７の照合は、点画像から抽出された点識別子により行われるのが望ましい。
　（点識別子）
　図２Ｃは、本実施形態に係る点識別子となる点特徴量を抽出可能な点の生成方法を示す図である。
　図２Ｃの上図は、本実施形態において印刷物（印刷資料）２５２上にペン型の録音装置２１０で点を記載する状態の模式図である。なお、各要素の寸法関係は正確でない。印刷物（印刷資料）２５２の録音音声に対応付いた表面位置に、録音装置２１０により微小の粒２５６を含む点２５３を記載する。録音装置２１０の点記載部（ペン）２１１には、微小の粒２５６を含むインク２６１が充填されている。なお、点の記載媒体はインクに限定されない。固体の鉛筆芯や墨などであってもよい。
　印刷物（印刷資料）２５２の録音音声に対応付いた表面位置に記載した点２５３は、微小な粒２５６をランダムな位置に含有している。微小な粒２５６としては、金属粉やガラス粉などの微粒子や、タガン卜などが使用できる。微小な粒２５６は、点２５３を構成する材料(微小な粒２５６を除く)と反射特性が異なる粒であることが望ましい。また、微小な粒２５６は、点２５３に不均一に含有していることが望ましい。即ち、点２５３における微小な粒２５６の分布は、不均一であることが望ましい。また、点２５３の平面形状は不定形状である。点２５３の平面形状とは、点２５３の真上から見た形状のことである。このような点２５３は、例えば、微小な粒２５６を混入した印刷インク、塗料などを、ペンなどの筆記具２６０を使用して物体の表面に１滴だけ滴下させて、固化させることにより形成することができる。ただし、点２５３の形成方法は、そのような方法に限定されず、微小な粒２５６を混入した印刷インク、塗料などを刷毛などにより塗布する等、他の任意の方法を使用してよい。
　図２Ｃの下図は、本実施形態において印刷物（印刷資料）２５２上にペン型の録音装置２１０で、点識別子を抽出可能な点の記載方法と、点識別子の抽出方法の例を示す図である。なお、点識別子を抽出可能な点の記載方法は図２Ｃに限定されない。
　点の記載材料２７１としては、微小粒を含む材料、表面反射や色模様に特徴がある材料、媒体（紙）の模様が透過する材料、媒体（紙）上のにじみが出る材料、などがある。それぞれの、点の記載媒体２７２の制限や点の撮像方法２７３の相違、点識別子としての点画像の特徴量抽出方法２７４は図示のようになる。以下、本実施形態では、広範囲の媒体に点識別子を抽出可能な点を記載でき、撮像部が携帯可能で撮像画像が安定し、かつ、識別可能な点識別子が容易に抽出可能な材料として、微小粒を含む材料を使用する。しかしながら、点の材料や点の記載方法、点の撮像方法、点識別子の抽出方法はこれに限定されず、図２Ｃに記載のものであっても、その他のものであってもよい。
　（他の点記載構造）
　図２Ｄは、本実施形態に係る他の録音装置２８０の点記載構造を示す図である。録音装置２８０は、録音装置２１０のように点記載部（ペン）２１１と点撮像部（顕微鏡カメラ）２１３とが別個に備えられているのではなく、連動した動作で点記載および点撮像を実現するスタンプ形式のペン２８１を有している。なお、図２Ｄにおいて、図２Ａの録音装置２１０と同様の構成要素には同じ参照番号を付して、重複する説明を省略する。また、図２Ｄにおいては、スタンプ形式のペン２８１の特徴である先端部２８２の構成および動作を説明する。
　先端部２８２は、蓋部２８３と、蓋２８３内でペン２８１の軸方向に移動可能な容器２８４を有する。容器２８４内には、点記載部（ペン）２１１、点撮像部（顕微鏡カメラ）２１３、可動ミラー２８５が設けられている。なお、可動ミラー２８５は、引っ張りバネによって反時計回りに付勢されている。点撮像部（顕微鏡カメラ）２１３と可動ミラー２８５は、容器２８４に固定され、点記載部（ペン）２１１は、蓋２８３と連結して固定される。
　先端部２８２は、容器２８４の端部まで蓋部２８３に収納された状態と、容器２８４の半分まで蓋部２８３に収納された状態とに変化する。このため、容器２８４の収納に伴って、点記載部（ペン）２１１が印刷物２５２と接する位置に移動する。
　図２Ｄに示すように、容器２８４の端部まで蓋部２８３に収納された状態では、点記載部（ペン）２１１は可動ミラー２８５を時計回りに動かすことはない。このため、容器２８４下面に接触する印刷物２５２の像が可動ミラー２８５に反射して点撮像部（顕微鏡カメラ）２１３に入力される。
　一方、先端部２８２を印刷物２５２に押し付けると容器２８４の半分まで蓋部２８３に収納された状態となる。容器２８４下面に接触する印刷物２５２に対して点記載部（ペン）２１１が点を記載する。この時、点記載部（ペン）２１１は可動ミラー２８５を時計回りに動かし、印刷物２５２の像は点撮像部（顕微鏡カメラ）２１３に入力されなくなる。
　再び、容器２８４の端部まで蓋部２８３に収納された状態になる、点記載部（ペン）２１１が可動ミラー２８５を押し出さなくなり、可動ミラー２８５は引っ張りバネによって反時計回りに付勢される。この時、容器２８４下面に接触する印刷物２５２に記載された点２５３の画像が、可動ミラー２８５に反射されて点撮像部（顕微鏡カメラ）２１３に入力される。
　このように、１回の操作で点記載および点撮像が実現できる。なお、かかるスタンプ形式は図２Ｄの構造に限定されない。その詳細については、特許文献３を参照されたい。
　（システムの適用例）
　図３Ａは、本実施形態に係る録音装置２１０を含む記録再生システム２００の適用例を示す図である。図３Ａは、印刷物２５２として見積書を見ながらの値段交渉に本実施形態を適用した場合を示す。
　図３Ａの録音時３１０において、見積もり作成者３１１が顧客３１２に対して、録音装置２１０により見積もり内容付近に第１点を記載して顕微鏡カメラで撮像しながら、“本見積もりのここについてはいかがですか？”と問う。すると、作成者３１１の音声“本見積もりのここについてはいかがですか？”に対応付けて第１点の点画像または点識別子が頭出しのインデックスとして付与される。この問いに応答して、顧客３１２が“この値段はいいけど”と応えた後、他の見積もり内容付近に第２点を記載して顕微鏡カメラで撮像しながら、“ここはもっと安くできない？”と要求する。すると、顧客３１２の音声“この値段はいいけど”は前の作成者３１１の問いに続いて録音された後、顧客３１２の音声“ここはもっと安くできない？”に対応付けて新たな第２点の点画像または点識別子がインデックスとして付与される。続く、作成者３１１の“再考してみます！”は、顧客３１２による第２点のインデックスに続けて録音される。各インデックスとして、点画像２３ｘが録音データに対応付けて記録される。
　図３Ａの再生時３２０において、見積もり作成者３１１や顧客３１２、あるいは第三者３２１が、後日、録音データを再生する。その時に、印刷物２５２としての見積書の第１点を顕微鏡カメラで撮像すると、第１点の点画像をインデックスとして“本見積もりのここについてはいかがですか？…この値段はいいけど、…”と再生出力される。また、第２点を顕微鏡カメラで撮像すると、第２点の点画像をインデックスとして“ここはもっと安くできない？…再考してみます！…”と再生出力される。
　図３Ａにおいて、代名詞の“ここ”や連体詞の“この”などの音声では特定できない対象物に対応付けられた録音データを頭出しすることが可能になるので、録音データの再生位置の特定と、再生内容の理解とが簡単な操作で容易に実現される。また、見積もりを議論する現場において、簡単な操作で頭出しインデックス付与が可能となり、頭出し操作も簡単にできる。
　図３Ｂは、本実施形態に係る録音装置２１０を含む記録再生システム２００の他の適用例を示す図である。図３Ｂは、印刷物２５２として設計図を見ながらの製品開発に本実施形態を適用した場合を示す。
　図３Ｂの録音時３３０において、設計図の作成者３３１が他の開発者３３２，３３３に対して、録音装置２１０により対象部位付近に第３点を記載して顕微鏡カメラで撮像しながら、“本資料のここについてはいかがですか？”と問う。すると、作成者３３１の音声“本資料のここについてはいかがですか？”に対応付けて第３点の点画像または点識別子が頭出しのインデックスとして付与される。この問いに応答して、開発者３３２が対象部位内の注目位置に第４点を記載して顕微鏡カメラで撮像しながら、“ここの説明がわかりにくいから改善すべき”と応える。開発者３３２の音声“ここの説明がわかりにくいから改善すべき”に対応付けて新たな第４点の点画像または点識別子がインデックスとして付与される。開発者３３２の応えに対して、開発者３３３が“そうだね”と相槌を打ち、録音される。
　図３Ｂの再生時３４０において、作成者３３１が、後日、設計変更などで録音データを再生する。その時に、印刷物２５２としての設計図の第４点を顕微鏡カメラで撮像すると、第４点の点画像をインデックスとして“ここの説明がわかりにくいから改善すべき…そうだね”と再生出力される。
　図３Ｂにおいても、代名詞の“ここ”などの音声では特定できない対象物に対応付けられた録音データを頭出しすることが可能になるので、録音データの再生位置の特定と、再生内容の理解とが簡単な操作で容易に実現される。また、設計図を検討する現場において、簡単な操作で頭出しインデックス付与が可能となり、頭出し操作も簡単にできる。
　図３Ｃは、本実施形態に係る録音装置２１０を含む記録再生システム２００のさらに他の適用例を示す図である。図３Ｃは、試作品２５１を見ながらの製品開発に本実施形態を適用した場合を示す。
　図３Ｃの録音時３５０において、試作品２５１について、営業マン３５１が、録音装置２１０により対象部位付近に第５点を記載して顕微鏡カメラで撮像しながら、“この辺がかっこ悪いよね”と感想を述べる。すると、営業マン３５１の音声“この辺がかっこ悪いよね”に対応付けて第５点の点画像または点識別子が頭出しのインデックスとして付与される。この感想に応答して、営業マン３５２が、対象部位内の特定位置に第６点を記載して顕微鏡カメラで撮像しながら、“ここのでっぱりは丸くした方がよい”と改善案を指摘する。営業マン３５２の音声“ここのでっぱりは丸くした方がよい”に対応付けて新たな第６点の点画像または点識別子がインデックスとして付与される。
　図３Ｃの再生時３６０において、試作品２５１の設計者３６１が、後日、設計変更などで録音データを再生する。その時に、試作品２５１の第５点を顕微鏡カメラで撮像すると、第５点の点画像をインデックスとして“この辺がかっこ悪いよね”と再生出力される。また、試作品２５１の第６点を顕微鏡カメラで撮像すると、第６点の点画像をインデックスとして“ここのでっぱりは丸くした方がよい”と再生出力される。
　図３Ｃにおいても、代名詞の“ここ”などの音声では特定できない対象物に対応付けられた録音データを頭出しすることが可能になるので、録音データの再生位置の特定と、再生内容の理解とが簡単な操作で容易に実現される。また、試作品を評価する現場において、簡単な操作で頭出しインデックス付与が可能となり、頭出し操作も簡単にできる。
　《録音装置の機能構成》
　図４は、本実施形態に係る録音装置２１０の機能構成を示すブロック図である。図４の録音装置２１０は、点画像から点識別子を抽出する機能を有しない。すなわち、負荷のかかる点識別子の抽出を外部に委ねる構成例である。なお、図４において、図２Ａおよび図２Ｂと同様の構成要素には同じ参照番号を付す。
　録音装置２１０は、点記載部（ペン）２１１と、音声入力部（マイク）２１５と、点撮像部（顕微鏡カメラ）２１３と、インデックス付与部２３６と、記録部（メモリカード）２１４と、表示部（ランプなど）４０５と、操作部（スイッチなど）４０６と、を備える。
　点記載部（ペン）２１１は、図２Ｃに示したように、印刷物や試作品などの録音音声に対応付いた注目位置に点を記載する。音声入力部（マイク）２１５は、印刷物や試作品などを参照した会話の音声を入力する。点撮像部（顕微鏡カメラ）２１３は、点記載部（ペン）２１１が記載した点の拡大画像を撮像する。インデックス付与部２３６は、音声入力部（マイク）２１５が入力する会話の音声に、話者が注目する位置に記載した点画像をインデックスとして対応付けて付与する。記録部（メモリカード）２１４は、会話の録音データを格納する録音部４４１と、インデックスとしての点画像を対応付けて格納する点画像格納部４４２とを有する。なお、録音データおよびインデックスを出力あるいは送信する場合、あるいは、録音装置２１０が再生機能を有する場合、記録部２１４はメモリカードのように抜き差しできない固定メモリであってもよい。
　表示部（ランプなど）４０５は、例えば、パワーランプや記録ランプ、インデックス付与動作ランプなどの、録音装置２１０の状態をユーザに通知する。操作部（スイッチなど）４０６は、例えば、パワーＯＮ／ＯＦＦスイッチ、録音開始／終了スイッチ、インデックス付与スイッチなど、録音装置２１０を操作する。
　（記録部）
　図５は、本実施形態に係る記録部２１４に格納される構成データを示す図である。図５の記録部２１４は、インデックスとして点画像を格納する。図５に示す記録部２１４には、３つの構成データ５１０、５２０、５３０が格納される。なお、記録部２１４の構成は、図５の構成データに限定されるものではない。点画像により録音データをインデックスすることができれば、どのような記録構成であってもよい。
　構成データ５１０では、タイムスタンプ（録音時刻又は点の撮像時刻）と、録音データ又は点画像とが対応付けされている。例えば、構成データ５１０の録音部４４１には、録音時刻を表すタイムスタンプ５１１に対応付けされて録音データの音声フレーム５１２が記憶される。また、構成データ５１０の点画像格納部４４２には、点画像データ５１３に対応付けされて撮像時刻を表すタイムスタンプ５１４と頭出し調整時間５１５が記憶される。なお、頭出し調整時間５１５はオプションである。点の記載時間および撮像時間の分、撮像時刻が録音データよりも遅れるため、遅れを調整するために頭出し調整時間５１５が設定される。なお、頭出し調整は、録音時、再生時のいずれで行ってもよい。
　構成データ５２０では、録音位置と録音データとが対応付けされ、点の格納位置と点画像とが対応付けされている。例えば、構成データ５２０の録音部４４１には、録音位置を表す録音アドレス５２１に対応付けされて録音データの音声フレーム５２２が記憶される。また、構成データ５２０の点画像格納部４４２には、点画像データ５２３に対応付けされて点の撮像時の録音アドレスをポイントするアドレスポインタ５２４と頭出し調整アドレス５２５とが記憶される。なお、頭出し調整アドレス５２５はオプションである。点の記載時間および撮像時間の分、撮像時のアドレスが録音データのアドレスと異なるので、調整のために頭出し調整アドレス５２５が設定される。なお、頭出し調整は、録音時、再生時のいずれで行ってもよい。
　構成データ５３０では、録音データと対応付けされてインデックスとしての点画像が記録される。例えば、構成データ５３０の録音部４４１には、録音時に、録音時刻を表すタイムスタンプ５１１に対応付けされて録音データの音声フレーム５１２とインデックスとしての点画像５３３が記憶される。
　《録音装置の他の機能構成》
　図６は、本実施形態に係る録音装置２１０の他の機能構成を示すブロック図である。図６の録音装置２１０は、点画像から点識別子を抽出する機能を有する。すなわち、点識別子を外部に提供するので、記録容量や通信容量を削減することができる。なお、図６において、図２Ａ、図２Ｂおよび図４と同様の構成要素には同じ参照番号を付して、重複する説明は省略する。
　点識別子抽出部６０２は、点撮像部２１３が撮像した点画像から点識別子を抽出する。そして、記録部（メモリカード）２１４は、会話の録音データを格納する録音部４４１と、インデックスとしての点識別子を対応付けて格納する点識別子格納部６４２とを有する。なお、録音データおよびインデックスを出力あるいは送信する場合、あるいは、録音装置２１０が再生機能を有する場合、記録部２１４はメモリカードのように抜き差しできない固定メモリであってもよい。
　（記録部）
　図７は、本実施形態に係る他の記録部２１４に格納される構成データを示す図である。図７の記録部２１４は、インデックスとして点識別子を格納する。図７の記録部２１４は、３つの構成データ７１０、７２０、７３０を格納する。なお、記録部２１４の構成データは、図７の構成データに限定されるものではない。点識別子により録音データをインデックスすることができれば、どのような記録構成であってもよい。また、図７において、図５と同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
　構成データ７１０では、タイムスタンプ（録音時刻又は点の撮像時刻）と、録音データ又は点識別子とが対応付けされている。構成データ７１０の点識別子格納部６４２には、点識別子７１３に対応付けされて撮像時刻を表すタイムスタンプ５１４と頭出し調整時間５１５とを記憶する。
　構成データ７２０では、録音位置と録音データとが対応付けされ、点の格納位置と点識別子が対応付けされている。例えば、構成データ７２０の点識別子格納部６４２には、点識別子７２３に対応付けされて点の撮像時の録音アドレスをポイントするアドレスポインタ５２４と頭出し調整アドレス５２５とが記憶されている。
　構成データ７３０では、録音データとインデックスとしての点識別子が対応付けされている。例えば、構成データ７３０の録音部４４１には、録音時に、録音時刻を表すタイムスタンプ５１１に対応付けされて録音データの音声フレーム５１２とインデックスとしての点識別子７３３が記憶される。
　《点識別子抽出部の一例》
　図８Ａは、本実施形態に係る点識別子抽出部６０２の機能構成の一例を示すブロック図である。図８Ａは、点識別子抽出部６０２を含む録音装置２１０の一部を示している。図８Ａを参照すると、本実施形態に係る点識別子抽出部６０２は、印刷物や試作品２５１上の点画像から点識別子を抽出する機能を有する。なお、本明細書の点識別子抽出部のいずれもが、点識別子抽出部６０２と同じあるいは類似の処理により点識別子を抽出するものとする。
　図８Ａにおいて、印刷物や試作品２５１、その面上に形成されている筆記具で記載された点２５３、この点２５３に含まれる微小な粒２５６は、図２Ｃを参照して説明した印刷物や試作品２５１、点２５３、微小な粒２５６と同じである。
　点撮像部（顕微鏡カメラ）２１３は、印刷物や試作品２５１上の点２５３の画像を光学的に取得する機能、即ち撮像機能を有する。点撮像部（顕微鏡カメラ）２１３は、例えば、ＣＣＤ(Charge Coupled Device)イメージセンサやＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサを使用したカメラを使用することができる。
　点識別子抽出部６０２は、点画像から点識別子を抽出する機能を有する。点識別子抽出部６０２は、主な機能部として、画像記憶部８３２、座標系決定部８３３、正規化画像生成部８３４、正規化画像記憶部８３５、固定領域決定部８３６、および特徴量抽出部８３７を有する。
　なお、点識別子抽出部６０２は、例えば、１以上のマイクロプロセッサ等の演算処理部と、画像記憶部８３２および正規化画像記憶部８３５等として用いるメモリやハードディスク等の記憶部とを有する情報処理部と、プログラムとで実現されてよい。プログラムは、情報処理部の立ち上げ時等に外部のコンピュータ読み取り可能な記録媒体からメモリに読み込まれ、演算処理部の動作を制御することにより、演算処理部上に、座標系決定部８３３、正規化画像生成部８３４、固定領域決定部８３６、および特徴量抽出部８３７といった機能構成部を実現する。
　座標系決定部８３３は、画像記憶部８３２に記憶されている点２５３の画像の全体から、点２５３の画像に固有の座標系を決定する機能を有する。点２５３の画像に固有の座標系は、原点の位置、軸の方向、スケールの３つのパラメータによって定義される。点２５３の画像に固有の座標系は、点２５３の画像の全体から決定されるため、点２５３の平面形状に依存するものとなる。
　正規化画像生成部８３４は、画像記憶部８３２に記憶されている点２５３の画像を、正規化座標系に正規化し、正規化した画像を正規化画像記憶部８３５に保存する機能を有する。正規化座標系は、原点の位置、軸の方向、スケールの３つのパラメータによって定義されている。
　固定領域決定部８３６は、正規化画像記憶部８３５に記憶された点２５３の正規化画像におけるあらかじめ定められた領域を、特徴量抽出領域に定める機能を有する。あらかじめ定められた領域は、固定領域であれば、その形状、サイズ、領域の個数は任意である。上述したように、点２５３の画像に固有の座標系は、点２５３の平面形状に依存するため、正規化画像およびその中の固定領域である特徴量抽出領域は、点２５３の平面形状に依存する領域となる。
　ここで、座標系決定部８３３、正規化画像生成部８３４、および固定領域決定部８３６は、点２５３の画像から、層の平面形状に依存する領域を決定する領域決定部８３８を構成している。
　特徴量抽出部８３７は、正規化画像記憶部８３５に記憶された点２５３の正規化画像中の上記特徴量抽出領域における粒２５６の分布に依存する特徴量を点識別子として抽出し、出力する機能を有する。
　（点識別子抽出処理）
　図８Ｂは、本実施形態に係る点識別子抽出処理の一例の手順を示すフローチャートである。以下、図８Ａおよび図８Ｂを参照して点識別子抽出部６０２の動作を説明する。
　点撮像部（顕微鏡カメラ）２１３を用いて印刷物や試作品２５１上の点２５３の画像を取得し、点識別子抽出部６０２は点画像を画像記憶部８３２に保存する(ステップＳ８０１)。
　次に、点識別子抽出部６０２の座標系決定部８３３は、画像記憶部８３２から点２５３の画像を入力して解析し、点２５３の画像に固有の座標系を決定し、固有の座標系の原点の位置、軸の方向、スケールを正規化画像生成部８３４に伝達する(ステップＳ８０２)。
　次に、点識別子抽出部６０２の正規化画像生成部８３４は、座標系決定部８３３で決定された点２５３の画像に固有の座標系と正規化座標系とに基づいて、画像記憶部８３２に記憶されている点２５３の画像を正規化し、正規化した画像を正規化画像記憶部８３５に保存する(ステップＳ８０３)。
　次に、点識別子抽出部６０２の固定領域決定部８３６は、正規化画像記憶部８３５に記憶された正規化画像中のあらかじめ定められた固定領域を特徴量抽出領域に決定し、特徴量抽出部８３７に伝達する(ステップＳ８０４)。
　次に、点識別子抽出部６０２の特徴量抽出部８３７は、正規化画像記憶部８３５に記憶された点２５３の正規化画像中の上記特徴量抽出領域における粒２５６の分布に依存する特徴量を点識別子として抽出し、出力する(ステップＳ８０５)。
　（座標系決定部の一例）
　図９Ａは、本実施形態に係る座標系決定部８３３の機能構成の一例を示すブロック図である。
　本例の座標系決定部８３３は、低解像度化部９５１、低解像度画像記憶部９５２、キーポイン卜・スケール検出部９５３、方向検出部９５４、および統計処理部９５５を有する。
　低解像度化部９５１は、画像記憶部８３２に記憶された点２５３の画像をあらかじめ定められた基準で低解像度化し、低解像度画像記憶部９５２に保存する機能を有する。点２５３に粒２５６が不均一に含有されており、粒２５６の反射特性が点２５３の他の材料と相違する場合、点２５３の画像を低解像度化すると、粒２５６の密度に応じた濃淡パターンが出現する。低解像度化部９５１は、点２５３の画像から、粒２５６の密度に応じた濃淡パターンを生成するための機能構成部である。
　キーポイン卜・スケール検出部９５３は、低解像度画像記憶部９５２に記憶された濃淡パターンを有する画像から、キーポイン卜とスケールとを検出する機能を有する。ここで、キーポイン卜は、スケールが変わっても画像上に特徴的に現れる点や領域を意味し、検出するスケールはスケール変化に最も強い最適なスケールを意味する。キーポイン卜・スケール検出部９５３によるキーポイン卜とスケールとの検出は、ＳＩＦＴ(Scale-Invariant Feature Transform)記述子を生成する過程で行われるキーポイン卜とスケールとの検出に相当する。一般にＳＩＦＴは、微小な粒２５６が点在する画像には不向きであるが、上述のように低解像度化して生成した濃淡パターンからはキーポイン卜とスケールとを安定して抽出することが可能である。
　方向検出部９５４は、キーポイン卜・スケール検出部９５３によって検出されたキーポイン卜ごとに、そのキーポイン卜を特徴付ける“方向"を決定する機能を有する。方向検出部９５４による方向の検出は、ＳＩＦＴ記述子を生成する過程で行われるオリエンテーションの検出に相当する。
　統計処理部９５５は、キーポイン卜・スケール検出部９５３で検出されたキーポイン卜とスケール、および方向検出部９５４で検出されたキーポイン卜毎の方向に基づいて、固有の座標系の原点、軸、およびスケールを決定する機能を有する。例えば、統計処理部９５５は、複数のキーポイン卜の分布に基づいて固有の座標系の原点を決定する。具体的には、統計処理部９５５は、検出された複数のキーポイン卜の重心を固有の座標系の原点とする。また、統計処理部９５５は、複数のキーポイン卜のスケール、方向の分布に基づいて固有の座標系のスケール、軸を決定する。具体的には、統計処理部９５５は、複数のキーポイン卜のスケール、方向の分布の中心を、固有の座標系のスケール、軸とする。即ち、複数のキーポイン卜のスケールの分布の中心を固有の座標系のスケールとし、複数のキーポイン卜の方向の分布の中心を固有の座標系の軸とする。分布の中心としては、例えば最頻値を使用してよい。ただし、最頻値に限定されず、平均値や中央値を使用してもよい。
　図９Ｂは、本実施形態に係る座標系決定部８３３の動作を説明するための模式図である。
　図９Ｂにおいて、画像Ｇ９１１は、画像記憶部８３２に記憶されている点２５３の画像を示している。低解像度化部９５１は、画像Ｇ９１１から、画像Ｇ９１２に示すような、点２５３における粒２５６の密度に依存する濃淡パターンを有する画像を生成する。図９Ｂでは、便宜上、濃淡の相違をハッチングの種別の相違で表現している。次に、キーポイン卜・スケール検出部９５３は、画像Ｇ９１２から、キーポイン卜とスケールとを検出する。画像Ｇ９１２上に描かれている円はスケール、円の中心がキーポイン卜である。次に、方向検出部９５４は、キーポイン卜ごとに方向を検出する。画像Ｇ９１２上に描かれた円内の線分が方向を示している。
　次に、統計処理部９５５は、検出されたキーポイン卜のスケール、方向の分布に基づいて固有の座標系のスケール、軸を決定するために、ヒストグラムＧ９１３に示すような、横軸がスケール、縦軸が頻度であるヒストグラムと、ヒストグラムＧ９１４に示すような、横軸が方向、縦軸が頻度であるヒストグラムを作成する。次に、統計処理部９５５は、ヒストグラムＧ９１３から最頻値のスケールを求め、これを固有の座標系のスケールとする。また、統計処理部９５５は、ヒストグラムＧ９１４から最頻値の方向を求め、この方向を固有の座標系の軸の方向とする。さらに、統計処理部９５５は、検出されたキーポイン卜の重心を求め、これを固有の座標系の原点とする。図９Ｂにおいて、画像Ｇ９１５に描かれている円は固有の座標系のスケール、円の中心が固有の座標系の原点、円内の矢印が固有の座標系の軸の方向をそれぞれ示している。
　図９Ｂには、画像Ｇ９１１と比較して点の平面形状、点内の粒の分布が相違する他の画像Ｇ９２１と、その画像Ｇ９２１から生成された低解像度な画像Ｇ９２２、検出されたキーポイン卜とスケール、生成されたヒストグラムＧ９２３、Ｇ９２４、決定された固有の座標系を描いた画像Ｇ９２５が記載されている。このように、固有の座標系は、層の平面形状、層内の粒の分布が相違すると、多くの場合、異なるものとなる。
　（座標系決定部の他例）
　図９Ｃは、本実施形態に係る座標系決定部８３３の機能構成の他例を示すブロック図である。
　本例の座標系決定部８３３は、２値化部９６１、２値化画像記憶部９６２、塗りつぶし画像生成部９６３、塗りつぶし画像記憶部９６４、および形状処理部９６５を有する。
　２値化部９６１は、画像記憶部８３２に記憶された点２５３の画像を２値化し、２値化画像記憶部９６２に保存する機能を有する。これにより、背景領域のほとんどの画素が白画素(値０)、点２５３の領域は粒２５６の分布に応じて白画素(値０)と黒画素(値１)とが混在する２値化画像が得られる。
　塗りつぶし画像生成部９６３は、２値化画像記憶部９６２に記憶された２値化画像から、点２５３の平面形状と同一の形状を有し、内部が全て黒画素で埋め尽くされた画像(塗りつぶし画像)を生成し、塗りつぶし画像記憶部９６４に保存する機能を有する。２値化画像から塗りつぶし画像を生成する方法は任意である。例えば、塗りつぶし画像生成部９６３は、２値化画像記憶部９６２に記憶された２値化画像に対して、モルフォロジー演算を行うことにより、塗りつぶし画像を生成してよい。また、塗りつぶし画像生成部９６３は、あらかじめ定められた画素長をｎとし、ｎ画素の膨張処理とn画素の収縮処理を実行することにより、２値化画像から塗りつぶし画像を生成してよい。ここで、ｎ画素の膨張処理とは、注目中の画素の値が“１”である場合、注目画素からｎ画素長以内に存在する全ての画素の値を“１”にする操作を、２値化画像の全面素に注目して行う処理を意味する。また、ｎ画素の収縮処理とはｎ画素の膨張処理を施した後の２値画像に対して、注目中の画素の値が“０”である場合、注目画素からｎ画素長以内に存在する全ての画素の値を“０”にする操作を、２値化画像の全面素に注目して行う処理を意味する。
　形状処理部９６５は、塗りつぶし画像記憶部９６４に記憶された塗りつぶし画像の特徴から、固有の座標系を決定する機能を有する。例えば、形状処理部９６５は、塗りつぶし画像の重心を固有の座標系の原点に決定する。また、形状処理部９６５は、例えば、上記重心を通り画像面に平行な軸であって、軸の周りの２次モーメン卜が最小または最大となる軸を固有の座標系の軸に決定する。さらに、形状処理部９６５は、例えば、上記塗りつぶし画像の面積を固有の座標系のスケールに決定する。
　図９Ｄは、本実施形態に係る座標系決定部の動作を説明するための模式図である。
　図９Ｄにおいて、画像Ｇ９３１は、画像記憶部８３２に記憶されている点２５３の画像を示している。２値化部９６１は、画像Ｇ９３１から、２値化画像Ｇ９３２を生成する。図９Ｄでは、便宜上、黒画素はハッチングで示し、白画素は白丸で示している。次に、塗りつぶし画像生成部９６３は、２値化画像Ｇ９３２から、黒画素で塗りつぶした塗りつぶし画像Ｇ９３３を生成する。次に、形状処理部９６５は、塗りつぶし画像Ｇ９３３の重心、モーメン卜、面積を抽出し、それらを固有の座標系の原点、軸、スケールとする。
　（正規化画像生成部）
　正規化画像生成部８３４は、座標系決定部８３３により決定された点２５３の画像に固有の座標系の原点を、正規化座標系の原点とみなす。また、正規化画像生成部８３４は、固有の座標系の軸が正規化座標系の軸と一致するように、点２５３の画像を、原点を中心に回転させる。さらに、正規化画像生成部８３４は、固有の座標系のスケールが正規化座標系のスケールと一致するように、点２５３の画像を拡大あるいは縮小する。換言すれば、正規化画像生成部８３４は、固有の座標系を変換前の座標系、正規化座標系を変換後の座標系とする座標変換を点２５３の画像に施して、正規化された画像を生成する。
　図１０Ａは、本実施形態に係る正規化画像生成部８３４の動作を説明するための模式図である。図１０Ａにおいて、画像Ｇ１０１６、Ｇ１０２６は、図９Ｂに示した画像Ｇ９１１、画像Ｇ９２１に固有の座標系を描いた画像である。即ち、画像Ｇ１０１６、Ｇ１０２６に実線で描かれている円は固有の座標系のスケール、その円の中心が固有の座標系の原点、円内の矢印が固有の座標系の軸をそれぞれ示している。
　正規化画像生成部８３４は、固有の座標系の軸が正規化座標系の軸に一致し、かつ、固有の座標系のスケールが正規化座標系のスケールと一致するように、画像Ｇ１０１６、Ｇ１０２６を、原点を中心に回転させ、また拡大あるいは縮小することにより正規化画像を生成する。図１０Ａにおいて、画像Ｇ１０１７、Ｇ１０２７は、そのようにして生成された画像Ｇ１０１６、Ｇ１０２６の正規化画像を示している。画像Ｇ１０１７、Ｇ１０２７に描かれた円は正規化座標系のスケール、円内の矢印が正規化座標系の軸をそれぞれ示している。
　（固定領域決定部）
　固定領域決定部８３６は、正規化座標系を使用して、正規化画像中に固定領域を定義する。例えば、固定領域決定部８３６は、正規化座標系の原点を重心とし、正規化座標系のスケールを辺のサイズとし、正規化座標系の軸に平行な２辺を有する正方形を、固定領域とする。勿論、固定領域の形状は正方形に限定されず、長方形などの他の形状であってもよい。また辺のサイズは正規化座標系のスケールに一致させる必要はなく、固定値であれば任意でよい。
　図１０Ｂは、本実施形態に係る固定領域決定部８３６の動作を説明するための模式図である。図１０Ｂにおいて、画像Ｇ１０１８、Ｇ１０２８は、図１０Ａに示した画像Ｇ１０１７、Ｇ１０２７に特徴量抽出領域を付記した画像の例である。即ち、画像Ｇ１０１８、Ｇ１０２８に描かれている円は正規化座標系のスケール、その円の中心が正規化座標系の原点、円内の矢印が正規化座標系の軸をそれぞれ示している。そして、画像Ｇ１０１８、Ｇ１０２８に実線で描かれている正方形が、特徴量を抽出する領域となる固定領域である。
　（特徴量抽出部）
　特徴量抽出部８３７は、正規化画像記憶部８３５に記憶された点２５３の正規化画像中の上記特徴量抽出領域における粒２５６の分布に依存する特徴量を点識別子として抽出し、出力する機能を有する。
　特徴量抽出部８３７が抽出する特徴量としては、例えば以下のような固定次元数のベクトルが考えられる。
　特徴量の例１：特徴量抽出部８３７は、点２５３の正規化画像中の特徴量抽出領域を正規化座標系の軸に平行な方向にｎ等分し、その軸に垂直な方向にｍ等分することにより、特徴量抽出領域を（ｎ×ｍ）個のブロックに分割する。次に、特徴量抽出部８３７は、各ブロックの輝度を抽出する。次に、特徴量抽出部８３７は、各ブロックの輝度を閾値と比較し、輝度が閾値以上であれば例えば値１、そうでなければ値０とすることにより、各ブロックの輝度を２値に量子化する。そして、特徴量抽出部８３７は、各ブロックの量子化値を所定の順序に並べたビット列を、点識別子を構成する（ｎ×ｍ）次元の特徴量として出力する。
　特徴量の例２：特徴量抽出部８３７は、点２５３の正規化画像中の特徴量抽出領域から固定ビット長のＢＲＩＥＦ(Binary Robust Independent Elementary Feature)を抽出し、個体識別子を構成する固定次元数の特徴量として出力する。
　ただし、特徴量抽出部８３７が抽出する特徴量は上記の例に限定されない。例えば、特徴量抽出部８３７は、点２５３の正規化画像中の特徴量抽出領域からＳＩＦＴ特徴量を点識別子として抽出してもよい。この場合、特徴量抽出領域の画像から直接にＳＩＦＴ特徴量を抽出すると、粒２５６の１つが最小スケールになって方向が出ず、ディスクリプタが不安定になる。そのため、特徴量抽出領域の画像を所定の基準で低解像度化して濃淡パターンを有する画像を生成し、上記濃淡パターンを有する画像からＳＩＦＴ特徴量を抽出することが望ましい。しかし、識別力および識別照合の高速化の観点からは、ＳＩＦＴ特徴量よりも上述した固定次元数の特徴量を抽出する方が好ましい。
　《点識別子抽出部の他例》
　図１１Ａは、本実施形態に係る点識別子抽出部６０２の機能構成の他例を示すブロック図である。図１１Ａには、点識別子抽出部６０２を含む録音装置２１０の一部を示している。図１１Ａを参照すると、本実施形態に係る点識別子抽出部６０２は、印刷物や試作品２５１の点識別子を抽出する機能を有する。なお、図１１Ａにおいて、図８Ａと同様の構成要素には同じ参照番号を付して、重複する説明は省略する。
　点識別子抽出部６０２は、点画像から点識別子を抽出する機能を有する。本例の点識別子抽出部６０２は、主な機能部として、点領域決定部１１３３、および特徴量抽出部１１３４を有する。点識別子抽出部６０２のプログラムは、情報処理部の立ち上げ時等に外部のコンピュータ読み取り可能な記録媒体からメモリに読み込まれ、演算処理部の動作を制御することにより、演算処理部上に、点領域決定部１１３３、および特徴量抽出部１１３４といった機能構成部を実現する。
　点領域決定部１１３３は、画像記憶部８３２に記憶されている点２５３の平面形状の全体を、特徴量抽出領域として決定する機能を有する。
　特徴量抽出部１１３４は、画像記憶部８３２に記憶されている点２５３の画像中の上記特徴量抽出領域から、粒２５６の分布に依存する特徴量を抽出し、点識別子として出力する機能を有する。
　図１１Ｂは、本実施形態に係る点識別子抽出処理の他例の手順を示すフローチャートである。以下、図１１Ａおよび図１１Ｂを参照して点識別子抽出部６０２の動作を説明する。なお、図１１Ｂにおいて、図８Ｂと同様のステップには同じステップ番号を付して、重複する説明は省略する。
　点識別子抽出部６０２の点領域決定部１１３３は、点２５３の平面形状の全体を、特徴量抽出領域として決定する(ステップＳ１１０２)。点領域決定部１１３３は、点２５３の平面形状の全体は、例えば、点２５３の画像を２値化し、この２値化画像に対してモルフォロジー演算を行うことにより抽出することができる。
　次に、点識別子抽出部６０２の特徴量抽出部１１３４は、画像記憶部８３２に記憶されている点２５３の画像中の上記特徴量抽出領域から、粒２５６の分布に依存する特徴量を抽出し、点識別子として出力する(ステップＳ１１０３)。
　本実施形態では、座標系の正規化を行わないため、特徴量抽出部１１３４は画像の回転等に頑健な特徴量、例えばＳＩＦＴ特徴量を抽出する。ただし、特徴量抽出部１１３４が抽出する特徴量はＳＩＦＴ特徴量に限定されない。また、画像から直接にＳＩＦＴ特徴量を抽出すると、粒２５６の１つが最小スケールになって方向が出ず、ディスクリプタが不安定になり、インライア比率が小さくなって、マッチングが困難になる。そこで、本例では、以下のようにしてＳＩＦＴ特徴量を抽出する。
　特徴量抽出部１１３４は、まず、点２５３の特徴量抽出領域の画像を所定の基準で低解像度化する。これにより、点２５３における粒２５６の密度に依存する濃淡パターンを有する画像が生成される。次に、特徴量抽出部１１３４は、上記濃淡パターンを有する画像からＳＩＦＴ特徴量を抽出する。
　《点識別子抽出部のさらに他例》
　図１２Ａは、本実施形態に係る点識別子抽出部６０２の機能構成のさらに他例を示すブロック図である。図１２Ａには、点識別子抽出部６０２を含む録音装置２１０の一部を示している。図１２Ａを参照すると、本実施形態に係る点識別子抽出部６０２は、印刷物や試作品２５１の点識別子を抽出する機能を有する。なお、図１２Ａにおいて、図８Ａまたは図１１Ａと同様の構成要素には同じ参照番号を付して、重複する説明は省略する。
　点識別子抽出部６０２は、点画像から点識別子を抽出する機能を有する。本例の点識別子抽出部６０２は、主な機能部として、画像記憶部８３２、第１の特徴量抽出部１２３３、第２の特徴量抽出部１２３４、および特徴量統合部１２３５を有する。点識別子抽出部６０２のプログラムは、情報処理部の立ち上げ時等に外部のコンピュータ読み取り可能な記録媒体からメモリに読み込まれ、演算処理部の動作を制御することにより、演算処理部上に、第１の特徴量抽出部１２３３、第２の特徴量抽出部１２３４、および特徴量統合部１２３５といった機能構成部を実現する。
　第１の特徴量抽出部１２３３は、点２５３の画像から、点２５３の平面形状および粒２５６の分布に依存する特徴量を第１の特徴量として抽出する機能を有する。第１の特徴量抽出部１２３３は、例えば、図８Ａを参照して説明した座標系決定部８３３、正規化画像生成部８３４、正規化画像記憶部８３５、固定領域決定部８３６、および特徴量抽出部８３７によって実現することができる。あるいは第１の特徴量抽出部１２３３は、例えば、図１１Ａを参照して説明した点領域決定部１１３３、および特徴量抽出部１１３４によって実現することができる。
　第２の特徴量抽出部１２３４は、点２５３の画像から、点２５３の平面形状に依存する特徴量を第２の特徴量として抽出する機能を有する。例えば、第２の特徴量抽出部１２３４は、点２５３の画像から、点２５３の平面形状に依存するが、粒２５６の分布に依存しない特徴量を第２の特徴量として抽出する機能を有する。第２の特徴量抽出部１２３４が抽出する特徴量としては、例えば、図９Ｃを参照して説明した座標系決定部８３３が固有の座標系の軸を決定する過程で算出した最小または最大の２次モーメン卜を使用することができる。ただし、第２の特徴量抽出部１２３４が抽出する特徴量は、上記に限定されず、点２５３の平面形状の面積、周囲長など、他の特徴量を使用してもよい。
　特徴量統合部１２３５は、第１の特徴量抽出部１２３３によって抽出された第１の特徴量と第２の特徴量抽出部１２３４によって抽出された第２の特徴量とから点識別子を生成する機能を有する。例えば、特徴量統合部１２３５は、第１の特徴量と第２の特徴量とを連結した特徴量を点識別子とする。
　図１２Ｂは、本実施形態に係る点識別子抽出処理のさらに他例の手順を示すフローチャートである。以下、図１２Ａおよび図１２Ｂを参照して点識別子抽出部６０２の動作を説明する。なお、図１２Ｂにおいて、図８Ｂ、図１１Ｂと同様のステップには同じステップ番号を付して、重複する説明は省略する。
　点識別子抽出部６０２の第１の特徴量抽出部１２３３は、点２５３の画像から、点２５３の平面形状および粒２５６の分布に依存する第１の特徴量を抽出する(ステップＳ１２０２)。
　次に、点識別子抽出部６０２の第２の特徴量抽出部１２３４は、点２５３の画像から、点２５３の平面形状に依存する第２の特徴量を抽出する(ステップＳ１２０３)。
　次に、点識別子抽出部６０２の特徴量統合部１２３５は、第１の特徴量と第２の特徴量とを統合することにより点識別子を生成し、出力する(ステップＳ１２０４)。
　このように本例では、点識別子は、第１の特徴量と第２の特徴量とを有する。このため、本例で抽出された点識別子を使用する照合識別では、点識別子どうしの比較は、第１の特徴量どうしの比較、第２の特徴量どうしの比較、第１の特徴量と第２の特徴量とをあわせた全体どうしの比較という３パターンのいずれか１つあるいは２つあるいは３つ全ての組み合わせで実施することができる。そのため、例えば、最初に第２の特徴量どうしを比較して、同一または類似しない候補を除外し、残りの候補について第１の特徴量どうしを比較して最終的に識別照合するといった形態が可能になる。
　《録音装置のハードウェア構成》
　図１３は、本実施形態に係る録音装置２１０のハードウェア構成を示すブロック図である。なお、図１３においては、タイムスタンプにより録音データと点画像または点識別子を対応付ける場合を説明するが、これに限定されない。また、図１３において、図２Ａ、図２Ｂおよび図４と同様の構成要素には同じ参照番号を付して、重複する説明は省略する。
　図１３で、ＣＰＵ(Central Processing Unit)１３１０は演算制御用のプロセッサであり、プログラムを実行することで図４または図６の機能構成部を実現する。ＣＰＵ１３１０は１つであっても複数であってもよい。ＲＯＭ(Read Only Memory)１３２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。
　ＲＡＭ(Random Access Memory)１３４０は、ＣＰＵ１３１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ１３４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。音声入力データ１３４１は、音声入力部（マイク）２１５から入力されたデータであり、録音時刻を表すタイムスタンプと音声フレームとを含む。撮像データ１３４２は、点撮像部（顕微鏡カメラ）２１３により撮像された画像データであり、点画像データと撮像時刻を表すタイムスタンプとを含む。操作入力データ１３４３は、操作部（スイッチなど）４０６からの入力データである。表示出力データ１３４４は、表示部（ランプなど）４０５への出力データである。
　ストレージ１３５０は、ＣＰＵ１３１０が使用する、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。点識別子抽出アルゴリズム１３５１は、録音装置２１０が点識別子でインデックスを付与する場合に使用される点識別子抽出のアルゴリズムである。ストレージ１３５０には、以下のプログラムが格納される。録音装置制御プログラム１３５２は、本録音装置２１０の全体を制御するプログラムである。録音制御モジュール１３５３は、音声入力部（マイク）２１５からの音声入力を録音部４４１に録音するためのモジュールである。インデックス生成モジュール１３５４は、点撮像部（顕微鏡カメラ）２１３により撮像された点画像をインデックスとするためのモジュールであり、撮像モジュールと、点識別子でインデックスを付与する場合に使用される点識別子抽出モジュールと、を含む。インデックス付与モジュール１３５５は、インデックス生成モジュール１３５４で生成された点画像や点識別子を録音データに対応付けてインデックスとして付与するモジュールである。
　入出力インタフェース１３６０は、入出力デバイスとのデータ入出力を制御するためのインタフェースである。本実施形態において、入出力インタフェース１３６０には、音声入力部（マイク）２１５、点撮像部（顕微鏡カメラ）２１３、表示部（ランプなど）４０５、操作部（スイッチなど）４０６、などが接続される。
　なお、図１３のＲＡＭ１３４０やストレージ１３５０には、録音装置２１０が有する汎用の機能や他の実現可能な機能に関連するプログラムやデータは図示されていない。
　《録音装置の処理手順》
　図１４は、本実施形態に係る録音装置２１０の処理手順を示すフローチャートである。このフローチャートは、図１３のＣＰＵ１３１０がＲＡＭ１３４０を使用して実行し、図４または図６の機能構成部を実現する。
　録音装置２１０は、ステップＳ１４０１において、パワーＯＮのスイッチ操作か否かを判定する。パワーＯＮのスイッチ操作があれば、録音装置２１０は、ステップＳ１４０３において、初期化などのパワーＯＮ処理を実行する。
　録音装置２１０は、ステップＳ１４１１において、録音開始のスイッチ操作か否かを判定する。録音開始のスイッチ操作であれば、録音装置２１０は、ステップＳ１４１３において、音声入力部（マイク）からの音声入力の開始処理を行う。そして、録音装置２１０は、ステップＳ１４１５において、タイムスタンプに紐付けた音声フレームの記録開始処理を行う。
　録音開始のスイッチ操作でなければ、録音装置２１０は、ステップＳ１４２１において、録音終了のスイッチ操作か否かを判定する。録音終了のスイッチ操作であれば、録音装置２１０は、ステップＳ１４２３において、音声フレームの記録部への記録終了処理を行う。そして、録音装置２１０は、ステップＳ１４２５において、音声入力部（マイク）からの音声入力の終了処理を行う。
　録音開始のスイッチ操作でなく、録音終了のスイッチ操作でなければ、録音装置２１０は、ステップＳ１４３１において、インデックス用点画像の撮像か否かを判定する。インデックス用点画像の撮像であれば、録音装置２１０は、ステップＳ１４３３において、インデックス用点画像を撮像する。点識別子でインデックスを付与する場合、録音装置２１０は、ステップＳ１４３５において、撮像した点画像から点識別子を抽出する。そして、録音装置２１０は、ステップＳ１４３７において、点画像（または点識別子）をタイムスタンプに紐付けて格納部への格納処理を行う。
　録音開始、録音終了またはインデックス付与のいずれかの処理が終了すると、録音装置２１０は、ステップＳ１４４１において、パワーＯＦＦのスイッチ操作か否かを判定する。パワーＯＦＦのスイッチ操作がなければ、録音装置２１０は、ステップＳ１４１１からの処理を繰り返す。一方、パワーＯＦＦのスイッチ操作があれば、録音装置２１０は、ステップＳ１４４３において、パワーＯＦＦ処理を行い終了する。
　なお、本実施形態においては、点記載処理と点撮像処理との関連については示していないが、例えば、点記載処理を検出して点記載時刻をタイムスタンプにしたり、点記載処理を検出して点撮像処理の準備を開始したりするなどの対応付けをすれば、より正確で効率的なインデックス付与ができる。
　本実施形態によれば、録音中の音声に対応付けて、撮像された点画像や点画像から抽出された点識別子をインデックスとして付与するので、録音中に、現場においてユーザが望む任意のタイミングにおいて、簡単な操作により録音データに再生時の頭出し用インデックスを付与することができる。
　特に、会話中の代名詞の“ここ”や連体詞の“この”などの音声では特定できない対象物に対応付けられた録音データを頭出しすることが可能になるので、録音データの再生位置の特定と、再生内容の理解とが簡単な操作で容易に実現される。
　［第３実施形態］
　次に、第３実施形態に係る録音装置について説明する。本実施形態に係る録音装置は、上記第２実施形態と比べると、録音データおよび録音データにインデックスとして対応付けられた点画像または点識別子を記録する記録部を外部に有する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
　《記録再生システムの概要》
　図１５は、本実施形態に係る録音装置１５１０を含む記録再生システム１５００の概要を示す図である。なお、図１５において、図２Ａと同様の構成要素には同じ参照番号を付して、重複する説明は省略する。
　図１５の記録再生システム１５００は、録音装置１５１０と、スマートフォンなどの携帯端末１５２０と、サーバやパーソナルコンピュータとしての情報処理装置１５３０と、携帯端末１５２０と情報処理装置１５３０とを無線接続するネットワーク１５４０と、を備える。
　録音装置１５１０は、携帯端末１５２０に接続可能なインタフェースケーブル１５１１、例えばＵＳＢケーブルを備えている。録音装置１５１０の音声入力部（マイク）２１５から入力された音声には、点記載部および点撮像部を含むスタンプ形式のペン２８１により取得された点画像または点識別子がインデックスとして付与されて、インタフェースケーブル１５１１を介して携帯端末１５２０に出力される。携帯端末１５２０から情報処理装置１５３０へはネットワーク１５４０を介して、録音データとインデックスデータとが対応付けて送信される。情報処理装置１５３０の音声記録部１５３１には、録音データとインデックスデータとが対応付けて記録される。
　なお、点画像の取得は、スタンプ形式のペン２８１でなく、点撮像部２１３により行われてもよい。
　《録音装置の機能構成》
　図１６は、本実施形態に係る録音装置１５１０の機能構成を示すブロック図である。なお、図１６において、図４や図６と同様の構成要素には同じ参照番号を付して、重複する説明は省略する。
　音声記憶部１５４１と点画像／点識別子記憶部１５４２とは、一時記憶部であってよく、録音データとインデックスデータとしての点画像／点識別子は、音声／インデックス出力部１５０８からＵＳＢなどの出力インタフェース１５０９を介して、携帯端末１５２０に出力される。
　《他の記録再生システムの概要》
　図１７は、本実施形態に係る録音装置１７１０を含む他の記録再生システム１７００の概要を示す図である。なお、図１７において、図２Ａや図１５と同様の構成要素には同じ参照番号を付して、重複する説明は省略する。
　図１７の記録再生システム１７００は、録音装置１７１０と、サーバやパーソナルコンピュータとしての情報処理装置１５３０と、録音装置１７１０と情報処理装置１５３０とを無線接続するネットワーク１５４０と、を備える。
　録音装置１７１０は、ネットワーク１５４０に接続可能な通信制御部１７０９を備えている。録音装置１７１０の音声入力部（マイク）２１５から入力された音声には、点撮像部２１３により取得された点画像または点識別子がインデックスとして付与されて、通信制御部１７０９を介して情報処理装置１５３０に送信されて、音声記録部１５３１に記録される。
　《他の録音装置の機能構成》
　図１８は、本実施形態に係る他の録音装置１７１０の機能構成を示すブロック図である。なお、図１８において、図４や図６、図１６と同様の構成要素には同じ参照番号を付して、重複する説明は省略する。
　音声記憶部１５４１と点画像／点識別子記憶部１５４２とは、一時記憶部であってよく、録音データとインデックスデータとしての点画像／点識別子は、音声／インデックス送信部１７０８から通信制御部１７０９を介して情報処理装置１５３０に送信される。
　本実施形態によれば、上記実施形態の効果に加えて、より簡単な構成の録音装置が提供され、電力消費を抑制することができる。
　［第４実施形態］
　次に、第４実施形態に係る録音装置について説明する。本実施形態に係る録音装置は、上記第２実施形態および第３実施形態と比べると、音声入力部としてのマイクを外部に有する点で異なる。その他の構成および動作は、第２実施形態や第３実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
　《記録再生システムの概要》
　図１９は、本実施形態に係る録音装置１９１０の概要を示す図である。なお、図１９において、図２Ａや図４、図６と同様の構成要素には同じ参照番号を付して、重複する説明は省略する。
　図１９の録音装置１９１０は、ペン型のインデックス取得部１９１１と、音声入力部（マイク）１９１５と、インデックス取得部１９１１と音声入力部（マイク）１９１５とが接続されて、インデックスが付与された音声データを記録する音声記録部１９１２と、を備える。
　《録音装置の機能構成》
　図２０は、本実施形態に係る録音装置１９１０の機能構成を示すブロック図である。なお、図１９において、図２Ａや図４、図６、図１５、図１７と同様の構成要素には同じ参照番号を付して、重複する説明は省略する。
　録音装置１９１０は、インデックス取得部１９１１と、音声入力部（マイク）１９１５と、音声記録部１９１２と、を備える。音声記録部１９１２は、音声入力部（マイク）１９１５から入力音声を取得する音声取得部２０２１と、インデックス取得部１９１１から点画像を取得する点画像取得部２０２２と、を有する。
　本実施形態によれば、上記実施形態の効果に加えて、さらに簡単な構成の録音装置が提供され、電力消費をさらに抑制することができる。
　［第５実施形態］
　次に、第５実施形態に係る録音装置について説明する。本実施形態に係る録音装置は、上記第２実施形態乃至第４実施形態と比べると、録音装置が再生機能を有する点で異なる。その他の構成および動作は、第２実施形態から第４実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
　《記録再生システムの概要》
　図２１は、本実施形態に係る録音装置２１１０による記録再生システム２１００の概要を示す図である。図２１の録音装置２１１０は、録音機能および再生機能を備え、本実施形態の記録再生システム２１００の両機能を実現する。なお、図２１において、図２Ａと同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
　図２１における記録時２１３０には、録音装置２１１０の録音機能を動作させ、音声入力部２１５から音声を入力する。そして、点記載部２１１により印刷物２５２上に点２５３を記載して、点撮像部２１３で点２５３を撮像して、点画像または点識別子を録音データにインデックスとして付与して、内部メモリやメモリカードに記録する。
　図２１における再生時２１４０には、左方のように、点撮像部２１３で点２５３を撮像して、内部メモリに記録されたインデックスとしての点画像または点識別子と照合して、一致したインデックスに対応付けられた内部メモリの録音データを再生する。また、右方のように、点撮像部２１３で点２５３を撮像して、メモリカードに記録されたインデックスとしての点画像または点識別子と照合して、一致したインデックスに対応付けられたメモリカードの録音データを再生する。
　なお、右方のメモリカードからの再生は、録音装置２１１０自身で録音した録音データに限定されず、他の録音装置により録音された録音データもそのメモリカードを差し込むことで、頭出し再生が可能である。
　（動作シーケンス）
　図２２は、本実施形態に係る録音装置２１１０による記録再生システム２１００の動作手順を示すシーケンス図である。図２２においては、録音時刻と撮像時刻とを対応付けてインデックス付与する例を示すが、他のインデックス方法でもよい。
　録音装置２１１０の制御部は、ステップＳ２２１１において、モードスイッチなどにより録音モードに設定する。そして、制御部は、ステップＳ２２１３において、録音開始スイッチなどにより録音開始を指示する。音声入力部（マイク）は、ステップＳ２２１５において、音声入力処理を開始する。入力された音声は録音装置２１１０の制御部に送られ、制御部は、ステップＳ２２１７において、タイムスタンプに紐付けて音声フレームを音声記録部６０４の録音部４４１に記録する。
　ユーザが録音装置２１１０によるインデックス付与を望む場合、点記載部（ペン）によりステップＳ２２２１において、印刷物や試作品の対象位置に点を記載する。そして、制御部は、ステップＳ２２２３において、点画像の撮像を点撮像部に指示する。点撮像部（顕微鏡カメラ）は、ステップＳ２２２５において、記載された点画像を撮像する。なお、点記載部および点撮像部が一体のスタンプ型のペン２８１の場合は、ステップＳ２２２３無しに、ステップＳ２２２１からステップＳ２２２５に進む。制御部は、ステップＳ２２２７において、点画像から点識別子を抽出する。制御部は、ステップＳ２２２９において、タイムスタンプに紐付けて点識別子を音声記録部６０４の点識別子格納部６４２に格納する。
　録音装置２１１０の制御部は、ステップＳ２２３１において、モードスイッチなどにより再生モードに設定する。ユーザが、付与したインデックスによる録音装置２１１０からの再生の頭出しを望む場合、制御部は、ステップＳ２２３３において、印刷物や試作品に所望位置に記載されている点の撮像を点撮像部に指示する。点撮像部（顕微鏡カメラ）は、ステップＳ２２３５において、記載されている点画像を撮像する。制御部は、ステップＳ２２３７において、点画像から点識別子を抽出する。制御部は、ステップＳ２２３９において、音声記録部６０４の点識別子格納部６４２から記録された点識別子を読出して、抽出した点識別子と照合する。そして、点識別子が一致した場合、制御部は、ステップＳ２２４１において、一致した点識別子をインデックスとして録音再生を頭出しする。なお、ステップＳ２２４１において、インデックス付与時刻（位置）と録音時刻（位置）とのズレを調整する再生タイミング調整を行ってもよい。調整時間は固定であっても、実際のズレに合わせて可変であってもよい。
　音声再生部（スピーカ）は、ステップＳ２２４３において、録音部４４１のインデックス時刻（位置）から頭出し再生開始をする。
　なお、図２２においては、記録容量を削減するため点識別子をインデックスとして記録したが、点画像を記録して照合時に点識別子を抽出してもよい。
　《録音装置の機能構成》
　図２３は、本実施形態に係る録音装置２１１０の機能構成を示すブロック図である。なお、図２３において、図２Ａ、図４、図６と同様の構成要素には同じ参照番号を付して、重複する説明は省略する。
　点識別子照合部２３０８は、録音モード時に、点識別子格納部６４２に格納された点識別子と、再生モード時に、撮像した点画像から抽出された点識別子とを照合する。点識別子の差が所定の閾値以下であれば、点識別子の一致と見なす。再生音声取得部２３０９は、一致と判定された点識別子をインデックスとして、録音部４４１から音声データを取得して、音声出力部（スピーカ）２３１０に送る。音声出力部（スピーカ）２３１０は、点の記載された印刷物や試作品などの対象位置に対応付けられた音声から頭出し出力する。
　《録音装置のハードウェア構成》
　図２４は、本実施形態に係る録音装置２１１０のハードウェア構成を示すブロック図である。なお、図２４において、図１３と同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
　ＲＡＭ２４４０は、ＣＰＵ１３１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ２４４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。動作モード２４４１は、録音装置２１１０の動作モードが録音モードか再生モードかのフラグである。撮像データ２４４２は、点撮像部（顕微鏡カメラ）２１３により撮像されたデータであり、点識別子と撮像時刻を表すタイムスタンプとを含む。格納データ２４４５は、記録部２１４の点識別子格納部６４２にインデックスとして格納されたデータであり、点識別子と撮像時刻を表すタイムスタンプとを含む。点識別子照合結果２４４６は、照合結果が一致である場合の点識別子である。音声出力データ２４４７は、音声出力部（スピーカ）２３１０から音声出力するためのデータであり、タイミスタンプと音声フレームとを含む。
　ストレージ２４５０は、ＣＰＵ１３１０が使用する、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ２４５０には、以下のプログラムが格納される。モード設定モジュール２４５２は、録音装置２１１０の動作モードを録音モードか再生モードかのいずれかに設定するモジュールである。再生制御モジュール２４５６は、音声出力データ２４４７を記録部２１４の録音部４４１から取得して、音声出力部（スピーカ）２３１０からの音声出力するためのモジュールである。点識別子照合モジュール２４５７は、再生モード時に、撮像した点から抽出した点識別子と、点識別子格納部６４２にインデックスとして格納された点識別子との照合を行うモジュールである。再生頭出しモジュール２４５８は、点識別子照合モジュール２４５７が点識別子の一致を判定した場合に、その点識別子をインデックスとして録音部４４１から対応付けられた録音データを読出して、音声出力部（スピーカ）２３１０から出力するモジュールである。
　入出力インタフェース２４６０は、入出力デバイスとのデータ入出力を制御するためのインタフェースを行なう。本実施形態においては、入出力インタフェース２４６０には、音声出力部（スピーカ）２３１０が接続される。
　なお、図２４のＲＡＭ２４４０やストレージ２４５０には、録音装置２１１０が有する汎用の機能や他の実現可能な機能に関連するプログラムやデータは図示されていない。
　《録音装置の処理手順》
　図２５Ａは、本実施形態に係る録音装置２１１０の処理手順を示すフローチャートである。このフローチャートは、図２４のＣＰＵ１３１０がＲＡＭ２４４０を使用して実行し、図２３の機能構成部を実現する。なお、図２５Ａにおいて、図１４と同様のステップには同じステップ番号を付して、重複する説明を省略する。
　録音装置２１１０は、ステップＳ２５１１において、録音モードであるか否かを判定する。録音モードである場合、録音装置２１１０は、ステップＳ２５１３において、点画像や点識別子によるインデックス付与が可能な録音処理を実行する。なお、ステップＳ２５１３の録音処理は、図１４のステップＳ１４１１～Ｓ１４３７と同様であるので、重複する説明は省略する。
　録音モードでない場合、録音装置２１１０は、ステップＳ２５２１において、再生モードであるか否かを判定する。再生モードである場合、録音装置２１１０は、ステップＳ２５２３において、点画像や点識別子によるインデックス付与を利用した頭出し再生を含む再生処理を実行する。
　（再生処理）
　図２５Ｂは、本実施形態に係る再生処理（Ｓ２５２３）の手順を示すフローチャートである。
　録音装置２１１０は、ステップＳ２５３１において、点画像を撮像するインデックスデータの取得であるか否かを判定する。インデックスデータの取得でなければ、録音装置２１１０は、ステップＳ２５５１において、頭出しの無い通常の再生処理を行う。
　インデックスデータの取得であれば、録音装置２１１０は、ステップＳ２５３３において、撮像した点画像から点識別子を抽出する。録音装置２１１０は、ステップＳ２５３５において、点画像から抽出した点識別子と、録音時にインデックスとして記録された点識別子とを照合する。録音装置２１１０は、ステップＳ２５３７において、点識別子が一致したか否かを判定する。なお、一致の判定は、点識別子の差が所定閾値以内であれば一致と判定する。点識別子が一致した場合、録音装置２１１０は、ステップＳ２５３９において、一致数を１つカウントアップする。なお、最初の一致数は“０”である。一致数を１つカウントアップした後、あるいは、点識別子が一致しなかった場合、録音装置２１１０は、ステップＳ２５４１において、録音データに対応付けられた全点識別子との照合が完了したか否かを判定する。全点識別子との照合が完了してなければ、録音装置２１１０は、ステップＳ２５３５から、全点識別子との照合が完了するまで残りの点識別子との照合を繰り返す。
　全点識別子との照合が完了すると、録音装置２１１０は、ステップＳ２５４３において、一致数に従って３つに分岐する。一致数が“１”の場合、録音装置２１１０は、ステップＳ２５４５において、必要であれば頭出しタイミングの調整を行って、録音データの再生を開始する。また、一致数が“２以上”の場合、録音装置２１１０は、ステップＳ２５４７において、複数の頭出し候補を表示画面に表示する。そして、録音装置２１１０は、ステップＳ２５４９において、ユーザの頭出し選択指示を待って、指示があれば、録音装置２１１０は、ステップＳ２５４５において、録音データの再生を開始する。なお、複数の頭出し候補の表示ができない場合は、スキップスイッチで順に先送りする構成であってもよい。一致数が“０”の場合、録音データの再生はしない（あるいは、エラー通知をしてもよい）。
　なお、インデックスとしての点識別子が録音中に１回である場合、すなわち、同じ点の撮像は１回と制限している場合には、ステップＳ２５３７で一致と判定された場合、直ぐに、ステップＳ２５４５の頭出し再生を行うことができる。
　本実施形態によれば、上記実施形態の効果に加えて、携帯可能な録音装置により録音と頭出し再生を独立に実現することができる。例えば、メモリカードからの再生は、録音装置自身で録音した録音データに限定されず、他の録音装置により録音された録音データもそのメモリカードを差し込むことで、頭出し再生が可能である。
　［第６実施形態］
　次に、第６実施形態に係る録音装置について説明する。本実施形態に係る録音装置は、上記第５実施形態と比べると、再生を高機能の端末やコンピュータに委ねる点で異なる。その他の構成および動作は、第５実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
　《記録再生システムの概要》
　図２６は、本実施形態に係る録音装置２１０を含む記録再生システム２６００の概要を示す図である。記録再生システム２６００においては、ペン型の録音装置２１０は録音と再生時の頭出し指示のみを行い、負荷のかかる再生処理は、サーバやコンピュータとしての情報処理装置や、スマートフォンなどの携帯端末で実行する。なお、図２６において、図２Ａと同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
　記録再生システム２６００は、録音と再生時の頭出し指示のみを行う録音装置２１０と、情報処理装置２６２０と、携帯端末２６３０と、を備える。情報処理装置２６２０は、メモリカードや通信により、録音装置２１０から録音データとインデックスとしての点画像や点識別子を取得して、再生時の録音装置２１０からの点画像や点識別子を用いて頭出し再生を含む再生処理を行う。情報処理装置２６２０は、記録部と点識別子格納部とを含む音声記録部２６２１と、点識別子照合部２６２２と、音声再生部２６２３と、を有する。点識別子照合部２６２２は、点識別子格納部にインデックスとして格納された点識別子と、再生時に録音装置２１０から取得した点画像の点識別子とを照合する。音声再生部２６２３は、音声出力部（スピーカ）２６２４から点識別子でインデックスされた音声を頭出し再生する。
　携帯端末２６３０は、音声出力部（スピーカ）２６３４を有し、情報処理装置２６２０からの再生指示に従って、頭出し再生音声の出力を行う。
　（動作シーケンス）
　図２７Ａは、本実施形態に係る録音装置２１０を含む記録再生システム２６００の動作手順を示すシーケンス図である。図２７Ａは、録音装置２１０が点画像から点識別子を抽出する点識別子抽出機能を有しない場合のシーケンス図である。なお、図２７Ａにおいて、図２２と同様のステップには同じステップ番号を付して、重複する説明を省略する。
　録音装置２１０の音声記録部（メモリカード）２１４の内容は、情報処理装置２６２０の音声記録部２６２１にコピーされる。なお、本例では、インデックスとして、点画像格納部に点画像が格納されている。
　再生モードにおいて、録音装置２１０の制御部は、ステップＳ２７３５において撮像した点画像を情報処理装置２６２０の制御部に出力（送信）する。
　情報処理装置２６２０の制御部は、ステップＳ２７３７において、撮像した点画像から点識別子を抽出する。制御部は、ステップＳ２７３９において、音声記録部２６２１の点画像格納部から点画像を取得する。制御部は、ステップＳ２７４１において、取得した点画像から点識別子を抽出する。制御部は、ステップＳ２７４３において、撮像した点画像の点識別子と、点画像格納部から取得した点画像の点識別子とを照合する。情報処理装置２６２０の制御部は、ステップＳ２７４５において、照合結果が一致した点識別子の対応付けられた録音データを録音部から取得する。
　制御部は、ステップＳ２７４７において、録音部から取得した録音データの再生を音声出力部（スピーカ）に指示する。音声出力部（スピーカ）は、ステップＳ２７４７において、点画像をインデックスとした頭出し録音再生開始をする。
　図２７Ｂは、本実施形態に係る録音装置２１０を含む記録再生システム２６００の他の動作手順を示すシーケンス図である。なお、図２７Ｂにおいて、図２２および図２７Ａと同様のステップには同じステップ番号を付して、重複する説明を省略する。
　図２７Ｂにおいては、図２７Ａに、点識別子抽出の処理（Ｓ２２２７およびＳ２２３７）が追加され、情報処理装置２６２０の制御部における、点識別子抽出の処理（Ｓ２７３７およびＳ２７４１）が削除されている。他のステップは同様であるので、重複する説明は省略する。
　《情報処理装置の機能構成》
　図２８は、本実施形態に係る端末やコンピュータとしての情報処理装置２６２０の機能構成を示すブロック図である。なお、図２８において、図２６と同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
　情報処理装置２６２０は、通信制御部２８０１と、入出力インタフェース２８０２と、音声記録部２６２１と、インデックス取得部２８０４と、点識別子抽出部２８０５と、点識別子照合部２８０６と、再生頭出し部２８０７と、再生音声データ出力部２８０８と、を備える。また、情報処理装置２６２０は、入出力インタフェース２８０２に接続する、音声記憶部（メモリカード）２１４と、インデックス用点画像入力部２８２１と、音声出力部（スピーカ）２６２４と、表示部２８２２と、操作部２８２３と、を備える。なお、音声記憶部（メモリカード）２１４とインデックス用点画像入力部２８２１とは、通信により録音データやインデックス用の点識別子を録音装置２１０から受信する場合には必要としない。
　通信制御部２８０１は、通信により録音データやインデックス用の点識別子を録音装置２１０から受信する場合に、通信の制御を行う。インデックス取得部２８０４は、点画像取得部２８４１と、点識別子抽出部２８４２と、点識別子取得部２８４３と、を有する。すなわち、インデックス取得部２８０４の構成により、インデックスが点画像で記録されている場合は、点画像を取得して点識別子抽出部で点識別子を抽出して、点識別子照合部２８０６で照合する。一方、インデックスが点識別子で記録されている場合は、点識別子を取得してそのまま点識別子照合部２８０６で照合する。
　点識別子照合部２８０６は、録音時に記録部に記録された点画像のインデックスと、再生時に撮像された点画像のインデックスとを、点識別子で照合する。再生頭出し部２８０７は、点識別子照合部２８０６の照合で点識別子が一致した場合に、その点識別子に対応付けられた録音データを録音部から取得する。再生音声データ出力部２８０８は、再生頭出し部２８０７が取り出した録音データに基づいて、音声出力部（スピーカ）２６２４から音声出力させる。
　《情報処理装置のハードウェア構成》
　図２９は、本実施形態に係る端末やコンピュータとしての情報処理装置２６２０のハードウェア構成を示すブロック図である。なお、図２９において、図２６および図２８と同様の構成要素には同じ参照番号を付して、重複する説明は省略する。
　図２９で、ＣＰＵ２９１０は演算制御用のプロセッサであり、プログラムを実行することで図２８の機能構成部を実現する。ＣＰＵ２９１０は１つであっても複数であってもよい。ＲＯＭ２９２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。ネットワークインタフェース２９３０は、ネットワークを介して外部装置と通信する。
　ＲＡＭ２９４０は、ＣＰＵ２９１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ２９４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。撮像データ２９４１は、録音装置２１０から取得した点の撮像データである。インデックス照合データ２９４２は、頭出しのためにインデックス照合するためのデータであり、撮像された点画像と点画像から抽出された点識別子とを含む。読出した点識別子２９４３は、音声記録部２６２１から読出したインデックスとしての点識別子のデータである。点識別子照合結果２９４４は、撮像された点画像から抽出された点識別子と、音声記録部２６２１から読出した点識別子との照合結果のデータであり、一致した点識別子である。再生音声データ２９４５は、一致した点識別子をインデックスとして音声記録部２６２１の録音部から再生された音声データである。送受信データ２９４６は、ネットワークインタフェース２９３０を介して送受信されるデータである。入出力データ２９４７は、入出力インタフェース２８０２に接続された入出力機器によって入出力されるデータである。
　ストレージ２９５０は、ＣＰＵ２９１０が使用する、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。音声記録部２６２１は、録音データとインデックスとしての点画像または点識別子とを記憶する。点識別子抽出アルゴリズム２９５１は、点画像から点識別子を抽出するアルゴリズムである。ストレージ２９５０には、以下のプログラムが格納される。情報処理装置制御プログラム２９５２は、本情報処理装置２６２０の全体を制御するプログラムである。録音データ取得モジュール２９５３は、録音装置２１０から録音データを取得するモジュールである。点識別子抽出モジュール２９５５は、点画像から点識別子を抽出するモジュールである。点識別子照合モジュール２９５６は、撮像された点画像から抽出された点識別子と、音声記録部２６２１から読出した点識別子とを照合するモジュールである。録音再生モジュール２９５７は、一致した点識別子をインデックスとして録音データの頭出し再入出力インタフェース２８０２は、入出力デバイスとのデータ入出力を制御するためのインタフェースを行なう。本実施形態においては、入出力インタフェース２８０２には、図２８に示したように、音声記憶部（メモリカード）２１４と、インデックス用点画像入力部２８２１と、音声出力部（スピーカ）２６２４と、表示部２８２２と、操作部２８２３と、が接続される。
　なお、図２９のＲＡＭ２９４０やストレージ２９５０には、情報処理装置２６２０が有する汎用の機能や他の実現可能な機能に関連するプログラムやデータは図示されていない。
　《情報処理装置の処理手順》
　図３０は、本実施形態に係る端末やコンピュータとしての情報処理装置２６２０の処理手順を示すフローチャートである。このフローチャートは、図２９のＣＰＵ２９１０がＲＡＭ２９４０を使用して実行し、図２８の機能構成部を実現する。
　情報処理装置２６２０は、ステップＳ３０１１において、録音データの取得であるか否かを判定する。録音データの取得でれば、情報処理装置２６２０は、ステップＳ３０１３において、録音データの取得処理を実行する。なお、録音データの取得は、インデックスとしての点画像や点識別子の取得も含む。
　録音データの取得でない場合、情報処理装置２６２０は、ステップＳ３０２１において、録音データの再生であるか否かを判定する。録音データの再生であれば、情報処理装置２６２０は、ステップＳ３０２３において、撮像された点画像や点識別子によりインデックスされた頭出し再生を含む、録音データの再生処理を実行する。
　（再生処理）
　図３０におけるステップＳ３０２３の再生処理は、録音装置２１１０による図２５Ｂにおける再生処理（Ｓ２５２３）と主体が情報処理装置２６２０に代わるのみで同様であるので、図示および説明は省略する。なお、インデックスデータの取得時に点識別子が取得できる場合は、ステップＳ２５３３は削除される。
　本実施形態によれば、上記実施形態の効果に加えて、より容易な操作により高速に録音データの頭出し処理ができる。
　［第７実施形態］
　次に、第７実施形態に係る録画装置について説明する。本実施形態に係る録画装置は、上記第２実施形態乃至第６実施形態と比べると、録画において頭出し用インデックスを付与する点で異なる。その他の構成および動作は、第２実施形態から第６実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
　《記録再生システムの概要》
　図３１は、本実施形態に係る録画装置３１１０を含む記録再生システム３１００の概要を示す図である。図３１において、図１９と同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
　記録再生システム３１００は、ペン型のインデックス取得部１９１１と、点画像または点識別子のみを記録する記録部（メモリカード）３１１４と、録画用のビデオカメラ３１１２と、情報処理装置３１２０と、携帯端末３１３０と、を備える。
　ビデオカメラ３１１２は、動画および音声を取得する。情報処理装置３１２０は、ビデオカメラ３１１２から受信した動画および音声と、メモリカードや通信により、インデックス取得部１９１１から取得したインデックスとしての点画像や点識別子とを記録して、再生時のインデックス取得部１９１１からの点画像や点識別子を用いて頭出し再生を含む録画再生処理を行う。情報処理装置３１２０は、録画部と点識別子格納部とを含む動画記録部３１２１と、点識別子照合部３１２２と、動画再生部３１２３と、表示部３１２４と、を有する。点識別子照合部３１２２は、点識別子格納部にインデックスとして格納された点識別子と、再生時にインデックス取得部１９１１から取得した点画像の点識別子とを照合する。動画再生部３１２３は、表示部３１２４から点識別子でインデックスされた動画を頭出し再生する。
　携帯端末３１３０は、表示画面３１３４を有し、情報処理装置３１２０からの再生指示に従って、頭出し再生動画の出力を行う。
　図３１において、インデックス取得部１９１１と、ビデオカメラ３１１２と、動画記録部３１２１とを、録画装置３１１０と見なすことができる。
　なお、ペン型のインデックス取得部１９１１は、録音装置２１０などによって代替してもよい。あるいは、ビデオカメラ３１１２では動画のみを取得し、録音装置２１０などによって音声を録音する構成であってもよい。
　《録画装置の機能構成》
　図３２は、本実施形態に係る録画装置３１１０の機能構成を示すブロック図である。なお、図３２において、図２Ａ、図１９および図３１と同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
　録画装置３１１０は、インデックス取得部１９１１と、動画入力部（ビデオカメラ）３１１２と、動画記録部３１２１と、を備える。動画記録部３１２１は、動画入力部（ビデオカメラ）３１１２から入力動画を取得する動画取得部３２２１と、インデックス取得部１９１１から点画像を取得する点画像取得部２０２２と、を有する。さらに、動画記録部３１２１は、動画と点画像または点識別子とを対応付けるインデックス付与部３２３６と、動画データを記録する録画部３２４１と、を有する。
　《情報処理装置の機能構成》
　図３３は、本実施形態に係る端末またはコンピュータとしての情報処理装置３１２０の機能構成を示すブロック図である。なお、図３３において、図２６および図２８と同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
　情報処理装置３１２０は、動画記録部３１２１と、録画の再生頭出し部３３０７と、再生動画データ出力部３３０８と、を備える。再生頭出し部３３０７は、点識別子照合部２８０６の照合で点識別子が一致した場合に、その点識別子に対応付けられた録画データを動画録画部から取得する。再生動画データ出力部３３０８は、再生頭出し部３３０７が取り出した録画データに基づいて、表示部２８２２から動画出力させ、音声出力部（スピーカ）２６２４から音声出力させる。
　本実施形態によれば、録画中の動画に対応付けて、撮像された画像をインデックスとして付与するので、録画中に、ユーザが望む任意のタイミングにおいて、簡単な操作により録画データに再生時の頭出し用インデックスを付与することができる。
　［他の実施形態］
　上記実施形態においては、点画像または点識別子をインデックスとする録音や録画などの記録と、点画像または点識別子に基づく録音や録画の頭出し再生について説明した。しかし、点画像または点識別子をインデックスとする現場での録音や録画に基づく、統計的な情報処理も容易に可能となる。
　図３４は、他の実施形態に係る点に基づく統計処理用の録音データ分析テーブル３４００の構成を示す図である。録音データ分析テーブル３４００は、同じ点であると一致判定された点識別子グループ３４０１と付与した点の参照回数３４０２とを記憶する。また、点識別子グループ３４０１に対応つけて、複数の点参照における、時刻順にソートされたタイムスタンプ３４０３と、点識別子３４０４と、音声フレーム３４０５と、を記憶する。そして、参照回数３４０２や音声フレーム３４０５の内容から分析した、対象評価分析３４０６を記憶する。なお、この場合には、点画像や点識別子に関連する音声フレームの終了を設定できれば、さらに望ましい。このように、現場で点を記載してインデックス付与された録音データを点識別子により分類して、タイムスタンプ順にソーティングする。これにより、現場でどこが注目されたか、どんな注目であったか、問題提起と解決提案の関係、などを評価分析することが可能である。
　また、上記実施形態においては、点画像または点識別子によるインデックス付与について説明したが、これに限定されるものではない。例えば、図３５のテーブル３５００に図示したように、他のインデックス用識別情報も使用可能であり、同様の効果を奏する。
　図３５において、参照媒体３５０１と、インデックス用識別情報３５０２と、識別子３５０３と、識別子生成方法３５０４と、が対応付けられて格納されている。例えば、行３５０５には、本実施形態において示したように、紙／樹脂／金属に対して、点をインデックスとし、識別子としては点識別子を使用する。行３５０６には、紙／樹脂／金属に対して、記号や文字をインデックスとし、識別子としてはパターン識別子を使用する。行３５０７には、紙／樹脂／金属に対して、媒体表面をインデックスとし、識別子としては模様識別子を使用する。行３５０８には、樹脂／金属に対して、形状をインデックスとし、識別子としては形状識別子を使用する。なお、本開示で使用可能なインデックス用識別情報はこれらに限定されない。ユーザが、現場において簡単な操作で識別性のよい頭出しインデックスを生成できるものであればよい。なお、識別性がよいとは、同じ識別子あるいは類似の識別子が出にくい、各識別子の距離が離れている場合を言う。
　また、実施形態を参照して本開示を説明したが、本開示は上記実施形態に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本開示の範疇に含まれる。
　また、本実施形態は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本開示は、実施形態の機能を実現する情報処理プログラムあるいは録音制御プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本開示の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本開示の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本開示の範疇に含まれる。
　［実施形態の他の表現］
　上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
　音声を録音する録音手段と、
　録音された前記音声を索引するインデックスとなる画像を撮像するための撮像手段と、録音中に、録音された音声データに、撮像された前記画像をインデックスとして付与するインデックス付与手段と、
　を備える録音装置。
（付記２）
　前記画像は、筆記具で記載された点画像である付記１に記載の録音装置。
（付記３）
　さらに、点を記載する点記載手段を備える付記１または２に記載の録音装置。
（付記４）
　さらに、前記点記載手段による前記点の記載処理と前記インデックス生成用撮像手段による前記点の撮像とを連動する連動手段を備える付記２または３に記載の録音装置。
（付記５）
　さらに、前記点画像から点特徴量を抽出して点識別子とする点識別子抽出手段を備え、前記インデックス付与手段は、録音中の前記音声に対して、撮像された前記点画像の点識別子をインデックスとして付与する付記２乃至４のいずれか１項に記載の録音装置。
（付記６）
　前記インデックス付与手段は、録音中の前記音声に対して、前記画像が撮影された時刻と対応する位置に前記インデックスを付与する付記１乃至５のいずれか１項に記載の録音装置。
（付記７）
　前記インデックス付与手段は、録音中の前記音声の録音位置を前記画像からポイントするように、前記インデックスを付与する付記１乃至５のいずれか１項に記載の録音装置。
（付記８）
　通信端末と接続可能なインタフェース手段と、
　前記録音手段に録音された音声と前記インデックス付与手段により付与された画像とを、前記インタフェース手段を介して前記通信端末に出力する出力手段と、
　をさらに備える付記１乃至７に記載の録音装置。
（付記９）
　前記録音手段に録音された音声と前記インデックス付与手段により付与された画像とを対応付けて、前記画像により前記音声にインデックス付与する情報処理装置に送信する送信手段をさらに備える付記１乃至７に記載の録音装置。
（付記１０）
　前記録音手段に録音された音声を再生する再生手段と、
　再生時に、前記インデックス生成用撮像手段で撮像された画像を再生開始のインデックスとして取得する取得手段と、
　前記取得手段により取得された画像と前記インデックス付与手段により付与された画像とを照合する照合手段と、
　前記照合手段の照合結果から、前記取得手段により取得された画像と前記インデックス付与手段により付与された画像とが一致する場合、前記インデックス付与手段により付与された画像をインデックスとして、前記録音手段に録音された音声から再生するよう、前記再生手段を制御する再生制御手段と、
　をさらに備える付記１乃至９のいずれか１項に記載の録音装置。
（付記１１）
　前記再生制御手段は、前記取得手段により取得された画像と一致する前記インデックス付与手段により付与された画像が複数ある場合、複数の前記画像をインデックスとして、前記録音手段に録音された複数の音声を選択して再生するよう、前記再生手段を制御する付記１０に記載の録音装置。
（付記１２）
　前記録音装置は、ペン型の文房具の形状を有する付記１乃至１１のいずれか１項に記載の録音装置。
（付記１３）
　音声を録音し、
　録音された前記音声を索引するインデックスを生成するための、筆記具で記載された点画像をインデックス生成用撮像手段で撮像し、
　前記点画像から点特徴量を抽出して点識別子とし
　録音中に、録音された前記音声に、前記点識別子をインデックスとして付与する、
　ことをコンピュータに実行させる録音制御プログラム。
（付記１４）
　動画を録画する録画手段と、
　録画された前記動画を索引するインデックスとなる画像を撮像するためのインデックス生成用撮像手段と、
　録画中に、録画された前記動画に、撮像された前記画像をインデックスとして付与するインデックス付与手段と、
　を備える録画装置。
（付記１５）
　録音された音声または録画された動画を記録する記録手段と、
　録音された前記音声または録画された前記動画を索引するインデックスとなる第１画像を撮像するインデックス生成用撮像手段と、
　録音中に録音された前記音声に、または、録画中に録画された前記動画に、撮像された前記第１画像をインデックスとして付与するインデックス付与手段と、
　前記記録手段に記録された音声または動画を再生する再生手段と、
　再生時に、前記インデックス生成用撮像手段で撮像された第２画像を再生開始のインデックスとして取得する取得手段と、
　前記第２画像と前記第１画像とを照合する照合手段と、
　前記照合手段の照合結果から、前記第２画像と前記第１画像とが一致する場合、前記第１画像をインデックスとして、前記記録手段に記録された音声または動画から再生するよう、前記再生手段を制御する再生制御手段と、
　を備える記録再生システム。
（付記１６）
　録音された音声または録画された動画を記録手段に記録し、
　録音された前記音声または録画された前記動画を索引するインデックスとなる第１画像を、インデックス生成用撮像手段で撮像し、
　録音中に録音された前記音声に、または録画中に録画された動画に、撮像された前記第１画像をインデックスとして付与し、
　再生時に、前記インデックス生成用撮像手段で撮像された第２画像を再生開始のインデックスとして取得し、
　前記第２画像と前記第１画像とを照合し、
　照合結果から、前記第２画像と前記第１画像とが一致する場合、前記第１画像をインデックスとして、前記記録手段に記録された音声または動画から再生する、
　記録再生方法。
（付記１７）
　記録時に、録音中の音声または録画中の動画と、録音中の前記音声または録画中の前記動画を索引するインデックスとなる第１画像とを受信する第１受信手段と、
　受信された前記音声または動画を記録する記録手段と、
　受信された前記音声または動画に、受信された前記第１画像をインデックスとして付与するインデックス付与手段と、
　前記記録手段に記録された音声または動画を再生する再生手段と、
　再生時に、再生開始のインデックスとして第２画像を受信する第２受信手段と、
　前記第２画像と前記第１画像とを照合する照合手段と、
　前記照合手段の照合結果から、前記第２画像と前記第１画像とが一致する場合、前記第１画像をインデックスとして、前記記録手段に記録された音声または動画から再生するよう、前記再生手段を制御する再生制御手段と、
　を備える情報処理装置。
（付記１８）
　記録時に、録音中の音声または録画中の動画と、録音中の前記音声または録画中の前記動画を索引するインデックスとなる第１画像とを受信し、
　受信された前記音声または動画を記録手段に記録し、
　受信された前記音声または動画に、受信された前記第１画像をインデックスとして付与し、
　再生時に、再生開始のインデックスとして第２画像を受信し、
　前記第２画像と前記第１画像とを照合し、
　照合結果から、前記第２画像と前記第１画像とが一致する場合、前記第１画像をインデックスとして、前記記録手段に記録された音声または動画から再生する、
　ことをコンピュータに実行させる情報処理方法。
　この出願は、２０１７年９月２８日に出願された日本出願特願２０１７－１８７４９２を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (18)

  1. 　音声を録音する録音手段と、
    　録音された前記音声を索引するインデックスとなる画像を撮像するためのインデックス生成用撮像手段と、
    　録音中に、録音された前記音声に、撮像された前記画像をインデックスとして付与するインデックス付与手段と、
    　を備える録音装置。
  2. 　前記画像は、筆記具で記載された点画像である請求項１に記載の録音装置。
  3. 　さらに、点を記載する点記載手段を備える請求項１または２に記載の録音装置。
  4. 　さらに、前記点記載手段による前記点の記載処理と前記インデックス生成用撮像手段による前記点の撮像とを連動する連動手段を備える請求項２または３に記載の録音装置。
  5. 　さらに、前記点画像から点特徴量を抽出して点識別子とする点識別子抽出手段を備え、
    　前記インデックス付与手段は、録音中の前記音声に対して、撮像された前記点画像の点識別子をインデックスとして付与する請求項２乃至４のいずれか１項に記載の録音装置。
  6. 　前記インデックス付与手段は、録音中の前記音声に対して、前記画像が撮影された時刻と対応する位置に前記インデックスを付与する請求項１乃至５のいずれか１項に記載の録音装置。
  7. 　前記録音手段に録音された音声を再生する再生手段と、
    　再生時に、前記インデックス生成用撮像手段で撮像された画像を再生開始のインデックスとして取得する取得手段と、
    　前記取得手段により取得された画像と前記インデックス付与手段により付与された画像とを照合する照合手段と、
    　前記照合手段の照合結果から、前記取得手段により取得された画像と前記インデックス付与手段により付与された画像とが一致する場合、前記インデックス付与手段により付与された画像をインデックスとして、前記録音手段に録音された音声から再生するよう、前記再生手段を制御する再生制御手段と、
    　をさらに備える請求項１乃至６のいずれか１項に記載の録音装置。
  8. 　前記録音装置は、ペン型の文房具の形状を有する請求項１乃至７のいずれか１項に記載の録音装置。
  9. 　音声を録音し、
    　録音された前記音声を索引するインデックスとなる、筆記具で記載された点画像をインデックス生成用撮像手段で撮像し、
    　前記点画像から点特徴量を抽出して点識別子とし
    　録音中に、録音された前記音声に、前記点識別子をインデックスとして付与する
    　ことをコンピュータに実行させる録音制御プログラムを格納した記録媒体。
  10. 　動画を録画する録画手段と、
    　録画された前記動画を索引するインデックスとなる画像を撮像するためのインデックス生成用撮像手段と、
    　録画中に、録音された前記動画に、撮像された前記画像をインデックスとして付与するインデックス付与手段と、
    　を備える録画装置。
  11. 　録音された音声または録画された動画を記録する記録手段と、
    　録音された前記音声または録画された前記動画を索引するインデックスとなる第１画像を撮像するインデックス生成用撮像手段と、
    　録音中に録音された前記音声に、または、録画中に録画された前記動画に、撮像された前記第１画像をインデックスとして付与するインデックス付与手段と、
    　前記記録手段に記録された音声または動画を再生する再生手段と、
    　再生時に、前記インデックス生成用撮像手段で撮像された第２画像を再生開始のインデックスとして取得する取得手段と、
    　前記第２画像と前記第１画像とを照合する照合手段と、
    　前記照合手段の照合結果から、前記第２画像と前記第１画像とが一致する場合、前記第１画像をインデックスとして、前記記録手段に記録された音声または動画から再生するよう、前記再生手段を制御する再生制御手段と、
    　を備える記録再生システム。
  12. 　録音された音声または録画された動画を記録手段に記録し、
    　録音された前記音声または録画された前記動画を索引するインデックスとなる第１画像を、インデックス生成用撮像手段で撮像し、
    　録音中に録音された前記音声に、または録画中に録画された前記動画に、撮像された前記第１画像をインデックスとして付与し、
    　再生時に、前記インデックス生成用撮像手段で撮像された第２画像を再生開始のインデックスとして取得し、
    　前記第２画像と前記第１画像とを照合し、
    　照合結果から、前記第２画像と前記第１画像とが一致する場合、前記第１画像をインデックスとして、前記記録手段に記録された音声または動画から再生する、
    　記録再生方法。
  13. 　前記インデックス付与手段は、録音中の前記音声の録音位置を前記画像からポイントするように、前記インデックスを付与する請求項１乃至５のいずれか１項に記載の録音装置。
  14. 　通信端末と接続可能なインタフェース手段と、
    　前記録音手段に録音された音声と前記インデックス付与手段により付与された画像とを、前記インタフェース手段を介して前記通信端末に出力する出力手段と、
    　をさらに備える請求項１乃至６、および、請求項１３のいずれか１項に記載の録音装置。
  15. 　前記録音手段に録音された音声と前記インデックス付与手段により付与された画像とを対応付けて、前記画像により前記音声にインデックス付与する情報処理装置に送信する送信手段をさらに備える請求項１乃至６、および、請求項１３のいずれか１項に記載の録音装置。
  16. 　前記再生制御手段は、前記取得手段により取得された画像と一致する前記インデックス付与手段により付与された画像が複数ある場合、複数の前記画像をインデックスとして、前記録音手段に録音された複数の音声を選択して再生するよう、前記再生手段を制御する請求項７に記載の録音装置。
  17. 　記録時に、録音中の音声または録画中の動画と、録音中の前記音声または録画中の前記動画を索引するインデックスとなる第１画像とを受信する第１受信手段と、
    　受信された前記音声または動画を記録する記録手段と、
    　受信された前記音声または動画に、受信された前記第１画像をインデックスとして付与するインデックス付与手段と、
    　前記記録手段に記録された音声または動画を再生する再生手段と、
    　再生時に、再生開始のインデックスとして第２画像を受信する第２受信手段と、
    　前記第２画像と前記第１画像とを照合する照合手段と、
    　前記照合手段の照合結果から、前記第２画像と前記第１画像とが一致する場合、前記第１画像をインデックスとして、前記記録手段に記録された音声または動画から再生するよう、前記再生手段を制御する再生制御手段と、
    　を備える情報処理装置。
  18. 　記録時に、録音中の音声または録画中の動画と、録音中の前記音声または録画中の前記動画を索引するインデックスとなる第１画像とを受信する第１受信ステップと、
    　受信された前記音声または動画を記録手段に記録する記録ステップと、
    　受信された前記音声または動画に、受信された前記第１画像をインデックスとして付与するインデックス付与ステップと、
    　再生時に、再生開始のインデックスとして第２画像を受信する第２受信ステップと、
    　前記第２画像と前記第１画像とを照合する照合ステップと、
    　前記照合ステップにおける照合結果から、前記第２画像と前記第１画像とが一致する場合、前記第１画像をインデックスとして、前記記録手段に記録された音声または動画から再生する再生ステップと、
    　をコンピュータに実行させる情報処理方法。
PCT/JP2018/034357 2017-09-28 2018-09-18 録音再生システム、録音再生方法、録音装置、記録媒体および録画装置 WO2019065345A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/651,776 US11403834B2 (en) 2017-09-28 2018-09-18 Sound recording device, recording medium, and image recording device
JP2019544973A JP7095703B2 (ja) 2017-09-28 2018-09-18 録音装置、録音制御プログラムおよび録画装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-187492 2017-09-28
JP2017187492 2017-09-28

Publications (1)

Publication Number Publication Date
WO2019065345A1 true WO2019065345A1 (ja) 2019-04-04

Family

ID=65903341

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/034357 WO2019065345A1 (ja) 2017-09-28 2018-09-18 録音再生システム、録音再生方法、録音装置、記録媒体および録画装置

Country Status (3)

Country Link
US (1) US11403834B2 (ja)
JP (1) JP7095703B2 (ja)
WO (1) WO2019065345A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06176079A (ja) * 1992-12-07 1994-06-24 Hitachi Ltd 画像参照装置
US6229964B1 (en) * 1998-02-26 2001-05-08 Eastman Kodak Company Image with sound playback apparatus
JP2004080750A (ja) * 2002-06-19 2004-03-11 Microsoft Corp ホワイトボードおよび音声のキャプチャのためのシステムおよび方法
JP2008048204A (ja) * 2006-08-17 2008-02-28 Fuji Xerox Co Ltd 情報処理装置、情報処理システム及び情報処理プログラム
JP2011197477A (ja) * 2010-03-19 2011-10-06 Sony Corp 情報処理装置、情報処理方法、およびプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004112372A (ja) * 2002-09-19 2004-04-08 Fuji Xerox Co Ltd 画像処理システム
JP2010008938A (ja) 2008-06-30 2010-01-14 Casio Comput Co Ltd ボイスレコーダー、及び音声録音方法
JP5489118B2 (ja) * 2010-01-28 2014-05-14 健治 吉田 入出力装置、情報入出力システム
WO2011093456A1 (ja) 2010-01-29 2011-08-04 株式会社大真空 圧電振動デバイス、およびその製造方法
JP6128146B2 (ja) 2015-02-24 2017-05-17 カシオ計算機株式会社 音声検索装置、音声検索方法及びプログラム
WO2017038432A1 (ja) 2015-08-31 2017-03-09 日本電気株式会社 個体識別装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06176079A (ja) * 1992-12-07 1994-06-24 Hitachi Ltd 画像参照装置
US6229964B1 (en) * 1998-02-26 2001-05-08 Eastman Kodak Company Image with sound playback apparatus
JP2004080750A (ja) * 2002-06-19 2004-03-11 Microsoft Corp ホワイトボードおよび音声のキャプチャのためのシステムおよび方法
JP2008048204A (ja) * 2006-08-17 2008-02-28 Fuji Xerox Co Ltd 情報処理装置、情報処理システム及び情報処理プログラム
JP2011197477A (ja) * 2010-03-19 2011-10-06 Sony Corp 情報処理装置、情報処理方法、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KAJITA, SATOSHI ET AL: "Prototype email system with scenario control", TECHNICAL REPORT OF THE INSTITUTE OF IMAGE INFORMATION AND TELEVISION ENGINEERS, vol. 21, no. 9, 12 February 1997 (1997-02-12), pages 7 - 14 *

Also Published As

Publication number Publication date
JPWO2019065345A1 (ja) 2020-11-19
US20200257189A1 (en) 2020-08-13
JP7095703B2 (ja) 2022-07-05
US11403834B2 (en) 2022-08-02

Similar Documents

Publication Publication Date Title
CN107885430B (zh) 一种音频播放方法、装置、存储介质及电子设备
CN101753823B (zh) 自动标记图像的装置及其方法
TW200828085A (en) Video-based biometric signature data collecting method and apparatus
CN110505498B (zh) 视频的处理、播放方法、装置及计算机可读介质
CN106649629B (zh) 一种关联书本与电子资源的系统
CN106874443A (zh) 基于视频文本信息提取的信息查询方法以及装置
JP2008123265A (ja) アイデア抽出支援システム及び方法
CN108305512A (zh) 一种课堂电子笔记记录系统及方法
JP4660537B2 (ja) 情報管理システム及び書類情報管理方法
KR100905705B1 (ko) 디지털 펜과 디지털 페이퍼를 이용한 전자노트 서비스를제공하는 방법, 시스템 및 프로그램을 기록한 컴퓨터로읽을 수 있는 기록매체
CN108121987B (zh) 一种信息处理方法和电子设备
CN111695372B (zh) 点读方法及点读数据处理方法
JP7095703B2 (ja) 録音装置、録音制御プログラムおよび録画装置
JP2010154089A (ja) 会議システム
CN101334990B (zh) 信息显示设备和信息显示方法
US9836799B2 (en) Service provision program
KR101477642B1 (ko) 오프라인 노트를 이용한 전자책 서비스 방법
CN109600529A (zh) 图像处理装置、控制方法和存储介质
JP2006135664A (ja) 画像処理装置及びプログラム
TWI684964B (zh) 知識點標記生成系統及其方法
KR20170101871A (ko) 전자펜 및 전자펜의 콘텐츠 이식 방법
JP2019046310A (ja) 情報処理システム、端末装置、情報処理方法及び情報処理プログラム
Uchiyama et al. On-line document registering and retrieving system for AR annotation overlay
CN110929709A (zh) 基于oid点读内容转换为绘本指读内容的方法及装置
CN111611203B (zh) 电子装置及手写板系统

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2019544973

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18863436

Country of ref document: EP

Kind code of ref document: A1