WO2011071081A1 - 非可視化情報埋込装置、非可視化情報認識装置、非可視化情報埋込方法、非可視化情報認識方法、及び記録媒体 - Google Patents

非可視化情報埋込装置、非可視化情報認識装置、非可視化情報埋込方法、非可視化情報認識方法、及び記録媒体 Download PDF

Info

Publication number
WO2011071081A1
WO2011071081A1 PCT/JP2010/072039 JP2010072039W WO2011071081A1 WO 2011071081 A1 WO2011071081 A1 WO 2011071081A1 JP 2010072039 W JP2010072039 W JP 2010072039W WO 2011071081 A1 WO2011071081 A1 WO 2011071081A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
image
visualization
embedding
invisible
Prior art date
Application number
PCT/JP2010/072039
Other languages
English (en)
French (fr)
Inventor
直人 羽生
寛 福井
健一 佐久間
隆国 道関
一真 北村
Original Assignee
株式会社資生堂
学校法人立命館
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社資生堂, 学校法人立命館 filed Critical 株式会社資生堂
Priority to US13/514,108 priority Critical patent/US8891815B2/en
Priority to EP10836001.7A priority patent/EP2512115B1/en
Priority to CN2010800555503A priority patent/CN102648623A/zh
Priority to KR1020127014595A priority patent/KR101285648B1/ko
Publication of WO2011071081A1 publication Critical patent/WO2011071081A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32203—Spatial or amplitude domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32203—Spatial or amplitude domain methods
    • H04N1/32229—Spatial or amplitude domain methods with selective or adaptive application of the additional information, e.g. in selected regions of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0051—Embedding of the watermark in the spatial domain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0065—Extraction of an embedded watermark; Reliable detection

Definitions

  • the present invention relates to a non-visualization information embedding device, a non-visualization information recognition device, a non-visualization information embedding method, and a non-visualization information recognition for providing a highly accurate image with excellent added value by efficiently acquiring information.
  • the present invention relates to a method and a recording medium.
  • a card with a pattern or the like is photographed, and a MIDI (Musical Instrument Digital Interface) signal for controlling a musical instrument is output based on the card type and three-dimensional position information detected from the photographed camera image.
  • a technique for outputting a video is known (see, for example, Patent Document 1).
  • Non-Patent Document 1 there is a system tool that recognizes a graphic on a paper medium with a camera and displays a virtual graphic on a display of a personal computer (for example, see Non-Patent Document 1).
  • a target image having identification information corresponding to a predetermined image pattern is acquired, the identification information is recognized from the acquired target images, and the identification information recognized from a plurality of pre-registered processes is obtained.
  • the corresponding predetermined process is executed, the target image is displayed in the predetermined display area, the position information of two or more predetermined positions in the displayed target image is acquired, and the two or more acquired positions
  • An image processing technique for drawing an image corresponding to recognized identification information in a direction and a position based on the position information is known (see, for example, Patent Document 2).
  • Non-Patent Document 1 In the virtual graphic display system shown in Non-Patent Document 1, once a virtual graphic is displayed, it is difficult to change the graphic. That is, the figure cannot be changed according to the external environmental change. Furthermore, in the prior art, since the image to be displayed is displayed based on the position of the card or the like including the identification information, there is a limitation in the display method, and for example, it is not possible to display a 3D video or the like. .
  • the present invention has been made in view of the above-described problems, and provides a non-visualized information embedding device and a non-visualized information recognition for providing a highly accurate image with excellent added value by efficiently acquiring information.
  • An object is to provide a device, a non-visualized information embedding method, a non-visualized information recognition method, and a recording medium.
  • a non-visualization information embedding device is a non-visualization information embedding device that embeds non-visualization information at a predetermined position of an acquired image, and includes object information included in the image.
  • image analysis means for acquiring position information, embedding target image determination means for determining whether the image is an image to be embedded from object information obtained by the image analysis means, and the embedding target image determination means
  • image synthesizing means for synthesizing the non-visualization information with the image based on the determination result obtained by the above.
  • the invisible information recognition apparatus is an invisible information recognition apparatus that recognizes invisible information included in an acquired image, and extracts the invisible information from the image.
  • a non-visualized information extracting unit that analyzes additional information of an object included in the image obtained from the non-visualized information when the non-visualized information is extracted by the non-visualized information extracting unit.
  • display information generating means for generating display information to be displayed on the screen from the additional information obtained by the invisible information analyzing means.
  • non-visualized information is displayed on the entire image by processing that cannot be recognized by the naked eye on images and videos displayed on a screen, or various print media such as paper, postcards, posters, and cards.
  • a part of the image, video, print medium, etc. is photographed with a photographing device such as a digital camera or a camera provided in a portable terminal, and the photographed image or video is transferred to a personal computer or mobile phone.
  • the embedded marker is recognized by capturing the image in a terminal or the like and processing the image using a filter or the like.
  • the present invention enables marker recognition that combines image processing with a marker embedding method that enables recognition of an embedded marker even in a model with limited capacity and performance such as a portable terminal. Further, according to the present invention, value-added information corresponding to an image, video, or the like that has been recognized and captured from the marker information is acquired.
  • the “image” described in the present embodiment includes one image such as a photograph and an image of continuous frames in a video.
  • FIG. 1 shows an example of a functional configuration of a non-visualized information embedding device according to the present embodiment.
  • the invisible information embedding device 10 shown in FIG. 1 includes an input unit 11, an output unit 12, a storage unit 13, an image acquisition unit 14, an image analysis unit 15, an embedding target image determination unit 16, and a non-display unit.
  • Visualization information setting means 17, non-visualization information generation means 18, image composition means 19, transmission / reception means 20, and control means 21 are configured.
  • the input means 11 starts / starts various instructions such as an image acquisition instruction from the user, an image analysis instruction, an embedding target image determination instruction, an embedding information setting instruction, an embedding information generation instruction, an image composition instruction, and a transmission / reception instruction. Accepts input such as end.
  • the input unit 11 includes a pointing device such as a keyboard and a mouse if the computer is a general-purpose computer such as a personal computer, and includes a group of operation buttons if the terminal is a portable terminal.
  • the input unit 11 also has a function of inputting an image or video captured by an imaging unit such as a digital camera. Note that the above-described imaging unit may be provided in the invisible information recognition device 30 or may have an external functional configuration.
  • the output unit 12 outputs the content input by the input unit 11 and the content executed based on the input content.
  • the output unit 12 includes the acquired image, the image analysis result, the embedding target image determination result, the set non-visualization information, the generated non-visualization information, the synthesized image obtained by synthesizing the non-visualization information, Screen display of results of processing in each configuration, audio output, and the like are performed.
  • the output unit 12 includes a display, a speaker, and the like.
  • the output unit 12 may have a printing function such as a printer, and the above-described output contents may be printed on various printing media such as paper, postcards, posters, etc., and provided to the user or the like. it can.
  • the accumulating unit 13 accumulates various information required in the present embodiment and various data at the time of execution or after execution of the embedding process. Specifically, the storage unit 13 acquires one or a plurality of images or videos obtained by input or image capturing acquired by the image acquisition unit 14 stored in advance. Further, the storage unit 13 includes a result analyzed by the image analysis unit 15, a determination result by the embedding target image determination unit 16, a setting content by the non-visualization information setting unit 17, and an embedding generated by the non-visualization information generation unit 18. Embedded information, images synthesized by the image synthesizing means 19, and the like are stored. Further, the storage means 13 can read out various data stored as required.
  • the image acquisition unit 14 acquires an image, a video, or the like that is a target for embedding information.
  • the images, videos, and the like may be images, videos, and the like obtained by imaging means such as a camera, for example, and may be target images that are applied to posters, photos, cards, stickers, and the like.
  • the image acquisition unit 14 can also acquire information and images stored in an external device connected to the communication network via the transmission / reception unit 20 and images and videos stored in a database. You may use the image which the user etc. actually image
  • the image analysis unit 15 analyzes the image acquired by the image acquisition unit 14 and analyzes the contents included in the image. Specifically, an object consisting of object information, coordinates, etc., such as what part (position, region) in the image is projected, how the object is moving in the video, etc. Get location information. For example, when the object is a person, the image analysis unit 15 may detect the face from the feature portion of the face, or may digitize the feature value of the face and specify the person based on the result.
  • the embedding target image determination unit 16 determines whether or not the object displayed in the image is a target for embedding preset invisible information based on the result analyzed by the image analysis unit 15. Whether or not the object is information for embedding the invisible information in the embedding target image determination means 16 is determined by embedding determination information set in advance by a user or the like and stored in the storage means 13 or the like. It may be determined by the embedded determination information, or it is searched whether additional information for the object is stored in the storage means 13, and if the additional information is stored, it is determined that the object is an embedding target object. May be.
  • the embedding target image determination unit 16 stores additional information about the personal computer. 13 is determined, and if there is additional information related to a personal computer, the personal computer can be determined as an embedding target image.
  • the contents to be embedded can be set, for example, by the non-visualization information setting unit 17 or the like. The set contents are stored in the storage means 13.
  • the embedding target image determining means 16 outputs each object as an embedding target.
  • all the objects may be set as an embedding target, or at least one object may be set as an embedding target. In this case, it is possible to arbitrarily set the object according to the priority set in advance, the position of the display area with respect to the entire screen of the object, and the time during which the object is displayed if the image is displayed.
  • the embedded detailed information is also stored in the storage means 13.
  • the non-visualization information setting means 17 sets the specific information content to be embedded as additional information based on the object information. For example, if the object information is a wallet, clothes, etc., set its brand name, product name, price, homepage address, etc. If the object information is a person, the person's name, age, gender, Height, hobby, career, etc. are set, and if the object information is a book, the title, author, publication date, price, information about the author, etc. are set. Note that the additional information set by the invisible information setting unit 17 includes video, images, and the like.
  • the non-visualization information setting means 17 sets in what form information is added.
  • the additional information is a specific encrypted character, or is a pattern, a symbol, code information, or a display size.
  • code information or the like it is preferable that a correspondence database is provided so that information on the code can be acquired on the non-visualized information recognition apparatus side. As described above, since it can be set from a plurality of forms, appropriate embedding information can be selected and set according to the content of the image to be embedded.
  • the non-visualization information generating means 18 generates an image to be embedded in the embedding target image.
  • the non-visualization information generation means 18 may generate directly as character information or code information.
  • code information for example, a two-dimensional barcode such as a QR code can be used.
  • the code information is not limited to the QR code, and for example, JAN code, ITF code, NW-7, CODE39, CODE128, UPC, PDF417, CODE49, Data Matrix, Maxi Code, etc. are used. You can also
  • the non-visualized information generating means 18 uses the low frequency part based on the color information of the original image to make the information to be embedded difficult to see the embedded information with respect to the image actually provided to the user.
  • An image using the high frequency part or an image using only the low frequency part or only the high frequency part is generated.
  • the low-frequency part indicates a part or region whose brightness is lower than that of the original image where the invisible information is embedded
  • the high-frequency part is a brightness that is higher than that of the original image. The part or area
  • the embedded information corresponding to the object is embedded, for example, on or around the position of the object displayed in the image.
  • the embedded image is synthesized with the target image based on the object position information obtained by the image analysis means 15. That is, according to the present embodiment, it is possible to embed a plurality of non-visualized information in an appropriate place, instead of assigning one embedding information to the entire image.
  • the image synthesizing unit 19 generates the non-visualization information generated by the non-visualization information generation unit 18 based on the image obtained by the image analysis unit 15 and the object position information including the object information and coordinate information of the image. Is embedded at a predetermined position to synthesize an image.
  • the image synthesis means 19 can move following the movement of the object in the video being played, and the invisible information can be embedded on the object. . That is, the image synthesizing unit 19 can perform the synthesizing process on the captured image every time the synthesis target image is input, and sequentially display the synthesized image.
  • the transmission / reception means 20 obtains a desired external image (captured image, composite image, etc.), an execution program for realizing the invisible information embedding process in the present invention, from an external device connectable using a communication network or the like. It is an interface to do.
  • the transmission / reception means 20 can transmit various information generated in the non-visualization information embedding device 10 to an external device.
  • the control means 21 controls the entire components of the invisible information embedding device 10. Specifically, the control unit 21 acquires an image, analyzes an image, determines whether the image is an embedding target image, sets non-visualization information, and the like based on an instruction from the input unit 11 by a user or the like, for example. Each control of each process such as setting and image composition is performed.
  • the invisible information in the invisible information setting unit 17 and the invisible information in the invisible information generating unit 18 may be set and generated in advance and accumulated in the accumulating unit 13.
  • FIG. 2 shows an example of a functional configuration of the non-visualized information recognition apparatus in the present embodiment.
  • the invisible information recognition apparatus 30 shown in FIG. 2 includes an input means 31, an output means 32, an accumulation means 33, an embedded image acquisition means 34, an invisible information extraction means 35, and an invisible information analysis means 36.
  • the display information generating unit 37, the transmitting / receiving unit 38, and the control unit 39 are included.
  • the input means 31 accepts inputs such as start / end of various instructions such as an embedded image acquisition instruction, a non-visualization information extraction instruction, a non-visualization information analysis instruction, a display information generation instruction, and a transmission / reception instruction from a user or the like.
  • the input means 31 includes a pointing device such as a keyboard and a mouse for a general-purpose computer such as a personal computer, and includes a group of operation buttons for a portable terminal or the like.
  • the input unit 31 also has a function of inputting an image or video taken by an imaging unit such as a digital camera. Note that the above-described imaging unit may be provided in the invisible information recognition device 30 or may have an external functional configuration.
  • the input means 31 can acquire an embedded image from a print medium such as paper, a postcard, a poster, a photograph, or a card.
  • a print medium such as paper, a postcard, a poster, a photograph, or a card.
  • an image capturing unit such as a camera and a function of reading data using a scanner function or the like are provided.
  • the output means 32 outputs the contents input by the input means 31 and the contents executed based on the input contents. Specifically, the output unit 32 outputs additional information for an object displayed on an image or video obtained by the display information generation unit 37. Note that the output unit 32 includes a display, a speaker, and the like.
  • the output unit 32 may have a printing function such as a printer, and prints each output content such as additional information on the above-described object on various print media such as paper and provides it to the user or the like. You can also.
  • the accumulating unit 33 accumulates various information required in the present embodiment and various data at the time of execution of the invisible information recognition process or after execution. Specifically, the accumulating unit 33 includes the embedded image acquired by the embedded image acquiring unit 34, the non-visualized information (marker) acquired by the non-visualized information extracting unit 35, and the non-visualized information analyzed by the non-visualized information analyzing unit 36. Visualization information, display contents generated by the display information generation means 37, and the like are accumulated.
  • the storage means 33 can store related information for the data analyzed by the non-visualized information analysis means 36. For example, when there is code information (including a character code, a two-dimensional code, etc.), etc., there is various data corresponding to the code information (for example, detailed information (characters for the object corresponding to the code information) , Video, image, audio, etc.), the size, color, time, position, operation content, etc.) when data is displayed on the screen are stored in the storage means 33. In addition, the storage unit 33 can read various data stored when a code or the like is acquired or when necessary.
  • code information including a character code, a two-dimensional code, etc.
  • various data corresponding to the code information for example, detailed information (characters for the object corresponding to the code information)
  • the storage unit 33 can read various data stored when a code or the like is acquired or when necessary.
  • the embedded image acquisition unit 34 acquires an embedded image from an external device connected to the communication network via the storage unit 33 and the transmission / reception unit 38.
  • the embedded image includes a video.
  • the invisible information extracting means 35 extracts invisible information included in the extracted embedded image. Specifically, the non-visualization information extraction unit 35 performs filtering at a predetermined frequency on the input embedded image, and acquires the non-visualization information embedded in the image. Note that if there is a plurality of invisible information in the image, all the invisible information is extracted.
  • non-visualization information extraction means 35 also acquires non-visualization information extraction position information indicating from which position the non-visualization information is extracted.
  • the invisible information extraction unit 35 causes the storage unit 33 to store the acquired various types of information.
  • the non-visualized information analyzing unit 36 analyzes what value-added data is actually included in the non-visualized information obtained by the non-visualized information extracting unit 35.
  • the invisible information analyzing means 36 in this embodiment has a reading function such as a barcode reader for reading a barcode.
  • the invisible information is a two-dimensional barcode
  • the two-dimensional information is analyzed.
  • Information is acquired from the barcode using a reading function or the like, and the acquired content (for example, code ID) is used as a key to be connected in advance to the communication network via the storage means 33 and the transmission / reception means 38 If there is additional information corresponding to the key as a result of searching an external device such as a server or a database, the information is acquired.
  • the display information generating unit 37 generates display information for displaying the result obtained by the non-visualized information analyzing unit 36 on the screen.
  • the display method may be described by providing another frame (another window) on the screen, may be displayed on the position where the corresponding object is displayed, or may be output by voice.
  • the display information generating unit 37 may visualize and display the acquired invisible information as it is, acquire additional information corresponding to the invisible information from the storage unit 33 or an external device, and the acquired additional information. Information may be displayed.
  • the display information generating unit 37 displays the screen set for each additional information acquired from the storage unit 33 based on the code ID and the like. Display information to be displayed is generated based on the display size, color, time, position, operation content, and the like.
  • the target object When the target object is moving as an image, it may be displayed following the position of the object, or may be displayed fixed at the position initially displayed on the screen.
  • the transmission / reception means 38 is an interface for acquiring a desired external image (captured image, etc.) from an external device connectable using a communication network or the like, an execution program for realizing the invisible information recognition processing in the present invention, and the like. It is. Further, the transmission / reception means 38 can transmit various types of information generated in the invisible information recognition device 30 to an external device.
  • the control means 39 controls the entire components of the invisible information recognition device 30. Specifically, the control means 39, for example, based on an instruction from the input means 31 by a user or the like, each of acquisition of an embedded image, extraction of non-visualization information, analysis of non-visualization information, generation of display information, etc. Each control of processing is performed.
  • the invisible information analyzing means 36 communicates via the storage means 33 or the transmitting / receiving means 38 using the code ID or the like as a key. It searches for external devices such as a preset server and database connected to the network, and acquires corresponding additional information.
  • the storage unit 33 is searched using the code ID acquired from the invisible information as a key, and the result obtained by the search is obtained. get.
  • the invisible information recognition device 30 is a “network type” connected to an external device via a communication network
  • the external device is accessed using the code ID acquired from the invisible information as a key, and is stored in the external device.
  • Information corresponding to the code ID is searched from a certain data group, and the corresponding additional information is acquired from the external device.
  • the non-visualized information embedding device 10 and the non-visualized information recognition device 30 generate an execution program (non-visualization information embedding program, non-visualization information recognition program) capable of causing a computer to execute each function, and a CD-ROM.
  • an execution program non-visualization information embedding program, non-visualization information recognition program
  • the invisible information embedding process and the invisible information recognizing process in the present invention can be realized by installing the execution program in a general-purpose personal computer, a server, or the like.
  • FIG. 3 shows an example of a hardware configuration capable of realizing the invisible information embedding process and the invisible information recognition process in the present embodiment.
  • the input device 41 has a pointing device such as a keyboard and a mouse operated by a user or the like, and inputs various operation signals such as execution of a program from the user or the like.
  • the input device 41 includes an image input unit that inputs an image taken from an imaging unit such as a camera.
  • the output device 42 has a display for displaying various windows and data necessary for operating the computer main body for performing processing according to the present invention, and displays the program execution progress, results, and the like by the control program of the CPU 46. can do.
  • the execution program installed in the computer main body in the present invention is provided by a portable recording medium 48 such as a USB memory or a CD-ROM.
  • the recording medium 48 on which the program is recorded can be set in the drive device 43, and the execution program included in the recording medium 48 is installed in the auxiliary storage device 44 from the recording medium 48 via the drive device 43.
  • the auxiliary storage device 44 is a storage means such as a hard disk, and can store an execution program in the present invention, a control program provided in a computer, and the like, and can perform input / output as necessary.
  • the memory device 45 stores an execution program read from the auxiliary storage device 44 by the CPU 46.
  • the memory device 45 includes a ROM (Read Only Memory), a RAM (Random Access Memory), and the like.
  • the CPU 46 controls processing of the entire computer, such as various operations and input / output of data with each hardware component, based on a control program such as an OS (Operating System) and an execution program stored in the memory device 45.
  • a control program such as an OS (Operating System) and an execution program stored in the memory device 45.
  • OS Operating System
  • execution program stored in the memory device 45.
  • the network connection device 47 obtains an execution program from another terminal connected to the communication network by connecting to a communication network or the like, or the execution result obtained by executing the program or the execution in the present invention
  • the program itself can be provided to other terminals.
  • the invisible information embedding process and the invisible information recognition process in the present invention can be executed. Further, by installing the program, the non-visualized information embedding process and the non-visualized information recognition process in the present invention can be easily realized by a general-purpose personal computer or the like.
  • FIG. 4 is a flowchart showing an example of the non-visualized information embedding processing procedure in the present embodiment.
  • an image taken by an imaging means such as a camera is acquired (S01), the image is analyzed (S02), and object information and object position information included in the image are obtained. Etc.
  • the image to be embedded is determined based on the information obtained in the process of S02 (S03), and it is determined whether or not the invisible information (marker) is embedded in the object (S04).
  • the invisible information is embedded (YES in S04)
  • the invisible information is set (S05), and the invisible information to be combined with the image is generated based on the invisible information set by the process of S05. (S06).
  • the invisible information generated in the process of S06 is synthesized at a predetermined position of the image (S07), and the synthesized image is displayed or output as output data by output means such as a display (S08).
  • FIG. 5 is a flowchart showing an example of the non-visualized information recognition processing procedure in the present embodiment.
  • an embedded image is acquired (S11), and the invisible information is extracted from the acquired image (S12).
  • the invisible information is extracted from the image (S13).
  • the invisible information is analyzed (S14).
  • display information to be displayed on the screen or the like is generated from the information obtained from the analysis result of the invisible information (S15), and the generated content is displayed (S16).
  • the process determines whether or not the invisible information is recognized from another image (S17).
  • the process returns to S11 and the subsequent processing is repeatedly executed. To do. Further, in the process of S17, when the invisible information is not recognized from another image (NO in S17), the invisible information recognition process is terminated.
  • the above-described processing can provide highly accurate images with excellent added value by acquiring efficient information. Further, by installing the program, the non-visualized information embedding process in the present invention can be easily realized by a general-purpose personal computer or the like.
  • the non-visualization information in this embodiment will be specifically described.
  • the invisible information letters, numbers, symbols, marks, patterns, colors, one-dimensional codes, two-dimensional codes, and the like can be used.
  • a description will be given using a two-dimensional code as an example.
  • FIG. 6 shows an example of an image.
  • a book 52, a wallet 53, a notebook computer 54, and a wristwatch 55 are placed on a desk 51.
  • the image analysis means 15 acquires these object information included in the image and their position information.
  • the embedding target image determination unit 16 has related information on the wallet 53, the notebook computer 54, and the wristwatch 55 and generates invisible information. Note that the user or the like may arbitrarily determine whether to generate the invisible information and what kind of object information to generate.
  • the non-visualized information 56-1 to 56-3 consisting of a two-dimensional code in a predetermined area on or around the position where the wallet 53, the notebook computer 54, and the wristwatch 55 are displayed. Are combined by superposition to generate a composite image.
  • FIG. 7 shows an example of the non-visualization information.
  • FIG. 7 shows two types of invisible information 60-1 and 60-2 using a two-dimensional code.
  • the invisible information 60-1 shown in FIG. 7 has a low frequency layer 61-1 in the outermost frame, a high frequency layer 62-1 inside, and a code portion 63-1 inside. It is configured.
  • the code is embedded in the entire image. Is surrounded by the low-frequency layer 61-1 and the high-frequency layer 62-1, and the frequency is filtered by a predetermined frequency (for example, HPF (High Pass Filter), LPF (Low Pass Filter), etc.)
  • HPF High Pass Filter
  • LPF Low Pass Filter
  • the two-dimensional code emerges by expressing the color with a single color such as black or a plurality of colors different from the color of the image. Therefore, by performing filtering, a code area can be extracted, and a two-dimensional code can be efficiently read even if the code is embedded in a part of the image.
  • the outermost frame has the high frequency layer 62-2
  • the inner side has the low frequency layer 61-2
  • the code part 63-2 is configured on the inner side, the same effect as in the case of the invisible information 60-1 can be obtained.
  • the area in which the code is embedded is preferably a square, but in the present invention, it can be applied to any area as long as it is a predetermined area such as a rectangle, a diamond, or a circle.
  • orientation information is required for the two-dimensional code, but in the present embodiment, the code direction is synthesized according to the top, bottom, left, and right of the image. Therefore, for example, when a video on a television screen is captured by a camera included in a mobile terminal, the orientation information is limited to a specific direction because the orientation of the mobile terminal is normally opposed to the television screen. Therefore, it is not necessary to attach information indicating the direction to the two-dimensional code.
  • the input image indicates the fixed direction without acquiring the direction information, there is no need to put the direction information in the code itself. Therefore, a lot of other information can be entered, and further, since it is not necessary to analyze the orientation information at the time of code recognition, the code can be recognized efficiently. Therefore, according to the present embodiment, the invisible information can be acquired with high accuracy.
  • FIG. 8 is a diagram for explaining a specific example of embedding additional information.
  • an example of embedding a two-dimensional code as additional information will be described. Since the original image shown in FIG. 8 is the same as the image 50 shown in FIG. 6 described above, a detailed description of the image 50 is omitted here.
  • the image 50 shown in FIG. 8 in the non-visualized area 56-2 for the above-mentioned node type personal computer, if the low frequency part 64 and the high frequency part 65 are enlarged based on a predetermined condition within a predetermined area (for example, a square). It is arranged.
  • a predetermined area for example, a square
  • the code is embedded with the low frequency portion 64 set to “0” and the high frequency portion 65 set to “1”. Further, the high frequency unit 65 arranges dark colors and light colors alternately in predetermined pixel units, and adjusts so that when viewed from a further distance, the color of the original image itself is averaged.
  • the low frequency and high frequency in this embodiment will be described.
  • the frequency refers to the spatial frequency unless otherwise specified.
  • Spatial frequency is defined as “the reciprocal of the period of the pixel value relative to the unit length”.
  • the frequency in the present embodiment is not particularly limited.
  • the frequency may be set in the range of 0.2 to 2 [cycle / pixel] in the high frequency portion and 0 to 1 [cycle / pixel] in the low frequency portion. Specifically, it is sufficient that the high frequency portion has a higher frequency than the low frequency portion.
  • a grid composed of predetermined pixel regions (for example, 4 ⁇ 4 px (pixels) or the like) formed in a high-frequency part is sufficient if a bright part and a dark part are periodically repeated.
  • pixel regions for example, 4 ⁇ 4 px (pixels) or the like
  • vertical stripes, horizontal stripes, grids State For example, Bright light dark dark dark bright light bright dark dark dark or Light / dark / dark / dark / light / dark / dark / light / dark / dark / light / dark.
  • the brightness difference between the bright part and the dark part at that time may be 10 or more, preferably 50 or more, and more preferably 100 or more.
  • the brightness difference in the present embodiment first generates a bright part and a dark part on the basis of the brightness of an image that is normally displayed, and uses the brightness difference between the generated bright part and the dark part.
  • the present invention is not limited to this.
  • the brightness difference between the brightness of a normal image and the brightness at the low frequency part or the high frequency part may be used.
  • the difference in brightness considered as a high-frequency part is about 15 or more with reference to an element adjacent in gray scale, it can be considered as a high-frequency part.
  • a brightness difference of about 15 to 35 is a region that can be mainly used as a high-frequency part.
  • an element is comprised by the pixel of 1 px or more in length and width, and in this embodiment, 1 element can be 2x2 px, for example.
  • the code of the invisible information is generated by arbitrarily changing the brightness difference according to the brightness and brightness of the image (background) at the embedded position, the performance of the camera to be photographed, and the like.
  • the usable pixel size in the additional information is not particularly limited because it varies depending on the distance between the image and the person viewing the image, for example. About 0.05 to 2 mm is preferable, and if the distance is about 10 m, about 0.5 to 20 mm is preferable. Even when used from a further distance, it is preferable to maintain the same pixel size / distance ratio.
  • FIG. 9 is a diagram for explaining a pattern of a low frequency part or a high frequency part. Note that one square in FIGS. 9A to 9E represents an element.
  • a checkered pattern (FIG. 9A), a horizontal stripe pattern (FIG. 9B), a vertical stripe
  • Preset patterns such as a pattern (FIG. 9C), a right diagonal line (FIG. 9D), and a left diagonal line (FIG. 9E) are generated.
  • the pattern is not limited to the above pattern, and for example, a plurality of patterns in FIGS. 9A to 9E may be partially combined.
  • the checkered pattern as shown in FIG. 9A is too fine to recognize the camera as a high-frequency unit. For this reason, it is necessary to configure the high-frequency part with horizontal lines or diagonal lines. Also on the monitor, the high-frequency part composed of diagonal lines is the most prominent as with paper.
  • the embedded information when the embedded information is acquired by photographing the low frequency part or the high frequency part with a camera or the like, the original information (background image) is obtained with reference to the obtained information shown in FIGS. 9A to 9E.
  • the embedded information By embedding appropriate non-visualization information, the embedded information can be read easily and reliably.
  • said pattern is applicable also when using only a low frequency or only a high frequency, or when using both a low frequency and a high frequency.
  • FIG. 10 shows an embodiment of code embedding.
  • the image 50 shown in FIG. 10 is the same as that shown in FIGS. 6 and 8, and a duplicate description is omitted.
  • a method of embedding the non-visualized information 56-3 for the wristwatch 55 will be described.
  • a portion where a code is embedded is extracted from the image 50.
  • the part to be extracted is set based on the size of one grid, and for example, can be a square having one side of a predetermined pixel (in FIG. 10, 8 px as an example). Further, one element in FIG. 10 is 2 ⁇ 2 px.
  • the grid size may be other than this, but if it is too small or too large, it will be difficult to read the codes “0” and “1”.
  • a 3-9 px square is preferred.
  • the shape is not limited to a square and may be a rectangle within the above range.
  • the number of grids in the cord part 63 is not particularly limited, but is preferably a square. In the example of FIG. 10, the grid size is 10 ⁇ 10.
  • FIG. 11 shows an example of code embedding in the grid.
  • the non-visualization information generating means 18 digitizes the pixels included in the grid 71 in the code part 63, which is the non-visualization information 56-3, by the value of brightness.
  • each pixel is composed of red, green, and blue elements, and the brightness of each color (0 to 255) is averaged as the brightness of the pixel.
  • FIG. 12 shows an example of code embedding in the low frequency part.
  • a so-called blur filter is applied to the entire grid by a filtering process using a Gaussian filter, and the brightness value in the grid is smoothed. . That is, in the example of FIG. 12, the brightness of the grid 71 is smoothed around 130.
  • FIG. 13A and FIG. 13B show an example of code embedding in a high-frequency part.
  • a stripe pattern is generated to embed a high-frequency part. Therefore, the brightness is increased for each element in the even-numbered row of the grid 71, and the brightness is decreased for each element in the odd-numbered row.
  • the increase / decrease value of the brightness for each element is determined according to the brightness of the background as shown in the correspondence table shown in FIG. 13B.
  • the values shown in the correspondence table of FIG. 13B are stored in, for example, the storage unit 13 or the like.
  • a two-dimensional code can be generated by performing the low frequency part and high frequency part code embedding processes as shown in FIGS. 12, 13A, and 13B on the invisible region.
  • FIG. 14 shows an example for extracting the invisible information.
  • the extraction method in the present invention is not limited to this.
  • a captured image obtained by photographing a video or image in which the non-visualization information is embedded is acquired (S21).
  • a Sobel Laplacian filter is performed on the acquired image to extract an edge (a portion where the brightness changes drastically) from the image, and the edge portion is converted to white, and the others are converted to black (S22). That is, by applying a Sobel Laplacian filter to the captured image, it is possible to extract both the code portion (a collection of edges in the case of a high-frequency image) and the background edges (Image edges).
  • edges in the case of a high-frequency image basically uses an edge where the light and darkness changes suddenly, but in the case of a high-frequency image, if the brightness is viewed in the horizontal or vertical direction, The brightness is reversed for each element. Therefore, in the case of a high-frequency image, all element boundaries are edges.
  • DCT Discrete Cosine Transform
  • IDCT Inverse Discrete Cosine Transform
  • S24 from the frequency domain to the spatial domain (S25).
  • S25 spatial domain
  • processing of the above S23 to S25 means performing LPF (Low Pass Filter) processing.
  • a Sobel Laplacian filter is performed on the image obtained by the processing in S25, and an edge (a portion with a sharp change in brightness) is extracted from the image, and the edge portion is converted to white, and the others are converted to black (S26). ).
  • an expansion process is performed to expand the edge obtained by the Sobel Laplacian filter to a thick one (S27). Specifically, for example, the obtained edge is expanded outward by 3 pixels (px) vertically and horizontally.
  • the invisible information is extracted from the image (S30). Specifically, since only the non-visualization information is included at the time when the median filtering process of S29 is completed, the non-visualization information is extracted, and (1) shape (rectangle) extraction, (2) projective transformation, ( 3) Perform the code “1” and “0” determination.
  • a process of calculating the coordinates of the four corners of a quadrangle (code) from the image is performed.
  • the position of the coordinates to be calculated is not limited to a quadrangle, and can be set as appropriate according to a preset shape.
  • the coordinates of each vertex are calculated in the case of a triangle or a star shape.
  • a process of returning a distorted code to a square is performed using the coordinates of the obtained four points.
  • processing for determining whether the data bit included in the code is “1” or “0” is performed. Specifically, among the pixels included in a block constituting 1 bit, if there are more black pixels, it is determined as “0”, and if there are more white pixels, it is determined as “1”.
  • FIG. 15 shows an example of extracting actual de-visualization information.
  • the invisible information is extracted from the captured image in which the invisible information (Code) is embedded in the character image (Image) of “R”.
  • Edge detection is performed from the captured image shown in FIG. 15A, and an image of code (Code) + image edge (Image edge) shown in FIG. 15B is acquired. Further, code removal is performed from the photographed image shown in FIG. 15A, and an image (Image-Code) obtained by removing the code portion from the image is obtained as shown in FIG. 15C.
  • edge detection is performed on the image (Image-Code) shown in FIG. 15C, and an image (Image edges-Code) obtained by removing the code from the image edge is obtained as shown in FIG. 15D. To do.
  • a code (Code) as shown in FIG. 15E can be acquired.
  • 14 corresponds to FIG. 15C
  • the result obtained in S27 corresponds to FIG. 15D
  • the result corresponds to FIG.
  • the invisible information can be extracted from the captured image with high accuracy by the above method.
  • the above-described extraction processing of the invisible information may be performed on the entire captured image, and if the position of the image in which the invisible information is embedded is specified in advance, only the specific region is included. You may perform said extraction process with respect to.
  • FIG. 16 shows an example of the recognition result of the invisible information.
  • the display information generation unit in the non-visualization information recognition device 30 performs the filtering process by HPF on the composite image 81 in which the non-visualization information is combined, thereby displaying the configuration shown in FIG. 16.
  • the two-dimensional code can be displayed on the original image, and this information can be read to display the contents of the two-dimensional code.
  • FIGS. 17A to 17H show examples of images to which invisible information is added, respectively.
  • Invisible information is embedded in each region 91 shown in FIGS. 17A to 17H.
  • the non-visualization information is added only to an appropriate place in the image, and detailed information on the object or the like displayed in a part of the image is accurately provided. be able to.
  • the code of the non-visualization information shown in the area 91 added to the images shown in FIGS. 17A to 17C includes, for example, the name, material, taste evaluation, price, and store that sells the product. Information or address information (for example, URL) to a server or the like in which the information is stored can be stored.
  • Information or address information for example, URL to a server or the like in which the information is stored can be stored.
  • information such as the name of the flower, the shooting location, and the blooming time can be accumulated.
  • information such as the name of the sculpture, the shooting location, the origin of installation, and the like can be accumulated in the code of the invisible information shown in the area 91 added to the image shown in FIG. 17E.
  • the code of the non-visualization information shown in the area 91 added to the image shown in FIG. 17F for example, information such as the name of the airplane, the flight speed, and the shooting location can be accumulated.
  • 17G and 17H show the same image, but in each area 91, codes of invisible information generated by different techniques are embedded. Specifically, in the region 91 in FIG. 17G, the code of the invisible information generated by using the high-frequency part and the low-frequency part is embedded. In the region 91 in FIG. The invisible information generated using only the part is embedded. That is, in the case of the code of the invisible information including the low frequency part and the high frequency part shown in FIG. 17G, the image may be blurred in the low frequency part depending on the original image. Therefore, as shown in FIG. 17H, by using a non-visualization information code using only a high-frequency part, it is possible to embed non-visualization information that is more difficult to see in the original image.
  • a plurality of pieces of invisible information can be partially added to one image.
  • the target to which the invisible information in this embodiment can be added is not only an image displayed on a television screen or a personal computer screen, but also various images such as video displayed on the screen, paper, card, postcard, poster, etc. It can also be applied to media and the like.
  • the size and number of codes embedded in the original image can be adjusted as appropriate according to the amount of data to be embedded in this embodiment.
  • FIG. 18 shows another embodiment of the non-visualization information.
  • either the high-frequency part or the low-frequency part is displayed in a predetermined color such as black.
  • the embedded character (RITS" in the example of FIG. 18) can be output as display information as it is.
  • the method shown in FIG. 18, for example it is not necessary to search for and acquire the corresponding additional information using the code ID or the like as a key, and the additional information can be quickly displayed on the screen. it can.
  • FIG. 19 shows an example of the comparison result.
  • the frequency method shown in FIG. 19 is used as the method of generating the invisible information encoded using the low frequency part and the high frequency part in the present embodiment.
  • the reading time is the time from the recognition of the code part to the completion of decoding.
  • the number of executed instructions is a value when the MIPS (Million Instructions Per Second) of “Intel core 2 duo” is set to 22,058M as an example.
  • the reading time is 0.272 seconds (execution time).
  • the execution environment at that time is MacOSX10.6 for OS, 2 GHz Core 2 Duo for CPU, and 2 GB for memory.
  • FIG. 20A shows an image in which the invisible information is not yet embedded
  • FIG. 20B shows an image in which the two-dimensional code that is the invisible information in the present embodiment is embedded.
  • the two-dimensional code added to the image of FIG. 20B is added to the same position as the non-visualization information 56-1 to 56-3 of the image 50 shown in FIG.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Accessory Devices And Overall Control Thereof (AREA)
  • Record Information Processing For Printing (AREA)

Abstract

　取得した画像の所定の位置に非可視化情報を埋め込む非可視化情報埋込装置は、前記画像に含まれる物体情報及び位置情報を取得する画像解析手段と、前記画像解析手段により得られた物体情報から前記画像が埋め込み対象の画像であるかを判定する埋込対象画像判定手段と、前記埋込対象画像判定手段により得られる判定結果に基づいて、前記画像に前記非可視化情報を合成する画像合成手段とを有することを特徴とする。

Description

非可視化情報埋込装置、非可視化情報認識装置、非可視化情報埋込方法、非可視化情報認識方法、及び記録媒体
　本発明は、効率的な情報の取得により付加価値性に優れた高精度な画像を提供するための非可視化情報埋込装置、非可視化情報認識装置、非可視化情報埋込方法、非可視化情報認識方法、及び記録媒体に関する。
　従来では、例えば模様等が描かれたカードを撮影し、撮影したカメラ映像から検出されるカードの種類や３次元位置情報に基づいて、楽器を制御するＭＩＤＩ（Ｍｕｓｉｃａｌ　Ｉｎｓｔｒｕｍｅｎｔ　Ｄｉｇｉｔａｌ　Ｉｎｔｅｒｆａｃｅ）信号を出力したり、映像を出力する技術が知られている（例えば、特許文献１参照）。
　また、カメラで紙媒体の図形を認識してパソコンのディスプレイ上に仮想図形を表示させるシステムツール等が存在する（例えば、非特許文献１参照）。
　更に、所定の画像パターンに対応する識別情報を有する対象画像を取得し、取得された対象画像の中から、識別情報を認識し、予め登録された複数の処理の中から認識された識別情報に対応する所定の処理を実行し、対象画像を所定の表示領域内に表示し、表示された対象画像内の所定の２個以上の位置の位置情報を取得し、取得された２個以上の位置の位置情報に基づく向き及び位置に、認識された識別情報に対応する画像を描画する画像処理技術が知られている（例えば、特許文献２参照）。
　また、従来では、動画像に人間の知覚（視覚、聴覚）特性を利用し、静止画、動画、オーディオ等のディジタルコンテンツに対して、コンテンツとは別の情報を人間に知覚できないように埋め込む電子透かし技術が知られている（例えば、特許文献３，４参照）。
特開２００２－３２０７６号公報 特開２０００－８２１０７号公報 国際公開第２００５／０７４２４８号パンフレット 国際公開第２００７／０１５４５２号パンフレット
　しかしながら、上記の従来技術では、カード等を所定方向（平行や回転）に移動させることによって、合成される画像に動きを持たせて表示を行うことができるが、カード等を停止させたまま合成させる画像を変化させることができなかった。
　そのため、例えば予め制作された動画を合成する等の対応しかできず、カード種別毎にある特定の動作しかできなかったため、付加価値性に優れた高精度な画像や映像は提供されていなかった。
　また、非特許文献１に示されている仮想図形表示システムでは、一旦、仮想図形が表示されると図形を変化させることは難しかった。すなわち、外部の環境変化に応じて図形を変化させることはできなかった。更に、従来技術では、表示させる画像は、識別情報を含むカード等の位置を基準に表示させるものであるため、表示の仕方に制限があり、例えば３次元映像等を表示させることはできなった。
　また、電子透かし技術を用いて情報を画像に埋め込む場合、画面の一部に埋め込んでしまうと、画像中のどの部分に電子透かしの情報が入っているかを判別することができなかったため、画像全体にデータを埋め込まなければならなかった。そのような場合、例えばテレビに表示された映像に含まれる部分的な物体（例えば、花や人等）に対してのみに情報を埋め込むことができず、結果として画面上に表示されている物体の全てについての情報を取得しなければならない。そのため、ユーザが求めていない余計な情報をも取得せざるを得なかった。また、テレビ画面全体に電子透かしが埋め込まれている場合には、それを携帯電話等に設けられたレンズで撮影して認識する際、かなり離れて位置で撮影する必要が生じていた。
　本発明は、上記の課題に鑑みてなされたものであって、効率的な情報の取得により付加価値性に優れた高精度な画像を提供するための非可視化情報埋込装置、非可視化情報認識装置、非可視化情報埋込方法、非可視化情報認識方法、及び記録媒体を提供することを目的とする。
　上記の課題を解決するために、本発明の非可視化情報埋込装置は、取得した画像の所定の位置に非可視化情報を埋め込む非可視化情報埋込装置であって、前記画像に含まれる物体情報及び位置情報を取得する画像解析手段と、前記画像解析手段により得られた物体情報から前記画像が埋め込み対象の画像であるかを判定する埋込対象画像判定手段と、前記埋込対象画像判定手段により得られる判定結果に基づいて、前記画像に前記非可視化情報を合成する画像合成手段とを有することを特徴とする。
　また、上記の課題を解決するために、本発明の非可視化情報認識装置は、取得した画像に含まれる非可視化情報を認識する非可視化情報認識装置であって、前記画像から非可視化情報を抽出する非可視化情報抽出手段と、前記非可視化情報抽出手段により前記非可視化情報が抽出された場合、前記非可視化情報から得られる前記画像に含まれる物体の付加情報を解析する非可視化情報解析手段と、前記非可視化情報解析手段により得られる付加情報から画面に表示する表示情報を生成する表示情報生成手段とを有することを特徴とする。
　本発明によれば、効率的な情報の取得により付加価値性に優れた高精度な画像を提供することができる。
本実施形態における非可視化情報埋込装置の機能構成の一例を示す図である。 本実施形態における非可視化情報認識装置の機能構成の一例を示す図である。 本実施形態における非可視化情報埋込処理及び非可視化情報認識処理が実現可能なハードウェア構成の一例を示す図である。 本実施形態における非可視化情報埋込処理手順の一例を示すフローチャートである。 本実施形態における非可視化情報認識処理手順の一例を示すフローチャートである。 画像の一例を示す図である。 非可視化情報の一例を示す図である。 付加情報の具体的な埋め込み例について説明するための図である。 低周波部又は高周波部の模様を説明するための図である。 コードの埋め込みの実施例を示す図である。 グリッドに対するコードの埋め込み例を示す図である。 低周波部のコードの埋め込みの一例を示す図である。 高周波部のコードの埋め込みの一例を示す図である。 高周波部のコードの埋め込みの一例を示す図である。 非可視化情報を抽出するための一例を示す図である。 実際の非可視化情報を抽出する例を示す図である。 非可視化情報の認識結果の一例を示す図である。 非可視化情報が付加された画像例を示す図である。 非可視化情報が付加された画像例を示す図である。 非可視化情報が付加された画像例を示す図である。 非可視化情報が付加された画像例を示す図である。 非可視化情報が付加された画像例を示す図である。 非可視化情報が付加された画像例を示す図である。 非可視化情報が付加された画像例を示す図である。 非可視化情報が付加された画像例を示す図である。 非可視化情報の他の実施例を示す図である。 比較結果の一例を示す図である。 非可視化確認試験に用いた画像の一例を示す図である。 非可視化確認試験に用いた画像の一例を示す図である。
　本発明では、例えば画面に表示される画像や映像、又は紙やハガキ、ポスター、カード等の各種印刷媒体等に対して、肉眼では認識不可能な加工により非可視化情報（マーカー）を画像全体に対して部分的に埋め込み、デジタルカメラや携帯端末に設けられたカメラ等の撮影手段によって、その画像や映像、印刷媒体等の一部を撮影し、撮影された画像や映像等を、パソコンや携帯端末等に取り込みフィルタ等を用いて画像処理することで、埋め込まれたマーカーを認識する。また本発明は、例えば携帯端末等のような容量や性能が制限された機種でも埋め込まれたマーカーの認識が実施可能となるマーカーの埋込方法と、画像処理を組み合わせたマーカー認識を可能にする。更に、本発明では、認識されマーカーの情報から撮影された画像や映像等に対応する付加価値情報を取得する。
　以下に、本発明における非可視化情報埋込装置、非可視化情報認識装置、非可視化情報埋込方法、非可視化情報認識方法、及び記録媒体を好適に実施した形態について、図面を用いて説明する。なお、本実施形態において説明する「画像」とは、写真等の１枚の画像も、映像における連続したフレーム単位の画像も含まれるものとする。
　次に、本実施形態における非可視化情報埋込装置の機能構成例について説明する。図１は、本実施形態における非可視化情報埋込装置の機能構成の一例を示す。
　図１に示す非可視化情報埋込装置１０は、入力手段１１と、出力手段１２と、蓄積手段１３と、画像取得手段１４と、画像解析手段１５と、埋込対象画像判定手段１６と、非可視化情報設定手段１７と、非可視化情報生成手段１８と、画像合成手段１９と、送受信手段２０と、制御手段２１とを有するよう構成されている。
　入力手段１１は、ユーザ等からの画像取得指示や、画像解析指示、埋込対象画像判定指示、埋込情報設定指示、埋込情報生成指示、画像合成指示、送受信指示等の各種指示の開始／終了等の入力を受け付ける。なお、入力手段１１は、例えばパソコン等の汎用のコンピュータであればキーボードやマウス等のポインティングデバイスからなり、携帯端末等であれば各操作ボタン群等からなる。また、入力手段１１は、例えばデジタルカメラ等の撮像手段等により撮影された画像や映像等を入力する機能も有する。なお、上述の撮像手段は、非可視化情報認識装置３０内に設けられていてもよく、外部の機能構成であってもよい。
　出力手段１２は、入力手段１１により入力された内容や、入力内容に基づいて実行された内容等の出力を行う。具体的には、出力手段１２は、取得した画像や、画像解析結果、埋込対象画像判定結果、設定された非可視化情報、生成された非可視化情報、非可視化情報が合成された合成画像、各構成における処理の結果等の画面表示や音声出力等を行う。なお、出力手段１２は、ディスプレイやスピーカ等からなる。
　更に、出力手段１２は、プリンタ等の印刷機能を有していてもよく、上述の各出力内容を、例えば紙やハガキ、ポスター等の各種印刷媒体等に印刷してユーザ等に提供することもできる。
　蓄積手段１３は、本実施形態において必要となる各種情報や埋込処理の実行時、又は実行後の各種データを蓄積する。具体的には、蓄積手段１３は、入力又は予め蓄積されている画像取得手段１４で取得される撮影等により得られた１又は複数の画像或いは映像を取得する。また、蓄積手段１３は、画像解析手段１５にて解析された結果や埋込対象画像判定手段１６における判定結果、非可視化情報設定手段１７による設定内容、非可視化情報生成手段１８により生成された埋込情報、画像合成手段１９により合成された画像等を蓄積する。また、蓄積手段１３は、必要に応じて蓄積されている各種データを読み出すことができる。
　画像取得手段１４は、情報を埋め込む対象となる画像や映像等を取得する。なお、画像や映像等は、例えばカメラ等の撮像手段により得られる画像や映像等でもよく、ポスターや写真、カード、シール等に適用される対象画像等であってもよい。また、画像取得手段１４は、送受信手段２０を介して通信ネットワーク上に接続される外部の装置で撮影された情報やデータベース等に蓄積された画像や映像等を取得することもでき、また、入力手段１１を介して実際にユーザ等がカメラ等で撮影した画像を用いてもよい。
　画像解析手段１５は、画像取得手段１４にて取得した画像を解析して画像中に含まれる内容を解析する。具体的には、画像中のどの部分（位置、領域）にどのような物体が映し出されているか、又は、映像中において物体がどのように移動しているか等、物体情報及び座標等からなる物体の位置情報を取得する。例えば、物体が人物の場合、画像解析手段１５は、顔の特徴部分から顔検出を行ってもよく、また顔の特徴量を数値化し、その結果により人物特定をおこなってもよい。
　埋込対象画像判定手段１６は、画像解析手段１５によって解析された結果に基づいて、その画像に映し出された物体が予め設定された非可視化情報の埋め込み対象であるか否かを判定する。なお、埋込対象画像判定手段１６において、物体が非可視化情報を埋め込む情報であるか否かは、ユーザ等により予め埋込判定情報が設定され、蓄積手段１３等に蓄積しておき、その埋込判定情報により判定してもよく、又は、その物体に対する付加情報が蓄積手段１３に蓄積されているかを検索し、もし付加情報が蓄積されている場合には、埋込対象物体であると判定してもよい。
　したがって、例えば、画像解析手段１５によって画像を解析した結果、画像の一部にパソコンの画像が含まれていると解析された場合、埋込対象画像判定手段１６は、パソコンに関する付加情報が蓄積手段１３に蓄積されているか否かを判断し、パソコンに関する付加情報が存在する場合には、そのパソコンを埋込対象画像と判定することができる。なお、埋め込む内容（付加情報）は、例えば非可視化情報設定手段１７等において設定することができる。また、設定された内容は、蓄積手段１３に蓄積される。
　また、埋込対象画像判定手段１６は、画像中に複数の物体が存在する場合、それぞれの物体が埋め込み対象であるとして出力する。なお、画像中に複数の物体が存在する場合には、全ての物体を埋め込み対象に設定してもよく、また少なくとも１つの物体を埋め込み対象に設定してもよい。この場合には、物体に対して、予め設定される優先度や、その物体の画面全体に対する表示領域の位置、映像であれば、その物体が表示されていた時間等により任意に設定することができ、それらの埋込詳細情報も蓄積手段１３に蓄積される。
　非可視化情報設定手段１７は、物体情報に基づいて、どのような情報を付加情報として埋め込むのか、その具体的な情報の中身を設定する。例えば、物体情報が財布や洋服等の場合には、そのブランド名や商品名、値段、ホームページのアドレス等を設定し、物体情報が人物である場合には、その人物の氏名、年齢、性別、身長、趣味、経歴等を設定し、物体情報が本である場合には、その本のタイトル、著者、発行日、値段、著者に関する情報等を設定する。なお、非可視化情報設定手段１７にて設定される付加情報としては、映像、画像等が含まれる。
　また、非可視化情報設定手段１７は、どのような形態で情報を付加するのかを設定する。例えば、付加情報は、特定の暗号化された文字であるのか、或いは模様や記号、コード情報等であるのか、又は表示サイズ等を設定する。なお、コード情報等の場合には、非可視化情報認識装置側で、そのコードに対する情報が取得できるように対応データベースが設けられていることが好ましい。上述したように、複数の形態から設定することができるため、埋め込み対象の画像の内容に応じて適切な埋め込み情報を選択して設定することができる。
　非可視化情報生成手段１８は、埋込対象画像に埋め込む画像を生成する。非可視化情報生成手段１８は、直接文字情報として生成してもよく、コード情報として生成してもよい。なお、コード情報としては、例えばＱＲコード等の２次元バーコード等を使用することができる。また、本実施形態において、コード情報はＱＲコードに限定されず、例えばＪＡＮコードや、ＩＴＦコード、ＮＷ－７、ＣＯＤＥ３９、ＣＯＤＥ１２８、ＵＰＣ、ＰＤＦ４１７、ＣＯＤＥ４９、Ｄａｔａ　Ｍａｔｒｉｘ、Ｍａｘｉ　Ｃｏｄｅ等のバーコードを用いることもできる。
　更に、非可視化情報生成手段１８は、埋め込んだ情報が実際にユーザに提供される画像に対して見えにくくするために埋込対象となる情報を原画像の色情報を基準にして低周波部と高周波部とを用いた画像、又は、低周波部のみ或いは高周波部のみを用いた画像を生成する。なお、低周波部とは、非可視化情報を埋め込む部分の原画像の明度を基準としてそれより明度を低くした部分又は領域を示し、高周波部とは、原画像の明度を基準として、それより明度を高くした部分又は領域を示す。非可視化情報生成手段１８における非可視化情報の詳細については後述する。また、非可視化情報生成手段１８は、画像中のどの位置に非可視化情報を埋め込むかを座標情報として取得する。
　なお、本実施形態において、埋込情報を埋め込む際、例えば画像中に表示されている物体の位置上又はその周辺に、その物体に対応する埋込情報が埋め込まれているのが好ましく、この場合には、画像解析手段１５により得られた物体位置情報を基準として対象画像に埋込画像の合成を行う。つまり、本実施形態によれば、画像全体に対して１つの埋め込み情報を付与するのではなく、複数の非可視化情報を適切な場所に埋め込むことができる。
　画像合成手段１９は、画像解析手段１５により得られる画像と、その画像の物体情報、及び座標情報等からなる物体位置情報とに基づいて、非可視化情報生成手段１８にて生成された非可視化情報を所定の位置に埋め込んで画像を合成する。
　なお、画像合成手段１９は、合成対象の画像が映像の場合、再生中の映像における物体の移動に対して追随して移動し、その物体上に非可視化情報が埋め込まれるようにすることができる。つまり、画像合成手段１９は、合成対象画像が入力される毎に撮影画像に対して合成処理を行い、その合成画像を順次表示させることができる。
　送受信手段２０は、通信ネットワーク等を用いて接続可能な外部装置から所望する外部画像（撮影画像や合成画像等）や、本発明における非可視化情報埋込処理を実現するための実行プログラム等を取得するためのインタフェースである。また、送受信手段２０は、非可視化情報埋込装置１０内で生成された各種情報を外部装置に送信することができる。
　制御手段２１は、非可視化情報埋込装置１０の各構成部全体の制御を行う。具体的には、制御手段２１は、例えばユーザ等による入力手段１１からの指示等に基づいて、画像の取得や画像解析、埋込対象画像であるか否かの判断、非可視化情報の設定並びに設定、画像合成等の各処理の各制御等を行う。なお、非可視化情報設定手段１７における非可視化情報や非可視化情報生成手段１８における非可視化情報は、予め設定や生成をしておき蓄積手段１３に蓄積させていてもよい。
　次に、本実施形態における非可視化情報認識装置の機能構成例について説明する。図２は、本実施形態における非可視化情報認識装置の機能構成の一例を示す。
　図２に示す非可視化情報認識装置３０は、入力手段３１と、出力手段３２と、蓄積手段３３と、埋込画像取得手段３４と、非可視化情報抽出手段３５と、非可視化情報解析手段３６と、表示情報生成手段３７と、送受信手段３８と、制御手段３９とを有するよう構成されている。
　入力手段３１は、ユーザ等からの埋込画像取得指示や、非可視化情報抽出指示、非可視化情報解析指示、表示情報生成指示、送受信指示等の各種指示の開始／終了等の入力を受け付ける。なお、入力手段３１は、例えばパソコン等の汎用コンピュータであればキーボードやマウス等のポインティングデバイスからなり、携帯端末等であれば各操作ボタン群等からなる。また、入力手段３１は、例えばデジタルカメラ等の撮像手段等により撮影された画像や映像を入力する機能も有する。なお、上述の撮像手段は、非可視化情報認識装置３０内に設けられていてもよく、外部の機能構成であってもよい。
　また、入力手段３１は、紙やハガキ、ポスター、写真、カード等の印刷媒体から埋込画像を取得することができる。この場合、カメラ等の撮像手段や、スキャナ機能等を用いてデータを読み取る機能を備える。
　また、出力手段３２は、入力手段３１により入力された内容や、入力内容に基づいて実行された内容等の出力を行う。具体的には、出力手段３２は、表示情報生成手段３７により得られる画像や映像に表示される物体に対する付加情報等を出力する。なお、出力手段３２は、ディスプレイやスピーカ等からなる。
　更に、出力手段３２は、プリンタ等の印刷機能を有していてもよく、上述の物体に対する付加情報等の各出力内容を、例えば紙等の各種印刷媒体に印刷してユーザ等に提供することもできる。
　蓄積手段３３は、本実施形態において必要となる各種情報や非可視化情報認識処理の実行時、又は実行後の各種データを蓄積する。具体的には、蓄積手段３３は、埋込画像取得手段３４で取得した埋込画像や、非可視化情報抽出手段３５で取得した非可視化情報（マーカー）、非可視化情報解析手段３６により解析した非可視化情報、表示情報生成手段３７で生成された表示内容等を蓄積する。
　更に、蓄積手段３３は、非可視化情報解析手段３６によって解析されたデータに対する関連情報を蓄積することができる。例えば、非可視化情報があるコード情報（文字コード、２次元コード等も含む）等であった場合には、そのコード情報に対応する各種データ（例えば、コード情報に対応する物体に対する詳細情報（文字、映像、画像、音声等）、データを画面に表示するときのサイズ、色、時間、位置、動作内容等）を蓄積手段３３に蓄積しておく。また、蓄積手段３３は、コード等を取得したときや、その他の必要に応じて蓄積されている各種データを読み出すことができる。
　埋込画像取得手段３４は、蓄積手段３３や送受信手段３８を介して通信ネットワークに接続される外部装置から埋込画像を取得する。なお、埋込画像には、映像も含まれる。
　非可視化情報抽出手段３５は、抽出された埋込画像に含まれる非可視化情報を抽出する。具体的には、非可視化情報抽出手段３５は、入力される埋込画像に対して、ある所定の周波数によるフィルタリングを行い、画像中に埋め込まれていた非可視化情報を取得する。なお、画像中に複数の非可視化情報がある場合には、全ての非可視化情報を抽出する。
　また、非可視化情報抽出手段３５は、どの位置から非可視化情報を抽出したかの非可視化情報抽出位置情報も取得する。なお、非可視化情報抽出手段３５は、取得した各種情報を蓄積手段３３に蓄積させる。
　非可視化情報解析手段３６は、非可視化情報抽出手段３５により得られた非可視化情報が実際には、どのような付加価値データが含まれているのかを解析する。なお、本実施形態における非可視化情報解析手段３６は、バーコードを読み取るバーコードリーダ等の読み取り機能を有しており、例えば、非可視化情報が２次元バーコードである場合には、その２次元バーコードから読み取り機能等を用いて情報を取得し、その取得した内容（例えば、コードＩＤ等）をキーにして、蓄積手段３３や送受信手段３８を介して通信ネットワークに接続される予め設定されたサーバやデータベース等の外部装置等を検索し、検索した結果、キーに対応する付加情報があれば、その情報を取得する。
　表示情報生成手段３７は、非可視化情報解析手段３６により得られた結果を画面に表示する表示情報を生成する。なお、表示方法としては、画面上に別枠（別ウィンドウ）を設けて説明してもよく、対応する物体が表示されている位置上に表示してもよく、音声により出力してもよい。
　また、表示情報生成手段３７は、取得した非可視化情報をそのまま可視化して表示してもよく、非可視化情報に対応する付加情報を蓄積手段３３や外部装置等から取得して、その取得した付加情報を表示してもよい。
　更に、表示情報生成手段３７は、非可視化情報解析手段３６により得られた結果を表示する場合、上記のコードＩＤ等に基づいて蓄積手段３３等から取得した付加情報毎に設定されている画面に表示するときのサイズ、色、時間、位置、動作内容等に基づいて表示させるための表示情報を生成する。なお、映像として対象物体が移動している場合には、その物体の位置に追随して表示させてもよく、また、最初に画面に表示した位置に固定して表示させてもよい。
　送受信手段３８は、通信ネットワーク等を用いて接続可能な外部装置から所望する外部画像（撮影画像等）や、本発明における非可視化情報認識処理を実現するための実行プログラム等を取得するためのインタフェースである。また、送受信手段３８は、非可視化情報認識装置３０内で生成された各種情報を外部装置に送信することができる。
　制御手段３９は、非可視化情報認識装置３０の各構成部全体の制御を行う。具体的には、制御手段３９は、例えばユーザ等による入力手段３１からの指示等に基づいて、埋込画像の取得や非可視化情報の抽出、非可視化情報の解析、表示情報の生成等の各処理の各制御等を行う。
　上記の装置構成により、効率的な情報の取得により付加価値性に優れた高精度な画像を提供することができる。
　次に、上記の非可視化情報解析手段３６における付加情報の取得例について説明する。上述したように、非可視化情報解析手段３６は、非可視化情報から得られる情報がコードＩＤ等であった場合には、そのコードＩＤ等をキーにして蓄積手段３３や送受信手段３８を介して通信ネットワークに接続される予め設定されたサーバやデータベース等の外部装置を検索し、対応する付加情報を取得する。
　具体的に説明すると、例えば非可視化情報認識装置３０が「スタンドアロン型」である場合には、非可視化情報から取得したコードＩＤをキーにして蓄積手段３３を検索し、検索で得られた結果を取得する。また、非可視化情報認識装置３０が通信ネットワークにより外部装置と接続された「ネットワーク型」である場合には、非可視化情報から取得したコードＩＤをキーにして外部装置にアクセスし、外部装置内にあるデータ群からコードＩＤに対応する情報を検索し、対応する付加情報を外部装置から取得する。
　非可視化情報埋込装置１０及び非可視化情報認識装置３０においては、各機能をコンピュータに実行させることができる実行プログラム（非可視化情報埋込プログラム、非可視化情報認識プログラム）を生成し、ＣＤ－ＲＯＭ等の記録媒体に記録して、例えば汎用のパーソナルコンピュータ、サーバ等にその実行プログラムをインストールすることにより、本発明における非可視化情報埋込処理及び非可視化情報認識処理等を実現することができる。
　次に、本実施形態における非可視化情報埋込処理及び非可視化情報認識処理が実現可能なコンピュータのハードウェア構成について説明する。図３は、本実施形態における非可視化情報埋込処理及び非可視化情報認識処理が実現可能なハードウェア構成の一例を示す。
　図３におけるコンピュータ本体には、入力装置４１と、出力装置４２と、ドライブ装置４３と、補助記憶装置４４と、メモリ装置４５と、各種制御を行うＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）４６と、ネットワーク接続装置４７とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。
　入力装置４１は、ユーザ等が操作するキーボード及びマウス等のポインティングデバイスを有しており、ユーザ等からのプログラムの実行等、各種操作信号を入力する。また、入力装置４１は、カメラ等の撮像手段から撮影された画像を入力する画像入力ユニットを有している。
　出力装置４２は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイを有し、ＣＰＵ４６が有する制御プログラムによりプログラムの実行経過や結果等を表示することができる。
　ここで、本発明においてコンピュータ本体にインストールされる実行プログラムは、例えばＵＳＢメモリやＣＤ－ＲＯＭ等の可搬型の記録媒体４８等により提供される。プログラムを記録した記録媒体４８は、ドライブ装置４３にセット可能であり、記録媒体４８に含まれる実行プログラムが、記録媒体４８からドライブ装置４３を介して補助記憶装置４４にインストールされる。
　補助記憶装置４４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムやコンピュータに設けられた制御プログラム等を蓄積し、必要に応じて入出力を行うことができる。
　メモリ装置４５は、ＣＰＵ４６により補助記憶装置４４から読み出された実行プログラム等を格納する。なお、メモリ装置４５は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等からなる。
　ＣＰＵ４６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）等の制御プログラム、及びメモリ装置４５に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して、合成画像表示における各処理を実現することができる。なお、プログラムの実行中に必要な各種情報等は、補助記憶装置４４から取得することができ、また実行結果等を格納することもできる。
　ネットワーク接続装置４７は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果又は本発明における実行プログラム自体を他の端末等に提供することができる。
　上述したようなハードウェア構成により、本発明における非可視化情報埋込処理及び非可視化情報認識処理を実行することができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における非可視化情報埋込処理及び非可視化情報認識処理を容易に実現することができる。
　次に、非可視化情報埋込処理及び非可視化情報認識処理について具体的に説明する。
　まず、本実施形態における非可視化情報埋込処理手順について説明する。図４は、本実施形態における非可視化情報埋込処理手順の一例を示すフローチャートである。
　図４に示す非可視化情報埋込処理は、まずカメラ等の撮像手段により撮影された画像を取得し（Ｓ０１）、画像の解析を行い（Ｓ０２）、画像中に含まれる物体情報、物体位置情報等を取得する。
　次に、Ｓ０２の処理にて得られた情報に基づいて埋込対象画像の判定を行い（Ｓ０３）、その物体に対して非可視化情報（マーカー）を埋め込むか否かを判断する（Ｓ０４）。ここで、非可視化情報を埋め込む場合（Ｓ０４において、ＹＥＳ）、非可視化情報を設定し（Ｓ０５）、Ｓ０５の処理により設定された非可視化情報に基づいて、画像に合成する非可視化情報を生成する（Ｓ０６）。
　また、Ｓ０６の処理にて生成された非可視化情報を画像の所定位置に合成して（Ｓ０７）、合成画像をディスプレイ等の出力手段により表示又はデータとして出力する（Ｓ０８）。
　Ｓ０８の処理終了後又はＳ０４の処理において、非可視化情報を埋め込まない場合（Ｓ０４において、ＮＯ）、他の画像に非可視化情報を埋め込むか否かを判断する（Ｓ０９）。他の画像に非可視化情報を埋め込む場合（Ｓ０９において、ＹＥＳ）、Ｓ０１に戻り以降の処理を繰り返し実行する。また、Ｓ０９の処理において、他の画像に非可視化情報を埋め込まない場合（Ｓ０９において、ＮＯ）、非可視化情報埋込処理を終了する。
　次に、本実施形態における非可視化情報認識処理手順について説明する。図５は、本実施形態における非可視化情報認識処理手順の一例を示すフローチャートである。
　図５に示す非可視化情報認識処理は、埋込画像を取得し（Ｓ１１）、取得した画像から非可視化情報を抽出する（Ｓ１２）。
　次に、Ｓ１２の処理において、画像から非可視化情報が抽出されたか否かを判断し（Ｓ１３）、非可視化情報が抽出された場合（Ｓ１３において、ＹＥＳ）、非可視化情報の解析を行う（Ｓ１４）。また、非可視化情報の解析結果により得られた情報から画面等に表示する表示情報を生成し（Ｓ１５）、生成した内容を表示する（Ｓ１６）。
　ここで、他の画像から非可視化情報を認識するか否かを判断し（Ｓ１７）、他の画像から非可視化情報を認識する場合（Ｓ１７において、ＹＥＳ）、Ｓ１１に戻り以降の処理を繰り返し実行する。また、Ｓ１７の処理において、他の画像から非可視化情報を認識しない場合（Ｓ１７において、ＮＯ）、非可視化情報認識処理を終了する。
　上述した処理により、効率的な情報の取得により付加価値性に優れた高精度な画像を提供することができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における非可視化情報埋込処理を容易に実現することができる。
　次に、本実施形態における非可視化情報について具体的に説明する。非可視化情報としては、文字や数字、記号、マーク、模様、色彩、１次元コード、２次元コード等を用いることができる。ここでは、一例として２次元コードを用いて説明する。
　図６は、画像の一例を示す。図６に示す画像５０では、机５１の上に、本５２、財布５３、ノート型パソコン５４、腕時計５５が置かれている。本実施形態では、画像解析手段１５にて画像に含まれるこれらの物体情報とそれらの位置情報を取得する。ここで、埋込対象画像判定手段１６において、財布５３、ノート型パソコン５４、及び腕時計５５に関連情報があり、非可視化情報を生成するとする。なお、非可視化情報を生成するか否かの判断やどんな物体情報を生成するかは、ユーザ等が任意に行ってもよい。
　したがって、図６の例では、財布５３、ノート型パソコン５４、及び腕時計５５がそれぞれ表示されている位置上又はその周辺の所定の領域に２次元コードからなる非可視化情報５６－１～５６－３が重畳により合成され合成画像が生成される。
　図７は、非可視化情報の一例を示す。なお、図７には、２次元コードを用いた２種類の非可視化情報６０－１，６０－２が示されている。図７に示す非可視化情報６０－１は、最外枠には低周波層６１－１を有し、その内側には高周波層６２－１を有し、更にその内側にコード部６３－１が構成されている。
　通常、画像の一部に情報を埋め込むと、画像中のどの部分にコード部が埋め込まれているのかが判別できないため画像全体にコードを埋め込んでいたが、本実施形態では、コード部６３－１を、低周波層６１－１と高周波層６２－１とで囲むため、周波数をある所定の周波数（例えば、ＨＰＦ（Ｈｉｇｈ　Ｐａｓｓ　Ｆｉｌｔｅｒ）やＬＰＦ（Ｌｏｗ　Ｐａｓｓ　Ｆｉｌｔｅｒ）等）でフィルタリングして、何れかを黒色等の単色又は画像の色とは異なる複数色で表記することにより２次元コードが浮かびあがることになる。したがって、フィルタリングを行うことで、コード領域を抽出することができ、画像の一部にコードが埋め込まれていても効率的に２次元コードを読み取ることができる。
　また、本実施形態では、図７の非可視化情報６０－２に示すように、最外枠には高周波層６２－２を有し、その内側には低周波層６１－２を有し、更にその内側にコード部６３－２が構成されていても、上記の非可視化情報６０－１の場合と同様の効果を得ることができる。
　なお、コードが埋め込まれる領域は、正方形が好ましいが、本発明においてはこれに限定される、長方形、菱形、円形等の予め設定された領域であれば、どの領域にも適用することができる。
　なお、２次元コードには、向き情報が必要であるが、本実施形態では、コードの向きを画像の上下左右に合わせて合成する。したがって、例えばテレビ画面上の映像を携帯端末が具備するカメラで撮影する場合、通常、携帯端末の向きはテレビ画面に正対させるため、方向情報は、ある特定の向きに限られる。そのため、方向を示す情報を２次元コードに付する必要がなくなる。このように、２次元コードの認識の際には、向き情報を取得せずに入力された画像が固定した向きを示しているため、コード自体に向き情報を入れる必要がない。そのため、他の多くの情報を入れることができ、更に、コード認識時にも向き情報を解析する必要がないため効率的にコードの認識を行うことができる。したがって、本実施形態によれば、非可視化情報を高精度に取得することができる。
　次に、本実施形態の画像合成手段１９における付加情報の具体的な埋め込み例について説明する。図８は、付加情報の具体的な埋め込み例について説明するための図である。なお、以下の説明では、付加情報として２次元コードの埋め込み例について説明する。図８に示す原画像は、上述の図６に示す画像５０と同様であるため、画像５０に対するここでの詳細な説明は省略する。図８に示す画像５０において、上記のノード型パソコン用の非可視化領域５６－２では、拡大すると低周波部６４と高周波部６５とが所定の領域（例えば正方形）内で所定の条件に基づいて配列されている。ここで、低周波部６４を「０」とし、高周波部６５を「１」としてコードを埋め込む。また、高周波部６５は、濃色と淡色を所定ピクセル単位で交互に並べ、更に遠くから見た時には平均すると元の画像そのものの色になるよう調整する。
　次に、本実施形態における低周波及び高周波について説明する。通常、周波数には時間についての周波数（時間周波数）と空間の位置についての周波数（空間周波数）があるが、本実施形態においては、特に断らない限りは空間周波数を指す。空間周波数とは、「単位長さに対する画素値の周期の逆数」と定義される。
　本実施形態における周波数は、特に限定されるものではないが、例えば高周波部では０．２～２［ｃｙｃｌｅ／画素］、低周波部では０～１［ｃｙｃｌｅ／画素］の範囲で設定すればよく、具体的には低周波部より高周波部の方が、周波数が高くなっていればよい。
　また、高周波部にて形成される所定の画素領域（例えば、４×４ｐｘ（ピクセル）等）からなるグリッドは、明部と暗部が周期的に繰り返していればよく、例えば、縦縞、横縞、格子状等があげられる。
例えば、
明明明明
暗暗暗暗
明明明明
暗暗暗暗
又は、
明暗明暗
暗明暗明
明暗明暗
暗明暗明
等である。
　また、そのときの明部と暗部の明度差は１０以上であればよく、好適なのは５０以上であり、更に好適なのは１００以上である。なお、本実施形態における明度差は、上述したように、まず通常表示される画像の明度を基準として明部と暗部とを生成し、生成された明部と暗部とにおける明度差を用いていたが、本発明においてはこれに限定されるものではない。例えば、通常の画像の明度と、その明度に対して低周波部又は高周波部における明度とにおける明度差を用いていてもよい。
　この場合、例えば、高周波部と見なされる明暗差は、グレースケールで隣り合うエレメントを基準として約１５以上であれば高周波部とみなすことができる。具体的には、約１５～３５程度の明度差が高周波部として主に使うことができる領域である。なお、エレメントとは、縦横１ｐｘ以上のピクセルで構成されたものであり、本実施形態では、例えば１エレメントを２×２ｐｘとすることができる。
　ここで、例えばカメラ等の撮像装置で読み取れる明度差の最小値が１５である場合、明度差が３５を超えると人間の目にも容易に認識できてしまう。また逆に、埋め込む画像の部分が極端に暗い場合や明るい場合には、カメラ等による読み取り精度を上げるために例えば３５以上の明度差を付けることも必要となる。したがって、本実施形態では、埋め込む位置の画像（背景）の明度や輝度等や撮影されるカメラの性能等に応じて任意に明度差に変化を付けて非可視化情報のコードを生成する。
　また、上記の付加情報における使用可能なピクセルサイズは、例えばその画像と、画像を見る人との距離により変化するため、特に限定されるものではないが、例えば約１ｍの距離であれば、約０．０５～２ｍｍ程度が好ましく、約１０ｍの距離であれば、約０．５ｍｍ～２０ｍｍ程度が好ましい。更に離れた距離から使用する場合でも、同様のピクセルサイズと距離の比率を保っていることが好ましい。
　本実施形態においては、低周波部又は高周波部の何れかを画像に付与する場合、所定の画像の所定の埋め込み場所に対して特定の模様を有しているのが好ましい。図９は、低周波部又は高周波部の模様を説明するための図である。なお、図９（ａ）～（ｅ）の１マスは、エレメントを示している。
　本実施形態において、低周波部又は高周波部により埋め込み情報を生成する場合には、例えば図９に示すように、市松模様（図９（ａ））や横縞模様（図９（ｂ））、縦縞模様（図９（ｃ））、右斜め線（図９（ｄ））、左斜め線（図９（ｅ））等の予め設定された模様を生成する。なお、本実施形態においては、上記模様に限定されるものではなく、例えば図９（ａ）～（ｅ）のうち複数の模様を部分的に組み合わせてもよい。
　なお、図９（ａ）～（ｅ）に示す模様において、例えば紙に埋め込む場合には、図９（ａ）に示すような市松模様が一番見えにくく、また目立ちにくさでも、背景によらず市松模様が一番目立ちにくい。また逆に、図９（ｄ），図９（ｅ）に示す斜め線は一番目立つ。
　しかしながら、モニタ上で見る画像や動画に模様を埋め込む場合には、図９（ａ）に示すような市松模様だとパターンが細かすぎてカメラが高周波部と認識できない。そのため、横線か斜め線で高周波部を構成する必要がある。また、モニタ上でも紙と同じく斜め線で構成した高周波部が一番目立つ。
　これにより、低周波部又は高周波部をカメラ等で撮影して埋め込み情報を取得する際、図９（ａ）～（ｅ）に示す得られた情報を基準として原画像（背景画像）に対して適切な非可視化情報を埋め込むことで、容易且つ確実に埋め込み情報を読み取ることができる。なお、上記の模様は、低周波のみや高周波のみを使用した場合や、低周波と高周波を両方用いた場合にも適用できる。
　次に、本実施形態の画像合成手段１９におけるコードの埋め込み実施例について具体的に説明する。図１０は、コードの埋め込みの実施例を示す。図１０に示す画像５０は、図６及び図８と同様であるため、重複する説明は省略する。
　図１０に示す例では腕時計５５に対する非可視化情報５６－３に対しての埋め込み手法を説明するものである。まず、画像５０からコードを埋め込む部分を抽出する。抽出する部分は、１つのグリッドの大きさに基づいて設定され、例えば一辺が所定ピクセル（図１０では、一例として８ｐｘ）の正方形とすることができる。また、図１０における１エレメントは２×２ｐｘとしている。
　なお、この範囲は一例であり、グリッドの大きさはこの他でもよいが、あまりにも小さすぎたり、大きすぎる場合には、「０」と「１」のコードが読み取りづらくなるため、例えば一辺が３～９ｐｘの正方形が好ましい。また、形状は、正方形に限定されずに上記範囲内における長方形であってもよい。更に、コード部６３におけるグリッドの数も特に制限はないが、正方形であるのが好ましい。図１０の例では、グリッドサイズは１０×１０となっている。
　次に、図１１は、グリッドに対するコードの埋め込み例を示す。非可視化情報生成手段１８は、図１１に示すように、非可視化情報５６－３であるコード部６３内のグリッド７１に含まれるピクセルを明度の値で数値化する。ここで、各ピクセルは、赤緑青の各素子から構成されており、各色の輝度（０～２５５）を平均したものをピクセルの明度とする。
　なお、明度の定義は「明度＝（Ｒ＋Ｇ＋Ｂ）／３」の関係が成り立つ状態をいい、例えば、図１１に示すように、Ｒ：２００、Ｇ：１００、Ｂ：０のとき、このピクセルの明度は「（２００＋１００＋０）／３＝１００」となる。
　次に、上記の低周波部のコードの埋め込み例について説明する。図１２は、低周波部のコードの埋め込みの一例を示す。図１２に示すようなグリッドが形成されている場合、例えば図１２に示すようにガウシアンフィルター（Ｇａｕｓｓｉａｎ　Ｆｉｌｔｅｒ）によるフィルタリング処理により、グリッド全体に所謂ぼかしフィルタをかけ、グリッド内の明度値を平滑化する。つまり、図１２の例では、グリッド７１の明度が１３０前後で平滑化される。
　次に、上記の高周波部のコードの埋め込み例について説明する。図１３Ａ及ぶ図１３Ｂは、高周波部のコードの埋め込みの一例を示す。図１３Ａに示すグリッドでは、高周波部を埋め込むために縞模様を生成する。そのため、グリッド７１の偶数行の各エレメントについては明度を増加させ、奇数行の各エレメントについては明度を減少させる処理を行う。各エレメントについての明度の増減値は、図１３Ｂに示す対応表のように、背景の明度に応じてその増減値が決定される。このように、背景の明度の値に対応して増減値を設定することで、埋め込み情報を効率的に生成することができ、また埋め込み情報をより目立たなくさせることができる。なお、図１３Ｂの対応表のような値は、例えば蓄積手段１３等に蓄積されている。
　例えば、図１３Ｂの対応表を参照すると、図１３Ａのグリッド７１の左上隅のエレメントの場合、奇数行に相当するから、明度減となる処理を行い、増減値は図１３Ｂの対応表により「－３５」を用いて「１５２」から「１１７」となる。また、図１３Ａのグリッド７１の左下隅のエレメントの場合、偶数行に相当するから、明度増となる処理を行い、増減値は図１３Ｂの対応表により「＋３０」を用いて「１２０」から「１５０」となる。図１２、図１３Ａ、図１３Ｂに示すような低周波部、高周波部のコードの埋め込み処理を非可視化領域に対して行うことで、２次元コードを生成することができる。
　次に、上記の非可視化情報抽出手段３５における非可視化情報の抽出例について、フローチャートを用いて説明する。図１４は、非可視化情報を抽出するための一例を示す。なお、以下の処理では、高周波部のみを用いて生成された非可視化情報を撮影画像から抽出する例について説明するが、本発明における抽出手法についてはこれに限定されるものではない。
　図１４に示す非可視化情報の抽出例としては、まず、非可視化情報が埋め込まれている映像や画像を撮影した撮影画像を取得する（Ｓ２１）。次に、取得した画像に対してＳｏｂｅｌラプラシアンフィルタを行い、画像中からエッジ（明度変化の激しい部分）を抽出し、エッジ部分は白色に、それ以外は黒色に変換する（Ｓ２２）。つまり、撮影画像にＳｏｂｅｌラプラシアンフィルタをかけることで、コード部分（高周波画像の場合はエッジの集まり）と背景のエッジの両方（Ｉｍａｇｅ　ｅｄｇｅｓ）を抽出することができる。
　なお、上記の「高周波画像の場合はエッジの集まり」というのは、基本的に明暗が急激に変化する部分をエッジとしているが、高周波画像の場合、横方向又は縦方向に明度をみていくとエレメント毎に明暗が反転する。そのため、高周波画像の場合は、エレメント境界が全てエッジになる。
　また、Ｓ２１の処理にて取得した撮影画像に対して、ＤＣＴ（Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ；離散コサイン変換）を行い（Ｓ２３）、撮影画像を空間領域から周波数領域に変換する。次に、Ｓ２３の処理により得られた周波数画像に対して高周波領域に存在する値を０にすることで画像中から高周波成分を取り除くための周波数フィルタリングを行う（Ｓ２４）。
　次に、Ｓ２４の処理によりフィルタをかけた画像を周波数領域から空間領域に戻すＩＤＣＴ（逆離散コサイン変換）を行う（Ｓ２５）。なお、上記のＳ２３～Ｓ２５の処理は、ＬＰＦ（Ｌｏｗ　Ｐａｓｓ　Ｆｉｌｔｅｒ）処理を行うことを意味している。
　また、Ｓ２５の処理により得られた画像に対して、Ｓｏｂｅｌラプラシアンフィルタを行い、画像中からエッジ（明度変化の激しい部分）を抽出し、エッジ部分は白色に、それ以外は黒色に変換する（Ｓ２６）。
　次に、Ｓｏｂｅｌラプラシアンフィルタで得られたエッジを一回り太いものに膨張させる膨張処理を行う（Ｓ２７）。具体的には、例えば、得られたエッジを上下左右に３ピクセル（ｐｘ）ずつ外側に向けて広げる。
　その後、Ｓ２２の処理にて得られた画像（エッジ＋コード画像）から、Ｓ２７の処理にて得られた背景画像（背景画像のエッジ）を引く差分処理を行う（Ｓ２８）。これにより、非可視化情報の画像のみを抽出することができる。
　次に、Ｓ２８の処理にて得られた画像から画像に含まれるノイズ成分を取り除くメディアンフィルタ処理を行う（Ｓ２９）。具体的には、例えば注目画素の周りの３×３＝９画素の中の中央値を注目画素の値と置き換える。
　そして、Ｓ２９のメディアンフィルタ処理が終わった時点で画像から非可視化情報を抽出する（Ｓ３０）。具体的には、Ｓ２９のメディアンフィルタ処理が終わった時点では、非可視化情報のみが含まれているため、非可視化情報を抽出し、（１）形状（四角形）抽出、（２）射影変換、（３）コードの「１」、「０」判定の３つを行う。
　ここで、上記（１）形状抽出では、例えば画像中から四角形（コード）の四隅の座標を算出する処理を行う。なお、算出する座標の位置については四角形に限定されるものではなく、予め設定される形状に応じて適宜設定することができ、例えば三角形や星型等であれば各頂点の座標を算出するようにする。
　また、上記（２）射影変換では、得られた四点の座標を用いて、歪んだコードを正方形に戻す処理を行う。更に、上記（３）コードの「１」、「０」判定では、コードに含まれるデータビットが「１」であるか「０」であるかを判定する処理を行う。具体的には、１ｂｉｔを構成するブロックに含まれるピクセルのうち、黒ピクセルの方が多ければ「０」と判定し、白ピクセルの方が多ければ「１」と判定する。上述したような処理を行うことにより、撮影画像に含まれる１又は複数の非可視化情報を高精度に取得することができる。
　次に、図１５は、実際の非可視化情報を抽出する例を示す。図１５に示す例では、「Ｒ」の文字画像（Ｉｍａｇｅ）に対して非可視化情報（Ｃｏｄｅ）が埋め込まれている撮影画像から非可視化情報を抽出する例を示している。
　図１５（ａ）に示す撮影画像からエッジ検出を行い、図１５（ｂ）に示すコード（Ｃｏｄｅ）＋イメージエッジ（Ｉｍａｇｅ　ｅｄｇｅｓ）の画像を取得する。また、図１５（ａ）に示す撮影画像からコード除去（Ｃｏｄｅ　ｒｅｍｏｖａｌ）を行い、図１５（ｃ）に示すように、イメージからコード部分を取り除いた画像（Ｉｍａｇｅ－Ｃｏｄｅ）を取得する。
　また、図１５（ｃ）に示す画像（Ｉｍａｇｅ－Ｃｏｄｅ）に対して、エッジ検出を行い、図１５（ｄ）に示すように、イメージエッジからコードを取り除いた画像（Ｉｍａｇｅ　ｅｄｇｅｓ－Ｃｏｄｅ）を取得する。
　次に、図１５（ｂ）に示す画像と図１５（ｄ）に示す画像との差分を取ることにより、図１５（ｅ）に示すようなコード（Ｃｏｄｅ）を取得することができる。なお、図１４におけるＳ２３～Ｓ２５の処理で得られた結果が図１５（ｃ）に対応し、Ｓ２７の処理で得られた結果が図１５（ｄ）に対応し、図２９の処理で得られた結果が図１５（ｅ）に対応している。
　上記の手法により本実施形態において撮影画像から非可視化情報を高精度に抽出することができる。なお、上記の非可視化情報の抽出処理は、撮影された画像全体に対して行ってもよく、予め非可視化情報が埋め込まれている画像の位置が特定されているのであれば、その特定領域のみに対して上記の抽出処理を行ってもよい。
　次に、図１６は、非可視化情報の認識結果の一例を示す。図１６に示すように、本実施形態では、例えば非可視化情報が合成された合成画像８１にＨＰＦによるフィルタリング処理を行うことにより、非可視化情報認識装置３０における表示情報生成手段により、図１６に示すように２次元コードを原画像に表示させることもでき、この情報を読み取って２次元コードの中身の情報を表示させることもできる。
　次に、図１７Ａ～図１７Ｈは、それぞれ非可視化情報が付加された画像例を示す。図１７Ａ～図１７Ｈに示される各領域９１内には、非可視化情報が埋め込まれている。このように、本実施形態を適用することで、非可視化情報を画像中の適切な場所にのみ付加して、画像中の一部に映し出されている物体等に関する詳細情報等を的確に提供することができる。
　なお、図１７Ａ～図１７Ｃに示す画像に付加された領域９１内に示される非可視化情報のコードには、例えば、その商品の名称、材料、味の評価、価格、販売しているお店に関する情報、又はその情報が蓄積されたサーバ等へのアドレス情報（例えば、ＵＲＬ等）を蓄積することができる。また、図１７Ｄに示す画像に付加された領域９１内に示される非可視化情報のコードには、例えば、その花の名称、撮影場所、咲く時期等の情報を蓄積することができる。また、図１７Ｅに示す画像に付加された領域９１内に示される非可視化情報のコードには、例えば、その彫刻の名前、撮影場所、設置した由来等の情報を蓄積することができる。更に、図１７Ｆに示す画像に付加された領域９１内に示される非可視化情報のコードには、例えば、その飛行機の名称や飛行速度、撮影場所等の情報を蓄積することができる。
　また、図１７Ｇと図１７Ｈは、それぞれ同一の画像を示しているが、それぞれの領域９１内には、異なる手法で生成された非可視化情報のコードが埋め込まれている。具体的には、図１７Ｇの領域９１内には、上記の高周波部と低周波部とを用いて生成された非可視化情報のコードが埋め込まれており、図１７Ｈの領域９１内には、高周波部のみを用いて生成された非可視化情報が埋め込まれている。つまり、図１７Ｇに示す低周波部と高周波部とを含む非可視化情報のコードの場合、原画像によっては低周波部に画像のボケが発生する場合がある。そのため、図１７Ｈに示すように高周波部のみを用いた非可視化情報のコードを用いることで、より見え難い非可視化情報を原画像に埋め込むことができる。
　なお、本実施形態においては、１つの画像中に複数の非可視化情報を部分的に付加させることができる。また、本実施形態における非可視化情報が付加可能な対象は、テレビ画面やパソコン画面等に映し出される画像だけでなく、例えば画面に表示される映像や、紙、カード、ハガキ、ポスター等の各種印刷媒体等に対しても適用することができる。
　更に、コードの面積が大きい方が、埋め込めるデータ量も大きくなるため、本実施形態では、埋め込むデータ量に応じて、原画像に埋め込むコードのサイズや数を適宜調整することができる。
　図１８は、非可視化情報の他の実施例を示す。図１８の例では、高周波部又は低周波部の何れか一方を黒色等の所定の色でカラー表示する。このように、他の文字情報を直接非可視化情報として埋め込んでおくことで、埋め込まれた文字（図１８の例では、「ＲＩＴＳ」）をそのまま表示情報として出力することができる。また、図１８に示す手法を用いることで、例えば上記のコードＩＤ等をキーとして対応する付加情報を検索して取得するといった処理を行う必要がなく、迅速に付加情報を画面に表示することができる。
　次に、本実施形態である周波数法と、従来手法である埋め込み情報が埋め込まれた画像と原画像との差分情報から情報を取得する差分法とを比較した結果について説明する。図１９は、比較結果の一例を示す。なお、図１９の例では、本実施形態における低周波部と高周波部とを用いてコード化された非可視化情報を生成する手法を図１９に示す周波数法とした。
　また、図１９において、読取時間とは、コード部を認識してからデコードが完了するまでの時間である。また、実行命令数とは、一例として「Ｉｎｔｅｌ　ｃｏｒｅ　２　ｄｕｏ」のＭＩＰＳ（Ｍｉｌｌｉｏｎ　Ｉｎｓｔｒｕｃｔｉｏｎｓ　Ｐｅｒ　Ｓｅｃｏｎｄ）を２２，０５８Ｍとしたときの値である。
　図１９に示すように、本実施形態によれば、読取時間、実行命令数、ＣＰＵ使用率、メモリ使用量の全てにおいて、差分法よりも良好な結果を得ることができた。
　また、図１９には示していないが、例えば高周波部のみを用いて生成した非可視化情報のオードの場合、その読取時間は、０．２７２秒（実行時間）であった。なお、そのときの実行環境は、ＯＳがＭａｃＯＳＸ１０．６、ＣＰＵが２ＧＨｚ　Ｃｏｒｅ　２　Ｄｕｏ、メモリが２Ｇバイトである。これにより、高周波部又は低周波部の一方のみを用いた場合にも効率的且つ適切に撮影画像からコードを読み取ることができる。
　次に、本実施形態を適用した非可視化情報を付加した画像に対する非可視化確認試験の結果について説明する。図２０Ａ及び図２０Ｂは、非可視化確認試験に用いた画像を示す。図２０Ａは、まだ非可視化情報が埋め込まれていない画像を示し、図２０Ｂは、本実施形態における非可視化情報である２次元コードが埋め込まれている画像を示す。図２０Ｂの画像に付加された２次元コードは、図６に示す画像５０の非可視化情報５６－１～５６－３と同様の位置に付加されている。
　この確認試験では、被験者９名に対して、コードなし画像（図２０Ａ）と、コード（２５ｍｍ×２５ｍｍ）入り画像（図２０Ｂ）（それぞれのサイズは、１８０ｍｍ×１３５ｍｍ）を並べてモニタ上に表示し、１ｍ離れた所から１５秒間見て、２枚の間に差を申告させた。
　その結果、９人中１人が「キーボードの上に横線が入っている」と答えた。また、その他８人は、「違いが分からない」と答えた。なお、同じ画像を本実施形態における非可視化情報認識装置３０を通して見た所、非可視化情報（マーカー）が見えることが確認された。
　上述したように本発明によれば、効率的な情報の取得により付加価値性に優れた高精度な画像を提供することができる。
　以上、本発明の好ましい実施形態について記述したが、本発明はかかる特定の実　施形態に限定されるものではなく、特許請求の範囲内に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
　本国際出願は、２００９年１２月８日に出願された日本国特許出願第２００９－２７８８８３号、及び２０１０年８月２７日に出願された日本国特許出願第２０１０－１９１２６７号に基づく優先権を主張するものであり、日本国特許出願第２００９－２７８８８３号及び日本国特許出願第２０１０－１９１２６７号の全内容を本国際出願に援用する。

Claims (14)

  1. 　取得した画像の所定の位置に非可視化情報を埋め込む非可視化情報埋込装置において、
    　前記画像に含まれる物体情報及び位置情報を取得する画像解析手段と、
    　前記画像解析手段により得られた物体情報から前記画像が埋め込み対象の画像であるかを判定する埋込対象画像判定手段と、
    　前記埋込対象画像判定手段により得られる判定結果に基づいて、前記画像に前記非可視化情報を合成する画像合成手段と、を有することを特徴とする非可視化情報埋込装置。
  2. 　前記画像合成手段により合成される前記非可視化情報の形態を設定する非可視化情報設定手段と、
    　前記非可視化情報設定手段により設定された非可視化情報から合成用の画像を生成する非可視化情報生成手段と、を有することを特徴とする請求項１に記載の非可視化情報埋込装置。
  3. 　前記非可視化情報設定手段は、
    　前記非可視化情報の形態を２次元コードとし、前記２次元コードのコード部を原画像の明度に対する低周波部及び高周波部の少なくとも一方で構成することを特徴とする請求項２に記載の非可視化情報埋込装置。
  4. 　前記画像合成手段は、
    　前記画像解析手段により取得される物体の位置情報に基づいて、前記物体に対応する非可視化情報を合成することを特徴とする請求項１に記載の非可視化情報埋込装置。
  5. 　取得した画像に含まれる非可視化情報を認識する非可視化情報認識装置において、
    　前記画像から非可視化情報を抽出する非可視化情報抽出手段と、
    　前記非可視化情報抽出手段により前記非可視化情報が抽出された場合、前記非可視化情報から得られる前記画像に含まれる物体の付加情報を解析する非可視化情報解析手段と、
    　前記非可視化情報解析手段により得られる付加情報から画面に表示する表示情報を生成する表示情報生成手段と、を有することを特徴とする非可視化情報認識装置。
  6. 　前記非可視化情報抽出手段は、前記画像を所定の周波数を用いてフィルタリング処理を行い、取得した周波数に対応する領域から非可視化情報を抽出することを特徴とする請求項５に記載の非可視化情報認識装置。
  7. 　取得した画像の所定の位置に非可視化情報を埋め込む非可視化情報埋込方法において、
    　前記画像に含まれる物体情報及び位置情報を取得する画像解析ステップと、
    　前記画像解析ステップにより得られた物体情報から前記画像が埋め込み対象の画像であるかを判定する埋込対象画像判定ステップと、
    　前記埋込対象画像判定ステップにより得られる判定結果に基づいて、前記画像に前記非可視化情報を合成する画像合成ステップと、を有することを特徴とする非可視化情報埋込方法。
  8. 　前記画像合成ステップにより合成される前記非可視化情報の形態を設定する非可視化情報設定ステップと、
    　前記非可視化情報設定ステップにより設定された非可視化情報から合成用の画像を生成する非可視化情報生成ステップと、を有することを特徴とする請求項７に記載の非可視化情報埋込方法。
  9. 　前記非可視化情報設定ステップは、
    　前記非可視化情報の形態を２次元コードとし、前記２次元コードのコード部を原画像の明度に対する低周波部及び高周波部の少なくとも一方で構成することを特徴とする請求項８に記載の非可視化情報埋込方法。
  10. 　前記画像合成ステップは、前記画像解析ステップにより取得される物体の位置情報に基づいて、前記物体に対応する非可視化情報を合成することを特徴とする請求項７に記載の非可視化情報埋込方法。
  11. 　取得した画像に含まれる非可視化情報を認識する非可視化情報認識方法において、
    　前記画像から非可視化情報を抽出する非可視化情報抽出ステップと、
    　前記非可視化情報抽出ステップにより前記非可視化情報が抽出された場合、前記非可視化情報から得られる前記画像に含まれる物体の付加情報を解析する非可視化情報解析ステップと、
    　前記非可視化情報解析ステップにより得られる付加情報から画面に表示する表示情報を生成する表示情報生成ステップと、を有することを特徴とする非可視化情報認識方法。
  12. 　前記非可視化情報抽出ステップは、前記画像を所定の周波数を用いてフィルタリング処理を行い、取得した周波数に対応する領域から非可視化情報を抽出し、抽出した領域を所定の画素ですることを特徴とする請求項１１に記載の非可視化情報認識方法。
  13. 　コンピュータに、請求項７に記載の非可視化情報埋込方法を実行させるためのプログラムを記録したコンピュータ読み取り可視な記録媒体。
  14. 　コンピュータに、請求項１１に記載の非可視化情報認識方法を実行させるためのプログラムを記録したことを特徴とするコンピュータ読み取り可視な記録媒体。
PCT/JP2010/072039 2009-12-08 2010-12-08 非可視化情報埋込装置、非可視化情報認識装置、非可視化情報埋込方法、非可視化情報認識方法、及び記録媒体 WO2011071081A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US13/514,108 US8891815B2 (en) 2009-12-08 2010-12-08 Invisible information embedding apparatus, invisible information detecting apparatus, invisible information embedding method, invisible information detecting method, and storage medium
EP10836001.7A EP2512115B1 (en) 2009-12-08 2010-12-08 Invisible information embedding device, invisible information recognition device, invisible information embedding method, invisible information recognition method, and recording medium
CN2010800555503A CN102648623A (zh) 2009-12-08 2010-12-08 非可视化信息嵌入装置、非可视化信息识别装置、非可视化信息嵌入方法、非可视化信息识别方法、及存储介质
KR1020127014595A KR101285648B1 (ko) 2009-12-08 2010-12-08 비가시화정보 임베딩장치, 비가시화정보 인식장치, 비가시화정보 임베딩방법, 비가시화정보 인식방법 및 기록매체

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009-278883 2009-12-08
JP2009278883 2009-12-08
JP2010191267A JP5021061B2 (ja) 2009-12-08 2010-08-27 非可視化情報埋込装置、非可視化情報認識装置、非可視化情報埋込方法、非可視化情報認識方法、非可視化情報埋込プログラム、及び非可視化情報認識プログラム
JP2010-191267 2010-08-27

Publications (1)

Publication Number Publication Date
WO2011071081A1 true WO2011071081A1 (ja) 2011-06-16

Family

ID=44145626

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/072039 WO2011071081A1 (ja) 2009-12-08 2010-12-08 非可視化情報埋込装置、非可視化情報認識装置、非可視化情報埋込方法、非可視化情報認識方法、及び記録媒体

Country Status (6)

Country Link
US (1) US8891815B2 (ja)
EP (1) EP2512115B1 (ja)
JP (1) JP5021061B2 (ja)
KR (1) KR101285648B1 (ja)
CN (1) CN102648623A (ja)
WO (1) WO2011071081A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2791883B1 (en) * 2011-12-14 2020-01-01 Sony Corporation Information processing device, information processing method and program

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6001275B2 (ja) * 2012-02-15 2016-10-05 学校法人立命館 非可視化情報埋込装置、非可視化情報埋込方法、及び非可視化情報埋込プログラム
JP5986422B2 (ja) * 2012-05-15 2016-09-06 学校法人立命館 オブジェクト抽出方法、オブジェクト抽出装置、及びオブジェクト抽出プログラム
CN103886548B (zh) * 2013-07-04 2017-09-15 百度在线网络技术（北京）有限公司 一种用于将二维码与图像融合的方法和装置
US20150026608A1 (en) * 2013-07-17 2015-01-22 Marvell World Trade Ltd. Systems and Methods for Application Management on Mobile Devices
JP6152787B2 (ja) 2013-11-29 2017-06-28 富士通株式会社 情報埋め込み装置、情報検出装置、情報埋め込み方法、及び情報検出方法
JP5536951B1 (ja) * 2013-12-26 2014-07-02 進 辻 表示コードが付された物品、表示コード読取装置および情報伝達方法
CN103886628B (zh) * 2014-03-10 2017-02-01 百度在线网络技术（北京）有限公司 二维码图像生成方法和装置
CN103886353B (zh) * 2014-03-10 2017-02-01 百度在线网络技术（北京）有限公司 二维码图像的生成方法和装置
JP2017168925A (ja) * 2016-03-14 2017-09-21 ソニー株式会社 信号処理装置、撮像装置および信号処理方法
JP6296319B1 (ja) * 2016-09-30 2018-03-20 国立大学法人 奈良先端科学技術大学院大学 情報処理装置、表示方法、読取方法、およびコンピュータ読み取り可能な非一時的記憶媒体
CN109792472B (zh) * 2016-10-12 2020-11-03 富士通株式会社 信号调整程序、信号调整装置以及信号调整方法
JP6934645B2 (ja) * 2017-01-25 2021-09-15 国立研究開発法人産業技術総合研究所 画像処理方法
JP7159911B2 (ja) * 2019-02-27 2022-10-25 京セラドキュメントソリューションズ株式会社 画像処理装置及び画像形成装置
CN112560530B (zh) * 2020-12-07 2024-02-23 北京三快在线科技有限公司 一种二维码处理方法、设备、介质及电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1141453A (ja) * 1997-07-24 1999-02-12 Nippon Telegr & Teleph Corp <Ntt> 電子透かし埋め込み読み出し処理方法，電子透かし埋め込み処理プログラム記憶媒体および電子透かし読み出し処理プログラム記憶媒体
JP2000082107A (ja) 1998-06-30 2000-03-21 Sony Corp 画像処理装置、画像処理方法、および媒体
JP2002032076A (ja) 2000-07-19 2002-01-31 Atr Media Integration & Communications Res Lab 楽器インタフェース
JP2002118736A (ja) * 2000-10-10 2002-04-19 Konica Corp 電子透かし挿入装置および電子透かし抽出装置ならびに電子透かしシステム
JP2005142836A (ja) * 2003-11-06 2005-06-02 Hitachi Ltd 電子透かし埋め込みプログラム及び情報処理装置
WO2005074248A1 (ja) 2004-02-02 2005-08-11 Nippon Telegraph And Telephone Corporation 電子透かし埋め込み装置、電子透かし検出装置、及びそれらの方法、並びにプログラム
WO2007015452A1 (ja) 2005-08-04 2007-02-08 Nippon Telegraph And Telephone Corporation 電子透かし埋め込み方法、電子透かし埋め込み装置、電子透かし検出方法、電子透かし検出装置、及びプログラム
JP2009278883A (ja) 2008-05-20 2009-12-03 Marusho:Kk ガゴメ昆布食品の製造方法およびガゴメ昆布食品
JP2010191267A (ja) 2009-02-19 2010-09-02 Fuji Xerox Co Ltd 画像表示媒体および画像表示装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8379908B2 (en) * 1995-07-27 2013-02-19 Digimarc Corporation Embedding and reading codes on objects
US6411725B1 (en) * 1995-07-27 2002-06-25 Digimarc Corporation Watermark enabled video objects
WO2001080169A1 (en) * 2000-04-17 2001-10-25 Digimarc Corporation Authentication of physical and electronic media objects using digital watermarks
JP3431593B2 (ja) * 2000-10-31 2003-07-28 株式会社東芝 コンテンツ生成装置、電子透かし検出装置、コンテンツ生成方法、電子透かし検出方法及び記録媒体
EP1461760B1 (en) 2001-11-30 2009-08-19 International Barcode Corporation System and method for validating a digital image and corresponding data
JP2004178446A (ja) * 2002-11-28 2004-06-24 Ntt Docomo Inc 特定領域抽出装置及び特定領域抽出方法
EP1612710B1 (en) * 2003-04-07 2015-11-11 Vodafone Group PLC Information processing method
US7796776B2 (en) * 2004-03-29 2010-09-14 Panasonic Corporation Digital image pickup device, display device, rights information server, digital image management system and method using the same
JP4309428B2 (ja) * 2004-07-15 2009-08-05 三菱電機株式会社 情報処理装置及び情報処理方法
JP4701245B2 (ja) * 2005-07-04 2011-06-15 インターナショナル・ビジネス・マシーンズ・コーポレーション 不可視情報を印刷するためのデータを生成するためのシステム、方法、プログラム、および不可視情報が印刷された物理的媒体を製造する方法
JP4676852B2 (ja) * 2005-09-22 2011-04-27 日本放送協会 コンテンツ送信装置
JP4645457B2 (ja) * 2006-01-24 2011-03-09 富士ゼロックス株式会社 透かし入り画像生成装置、透かし入り画像解析装置、透かし入り画像生成方法、媒体及びプログラム
US8090141B2 (en) * 2006-01-31 2012-01-03 Xerox Corporation System and method to automatically establish preferred area for image-wise watermark
CN101473644A (zh) * 2006-06-19 2009-07-01 松下电器产业株式会社 信息植入装置及检测装置
JP2008172662A (ja) * 2007-01-15 2008-07-24 Seiko Epson Corp 画像データ変換装置および画像データ変換方法
JP4697189B2 (ja) * 2007-05-30 2011-06-08 村田機械株式会社 デジタル複合機
CN101072340B (zh) 2007-06-25 2012-07-18 孟智平 流媒体中加入广告信息的方法与系统
US20090050700A1 (en) * 2007-08-26 2009-02-26 Noboru Kamijoh Adding and detecting bar code printed with ink invisible to human eye onto printed medium
JP2009088614A (ja) * 2007-09-27 2009-04-23 Toshiba Corp 画像処理方法および画像処理装置
US20100045701A1 (en) * 2008-08-22 2010-02-25 Cybernet Systems Corporation Automatic mapping of augmented reality fiducials
CN101504760A (zh) * 2009-02-27 2009-08-12 上海师范大学 一种数字图像隐密信息检测与定位的方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1141453A (ja) * 1997-07-24 1999-02-12 Nippon Telegr & Teleph Corp <Ntt> 電子透かし埋め込み読み出し処理方法，電子透かし埋め込み処理プログラム記憶媒体および電子透かし読み出し処理プログラム記憶媒体
JP2000082107A (ja) 1998-06-30 2000-03-21 Sony Corp 画像処理装置、画像処理方法、および媒体
JP2002032076A (ja) 2000-07-19 2002-01-31 Atr Media Integration & Communications Res Lab 楽器インタフェース
JP2002118736A (ja) * 2000-10-10 2002-04-19 Konica Corp 電子透かし挿入装置および電子透かし抽出装置ならびに電子透かしシステム
JP2005142836A (ja) * 2003-11-06 2005-06-02 Hitachi Ltd 電子透かし埋め込みプログラム及び情報処理装置
WO2005074248A1 (ja) 2004-02-02 2005-08-11 Nippon Telegraph And Telephone Corporation 電子透かし埋め込み装置、電子透かし検出装置、及びそれらの方法、並びにプログラム
WO2007015452A1 (ja) 2005-08-04 2007-02-08 Nippon Telegraph And Telephone Corporation 電子透かし埋め込み方法、電子透かし埋め込み装置、電子透かし検出方法、電子透かし検出装置、及びプログラム
JP2009278883A (ja) 2008-05-20 2009-12-03 Marusho:Kk ガゴメ昆布食品の製造方法およびガゴメ昆布食品
JP2010191267A (ja) 2009-02-19 2010-09-02 Fuji Xerox Co Ltd 画像表示媒体および画像表示装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2512115A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2791883B1 (en) * 2011-12-14 2020-01-01 Sony Corporation Information processing device, information processing method and program

Also Published As

Publication number Publication date
US8891815B2 (en) 2014-11-18
EP2512115B1 (en) 2016-10-19
KR20120128600A (ko) 2012-11-27
EP2512115A4 (en) 2013-03-06
US20120237079A1 (en) 2012-09-20
EP2512115A1 (en) 2012-10-17
JP2011142607A (ja) 2011-07-21
CN102648623A (zh) 2012-08-22
JP5021061B2 (ja) 2012-09-05
KR101285648B1 (ko) 2013-07-12

Similar Documents

Publication Publication Date Title
JP5021061B2 (ja) 非可視化情報埋込装置、非可視化情報認識装置、非可視化情報埋込方法、非可視化情報認識方法、非可視化情報埋込プログラム、及び非可視化情報認識プログラム
CN103038781B (zh) 隐藏图像信号发送
JP4972712B1 (ja) 非可視化情報を用いたコンテンツ提供システム、非可視化情報の埋込装置、認識装置、埋込方法、認識方法、埋込プログラム、及び認識プログラム
JP2017108401A5 (ja) スマートフォンベースの方法、スマートフォン及びコンピュータ可読媒体
CN106355153A (zh) 一种基于增强现实的虚拟对象显示方法、装置以及系统
US10469701B2 (en) Image processing method that obtains special data from an external apparatus based on information multiplexed in image data and apparatus therefor
KR20120019331A (ko) 인스턴트 마커를 이용한 증강 현실 장치 및 방법
US9626934B2 (en) Display format using display device for machine-readable dot patterns
TWI744962B (zh) 資訊處理裝置、資訊處理系統、資訊處理方法、及程式產品
Liu et al. Toward a two-dimensional barcode with visual information using perceptual shaping watermarking in mobile applications
JP6001275B2 (ja) 非可視化情報埋込装置、非可視化情報埋込方法、及び非可視化情報埋込プログラム
CN111640190A (zh) Ar效果的呈现方法、装置、电子设备及存储介质
CN108712570B (zh) 增强智能移动设备检测隐藏图像的实况性与真实性的方法
CN114549270A (zh) 结合深度鲁棒水印和模板同步的抗拍摄监控视频水印方法
JP2014219822A (ja) コンテンツ表示装置、コンテンツ表示方法、プログラム、及び、コンテンツ表示システム
CN115578715A (zh) 图像生成方法及车辆
KR20160038193A (ko) 명함 또는 브로슈어를 통해 제공되는 증강 현실 컨텐츠를 이용한 기업 소개 방법 및 프로그램
KR20170058517A (ko) 증강 현실을 이용한 포토존 촬영 장치
JP6166767B2 (ja) 機械可読ドットパターン
GB2535727A (en) Interactive information system
Zhu et al. Systolic array implementations for Chebyshev nonuniform sampling
Bernstein et al. Subliminal: A System for Augmenting Images with Steganography
JP2015056041A (ja) 画像生成システム、画像生成方法、画像生成プログラム、視線予測システム、視線予測方法、および視線予測プログラム
JP2005104003A (ja) 隠し情報を含む印刷物、および隠し情報処理装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080055550.3

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10836001

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20127014595

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13514108

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2010836001

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2010836001

Country of ref document: EP