WO2013080727A1 - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
WO2013080727A1
WO2013080727A1 PCT/JP2012/077970 JP2012077970W WO2013080727A1 WO 2013080727 A1 WO2013080727 A1 WO 2013080727A1 JP 2012077970 W JP2012077970 W JP 2012077970W WO 2013080727 A1 WO2013080727 A1 WO 2013080727A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information code
color
unit
component
Prior art date
Application number
PCT/JP2012/077970
Other languages
English (en)
French (fr)
Inventor
正道 飛鳥井
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201280058072.0A priority Critical patent/CN103959304A/zh
Priority to US14/352,845 priority patent/US9262663B2/en
Publication of WO2013080727A1 publication Critical patent/WO2013080727A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1426—Multi-level bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/146—Methods for optical code recognition the method including quality enhancement steps
    • G06K7/1491—Methods for optical code recognition the method including quality enhancement steps the method including a reconstruction step, e.g. stitching two pieces of bar code together to derive the full bar code
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, and a program.
  • the use of information codes such as two-dimensional barcodes has become widespread.
  • the information code when the information code is printed on a paper medium and a captured image of the information code is obtained by the imaging device, the information code can be recognized by image recognition, and information according to the recognition result can be obtained. .
  • an information code composed of a plurality of colors and a reader for such an information code are also known.
  • the information code By forming the information code with a plurality of colors, for example, more information can be handled.
  • the present disclosure proposes a new and improved image processing apparatus, image processing method, and program capable of obtaining different recognition results from the same information code depending on the environment.
  • an image composition unit that generates a composite image by combining a plurality of color images having different color components acquired by imaging, and an information code formed by a plurality of cells is recognized from the composite image.
  • An image processing apparatus is provided.
  • a composite image is generated by combining a plurality of color images having different color components acquired by imaging, and an information code formed by a plurality of cells is recognized from the composite image. And an image processing method is provided.
  • the computer is formed by an image composition unit that generates a composite image by combining a plurality of color images having different color components acquired by imaging, and a plurality of cells from the composite image. And a program for functioning as a code recognition unit for recognizing the information code.
  • FIG. 3 is a functional block diagram illustrating a configuration of a mobile terminal according to the first embodiment of the present disclosure.
  • FIG. It is explanatory drawing which showed the specific example of the production
  • a plurality of constituent elements having substantially the same functional configuration may be distinguished by adding different alphabets after the same reference numeral.
  • it is not necessary to particularly distinguish each of a plurality of constituent elements having substantially the same functional configuration only the same reference numerals are given.
  • the image processing apparatus (portable terminal 20) according to each embodiment A: an image composition unit (230, 232) that composes a plurality of color images having different color components acquired by imaging and generates a composite image; B: a code recognition unit (250) for recognizing an information code formed by a plurality of cells from the composite image; Is provided.
  • FIG. 1 is an explanatory diagram illustrating an application example of the embodiment of the present disclosure.
  • the embodiment of the present disclosure is applied to the mobile terminal 20 that images the information code C. More specifically, the mobile terminal 20 includes a display unit 22 and displays the content 16 corresponding to the captured information code C on the display unit 22.
  • a birthday cake is shown as the content 16 corresponding to the information code C, but the content corresponding to the information code C is not particularly limited.
  • the content corresponding to the information code C may be text, a still image, a moving image, audio, or the like, or guidance information or advertisement information for the user.
  • a smartphone is shown as the mobile terminal 20 which is an example of the image processing apparatus, but the image processing apparatus is not limited to such an example.
  • the image processing device may be an information processing device such as a PC (Personal Computer), a home video processing device (DVD recorder, VCR, etc.), a PDA (Personal Digital Assistant), a home game device, or a home appliance. Good.
  • the image processing apparatus may be an information processing apparatus such as a mobile phone, a PHS (Personal Handyphone System), a portable music playback device, a portable video processing device, or a portable game device.
  • FIG. 2 is an explanatory diagram showing a configuration example of the information code C.
  • the information code C mainly includes a logo mark cell 42, corner cells 44A to 44D, and a data area 46.
  • the mobile terminal 20 recognizes the information code C based on the cell arrangement pattern in the data area 46 after recognizing the logo mark cell 42 and the corner cells 44A to 44D.
  • the information code C is composed of a plurality of cells having different colors, for example.
  • different recognition results can be obtained from the same information code depending on the environment. For example, it is possible to obtain different recognition results when the information code C is under a fluorescent lamp and under an incandescent lamp, or during daytime and sunset. As a result, the mobile terminal 20 can present different content to the user depending on the environment.
  • Such an information code C is printed on a paper medium, for example.
  • the paper medium include posters, business cards, playing cards, calendars, receipts, copy paper backing paper, and flyers.
  • the mobile terminal 20 recognizes the information code C based on the reflected light from the information code C. Therefore, prior to description of each embodiment of the present disclosure, the relationship between incident light and reflected light will be clarified with reference to FIG.
  • FIG. 3 is an explanatory diagram showing a Lambertian diffuse reflection model.
  • the light source color is color and the reflection coefficient which is the surface color of the target point P is Kd
  • the reflected light I from the target point P is expressed by the following formula 1.
  • Equation 2 Equation 2
  • reflected light is generated when the surface color Kd component is included in the light source color Color.
  • the light source color is red and the surface color Kd is red
  • reflected light is generated, so that the target point P looks bright.
  • the light source color is red and the surface color Kd is blue
  • no reflected light is generated, so the target point P looks black.
  • FIG. 4 is a functional block diagram illustrating a configuration of the mobile terminal 20-1 according to the first embodiment of the present disclosure.
  • the mobile terminal 20-1 according to the first embodiment includes an imaging unit 216, a binarization unit 220, an image synthesis unit 230, a storage unit 240, a code recognition unit 250, A control unit 260, an audio output unit 270, and a display unit 22 are provided.
  • the imaging unit 216 captures a subject and acquires a captured image.
  • the imaging unit 216 includes an imaging optical system such as an imaging lens and a zoom lens, and an imaging element such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
  • an imaging optical system such as an imaging lens and a zoom lens
  • an imaging element such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
  • the photographing optical system condenses light emitted from the subject and forms a subject image on the imaging surface of the photographing element.
  • the image sensor converts a subject image formed by the photographing optical system into an electrical image signal.
  • the imaging element is composed of an R component (red) light receiving element, a G component (green) light receiving element, and a B component (blue) light receiving element, and an R image that is a detection result of the R component by the light receiving elements of each color component.
  • a G image that is the detection result of the G component and a B image that is the detection result of the B component are obtained.
  • the color image acquired by the imaging unit 216 is another color image. May be included.
  • the binarization unit 220 binarizes each pixel value of each of the R image, G image, and B image input from the imaging unit 216. For example, the binarization unit 220 sets a pixel value that is less than the threshold to “0” and a pixel value that is equal to or greater than the threshold to “1”. Then, the binarization unit 220 outputs the binarized R image, G image, and B image to the image synthesis unit 230.
  • the image composition unit 230 synthesizes the R image, the G image, and the B image input from the binarization unit 220 to generate a composite image. Details will be described in “2-2. Specific Example of Image Composition”.
  • the image composition unit 230 performs color detection areas in each of the R image, G image, and B image, that is, “1” by the binarization unit 220.
  • a composite image is generated by the logical sum of the pixel areas set to “”.
  • the storage unit 240 is a storage medium that stores information codes and contents in association with each other.
  • the storage unit 240 stores the cell arrangement pattern in the data area of the information code in association with the content.
  • Such a storage unit 240 may be a storage medium such as a nonvolatile memory, a magnetic disk, an optical disk, and an MO (Magneto Optical) disk.
  • the non-volatile memory include a flash memory, an SD card, a micro SD card, a USB memory, an EEPROM (Electrically Erasable Programmable Read-Only Memory), and an EPROM (Erasable Programmable ROM).
  • Examples of the magnetic disk include a hard disk and a disk type magnetic disk.
  • Examples of the optical disk include a CD (Compact Disc), a DVD (Digital Versatile Disc), and a BD (Blu-Ray Disc (registered trademark)).
  • the code recognition unit 250 recognizes an information code from the composite image generated by the image composition unit 230. Specifically, the code recognition unit 250 recognizes the logo mark cell 42 of the information code, recognizes the corner cells 44A to 44D, and then recognizes the cell arrangement pattern in the data area 46. Then, the code recognition unit 250 acquires content corresponding to the cell arrangement pattern in the data area 46 from the storage unit 240.
  • the technique described in JP-A-2000-82108 can be used.
  • the above information code recognition processing and content acquisition processing can be realized by cloud computing. That is, the mobile terminal 20 may transmit the composite image to a processing server on the network, the processing server may recognize the information code from the composite image, and transmit content corresponding to the information code to the mobile terminal 20. Further, the portable terminal 20 can generate a composite image in the processing server by transmitting each color image to the processing server.
  • the control unit 260 controls the presentation of the content acquired by the code recognition unit 250 to the user. For example, when the content includes video, the control unit 260 causes the display unit 22 to display the content. When the content includes audio, the control unit 260 causes the audio output unit 270 to output the content.
  • the audio output unit 270 outputs the content as audio under the control of the control unit 260. For example, when the content is video / audio content indicating that beer is poured, the audio output unit 270 outputs audio when beer is poured.
  • Such an audio output unit 270 may be a speaker, an earphone, a headphone, or the like.
  • the display unit 22 displays content under the control of the control unit 260.
  • the display unit 22 displays the birthday cake 16 as shown in FIG. Note that when the content is superimposed on the captured image, the arrangement position of the content may depend on the position and inclination of the information code C in the captured image.
  • the information code C1 includes a cell 52 composed of a B component, a cell 54 composed of an R component, and a cell 56 composed of a B component, and the other region is black. From the cell 52 and the cell 56 composed of the B component, reflected light of the B component is generated when the B component is included in the incident light according to the Lambert diffuse reflection model. In addition, the R component reflected light is generated from the R component cell 54 according to the Lambertian diffuse reflection model when the incident light includes the R component. In addition, no reflected light is generated from the other areas made of black.
  • the information code C1 is under white light having RGB components as shown in FIG. 5, in the R image that is the detection result of the R component, the cells 52 and 56 made of the B component are formed, The cell 54 made of the R component is not formed. Further, in the G image that is the detection result of the G component, cells 52 and 56 made of the B component and cells 54 made of the R component are formed. Further, in the B image which is the detection result of the B component, the cell 52 and the cell 56 made of the B component are not formed, but the cell 54 made of the R component is formed.
  • the image composition unit 230 since the image composition unit 230 generates a composite image by the logical sum of the color detection regions (regions in which no cells are formed) in each color image, the image composition unit 230 when the information code C1 is under white light. As shown in FIG. 5, none of the cells 52, 54, and 56 is included in the composite image generated by the above.
  • the composite image generated by the logical sum of the color detection areas includes cells 52 and 56 as shown in FIG.
  • the composite image generated by the logical sum of the color detection areas includes cells 52, 54 and 56 as shown in FIG.
  • the composite image generated by the logical sum of the color detection areas includes the cell 54 as shown in FIG.
  • the first image composition example As described above, according to the first image composition example, different composite images are generated according to the environment from the information code C1 including the cells 52 and 56 composed of the B component and the cell 54 composed of the R component. As a result, different recognition results and contents can be obtained from the same information code C1 depending on the environment.
  • the information code C2 includes cells 62 and 64 made of purple, which is a mixed color of the R component and the B component, and the other regions are made of black. From the cells 62 and 64 including the R component and the B component, according to the Lambert diffuse reflection model, when the R component is included in the incident light, reflected light of the R component is generated, and when the B component is included in the incident light. Produces B component reflected light. In addition, no reflected light is generated from the other areas made of black.
  • the cells 62 and 64 including the R component are not formed in the R image that is the detection result of the R component.
  • the B image that is the detection result of the B component the cells 62 and 64 including the B component are not formed.
  • the G image that is the detection result of the G component cells 62 and 64 that do not include the G component are formed.
  • the image composition unit 230 since the image composition unit 230 generates a composite image by the logical sum of the color detection regions (regions in which no cells are formed) in each color image, the image composition unit 230 when the information code C2 is under white light. As shown in FIG. 9, none of the cells 62 and 64 is included in the composite image generated by the above.
  • the composite image generated by the logical sum of the color detection areas includes cells 62 and 64 as shown in FIG.
  • the second image composition example As described above, according to the second image composition example, different composite images are generated according to the environment from the information code C2 including the cells 62 and 64 made of purple, which is a mixed color of the R component and the B component. The As a result, different recognition results and contents can be obtained from the same information code C2 depending on the environment.
  • FIGS. 11 and 12 (Third image composition example: FIGS. 11 and 12) Next, with reference to FIG. 11 and FIG. 12, it will be described that different composite images are obtained in different environments with respect to the information code C3 that does not include the black region.
  • the image composition unit 230 since the image composition unit 230 generates a composite image by the logical sum of the color detection regions (regions in which no cells are formed) in each color image, the image composition unit 230 when the information code C3 is under white light. As shown in FIG. 11, the information code C3 is not included in the composite image generated by the above.
  • the third image composition example As described above, according to the third image composition example, different composite images are generated according to the environment from the information code C3 that does not include the black region. As a result, since the information code C3 is recognized in a specific environment, it is possible to obtain content corresponding to the information code C3 in the specific environment.
  • FIG. 13 is a flowchart showing the operation of the mobile terminal 20-1 according to the first embodiment. As shown in FIG. 13, first, when the imaging unit 216 of the portable terminal 20-1 images the information code C, an R image, a G image, and a B image of the information code C are obtained (S310).
  • the binarization unit 220 binarizes each color image
  • the image synthesis unit 230 synthesizes each binarized color image by the logical sum of the color detection areas (S320).
  • the code recognition unit 250 recognizes the information code from the composite image generated by the image composition unit 230, and acquires the content corresponding to the recognized information code C from the storage unit 240 (S330). And the display part 22 and the audio
  • FIG. 14 is a functional block diagram showing a configuration of the mobile terminal 20-2 according to the second embodiment of the present disclosure.
  • the mobile terminal 20-2 according to the second embodiment includes an imaging unit 216, an image synthesis unit 232, a binarization unit 222, a storage unit 240, a code recognition unit 250, A control unit 260, an audio output unit 270, and a display unit 22 are provided. Since the imaging unit 216, the storage unit 240, the code recognition unit 250, the control unit 260, the audio output unit 270, and the display unit 22 are configured as described in the first embodiment, detailed description thereof is omitted here. To do.
  • the R, G, and B images acquired by the imaging unit 216 are input to the image composition unit 232.
  • the image composition unit 232 generates a composite image by setting a maximum value of pixel values of each color image for each pixel. For example, when the pixel value of the R image of a certain pixel is “30”, the pixel value of the G image is “24”, and the pixel value of the B image is “240”, the image composition unit 232 displays the pixel of the pixel Set the value to “240”.
  • the binarization unit 222 binarizes each pixel value of the composite image generated by the image composition unit 232. For example, the binarization unit 222 sets a pixel value less than the threshold value to “0” and a pixel value greater than or equal to the threshold value to “1”. Then, the binarization unit 222 outputs the binarized composite image to the code recognition unit 250.
  • the same effect as in the first embodiment can be obtained. That is, according to the second embodiment, a composite image equivalent to the composite image shown in FIGS. 5 to 12 can be obtained. Therefore, also in the second embodiment, different recognition results and contents can be obtained from the same information code depending on the environment.
  • FIG. 15 is an explanatory diagram showing a hardware configuration of the mobile terminal 20.
  • the mobile terminal 20 includes a CPU (Central Processing Unit) 201, a ROM (Read Only Memory) 202, a RAM (Random Access Memory) 203, an input device 208, an output device 210, A storage device 211, a drive 212, an imaging device 213, and a communication device 215 are provided.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the CPU 201 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the portable terminal 20 according to various programs. Further, the CPU 201 may be a microprocessor.
  • the ROM 202 stores programs used by the CPU 201, calculation parameters, and the like.
  • the RAM 203 temporarily stores programs used in the execution of the CPU 201, parameters that change as appropriate during the execution, and the like. These are connected to each other by a host bus including a CPU bus.
  • the input device 208 includes input means for a user to input information, such as a mouse, keyboard, touch panel, button, microphone, switch, and lever, and an input control circuit that generates an input signal based on the input by the user and outputs the input signal to the CPU 201. Etc.
  • the user of the mobile terminal 20 can input various data and instruct processing operations to the mobile terminal 20 by operating the input device 208.
  • the output device 210 includes a display device such as a liquid crystal display (LCD) device, an OLED (Organic Light Emitting Diode) device, and a lamp. Furthermore, the output device 210 includes an audio output device such as a speaker and headphones. For example, the display device displays a captured image or a generated image. On the other hand, the audio output device converts audio data or the like into audio and outputs it.
  • a display device such as a liquid crystal display (LCD) device, an OLED (Organic Light Emitting Diode) device, and a lamp.
  • the output device 210 includes an audio output device such as a speaker and headphones.
  • the display device displays a captured image or a generated image.
  • the audio output device converts audio data or the like into audio and outputs it.
  • the storage device 211 is a data storage device configured as an example of a storage unit of the mobile terminal 20 according to the present embodiment.
  • the storage device 211 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like.
  • the storage device 211 stores programs executed by the CPU 201 and various data.
  • the drive 212 is a storage medium reader / writer, and is built in or externally attached to the portable terminal 20.
  • the drive 212 reads information recorded on a removable storage medium 24 such as a mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, and outputs it to the RAM 203.
  • the drive 212 can also write information to the removable storage medium 24.
  • the imaging device 213 includes an imaging optical system such as a photographing lens and a zoom lens that collects light, and a signal conversion element such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
  • the imaging optical system collects light emitted from the subject and forms a subject image in the signal conversion unit, and the signal conversion element converts the formed subject image into an electrical image signal.
  • the imaging device 213 corresponds to the imaging unit 216 illustrated in FIGS. 4 and 14.
  • the communication device 215 is a communication interface configured with, for example, a communication device for connecting to the network 12.
  • the communication device 215 may be a wireless LAN (Local Area Network) compatible communication device, an LTE (Long Term Evolution) compatible communication device, or a wire communication device that performs wired communication.
  • the network 12 is a wired or wireless transmission path for information transmitted from a device connected to the network 12.
  • the network 12 may include a public line network such as the Internet, a telephone line network, and a satellite communication network, various LANs (Local Area Network) including the Ethernet (registered trademark), a WAN (Wide Area Network), and the like.
  • the network 12 may include a dedicated line network such as an IP-VPN (Internet Protocol-Virtual Private Network).
  • each step in the processing of the mobile terminal 20 in the present specification does not necessarily have to be processed in time series in the order described as a flowchart.
  • each step in the processing of the mobile terminal 20 may be processed in an order different from the order described as the flowchart, or may be processed in parallel.
  • An image combining unit that generates a combined image by combining a plurality of color images having different color components acquired by imaging;
  • An image processing apparatus comprising: (2) The image processing device according to (1), wherein the image composition unit generates the composite image by a logical sum of color detection regions in the plurality of color images.
  • the image processing device according to any one of (1) to (3), wherein the code recognition unit recognizes the information code based on an array pattern of the plurality of cells in the composite image.
  • the image processing apparatus according to any one of (1) to (4), further including a control unit that controls provision of content according to a recognition result by the code recognition unit.
  • the image processing apparatus according to any one of (1) to (5), wherein the image combining unit generates the combined image by combining a red image, a green image, and a blue image.
  • the plurality of cells include at least a cell having a first color and a cell having a second color.

Abstract

　撮像によって取得された異なる色成分を有する複数の色画像を合成して合成画像を生成する画像合成部と、前記合成画像から、複数のセルによって形成される情報コードを認識するコード認識部と、を備える、画像処理装置。

Description

画像処理装置、画像処理方法およびプログラム
　本発明は、画像処理装置、画像処理方法およびプログラムに関する。
　近日、画像認識技術の発達に伴い、二次元バーコードのような情報コードの利用が普及している。具体的には、情報コードは例えば紙媒体に印刷され、撮像装置により情報コードの撮像画像が得られると、画像認識により情報コードを認識し、認識結果に応じた情報を得ることが可能となる。
　また、特許文献１～特許文献４に記載されているように、複数色からなる情報コード、および、このような情報コードの読取装置も知られている。情報コードを複数色で形成することにより、例えばより多くの情報を扱うことが可能となる。
特開昭６３－２５５７８３号公報 特開平５－１７４２０４号公報 特開２００２－３４２７０２号公報 特開平１１－３３８９６６号公報
　しかし、上記の情報コードの読取装置によれば、同一の情報コードからは多様な環境において画一的な認識結果が得られる。すなわち、上記の情報コードの読取装置では、同一の情報コードから環境に応じた情報を得ることが困難であった。
　そこで、本開示では、環境に応じて同一の情報コードから異なる認識結果を得ることが可能な、新規かつ改良された画像処理装置、画像処理方法およびプログラムを提案する。
　本開示によれば、撮像によって取得された異なる色成分を有する複数の色画像を合成して合成画像を生成する画像合成部と、前記合成画像から、複数のセルによって形成される情報コードを認識するコード認識部と、を備える画像処理装置が提供される。
　また、本開示によれば、撮像によって取得された異なる色成分を有する複数の色画像を合成して合成画像を生成することと、前記合成画像から、複数のセルによって形成される情報コードを認識することと、を含む画像処理方法が提供される。
　また、本開示によれば、コンピュータを、撮像によって取得された異なる色成分を有する複数の色画像を合成して合成画像を生成する画像合成部と、前記合成画像から、複数のセルによって形成される情報コードを認識するコード認識部と、として機能させるためのプログラムが提供される。
　以上説明したように本開示によれば、環境に応じて同一の情報コードから異なる認識結果を得ることができる。
本開示の実施形態の適用例を示した説明図である。 情報コードの構成例を示した説明図である。 ランバートの拡散反射モデルを示した説明図である。 本開示の第１の実施形態による携帯端末の構成を示した機能ブロック図である。 合成画像の生成の具体例を示した説明図である。 合成画像の生成の具体例を示した説明図である。 合成画像の生成の具体例を示した説明図である。 合成画像の生成の具体例を示した説明図である。 合成画像の生成の具体例を示した説明図である。 合成画像の生成の具体例を示した説明図である。 合成画像の生成の具体例を示した説明図である。 合成画像の生成の具体例を示した説明図である。 第１の実施形態による携帯端末の動作を示したフローチャートである。 本開示の第２の実施形態による携帯端末の構成を示した機能ブロック図である。 携帯端末のハードウェア構成を示した説明図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
　また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
　　１．本開示の実施形態の概要
　　　（本開示の実施形態の適用例）
　　　（情報コードの構成）
　　　（ランバート反射について）
　　２．第１の実施形態
　　　２－１．第１の実施形態による携帯端末の構成
　　　２－２．画像合成の具体例
　　　２－３．第１の実施形態による携帯端末の動作
　　３．第２の実施形態
　　４．ハードウェア構成
　　５．むずび
　　＜＜１．本開示の実施形態の概要＞＞
　本開示による技術は、一例として「２．第１の実施形態」～「３．第３の実施形態」において詳細に説明するように、多様な形態で実施され得る。また、各実施形態による画像処理装置（携帯端末２０）は、
Ａ：撮像によって取得された異なる色成分を有する複数の色画像を合成して合成画像を生成する画像合成部（２３０、２３２）と、
Ｂ：前記合成画像から、複数のセルによって形成される情報コードを認識するコード認識部（２５０）と、
を備える。
　以下では、まず、このような本開示の実施形態の概要を説明する。
　（本開示の実施形態の適用例）
　図１は、本開示の実施形態の適用例を示した説明図である。図１に示したように、本開示の実施形態は、情報コードＣを撮像する携帯端末２０に適用される。より詳細には、携帯端末２０は、表示部２２を備え、撮像された情報コードＣに対応するコンテンツ１６を表示部２２に表示する。
　なお、図１には、情報コードＣに対応するコンテンツ１６として、バースデーケーキを示しているが、情報コードＣに対応するコンテンツは特に限定されない。例えば、情報コードＣに対応するコンテンツは、テキスト、静止画、動画、または音声などであってもよいし、ユーザへの案内情報または広告情報などであってもよい。
　また、図１においては、画像処理装置の一例である携帯端末２０としてスマートフォンを示しているが、画像処理装置はかかる例に限定されない。例えば、画像処理装置は、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、家庭用映像処理装置（ＤＶＤレコーダ、ビデオデッキなど）、ＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔｓ）、家庭用ゲーム機器、家電機器などの情報処理装置であってもよい。また、画像処理装置は、携帯電話、ＰＨＳ（Ｐｅｒｓｏｎａｌ　Ｈａｎｄｙｐｈｏｎｅ　Ｓｙｓｔｅｍ）、携帯用音楽再生装置、携帯用映像処理装置、携帯用ゲーム機器などの情報処理装置であってもよい。
　（情報コードの構成）
　ここで、図２を参照し、情報コードＣの構成について具体的に説明する。図２は、情報コードＣの構成例を示した説明図である。図２に示したように、情報コードＣは、主に、ロゴマークセル４２、コーナーセル４４Ａ～４４Ｄ、およびデータ領域４６からなる。携帯端末２０は、ロゴマークセル４２およびコーナーセル４４Ａ～４４Ｄを認識した後に、データ領域４６におけるセルの配列パターンに基づいて情報コードＣを認識する。
　また、本実施形態おいては、この情報コードＣは例えば異なる色を有する複数のセルからなる。かかる構成により、詳細については「２．第１の実施形態」で説明するように、環境に応じて同一の情報コードから異なる認識結果を得ることが可能となる。例えば、情報コードＣが蛍光灯下にある場合と白熱灯下にある場合や、日中と夕焼け時で異なる認識結果を得ることが可能となる。その結果、携帯端末２０は、環境に応じて異なるコンテンツをユーザに提示することができる。
　なお、このような情報コードＣは、例えば紙媒体に印刷される。紙媒体としては、ポスター、名刺、トランプ、カレンダー、レシート、コピー用紙の裏紙、およびチラシなどが挙げられる。
　（ランバートの拡散反射モデルについて）
　携帯端末２０は、情報コードＣからの反射光に基づいて情報コードＣを認識する。そこで、本開示の各実施形態の説明に先立ち、入射光と反射光の関係について図３を参照して明らかにする。
　図３は、ランバートの拡散反射モデルを示した説明図である。光源色をｃｏｌｏｒ、対象点Ｐの面色である反射係数をＫｄとすると、対象点Ｐからの反射光Ｉは以下の数式１により表現される。
Figure JPOXMLDOC01-appb-I000001
　　　　　　　　　　　　　　　　　　　　（数式１）
　なお、数式１におけるｃｏｓθは、対象点Ｐから光源への単位ベクトルをＬ、法線ベクトルをＮとすると、以下の数式２により表現される。
Figure JPOXMLDOC01-appb-I000002
　　　　　　　　　　　　　　　　　　　（数式２）
　上記のランバートの拡散反射モデルによれば、光源色Ｃｏｌｏｒに面色Ｋｄの成分が含まれている場合に反射光が生じる。例えば、光源色が赤色で面色Ｋｄが赤色である場合には反射光が生じるので、対象点Ｐが明るく見える。一方、光源色が赤色で面色Ｋｄが青色である場合には反射光が生じないので、対象点Ｐは黒く見える。本開示の各実施形態は、上述したランバートの拡散反射モデルを利用することにより、同一の情報コードから環境に応じて異なる認識結果を得ることができる。以下、このような本開示の各実施形態について順次詳細に説明する。
　　＜＜２．第１の実施形態＞＞
　　　＜２－１．第１の実施形態による携帯端末の構成＞
　図４は、本開示の第１の実施形態による携帯端末２０－１の構成を示した機能ブロック図である。図４に示したように、第１の実施形態による携帯端末２０－１は、撮像部２１６と、２値化部２２０と、画像合成部２３０と、記憶部２４０と、コード認識部２５０と、制御部２６０と、音声出力部２７０と、表示部２２と、を備える。
　（撮像部）
　撮像部２１６は、被写体を撮像して撮像画像を取得する。具体的には、撮像部２１６は、撮影レンズおよびズームレンズなどの撮影光学系、および、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を備える。
　撮影光学系は、被写体から発せられる光を集光して、撮影素子の撮像面に被写体像を形成する。撮像素子は、撮影光学系によって形成された被写体像を電気的な画像信号に変換する。ここで、撮像素子は、Ｒ成分（赤色）受光素子、Ｇ成分（緑色）受光素子、およびＢ成分（青色）受光素子からなり、各色成分の受光素子により、Ｒ成分の検出結果であるＲ画像、Ｇ成分の検出結果であるＧ画像、およびＢ成分の検出結果であるＢ画像が得られる。なお、本実施形態においては撮像部２１６によってＲ成分、Ｇ成分、およびＢ成分の各々を有する３つの色画像が得られる例を説明するが、撮像部２１６が取得する色画像は他の色画像を含んでもよい。
　（２値化部）
　２値化部２２０は、撮像部２１６から入力されるＲ画像、Ｇ画像およびＢ画像の各々の各画素値を２値化する。例えば、２値化部２２０は、閾値未満である画素値を「０」に、閾値以上である画素値を「１」に設定する。そして、２値化部２２０は、２値化されたＲ画像、Ｇ画像およびＢ画像を画像合成部２３０に出力する。
　（画像合成部）
　画像合成部２３０は、２値化部２２０から入力されるＲ画像、Ｇ画像およびＢ画像を合成して合成画像を生成する。詳細については「２－２．画像合成の具体例」で説明するが、画像合成部２３０は、Ｒ画像、Ｇ画像およびＢ画像の各々における色検出領域、すなわち、２値化部２２０により「１」に設定された画素領域の論理和により合成画像を生成する。
　（記憶部）
　記憶部２４０は、情報コードとコンテンツとを関連付けて記憶している記憶媒体である。例えば、記憶部２４０は、情報コードのデータ領域内のセルの配列パターンと、コンテンツとを関連付けて記憶する。このような記憶部２４０は、不揮発性メモリ、磁気ディスク、光ディスク、およびＭＯ（Ｍａｇｎｅｔｏ　Ｏｐｔｉｃａｌ）ディスクなどの記憶媒体であってもよい。不揮発性メモリとしては、例えば、フラッシュメモリ、ＳＤカード、マイクロＳＤカード、ＵＳＢメモリ、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ－Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）があげられる。また、磁気ディスクとしては、ハードディスクおよび円盤型磁性体ディスクなどがあげられる。また、光ディスクとしては、ＣＤ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）およびＢＤ（Ｂｌｕ－Ｒａｙ　Ｄｉｓｃ（登録商標））などがあげられる。
　（コード認識部）
　コード認識部２５０は、画像合成部２３０によって生成された合成画像から情報コードを認識する。具体的には、コード認識部２５０は、情報コードのロゴマークセル４２を認識し、コーナーセル４４Ａ～４４Ｄを認識した後に、データ領域４６におけるセルの配列パターンを認識する。そして、コード認識部２５０は、データ領域４６におけるセルの配列パターンに対応するコンテンツを記憶部２４０から取得する。なお、情報コードの認識には、例えば特開２０００－８２１０８に記載の手法を援用することも可能である。
　また、上記の情報コードの認識処理やコンテンツの取得処理は、クラウドコンピューティングにより実現することも可能である。すなわち、携帯端末２０は、合成画像をネットワーク上の処理サーバに送信し、処理サーバが合成画像から情報コードを認識し、情報コードに対応するコンテンツを携帯端末２０に送信してもよい。さらに、携帯端末２０が各色画像を処理サーバに送信することにより、処理サーバにおいて合成画像の生成を行うことも可能である。
　（制御部）
　制御部２６０は、コード認識部２５０によって取得されたコンテンツのユーザへの提示を制御する。例えば、コンテンツが映像を含む場合、制御部２６０は当該コンテンツを表示部２２に表示させ、コンテンツが音声を含む場合、制御部２６０は当該コンテンツを音声出力部２７０に音声出力させる。
　（音声出力部）
　音声出力部２７０は、制御部２６０の制御に従い、コンテンツを音声出力する。例えば、コンテンツがビールの注がれる様子を示す映像／音声コンテンツである場合、音声出力部２７０は、ビールが注がれる時の音声を出力する。なお、このような音声出力部２７０は、スピーカ、イヤホン、またはヘッドホンなどであってもよい。
　（表示部）
　表示部２２は、制御部２６０の制御に従い、コンテンツを表示する。例えば、表示部２２は、図１に示したようにバースデーケーキ１６を表示する。なお、コンテンツが撮像画像に重畳される場合、コンテンツの配置位置は、撮像画像における情報コードＣの位置や傾きに依存してもよい。
　　　＜２－２．画像合成の具体例＞
　以上、図４を参照し、第１の実施形態による携帯端末２０－１の構成を説明した。続いて、上述した画像合成部２３０による画像合成の具体例を説明する。
　（第１の画像合成例：図５～図８）
　まず、図５～図８を参照し、黒色領域および単色領域からなる同一の情報コードＣ１に関し、異なる環境下において異なる合成画像が得られることを説明する。
　図５に示したように、情報コードＣ１は、Ｂ成分からなるセル５２、Ｒ成分からなるセル５４、およびＢ成分からなるセル５６を含み、他の領域は黒色からなる。Ｂ成分からなるセル５２およびセル５６からは、ランバートの拡散反射モデルに従い、入射光にＢ成分が含まれる場合にＢ成分の反射光が生じる。また、Ｒ成分からなるセル５４からは、ランバートの拡散反射モデルに従い、入射光にＲ成分が含まれる場合にＲ成分の反射光が生じる。また、黒色からなる他の領域からは反射光が生じない。
　－白色光－
　このため、情報コードＣ１が図５に示したようにＲＧＢ成分を有する白色光下にある場合、Ｒ成分の検出結果であるＲ画像においては、Ｂ成分からなるセル５２およびセル５６が形成され、Ｒ成分からなるセル５４は形成されない。また、Ｇ成分の検出結果であるＧ画像においては、Ｂ成分からなるセル５２およびセル５６、およびＲ成分からなるセル５４が形成される。また、Ｂ成分の検出結果であるＢ画像においては、Ｂ成分からなるセル５２およびセル５６は形成されず、Ｒ成分からなるセル５４が形成される。
　ここで、画像合成部２３０は、各色画像における色検出領域（セルが形成されていない領域）の論理和により合成画像を生成するので、情報コードＣ１が白色光下にある場合に画像合成部２３０により生成される合成画像には、図５に示したようにセル５２、５４および５６のいずれも含まれない。
　－赤色光－
　また、情報コードＣ１が図６に示したように赤色光下にある場合、Ｒ成分の検出結果であるＲ画像においては、Ｂ成分からなるセル５２およびセル５６が形成され、Ｒ成分からなるセル５４は形成されない。また、情報コードＣ１のいずれの箇所においてもＧ成分の反射光およびＢ成分の反射光が生じないので、図６に示したように、Ｇ画像およびＢ画像においては情報コードＣ１の全体が色の非検出領域となる。
　このため、情報コードＣ１が赤色光下にある場合に色検出領域の論理和により生成される合成画像には、図６に示したようにセル５２および５６が含まれる。
　－緑色光－
　また、情報コードＣ１が図７に示したように緑色光下にある場合、Ｇ成分の検出結果であるＧ画像においては、Ｂ成分からなるセル５２およびセル５６、およびＲ成分からなるセル５４が形成される。また、情報コードＣ１のいずれの箇所においてもＲ成分の反射光およびＢ成分の反射光が生じないので、図７に示したように、Ｒ画像およびＢ画像においては情報コードＣ１の全体が色の非検出領域となる。
　このため、情報コードＣ１が緑色光下にある場合に色検出領域の論理和により生成される合成画像には、図７に示したようにセル５２、５４および５６が含まれる。
　－青色光－
　また、情報コードＣ１が図８に示したように青色光下にある場合、Ｂ成分の検出結果であるＢ画像においては、Ｂ成分からなるセル５２およびセル５６は形成されず、Ｒ成分からなるセル５４が形成される。また、情報コードＣ１のいずれの箇所においてもＲ成分の反射光およびＧ成分の反射光が生じないので、図８に示したように、Ｒ画像およびＧ画像においては情報コードＣ１の全体が色の非検出領域となる。
　このため、情報コードＣ１が青色光下にある場合に色検出領域の論理和により生成される合成画像には、図８に示したようにセル５４が含まれる。
　－第１の画像合成例の整理－
　以上説明したように、第１の画像合成例によれば、Ｂ成分からなるセル５２および５６、Ｒ成分からなるセル５４を含む情報コードＣ１から、環境に応じて異なる合成画像が生成される。その結果、同一の情報コードＣ１から環境に応じて異なる認識結果およびコンテンツを得ることが可能となる。
　（第２の画像合成例：図９、図１０）
　続いて、図９および図１０を参照し、黒色領域および混合色領域からなる同一の情報コードＣ２に関し、異なる環境下において異なる合成画像が得られることを説明する。
　図９に示したように、情報コードＣ２は、Ｒ成分とＢ成分の混合色である紫色からなるセル６２および６４を含み、他の領域は黒色からなる。Ｒ成分とＢ成分を含むセル６２および６４からは、ランバートの拡散反射モデルに従い、入射光にＲ成分が含まれる場合にはＲ成分の反射光が生じ、入射光にＢ成分が含まれる場合にはＢ成分の反射光が生じる。また、黒色からなる他の領域からは反射光が生じない。
　－白色光－
　このため、情報コードＣ２が図９に示したようにＲＧＢ成分を有する白色光下にある場合、Ｒ成分の検出結果であるＲ画像においては、Ｒ成分を含むセル６２および６４は形成されない。同様に、Ｂ成分の検出結果であるＢ画像においては、Ｂ成分を含むセル６２および６４は形成されない。一方、Ｇ成分の検出結果であるＧ画像においては、Ｇ成分を含まないセル６２および６４が形成される。
　ここで、画像合成部２３０は、各色画像における色検出領域（セルが形成されていない領域）の論理和により合成画像を生成するので、情報コードＣ２が白色光下にある場合に画像合成部２３０により生成される合成画像には、図９に示したようにセル６２および６４のいずれも含まれない。
　－赤色光－
　また、情報コードＣ２が赤色光下にある場合、図９と同様のＲ画像が得られる。一方、情報コードＣ２のいずれの箇所においてもＧ成分の反射光およびＢ成分の反射光が生じないので、Ｇ画像およびＢ画像は全体が色の非検出領域となる。したがって、情報コードＣ２が赤色光下にある場合には、図９と同様の合成画像が各色画像の色検出領域の論理和により生成される。
　－緑色光－
　また、情報コードＣ２が図１０に示したように緑色光下にある場合、Ｇ成分の検出結果であるＧ画像においては、Ｇ成分を含まないセル６２および６４が形成される。一方、情報コードＣ２のいずれの箇所においてもＲ成分の反射光およびＢ成分の反射光が生じないので、Ｒ画像およびＢ画像は全体が色の非検出領域となる。
　このため、情報コードＣ２が緑色光下にある場合に色検出領域の論理和により生成される合成画像には、図１０に示したようにセル６２および６４が含まれる。
　－青色光－
　また、情報コードＣ２が青色光下にある場合、図９と同様のＢ画像が得られる。一方、情報コードＣ２のいずれの箇所においてもＲ成分の反射光およびＧ成分の反射光が生じないので、Ｒ画像およびＧ画像は全体が色の非検出領域となる。したがって、情報コードＣ２が青色光下にある場合には、図９と同様の合成画像が各色画像の色検出領域の論理和により生成される。
　－第２の画像合成例の整理－
　以上説明したように、第２の画像合成例によれば、Ｒ成分とＢ成分の混合色である紫色からなるセル６２および６４を含む情報コードＣ２から、環境に応じて異なる合成画像が生成される。その結果、同一の情報コードＣ２から環境に応じて異なる認識結果およびコンテンツを得ることが可能となる。
　（第３の画像合成例：図１１、図１２）
　続いて、図１１および図１２を参照し、黒色領域を含まない情報コードＣ３に関し、異なる環境下において異なる合成画像が得られることを説明する。
　図１１に示したように、情報コードＣ３の全てのセル領域がＧ成分を有する。このため、情報コードＣ３の全てのセル領域からは、ランバートの拡散反射モデルに従い、入射光にＧ成分が含まれる場合にＧ成分の反射光が生じる。
　－白色光－
　このため、情報コードＣ３が図１１に示したようにＲＧＢ成分を有する白色光下にある場合、情報コードＣ３からＲ成分の反射光が生じないので、Ｒ成分の検出結果であるＲ画像においては情報コードＣ３が形成される。また、情報コードＣ３の全セル領域からＧ成分の反射光が生じるので、Ｇ成分の検出結果であるＧ画像においては情報コードＣ３が形成されない。また、情報コードＣ３からＢ成分の反射光は生じないので、Ｂ成分の検出結果であるＢ画像においては情報コードＣ３が形成される。
　ここで、画像合成部２３０は、各色画像における色検出領域（セルが形成されていない領域）の論理和により合成画像を生成するので、情報コードＣ３が白色光下にある場合に画像合成部２３０により生成される合成画像には、図１１に示したように情報コードＣ３が含まれない。
　－赤色光－
　また、情報コードＣ３が赤色光下にある場合、図１２に示したように情報コードＣ３が形成されたＲ画像が得られる。一方、情報コードＣ３のいずれの箇所においてもＧ成分の反射光およびＢ成分の反射光が生じないので、Ｇ画像およびＢ画像は全体が色の非検出領域となる。したがって、情報コードＣ３が赤色光下にある場合に色検出領域の論理和により生成される合成画像には、図１２に示したように情報コードＣ３が含まれる。
　－緑色光－
　また、情報コードＣ３が緑色光下にある場合、情報コードＣ３のいずれの箇所においてもＲ成分の反射光およびＢ成分の反射光が生じないので、Ｒ画像およびＢ画像は全体が色の非検出領域となる。一方、情報コードＣ３の全セル領域からＧ成分の反射光が生じるので、Ｇ成分の検出結果であるＧ画像においては情報コードＣ３が形成されない。したがって、情報コードＣ３が緑色光下にある場合に色検出領域の論理和により生成される合成画像には、図１１と同様に情報コードＣ３が含まれない。
　－青色光－
　また、情報コードＣ３が青色光下にある場合、図１１と同様のＢ画像が得られる。一方、情報コードＣ３のいずれの箇所においてもＲ成分の反射光およびＧ成分の反射光が生じないので、Ｒ画像およびＧ画像は全体が色の非検出領域となる。したがって、情報コードＣ３が青色光下にある場合に色検出領域の論理和により生成される合成画像には、図１１と同様に情報コードＣ３が含まれない。
　－第３の画像合成例の整理－
　以上説明したように、第３の画像合成例によれば、黒色領域を含まない情報コードＣ３から、環境に応じて異なる合成画像が生成される。その結果、特定の環境において情報コードＣ３が認識されるので、特定の環境において情報コードＣ３に対応するコンテンツを得ることが可能となる。
　　　＜２－３．第１の実施形態による携帯端末の動作＞
　以上、第１の実施形態による携帯端末２０－１の構成、および画像合成の具体例を説明した。続いて、図１３を参照し、第１の実施形態による携帯端末２０－１の動作を整理する。
　図１３は、第１の実施形態による携帯端末２０－１の動作を示したフローチャートである。図１３に示したように、まず、携帯端末２０－１の撮像部２１６が情報コードＣを撮像すると、情報コードＣのＲ画像、Ｇ画像およびＢ画像が得られる（Ｓ３１０）。
　その後、２値化部２２０が各色画像を２値化し、画像合成部２３０が２値化された各色画像を色検出領域の論理和により合成する（Ｓ３２０）。
　続いて、コード認識部２５０が、画像合成部２３０により生成された合成画像から情報コードを認識し、認識した情報コードＣに対応するコンテンツを記憶部２４０から取得する（Ｓ３３０）。そして、表示部２２および音声出力部２７０が、制御部２６０による制御に従い、情報コードＣに対応するコンテンツを出力する（Ｓ３４０）。
　　＜＜３．第２の実施形態＞＞
　以上、本開示の第１の実施形態を説明した。第１の実施形態においては合成画像を色検出領域の論理和により生成する例を説明したが、本開示の第２の実施形態によれば、他の方法により合成画像を生成することが可能である。以下、このような本開示の第２の実施形態について説明する。
　図１４は、本開示の第２の実施形態による携帯端末２０－２の構成を示した機能ブロック図である。図１４に示したように、第２の実施形態による携帯端末２０－２は、撮像部２１６と、画像合成部２３２と、２値化部２２２と、記憶部２４０と、コード認識部２５０と、制御部２６０と、音声出力部２７０と、表示部２２と、を備える。撮像部２１６、記憶部２４０、コード認識部２５０、制御部２６０、音声出力部２７０、および表示部２２は第１の実施形態に説明した通りの構成であるので、ここでの詳細な説明を省略する。
　画像合成部２３２には、撮像部２１６によって取得されたＲ画像、Ｇ画像およびＢ画像が入力される。画像合成部２３２は、各画素について、各色画像のうちの画素値の最大値を設定することにより合成画像を生成する。例えば、ある画素のＲ画像の画素値が「３０」で、Ｇ画像の画素値が「２４」で、Ｂ画像の画素値が「２４０」である場合、画像合成部２３２は、当該画素の画素値を「２４０」に設定する。
　２値化部２２２は、画像合成部２３２により生成された合成画像の各画素値を２値化する。例えば、２値化部２２２は、閾値未満である画素値を「０」に、閾値以上である画素値を「１」に設定する。そして、２値化部２２２は、２値化された合成画像をコード認識部２５０に出力する。
　このように、各画素について、各色画像の画素値の最大値を設定して合成画像を生成する第２の実施形態によっても、第１の実施形態と同様の効果を得ることが可能である。すなわち、第２の実施形態によっても、図５～図１２に示した合成画像と等価な合成画像を得ることが可能である。したがって、第２の実施形態においても、同一の情報コードから環境に応じて異なる認識結果およびコンテンツを得ることができる。
　　＜＜４．ハードウェア構成＞＞
　以上、本開示の各実施形態を説明した。上述した画像合成処理およびコード認識処理は、ソフトウェアと、以下に説明する携帯端末２０のハードウェアとの協働により実現される。
　図１５は、携帯端末２０のハードウェア構成を示した説明図である。図１５に示したように、携帯端末２０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）２０３と、入力装置２０８と、出力装置２１０と、ストレージ装置２１１と、ドライブ２１２と、撮像装置２１３と、通信装置２１５とを備える。
　ＣＰＵ２０１は、演算処理装置および制御装置として機能し、各種プログラムに従って携帯端末２０内の動作全般を制御する。また、ＣＰＵ２０１は、マイクロプロセッサであってもよい。ＲＯＭ２０２は、ＣＰＵ２０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ２０３は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。
　入力装置２０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ２０１に出力する入力制御回路などから構成されている。携帯端末２０のユーザは、該入力装置２０８を操作することにより、携帯端末２０に対して各種のデータを入力したり処理動作を指示したりすることができる。
　出力装置２１０は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。さらに、出力装置２１０は、スピーカおよびヘッドホンなどの音声出力装置を含む。例えば、表示装置は、撮像された画像や生成された画像などを表示する。一方、音声出力装置は、音声データ等を音声に変換して出力する。
　ストレージ装置２１１は、本実施形態にかかる携帯端末２０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置２１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置２１１は、ＣＰＵ２０１が実行するプログラムや各種データを格納する。
　ドライブ２１２は、記憶媒体用リーダライタであり、携帯端末２０に内蔵、あるいは外付けされる。ドライブ２１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体２４に記録されている情報を読み出して、ＲＡＭ２０３に出力する。また、ドライブ２１２は、リムーバブル記憶媒体２４に情報を書き込むこともできる。
　撮像装置２１３は、光を集光する撮影レンズおよびズームレンズなどの撮像光学系、およびＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの信号変換素子を備える。撮像光学系は、被写体から発せられる光を集光して信号変換部に被写体像を形成し、信号変換素子は、形成された被写体像を電気的な画像信号に変換する。なお、撮像装置２１３は、図４および図１４に示した撮像部２１６に対応する。
　通信装置２１５は、例えば、ネットワーク１２に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置２１５は、無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）対応通信装置であっても、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
　なお、ネットワーク１２は、ネットワーク１２に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク１２は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク１２は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
　　＜＜５．むずび＞＞
　以上説明したように、本開示の実施形態によれば、環境に応じて異なる合成画像が生成される。その結果、同一の情報コードＣから環境に応じて異なる認識結果およびコンテンツを得ることが可能となる。
　なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、本明細書の携帯端末２０の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、携帯端末２０の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
　また、携帯端末２０に内蔵されるＣＰＵ２０１、ＲＯＭ２０２およびＲＡＭ２０３などのハードウェアを、上述した携帯端末２０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
　また、以下のような構成も本開示の技術的範囲に属する。
（１）
　撮像によって取得された異なる色成分を有する複数の色画像を合成して合成画像を生成する画像合成部と、
　前記合成画像から、複数のセルによって形成される情報コードを認識するコード認識部と、
を備える、画像処理装置。
（２）
　前記画像合成部は、前記複数の色画像における色検出領域の論理和により前記合成画像を生成する、前記（１）に記載の画像処理装置。
（３）
　前記画像合成部は、各画素について、前記複数の色画像のうちの画素値の最大値を設定することにより前記合成画像を生成する、前記（１）に記載の画像処理装置。
（４）
　前記コード認識部は、前記合成画像における前記複数のセルの配列パターンに基づいて前記情報コードを認識する、前記（１）～（３）のいずれか一項に記載の画像処理装置。
（５）
　前記画像処理装置は、前記コード認識部による認識結果に応じたコンテンツの提供を制御する制御部をさらに備える、前記（１）～（４）のいずれか一項に記載の画像処理装置。
（６）
　前記画像合成部は、赤色画像、緑色画像、青色画像を合成して前記合成画像を生成する、前記（１）～（５）のいずれか一項に記載の画像処理装置。
（７）
　前記複数のセルは、少なくとも第１の色を有するセル、および第２の色を有するセルを含む、前記（１）～（６）のいずれか一項に記載の画像処理装置。
（８）
　前記複数のセルは、黒色以外の色を有する、前記（１）～（６）のいずれか一項に記載の画像処理装置。
（９）
　撮像によって取得された異なる色成分を有する複数の色画像を合成して合成画像を生成することと、
　前記合成画像から、複数のセルによって形成される情報コードを認識することと、
を含む、画像処理方法。
（１０）
　コンピュータを、
　撮像によって取得された異なる色成分を有する複数の色画像を合成して合成画像を生成する画像合成部と、
　前記合成画像から、複数のセルによって形成される情報コードを認識するコード認識部と、
として機能させるための、プログラム。
１　数式
２　数式
１２　ネットワーク
１６　コンテンツ
２０　携帯端末
２２　表示部
２１６　撮像部
２２０、２２２　２値化部
２３０、２３２　画像合成部
２３２　画像合成部
２４０　記憶部
２５０　コード認識部
２６０　制御部
２７０　音声出力部

Claims (10)

  1. 　撮像によって取得された異なる色成分を有する複数の色画像を合成して合成画像を生成する画像合成部と、
    　前記合成画像から、複数のセルによって形成される情報コードを認識するコード認識部と、
    を備える、画像処理装置。
  2. 　前記画像合成部は、前記複数の色画像における色検出領域の論理和により前記合成画像を生成する、請求項１に記載の画像処理装置。
  3. 　前記画像合成部は、各画素について、前記複数の色画像のうちの画素値の最大値を設定することにより前記合成画像を生成する、請求項１に記載の画像処理装置。
  4. 　前記コード認識部は、前記合成画像における前記複数のセルの配列パターンに基づいて前記情報コードを認識する、請求項１に記載の画像処理装置。
  5. 　前記画像処理装置は、前記コード認識部による認識結果に応じたコンテンツの提供を制御する制御部をさらに備える、請求項１に記載の画像処理装置。
  6. 　前記画像合成部は、赤色画像、緑色画像、青色画像を合成して前記合成画像を生成する、請求項１に記載の画像処理装置。
  7. 　前記複数のセルは、少なくとも第１の色を有するセル、および第２の色を有するセルを含む、請求項１に記載の画像処理装置。
  8. 　前記複数のセルは、黒色以外の色を有する、請求項１に記載の画像処理装置。
  9. 　撮像によって取得された異なる色成分を有する複数の色画像を合成して合成画像を生成することと、
    　前記合成画像から、複数のセルによって形成される情報コードを認識することと、
    を含む、画像処理方法。
  10. 　コンピュータを、
    　撮像によって取得された異なる色成分を有する複数の色画像を合成して合成画像を生成する画像合成部と、
    　前記合成画像から、複数のセルによって形成される情報コードを認識するコード認識部と、
    として機能させるための、プログラム。
     
     
     
     
     
     
     
PCT/JP2012/077970 2011-12-02 2012-10-30 画像処理装置、画像処理方法およびプログラム WO2013080727A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201280058072.0A CN103959304A (zh) 2011-12-02 2012-10-30 图像处理装置、图像处理方法以及程序
US14/352,845 US9262663B2 (en) 2011-12-02 2012-10-30 Image processing device, image processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-264443 2011-12-02
JP2011264443 2011-12-02

Publications (1)

Publication Number Publication Date
WO2013080727A1 true WO2013080727A1 (ja) 2013-06-06

Family

ID=48535195

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/077970 WO2013080727A1 (ja) 2011-12-02 2012-10-30 画像処理装置、画像処理方法およびプログラム

Country Status (3)

Country Link
US (1) US9262663B2 (ja)
CN (1) CN103959304A (ja)
WO (1) WO2013080727A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160379031A1 (en) * 2015-06-23 2016-12-29 Konica Minolta Laboratory U.S.A., Inc. High capacity 2d color barcode design and processing method for camera based applications
CN105491358B (zh) * 2015-11-26 2018-11-16 努比亚技术有限公司 一种图像处理方法及装置、终端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1139447A (ja) * 1997-07-18 1999-02-12 Ootonikusu:Kk バーコード及びその読取装置
JP2001320573A (ja) * 2000-05-10 2001-11-16 Jgs:Kk 情報コード印刷物、情報コード印刷物製造方法、バーコード印刷物製造方法、およびバーコード読取装置
JP2002202924A (ja) * 2000-12-28 2002-07-19 Matsushita Electric Ind Co Ltd 通信装置および情報処理装置
JP2008004101A (ja) * 2006-06-23 2008-01-10 Colorzip Media Inc カラーベースのイメージコードの色判別方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2521088B2 (ja) 1987-04-14 1996-07-31 アルプス電気株式会社 バ―コ―ドの読み取り方法
JPH05174204A (ja) 1991-12-24 1993-07-13 Olympus Optical Co Ltd カラーバーコード及びバーコード読取装置
JPH11338966A (ja) 1998-05-27 1999-12-10 Toshiba Tec Corp 情報コード読取装置
US6572025B1 (en) 2000-05-10 2003-06-03 Japan Gain The Summit Co., Ltd. Information code product, manufacturing device and method for manufacturing the same, information code reading device, authentication system, authentication terminal, authentication server, and authentication method
JP2002342702A (ja) 2001-05-16 2002-11-29 Cycolor System Co Ltd カラーコード記録方式
WO2004080097A1 (en) * 2003-03-07 2004-09-16 Ktfreetel Co., Ltd Method for providing mobile service using code-pattern
JP4082318B2 (ja) * 2003-09-04 2008-04-30 カシオ計算機株式会社 撮像装置、画像処理方法及びプログラム
KR100914515B1 (ko) 2006-06-23 2009-09-02 주식회사 칼라짚미디어 색상 기반 이미지 코드의 색상 판별 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1139447A (ja) * 1997-07-18 1999-02-12 Ootonikusu:Kk バーコード及びその読取装置
JP2001320573A (ja) * 2000-05-10 2001-11-16 Jgs:Kk 情報コード印刷物、情報コード印刷物製造方法、バーコード印刷物製造方法、およびバーコード読取装置
JP2002202924A (ja) * 2000-12-28 2002-07-19 Matsushita Electric Ind Co Ltd 通信装置および情報処理装置
JP2008004101A (ja) * 2006-06-23 2008-01-10 Colorzip Media Inc カラーベースのイメージコードの色判別方法

Also Published As

Publication number Publication date
US9262663B2 (en) 2016-02-16
US20140246495A1 (en) 2014-09-04
CN103959304A (zh) 2014-07-30

Similar Documents

Publication Publication Date Title
US11574115B2 (en) Method of processing analog data and electronic device thereof
US9406139B2 (en) Image processing device and image processing method
US10613585B2 (en) Transparent display apparatus, group play system using transparent display apparatus and performance methods thereof
CN105609035B (zh) 图像显示装置及方法
WO2013061505A1 (en) Image processing apparatus, method and computer program product
JP6007469B2 (ja) 情報処理装置、表示制御方法、およびプログラム
KR20190020846A (ko) 컴퓨팅 디바이스들 간의 정보를 송신하기 위한 비가시적인 광학 라벨
CN110100251A (zh) 用于处理文档的设备、方法和图形用户界面
US9025082B2 (en) Image processing device, image recognition device, image recognition method, and program
US9330291B2 (en) Method and device for parsing images
US20120119998A1 (en) Server device, display operation terminal, and remote control system
CN104660905A (zh) 拍照处理方法及装置
US11416974B2 (en) Image processing method and electronic device supporting the same
WO2016057161A1 (en) Text-based thumbnail generation
JP2013092855A (ja) 画像処理装置およびプログラム
WO2013080727A1 (ja) 画像処理装置、画像処理方法およびプログラム
JP6065477B2 (ja) 画像処理装置及びプログラム
JP2013092856A (ja) 画像処理装置およびプログラム
JP5725276B2 (ja) 二値化処理装置、画像処理装置、二値化処理プログラム、画像処理プログラム
US9836799B2 (en) Service provision program
TW200937342A (en) Line drawing processor, program and line drawing processing method
KR20200101048A (ko) 영상을 처리하는 전자 장치 및 그 영상 처리 방법
CN116166155A (zh) 布局方法、可读介质和电子设备
CN114692800A (zh) 一种二维码生成方法以及相关设备
JP2015032952A (ja) 表示制御装置、表示制御方法および記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12854093

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14352845

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12854093

Country of ref document: EP

Kind code of ref document: A1