WO2008041270A1 - Image synthesizing device and image synthesizing method - Google Patents

Image synthesizing device and image synthesizing method Download PDF

Info

Publication number
WO2008041270A1
WO2008041270A1 PCT/JP2006/319416 JP2006319416W WO2008041270A1 WO 2008041270 A1 WO2008041270 A1 WO 2008041270A1 JP 2006319416 W JP2006319416 W JP 2006319416W WO 2008041270 A1 WO2008041270 A1 WO 2008041270A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
blending coefficient
coefficient
composite image
Prior art date
Application number
PCT/JP2006/319416
Other languages
French (fr)
Japanese (ja)
Inventor
Kenichiro Kuroki
Original Assignee
Fujitsu Microelectronics Limited
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Microelectronics Limited filed Critical Fujitsu Microelectronics Limited
Priority to PCT/JP2006/319416 priority Critical patent/WO2008041270A1/en
Publication of WO2008041270A1 publication Critical patent/WO2008041270A1/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/10Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video

Definitions

  • the composite image generation unit 42 generates a composite image based on the input OSD image 43 and a predetermined ⁇ value stored in the ⁇ value setting register 41. , "0
  • the present invention is capable of synthesizing a composite image that is capable of image synthesis by alpha rendering under precious and limited memory resources and that has both character and video information visibility.
  • An object is to provide an image composition apparatus and an image composition method that can be generated.
  • the second rendering coefficient a 'can be calculated based on the extracted edge information and a predefined a' value arithmetic expression.
  • the image composition device is the image composition device according to the fourth aspect, wherein the value arithmetic expression is in accordance with a distance from the edge position specified by the edge information extracted by the edge extraction means. It is characterized in that the oc 'value is a defined arithmetic expression.
  • the straight a can be determined according to the distance from the edge position.
  • FIG. 1 is a block diagram showing a main configuration of an image composition device according to an embodiment of the present invention provided in a mopile device having a small display device.
  • FIG. 2 is a block diagram showing a specific configuration example of an image composition device when an oc ′ value is derived based on extracted edge information.
  • FIG. 3 is a diagram illustrating an example of an oc direct arithmetic expression defined in advance in an a direct arithmetic expression definition unit.
  • FIG. 6B is a second diagram showing another example of the direct arithmetic expression.
  • FIG. 10 is a diagram illustrating an example of an image of “OSD image * ⁇ ” in Expression (1) generated in the process of generating a composite image by a composite image generation unit according to a conventional image composition device.
  • a value calculation unit 1 is a circuit that calculates an appropriate blending coefficient according to an image to be synthesized on a video image.
  • an image synthesized on a video image is described as an OSD image.
  • the value calculation unit 1 calculates oc directly based on a preset calculation expression while referring to the OSD image.
  • the a value setting register 2 stores a predetermined blending coefficient ⁇ .
  • the composite image generated by the image composition apparatus configured as described above is displayed on, for example, a display device of a mopile device provided with the image composition apparatus.
  • FIG. 2 is a block diagram showing a specific configuration example of the image synthesis apparatus in such a case.
  • the value calculation unit 1 refers to the OSD image.
  • an edge extraction unit la and an a “value arithmetic expression definition unit lb are provided.
  • the composite image generation unit 3 includes the a ′ value generated based on the OSD image 6 by the processing of the edge extraction unit la and the value arithmetic expression definition unit lb, and the input OSD image 6 Based on the predetermined ⁇ value stored in the ⁇ value setting register 2, an “OSD image * — al] image (“ OSD image generated by this method ”in FIG. 7) 7 is generated.
  • the image of the "OSD image * ( ⁇ -)" generated by the composite image generation unit 3 is used to obtain a predetermined value from the edge position.
  • the transparency gradually increases with the slope of the curve, and for the other areas, the image has a certain transparency.
  • FIG. 8 shows a computer-readable recording medium that can supply a program and data to the information processing apparatus shown in FIG.
  • the external storage device 25 is a portable recording medium 29 and the program and data stored in the database 32 of the server 31 are loaded into the memory 22 of the information processing device 33.
  • the server 31 generates a carrier signal that carries the program and data, and transmits the carrier signal to the information processing device 33 via any transmission medium on the network.
  • the CPU 21 executes the program using the data and performs necessary processing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Circuits (AREA)
  • Image Processing (AREA)

Abstract

An image synthesizing device includes: an α' value calculation unit (1) for calculating a blending coefficient α' according to an OSD image; and a synthesized image generating unit (3) for synthesizing the inputted OSD image with a video image to generate a synthesized image by using a blending coefficient α stored in an α value setting register (2) and the blending coefficient α' calculated by the α'value calculation unit (1).

Description

明 細 書  Specification
画像合成装置及び画像合成方法  Image composition apparatus and image composition method
技術分野  Technical field
[0001] 本発明は、アルファブレンデイングにより画像合成を行う装置及び方法に関する。  [0001] The present invention relates to an apparatus and a method for performing image composition by alpha blending.
背景技術  Background art
[0002] 近年、テレビ受像機に代表される表示装置をもつ機器においては、文字 (字幕)画 像や操作メニューなどの OSD (On Screen Display)画像等を映像画像上に重ねるな どして、リッチ (豊富)な動作メニューを表示し選択操作を容易にしてユーザ利便性向 上を図るなどの工夫をされることが多くなつている。  [0002] In recent years, in devices having a display device typified by a television receiver, an OSD (On Screen Display) image such as a character (caption) image or an operation menu is superimposed on a video image. In many cases, devices such as a rich operation menu are displayed to facilitate selection operations and improve user convenience.
[0003] このような機器では、半透明な文字画像や OSD画像等を映像画像上に重ねて合 成するためにアルファブレンデイングと!/、う技術が用いられて 、る。例えば半透明な OSD画像を映像画像上に重ねて合成する場合、アルファブレンデイングでは、ブレ ンデイング係数 α (但し 0≤ α≤1)を用いて次の式(1)の演算を行うことにより合成画 像を生成することが行われる。  [0003] In such a device, alpha blending and! /, Techniques are used to overlay a translucent character image, OSD image, etc. on a video image. For example, when a semi-transparent OSD image is superimposed on a video image and synthesized, alpha blending is performed by calculating the following formula (1) using the blending coefficient α (where 0≤ α≤1). An image is generated.
[0004] 合成画像 = OSD画像 * α +映像画像 * ( 1— α ) 式( 1 )  [0004] Composite image = OSD image * α + video image * (1− α) Equation (1)
なお、この場合、 OSD画像は、 α =0のときに完全透明、 α = 1のときに完全不透 明とする。  In this case, the OSD image is completely transparent when α = 0, and completely opaque when α = 1.
[0005] 図 9は、アルファブレンデイングにより OSD画像と映像画像とを合成する従来の画 像合成装置の主要構成を示すブロック図である。  [0005] FIG. 9 is a block diagram showing a main configuration of a conventional image synthesizing apparatus that synthesizes an OSD image and a video image by alpha blending.
同図に示したように、従来の装置では、 OSD画像および映像画像とが入力されると As shown in the figure, with conventional devices, when OSD images and video images are input,
、合成画像生成部 42は、 α値設定レジスタ 41に記憶された所定の α値を用いて、 上記の式(1)の演算を行うことで合成画像を生成し出力する。 The composite image generation unit 42 generates and outputs a composite image by performing the calculation of the above equation (1) using the predetermined α value stored in the α value setting register 41.
[0006] 図 10は、その合成画像生成部 42により合成画像が生成される過程で生成される、 上記の式(1)における「OSD画像 * α」の画像の一例を説明する図である。 FIG. 10 is a diagram for explaining an example of an image of “OSD image * α” in the above equation (1), which is generated in the process of generating a composite image by the composite image generation unit 42.
同図に示したように、合成画像生成部 42では、合成画像が生成される際、入力さ れた OSD画像 43と α値設定レジスタ 41に記憶された所定の α値とに基づ 、て、「0 As shown in the figure, the composite image generation unit 42 generates a composite image based on the input OSD image 43 and a predetermined α value stored in the α value setting register 41. , "0
SD画像 * a」の画像(同図の「通常方式で生成した OSD画像」) 44が生成される。 [0007] このようにアルファブレンデイングにより画像合成を行う装置は、これ以外にも、例え ば特許文献 1には、画素成分に応じてプレンディング係数 α (0≤ α≤1)を特定値に 設定することで必要メモリの削減および処理に伴う負荷の軽減を行うようにした装置 が提案されている。この装置では、画素の成分に着目して α値が制御 Ζ設定されて いる。また、特定画素成分に応じて所定の α値が設定されている。 An image of “SD image * a” (“OSD image generated by the normal method” in the figure) 44 is generated. [0007] In addition to this, an apparatus that performs image blending by alpha blending as described above, for example, in Patent Document 1, sets the blending coefficient α (0≤ α≤1) to a specific value according to the pixel component. Devices have been proposed that can reduce the required memory and the load associated with processing by setting. In this device, the α value is controlled and set by paying attention to the component of the pixel. A predetermined α value is set according to the specific pixel component.
[0008] 一方、特許文献 2には、背景色に基づき描画データの表示色を設定することで文 字や線など描画データの視認性を向上させるようにした装置が提案されている。この 装置では、 背景色に応じて描画データの色が調整 Ζ設定 (選択)されている。  On the other hand, Patent Document 2 proposes an apparatus that improves the visibility of drawing data such as characters and lines by setting the display color of the drawing data based on the background color. In this device, the color of the drawing data is adjusted and set (selected) according to the background color.
[0009] ところで、通常のテレビ受像機などのように大きな画面をもつ機器にぉ 、ては、映像 画像上に重ねられる文字画像や OSD画像等も相応の大きさ(面積)をもっため、適 切な α値を用いて画像合成を行えば、文字画像等と映像画像の視認性を損なわな V、合成画像を生成することができる。  [0009] By the way, for a device having a large screen such as a normal television receiver, a character image or an OSD image superimposed on a video image has an appropriate size (area). If image synthesis is performed using a sharp α value, V and a composite image can be generated without impairing the visibility of a character image and a video image.
[0010] し力しながら、携帯電話器に代表されるモパイル機器にぉ 、ては、機器 (装置)の 性質上、小型の表示装置 (表示画面)をもたざるをえず、映像画像上に重畳表示され る文字も必然的に小さくなり視認性が損なわれやすい。  [0010] However, the mopile device represented by the mobile phone is forced to have a small display device (display screen) due to the nature of the device (device). Characters superimposed on the screen are inevitably small, and visibility is easily lost.
[0011] すなわち、字幕や OSDなどの文字情報を、背景となる映像と重畳表示する場合に 、一般的に用いられる手法であるアルファブレンデイングでは、小型表示画面をもつ 機器において文字および映像情報の視認性を両立することが困難である。また、意 図的にプレンデイング係数 aの値を調整した文字画像 ZOSD画像を事前に作成し てデータとして保有することは、一般的なモパイル機器が抱える制限、つまり貴重か つ限られたメモリリソース、の下で実現する手段として適切でない。特に、文字種類が 多い文化圏にて影響が大きぐ複数の種類およびサイズの文字形式をもつ必要があ る場合は尚更である。  [0011] In other words, in the case of alpha blending, which is a commonly used technique, when text information such as subtitles and OSDs is superimposed on the background video, text and video information is displayed on a device with a small display screen. It is difficult to achieve both visibility. In addition, creating a ZOSD image that has been intentionally adjusted for the value of the blending coefficient a and storing it as data is a limitation of general mopile equipment, that is, valuable and limited memory resources. It is not appropriate as a means to be realized. This is especially true when there is a need to have multiple types and sizes of character formats that have a large impact on cultural spheres with many character types.
[0012] 本発明は、上記実情に鑑み、貴重かつ限られたメモリリソースの下でアルファプレン デイングによる画像合成が可能であって、且つ、文字および映像情報の視認性を両 立した合成画像を生成することができる、画像合成装置および画像合成方法を提供 することを目的とする。  [0012] In view of the above circumstances, the present invention is capable of synthesizing a composite image that is capable of image synthesis by alpha rendering under precious and limited memory resources and that has both character and video information visibility. An object is to provide an image composition apparatus and an image composition method that can be generated.
特許文献 1:特開 2002— 278538号公報 特許文献 2:特開 2001— 285745号公報 Patent Document 1: Japanese Patent Laid-Open No. 2002-278538 Patent Document 2: Japanese Patent Laid-Open No. 2001-285745
発明の開示  Disclosure of the invention
[0013] 本発明の第 1の態様に係る画像合成装置は、第 1のプレンデイング係数 αを用いて 複数の画像を合成し合成画像を生成する合成画像生成手段を備えた画像合成装置 にお 、て、前記複数の画像に含まれる一つ以上の画像に基づ!/、て第 2のプレンディ ング係数 O 'を算出する O Ί直演算手段を備え、前記合成画像生成手段は、前記第 1のプレンディング係数 aおよび前記 a 直演算手段により算出された第 2のプレン デイング係数 を用いて前記複数の画像を合成し合成画像を生成する、ことを特徴 とする。  [0013] An image composition apparatus according to a first aspect of the present invention includes an image composition apparatus including a composite image generation unit that generates a composite image by combining a plurality of images using the first rendering coefficient α. And, based on one or more images included in the plurality of images, comprises an O correction calculation means for calculating a second rendering coefficient O ′, and the composite image generation means includes The plurality of images are synthesized using a blending coefficient a of 1 and a second rendering coefficient calculated by the a direct calculation means to generate a composite image.
[0014] この装置によれば、適切な第 2のブレンデイング係数 (X 'を算出し、これと第 1のブレ ンデイング係数 αとを用いて画像合成を行うようにしたので、貴重かつ限られたメモリ リソースの下でのアルファブレンデイングによる画像合成を可能にすることは勿論のこ と、文字および映像情報の視認性を両立した合成画像 (例えば映像画像と OSD画 像との合成画像等)を生成することができる。よって、モパイル機器のような小型の表 示装置 (表示画面)に合成画像を表示させた場合であっても文字および映像情報の 視認'性を損なうことはない。  [0014] According to this apparatus, since an appropriate second blending coefficient (X 'is calculated and image synthesis is performed using this and the first blending coefficient α, it is valuable and limited. It is possible to combine images by alpha blending under the memory resources, as well as composite images that achieve both character and video information visibility (for example, composite images of video images and OSD images, etc.) Therefore, even when a composite image is displayed on a small display device (display screen) such as a mopile device, the visibility of text and video information is not impaired.
[0015] 本発明の第 2の態様に係る画像合成装置は、上記第 1の態様において、前記 ex ' 値演算手段により前記複数の画像に含まれる一つ以上の画像に基づいて算出され る第 2のプレンデイング係数ひ Ίま、画像領域に応じて可変である、ことを特徴とする。  [0015] An image composition device according to a second aspect of the present invention is the image composition apparatus according to the first aspect, wherein the ex 'value calculation means is calculated based on one or more images included in the plurality of images. The feature is that the blending coefficient of 2 is variable according to the image area.
[0016] この装置によれば、第 2のプレンディング係数 oc 'を、画像領域に応じて可変とする ことができる。  [0016] According to this apparatus, the second blending coefficient oc 'can be made variable according to the image area.
本発明の第 3の態様に係る画像合成装置は、上記第 1の態様において、前記 値演算手段は、前記複数の画像に含まれる一つの画像からエッジ情報を抽出するェ ッジ抽出手段を備え、前記エッジ抽出手段により抽出されたエッジ情報に基づ!/ヽて 第 2のプレンデイング係数 oc 'を算出する、ことを特徴とする。  The image composition apparatus according to a third aspect of the present invention is the image composition apparatus according to the first aspect, wherein the value calculation means comprises edge extraction means for extracting edge information from one image included in the plurality of images. The second rendering coefficient oc ′ is calculated based on the edge information extracted by the edge extraction means.
[0017] この装置によれば、第 2のプレンデイング係数 a 'を、合成しょうとする複数の画像 に含まれる一つの画像力も抽出したエッジ情報に基づいて算出することができる。 本発明の第 4の態様に係る画像合成装置は、上記第 3の態様において、前記 値演算手段は、前記エッジ抽出手段により抽出されたエッジ情報と、予め定義された a 直演算式とに基づいて、第 2のプレンディング係数 a 'を算出する a 直演算式定 義手段を更に備える、ことを特徴とする。 [0017] According to this apparatus, the second rendering coefficient a 'can be calculated based on edge information obtained by extracting one image force included in a plurality of images to be synthesized. An image composition device according to a fourth aspect of the present invention, in the third aspect, The value calculating means further includes a direct arithmetic expression defining means for calculating a second blending coefficient a ′ based on the edge information extracted by the edge extracting means and a predefined a direct arithmetic expression. It is characterized by comprising.
[0018] この装置によれば、第 2のプレンデイング係数 a 'を、抽出したエッジ情報と予め定 義された a '値演算式とに基づいて算出することができる。 [0018] According to this apparatus, the second rendering coefficient a 'can be calculated based on the extracted edge information and a predefined a' value arithmetic expression.
本発明の第 5の態様に係る画像合成装置は、上記第 4の態様において、前記 値演算式は、前記エッジ抽出手段により抽出されたエッジ情報によって特定されるェ ッジ位置からの距離に応じた oc '値が定められた演算式である、ことを特徴とする。  The image composition device according to a fifth aspect of the present invention is the image composition device according to the fourth aspect, wherein the value arithmetic expression is in accordance with a distance from the edge position specified by the edge information extracted by the edge extraction means. It is characterized in that the oc 'value is a defined arithmetic expression.
[0019] この装置によれば、エッジ位置からの距離に応じて a 直を定めることができる。 [0019] According to this apparatus, the straight a can be determined according to the distance from the edge position.
本発明の第 6の態様に係る画像合成装置は、上記第 1の態様において、前記 値演算手段は、前記複数の画像に含まれる一つ以上の画像の色情報又は及び輝 度情報に基づいて第 2のプレンディング係数 を算出する、ことを特徴とする。  According to a sixth aspect of the present invention, in the first aspect, the value calculation means is based on color information or luminance information of one or more images included in the plurality of images. The second blending coefficient is calculated.
[0020] この装置によれば、第 2のプレンデイング係数 a 'を、合成しょうとする複数の画像 に含まれる一つ以上の画像の色情報又は及び輝度情報に基づいて算出することが できる。 [0020] According to this apparatus, the second rendering coefficient a 'can be calculated based on color information and luminance information of one or more images included in a plurality of images to be synthesized.
本発明の第 7の態様に係る画像合成装置は、上記第 1の態様において、前記合成 画像生成手段の処理を切り替える切替手段を更に備え、前記合成画像生成手段は 、前記切換手段による切り替えに応じて、前記第 1のプレンディング係数 αのみを用 いて前記複数の画像を合成し合成画像を生成するか、又は、前記第 1のプレンディ ング係数 aおよび前記第 2のプレンディング係数 a を用いて前記複数の画像を合 成し合成画像を生成する、ことを特徴とする。  An image composition device according to a seventh aspect of the present invention further comprises a switching means for switching processing of the composite image generation means in the first aspect, wherein the composite image generation means is responsive to switching by the switching means. And combining the plurality of images using only the first blending coefficient α to generate a composite image, or using the first blending coefficient a and the second blending coefficient a. The composite image is generated by combining the plurality of images.
[0021] この装置によれば、第 1のプレンデイング係数 aのみを用いて合成画像を生成する 力 或いは、第 1のブレンデイング係数 (Xと第 2のブレンデイング係数 α 'とを用いて 合成画像を生成するかを切り替えることができる。  [0021] According to this apparatus, the power to generate a composite image using only the first blending coefficient a or the first blending coefficient (using the first blending coefficient X and the second blending coefficient α ') It is possible to switch whether to generate an image.
[0022] また、本発明は、上記各態様に係る装置に限らず、方法及びプログラムとして構成 することも可會である。  [0022] The present invention is not limited to the apparatus according to each aspect described above, and may be configured as a method and a program.
図面の簡単な説明  Brief Description of Drawings
[0023] 本発明は、後述する詳細な説明を、下記の添付図面と共に参照すればより明らカゝ になるであろう。 [0023] The present invention will be more clearly understood with reference to the following detailed description in conjunction with the accompanying drawings. It will be.
[図 1]小型の表示装置を備えたモパイル機器に備えられた、本発明の一実施の形態 に係る画像合成装置の主要構成を示すブロック図である。  FIG. 1 is a block diagram showing a main configuration of an image composition device according to an embodiment of the present invention provided in a mopile device having a small display device.
[図 2]OSD画像力 抽出したエッジ情報を基に oc '値を導くようにした場合の、画像合 成装置の具体的な構成例を示すブロック図である。  FIG. 2 is a block diagram showing a specific configuration example of an image composition device when an oc ′ value is derived based on extracted edge information.
[図 3] a Ί直演算式定義部に予め定義されている oc Ί直演算式の一例を示す図である  FIG. 3 is a diagram illustrating an example of an oc direct arithmetic expression defined in advance in an a direct arithmetic expression definition unit.
[図 4]本発明の一実施の形態に係る画像合成装置に係る合成画像生成部が合成画 像を生成する過程で生成する、式(2)における「OSD画像 * — )」の画像の 一例を説明する図である。 FIG. 4 is an example of an image of “OSD image * —” in Equation (2) generated by the composite image generation unit of the image composition device according to the embodiment of the present invention in the process of generating a composite image. FIG.
[図 5]図 2に示した本実施の形態に係る画像合成装置と図 9に示した従来の画像合 成装置の各々により生成された合成画像を模式的に示す図である。  FIG. 5 is a diagram schematically showing a composite image generated by each of the image composition device according to the present embodiment shown in FIG. 2 and the conventional image composition device shown in FIG. 9.
[図 6A]他の a 直演算式の例を示す第 1の図である。  FIG. 6A is a first diagram showing another example of the direct arithmetic expression.
[図 6B]他の a 直演算式の例を示す第 2の図である。 FIG. 6B is a second diagram showing another example of the direct arithmetic expression.
[図 6C]他の a 直演算式の例を示す第 3の図である。 FIG. 6C is a third diagram showing an example of another a direct arithmetic expression.
[図 6D]他の a '値演算式の例を示す第 4の図である。 FIG. 6D is a fourth diagram showing another example of the a ′ value arithmetic expression.
[図 7]情報処理装置の構成図である。 FIG. 7 is a configuration diagram of an information processing apparatus.
[図 8]記録媒体を示す図である。 FIG. 8 is a diagram showing a recording medium.
[図 9]アルファブレンデイングにより OSD画像と映像画像とを合成する従来の画像合 成装置の主要構成を示すブロック図である。  FIG. 9 is a block diagram showing a main configuration of a conventional image synthesizing apparatus that synthesizes an OSD image and a video image by alpha blending.
[図 10]従来の画像合成装置に係る合成画像生成部により合成画像が生成される過 程で生成される、式(1)における「OSD画像 * α」の画像の一例を説明する図である  FIG. 10 is a diagram illustrating an example of an image of “OSD image * α” in Expression (1) generated in the process of generating a composite image by a composite image generation unit according to a conventional image composition device.
発明を実施するための最良の形態 BEST MODE FOR CARRYING OUT THE INVENTION
以下、図面を参照しながら本発明の実施の形態を説明する。  Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図 1は、小型の表示装置 (表示画面)を備えたモパイル機器に備えられた、本発明 の一実施の形態に係る画像合成装置の主要構成を示すブロック図である。なお、モ パイル機器は、例えば、携帯電話器、 PHS (Personal Handyphone System) , PDA ( Personal Digital Assistants)等で teる。 FIG. 1 is a block diagram showing a main configuration of an image composition device according to an embodiment of the present invention provided in a mopile device having a small display device (display screen). For example, mobile devices are mobile phones, PHS (Personal Handyphone System), PDA ( Te with Personal Digital Assistants).
[0025] 同図において、 値演算部 1は、映像画像上に合成される画像に応じて適切なブ レンディング係数 を算出する回路である。なお、本実施の形態では、映像画像上 に合成される画像を OSD画像として説明する。 値演算部 1では、詳しくは後述す るように、 OSD画像を参照しつつ予め設定された演算式に基づき oc 直を算出する。  In the figure, a value calculation unit 1 is a circuit that calculates an appropriate blending coefficient according to an image to be synthesized on a video image. In the present embodiment, an image synthesized on a video image is described as an OSD image. As will be described later in detail, the value calculation unit 1 calculates oc directly based on a preset calculation expression while referring to the OSD image.
[0026] a値設定レジスタ 2には、所定のブレンディング係数 αが記憶される。  The a value setting register 2 stores a predetermined blending coefficient α.
合成画像生成部 3は、映像画像および OSD画像が入力されると、 値演算部 1に より算出されたプレンデイング係数 と α値設定レジスタ 2に記憶された所定のブレ ンデイング係数 aを用いて次の式(2)の演算を行うことでアルファブレンデイングによ る画像合成を行い、合成画像を生成し出力する。  When the video image and the OSD image are input, the composite image generation unit 3 uses the pre-blending coefficient calculated by the value calculation unit 1 and the predetermined blending coefficient a stored in the α value setting register 2 to By performing the calculation of equation (2), image synthesis is performed by alpha blending, and a synthesized image is generated and output.
[0027] 合成画像 =OSD画像 * — οΤ ) +映像画像 — οΠ ) 式(2)  [0027] Composite image = OSD image * — οΤ) + video image — οΠ) Equation (2)
但し、 a値及び a 直は、 0≤ α≤ 1、且つ、 0≤ ( α— α Ί≤ 1を満たす値とする。 また、 OSD画像は、 ex— ex ' =0のときに完全透明、 oc— = 1のときに完全不透 明とする。  However, the a value and a straight are the values that satisfy 0≤ α≤ 1 and 0≤ (α—α Ί≤ 1. Also, the OSD image is completely transparent when ex—ex ′ = 0. Completely opaque when oc— = 1.
[0028] なお、合成画像生成部 3は、上記の式(2)の演算における「 — )」の演算を、 内部の α値演算部により行っている。  It should be noted that the composite image generation unit 3 performs the calculation of “—” in the calculation of the above equation (2) by the internal α value calculation unit.
このように、本実施の形態に係る画像合成装置は、図 9に示した従来の装置に対し て、 OSD画像に応じて適切なプレンディング係数 oc 'を算出する ex 直演算部 1が新 たに加わり、図 9に示した合成画像生成部 42に対応する合成画像生成部 3において は a 直および a値に応じて合成画像を生成できるように拡張されて構成されて ヽる  As described above, the image compositing apparatus according to the present embodiment has a new ex direct arithmetic unit 1 that calculates an appropriate blending coefficient oc ′ according to the OSD image, compared to the conventional apparatus shown in FIG. In addition, the composite image generation unit 3 corresponding to the composite image generation unit 42 shown in FIG. 9 is configured to be expanded so that a composite image can be generated in accordance with the straight a and the a value.
[0029] なお、 α値設定レジスタ 2は、図 9に示した α値設定レジスタ 41と同一の構成であり 、本実施の形態においては、これに記憶される α値も、図 9に示した従来の装置と同 様である。 Note that the α value setting register 2 has the same configuration as that of the α value setting register 41 shown in FIG. 9, and in this embodiment, the α value stored therein is also shown in FIG. It is the same as a conventional device.
[0030] 以上のように構成された画像合成装置によって生成された合成画像は、例えば、当 該画像合成装置が備えられたモパイル機器の表示装置に表示される。  [0030] The composite image generated by the image composition apparatus configured as described above is displayed on, for example, a display device of a mopile device provided with the image composition apparatus.
次に、本実施の形態に係る画像合成装置において、 値演算部1が、 OSD画像 を参照してエッジ情報 (例えば OSD画像に含まれる文字などのエッジ情報)を抽出し 、抽出したエッジ情報に基づいて a 直を導くようにした場合の例について説明する Next, in the image composition device according to the present embodiment, the value calculation unit 1 refers to the OSD image and extracts edge information (for example, edge information such as characters included in the OSD image). Explains an example in which a straight is derived based on the extracted edge information
[0031] 図 2は、そのような場合の画像合成装置の具体的な構成例を示すブロック図である 同図に示したように、この場合、 値演算部 1は、 OSD画像を参照してエッジ情報 を抽出し、抽出したエッジ情報に基づいて a '値を導くために、エッジ抽出部 laと a " 値演算式定義部 lbとを備えている。 FIG. 2 is a block diagram showing a specific configuration example of the image synthesis apparatus in such a case. As shown in FIG. 2, in this case, the value calculation unit 1 refers to the OSD image. In order to extract edge information and derive an a ′ value based on the extracted edge information, an edge extraction unit la and an a “value arithmetic expression definition unit lb are provided.
[0032] エッジ抽出部 laは、 OSD画像力もエッジ情報を抽出する。なお、 OSD画像からの エッジ情報の抽出は、例えば、フィルタ処理、又は、予め登録されているパターンとの パターンマッチングなどにより、行うことができる。パターンマッチングによりエッジ情報 の抽出を行う場合には、そのパターンを記憶するパタン登録用レジスタを更に備える ように構成することちできる。  [0032] The edge extraction unit la also extracts edge information from the OSD image force. The extraction of edge information from the OSD image can be performed by, for example, filter processing or pattern matching with a pre-registered pattern. When extracting edge information by pattern matching, a pattern registration register for storing the pattern can be further provided.
[0033] a 直演算式定義部 lbは、抽出されたエッジ情報と予め定義されている後述の ex ' 値演算式とに基づいて (X 直を生成する。但し、 a 直演算式を基に生成される (X ' 値は、上述のとおり、 0≤( α - α ')≤ 1を満たす値である。  [0033] The a direct arithmetic expression defining unit lb generates (X direct based on the extracted edge information and a pre-defined ex 'value arithmetic expression described later. However, based on the a direct arithmetic expression, The generated (X 'value is a value satisfying 0≤ (α-α') ≤ 1 as described above.
[0034] また、同図において、 OSD画像入力 Buffer4は、合成画像生成部 3および α '値演 算部 1に入力される OSD画像が一時的に格納されるノッファである。映像画像 Buffer 5は、合成画像生成部 3に入力される映像画像が一時的に格納されるノ ッファである 。 α値設定レジスタ 2および合成画像生成部 3については、既に説明したとおりであ る。  In FIG. 3, OSD image input Buffer 4 is a notifier in which OSD images input to composite image generation unit 3 and α 1 value calculation unit 1 are temporarily stored. The video image Buffer 5 is a notch in which the video image input to the composite image generation unit 3 is temporarily stored. The α value setting register 2 and the composite image generation unit 3 are as described above.
[0035] 図 3は、 oc '値演算式定義部 lbに予め定義されている oc 直演算式の一例を示す 図である。なお、同図において、横軸はエッジ位置力もの距離 (エッジ距離)を表し、 縦軸は α '値を表している。  FIG. 3 is a diagram illustrating an example of the oc direct arithmetic expression defined in advance in the oc ′ value arithmetic expression defining unit lb. In this figure, the horizontal axis represents the distance (edge distance) of the edge position force, and the vertical axis represents the α ′ value.
[0036] 同図の場合、 a 直演算式定義部 lbは、同図の太線で表される a 直演算式に従 つて、エッジ抽出部 laにより抽出されたエッジ情報力 特定される、 OSD画像におけ るエッジで囲まれた領域 (例えば OSD画像に含まれる文字のエッジで囲まれた文字 領域など)において、エッジ位置力 距離 D離れた位置までの一定幅の領域につい  [0036] In the case of the figure, the a direct arithmetic expression defining unit lb is an OSD image in which the edge information power extracted by the edge extracting unit la is specified according to the a direct arithmetic expression represented by a thick line in the figure. In a region surrounded by edges (for example, a character region surrounded by the edges of characters included in an OSD image), an edge position force distance D
1  1
ての 直として 0を生成し、それ以外の領域につ!/、ての 直として 'を生成する [0037] 図 4は、合成画像生成部 3が合成画像を生成する過程で生成する、上記の式(2) における「OSD画像 * — α ')」の画像の一例を説明する図である。 Generate 0 as the last line, and generate '! As the last line! / FIG. 4 is a view for explaining an example of an image of “OSD image * —α ′)” in the above equation (2), which is generated in the process of generating the composite image by the composite image generation unit 3.
同図に示したように、合成画像生成部 3は、エッジ抽出部 laおよび 値演算式定 義部 lbの処理により OSD画像 6を基に生成された a '値と、入力された OSD画像 6 と、 α値設定レジスタ 2に記憶された所定の α値とに基づいて、「OSD画像 * — a l ]の画像(同図の「本方式で生成した OSD画像」 ) 7を生成する。  As shown in the figure, the composite image generation unit 3 includes the a ′ value generated based on the OSD image 6 by the processing of the edge extraction unit la and the value arithmetic expression definition unit lb, and the input OSD image 6 Based on the predetermined α value stored in the α value setting register 2, an “OSD image * — al] image (“ OSD image generated by this method ”in FIG. 7) 7 is generated.
[0038] 図 3を用いて説明したように、図 4に示した「OSD画像 * — α Ί」の画像 7にお いて、エッジ位置から距離 D離れた位置までの一定幅の領域 (画像 7における濃く着  [0038] As described with reference to FIG. 3, in the image 7 of “OSD image * — α Ί” shown in FIG. 4, an area having a constant width from the edge position to a position D away (image 7). In the dark
1  1
色された部分)については「OSD画像 * —0)」となって、上記の式(1)における「 OSD画像 * ひ」と同等となり、それ以外の領域 (画像 7における薄く着色された部分) については「OSD画像 * — ;)」となって、 の影響を受けることとなる。すな  (OSD image * —0) ”for the colored part), which is equivalent to“ OSD image * HI ”in equation (1) above, and other areas (lightly colored part in image 7) Will be affected by the "OSD image * —;)". sand
1  1
わち、「OSD画像 * ( α— α Ί」の画像 7においては、エッジ位置から一定幅の領域 に対し、それ以外の領域は、より透明な画像となる。  In other words, in the image 7 of “OSD image * (α−αΊ”, the region other than the region having a certain width from the edge position is a more transparent image.
[0039] 合成画像生成部 3においては、このようにして「OSD画像 * — α Ί」の画像が 生成されると共に、上記式(2)における「映像画像 * (1— ( α— ))」の画像も生成 され、両画像の合成画像が生成される。ここで、「OSD画像 * — ひ ')」の画像 (例 えば図 4の画像 7)においては、図 9に示した従来の画像合成装置の合成画像生成 部 42で生成される「OSD画像 * ひ」の画像 (例えば図 10の画像 44)に対して、より 透明な画像となる。また、「映像画像 * (1— ( α— α Ί )」の画像においては、従来の 画像合成装置の合成画像生成部 42で生成される「映像画像 * (1—ひ)」の画像に 対して、より不透明な画像となる。よって、合成画像生成部 3により生成された合成画 像は、図 9に示した従来の装置の画像生成部 42により生成された合成画像に対し、 OSD画像はより薄く(より透明に)なり、映像画像はより濃く(より不透明に)なる結果と なる。従って、合成画像生成部 3により生成された合成画像をモパイル機器が備える 小型の表示装置に表示させたときに、 OSDと映像の視認性を向上させることができ る。 [0039] In the composite image generation unit 3, an image of "OSD image * — α Ί" is generated in this manner, and “video image * (1— (α—))” in the above equation (2). These images are also generated, and a composite image of both images is generated. Here, in the image of “OSD image * — '” ”(for example, image 7 in FIG. 4), the“ OSD image * generated by the composite image generation unit 42 of the conventional image composition apparatus shown in FIG. It becomes a more transparent image than the image of “hi” (eg, image 44 in FIG. 10). In addition, in the image of “video image * (1— (α—αΊ)”, the image of “video image * (1—hi)” generated by the composite image generation unit 42 of the conventional image synthesizer is used. Therefore, the composite image generated by the composite image generation unit 3 is different from the composite image generated by the image generation unit 42 of the conventional apparatus shown in FIG. As a result, the video image becomes darker (more transparent) and darker (more opaque), so that the composite image generated by the composite image generation unit 3 is displayed on a small display device included in the mopile device. Sometimes the OSD and video visibility can be improved.
[0040] 図 5は、図 2に示した本実施の形態に係る画像合成装置と図 9に示した従来の画像 合成装置の各々により生成された合成画像を模式的に示す図である。 図 5において、入力された OSD画像と映像画像を、 OSD画像 8と映像画像 9とし、 両画像の背景領域は無色透明 (透過色)とする。この場合、従来の画像合成装置で は、「映像画像 9 * ( 1—ひ)」の画像上に、「OSD画像 8 * α」の画像が重ねられ、合 成画像 10が生成される。これに対し、本実施の形態に係る画像合成装置では、「映 像画像 9 ( α οΤ) )」の画像上に、「OSD画像 8 — の画像が重 ねられ、合成画像 11が生成される。 FIG. 5 shows the image synthesizing apparatus according to the present embodiment shown in FIG. 2 and the conventional image shown in FIG. It is a figure which shows typically the synthesized image produced | generated by each of the synthetic | combination apparatuses. In FIG. 5, the input OSD image and video image are OSD image 8 and video image 9, and the background area of both images is colorless and transparent (transparent color). In this case, in the conventional image composition device, the “OSD image 8 * α” image is superimposed on the “video image 9 * (1-H)” image, and the composite image 10 is generated. On the other hand, in the image composition device according to the present embodiment, the image “OSD image 8 —” is superimposed on the image “image image 9 (α οΤ)” to generate a composite image 11. .
[0041] 同図に示したように、合成画像 11において、 OSD画像 8に含まれる図形のエッジ 位置から図形内へ距離 D離れた位置までの一定幅の領域については、「OSD画像 [0041] As shown in the figure, in the composite image 11, an area with a constant width from the edge position of the figure included in the OSD image 8 to a position that is a distance D away from the figure is described as "OSD image
1  1
8 * —0)」の画像となって、従来の装置における画像(「OSD画像 8 * α」の画像 )と同等となる。また、合成画像 1 1において、その一定幅の領域以外の OSD画像 8 に含まれる図形の領域については、「OSD画像 8 * (ひ  8 * -0) ”, which is equivalent to the image in the conventional device (the image of“ OSD image 8 * α ”). In addition, in the composite image 11, the OSD image 8 * (H
1;)」の画像となり、従来 の装置における画像 (「OSD画像 8 * a」の画像)よりも透明な (薄!/、)画像となる。  1;) ”, which is more transparent (thin! /,) Than the image on the conventional device (“ OSD image 8 * a ”image).
[0042] また、図示は省略したが、映像画像 9に含まれる図形の領域については、合成画像[0042] Although not shown in the figure, the area of the figure included in the video image 9 is a composite image.
11にお 、て「映像画像 9 ( α— oT) )」の画像となり、合成画像 10にお 、て「 映像画像 9 * ( 1—ひ)」の画像となるので、合成画像 10に対し、合成画像 11の方が11 is an image of “video image 9 (α—oT))”, and the composite image 10 is an image of “video image 9 * (1—hi)”. Composite image 11 is better
、より濃い (より不透明な)画像となる。 , Resulting in a darker (more opaque) image.
[0043] よって、合成画像 11をモパイル機器が備える小型の表示装置に表示させた場合に は、合成画像 10を表示させた場合よりも、 OSDと映像の視認性を向上させることが できる。 [0043] Therefore, when the composite image 11 is displayed on a small display device included in the mopile device, the visibility of the OSD and the video can be improved as compared with the case where the composite image 10 is displayed.
[0044] 以上、本実施の形態に係る画像合成装置によれば、図 3に示したような適切な a " 値演算式を設定しておくことで、文字 (OSD)および映像情報の視認性を向上させた 合成画像を簡単に生成することができる。よって、生成した合成画像をモノィル機器 が備える小型の表示装置 (表示画面)に表示させたときに、文字および映像情報の 視認'性をより向上させることができる。  As described above, according to the image synthesizing apparatus according to the present embodiment, the visibility of characters (OSD) and video information can be set by setting an appropriate a “value arithmetic expression as shown in FIG. As a result, it is possible to easily generate a composite image that improves the visibility of text and video information when the generated composite image is displayed on a small display device (display screen) of a mono device. It can be improved further.
[0045] また、従来の装置のように意図的にプレンディング係数 exの値を調整した文字画像 ZOSD画像を事前に作成してデータとして保有しておく必要もな 、ので、モパイル 機器が抱える貴重かつ限られたメモリリソースといった制限を受けることもない。 [0046] また、本実施の形態に係る画像合成装置は、従来の装置(図 9参照)に対して、 a ' 値演算部 1を新たに加えると共に、合成画像生成部 3においては 値およびひ値 に応じて合成画像を生成できるように拡張して構成することによって実現することがで きるので、既存装置との共存が容易になる。 [0045] In addition, it is also necessary to create a character image ZOSD image that has been intentionally adjusted to the value of the blending coefficient ex as in the conventional device and store it as data. In addition, there are no restrictions such as limited memory resources. In addition, the image composition device according to the present embodiment adds a 'value calculation unit 1 to the conventional device (see FIG. 9), and the composite image generation unit 3 uses values and values. Since it can be realized by expanding and configuring so that a composite image can be generated according to the value, coexistence with existing devices is facilitated.
[0047] また、図 3に示したような a 直演算式を工夫することで、 a 直による影響を大きくし て効果を高くすることや、 O Ί直による影響を少なくして効果を抑え気味にし回路規模 を削減する、などといった選択が容易になる。  [0047] In addition, by devising the a direct arithmetic expression as shown in Fig. 3, it is possible to increase the effect by increasing the effect of a direct, or to reduce the effect by reducing the effect of O direct and to suppress the effect. In other words, it is easy to select the circuit scale.
[0048] また、図 3に示したような a 直演算式を変更するだけで a 直による影響の度合 ヽ を変更することができるので、生成した合成画像を表示する表示装置 (表示画面)に 応じて最適な OC '値演算式を簡単に確認 Zテストすることができる。  [0048] In addition, since the degree of influence a by the a direct can be changed simply by changing the a direct arithmetic expression as shown in Fig. 3, the display device (display screen) for displaying the generated composite image can be changed. Easily confirm the optimal OC 'value calculation formula according to the Z test.
[0049] なお、本実施の形態に係る画像合成装置においては、 ex 直演算式定義部 lb (図 2参照)に予め定義されている a 直演算式を、図 3の太線で示した a 直演算式とし た力 これに限らず、例えば図 6A、図 6B、図 6C、及び図 6Dに示すような他の 値 演算式を用いることも可能である。なお、図 6Α、図 6Β、図 6C、及び図 6Dにおいても 、横軸はエッジ位置からの距離 (エッジ距離)を表し、縦軸は 値を表している。  Note that in the image composition device according to the present embodiment, the a direct arithmetic expression defined in advance in the ex direct arithmetic expression defining unit lb (see FIG. 2) is the a direct arithmetic expression indicated by the bold line in FIG. Force as an arithmetic expression Not limited to this, it is also possible to use other value arithmetic expressions as shown in FIGS. 6A, 6B, 6C, and 6D, for example. In FIGS. 6A, 6B, 6C, and 6D, the horizontal axis represents the distance from the edge position (edge distance), and the vertical axis represents the value.
[0050] 図 6Aに示した太線で表される α 直演算式によれば、合成画像生成部 3で生成さ れる「OSD画像 * ( α— )」の画像にぉ 、て、エッジ位置から所定距離離れた位 置までの領域については一定の傾きで徐々に透明度が増す画像となり、それ以外の 領域につ 、ては一定の透明度の画像となる。  [0050] According to the α direct arithmetic expression represented by the bold line shown in FIG. 6A, the image of the “OSD image * (α—)” generated by the composite image generation unit 3 is used in advance from the edge position. For areas up to a distance away, the image gradually increases in transparency with a constant slope, and for the other areas, the image has a certain transparency.
[0051] 図 6Βに示した太線で表される a 直演算式によれば、合成画像生成部 3で生成さ れる「OSD画像 * ( α— )」の画像にぉ 、て、エッジ位置から所定距離離れた位 置までの領域については曲線の傾きで徐々に透明度が増す画像となり、それ以外の 領域につ 、ては一定の透明度の画像となる。  [0051] According to the a direct arithmetic expression represented by the thick line shown in Fig. 6B, the image of the "OSD image * (α-)" generated by the composite image generation unit 3 is used to obtain a predetermined value from the edge position. For areas up to a distance away, the transparency gradually increases with the slope of the curve, and for the other areas, the image has a certain transparency.
[0052] 図 6Cに示した太線で表される a 直演算式によれば、合成画像生成部 3で生成さ れる「OSD画像 * — α Ί」の画像において、エッジ位置力 離れるにつれ一定 の傾きで徐々に透明度が増す画像となる。  [0052] According to the a direct arithmetic expression represented by the thick line shown in FIG. 6C, in the image of “OSD image * — α Ί” generated by the composite image generation unit 3, the inclination is constant as the edge position force is separated. The image gradually increases in transparency.
[0053] 図 6Dに示した太線で表される a 直演算式によれば、合成画像生成部 3で生成さ れる「OSD画像 * ( α— 0^)」の画像において、エッジ位置から離れるにつれ徐々 に透明度が減少する画像となる。 [0053] According to the a direct arithmetic expression represented by the thick line shown in FIG. 6D, in the “OSD image * (α—0 ^)” image generated by the composite image generation unit 3, the distance from the edge position increases. gradually This results in an image with reduced transparency.
[0054] また、本実施の形態に係る画像合成装置において、 値演算部 1は OSD画像を 参照して 値を算出しているが、例えば、映像画像を参照して 値を算出するよう に構成することも可能である。或いは、 OSD画像と映像画像の両画像を参照して 値を算出するように構成することも可能である。映像画像を参照して O Ί直を算出す るように構成した場合には、例えば、映像画像の色情報又は及び輝度情報に基づい て OC '値を算出するように構成することも可能である。  [0054] In the image composition device according to the present embodiment, the value calculation unit 1 calculates a value with reference to an OSD image. For example, the value calculation unit 1 is configured to calculate a value with reference to a video image. It is also possible to do. Alternatively, the value can be calculated by referring to both the OSD image and the video image. When configured to calculate the O correction with reference to the video image, for example, it may be configured to calculate the OC ′ value based on the color information or luminance information of the video image. .
[0055] また、本実施の形態に係る画像合成装置にお!ヽては、 OSD画像と映像画像の 2つ の画像を合成して合成画像を生成するものであった力 例えば、 3つ以上の画像を 同様にして合成し合成画像を生成するように構成することも可能である。  [0055] In addition, the image synthesizing apparatus according to the present embodiment has the power to generate a synthesized image by synthesizing two images of an OSD image and a video image. It is also possible to compose the images in the same manner to generate a composite image.
[0056] また、本実施の形態に係る画像合成装置にお!、て、 OSD画像又は及び映像画像 は、動画像であっても静止画像であってもよい。  [0056] Further, in the image composition device according to the present embodiment, the OSD image or the video image may be a moving image or a still image.
また、本実施の形態に係る画像合成装置においては、上記の式(2)に従って合成 画像を生成するものであった力 これに限らず、上記の式(2)における「(《— οΤ)」 を例えば「( α + α Ί」に変更した式などのように、他の式に従って合成画像を生成 するように構成することも可能である  Further, in the image composition device according to the present embodiment, the force that generates the composite image according to the above equation (2) is not limited to this, and “(<< — οΤ)” in the above equation (2) It is also possible to configure to generate a composite image according to other formulas, such as a formula changed to “(α + αΊ)”
また、本実施の形態に係る画像合成装置において、 OSD画像に背景色を設定す る背景色設定部を更に備えるように構成して、 a '値演算部 1のエッジ抽出部 laが、 その背景色設定部により設定された背景色の変化点を抽出することにより、エッジ情 報を抽出するように構成することも可能でる。この場合、その背景色設定部により設 定される背景色の情報を記憶する背景色設定用レジスタを更に備えるように構成す ることも可能である。また、この場合、合成画像生成部 3は、その背景色設定部により 設定された背景色を透過色として処理し、実際に表示される画像には現れないように 構成することも可能である。  Further, in the image composition device according to the present embodiment, it is configured to further include a background color setting unit that sets a background color for the OSD image, and the edge extraction unit la of the a ′ value calculation unit 1 has the background The edge information can be extracted by extracting the change point of the background color set by the color setting unit. In this case, it is possible to further comprise a background color setting register for storing information on the background color set by the background color setting unit. In this case, the composite image generation unit 3 can also be configured so that the background color set by the background color setting unit is processed as a transparent color and does not appear in an actually displayed image.
[0057] また、本実施の形態に係る画像合成装置にお!ヽて、合成画像生成部 3の処理を切 り替える切替部を更に備えるように構成して、その切替部による切り替えに応じて、合 成画像生成部 3が、プレンディング係数 αのみを用いて合成画像を生成するカゝ、又 は、プレンデイング係数 αおよびプレンデイング係数 α を用いて合成画像を生成す るように構成することも可能である。 In addition, the image composition device according to the present embodiment is further configured to further include a switching unit that switches the process of the composite image generation unit 3, and according to the switching by the switching unit. The composite image generation unit 3 generates a composite image using only the blending coefficient α, or generates a composite image using the blending coefficient α and the blending coefficient α. It is also possible to configure such that.
[0058] ところで、本実施の形態に係る画像合成装置を備えたモパイル機器は、例えば、図  By the way, a mopile device including the image composition device according to the present embodiment is, for example, illustrated in FIG.
7に示すような情報処理装置(コンピュータ)を用いて構成される。  It is configured using an information processing device (computer) as shown in FIG.
同図に示した情報処理装置は、 CPU (中央処理装置) 21、メモリ 22、入力装置 23 The information processing apparatus shown in FIG. 1 includes a CPU (central processing unit) 21, a memory 22, and an input device 23.
、出力装置 24、外部記憶装置 25、媒体駆動装置 26、ネットワーク接続装置 27を備 え、それらはノ ス 28により互いに接続されている。 , An output device 24, an external storage device 25, a medium drive device 26, and a network connection device 27, which are connected to each other by a nose 28.
[0059] メモリ 22は、例えば、 ROM (read only memory)、 RAM (Random Access Memory) 等を含み、処理に用いられるプログラムおよびデータを格納する。 CPU21は、メモリThe memory 22 includes, for example, a ROM (read only memory), a RAM (Random Access Memory), and the like, and stores programs and data used for processing. CPU21 is memory
22を利用してプログラムを実行することにより、必要な処理を行う。 The necessary processing is performed by executing the program using 22.
[0060] 図 1に示した oc 直演算部 1や合成画像生成部 3、および、図 2に示したエッジ抽出 部 laや oc 直演算式定義部 lbは、メモリ 22に格納されたプログラムまたはその機能 に対応する。 [0060] The oc direct calculation unit 1 and the composite image generation unit 3 shown in FIG. 1 and the edge extraction unit la and the oc direct calculation expression definition unit lb shown in FIG. Corresponds to the function.
[0061] 入力装置 23は、例えば、キーボード、ポインティングデバイス、タツチパネル等であ り、ユーザ力 の指示や情報の入力に用いられる。出力装置 24は、例えば、ディスプ レイ、スピーカ等であり、ユーザへの問い合わせや処理結果等の出力に用いられる。  [0061] The input device 23 is, for example, a keyboard, a pointing device, a touch panel, or the like, and is used for inputting a user power or inputting information. The output device 24 is, for example, a display, a speaker, and the like, and is used for outputting an inquiry to a user, a processing result, and the like.
[0062] 外部記憶装置 25は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク 装置、テープ装置等である。情報処理装置は、この外部記憶装置 25に、上記プログ ラムおよびデータを格納しておき、必要に応じて、それらをメモリ 22にロードして使用 する。  [0062] The external storage device 25 is, for example, a magnetic disk device, an optical disk device, a magneto-optical disk device, a tape device, or the like. The information processing apparatus stores the program and data in the external storage device 25, and loads them into the memory 22 for use as necessary.
[0063] 媒体駆動装置 26は、可搬記録媒体 29を駆動し、その記録内容にアクセスする。可 搬記録媒体 29は、メモリカード、フレキシブルディスク、 CD-ROM (compact disk re ad only memory )、光ディスク、光磁気ディスク等の任意のコンピュータ読み取り可能 な記録媒体である。ユーザは、この可搬記録媒体 29に上記プログラムおよびデータ を格納しておき、必要に応じて、それらをメモリ 22にロードして使用する。  [0063] The medium driving device 26 drives a portable recording medium 29 and accesses the recorded contents. The portable recording medium 29 is an arbitrary computer-readable recording medium such as a memory card, a flexible disk, a CD-ROM (compact disk read only memory), an optical disk, and a magneto-optical disk. The user stores the program and data in the portable recording medium 29, and loads them into the memory 22 for use as necessary.
[0064] 図 1 (又は図 2)に示した α設定レジスタ 2と図 2に示した OSD画像入力 Buffer4およ び映像画像入力 Buffer5の各々は、メモリ 22に対応する。  Each of the α setting register 2 shown in FIG. 1 (or FIG. 2) and the OSD image input buffer 4 and the video image input buffer 5 shown in FIG.
ネットワーク接続装置 27は、 LAN (local area network)やインターネット等の任意の 通信ネットワークに接続され、通信に伴うデータ変換を行う。情報処理装置は、必要 に応じて、上記プログラムおよびデータを外部の装置力もネットワーク接続装置 27を 介して受け取り、それらをメモリ 22にロードして使用する。 The network connection device 27 is connected to an arbitrary communication network such as a LAN (local area network) or the Internet, and performs data conversion accompanying communication. Information processing equipment is required In response to this, the above program and data are also received by the external device through the network connection device 27 and loaded into the memory 22 for use.
[0065] 図 8は、図 7に示した情報処理装置にプログラムおよびデータを供給することのでき るコンピュータ読み取り可能な記録媒体を示して 、る。外部記憶装置 25ゃ可搬記録 媒体 29やサーバ 31のデータベース 32に格納されたプログラムおよびデータは、情 報処理装置 33のメモリ 22にロードされる。サーバ 31は、そのプログラムおよびデータ を搬送する搬送信号を生成し、ネットワーク上の任意の伝送媒体を介して情報処理 装置 33に送信する。 CPU21は、そのデータを用いてそのプログラムを実行し、必要 な処理を行う。 FIG. 8 shows a computer-readable recording medium that can supply a program and data to the information processing apparatus shown in FIG. The external storage device 25 is a portable recording medium 29 and the program and data stored in the database 32 of the server 31 are loaded into the memory 22 of the information processing device 33. The server 31 generates a carrier signal that carries the program and data, and transmits the carrier signal to the information processing device 33 via any transmission medium on the network. The CPU 21 executes the program using the data and performs necessary processing.
[0066] 以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、 本発明の要旨を逸脱しな 、範囲にぉ 、て、各種の改良及び変更を行っても良!、の はもちろんである。  [0066] Although the present invention has been described in detail above, the present invention is not limited to the above-described embodiment, and various improvements and modifications may be made without departing from the scope of the present invention. Of course!
[0067] 以上、本発明によれば、貴重かつ限られたメモリリソースの下であってもアルファブ レンディングによる画像合成が可能であって、且つ、文字および映像情報の視認性 を両立した合成画像を生成することができる。よって、モパイル機器のような小型の表 示装置 (表示画面)に合成画像を表示させる場合であっても文字および映像情報の 視認'性を損なうことはない。  As described above, according to the present invention, an image can be synthesized by alpha blending even under valuable and limited memory resources, and the combined image having both the visibility of text and video information can be achieved. Can be generated. Therefore, even when a composite image is displayed on a small display device (display screen) such as a mopile device, the visibility of characters and video information is not impaired.

Claims

請求の範囲 The scope of the claims
[1] 第 1のプレンデイング係数 exを用いて複数の画像を合成し合成画像を生成する合 成画像生成手段を備えた画像合成装置にお!ヽて、  [1] An image synthesizing apparatus provided with composite image generating means for generating a composite image by combining a plurality of images using the first rendering coefficient ex,
前記複数の画像に含まれる一つ以上の画像に基づいて第 2のプレンディング係数 a 'を算出する (X Ί直演算手段を備え、  A second blending coefficient a ′ is calculated based on one or more images included in the plurality of images (comprising an X correction operation means,
前記合成画像生成手段は、前記第 1のプレンディング係数 aおよび前記 a 直演 算手段により算出された第 2のプレンディング係数 を用いて前記複数の画像を合 成し合成画像を生成する、  The composite image generation means generates the composite image by combining the plurality of images using the first blending coefficient a and the second blending coefficient calculated by the a direct calculation means;
ことを特徴とする画像合成装置。  An image composition device characterized by the above.
[2] 前記 oc 直演算手段により前記複数の画像に含まれる一つ以上の画像に基づいて 算出される第 2のプレンデイング係数 は、画像領域に応じて可変である、 ことを特徴とする請求項 1記載の画像合成装置。 [2] The second rendering coefficient calculated by the oc direct calculation means based on one or more images included in the plurality of images is variable according to an image region. Item 1. The image composition device according to Item 1.
[3] 前記 値演算手段は、 [3] The value calculation means includes:
前記複数の画像に含まれる一つの画像力 エッジ情報を抽出するエッジ抽出手段 を備え、  Edge extraction means for extracting one image force edge information included in the plurality of images,
前記エッジ抽出手段により抽出されたエッジ情報に基づいて第 2のプレンディング 係数 を算出する、  Calculating a second blending coefficient based on the edge information extracted by the edge extraction means;
ことを特徴とする請求項 1記載の画像合成装置。  The image synthesizing device according to claim 1.
[4] 前記エッジ抽出手段は、フィルタ処理、又は、予め登録されて!、るパターンとのパタ ーンマッチングにより、前記複数の画像に含まれる一つの画像力 エッジ情報を抽出 する、 [4] The edge extraction means extracts one image force edge information included in the plurality of images by filter processing or pattern matching with a pattern registered in advance!
ことを特徴とする請求項 3記載の画像合成装置。  The image synthesizing device according to claim 3.
[5] 前記パターンを記憶するパターン記憶手段を更に備える、 [5] The apparatus further comprises pattern storage means for storing the pattern,
ことを特徴とする請求項 4記載の画像合成装置。  5. The image synthesizing apparatus according to claim 4, wherein
[6] 前記エッジ抽出手段によりエッジ情報が抽出される画像に背景色を設定する背景 色設定手段を更に備え、 [6] It further comprises background color setting means for setting a background color in an image from which edge information is extracted by the edge extraction means,
前記エッジ抽出手段は、前記背景色設定手段により設定された背景色の変化点を 抽出することにより、前記複数の画像に含まれる一つの画像からエッジ情報を抽出す る、 The edge extraction unit extracts edge information from one image included in the plurality of images by extracting a change point of the background color set by the background color setting unit. The
ことを特徴とする請求項 3記載の画像合成装置。  The image synthesizing device according to claim 3.
[7] 前記背景色設定手段により設定される背景色の情報を記憶する背景色記憶手段 を更に備える、 [7] A background color storage unit that stores information on the background color set by the background color setting unit,
ことを特徴とする請求項 6記載の画像合成装置。  The image synthesizing apparatus according to claim 6.
[8] 前記合成画像生成手段は、前記背景色設定手段により設定された背景色を透過 色として処理する、 [8] The composite image generation means processes the background color set by the background color setting means as a transparent color.
ことを特徴とする請求項 6記載の画像合成装置。  The image synthesizing apparatus according to claim 6.
[9] 前記 値演算手段は、 [9] The value calculation means includes:
前記エッジ抽出手段により抽出されたエッジ情報と、予め定義された a Ί直演算式 とに基づいて、第 2のプレンディング係数 oc 'を算出する OC Ί直演算式定義手段を更 に備える、  OC further comprising a straightforward equation defining means for calculating a second blending coefficient oc ′ based on the edge information extracted by the edge extracting means and a predefined straight straight equation.
ことを特徴とする請求項 3記載の画像合成装置。  The image synthesizing device according to claim 3.
[10] 前記 oc 直演算式は、前記エッジ抽出手段により抽出されたエッジ情報によって特 定されるエッジ位置力 の距離に応じた oc '値が定められた演算式である、 [10] The oc direct arithmetic expression is an arithmetic expression in which an oc ′ value corresponding to the distance of the edge position force specified by the edge information extracted by the edge extraction unit is determined.
ことを特徴とする請求項 9記載の画像合成装置。  The image synthesizing device according to claim 9.
[11] 前記エッジ抽出手段によりエッジ情報が抽出される画像は、前記合成画像生成手 段により最前面に合成される画像である、 [11] The image from which the edge information is extracted by the edge extraction means is an image that is combined in the foreground by the combined image generation means.
ことを特徴とする請求項 3記載の画像合成装置。  The image synthesizing device according to claim 3.
[12] 前記 α 直演算手段は、前記複数の画像に含まれる一つ以上の画像の色情報又 は及び輝度情報に基づ ヽて第 2のプレンデイング係数 oc を算出する、 [12] The α direct calculation means calculates a second rendering coefficient oc based on color information or luminance information of one or more images included in the plurality of images.
ことを特徴とする請求項 1記載の画像合成装置。  The image synthesizing device according to claim 1.
[13] 前記色情報又は及び輝度情報を有する一つ以上の画像は、前記複数の画像に含 まれる、前記合成画像生成手段により最前面に合成される画像以外の画像である、 ことを特徴とする請求項 12記載の画像合成装置。 [13] The one or more images having the color information and / or the luminance information are images other than the image synthesized in the foreground by the synthesized image generation means included in the plurality of images. The image composition device according to claim 12.
[14] 前記合成画像生成手段の処理を切り替える切替手段を更に備え、 [14] The apparatus further comprises switching means for switching processing of the composite image generation means,
前記合成画像生成手段は、前記切換手段による切り替えに応じて、前記第 1のブ レンディング係数 αのみを用いて前記複数の画像を合成し合成画像を生成するか、 又は、前記第 1のプレンディング係数 aおよび前記第 2のプレンディング係数 a を 用いて前記複数の画像を合成し合成画像を生成する、 The composite image generation means generates a composite image by combining the plurality of images using only the first blending coefficient α in response to switching by the switching means. Alternatively, the plurality of images are synthesized using the first blending coefficient a and the second blending coefficient a to generate a composite image.
ことを特徴とする請求項 1記載の画像合成装置。  The image synthesizing device according to claim 1.
[15] 第 1のプレンディング係数 aを用いて複数の画像を合成し合成画像を生成する画 像合成装置の画像合成方法にお!ヽて、 [15] For an image composition method of an image composition device that composes a plurality of images using the first blending coefficient a to generate a composite image,
前記複数の画像に含まれる一つ以上の画像に基づいて第 2のプレンディング係数 を算出し、  Calculating a second blending coefficient based on one or more images included in the plurality of images;
前記第 1のプレンディング係数 aおよび前記第 2のプレンディング係数 を用いて 前記複数の画像を合成し合成画像を生成する、  Combining the plurality of images using the first blending coefficient a and the second blending coefficient to generate a composite image;
ことを特徴とする画像合成方法。  An image composition method characterized by the above.
[16] 前記複数の画像に含まれる一つ以上の画像に基づいて算出される第 2のプレンデ イング係数 'は、画像領域に応じて可変である、 [16] The second rendering coefficient 'calculated based on one or more images included in the plurality of images is variable according to the image region.
ことを特徴とする請求項 15記載の画像合成方法。  The image composition method according to claim 15, wherein:
[17] 前記複数の画像に含まれる一つの画像カゝらエッジ情報を抽出し、当該エッジ情報 に基づいて第 2のプレンデイング係数 a 'を算出する、 [17] Extract edge information from one image cover included in the plurality of images, and calculate a second rendering coefficient a ′ based on the edge information.
ことを特徴とする請求項 15記載の画像合成方法。  The image composition method according to claim 15, wherein:
[18] 抽出したエッジ情報と、予め定義された a '値演算式とに基づいて、第 2のプレンデ イング係数 を算出する、 [18] Based on the extracted edge information and a pre-defined a ′ value calculation formula, a second rendering coefficient is calculated.
ことを特徴とする請求項 17記載の画像合成方法。  The image composition method according to claim 17.
[19] 前記 oc 直演算式は、抽出したエッジ情報によって特定されるエッジ位置からの距 離に応じた (X 直が定められた演算式である、 [19] The oc direct arithmetic expression is an arithmetic expression in which the X direct is determined according to the distance from the edge position specified by the extracted edge information.
ことを特徴とする請求項 18記載の画像合成方法。  The image composition method according to claim 18, wherein:
[20] 第 1のプレンディング係数 aを用いて複数の画像を合成し合成画像を生成する画 像合成装置のコンピュータに、 [20] The computer of the image synthesizer that synthesizes a plurality of images using the first blending coefficient a to generate a synthesized image,
前記複数の画像に含まれる一つ以上の画像に基づいて第 2のプレンディング係数 a 'を算出する (X Ί直演算機能と、  A second blending coefficient a ′ is calculated based on one or more images included in the plurality of images (X direct calculation function and
前記第 1のプレンディング係数 exおよび前記 ex Ί直演算機能により算出された第 2 のプレンディング係数 α を用いて前記複数の画像を合成し合成画像を生成する合 成画像生成機能と、 A composite image is generated by combining the plurality of images using the first blending coefficient ex and the second blending coefficient α calculated by the ex-rectangular calculation function. Adult image generation function,
を実現させるためのプログラム。  A program to realize
第 1のプレンディング係数 aを用いて複数の画像を合成し合成画像を生成する画 像合成装置のコンピュータに、  The computer of the image synthesizer that synthesizes a plurality of images using the first blending coefficient a and generates a synthesized image
前記複数の画像に含まれる一つ以上の画像に基づいて第 2のプレンディング係数 a 'を算出する (X Ί直演算機能と、  A second blending coefficient a ′ is calculated based on one or more images included in the plurality of images (X direct calculation function and
前記第 1のプレンディング係数 (Xおよび前記 (X Ί直演算機能により算出された第 2 のプレンディング係数 a を用いて前記複数の画像を合成し合成画像を生成する合 成画像生成機能と、 The first blending coefficient (X and the (X composite image generation function for generating a composite image by combining the plurality of images using the second blending coefficient a calculated by the direct calculation function, and
を実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。  The computer-readable recording medium which recorded the program for implement | achieving.
PCT/JP2006/319416 2006-09-29 2006-09-29 Image synthesizing device and image synthesizing method WO2008041270A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2006/319416 WO2008041270A1 (en) 2006-09-29 2006-09-29 Image synthesizing device and image synthesizing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2006/319416 WO2008041270A1 (en) 2006-09-29 2006-09-29 Image synthesizing device and image synthesizing method

Publications (1)

Publication Number Publication Date
WO2008041270A1 true WO2008041270A1 (en) 2008-04-10

Family

ID=39268137

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/319416 WO2008041270A1 (en) 2006-09-29 2006-09-29 Image synthesizing device and image synthesizing method

Country Status (1)

Country Link
WO (1) WO2008041270A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016033831A (en) * 2015-12-03 2016-03-10 ペキン ユニバーシティ Overlapped annotation output
WO2020153097A1 (en) * 2019-01-21 2020-07-30 ローム株式会社 Semiconductor device, vehicle-mounted display system using same, and electronic device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07131817A (en) * 1993-11-05 1995-05-19 Sony Corp Method and device for image synthesis
JP2000155568A (en) * 1998-11-19 2000-06-06 Toshiba Corp Image display controller and image display control method
JP2001285745A (en) * 2000-03-30 2001-10-12 Sony Corp Image synthesizer and image synthesizing method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07131817A (en) * 1993-11-05 1995-05-19 Sony Corp Method and device for image synthesis
JP2000155568A (en) * 1998-11-19 2000-06-06 Toshiba Corp Image display controller and image display control method
JP2001285745A (en) * 2000-03-30 2001-10-12 Sony Corp Image synthesizer and image synthesizing method

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016033831A (en) * 2015-12-03 2016-03-10 ペキン ユニバーシティ Overlapped annotation output
WO2020153097A1 (en) * 2019-01-21 2020-07-30 ローム株式会社 Semiconductor device, vehicle-mounted display system using same, and electronic device
CN113330508A (en) * 2019-01-21 2021-08-31 罗姆股份有限公司 Semiconductor device, and in-vehicle display system and electronic apparatus using the same
JPWO2020153097A1 (en) * 2019-01-21 2021-11-11 ローム株式会社 Semiconductor devices, in-vehicle display systems using them, electronic devices
JP7252981B2 (en) 2019-01-21 2023-04-05 ローム株式会社 Semiconductor device, in-vehicle display system using it, electronic equipment
US11715442B2 (en) 2019-01-21 2023-08-01 Rohm Co., Ltd. Semiconductor apparatus with OSD function
CN113330508B (en) * 2019-01-21 2024-04-30 罗姆股份有限公司 Semiconductor device, in-vehicle display system using the same, and electronic apparatus

Similar Documents

Publication Publication Date Title
US8358280B2 (en) Electronic device capable of showing page flip effect and method thereof
US7853873B2 (en) Data processing apparatus, data processing method, and computer program for generating electronic data from a paper document
EP2478430B1 (en) System and methods for a run time configurable user interface controller
EP1447767A3 (en) Image document administration method
WO2004107765A1 (en) 3-dimensional video display device, text data processing device, program, and storage medium
CN111489429A (en) Image rendering control method, terminal device and storage medium
KR20150033162A (en) Compositor and system-on-chip having the same, and driving method thereof
JP2013125426A (en) Content display device, method, and program
JP5875415B2 (en) Image synthesizer
KR100745258B1 (en) Method for transforming shape of vector based text
WO2008041270A1 (en) Image synthesizing device and image synthesizing method
JP2003108284A (en) Image contents delivery system and apparatus for image display
US20200064993A1 (en) Input device, mobile terminal, input device control method, and input device control program
JPH11272690A (en) Data display device, method therefor and recording medium recorded with data displaying program
JP2010176429A (en) Electronic content distribution system
JP5826966B2 (en) Image processing apparatus, image processing method, information storage medium, and program
US20060092140A1 (en) Apparatus and method for user interfacing
JP2005235205A (en) Compositing with clip-to-self functionality without using shape channel
KR100706365B1 (en) Method and apparatus of displaying text message, and portable terminal therewith
KR100897177B1 (en) Terminal-Keypad Modification System and Control Method thereof
JP2004220621A (en) Data display device and method, and recording medium with data display program recorded
JP2004096451A (en) Image data generating device, image display device, image data generating program, image display program, image data generating method, and image display method
JP7396326B2 (en) Information processing system, information processing device, information processing method and program
JP3642952B2 (en) Image composition method and apparatus, and information processing system
WO2007129510A1 (en) Image processing system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 06810822

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 06810822

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP