JP5961389B2 - Image processing apparatus, image processing method, and program - Google Patents
Image processing apparatus, image processing method, and program Download PDFInfo
- Publication number
- JP5961389B2 JP5961389B2 JP2012010717A JP2012010717A JP5961389B2 JP 5961389 B2 JP5961389 B2 JP 5961389B2 JP 2012010717 A JP2012010717 A JP 2012010717A JP 2012010717 A JP2012010717 A JP 2012010717A JP 5961389 B2 JP5961389 B2 JP 5961389B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- images
- information
- environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Television Systems (AREA)
Description
本発明は、画像を処理する画像処理装置等に関するものである。 The present invention relates to an image processing apparatus for processing an image.
従来、実在する入力画像データと対応する画素間の所定の画素の画像データを実在する入力画像データによって補間生成するためのディジタル画像信号の補間装置において、実在する入力画像データを受け取り、所定の画素の周辺位置に存在する所定数の実在する画素データを抽出する手段と、係数を求めるための画素データを用いて、補間値と真値との誤差の自乗和が最小となるように最小自乗法により予め定められた所定数の係数と、抽出された上記所定数の実在する画素データとの線形1次結合により、所定の画素の画素データを補間生成する手段とからなることを特徴とするディジタル画像信号の補間装置があった(特許文献1参照)。 Conventionally, in a digital image signal interpolating apparatus for interpolating and generating image data of a predetermined pixel between pixels corresponding to actual input image data and existing input image data, the actual input image data is received and the predetermined pixel The least square method is used to minimize the sum of squares of the error between the interpolation value and the true value, using means for extracting a predetermined number of actual pixel data existing in the peripheral position of the pixel and pixel data for obtaining the coefficient. And a means for interpolating and generating pixel data of a predetermined pixel by linear linear combination of the predetermined number of coefficients determined in advance by the extracted predetermined number of existing pixel data. There has been an interpolation device for image signals (see Patent Document 1).
また、第1のディジタルビデオ信号から上記第1のディジタルビデオ信号より画素数の多い第2のディジタルビデオ信号を生成するディジタルビデオ信号変換装置があった(特許文献2参照)。 Also, there has been a digital video signal conversion device that generates a second digital video signal having a larger number of pixels than the first digital video signal from the first digital video signal (see Patent Document 2).
しかしながら、従来技術では、目的に応じて脳負荷が調整された画像を出力できなかった。 However, the prior art cannot output an image in which the brain load is adjusted according to the purpose.
本第一の発明の画像処理装置は、1以上の第一の画像の全部または一部分と、第一の画像より脳負荷が調整された画像であり、第一の画像と同一の対象についての画像である第二の画像の全部または一部分との対応を取るための情報である1または2以上の対応情報を有するルックアップテーブルを格納し得る格納部と、1以上の画像を受け付ける画像受付部と、1または2以上の対応情報のうちのいずれかの対応情報を用いて、画像受付部が受け付けた1以上の画像の全部または一部分に対応する1以上の第二の画像の全部または一部分を取得するマッピング部と、マッピング部が取得した1以上の第二の画像の全部、またはマッピング部が取得した1以上の第二の画像の一部分の集合である1以上の出力画像を出力する画像出力部とを具備する画像処理装置である。 The image processing apparatus according to the first aspect of the present invention is an image in which the brain load is adjusted from the first image, all or a part of the one or more first images, and an image of the same object as the first image A storage unit that can store a lookup table having one or more correspondence information that is information for taking correspondence with all or part of the second image, and an image receiving unit that accepts one or more images Using all the correspondence information of one or two or more correspondence information, obtain all or part of one or more second images corresponding to all or part of one or more images received by the image receiving unit. And an image output unit that outputs one or more output images that are a set of all of the one or more second images acquired by the mapping unit or a part of the one or more second images acquired by the mapping unit And ingredients An image processing apparatus for.
かかる構成により、目的に応じて脳負荷が調整された画像を出力できる。 With this configuration, it is possible to output an image in which the brain load is adjusted according to the purpose.
また、本第二の発明の画像処理装置は、第一の発明に対して、ルックアップテーブルは、2以上の対応情報を有し、画像受付部が受け付けた1以上の画像の全部または一部分に対応する第一の画像の全部または一部分を決定する画像解析部をさらに具備し、マッピング部は、画像解析部が決定した第一の画像の全部または一部分に対応する対応情報を用いて、画像解析部が決定した第一の画像の全部または一部分に対応する第二の画像を取得する画像処理装置である。 In the image processing apparatus according to the second aspect of the invention, in contrast to the first aspect of the invention, the lookup table has two or more pieces of correspondence information, and all or part of one or more images received by the image receiving unit. The image analysis unit for determining all or part of the corresponding first image is further provided, and the mapping unit performs image analysis using the correspondence information corresponding to all or part of the first image determined by the image analysis unit. An image processing apparatus that acquires a second image corresponding to all or a part of the first image determined by the section.
かかる構成により、目的に応じて脳負荷が調整された画像を出力できる。 With this configuration, it is possible to output an image in which the brain load is adjusted according to the purpose.
また、本第三の発明の画像処理装置は、第二の発明に対して、第一の画像の全部または一部分は、入力される映像のうちの一部である第一の時空間ブロックであり、第二の画像の全部または一部分は、画面に出力される映像のうちの一部である第二の時空間ブロックであり、画像受付部は、1以上の画像の集合である映像を受け付け、画像受付部が受け付けた映像を、空間的、または時間的、または空間的かつ時間的に2以上に分割し、2以上の第一の時空間ブロックを取得する分割部をさらに具備し、画像解析部は、分割部が取得した2以上の各第一の時空間ブロックごとに、各第一の時空間ブロックに対応する第一の画像の全部または一部分を決定し、マッピング部は、2以上の各第一の時空間ブロックごとに、画像解析部が決定した第一の画像の全部または一部分に対応する対応情報を用いて、画像解析部が決定した第一の画像の全部または一部分に対応する第二の時空間ブロックを取得し、マッピング部が取得した2以上の各第二の時空間ブロックを、2以上の各第二の時空間ブロックに対応する第一の時空間ブロックの時間的、または空間的、または空間的かつ時間的な位置に配置し、出力画像を生成する合成部をさらに具備し、画像出力部は、合成部が生成した出力画像を出力する画像処理装置である。 The image processing apparatus according to the third aspect of the present invention is the first spatiotemporal block in which all or a part of the first image is a part of the input video as compared with the second aspect. In addition, all or part of the second image is a second spatiotemporal block that is a part of the video output to the screen, and the image receiving unit receives a video that is a set of one or more images, The image receiving unit further includes a dividing unit that divides the image received spatially, temporally, or spatially and temporally into two or more and obtains two or more first spatiotemporal blocks, and performs image analysis. The unit determines all or part of the first image corresponding to each first spatiotemporal block for each of the two or more first spatiotemporal blocks acquired by the dividing unit, and the mapping unit includes two or more For each first spatiotemporal block, the number determined by the image analyzer The second spatiotemporal block corresponding to all or part of the first image determined by the image analysis unit is acquired using the correspondence information corresponding to all or part of the image, and two or more acquired by the mapping unit Each second spatiotemporal block is arranged at a temporal, spatial, or spatial and temporal position of the first spatiotemporal block corresponding to two or more second spatiotemporal blocks, and an output image The image output unit is an image processing apparatus that outputs an output image generated by the combining unit.
かかる構成により、目的に応じて脳負荷が調整された画像を出力できる。 With this configuration, it is possible to output an image in which the brain load is adjusted according to the purpose.
また、本第四の発明の画像処理装置は、第二または第三の発明に対して、画像解析部は、画像受付部が受け付けた1以上の画像、または分割部が取得した2以上の各第一の時空間ブロックを解析し、1以上の特徴量を取得し、1以上の特徴量に対応する第一の画像の全部または一部分を決定する画像処理装置である。 In the image processing apparatus according to the fourth aspect of the present invention, in contrast to the second or third aspect of the invention, the image analysis unit includes one or more images received by the image receiving unit or two or more acquired by the dividing unit. An image processing apparatus that analyzes a first spatiotemporal block, acquires one or more feature values, and determines all or a part of a first image corresponding to the one or more feature values.
かかる構成により、目的に応じて脳負荷が調整された画像を出力できる。 With this configuration, it is possible to output an image in which the brain load is adjusted according to the purpose.
また、本第五の発明の画像処理装置は、第一から第四いずれかの発明に対して、対応情報は、一の環境で得られた一の対象についての第一の画像の全部または一部分の1以上の特徴量と、第一の画像の全部または一部分に対応する第二の画像の全部または一部分を生成するための演算式、または演算式に代入するパラメータの集合とを有する情報である画像処理装置である。 The image processing apparatus according to the fifth aspect of the present invention is the first or fourth aspect of the invention, wherein the correspondence information is all or part of the first image for one object obtained in one environment. Information having at least one feature amount and an arithmetic expression for generating all or part of the second image corresponding to all or part of the first image, or a set of parameters to be substituted into the arithmetic expression. An image processing apparatus.
かかる構成により、目的に応じて脳負荷が調整された画像を出力できる。 With this configuration, it is possible to output an image in which the brain load is adjusted according to the purpose.
また、本第六の発明の画像処理装置は、第一から第五いずれかの発明に対して、格納部は、ルックアップテーブルの種類を識別する種類識別子と種類識別子に対応するルックアップテーブルとの組を2組以上格納しており、マッピング部は、利用するルックアップテーブルの種類を識別する種類識別子を取得する種類識別子取得手段と、種類識別子に対応するルックアップテーブルが有する対応情報のうちのいずれかの対応情報を用いて、画像受付部が受け付けた画像の全部または一部分に対応する第二の画像の全部または一部分を、出力画像の全部または一部分として取得する出力画像取得手段とを具備する画像処理装置である。 The image processing apparatus according to the sixth aspect of the present invention provides the image processing apparatus according to any one of the first to fifth aspects, wherein the storage unit includes a type identifier for identifying a type of the lookup table, and a lookup table corresponding to the type identifier. 2 or more sets are stored, and the mapping unit includes type identifier acquisition means for acquiring a type identifier for identifying the type of the lookup table to be used, and correspondence information included in the lookup table corresponding to the type identifier Output image acquisition means for acquiring all or part of the second image corresponding to all or part of the image received by the image receiving unit as all or part of the output image using any one of the correspondence information An image processing apparatus.
かかる構成により、目的に応じて、脳負荷がより好適に調整された画像を出力できる。 With this configuration, it is possible to output an image in which the brain load is more appropriately adjusted according to the purpose.
また、本第七の発明の画像処理装置は、第一から第六いずれかの発明に対して、ユーザの指示を受け付ける指示受付部と、指示に応じて、ルックアップテーブルが有する2以上の対応情報のいずれかを変更するルックアップテーブル更新部とをさらに具備する画像処理装置である。 The image processing apparatus according to the seventh aspect of the invention relates to any one of the first to sixth aspects, an instruction receiving unit that receives a user instruction, and two or more correspondences that the lookup table has in accordance with the instruction. The image processing apparatus further includes a lookup table update unit that changes any of the information.
かかる構成により、目的に応じて、脳負荷がより好適に調整された画像を出力できる。 With this configuration, it is possible to output an image in which the brain load is more appropriately adjusted according to the purpose.
また、本第八の発明の画像処理装置は、第一から第七いずれかの発明に対して、入力画像、対応情報、または出力画像のうちの1種類以上の情報が満たすべき条件である拘束条件を格納し得る拘束条件格納部をさらに具備し、マッピング部は、1または2以上の対応情報のうちのいずれかの対応情報を用いて、画像受付部が受け付けた1以上の画像の全部または一部分に対応する1以上の第二の画像の全部または一部分を、拘束条件に合致するように取得する画像処理装置である。 Further, the image processing apparatus according to the eighth aspect of the present invention provides a constraint that is a condition that one or more types of information of the input image, the correspondence information, or the output image should satisfy, with respect to any one of the first to seventh aspects. The mapping unit further includes a constraint condition storage unit that can store a condition, and the mapping unit uses all of the correspondence information of one or two or more pieces of correspondence information, or all or one or more images received by the image reception unit An image processing apparatus that acquires all or a part of one or more second images corresponding to a part so as to meet a constraint condition.
かかる構成により、目的に応じて、脳負荷がより好適に調整された画像を出力できる。 With this configuration, it is possible to output an image in which the brain load is more appropriately adjusted according to the purpose.
本発明による画像処理装置によれば、目的に応じて脳負荷が調整された画像を出力できる。 The image processing apparatus according to the present invention can output an image in which the brain load is adjusted according to the purpose.
以下、画像処理装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。 Hereinafter, embodiments of an image processing apparatus and the like will be described with reference to the drawings. In addition, since the component which attached | subjected the same code | symbol in embodiment performs the same operation | movement, description may be abbreviate | omitted again.
(実施の形態1)
本実施の形態において、後述するルックアップテーブルを用いて、目的に応じて、受け付けた画像に対して、脳負荷が調整された画像を取得する画像処理装置1について説明する。なお、目的に応じて脳負荷が調整された画像とは、例えば、視聴時に脳負荷をより低減できる画像や、視聴時により脳に刺激を与えエンターテインメント性が増加する画像などである。視聴時に脳の負荷をより低減できる画像とは、例えば対象をより認知しやすい画像のことである。また、目的とは、通常、視聴者の画像視聴時の目的であり、例えば、リラックスして視聴したいという目的、できるだけ疲れずに長時間視聴したいという目的、エンターテインメント性を味わいたいという目的等がある。
(Embodiment 1)
In the present embodiment, an image processing apparatus 1 that acquires an image in which the brain load is adjusted with respect to an received image according to the purpose using a lookup table described later will be described. In addition, the image in which the brain load is adjusted according to the purpose is, for example, an image that can further reduce the brain load during viewing or an image that stimulates the brain during viewing and increases entertainment properties. An image that can further reduce the load on the brain at the time of viewing is, for example, an image that makes it easier to recognize the target. The purpose is usually the purpose of the viewer when viewing the image, for example, the purpose of relaxing and watching, the purpose of watching for a long time without getting tired as much as possible, and the purpose of enjoying entertainment. .
また、本実施の形態において、目的に応じて脳負荷が調整された画像を取得する処理は、例えば、時空間ブロックごとに処理を行う。時空間ブロックについての説明は、後述する。 Moreover, in this Embodiment, the process which acquires the image by which the brain load was adjusted according to the objective performs a process for every spatiotemporal block, for example. The description of the spatiotemporal block will be described later.
また、本実施の形態において、ルックアップテーブルはカスタマイズ可能である。 In the present embodiment, the look-up table can be customized.
また、本実施の形態において、画像処理装置1は、出力候補の画像が所定の条件を満たさない場合に、当該所定の条件を満たすように変換する機能を有する。 In the present embodiment, the image processing apparatus 1 has a function of converting an output candidate image so as to satisfy the predetermined condition when the output candidate image does not satisfy the predetermined condition.
図1は、本実施の形態における画像処理装置1のブロック図である。 FIG. 1 is a block diagram of an image processing apparatus 1 in the present embodiment.
画像処理装置1は、格納部101、拘束条件格納部102、指示受付部103、画像受付部104、分割部105、画像解析部106、マッピング部107、合成部108、画像出力部109、およびルックアップテーブル更新部110を具備する。 The image processing apparatus 1 includes a storage unit 101, a constraint condition storage unit 102, an instruction reception unit 103, an image reception unit 104, a division unit 105, an image analysis unit 106, a mapping unit 107, a synthesis unit 108, an image output unit 109, a look An uptable update unit 110 is provided.
マッピング部107は、例えば、種類識別子取得手段1071、出力画像候補取得手段1072、判断手段1073、変更手段1074、および出力画像取得手段1075を具備する。 The mapping unit 107 includes, for example, a type identifier acquisition unit 1071, an output image candidate acquisition unit 1072, a determination unit 1073, a change unit 1074, and an output image acquisition unit 1075.
格納部101は、1以上のルックアップテーブルを格納し得る。格納部101は、ルックアップテーブルの種類を識別する種類識別子と種類識別子に対応するルックアップテーブルとの組を2組以上格納していても良い。なお、ルックアップテーブルのデータ構造は、テーブル構造とは限らない。ルックアップテーブルのデータ構造は、問わない。また、ルックアップテーブルの種類とは、ルックアップテーブルそのものであっても良いことは言うまでもない。 The storage unit 101 can store one or more lookup tables. The storage unit 101 may store two or more sets of a type identifier for identifying the type of the lookup table and a lookup table corresponding to the type identifier. Note that the data structure of the lookup table is not limited to the table structure. The data structure of the lookup table does not matter. Needless to say, the type of lookup table may be the lookup table itself.
ここで、ルックアップテーブルは、1または2以上の対応情報を有する。対応情報は、1以上の第一の画像の全部または一部分と、1以上の第二の画像の全部または一部分との対応を取るための情報である。ルックアップテーブルが有する対応情報が一つの場合、かかる対応情報は、例えば、画像を変換する演算式や、画像を変換する演算式に与える1以上のパラメータ群である。対応情報は、例えば、時空間ブロックの画素値の中央値を算出する演算式でも良い。 Here, the lookup table has one or more correspondence information. The correspondence information is information for taking correspondence between all or part of one or more first images and all or part of one or more second images. When the lookup table has one correspondence information, the correspondence information is, for example, an arithmetic expression for converting an image or one or more parameter groups given to an arithmetic expression for converting an image. The correspondence information may be, for example, an arithmetic expression that calculates the median of the pixel values of the spatiotemporal block.
また、1以上の第一の画像の全部または一部分および1以上の第二の画像の全部または一部分は、出力される一画面の画像でも良いし、一画面の一部のブロックの画像でも良いし、一画素でも良いし、時間的に連続する複数画面でも良いし、時間的に連続する複数画面の空間上の一部分(後述する時空間ブロック)でも良いし、時間的に連続する複数画面の連続する一画素の集合などでも良い。つまり、第一の画像および第二の画像の情報量の単位は問わない。なお、時空間ブロックとは、通常、映像を、空間的、または時間的、または空間的かつ時間的に分割した一部分をいう。ただし、時空間ブロックは、画素の集合であれば良い。つまり、時空間ブロックは、矩形の連続領域とは限らない。時空間ブロックは、非矩形かつ不連続な画像の領域でも良い。また、画像を分割されて取得された複数の時空間ブロックは、一部に重複した画素を有するものでも良い。 Further, all or a part of the one or more first images and all or a part of the one or more second images may be an output one-screen image or a part of one-screen block image. One pixel may be used, a plurality of temporally continuous screens may be used, or a part of a temporally continuous multiple screen space (a spatiotemporal block described later) may be used. It may be a set of one pixel. That is, the unit of the information amount of the first image and the second image is not limited. Note that the spatio-temporal block generally refers to a part obtained by dividing an image spatially, temporally, or spatially and temporally. However, the spatiotemporal block may be a set of pixels. That is, the spatiotemporal block is not necessarily a rectangular continuous area. The spatiotemporal block may be a non-rectangular and discontinuous image area. In addition, the plurality of spatiotemporal blocks obtained by dividing the image may have partially overlapping pixels.
第二の画像は、第一の画像より、視聴する場合に、脳の負荷をより低減できる画像である。また、第二の画像は、第一の画像より、通常、一の対象を認知する場合の脳の負荷をより低減できる画像である。脳の負荷をより低減できる画像とは、脳が、質感、遠近感、存在感、臨場感、重量感、温もり感、ひんやり感、スピード感、躍動感、動きの滑らかさ、新鮮な感じ、高級感などのうちの1以上の属性を、より感じる画像である。なお、属性は画像によって異なる。なお、質感とは、材質感、光沢感、透明感、ふんわり感、しっとり感など、画像に含まれる対象の質感である。また、遠近感とは、解像感、立体感、奥行き感、空気感などとも言える。 The second image is an image that can further reduce the load on the brain when viewed from the first image. In addition, the second image is an image that can reduce the load on the brain in the case of normally recognizing one object, as compared to the first image. Images that can further reduce the load on the brain are the texture, perspective, presence, presence, weight, warmth, chilliness, speed, dynamics, smoothness of movement, freshness, luxury It is an image that more feels one or more attributes of feeling. Note that the attribute varies depending on the image. The texture is a texture of a target included in an image such as a material feeling, a glossy feeling, a transparent feeling, a soft feeling, and a moist feeling. In addition, the sense of perspective can be said to be a sense of resolution, a stereoscopic effect, a sense of depth, a feeling of air, and the like.
なお、脳の負荷を低減できる画像とは、脳に好適に感じられる画像と言い換えても良い。 Note that an image that can reduce the load on the brain may be paraphrased as an image that is suitably felt by the brain.
また、1以上の第一の画像より脳の負荷を低減できる1以上の第二の画像は、例えば、1以上の第一の画像と異なる環境で取得され得る1以上の画像である。つまり、かかる場合、例えば、1以上の第一の画像と、1以上の第二の画像は、画像を取得する環境が異なる。 In addition, the one or more second images that can reduce the brain load from the one or more first images are, for example, one or more images that can be acquired in a different environment from the one or more first images. That is, in such a case, for example, one or more first images and one or more second images have different environments for acquiring images.
第一の画像とは、例えば、一の環境で得られた一の対象についての画像である。また、第二の画像とは、例えば、他環境で得られた前記一の対象についての画像である。また、第一の画像とは、例えば、一の環境で一の対象を撮影した画像である。また、第二の画像とは、例えば、他環境で前記一の対象を撮影した画像である。また、かかる場合、第二の画像と第一の画像は、通常、同一の画素数であるが、異なる画素数でも良い。なお、一の対象を撮影した画像とは、一の対象を撮影したに等しい、作り出した画像でも良い。 A 1st image is an image about one object obtained in one environment, for example. The second image is, for example, an image about the one target obtained in another environment. The first image is, for example, an image obtained by photographing one object in one environment. The second image is, for example, an image obtained by photographing the first target in another environment. In such a case, the second image and the first image usually have the same number of pixels, but may have different numbers of pixels. In addition, the image which image | photographed one object may be the produced image equivalent to having image | photographed one object.
また、他環境とは、一の環境とは異なる環境であり、一の環境より目的に合致した画像を撮影できる環境である。また、他環境とは、例えば、一の環境より脳負荷を低減できる画像を撮影できる環境である。他環境とは、例えば、以下の(1)から(9)のような環境である。(1)一の環境より照明(光源)の光量が多い環境、(2)一の環境と比較して、画像上のオブジェクトの陰が良く表出する光源の位置の環境、(3)一の環境と比較して、画像上のオブジェクトの立体感が良く表出する光源の位置の環境、(4)一の環境と比較して、画像上のオブジェクトの立体感が良く表出するカメラ位置の環境、(5)一の環境と照明の色が異なる環境、(6)一の環境と異なる天候の環境、(7)一の環境と異なる温度や湿度の環境、(8)一の環境と異なる被写界深度の環境、(9)一の環境と異なるシャッター速度の環境などである。 The other environment is an environment different from the one environment, and is an environment in which an image that matches the purpose can be taken from the one environment. In addition, the other environment is an environment in which, for example, an image that can reduce the brain load from one environment can be taken. The other environment is an environment such as the following (1) to (9). (1) an environment where the amount of light of the illumination (light source) is larger than that of one environment, (2) an environment of the position of the light source where the shade of the object on the image is well expressed compared to the one environment, (3) one The environment of the light source position that expresses the stereoscopic effect of the object on the image better than the environment, and (4) The camera position that expresses the stereoscopic effect of the object on the image better than the one environment. Environment, (5) Environment with different lighting color from one environment, (6) Environment with different weather from one environment, (7) Environment with different temperature and humidity from one environment, (8) Different from one environment An environment with a depth of field, and (9) an environment with a shutter speed different from the one environment.
つまり、一の環境と他環境とでは、例えば、光量、光源の位置、光源の色、カメラの位置、カメラの設定などの撮影環境が異なる。また、環境とは、通常、撮影環境であるが、画像を取得する環境に関するものであれば何でも良い。 That is, the shooting environment such as the amount of light, the position of the light source, the color of the light source, the position of the camera, the camera settings, and the like are different between the one environment and the other environment. The environment is usually a shooting environment, but may be anything as long as it relates to an environment for acquiring an image.
なお、第二の画像は、第一の画像より、単に画素数が多い、という画像は含まない。かかる単に画素数が多い画像は、単純に画素数が多いカメラ(例えば、HDカメラ)で撮影した画像を規範とする画像である一方、本発明における脳に好適に感じられる画像は、脳の判断、脳の感じ方(人の感じ方と言っても良い)を規範とする画像であり、一線を画する。 Note that the second image does not include an image that simply has more pixels than the first image. Such an image having only a large number of pixels is an image based on an image simply taken by a camera having a large number of pixels (for example, an HD camera). The image is based on how the brain feels (it may be said that the person feels), and makes a clear difference.
また、第一の画像に対して、脳負荷が調整された第二の画像は、例えば、第一の画像よりエンターテインメント性が向上する画像も含む。エンターテインメント性が向上する画像は、エンターテインメント性を嗜好するユーザにとって、脳に好適に感じられる画像である。脳に好適に感じられる画像とは、脳における刺激を楽しむことができる画像とも言える。また、エンターテインメント性が向上する複数の画像(映像)は、例えば、一部にフラッシュ画面が挿入されている映像である。 In addition, the second image in which the brain load is adjusted with respect to the first image includes, for example, an image in which entertainment properties are improved as compared with the first image. An image with improved entertainment properties is an image that is suitable for the user who prefers entertainment properties and is suitable for the brain. It can be said that an image that can be suitably felt in the brain is an image in which stimulation in the brain can be enjoyed. In addition, the plurality of images (videos) with improved entertainment properties are, for example, videos in which a flash screen is inserted in part.
なお、脳負荷が調整された第二の画像が、第一の画像よりエンターテインメント性が向上する画像である場合、かかる第二の画像は、脳への刺激をより楽しむことができるが、脳の負荷がより増加する場合もあり得る。 In addition, when the second image in which the brain load is adjusted is an image that is more entertaining than the first image, the second image can more enjoy stimulation to the brain, In some cases, the load may further increase.
また、第一の画像より、目的に応じて脳負荷が調整された第二の画像は、例えば、一の対象を撮影して得られた第一の画像に対して、当該第一の画像をデフォルメした画像である。第一の画像をデフォルメした第二の画像は、例えば、第一の画像に映っている人物の似顔絵画像である。似顔絵画像等のデフォルメした画像は、ユーザにとって、対象を認識し易く、対象の認知の際に、脳負荷が低減されるように、脳負荷が調整された画像であると言える。 Further, the second image in which the brain load is adjusted according to the purpose from the first image is, for example, the first image obtained by photographing one object with respect to the first image. This is a deformed image. The second image obtained by deforming the first image is, for example, a portrait image of a person shown in the first image. It can be said that a deformed image such as a portrait image is an image in which the brain load is adjusted so that the user can easily recognize the target and the brain load is reduced when the target is recognized.
また、第一の画像より、目的に応じて脳負荷が調整された第二の画像は、例えば、一の対象を撮影して得られた第一の画像に対して、当該一の対象を描写した絵画を撮影した画像である。対象を描写することで、対象の持つ概念がよりわかりやすく表現されることがある。すなわち、対象を直接撮影した画像より、対象を描写した絵画を撮影した画像の方が、脳負荷が低減できるように、脳負荷が調整された画像であると言える。 In addition, the second image in which the brain load is adjusted according to the purpose from the first image, for example, describes the one target with respect to the first image obtained by photographing the one target. It is an image of a picture taken. By describing the target, the concept of the target may be expressed more clearly. That is, it can be said that an image obtained by photographing a picture depicting the object is an image in which the brain load is adjusted so that the brain load can be reduced rather than an image obtained by directly photographing the object.
また、第一の画像より、目的に応じて脳負荷が調整された第二の画像は、例えば、一の対象を撮影して得られた第一の画像に対して、当該第一の画像のCG画像である。対象によって、撮影画像より、CG画像の方が、脳負荷が低減できるように、脳負荷が調整された画像であると言える。 In addition, the second image in which the brain load is adjusted according to the purpose from the first image is, for example, the first image obtained by photographing one object with respect to the first image. It is a CG image. It can be said that the CG image is an image in which the brain load is adjusted so that the brain load can be reduced rather than the captured image depending on the object.
また、対応情報は、例えば、第一画像関連情報と第二画像関連情報との対である。第一画像関連情報は、1以上の第一の画像の全部または一部分に関する情報である。第二画像関連情報は、1以上の第二の画像の全部または一部分に関する情報である。第一画像関連情報は、例えば、1以上の第一の画像の全部または一部分から抽出される1以上の特徴量である。また、第二画像関連情報は、例えば、1以上の第二の画像の全部または一部分である。また、第二画像関連情報は、例えば、1以上の第二の画像の全部または一部分を生成する演算式である。また、第二画像関連情報は、例えば、1以上の第二の画像の全部または一部分を生成する演算式に与えるパラメータ群の対である。かかる場合、演算式は、マッピング部107が保持している。また、画像から抽出される1以上の特徴量には、例えば、1以上の画像の一部の特徴量である近傍特徴量と、1以上の画像全体の特徴量である全体特徴量とがある。近傍特徴量には、例えば、画素値、アクティビティ、時空間相関、動きベクトル、周波数分布などがある。また、アクティビティとは、例えば、複数の画素の最大値および最小値、ダイナミックレンジ(DR)、複数の画素の間の差分値などである。複数の画素の間の差分値は、空間内の複数画素間の差分値でも良いし、時間方向の複数画素間の差分値でも良いし、空間内および時間方向の複数画素間の差分値でも良い。また、全体特徴量には、例えば、画像全体の画素値分布、画像全体の動きベクトル分布、1または2以上の画像全体の時空間相関、画像全体のノイズ量、画像フォーマット、画像全体の編集に関する情報(PinPであるか否か、PoutPであるか否か、テロップの有無など)、1以上の画像であるコンテンツに関するコンテンツ情報、パターン検出結果(顔など)などである。ここで、コンテンツ情報とは、例えば、電子番組表(EPG)が有する番組のジャンル、タイトル、出演者名等である。なお、1以上の特徴量を、適宜、特徴量ベクトルとも言う。 The correspondence information is, for example, a pair of first image related information and second image related information. The first image related information is information related to all or a part of one or more first images. The second image related information is information related to all or a part of one or more second images. The first image related information is, for example, one or more feature amounts extracted from all or a part of one or more first images. The second image related information is, for example, all or a part of one or more second images. The second image related information is, for example, an arithmetic expression that generates all or a part of one or more second images. The second image related information is, for example, a pair of parameter groups given to an arithmetic expression for generating all or a part of one or more second images. In such a case, the arithmetic expression is held by the mapping unit 107. The one or more feature amounts extracted from the image include, for example, a neighborhood feature amount that is a partial feature amount of the one or more images and an overall feature amount that is a feature amount of the entire one or more images. . The neighborhood feature amount includes, for example, a pixel value, activity, spatiotemporal correlation, motion vector, frequency distribution, and the like. The activity is, for example, a maximum value and a minimum value of a plurality of pixels, a dynamic range (DR), a difference value between the plurality of pixels, and the like. The difference value between a plurality of pixels may be a difference value between a plurality of pixels in the space, a difference value between a plurality of pixels in the time direction, or a difference value between a plurality of pixels in the space and the time direction. . Further, the total feature amount relates to, for example, a pixel value distribution of the entire image, a motion vector distribution of the entire image, a spatiotemporal correlation of one or more images, a noise amount of the entire image, an image format, and editing of the entire image. Information (whether it is PinP, whether it is PoutP, presence / absence of a telop, etc.), content information related to content that is one or more images, pattern detection results (face, etc.), and the like. Here, the content information is, for example, the program genre, title, performer name, and the like included in the electronic program guide (EPG). One or more feature quantities are also referred to as feature quantity vectors as appropriate.
格納部101は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。特に、格納部101は、不揮発性のRAMであることが好適である。また、格納部101にルックアップテーブルが記憶される過程は問わない。例えば、記録媒体を介してルックアップテーブルが格納部101で記憶されるようになってもよく、通信回線等を介して送信されたルックアップテーブルが格納部101で記憶されるようになってもよく、あるいは、入力デバイスを介して入力されたルックアップテーブルが格納部101で記憶されるようになってもよい。 The storage unit 101 is preferably a non-volatile recording medium, but can also be realized by a volatile recording medium. In particular, the storage unit 101 is preferably a nonvolatile RAM. Further, the process of storing the lookup table in the storage unit 101 does not matter. For example, a lookup table may be stored in the storage unit 101 via a recording medium, or a lookup table transmitted via a communication line or the like may be stored in the storage unit 101. Alternatively, a lookup table input via an input device may be stored in the storage unit 101.
拘束条件格納部102は、拘束条件を格納し得る。拘束条件とは、画像処理装置1におけるいずれかの処理に関する条件である。処理に関する条件とは、例えば、処理対象である画像(入力画像)の全部または一部に対する条件である。また、処理に関する条件とは、例えば、処理に利用されるルックアップテーブルに関する条件である。また、処理に関する条件とは、例えば、出力画像に関する条件である。拘束条件とは、入力画像、対応情報、または出力画像のうちの1種類以上の情報が満たすべき条件であると言える。また、処理対象である画像(入力画像)の全部または一部に対する条件とは、例えば、処理対象の1以上の特徴量(例えば、輝度、画素値など)をパラメータとする条件である。入力画像の全部または一部に対する条件は、例えば、画素値が正常範囲を逸脱していないことである。なお、画素値の正常範囲は予め格納されている。また、ルックアップテーブルに関する条件とは、例えば、ルックアップテーブルが有する対応情報の選択頻度などの選択に関する条件である。ルックアップテーブルに関する条件は、例えば、直前で使用された対応情報と同じ対応情報を使用しないことである。また、ルックアップテーブルに関する条件は、例えば、第一の特定の条件下では連続して同一の対応情報を使用すること、第二の特定条件下では特定の対応情報を固定的に使用すること、第三の特定の条件下では連続して同一の対応情報を使用しないこと、第四の特定の条件下では特定の対応情報を使用しないこと等である。また、例えば、出力画像に関する条件とは、出力画像象の1以上の特徴量(例えば、輝度、画素値など)をパラメータとする条件である。出力画像に関する条件とは、マッピング部107が取得した1以上の第二の画像の全部または一部分が満たすべき拘束条件である、と言える。出力画像に関する条件は、例えば、アクティビティが閾値以内であることなどである。また、出力画像に関する条件は、例えば、画素の最大値「画素の値<=255」、画素の最小値「画素の値>=10」、画素の値の変化Δについての「画素の輝度の時間的な変化<=100」、ダイナミックレンジ「DR<=200」などである。拘束条件は、画像処理を行うプログラム中に埋め込まれていても良いことは言うまでもない。 The constraint condition storage unit 102 can store constraint conditions. The constraint condition is a condition related to any process in the image processing apparatus 1. The conditions regarding processing are conditions for all or part of an image (input image) to be processed, for example. Moreover, the conditions regarding processing are conditions regarding the look-up table utilized for processing, for example. Moreover, the conditions regarding processing are conditions regarding an output image, for example. It can be said that the constraint condition is a condition to be satisfied by one or more types of information of the input image, the correspondence information, or the output image. The condition for all or part of the image to be processed (input image) is, for example, a condition using one or more feature quantities (for example, luminance, pixel value, etc.) to be processed as parameters. The condition for all or part of the input image is, for example, that the pixel value does not deviate from the normal range. Note that the normal range of pixel values is stored in advance. The condition relating to the lookup table is a condition relating to selection such as the selection frequency of the correspondence information included in the lookup table. The condition regarding the lookup table is, for example, that the same correspondence information as the correspondence information used immediately before is not used. The conditions regarding the lookup table are, for example, using the same correspondence information continuously under the first specific condition, and using the specific correspondence information fixedly under the second specific condition, For example, the same correspondence information is not continuously used under the third specific condition, and the specific correspondence information is not used under the fourth specific condition. Further, for example, the condition relating to the output image is a condition using one or more feature quantities (for example, luminance, pixel value, etc.) of the output image as parameters. It can be said that the condition relating to the output image is a constraint condition to be satisfied by all or a part of the one or more second images acquired by the mapping unit 107. The condition regarding the output image is, for example, that the activity is within a threshold value. The conditions relating to the output image are, for example, the maximum value of the pixel “pixel value <= 255”, the minimum value of the pixel “pixel value> = 10”, and the “pixel brightness time” for the change Δ of the pixel value. Change <= 100 ”, dynamic range“ DR <= 200 ”, and the like. Needless to say, the constraint condition may be embedded in a program for performing image processing.
また、拘束条件は、入力画像の全部または一部に対する条件、ルックアップテーブルに関する条件、出力画像に関する条件のうち、2種類以上の条件を含んでも良い。かかる拘束条件は、例えば、入力画像の画素値と出力画像の画素値との差が、閾値より大きいことである。なお、閾値は予め格納されている。 Further, the constraint condition may include two or more kinds of conditions among a condition for all or part of the input image, a condition for the lookup table, and a condition for the output image. The constraint condition is, for example, that the difference between the pixel value of the input image and the pixel value of the output image is larger than the threshold value. The threshold value is stored in advance.
拘束条件格納部102は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。拘束条件格納部102に拘束条件が記憶される過程は問わない。例えば、記録媒体を介して拘束条件が拘束条件格納部102で記憶されるようになってもよく、通信回線等を介して送信された拘束条件が拘束条件格納部102で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された拘束条件が拘束条件格納部102で記憶されるようになってもよい。 The constraint condition storage unit 102 is preferably a non-volatile recording medium, but can also be realized by a volatile recording medium. The process of storing the constraint condition in the constraint condition storage unit 102 is not limited. For example, the constraint condition may be stored in the constraint condition storage unit 102 via a recording medium, and the constraint condition transmitted via a communication line or the like is stored in the constraint condition storage unit 102. Alternatively, the constraint condition input via the input device may be stored in the constraint condition storage unit 102.
指示受付部103は、指示を受け付ける。指示は、ユーザから受け付けても良いし、外部の記録媒体から読み出しても良いし、外部の装置から受信しても良い。また、指示は、放送装置から送信される放送に埋め込まれていても良い。なお、指示は、ユーザの嗜好等に合致するようにルックアップテーブルを変更する指示である。指示は、例えば、画像の立体感の度合いを含む。また、指示は、例えば、出力されている1以上の各第二画像情報候補集合が有する2以上の第二の画像の候補のうち、1以上の第二の画像の候補を選択する指示である。かかる選択は、ユーザの嗜好に合致する画像を選択する指示である。また、指示は、例えば、年齢や年齢層(30歳代、60歳代など)や性別や近視や老視・調節障害の有無などのユーザ属性を含んでも良い。また、指示は、例えば、目的や課題や嗜好である。目的や課題や嗜好には、「画像が見えにくいのでもっとよく見えるようにしたい」、「画像が暗くて見えにくい」「もっと派手な画が見たい」といった例がある。つまり、指示の内容や種類は、種々あり得る。 The instruction receiving unit 103 receives an instruction. The instruction may be received from the user, read from an external recording medium, or received from an external device. The instruction may be embedded in a broadcast transmitted from the broadcast device. The instruction is an instruction to change the lookup table so as to match the user's preference or the like. The instruction includes, for example, the degree of stereoscopic effect of the image. In addition, the instruction is an instruction to select one or more second image candidates from two or more second image candidates included in each of the one or more second image information candidate sets that are output. . Such selection is an instruction to select an image that matches the user's preference. In addition, the instruction may include user attributes such as age, age group (30's, 60's, etc.), gender, myopia, presbyopia, and presence / absence of adjustment disorder. The instruction is, for example, a purpose, a problem, or a preference. Examples of purposes, tasks, and preferences include "I want to make the image more visible because it is difficult to see the image", "I want to make the image darker and less visible", and "I want to see a more flashy image". That is, there are various contents and types of instructions.
また、受け付けとは、リモコンやキーボードやマウス、タッチパネルなどの入力デバイスから入力された情報の受け付け、有線もしくは無線の通信回線を介して送信された情報の受信、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念である。指示の入力手段は、リモコンやテンキーやキーボードやマウスやメニュー画面によるもの等、何でも良い。指示受付部103は、テンキーやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。 In addition, reception means reception of information input from an input device such as a remote controller, keyboard, mouse, touch panel, reception of information transmitted via a wired or wireless communication line, optical disk, magnetic disk, semiconductor memory, etc. It is a concept including reception of information read from a recording medium. The instruction input means may be anything such as a remote control, a numeric keypad, a keyboard, a mouse, or a menu screen. The instruction receiving unit 103 can be realized by a device driver of an input unit such as a numeric keypad or a keyboard, control software for a menu screen, or the like.
画像受付部104は、画像を受け付ける。また、画像受付部104は、1以上の画像の集合である映像を受け付けても良い。ここで、画像とは、一の静止画でも良いし、2以上の静止画から構成される動画でも良い。画像受付部104は、例えば、テレビジョンチューナーや、無線または有線の受信手段等により実現され得る。なお、画像の受け付けとは、記録媒体からの画像の読み出し等でも良い。つまり、画像を受け付ける手段は問わない。 The image receiving unit 104 receives an image. Further, the image receiving unit 104 may receive a video that is a set of one or more images. Here, the image may be a single still image or a moving image composed of two or more still images. The image receiving unit 104 can be realized by, for example, a television tuner, a wireless or wired receiving unit, or the like. Note that accepting an image may be reading of an image from a recording medium. That is, the means for receiving an image is not limited.
分割部105は、画像受付部104が受け付けた画像(静止画でも動画でも良い)を、空間的、または時間的、または空間的かつ時間的に2以上に分割し、2以上の第一の時空間ブロックを取得する。なお、上述した通り、画像を分割して取得された複数の時空間ブロックは、重複した領域を含んでも良い。また、上述した通り、画像を分割して取得された複数の時空間ブロックは、矩形の連続領域とは限らない。時空間ブロックは、非矩形かつ不連続な画像の領域でも良い。また、分割部105は、例えば、1画面(1フィールドまたは1フレーム)を4つに分割しても良いし、n画面(nは2以上の整数)を8つに分割しても良い。なお、分割する数は問わない。また、分割部105は、画像から1画素ずつ取得して、画像解析部106に渡しても良い。つまり、時空間ブロックは1画素でも良い。 The dividing unit 105 divides the image (which may be a still image or a moving image) received by the image receiving unit 104 into two or more spatially, temporally, or spatially and temporally, and is divided into two or more first times. Get the space block. As described above, the plurality of spatiotemporal blocks obtained by dividing the image may include overlapping regions. Further, as described above, the plurality of spatiotemporal blocks obtained by dividing an image are not necessarily rectangular continuous regions. The spatiotemporal block may be a non-rectangular and discontinuous image area. For example, the dividing unit 105 may divide one screen (one field or one frame) into four, or may divide n screens (n is an integer of 2 or more) into eight. The number of divisions is not limited. Further, the dividing unit 105 may acquire one pixel at a time from the image and pass it to the image analyzing unit 106. That is, the spatiotemporal block may be one pixel.
分割部105は、通常、MPUやメモリ等から実現され得る。分割部105の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。 The dividing unit 105 can be usually realized by an MPU, a memory, or the like. The processing procedure of the dividing unit 105 is usually realized by software, and the software is recorded in a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
画像解析部106は、画像受付部104が受け付けた1以上の画像の全部または一部分に対応する第一の画像の全部または一部分を決定する。例えば、画像解析部106は、分割部105が取得した2以上の各第一の時空間ブロックごとに、各第一の時空間ブロックに対応する第一の画像の全部または一部分を決定しても良い。なお、画像解析部106は、2以上の第一の画像の全部または一部分を決定しても良い。 The image analysis unit 106 determines all or part of the first image corresponding to all or part of one or more images received by the image receiving unit 104. For example, the image analysis unit 106 may determine all or a part of the first image corresponding to each first spatiotemporal block for each of the two or more first spatiotemporal blocks acquired by the dividing unit 105. good. Note that the image analysis unit 106 may determine all or part of two or more first images.
また、例えば、画像解析部106は、画像受付部104が受け付けた画像、または分割部105が取得した2以上の各第一の時空間ブロックを解析し、1以上の特徴量を取得し、1以上の特徴量に対応する第一の画像の全部または一部分を決定する。ここで、1以上の特徴量とは、例えば、上述した近傍特徴量、全体特徴量のうちの1以上の特徴量である。なお、画像解析部106は、画像受付部104が受け付けた1以上の画像の全部または一部分を解析し、1以上の特徴量を取得する処理だけでも良い。なお、画像解析部106が取得する特徴量は、全体特徴量と近傍特徴量の両方を含むことが好適である。 Further, for example, the image analysis unit 106 analyzes the image received by the image reception unit 104 or each of two or more first spatiotemporal blocks acquired by the division unit 105, acquires one or more feature amounts, All or a part of the first image corresponding to the above feature amount is determined. Here, the one or more feature amounts are, for example, one or more feature amounts of the above-described neighborhood feature amount and the entire feature amount. Note that the image analysis unit 106 may perform only processing for analyzing all or a part of one or more images received by the image receiving unit 104 and acquiring one or more feature amounts. Note that the feature amount acquired by the image analysis unit 106 preferably includes both the overall feature amount and the neighborhood feature amount.
また、1以上の特徴量に対応する第一の画像の全部または一部分を決定する処理は、例えば、取得した特徴量ベクトルと、各対応情報が有する第一の画像の全部または一部分の特徴量ベクトルとの距離を算出し、当該距離が最小の第一の画像の全部または一部分の特徴量ベクトルに対応するパラメータ群、または演算式等を取得する処理である。 In addition, the process of determining all or part of the first image corresponding to one or more feature amounts is, for example, the acquired feature amount vector and the feature amount vector of all or part of the first image included in each correspondence information And a parameter group corresponding to the feature vector of all or a part of the first image having the smallest distance, or an arithmetic expression or the like is obtained.
また、1以上の特徴量に対応する第一の画像の全部または一部分を決定する処理は、例えば、取得した特徴量ベクトルからルックアップテーブルのアドレスを算出する処理である。なお、ルックアップテーブルのアドレスを算出する処理は、予め格納されている演算式に特徴量ベクトルを代入し、演算する処理である。 The process for determining all or part of the first image corresponding to one or more feature amounts is, for example, a process for calculating an address of a lookup table from the acquired feature amount vector. Note that the process of calculating the address of the lookup table is a process of substituting a feature quantity vector into a previously stored arithmetic expression.
画像解析部106は、通常、MPUやメモリ等から実現され得る。画像解析部106の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。 The image analysis unit 106 can usually be realized by an MPU, a memory, or the like. The processing procedure of the image analysis unit 106 is usually realized by software, and the software is recorded in a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
マッピング部107は、ルックアップテーブル中の1または2以上の対応情報のうちのいずれかの対応情報を用いて、画像受付部104が受け付けた1以上の画像の全部または一部分に対応する1以上の第二の画像の全部または一部分を取得する。また、例えば、マッピング部107は、画像解析部106が決定した第一の画像の全部または一部分に対応する対応情報を用いて(対応情報の一部(例えば、パラメータ群)を用いることも含む)、画像解析部106が決定した第一の画像の全部または一部分に対応する第二の画像の全部または一部分を、出力画像の全部または一部分として取得する。マッピング部107は、例えば、画像解析部106が決定した第一の画像の全部または一部分に対応する対応情報が有する演算式に与えるパラメータ群を取得し、演算を行い、画像解析部106が決定した第一の画像の全部または一部分に対応する第二の画像の全部または一部分を生成する。また、マッピング部107は、例えば、画像解析部106が決定した第一の画像の全部または一部分に対応する対応情報が有する第二の画像の全部または一部分を、対応情報から取得する。 The mapping unit 107 uses one or more correspondence information in one or more correspondence information in the lookup table, and uses one or more corresponding to all or a part of one or more images received by the image receiving unit 104. All or part of the second image is acquired. Further, for example, the mapping unit 107 uses correspondence information corresponding to all or a part of the first image determined by the image analysis unit 106 (including using part of the correspondence information (for example, parameter group)). All or part of the second image corresponding to all or part of the first image determined by the image analysis unit 106 is acquired as all or part of the output image. The mapping unit 107 acquires, for example, a parameter group given to an arithmetic expression included in correspondence information corresponding to all or a part of the first image determined by the image analysis unit 106, performs an operation, and the image analysis unit 106 determines All or part of the second image corresponding to all or part of the first image is generated. In addition, the mapping unit 107 acquires, for example, all or part of the second image included in the correspondence information corresponding to all or part of the first image determined by the image analysis unit 106 from the correspondence information.
マッピング部107は、画像解析部106が取得した1以上の特徴量に基づいて、画像受付部104が受け付けた1以上の画像に対して、より目的に合致するように脳負荷が調整された画像を出力できる1以上の対応情報を選択する動作、または画像受付部104が受け付けた1以上の画像に対して、より目的に合致するように脳負荷が調整された画像を出力できるルックアップテーブルおよび1以上の対応情報を選択する動作のうちの一の動作を行っても良い。そして、次に、マッピング部107は、選択した1以上の対応情報を用いて、画像受付部104が受け付けた1以上の画像の全部または一部分に対応する1以上の第二の画像の全部または一部分を取得しても良い。 Based on the one or more feature amounts acquired by the image analysis unit 106, the mapping unit 107 adjusts the brain load so that the one or more images received by the image reception unit 104 are more suitable for the purpose. A look-up table capable of outputting an image in which the brain load is adjusted so as to be more suitable for an operation of selecting one or more correspondence information that can be output, or one or more images received by the image receiving unit 104 One of the operations for selecting one or more pieces of correspondence information may be performed. Next, the mapping unit 107 uses all or part of the one or more second images corresponding to all or part of the one or more images received by the image receiving unit 104 using the selected one or more pieces of correspondence information. You may get
また、マッピング部107は、画像解析部106が取得した1以上の特徴量に基づいて、画像受付部104が受け付けた1以上の画像に対して、より目的に合致するように脳負荷が調整された画像を出力できる2以上の対応情報を選択する動作、または画像受付部104が受け付けた1以上の画像に対して、より目的に合致するように脳負荷が調整された画像を出力できるルックアップテーブルおよび2以上の対応情報を選択する動作のうちの一の動作を行い、当該選択した2以上の対応情報を用いて、1以上の第二の画像の全部または一部分を取得しても良い。なお、2以上の対応情報を用いて1以上の第二の画像の全部または一部分を取得する場合、マッピング部107は、画像受付部104が受け付けた1以上の画像の全部または一部分を、2以上の各対応情報を用いて処理し、当該処理した2以上の結果を融合して、1以上の第二の画像の全部または一部分を取得しても良い。また、2以上の対応情報を用いて1以上の第二の画像の全部または一部分を取得する場合、マッピング部107は、2以上の対応情報を用いて、新たな対応情報を生成し、当該新たな対応情報を用いて、1以上の第二の画像の全部または一部分を取得しても良い。なお、上記の2以上の結果の融合とは、例えば、画像の2以上の属性の両方を用いた画像を生成することや、2以上の属性の中間的な性質を持つ画像を生成することなどである。 Further, the mapping unit 107 adjusts the brain load so that the one or more images received by the image receiving unit 104 are more suitable for the purpose based on the one or more feature amounts acquired by the image analysis unit 106. For selecting two or more pieces of correspondence information that can output an image, or for one or more images received by the image receiving unit 104, a look-up that can output an image in which the brain load is adjusted so as to better match the purpose. One of the operations of selecting a table and two or more pieces of correspondence information may be performed, and all or part of one or more second images may be acquired using the two or more pieces of correspondence information selected. When acquiring all or part of one or more second images using two or more pieces of correspondence information, the mapping unit 107 converts all or part of one or more images received by the image receiving unit 104 to two or more. It is also possible to perform processing using each of the corresponding information, and fuse two or more processed results to obtain all or a part of one or more second images. In addition, when acquiring all or part of one or more second images using two or more pieces of correspondence information, the mapping unit 107 generates new correspondence information using two or more pieces of correspondence information, and the new information Such correspondence information may be used to acquire all or part of one or more second images. Note that the fusion of two or more results is, for example, generating an image using both of two or more attributes of an image or generating an image having an intermediate property between two or more attributes. It is.
マッピング部107は、2以上の各第一の時空間ブロックごとに、画像解析部106が決定した第一の画像の全部または一部分に対応する対応情報を用いて(対応情報の一部を用いることも含む)、第二の時空間ブロックを取得しても良い。なお、この第二の時空間ブロックは、画像解析部106が決定した第一の画像の全部または一部分に対応する第二の時空間ブロックである。 The mapping unit 107 uses correspondence information corresponding to all or part of the first image determined by the image analysis unit 106 for each of the two or more first spatiotemporal blocks (using a part of the correspondence information). And the second spatiotemporal block may be acquired. The second spatiotemporal block is a second spatiotemporal block corresponding to all or a part of the first image determined by the image analysis unit 106.
また、マッピング部107は、例えば、画像解析部106が決定した第一の画像の全部または一部分に対応する対応情報が有する演算式に与えるパラメータ群を取得し、演算を行い、画像解析部106が決定した第一の画像の全部または一部分に対応する第二の時空間ブロックを取得する。また、マッピング部107は、例えば、画像解析部106が決定した第一の画像の全部または一部分に対応する対応情報が有する第二の画像の全部または一部分(第二の時空間ブロック)を、対応情報から取得する。 In addition, the mapping unit 107 acquires, for example, a parameter group to be given to an arithmetic expression included in correspondence information corresponding to all or a part of the first image determined by the image analysis unit 106, performs the calculation, and the image analysis unit 106 A second space-time block corresponding to all or part of the determined first image is acquired. In addition, the mapping unit 107 corresponds to, for example, all or part of the second image (second spatiotemporal block) included in the correspondence information corresponding to all or part of the first image determined by the image analysis unit 106. Obtain from information.
また、マッピング部107は、第二の画像の全部または一部分を取得した後、補正処理を行っても良い。補正処理は、マッピング部107が、画像受付部104が受け付けた画像の全部または一部分の特徴量と、対応情報が有する第一の画像の全部または一部分の特徴量とを用いて、第二の画像の全部または一部分を補正する処理である。なお、補正して取得した画像も、第二の画像と言っても良いし、出力画像と言っても良い。補正処理は、例えば、マッピング部107が、画像受付部104が受け付けた画像の全部または一部分の特徴量と、対応情報が有する第一の画像の全部または一部分の特徴量との差分を取得し、当該差分を用いて、第二の画像の全部または一部分を補正し、出力画像の全部または一部分が、画像受付部104が受け付けた画像の全部または一部分に、より合致するように補正する処理である。 The mapping unit 107 may perform correction processing after acquiring all or a part of the second image. In the correction process, the mapping unit 107 uses the feature amount of all or a part of the image received by the image receiving unit 104 and the feature amount of all or a part of the first image included in the correspondence information, and uses the second image. Is a process of correcting all or a part of the above. Note that an image acquired by correction may also be referred to as a second image or an output image. In the correction process, for example, the mapping unit 107 acquires a difference between the feature amount of all or part of the image received by the image receiving unit 104 and the feature amount of all or part of the first image included in the correspondence information, This is a process for correcting all or part of the second image using the difference and correcting all or part of the output image so as to more closely match all or part of the image received by the image receiving unit 104. .
マッピング部107は、通常、MPUやメモリ等から実現され得る。マッピング部107の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。 The mapping unit 107 can be usually realized by an MPU, a memory, or the like. The processing procedure of the mapping unit 107 is usually realized by software, and the software is recorded in a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
以下、マッピング部107が種類識別子取得手段1071、出力画像候補取得手段1072、判断手段1073、変更手段1074、および出力画像取得手段1075を具備する場合について説明する。なお、マッピング部107は、種類識別子取得手段1071、出力画像候補取得手段1072、判断手段1073、変更手段1074、および出力画像取得手段1075を具備しない場合もある。 Hereinafter, a case where the mapping unit 107 includes a type identifier acquisition unit 1071, an output image candidate acquisition unit 1072, a determination unit 1073, a change unit 1074, and an output image acquisition unit 1075 will be described. The mapping unit 107 may not include the type identifier acquisition unit 1071, the output image candidate acquisition unit 1072, the determination unit 1073, the change unit 1074, and the output image acquisition unit 1075.
マッピング部107を構成する種類識別子取得手段1071は、利用するルックアップテーブルの種類を識別する1または2以上の種類識別子を取得する。種類識別子取得手段1071は、例えば、種類識別子と、画像の全部または一部分の1以上の特徴量とが対応付けて、格納部101に格納されている場合、画像受付部104が受け付けた画像の全部または一部分の1以上の特徴量を取得し、当該1以上の特徴量に最も近似する1以上の特徴量を決定し、当該1以上の特徴量に対応する種類識別子を格納部101から取得しても良い。また、種類識別子取得手段1071は、図示しないEPG格納部に格納されているEPG(電子番組表)に含まれる番組(出力中の番組)のジャンルを種類識別子としても良い。さらに、種類識別子取得手段1071は、ユーザから受け付けた種類識別子を図示しない記録媒体に格納しており、かかる種類識別子を取得しても良い。また、種類識別子取得手段1071は、指示受付部103が受け付けた指示に対応する1以上の種類識別子を取得する。例えば、指示受付部103が「画像が見えにくいのでもっとよく見えるようにしたい」に対応する目的を受け付けた場合、種類識別子取得手段1071は、ノイズを低減するルックアップテーブルの種類を識別する種類識別子を取得する。また、例えば、指示受付部103が「画像が見えにくいのでもっとよく見えるようにしたい」に対応する目的を受け付けた場合、種類識別子取得手段1071は、照明環境を明るくするルックアップテーブルの種類を識別する種類識別子を取得しても良い。また、例えば、指示受付部103が「画像が見えにくいのでもっとよく見えるようにしたい」に対応する目的を受け付けた場合、種類識別子取得手段1071は、ノイズを低減するルックアップテーブルの種類識別子と、照明環境を明るくするルックアップテーブルの種類識別子とを取得しても良い。 The type identifier acquisition means 1071 constituting the mapping unit 107 acquires one or more type identifiers that identify the type of the lookup table to be used. For example, when the type identifier and one or more feature quantities of all or a part of the image are associated with each other and stored in the storage unit 101, the type identifier acquisition unit 1071 has the entire image received by the image receiving unit 104. Alternatively, a part of one or more feature quantities is acquired, one or more feature quantities that are closest to the one or more feature quantities are determined, and a type identifier corresponding to the one or more feature quantities is acquired from the storage unit 101. Also good. Further, the type identifier acquisition unit 1071 may use the genre of a program (program being output) included in an EPG (electronic program guide) stored in an EPG storage unit (not shown) as the type identifier. Further, the type identifier acquisition unit 1071 may store the type identifier received from the user in a recording medium (not shown) and acquire the type identifier. The type identifier acquisition unit 1071 acquires one or more type identifiers corresponding to the instruction received by the instruction receiving unit 103. For example, when the instruction receiving unit 103 receives a purpose corresponding to “I want to make the image more visible because it is difficult to see the image”, the type identifier acquisition unit 1071 determines the type identifier of the lookup table that reduces noise. To get. Further, for example, when the instruction receiving unit 103 receives a purpose corresponding to “I want to make the image more visible because it is difficult to see the image”, the type identifier acquisition unit 1071 identifies the type of the lookup table that brightens the lighting environment. The type identifier to be acquired may be acquired. Further, for example, when the instruction receiving unit 103 receives a purpose corresponding to “I want to make the image more visible because it is difficult to see the image”, the type identifier acquisition unit 1071 includes the type identifier of the lookup table for reducing noise, The type identifier of the look-up table that brightens the lighting environment may be acquired.
また、例えば、指示受付部103が「画像が見えにくいのでもっとよく見えるようにしたい」に対応する目的を受け付けた場合、種類識別子取得手段1071は、画像中のノイズを検出し、閾値以上のノイズが存在するか否かを検知し、閾値以上のノイズが存在すると判断した場合は、ノイズを低減するルックアップテーブルの種類識別子を取得する。また、例えば、指示受付部103が「画像が見えにくいのでもっとよく見えるようにしたい」に対応する目的を受け付けた場合、種類識別子取得手段1071は、画像の輝度値の分布を取得し、画像の輝度分布が予め決められた条件を満たさないほど暗いと判断した場合、照明環境を明るくするルックアップテーブルの種類識別子を取得しても良い Further, for example, when the instruction receiving unit 103 receives a purpose corresponding to “I want to make the image more visible because it is difficult to see the image”, the type identifier acquisition unit 1071 detects noise in the image and detects noise above the threshold. Is detected, and if it is determined that there is noise equal to or greater than the threshold, the type identifier of the look-up table that reduces noise is acquired. Also, for example, when the instruction receiving unit 103 receives a purpose corresponding to “I want to make the image more visible because it is difficult to see the image”, the type identifier acquisition unit 1071 acquires the luminance value distribution of the image, and When it is determined that the luminance distribution is too dark to satisfy a predetermined condition, a type identifier of a lookup table that brightens the lighting environment may be acquired.
種類識別子取得手段1071は、通常、MPUやメモリ等から実現され得る。種類識別子取得手段1071の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。 The type identifier acquisition unit 1071 can be usually realized by an MPU, a memory, or the like. The processing procedure of the type identifier acquisition unit 1071 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
出力画像候補取得手段1072は、画像解析部106が決定した第一の画像の全部または一部分に対応する対応情報(対応情報の一部でも良い趣旨である)を用いて、画像解析部106が決定した第一の画像の全部または一部分に対応する第二の画像の全部または一部分を取得する。ここで取得された第二の画像の全部または一部分は、出力画像の全部または一部分の候補である。また、「第二の画像の全部または一部分を取得する」とは、例えば、対応情報が有する演算式、または対応情報が有する演算式に代入するパラメータの集合を用いて、演算し、第二の画像の全部または一部分を取得することである。かかる場合、対応情報は、第一の画像の全部または一部分に対応する第二の画像の全部または一部分を生成するための演算式、または演算式に代入するパラメータの集合を有している。また、「第二の画像の全部または一部分を取得する」とは、例えば、画像解析部106が決定した第一の画像の全部または一部分に対応する対応情報に含まれる第二の画像の全部または一部分を取得することでも良い。 The output image candidate acquisition unit 1072 is determined by the image analysis unit 106 using correspondence information corresponding to all or part of the first image determined by the image analysis unit 106 (which may be part of the correspondence information). All or part of the second image corresponding to all or part of the first image is obtained. All or part of the second image acquired here is a candidate for all or part of the output image. In addition, “acquiring all or part of the second image” means, for example, calculating using the arithmetic expression possessed by the correspondence information or a set of parameters to be substituted into the arithmetic expression possessing the correspondence information, To acquire all or part of an image. In this case, the correspondence information includes an arithmetic expression for generating all or part of the second image corresponding to all or part of the first image, or a set of parameters to be substituted into the arithmetic expression. Further, “acquiring all or part of the second image” means, for example, all or all of the second image included in the correspondence information corresponding to all or part of the first image determined by the image analysis unit 106. You may acquire a part.
出力画像候補取得手段1072は、通常、MPUやメモリ等から実現され得る。出力画像候補取得手段1072の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。 The output image candidate acquisition unit 1072 can usually be realized by an MPU, a memory, or the like. The processing procedure of the output image candidate acquisition unit 1072 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
判断手段1073は、拘束条件を満たすか否かを判断する。拘束条件が処理対象である画像の全部または一部に対する条件である場合、判断手段1073は、画像受付部104が受け付けた画像の全部または一部の1以上の特徴量を取得し、当該1以上の特徴量が拘束条件を満たすか否かを判断する。また、拘束条件がルックアップテーブルに関する条件である場合、判断手段1073は、ルックアップテーブルの過去の利用に関する情報(条件に対応する利用履歴)を取得し、当該利用履歴が拘束条件を満たすか否かを判断する。なお、利用履歴とは、例えば、入力画像のうちの最近のnフィールド(nは1以上の整数)の処理で用いられたルックアップテーブルの種類識別子や、入力画像のうちの最近のnフィールド(nは1以上の整数)の処理で用いられた対応情報を特定する情報である。なお、拘束条件が利用履歴を含む場合、当該利用履歴は、マッピング部107が図示しない記録媒体に蓄積して、生成される、とする。さらに、拘束条件が出力画像に関する条件である場合、判断手段1073は、例えば、出力画像候補取得手段1072が取得した第二の画像の全部または一部分が、拘束条件格納部102の拘束条件を満たすか否かを判断する。例えば、判断手段1073は、拘束条件に含まれる第二の画像の全部または一部分の属性値(例えば、画素の最大値、画素の輝度の時間的な変化)を取得し、属性値が拘束条件(例えば、「画素の最大値<=255」、「画素の輝度の時間的な変化<=100」)を満たすか否かを判断する。 The determination unit 1073 determines whether or not the constraint condition is satisfied. When the constraint condition is a condition for all or part of the image to be processed, the determination unit 1073 acquires one or more feature amounts of all or a part of the image received by the image receiving unit 104, and the one or more feature values are acquired. It is determined whether or not the feature amount satisfies a constraint condition. Further, when the constraint condition is a condition related to the lookup table, the determination unit 1073 acquires information on the past usage of the lookup table (a usage history corresponding to the condition), and whether or not the usage history satisfies the constraint condition. Determine whether. The usage history is, for example, the type identifier of the lookup table used in the processing of the latest n field (n is an integer of 1 or more) in the input image, or the recent n field ( n is information for specifying the correspondence information used in the processing of (an integer of 1 or more). When the constraint condition includes a usage history, the usage history is generated by the mapping unit 107 being accumulated in a recording medium (not shown). Further, when the constraint condition is a condition related to the output image, the determination unit 1073 determines whether the whole or part of the second image acquired by the output image candidate acquisition unit 1072 satisfies the constraint condition of the constraint condition storage unit 102, for example. Judge whether or not. For example, the determination unit 1073 acquires the attribute values (for example, the maximum value of the pixel and the temporal change in the luminance of the pixel) of all or part of the second image included in the constraint condition, and the attribute value is the constraint condition ( For example, it is determined whether or not “the maximum value of the pixel <= 255” and “the temporal change in the luminance of the pixel <= 100”) are satisfied.
判断手段1073は、通常、MPUやメモリ等から実現され得る。判断手段1073の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。 The determination unit 1073 can be usually realized by an MPU, a memory, or the like. The processing procedure of the determination unit 1073 is usually realized by software, and the software is recorded in a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
変更手段1074は、判断手段1073が拘束条件を満たさないと判断した場合に、第二の画像の全部または一部分を変更する。また、変更手段1074は、判断手段1073が拘束条件を満たさないと判断した場合に、ルックアップテーブルを変更しても良い。 The changing unit 1074 changes all or part of the second image when the determining unit 1073 determines that the constraint condition is not satisfied. The changing unit 1074 may change the lookup table when the determining unit 1073 determines that the constraint condition is not satisfied.
また、変更手段1074は、判断手段1073が拘束条件を満たさないと判断した場合に、判断後に受け付けられる入力画像、または判断後に得られた時空間ブロック、または判断後に受け付けられる入力画像の1以上の特徴量、または判断後に得られた時空間ブロックの1以上の特徴量を、拘束条件を満たすように変更しても良い。 In addition, the changing unit 1074, when the determining unit 1073 determines that the constraint condition is not satisfied, is an input image received after the determination, a spatiotemporal block obtained after the determination, or one or more input images received after the determination. The feature amount or one or more feature amounts of the spatiotemporal block obtained after the determination may be changed so as to satisfy the constraint condition.
また、判断手段1073が拘束条件を満たさないと判断した場合には、変更手段1074は、例えば、判断手段1073の判断対象である第二の画像の全部または一部分を、拘束条件を満たすように変更して、変更画像を取得する。ここで、「拘束条件を満たすように変更する処理」は、例えば、第二の画像の全部または一部分を構成する複数の画素の最大値が拘束条件(例えば、「最大値<=255」)に合致するように、例えば、複数の画素の最大値が255になるように、当該複数の画素の値を全体的に圧縮する処理である。なお、全体的に複数の画素の値を圧縮する処理とは、同一の割合で複数の画素の値を小さくしても良いし、異なる割合や、値の大きさに応じて、複数の画素の値を小さくする等しても良い。 If the determination unit 1073 determines that the constraint condition is not satisfied, the change unit 1074 changes, for example, all or part of the second image that is the determination target of the determination unit 1073 so that the constraint condition is satisfied. Then, the changed image is acquired. Here, in the “processing to change to satisfy the constraint condition”, for example, the maximum value of a plurality of pixels constituting all or part of the second image is set to the constraint condition (for example, “maximum value <= 255”). For example, the values of the plurality of pixels are compressed as a whole so that the maximum value of the plurality of pixels becomes 255 so as to match. Note that the process of compressing the values of a plurality of pixels as a whole may reduce the values of the plurality of pixels at the same rate, or may change the values of the plurality of pixels according to different rates or the size of the values. The value may be reduced.
変更手段1074は、通常、MPUやメモリ等から実現され得る。変更手段1074の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。 The changing unit 1074 can be usually realized by an MPU, a memory, or the like. The processing procedure of the changing means 1074 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
出力画像取得手段1075は、複数の対応情報のうちの、画像解析部106が決定した第一の画像の全部または一部分に対応する対応情報(対応情報の一部でも良い趣旨である)を用いて、画像解析部106が決定した第一の画像の全部または一部分に対応する第二の画像の全部または一部分を、出力画像の全部または一部分として取得する。ここで、上記の複数の対応情報とは、格納部101の一のルックアップテーブルの複数の対応情報、または、1または2以上の種類識別子に対応する1または2以上のルックアップテーブルが有する複数の対応情報である。 The output image acquisition unit 1075 uses correspondence information corresponding to all or a part of the first image determined by the image analysis unit 106 among a plurality of pieces of correspondence information (which may be part of the correspondence information). All or part of the second image corresponding to all or part of the first image determined by the image analysis unit 106 is acquired as all or part of the output image. Here, the plurality of pieces of correspondence information are a plurality of pieces of correspondence information of one lookup table of the storage unit 101, or a plurality of pieces of one or more lookup tables corresponding to one or more type identifiers. It is correspondence information.
また、出力画像取得手段1075は、判断手段1073が拘束条件を満たすと判断した第二の画像の全部または一部分、または変更手段1074が取得した変更画像、または判断手段1073が拘束条件を満たすと判断した第二の画像の全部または一部分および変更手段1074が取得した変更画像を、出力画像の全部または一部分として取得することは好適である。 The output image acquisition unit 1075 determines that all or a part of the second image determined by the determination unit 1073 as satisfying the constraint condition, or the changed image acquired by the change unit 1074, or the determination unit 1073 satisfies the constraint condition. It is preferable to acquire all or part of the second image and the changed image acquired by the changing unit 1074 as all or part of the output image.
また、出力画像取得手段1075は、1または2以上の種類識別子に対応する1または2以上のルックアップテーブルが有する対応情報のうちの、画像解析部106が取得した1以上の特徴量に対応する1以上の対応情報を用いて、画像受付部104が受け付けた1以上の画像の全部または一部分に対応する1以上の第二の画像の全部または一部分を、出力画像の全部または一部分として取得しても良い。なお、1または2以上の種類識別子は、種類識別子取得手段1071が取得した種類識別子である。 The output image acquisition unit 1075 corresponds to one or more feature amounts acquired by the image analysis unit 106 in correspondence information included in one or more lookup tables corresponding to one or more type identifiers. By using one or more pieces of correspondence information, all or part of one or more second images corresponding to all or part of one or more images received by the image receiving unit 104 are acquired as all or part of the output image. Also good. The one or more type identifiers are the type identifiers acquired by the type identifier acquisition unit 1071.
なお、出力画像取得手段1075は、上述した補正処理を行うことは好適である。 It is preferable that the output image acquisition unit 1075 perform the above-described correction process.
出力画像取得手段1075は、通常、MPUやメモリ等から実現され得る。合成部108の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。 The output image acquisition unit 1075 can be usually realized by an MPU, a memory, or the like. The processing procedure of the combining unit 108 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
合成部108は、マッピング部107が取得した2以上の各第二の時空間ブロックを、2以上の各第二の時空間ブロックに対応する第一の時空間ブロックの時間的、または空間的、または空間的かつ時間的な位置に配置し、出力画像を生成する。 The synthesizing unit 108 converts the two or more second spatiotemporal blocks acquired by the mapping unit 107 into temporal or spatial of the first spatiotemporal blocks corresponding to the two or more second spatiotemporal blocks. Or it arrange | positions in a spatial and temporal position, and produces | generates an output image.
合成部108は、通常、MPUやメモリ等から実現され得る。合成部108の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。 The combining unit 108 can be usually realized by an MPU, a memory, or the like. The processing procedure of the combining unit 108 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
画像出力部109は、出力画像を出力する。画像出力部109は、合成部108が生成した出力画像を出力しても良い。ここでの出力とは、通常、ディスプレイへの表示、プロジェクターを用いた投影であるが、外部の装置や他のプログラムへの送信などを含む概念である。 The image output unit 109 outputs an output image. The image output unit 109 may output the output image generated by the synthesis unit 108. The output here is usually a display on a display or projection using a projector, but is a concept including transmission to an external device or another program.
画像出力部109は、例えば、ディスプレイやプロジェクター等の出力デバイスを含むと考えても含まないと考えても良い。画像出力部109は、例えば、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。 For example, the image output unit 109 may be considered as including or not including an output device such as a display or a projector. The image output unit 109 can be realized by, for example, output device driver software, or output device driver software and an output device.
ルックアップテーブル更新部110は、指示受付部103が受け付けた指示に応じて、ルックアップテーブルが有する2以上の対応情報のいずれかを変更する。ルックアップテーブル更新部110は、ルックアップテーブルが有するすべての対応情報を更新しても良いし、一部の対応情報を更新しても良い。対応情報が第二の画像の全部または一部分を生成するための演算式、または第二の画像の全部または一部分を生成するためのパラメータ群を含む場合、ルックアップテーブル更新部110は、例えば、指示に応じて、演算式に含まれるパラメータ群、または第二の画像の全部または一部分を生成するためのパラメータ群を変更する。例えば、指示は、画像の立体感の度合いを含む場合、ルックアップテーブル更新部110は、ユーザから入力された画像の立体感の度合いを用いて、対応情報が有するパラメータ群を変更する。かかる場合の変更方法(変更するための式等)は問わない。例えば、ルックアップテーブル更新部110は、画像の立体感の度合いの情報に対応付けて、パラメータ群を図示しない記録媒体に保持しており、指示された画像の立体感の度合いの情報に対応するパラメータ群を図示しない記録媒体から読み出す。また、例えば、ルックアップテーブル更新部110は、画像の立体感の度合いをパラメータとするパラメータ群の生成のための演算式を保持しており、かかる演算式に画像の立体感の度合いを代入し、演算を行い、パラメータ群を取得する。 The lookup table update unit 110 changes any of the two or more pieces of correspondence information included in the lookup table according to the instruction received by the instruction reception unit 103. The lookup table update unit 110 may update all the correspondence information included in the lookup table, or may update a part of the correspondence information. When the correspondence information includes an arithmetic expression for generating all or part of the second image, or a parameter group for generating all or part of the second image, the look-up table update unit 110, for example, Accordingly, the parameter group included in the arithmetic expression or the parameter group for generating all or part of the second image is changed. For example, when the instruction includes the degree of stereoscopic effect of the image, the lookup table update unit 110 changes the parameter group included in the correspondence information using the degree of stereoscopic effect of the image input from the user. In such a case, the changing method (formula for changing, etc.) does not matter. For example, the look-up table update unit 110 stores a parameter group in a recording medium (not shown) in association with information on the degree of stereoscopic effect of the image, and corresponds to information on the degree of stereoscopic effect of the designated image. The parameter group is read from a recording medium (not shown). Further, for example, the lookup table update unit 110 holds an arithmetic expression for generating a parameter group using the degree of stereoscopic effect of the image as a parameter, and substitutes the degree of stereoscopic effect of the image into the arithmetic expression. The calculation is performed to obtain the parameter group.
また、指示受付部103が1以上の第二の画像の候補を選択する指示を受け付けた場合、例えば、ルックアップテーブル更新部110は、1以上の第二の画像の各候補から、1以上の特徴量を取得し、当該1以上の特徴量をパラメータ群として、取得する。また、指示受付部103が1以上の第二の画像の候補を選択する指示を受け付けた場合、例えば、ルックアップテーブル更新部110は、1以上の第二の画像の各候補から、1以上の特徴量を取得し、当該1以上の特徴量を予め格納している演算式に代入し、演算を行い、パラメータ群を取得する。 In addition, when the instruction receiving unit 103 receives an instruction to select one or more second image candidates, for example, the lookup table updating unit 110 selects one or more second image candidate from one or more second image candidates. A feature amount is acquired, and the one or more feature amounts are acquired as a parameter group. In addition, when the instruction receiving unit 103 receives an instruction to select one or more second image candidates, for example, the lookup table updating unit 110 selects one or more second image candidate from one or more second image candidates. A feature amount is acquired, and the one or more feature amounts are substituted into an arithmetic expression stored in advance, and calculation is performed to acquire a parameter group.
ルックアップテーブル更新部110は、通常、MPUやメモリ等から実現され得る。合成部108の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。 The lookup table update unit 110 can be usually realized by an MPU, a memory, or the like. The processing procedure of the combining unit 108 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
次に、画像処理装置1の動作について、図2のフローチャートを用いて説明する。 Next, the operation of the image processing apparatus 1 will be described using the flowchart of FIG.
(ステップS201)画像受付部104は、1以上の画像を受け付けたか否かを判断する。1以上の画像を受け付ければステップS202に行き、1以上の画像を受け付けなければステップS210に行く。なお、ここでの画像は、通常、2以上の静止画から構成される映像である。 (Step S201) The image receiving unit 104 determines whether one or more images have been received. If one or more images are accepted, the process proceeds to step S202. If one or more images are not accepted, the process proceeds to step S210. Note that the image here is usually a video composed of two or more still images.
(ステップS202)分割部105は、ステップS201で受け付けられた画像を、空間的、または時間的、または空間的かつ時間的に2以上に分割し、2以上の第一の時空間ブロックを取得する。 (Step S202) The dividing unit 105 divides the image received in step S201 into two or more spatially, temporally, or spatially and temporally, and acquires two or more first spatiotemporal blocks. .
(ステップS203)画像解析部106は、カウンタiに1を代入する。 (Step S203) The image analysis unit 106 substitutes 1 for the counter i.
(ステップS204)画像解析部106は、ステップS202で取得された第一の時空間ブロックのうち、i番目のブロックが存在するか否かを判断する。i番目のブロックが存在すればステップS205に行き、i番目のブロックが存在しなければステップS208に行く。 (Step S204) The image analysis unit 106 determines whether or not the i-th block is present among the first spatiotemporal blocks acquired in step S202. If the i-th block exists, the process goes to step S205, and if the i-th block does not exist, the process goes to step S208.
(ステップS205)画像解析部106は、i番目の第一の時空間ブロックに対して、画像解析処理する。そして、画像解析部106は、i番目の第一の時空間ブロックに対応する第一の画像の全部または一部分を決定する。かかる画像解析処理について、図3のフローチャートを用いて説明する。 (Step S205) The image analysis unit 106 performs image analysis processing on the i-th first spatiotemporal block. Then, the image analysis unit 106 determines all or part of the first image corresponding to the i-th first spatiotemporal block. Such image analysis processing will be described with reference to the flowchart of FIG.
(ステップS206)マッピング部107は、ステップS205で決定された第一の画像の全部または一部分に対応する対応情報を用いて、ステップS205で決定された第一の画像の全部または一部分に対応する第二の画像の全部または一部分を、出力画像の全部または一部分として取得する。かかる処理をマッピング処理という。マッピング処理について、図4のフローチャートを用いて説明する。なお、本ステップで取得された出力画像の全部または一部分は、第二の時空間ブロックである。 (Step S206) The mapping unit 107 uses the correspondence information corresponding to all or part of the first image determined in Step S205, and uses the corresponding information corresponding to all or part of the first image determined in Step S205. All or part of the second image is acquired as all or part of the output image. Such processing is called mapping processing. The mapping process will be described with reference to the flowchart of FIG. Note that all or part of the output image acquired in this step is the second spatiotemporal block.
(ステップS207)画像解析部106は、カウンタiを1、インクリメントし、ステップS204に戻る。 (Step S207) The image analysis unit 106 increments the counter i by 1, and returns to step S204.
(ステップS208)合成部108は、ステップS206で取得された2以上の第二の時空間ブロックを合成し、出力画像を生成する。さらに詳細には、ステップS206で取得された2以上の各第二の時空間ブロックを、2以上の各第二の時空間ブロックに対応する第一の時空間ブロックの時間的、または空間的、または空間的かつ時間的な位置に配置し、出力画像を生成する。 (Step S208) The synthesizing unit 108 synthesizes the two or more second spatiotemporal blocks acquired in step S206 to generate an output image. More specifically, the two or more second spatiotemporal blocks acquired in step S206 are temporally or spatially of the first spatiotemporal blocks corresponding to the two or more second spatiotemporal blocks, Or it arrange | positions in a spatial and temporal position, and produces | generates an output image.
(ステップS209)画像出力部109は、ステップS208で生成された出力画像を出力する。 (Step S209) The image output unit 109 outputs the output image generated in step S208.
(ステップS210)指示受付部103は、ユーザの指示を受け付けたか否かを判断する。ユーザの指示を受け付ければステップS211に行き、ユーザの指示を受け付けなければステップS201に戻る。 (Step S210) The instruction receiving unit 103 determines whether or not a user instruction has been received. If a user instruction is accepted, the process proceeds to step S211, and if a user instruction is not accepted, the process returns to step S201.
(ステップS211)ルックアップテーブル更新部110は、ステップS210で受け付けられた指示に応じて、ルックアップテーブルを更新する。かかる処理をルックアップテーブル更新処理という。ルックアップテーブル更新処理について、図6のフローチャートを用いて説明する。 (Step S211) The lookup table update unit 110 updates the lookup table according to the instruction received in step S210. Such a process is called a lookup table update process. The lookup table update process will be described with reference to the flowchart of FIG.
なお、図2のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。 In the flowchart of FIG. 2, the process is terminated by powering off or a process termination interrupt.
また、図2のフローチャートにおいて、複数の画像や画像ストリームを受け付け中に、ステップS210の指示を受け付け、ルックアップテーブルを更新しても良い。 In the flowchart of FIG. 2, while receiving a plurality of images and image streams, the instruction in step S210 may be received and the lookup table may be updated.
次に、ステップS205の画像解析処理について、図3のフローチャートを用いて説明する。 Next, the image analysis processing in step S205 will be described using the flowchart of FIG.
(ステップS301)画像解析部106は、上記のi番目の第一の時空間ブロックに対して、画像解析し、1以上の特徴量である特徴量ベクトル(第一特徴量ベクトルという)を取得する。なお、1以上の特徴量は、例えば、上述した近傍特徴量または/および全体特徴量のうちの1以上の特徴量である。また、例えば、1以上の特徴量は、例えば、複数の画素の最大値(MAX)および最小値(MIN)、ダイナミックレンジ(DR=MAX−MIN)、輝度度数分布、時間方向の差分値などである。また、画像から、かかる1以上の特徴量を取得する技術は公知技術であるので詳細な説明を省略する。なお、特徴量は上述した特徴量に限らないことは言うまでもない。 (Step S301) The image analysis unit 106 performs image analysis on the i-th first spatiotemporal block, and acquires a feature quantity vector (referred to as a first feature quantity vector) that is one or more feature quantities. . The one or more feature amounts are, for example, one or more feature amounts of the above-described neighborhood feature amount and / or the entire feature amount. For example, the one or more feature amounts are, for example, a maximum value (MAX) and a minimum value (MIN), a dynamic range (DR = MAX−MIN), a luminance frequency distribution, a difference value in the time direction, and the like of a plurality of pixels. is there. Further, since a technique for acquiring one or more feature quantities from an image is a known technique, detailed description thereof is omitted. Needless to say, the feature quantity is not limited to the above-described feature quantity.
(ステップS302)画像解析部106は、カウンタiに1を代入する。 (Step S302) The image analysis unit 106 substitutes 1 for a counter i.
(ステップS303)画像解析部106は、格納部101のルックアップテーブルの中に、i番目の対応情報が存在するか否かを判断する。i番目の対応情報が存在すればステップS304に行き、i番目の対応情報が存在しなければステップS307に行く。なお、格納部101に2以上のルックアップテーブルが存在する場合、本ステップでは、いずれかの一のルックアップテーブルを使用することで良い。また、後述する種類識別子取得処理を行ってから、当該種類識別子取得処理で取得された種類識別子に対応するルックアップテーブルを使用しても良い。 (Step S <b> 303) The image analysis unit 106 determines whether or not the i-th correspondence information exists in the lookup table of the storage unit 101. If the i-th correspondence information exists, the process goes to step S304, and if the i-th correspondence information does not exist, the process goes to step S307. When there are two or more lookup tables in the storage unit 101, any one lookup table may be used in this step. Further, after performing a type identifier acquisition process described later, a lookup table corresponding to the type identifier acquired in the type identifier acquisition process may be used.
(ステップS304)画像解析部106は、i番目の対応情報が有する特徴量ベクトル(第二特徴量ベクトルという)を取得する。 (Step S304) The image analysis unit 106 acquires a feature amount vector (referred to as a second feature amount vector) included in the i-th correspondence information.
(ステップS305)画像解析部106は、ステップS301で取得した第一特徴量ベクトルと、ステップS304で取得した第二特徴量ベクトルの距離を算出し、当該距離をi(i番目の対応情報)に対応付けて、バッファに一時蓄積する。 (Step S305) The image analysis unit 106 calculates a distance between the first feature vector acquired in step S301 and the second feature vector acquired in step S304, and sets the distance to i (i-th correspondence information). Correspondingly, temporarily stored in the buffer.
(ステップS306)画像解析部106は、カウンタiを1、インクリメントし、ステップS303に戻る。 (Step S306) The image analysis unit 106 increments the counter i by 1, and returns to step S303.
(ステップS307)画像解析部106は、バッファに蓄積されている距離が最も小さい対応情報を取得する。上位処理にリターンする。なお、対応情報を取得する処理は、第一の画像の全部または一部分を決定する処理である。 (Step S307) The image analysis unit 106 acquires correspondence information having the smallest distance accumulated in the buffer. Return to upper process. Note that the processing for acquiring the correspondence information is processing for determining all or part of the first image.
なお、図3のフローチャートにおいて、対応情報は、ID(アドレスでも良い)を保持しており、例えば、1以上の特徴量を予め格納している演算式に代入して、ID(アドレスでも良い)を取得するようにしても良い。つまり、画像解析処理の方法は問わない。 In the flowchart of FIG. 3, the correspondence information holds an ID (may be an address). For example, one or more feature values are substituted into an arithmetic expression stored in advance, and the ID (may be an address). You may make it acquire. That is, the method of image analysis processing does not matter.
次に、ステップS206のマッピング処理の例について、図4のフローチャートを用いて説明する。 Next, an example of the mapping process in step S206 will be described using the flowchart of FIG.
(ステップS401)マッピング部107を構成する種類識別子取得手段1071は、利用するルックアップテーブルの種類を識別する種類識別子を取得する。かかる種類識別子取得処理の例について、図5のフローチャートを用いて説明する。 (Step S401) The type identifier acquisition unit 1071 constituting the mapping unit 107 acquires a type identifier for identifying the type of the lookup table to be used. An example of the type identifier acquisition process will be described with reference to the flowchart of FIG.
(ステップS402)出力画像候補取得手段1072は、ステップS401で取得された種類識別子に対応するルックアップテーブルの中の対応情報であって、画像解析部106が決定した第一の画像の全部または一部分に対応する対応情報中のパラメータ群を取得する。 (Step S402) The output image candidate acquisition unit 1072 is correspondence information in the lookup table corresponding to the type identifier acquired in step S401, and is all or a part of the first image determined by the image analysis unit 106. The parameter group in the correspondence information corresponding to is acquired.
(ステップS403)出力画像候補取得手段1072は、ステップS402で取得したパラメータ群を用いて、画像解析部106が決定した第一の画像の全部または一部分に対応する第二の画像の全部または一部分を生成する。さらに具体的には、例えば、出力画像候補取得手段1072は、予め格納している演算式に、ステップS402で取得したパラメータ群を代入し、演算式を実行する。そして、出力画像候補取得手段1072は、第二の画像の全部または一部分を取得する。 (Step S403) The output image candidate acquisition unit 1072 uses all or part of the second image corresponding to all or part of the first image determined by the image analysis unit 106 using the parameter group acquired in step S402. Generate. More specifically, for example, the output image candidate acquisition unit 1072 executes the arithmetic expression by substituting the parameter group acquired in step S402 for the arithmetic expression stored in advance. Then, the output image candidate acquisition unit 1072 acquires all or a part of the second image.
(ステップS404)判断手段1073は、拘束条件格納部102から、拘束条件を読み出す。 (Step S <b> 404) The determination unit 1073 reads the constraint condition from the constraint condition storage unit 102.
(ステップS405)判断手段1073は、ステップS402で取得された第二の画像の全部または一部分が、ステップS403で読み出した拘束条件を満たすか否かを判断し、判断結果をバッファに代入する。 (Step S405) The determination unit 1073 determines whether all or a part of the second image acquired in step S402 satisfies the constraint condition read in step S403, and substitutes the determination result into the buffer.
(ステップS406)ステップS404における判断結果が「拘束条件を満たす(合致)」である場合はステップS407に行き、「拘束条件を満たさない(合致しない)」である場合は、ステップS408に行く。 (Step S406) If the determination result in step S404 is “restraint condition (match)”, go to step S407, and if “restraint condition is not met (do not match)”, go to step S408.
(ステップS407)出力画像取得手段1075は、出力画像の全部または一部分として、ステップS402で取得された第二の画像の全部または一部分を得る。上位処理にリターンする。 (Step S407) The output image acquisition means 1075 obtains all or part of the second image acquired in step S402 as all or part of the output image. Return to upper process.
(ステップS408)変更手段1074は、ステップS402で取得された第二の画像の全部または一部分を、拘束条件を満たすように変更して、変更画像を取得する。 (Step S408) The changing unit 1074 changes all or part of the second image acquired in step S402 so as to satisfy the constraint condition, and acquires a changed image.
(ステップS409)出力画像取得手段1075は、出力画像の全部または一部分として、ステップS408で取得された変更画像を得る。上位処理にリターンする。 (Step S409) The output image acquisition unit 1075 obtains the changed image acquired in step S408 as all or part of the output image. Return to upper process.
なお、図4のフローチャートにおいて、第二の画像の全部または一部分を生成する方法や、第二の画像の全部または一部分を取得する方法は、他の方法でも良い。 In the flowchart of FIG. 4, another method may be used as a method for generating all or part of the second image or a method for acquiring all or part of the second image.
また、図4のフローチャートにおいて、格納部101のルックアップテーブルが一つである場合、ステップS401の処理は不要であることは言うまでもない。 Further, in the flowchart of FIG. 4, when there is one lookup table in the storage unit 101, it goes without saying that the processing in step S401 is not necessary.
次に、ステップS401の種類識別子取得処理の例について、図5のフローチャートを用いて説明する。 Next, an example of the type identifier acquisition process in step S401 will be described using the flowchart in FIG.
(ステップS501)種類識別子取得手段1071は、上記のi番目のブロック(第一画像)の特徴量ベクトルを取得する。 (Step S501) The type identifier acquisition unit 1071 acquires the feature quantity vector of the i-th block (first image).
(ステップS502)種類識別子取得手段1071は、カウンタiに1を代入する。 (Step S502) The type identifier acquisition unit 1071 assigns 1 to the counter i.
(ステップS503)種類識別子取得手段1071は、格納部101に、i番目の種類識別子が存在するか否かを判断する。i番目の種類識別子が存在すればステップS504に行き、i番目の種類識別子が存在しなければステップS507に行く。 (Step S503) The type identifier acquisition unit 1071 determines whether or not the i-th type identifier exists in the storage unit 101. If the i-th type identifier exists, the process goes to step S504. If the i-th type identifier does not exist, the process goes to step S507.
(ステップS504)種類識別子取得手段1071は、i番目の種類識別子に対応する特徴量ベクトルを取得する。 (Step S504) The type identifier acquisition unit 1071 acquires a feature vector corresponding to the i-th type identifier.
(ステップS505)種類識別子取得手段1071は、ステップS501で取得した特徴量ベクトルと、ステップS504で取得した特徴量ベクトルとの距離を算出し、i番目の種類識別子に対応付けて、バッファに一時蓄積する。 (Step S505) The type identifier acquisition unit 1071 calculates the distance between the feature quantity vector acquired in step S501 and the feature quantity vector acquired in step S504, and temporarily stores it in the buffer in association with the i th type identifier. To do.
(ステップS506)種類識別子取得手段1071は、カウンタiを1、インクリメントし、ステップS503に戻る。 (Step S506) The type identifier acquisition unit 1071 increments the counter i by 1, and returns to step S503.
(ステップS507)種類識別子取得手段1071は、ステップS505で算出した最も小さい距離に対応する種類識別子を取得する。上位処理にリターンする。 (Step S507) The type identifier acquisition unit 1071 acquires a type identifier corresponding to the smallest distance calculated in step S505. Return to upper process.
なお、図5のフローチャートにおいて、種類識別子取得処理は、上述したような他の方法でも良い。つまり、図5のフローチャートにおいて、ブロックの特徴量ベクトル(1以上の近傍特徴量)を用いて種類識別子を決定したが、上述したように、全体特徴量や近傍特徴量を用いて種類識別子を決定しても良いし、電子番組表の情報等を用いて種類識別子を決定しても良いし、ユーザからの指示によって種類識別子を決定しても良い。 In the flowchart of FIG. 5, the type identifier acquisition process may be another method as described above. That is, in the flowchart of FIG. 5, the type identifier is determined using the block feature quantity vector (one or more neighboring feature quantities), but as described above, the type identifier is determined using the entire feature quantity or the neighboring feature quantity. Alternatively, the type identifier may be determined using information on the electronic program guide or the like, or the type identifier may be determined according to an instruction from the user.
次に、ステップS211のルックアップテーブル更新処理について、図6のフローチャートを用いて説明する。 Next, the lookup table update process in step S211 will be described with reference to the flowchart of FIG.
(ステップS601)ルックアップテーブル更新部110は、指示受付部103が受け付けた指示を取得する。 (Step S601) The lookup table update unit 110 acquires the instruction received by the instruction reception unit 103.
(ステップS602)ルックアップテーブル更新部110は、ステップS601で取得した指示に含まれる1以上のパラメータを取得する。 (Step S602) The lookup table update unit 110 acquires one or more parameters included in the instruction acquired in step S601.
(ステップS603)ルックアップテーブル更新部110は、カウンタiに1を代入する。 (Step S603) The look-up table update unit 110 substitutes 1 for a counter i.
(ステップS604)ルックアップテーブル更新部110は、格納部101のルックアップテーブルに、i番目の対応情報が存在するか否かを判断する。i番目の対応情報が存在すればステップS605に行き、i番目の対応情報が存在しなければ上位処理にリターンする。 (Step S604) The lookup table update unit 110 determines whether or not the i-th correspondence information exists in the lookup table of the storage unit 101. If the i-th correspondence information exists, the process goes to step S605, and if the i-th correspondence information does not exist, the process returns to the higher-level process.
(ステップS605)ルックアップテーブル更新部110は、ステップS602で取得した1以上のパラメータを用いて、i番目の対応情報が有するパラメータ群、またはi番目の対応情報が有する演算式を変更する。 (Step S605) The lookup table updating unit 110 changes the parameter group included in the i-th correspondence information or the arithmetic expression included in the i-th correspondence information using the one or more parameters acquired in Step S602.
(ステップS606)ルックアップテーブル更新部110は、カウンタiを1、インクリメントし、ステップS604に戻る。 (Step S606) The look-up table update unit 110 increments the counter i by 1, and returns to step S604.
なお、図6のフローチャートにおいて、ルックアップテーブルが複数存在する場合は、すべてのルックアップテーブルを更新しても良い。 In the flowchart of FIG. 6, when there are a plurality of lookup tables, all the lookup tables may be updated.
次に、拘束条件を用いて、画像等を動的に変更する処理の具体例について説明する。画像処理装置1における拘束条件格納部102、マッピング部107の判断手段1073、および変更手段1074により、拘束条件を満たすように処理を行い、目的に応じて、脳負荷が調整された画像を出力できる。 Next, a specific example of processing for dynamically changing an image or the like using constraint conditions will be described. The constraint condition storage unit 102 in the image processing apparatus 1, the determination unit 1073 of the mapping unit 107, and the change unit 1074 perform processing so as to satisfy the constraint condition, and can output an image in which the brain load is adjusted according to the purpose. .
第一の具体例は、出力画像の画素値がある値を超えた時に、その値に収まるように補正する処理である。かかる場合、拘束条件は「出力画像の1以上の画素値が閾値を超えないこと」である。そして、判断手段1073が、かかる拘束条件に合致しないと判断した1以上の画素に対して、変更手段1074は、閾値を超えないように補正する。そして、出力画像取得手段1075は、判断手段1073が拘束条件を満たすと判断した第二の画像の全部または一部分、または変更手段1074が取得した変更画像、または判断手段1073が拘束条件を満たすと判断した第二の画像の全部または一部分と変更手段1074が取得した変更画像を用いて、出力画像を取得する。 The first specific example is a process of correcting when the pixel value of the output image exceeds a certain value so that it falls within that value. In such a case, the constraint condition is “one or more pixel values of the output image do not exceed the threshold”. Then, the changing unit 1074 corrects the threshold value so that it does not exceed the threshold for one or more pixels that the determining unit 1073 determines to not meet the constraint condition. Then, the output image acquisition unit 1075 determines that all or a part of the second image determined by the determination unit 1073 as satisfying the constraint condition, or the changed image acquired by the change unit 1074, or the determination unit 1073 satisfies the constraint condition. An output image is acquired using all or a part of the second image and the changed image acquired by the changing unit 1074.
第二の具体例は、入力画像の画素値が正常範囲を逸脱している場合に、入力画像の当該画素を、周辺画素を利用して穴埋め補正する処理である。かかる場合、拘束条件は「入力画像の画素値が正常範囲を逸脱してない」ことである。そして、判断手段1073が、かかる拘束条件に合致しないと判断した1以上の画素に対して、変更手段1074は、当該画素の予め決められた範囲の周辺画素の1以上の画素値を取得し、当該1以上の画素値を用いて、異常な画素の画素値を決定する。そして、出力画像取得手段1075は、変更手段1074が取得した1以上の特徴量、または画像受付部104が受け付けた画像の一部の1以上の特徴量を用いて、1以上の第二の画像の一部分を取得する。 The second specific example is a process of correcting the filling of the pixel of the input image using the peripheral pixels when the pixel value of the input image is out of the normal range. In such a case, the constraint condition is “the pixel value of the input image does not deviate from the normal range”. Then, for one or more pixels determined by the determining unit 1073 not to meet the constraint condition, the changing unit 1074 acquires one or more pixel values of peripheral pixels in a predetermined range of the pixel, The pixel value of the abnormal pixel is determined using the one or more pixel values. Then, the output image acquisition unit 1075 uses one or more feature amounts acquired by the changing unit 1074 or one or more feature amounts of a part of the image received by the image receiving unit 104 to output one or more second images. Get a part of.
第三の具体例は、対応情報を用いて出力画像を取得する場合に、直前で、ルックアップテーブルの一の対応情報が使われた場合、次は、他の対応情報を使うようにする処理である。かかる場合、拘束条件は「連続して同一の対応情報を使用しない」ことである。そして、判断手段1073が、画像解析部106が決定した第一の画像の全部または一部分に対応する対応情報が、直前に使用されたか否かを判断する。なお、かかる場合、直前に利用された対応情報を特定する情報が少なくとも一時蓄積される。そして、画像解析部106が決定した第一の画像の全部または一部分に対応する対応情報は直前に使用された対応情報と同一である、と判断手段1073が判断した場合、変更手段1074は、2番目に近い対応情報を取得する。つまり、変更手段1074は、画像解析部106に当該決定した第一の画像の全部または一部分を除いて、再度、第一の画像の全部または一部分を決定する指示を画像解析部106に出し、画像解析部106は、再度、第一の画像の全部または一部分を決定する。かかる第一の画像の全部または一部分に対応する対応情報は、処理対象の入力画像や時空間ブロック等に対して、2番目に近い第一の画像の全部または一部分に対応する対応情報である。そして、出力画像取得手段1075は、変更手段1074が取得した対応情報を用いて、1以上の第二の画像の一部分を取得する。 In the third specific example, when an output image is acquired using correspondence information, if one piece of correspondence information in the lookup table is used immediately before, the next processing is to use other correspondence information. It is. In such a case, the constraint condition is “do not use the same correspondence information continuously”. Then, the determination unit 1073 determines whether correspondence information corresponding to all or a part of the first image determined by the image analysis unit 106 has been used immediately before. In this case, at least information for identifying the correspondence information used immediately before is temporarily stored. When the determination unit 1073 determines that the correspondence information corresponding to all or a part of the first image determined by the image analysis unit 106 is the same as the correspondence information used immediately before, the changing unit 1074 includes 2 Get the closest correspondence information. That is, the changing unit 1074 removes all or a part of the determined first image from the image analyzing unit 106 and again instructs the image analyzing unit 106 to determine all or a part of the first image. The analysis unit 106 again determines all or part of the first image. The correspondence information corresponding to all or part of the first image is correspondence information corresponding to all or part of the first image closest to the second input image, the spatiotemporal block, or the like. Then, the output image acquisition unit 1075 acquires a part of one or more second images using the correspondence information acquired by the changing unit 1074.
第四の具体例は、拘束条件に含まれるパラメータと変更先が異なる例である。第四の具体例は、例えば、出力画像の画素値が閾値を超えた時には、特定の対応情報を使って処理し直す場合である。つまり、拘束条件は「出力画像の1以上の画素値が閾値を超えないこと」である。そして、判断手段1073が、かかる拘束条件に合致しないと判断した1以上の画素に対して、変更手段1074は、予め決められた対応情報を読み出す。そして、当該対応情報を用いて、出力画像取得手段1075は、再度、出力画像を構成する。 The fourth specific example is an example in which the parameter included in the constraint condition and the change destination are different. The fourth specific example is a case where, for example, when the pixel value of the output image exceeds a threshold value, processing is performed again using specific correspondence information. That is, the constraint condition is “one or more pixel values of the output image do not exceed the threshold”. Then, the changing unit 1074 reads predetermined correspondence information for one or more pixels determined by the determining unit 1073 not to meet the constraint condition. Then, using the correspondence information, the output image acquisition unit 1075 forms an output image again.
第五の具体例は、複数個所のパラメータを判定に使う例である。第五の具体例は、例えば、拘束条件は「入力画像の画素値と出力画像の画素値との差が閾値以内であること」である。そして、判断手段1073が、かかる拘束条件に合致しないと判断した1以上の画素に対して、変更手段1074は、出力画像の当該画素の画素値を補正して、入力画像の画素の画素値との差を閾値以内にする。そして、出力画像取得手段1075は、かかる画素値の画素を有する出力画像を取得する。 The fifth specific example is an example in which a plurality of parameters are used for determination. In the fifth specific example, for example, the constraint condition is “the difference between the pixel value of the input image and the pixel value of the output image is within a threshold”. Then, for one or more pixels that the determination unit 1073 has determined not to meet the constraint condition, the change unit 1074 corrects the pixel value of the pixel of the output image, and the pixel value of the pixel of the input image The difference between is within the threshold. Then, the output image acquisition unit 1075 acquires an output image having pixels with such pixel values.
以上、本実施の形態によれば、目的に応じて脳負荷が調整された画像を出力する画像処理装置を提供できる。例えば、本実施の形態によれば、脳負荷をより低減できる画像を出力する画像処理装置や、より脳に刺激を与え、エンターテインメント性が増加する画像を出力する画像処理装置等を提供できる。 As described above, according to the present embodiment, it is possible to provide an image processing apparatus that outputs an image in which the brain load is adjusted according to the purpose. For example, according to the present embodiment, it is possible to provide an image processing device that outputs an image that can further reduce the brain load, an image processing device that outputs an image that gives more stimulation to the brain and increases entertainment properties, and the like.
また、本実施の形態における画像処理装置が脳負荷をより低減できる画像を出力する場合、当該画像処理装置は、人間の脳にとって、好適な画像として認知できるような画像を出力できる。 When the image processing apparatus according to the present embodiment outputs an image that can further reduce the brain load, the image processing apparatus can output an image that can be recognized as a suitable image for the human brain.
さらに具体的には、本実施の形態によれば、光量、光源の位置、光源の色、カメラの位置など、異なった環境で撮影した画像を出力できることにより、人間の脳にとって、好適な画像として認知できるような画像を出力できる。さらに具体的には、本実施の形態によれば、脳が、質感、遠近感、存在感、臨場感、重量感、温もり感、ひんやり感、スピード感、躍動感、動きの滑らかさ、新鮮な感じ、高級感などをより感じる画像を出力できる。 More specifically, according to the present embodiment, an image captured in different environments such as light quantity, light source position, light source color, and camera position can be output. A recognizable image can be output. More specifically, according to the present embodiment, the brain has a texture, perspective, presence, presence, weight, warmth, coolness, speed, dynamics, smoothness of movement, freshness Images that make you feel better and feel more luxurious can be output.
また、本実施の形態によれば、複数のルックアップテーブルのうちの適切なルックアップテーブルを使用することにより、目的に応じて脳負荷が調整された画像を出力できる。 Further, according to the present embodiment, by using an appropriate lookup table among a plurality of lookup tables, an image in which the brain load is adjusted according to the purpose can be output.
また、本実施の形態によれば、拘束条件を満たすように、出力画像を変更することにより、目的に応じて、さらに好適に脳負荷が調整された画像を出力できる。 Further, according to the present embodiment, by changing the output image so as to satisfy the constraint condition, it is possible to output an image in which the brain load is more suitably adjusted according to the purpose.
また、本実施の形態によれば、ルックアップテーブルをカスタマイズ可能とすることにより、ユーザの嗜好等に応じて、さらに好適に脳負荷が調整された画像を出力できる。 Further, according to the present embodiment, by making the look-up table customizable, it is possible to output an image in which the brain load is more suitably adjusted according to the user's preference or the like.
なお、本実施の形態における画像処理装置1はテレビ受信機でも良い。かかる場合、画像受付部104が受け付ける画像は、テレビ映像を構成する画像である。 Note that the image processing apparatus 1 in the present embodiment may be a television receiver. In such a case, the image received by the image receiving unit 104 is an image constituting a television video.
また、本実施の形態における画像処理装置1を用いれば、受け付けた動画を用いて、目的に応じて、リアルタイムに脳負荷が調整された動画を生成し、出力する装置を実現できる。 Moreover, if the image processing apparatus 1 in this Embodiment is used, the apparatus which produces | generates and outputs the moving image by which the brain load was adjusted in real time according to the objective using the received moving image is realizable.
また、本実施の形態において、ルックアップテーブルが一つの対応情報のみを有する場合、画像処理装置1は、画像解析部106を有さなくても良い。かかる場合、画像処理装置1は、図7のような構成となる。そして、かかる場合、マッピング部107は、格納部101の一の対応情報を用いて、画像受付部104が受け付けた1以上の画像の全部または一部分に対応する1以上の第二の画像の全部または一部分を取得する。なお、かかる場合も、画像解析部106が存在し、画像解析部106が受け付けられた1以上の画像の全部または一部分から1以上の特徴量を取得し、マッピング部107が当該特徴量を用いて、上述した補正処理を行っても良い。 In the present embodiment, when the lookup table has only one piece of correspondence information, the image processing apparatus 1 may not have the image analysis unit 106. In such a case, the image processing apparatus 1 is configured as shown in FIG. In such a case, the mapping unit 107 uses one piece of correspondence information of the storage unit 101, or all or one or more second images corresponding to all or part of one or more images received by the image receiving unit 104. Get a portion. Even in such a case, the image analysis unit 106 exists, and the image analysis unit 106 acquires one or more feature amounts from all or a part of the received one or more images, and the mapping unit 107 uses the feature amounts. The above-described correction process may be performed.
また、本実施の形態の画像処理装置1において、指示受付部103やルックアップテーブル更新部110等の一部の構成要素を具備しなくても良いことは言うまでもない。 Needless to say, the image processing apparatus 1 according to the present embodiment may not include some components such as the instruction receiving unit 103 and the lookup table update unit 110.
さらに、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをCD−ROMなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における画像処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、記憶媒体に、1以上の第一の画像の全部または一部分と、前記第一の画像に対して、脳負荷が調整された画像であり、前記第一の画像と同一の対象についての画像である第二の画像の全部または一部分との対応を取るための情報である1または2以上の対応情報を有するルックアップテーブルを格納しており、コンピュータを、1以上の画像を受け付ける画像受付部と、前記1または2以上の対応情報のうちのいずれかの対応情報を用いて、前記画像受付部が受け付けた1以上の画像の全部または一部分に対応する1以上の第二の画像の全部または一部分を取得するマッピング部と、前記マッピング部が取得した1以上の第二の画像の全部、または前記マッピング部が取得した1以上の第二の画像の一部分の集合である1以上の出力画像を出力する画像出力部として機能させるためのプログラム、である。 Furthermore, the processing in the present embodiment may be realized by software. Then, this software may be distributed by software download or the like. Further, this software may be recorded and distributed on a recording medium such as a CD-ROM. This also applies to other embodiments in this specification. The software that realizes the image processing apparatus according to the present embodiment is the following program. That is, the program is an image in which the brain load is adjusted with respect to all or a part of one or more first images and the first image on the storage medium, and is the same as the first image. A lookup table having one or more correspondence information that is information for taking correspondence with all or part of a second image that is an image of the object, and storing the computer with one or more images One or more second images corresponding to all or a part of the one or more images received by the image receiving unit using the image receiving unit to receive and the corresponding information of one or more of the one or more corresponding information. A mapping unit that acquires all or part of an image, and a set of all of one or more second images acquired by the mapping unit, or a part of one or more second images acquired by the mapping unit Program for functioning as an image output unit for outputting a certain one or more output image is.
また、上記プログラムにおいて、前記ルックアップテーブルは、2以上の対応情報を有し、コンピュータを、前記画像受付部が受け付けた1以上の画像の全部または一部分に対応する第一の画像の全部または一部分を決定する画像解析部としてさらに機能させ、前記マッピング部は、前記画像解析部が決定した第一の画像の全部または一部分に対応する対応情報を用いて、前記画像解析部が決定した第一の画像の全部または一部分に対応する第二の画像を取得するものとして、コンピュータを機能させるためのプログラム、であることは好適である。 In the above program, the look-up table has two or more pieces of correspondence information, and the computer accepts all or part of the first image corresponding to all or part of one or more images received by the image receiving unit. And the mapping unit uses the correspondence information corresponding to all or a part of the first image determined by the image analysis unit to determine the first image determined by the image analysis unit. A program for causing a computer to function as the second image corresponding to all or part of the image is preferable.
また、上記プログラムにおいて、前記第一の画像の全部または一部分は、入力される映像のうちの一部である第一の時空間ブロックであり、前記第二の画像の全部または一部分は、画面に出力される映像のうちの一部である第二の時空間ブロックであり、前記画像受付部は、1以上の画像の集合である映像を受け付け、コンピュータを、前記画像受付部が受け付けた映像を、空間的、または時間的、または空間的かつ時間的に2以上に分割し、2以上の第一の時空間ブロックを取得する分割部としてさらに機能させ、前記画像解析部は、前記分割部が取得した2以上の各第一の時空間ブロックごとに、当該各第一の時空間ブロックに対応する第一の画像の全部または一部分を決定し、前記マッピング部は、前記2以上の各第一の時空間ブロックごとに、前記画像解析部が決定した第一の画像の全部または一部分に対応する対応情報を用いて、前記画像解析部が決定した第一の画像の全部または一部分に対応する第二の時空間ブロックを取得し、前記マッピング部が取得した2以上の各第二の時空間ブロックを、当該2以上の各第二の時空間ブロックに対応する第一の時空間ブロックの時間的、または空間的、または空間的かつ時間的な位置に配置し、出力画像を生成する合成部としてさらに機能させることは好適である。 In the above program, all or a part of the first image is a first spatiotemporal block that is a part of an input video, and all or a part of the second image is displayed on a screen. A second spatio-temporal block that is a part of the output video, wherein the image receiving unit receives a video that is a set of one or more images, and sends a computer to the video received by the image receiving unit; , Spatially, temporally, or spatially and temporally divided into two or more, and further functioning as a dividing unit that obtains two or more first spatiotemporal blocks, and the image analyzing unit includes: For each of the two or more acquired first spatio-temporal blocks, the whole or a part of the first image corresponding to each first spatio-temporal block is determined, and the mapping unit includes the two or more first spatio-temporal blocks. Space-time block A second time space corresponding to all or part of the first image determined by the image analysis unit using correspondence information corresponding to all or part of the first image determined by the image analysis unit. The block is acquired, and the two or more second spatiotemporal blocks acquired by the mapping unit are temporally or spatially of the first spatiotemporal block corresponding to the two or more second spatiotemporal blocks. Alternatively, it is preferable to arrange at a spatial and temporal position and further function as a synthesis unit that generates an output image.
また、上記プログラムにおいて、前記画像解析部は、前記画像受付部が受け付けた1以上の画像、または前記分割部が取得した2以上の各第一の時空間ブロックを解析し、1以上の特徴量を取得し、当該1以上の特徴量に対応する第一の画像の全部または一部分を決定するものとして、コンピュータを機能させるためのプログラム、であることは好適である。 In the above program, the image analysis unit analyzes one or more images received by the image receiving unit or two or more first spatiotemporal blocks acquired by the dividing unit, and one or more feature amounts. And a program for causing a computer to function as determining all or a part of the first image corresponding to the one or more feature quantities.
また、上記プログラムにおいて、前記記憶媒体には、ルックアップテーブルの種類を識別する種類識別子と当該種類識別子に対応するルックアップテーブルとの組を2組以上格納しており、前記マッピング部は、利用するルックアップテーブルの種類を識別する1以上の種類識別子を取得する種類識別子取得手段と、前記1以上の種類識別子に対応する1以上のルックアップテーブルが有する対応情報のうちの、前記画像解析部が決定した第一の画像の全部または一部分に対応する対応情報を用いて、前記画像解析部が決定した第一の画像の全部または一部分に対応する第二の画像の全部または一部分を、出力画像の全部または一部分として取得する出力画像取得手段とを具備するものとして、コンピュータを機能させることは好適である。 In the above program, the storage medium stores two or more sets of a type identifier for identifying a type of the lookup table and a lookup table corresponding to the type identifier, and the mapping unit uses Of the type identifier acquisition means for acquiring one or more type identifiers for identifying the type of the lookup table to be performed, and the image analysis unit of correspondence information included in the one or more lookup tables corresponding to the one or more type identifiers Using the correspondence information corresponding to all or a part of the first image determined by the image analysis unit, all or a part of the second image corresponding to all or a part of the first image determined by the image analysis unit is output as an output image. It is preferable to cause the computer to function as output image acquisition means for acquiring all or part of the output image acquisition means.
また、上記プログラムにおいて、コンピュータを、ユーザの指示を受け付ける指示受付部と、前記指示に応じて、前記ルックアップテーブルが有する2以上の対応情報のいずれかを変更するルックアップテーブル更新部としてさらに機能させることは好適である。 Further, in the above program, the computer further functions as an instruction receiving unit that receives a user instruction, and a lookup table update unit that changes any one of two or more pieces of correspondence information included in the lookup table according to the instruction. It is suitable to make it.
また、本実施の形態における画像処理装置を実現するソフトウェアは、記憶媒体に、1以上の第一の画像の全部または一部と、当該第一の画像とは異なる第二の画像の全部または一部との対応を取るための情報である1または2以上の対応情報を有するルックアップテーブルと、入力画像、対応情報、または出力画像のうちの1種類以上の情報が満たすべき条件である拘束条件とを格納しており、コンピュータを、1以上の画像を受け付ける画像受付部と、1または2以上の対応情報のうちのいずれかの対応情報を用いて、画像受付部が受け付けた1以上の画像の全部または一部分に対応する1以上の第二の画像の全部または一部分を、前記拘束条件に合致するように取得するマッピング部と、前記マッピング部が取得した1以上の第二の画像の全部または一部分から構成される出力画像を出力する画像出力部として機能させるプログラムである。 In addition, software that realizes the image processing apparatus according to the present embodiment stores all or a part of one or more first images and all or one of the second images different from the first image on a storage medium. A look-up table having one or more correspondence information, which is information for taking correspondence with a part, and a constraint condition that is a condition to be satisfied by one or more types of information of the input image, the correspondence information, or the output image One or more images received by the image receiving unit using the image receiving unit that receives one or more images and any one of the one or more pieces of corresponding information. A mapping unit that acquires all or a part of one or more second images corresponding to all or a part of the image so as to meet the constraint condition, and one or more second images acquired by the mapping unit. In whole or programmed to function as an image output unit for outputting an output image composed of a portion of the.
(実施の形態2)
本実施の形態において、実施の形態1と比較して、画像処理装置2は、分割部105、および合成部108を具備しない。
(Embodiment 2)
In the present embodiment, compared to the first embodiment, the image processing apparatus 2 does not include the dividing unit 105 and the combining unit 108.
図8は、本実施の形態における画像処理装置2のブロック図である。 FIG. 8 is a block diagram of the image processing apparatus 2 in the present embodiment.
画像処理装置2は、格納部101、拘束条件格納部102、指示受付部103、画像受付部104、画像解析部106、マッピング部107、画像出力部109、およびルックアップテーブル更新部110を具備する。 The image processing apparatus 2 includes a storage unit 101, a constraint condition storage unit 102, an instruction reception unit 103, an image reception unit 104, an image analysis unit 106, a mapping unit 107, an image output unit 109, and a lookup table update unit 110. .
次に、画像処理装置2の動作について、図9のフローチャートを用いて説明する。図9のフローチャートは、図2のフローチャートの一部分である。ただし、ステップS205の画像解析処理は、ステップS201で受け付けられた画像全体に対して行われる。また、ステップS206のマッピング処理も、ステップS201で受け付けられた画像全体に対して行われる。 Next, the operation of the image processing apparatus 2 will be described using the flowchart of FIG. The flowchart of FIG. 9 is a part of the flowchart of FIG. However, the image analysis processing in step S205 is performed on the entire image accepted in step S201. The mapping process in step S206 is also performed on the entire image received in step S201.
さらに、図9のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。 Further, in the flowchart of FIG. 9, the process is ended by powering off or a process end interrupt.
また、図9のフローチャートにおいて、複数の画像や画像ストリームを受け付け中に、ステップS210の指示を受け付け、ルックアップテーブルを更新しても良い。 In the flowchart of FIG. 9, the instruction in step S210 may be received and the lookup table may be updated while a plurality of images and image streams are being received.
以上、本実施の形態によれば、目的に応じて脳負荷が調整された画像を出力する画像処理装置を提供できる。例えば、本実施の形態によれば、脳負荷をより低減できる画像を出力する画像処理装置や、より脳に刺激を与え、エンターテインメント性が増加する画像を出力する画像処理装置等を提供できる。 As described above, according to the present embodiment, it is possible to provide an image processing apparatus that outputs an image in which the brain load is adjusted according to the purpose. For example, according to the present embodiment, it is possible to provide an image processing device that outputs an image that can further reduce the brain load, an image processing device that outputs an image that gives more stimulation to the brain and increases entertainment properties, and the like.
また、本実施の形態における画像処理装置が脳負荷をより低減できる画像を出力する場合、当該画像処理装置は、人間の脳にとって、好適な画像として認知できるような画像を出力する画像処理装置を提供できる。 When the image processing apparatus according to the present embodiment outputs an image that can further reduce the brain load, the image processing apparatus outputs an image that can be recognized as a suitable image for the human brain. Can be provided.
さらに具体的には、本実施の形態によれば、光量、光源の位置、光源の色、カメラの位置など、画像を取得する環境を、より良くした画像を出力できることにより、人間の脳にとって、好適な画像として認知できるような画像を出力できる。さらに具体的には、本実施の形態によれば、脳が、質感、遠近感、存在感、臨場感、重量感、温もり感、ひんやり感、スピード感、躍動感、動きの滑らかさ、新鮮な感じ、高級感などをより感じる画像を出力できる。 More specifically, according to the present embodiment, it is possible for the human brain to output an image in which the environment for acquiring the image, such as the light amount, the position of the light source, the color of the light source, and the position of the camera, is improved. An image that can be recognized as a suitable image can be output. More specifically, according to the present embodiment, the brain has a texture, perspective, presence, presence, weight, warmth, coolness, speed, dynamics, smoothness of movement, freshness Images that make you feel better and feel more luxurious can be output.
なお、本実施の形態における画像処理装置2を組み込んだテレビ受信機は、構成可能である。かかる場合、画像受付部104が受け付ける画像は、テレビ映像を構成する画像である。 Note that a television receiver incorporating the image processing apparatus 2 in the present embodiment can be configured. In such a case, the image received by the image receiving unit 104 is an image constituting a television video.
また、本実施の形態において、ルックアップテーブルが一つの対応情報のみを有する場合、画像処理装置2は、画像解析部106を有さなくても良い。かかる場合、画像処理装置1は、図10のような構成となる。そして、かかる場合、マッピング部107は、格納部101の一の対応情報を用いて、画像受付部104が受け付けた1以上の画像の全部または一部分に対応する1以上の第二の画像の全部または一部分を取得する。なお、かかる場合も、画像解析部106が存在し、画像解析部106が受け付けられた1以上の画像の全部または一部分から1以上の特徴量を取得し、マッピング部107が当該特徴量を用いて、上述した補正処理を行っても良い。 In the present embodiment, when the lookup table has only one piece of correspondence information, the image processing apparatus 2 may not have the image analysis unit 106. In such a case, the image processing apparatus 1 is configured as shown in FIG. In such a case, the mapping unit 107 uses one piece of correspondence information of the storage unit 101, or all or one or more second images corresponding to all or part of one or more images received by the image receiving unit 104. Get a portion. Even in such a case, the image analysis unit 106 exists, and the image analysis unit 106 acquires one or more feature amounts from all or a part of the received one or more images, and the mapping unit 107 uses the feature amounts. The above-described correction process may be performed.
また、本実施の形態の画像処理装置2において、指示受付部103やルックアップテーブル更新部110等の一部の構成要素を具備しなくても良いことは言うまでもない。 Needless to say, the image processing apparatus 2 according to the present embodiment may not include some components such as the instruction receiving unit 103 and the lookup table update unit 110.
さらに、本実施の形態における画像処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、記憶媒体に、1以上の第一の画像の全部または一部分と、前記第一の画像に対して、脳負荷が調整された画像であり、前記第一の画像と同一の対象についての画像である第二の画像の全部または一部分との対応を取るための情報である1または2以上の対応情報を有するルックアップテーブルを格納しており、コンピュータを、1以上の画像を受け付ける画像受付部と、前記1または2以上の対応情報のうちのいずれかの対応情報を用いて、前記画像受付部が受け付けた1以上の画像の全部または一部分に対応する1以上の第二の画像の全部または一部分を取得するマッピング部と、前記マッピング部が取得した1以上の第二の画像の全部、または前記マッピング部が取得した1以上の第二の画像の一部分の集合である1以上の出力画像を出力する画像出力部として機能させるためのプログラム、である。 Furthermore, the software that realizes the image processing apparatus according to the present embodiment is the following program. That is, the program is an image in which the brain load is adjusted with respect to all or a part of one or more first images and the first image on the storage medium, and is the same as the first image. A lookup table having one or more correspondence information that is information for taking correspondence with all or part of a second image that is an image of the object, and storing the computer with one or more images One or more second images corresponding to all or a part of the one or more images received by the image receiving unit using the image receiving unit to receive and the corresponding information of one or more of the one or more corresponding information. A mapping unit that acquires all or part of an image, and a set of all of one or more second images acquired by the mapping unit, or a part of one or more second images acquired by the mapping unit Program for functioning as an image output unit for outputting a certain one or more output image is.
(実施の形態3)
本実施の形態において、ルックアップテーブルを生成するルックアップテーブル取得装置3について説明する。ルックアップテーブル取得装置3は、本明細書で言う第一の画像の全部または一部分を、第二の画像の全部または一部分に変換するために用いられるルックアップテーブルを学習するための装置である。
(Embodiment 3)
In the present embodiment, a lookup table acquisition device 3 that generates a lookup table will be described. The lookup table acquisition device 3 is a device for learning a lookup table used to convert all or part of the first image referred to in this specification into all or part of the second image.
図11は、本実施の形態におけるルックアップテーブル取得装置3のブロック図である。 FIG. 11 is a block diagram of lookup table acquisition apparatus 3 in the present embodiment.
ルックアップテーブル取得装置3は、格納部101、第一画像格納部31、第二画像格納部32、第二画像情報候補集合格納部33、指示受付部103、候補出力部34、第二画像蓄積部35、第一画像関連情報取得部36、第二画像関連情報取得部37、ルックアップテーブル構成部38、およびルックアップテーブル蓄積部39を具備する。 The lookup table acquisition device 3 includes a storage unit 101, a first image storage unit 31, a second image storage unit 32, a second image information candidate set storage unit 33, an instruction receiving unit 103, a candidate output unit 34, and a second image accumulation. Unit 35, first image related information acquisition unit 36, second image related information acquisition unit 37, lookup table configuration unit 38, and lookup table storage unit 39.
指示受付部103は、ユーザの指示を受け付ける。ここでの指示は、第二画像情報候補集合格納部33に格納されている第二画像情報候補集合を出力する指示、1以上の第二の画像情報の候補を選択する指示等である。なお、ユーザとは、ルックアップテーブル取得装置3を提供する企業の担当者でも良いし、上述した画像処理装置やテレビ受信機のユーザ(視聴者)などでも良い。また、第二画像情報候補集合、および第二の画像情報については後述する。 The instruction receiving unit 103 receives a user instruction. The instruction here is an instruction to output the second image information candidate set stored in the second image information candidate set storage unit 33, an instruction to select one or more second image information candidates, and the like. The user may be a person in charge of a company that provides the lookup table acquisition device 3, or a user (viewer) of the above-described image processing device or television receiver. The second image information candidate set and the second image information will be described later.
第一画像格納部31は、1以上の第一の画像を格納し得る。第一の画像は、画像処理装置により受け付けられる画像を想定した画像である。第一の画像は、例えば、第二の画像より、上述した意味において、脳負荷がかかる画像である。また、第一の画像は、例えば、エンターテインメント性の向上が図られていない画像である。 The first image storage unit 31 can store one or more first images. The first image is an image assuming an image accepted by the image processing apparatus. The first image is, for example, an image to which a brain load is applied in the above-described meaning from the second image. In addition, the first image is an image that has not been improved in entertainment properties, for example.
第一画像格納部31は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。第一画像格納部31に第一の画像が記憶される過程は問わない。第一画像格納部31の第一画像は、例えば、第二画像格納部32の第二画像から生成されても良い。つまり、例えば、図示しない手段が、第二画像の輝度を下げたり、カメラ位置を自動的に変更するシミュレーションを行なう等して、第二画像の性質を変えて、第一画像を生成しても良い。 The first image storage unit 31 is preferably a nonvolatile recording medium, but can also be realized by a volatile recording medium. The process in which the first image is stored in the first image storage unit 31 does not matter. The first image in the first image storage unit 31 may be generated from the second image in the second image storage unit 32, for example. In other words, for example, a means (not shown) may generate the first image by changing the properties of the second image by reducing the brightness of the second image or performing a simulation to automatically change the camera position. good.
第二画像格納部32は、1以上の第二の画像を格納し得る。第二の画像は、第一の画像に対して、目的に応じて、脳負荷が調整された画像である。例えば、第二の画像は、第一の画像より、脳負荷が低減できる画像である。また、例えば、第二の画像は、第一の画像より、エンターテインメント性が増加された画像である。さらに、例えば、第二の画像は、他環境で一の対象を撮影して、取得される画像である。 The second image storage unit 32 can store one or more second images. The second image is an image in which the brain load is adjusted according to the purpose with respect to the first image. For example, the second image is an image in which the brain load can be reduced as compared with the first image. In addition, for example, the second image is an image in which entertainment properties are increased compared to the first image. Furthermore, for example, the second image is an image acquired by photographing one object in another environment.
第二の画像と第一の画像は、同一の対象についての画像である。第二の画像と第一の画像は、通常、同一の画素数であるが、異なる画素数でも良い。 The second image and the first image are images for the same object. The second image and the first image usually have the same number of pixels, but may have different numbers of pixels.
第二画像格納部32は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。第二画像格納部32に第二の画像が記憶される過程は問わない。第二画像格納部32の第二画像は、例えば、第一画像格納部31の第一画像から生成されても良い。つまり、例えば、図示しない手段が、第一画像の輝度を上げたり、カメラ位置を自動的に変更するシミュレーションを行なう等して、第一画像の性質を変えて、第二画像を生成しても良い。 The second image storage unit 32 is preferably a non-volatile recording medium, but can also be realized by a volatile recording medium. The process in which the second image is stored in the second image storage unit 32 does not matter. The second image in the second image storage unit 32 may be generated from the first image in the first image storage unit 31, for example. That is, for example, a means (not shown) may generate a second image by changing the properties of the first image by increasing the brightness of the first image or performing a simulation that automatically changes the camera position. good.
第二画像情報候補集合格納部33は、1以上の各第一の画像に対応付けて、1以上の第二画像情報候補集合を格納し得る。第二画像情報候補集合は、2以上の第二の画像情報の候補の集合である。第二の画像情報とは、第二の画像に関する情報である。また、第二の画像情報は、第二の画像でも良いし、第二の画像の1以上の属性等でも良い。画像の属性は、例えば、撮影パラメータや1以上の特徴量である。また、2以上の各第二の画像情報の候補は、対応付けられている第一の画像と同一の対象についての第二の画像の画像情報である。第二画像情報候補集合格納部33は、物理的に、第一画像格納部31を含んでいても良い。また、「第一の画像に対応付けてられている」とは、第一の画像に直接的に対応付けられていても良いし、第一の画像に間接的に対応付けられていても良い。間接的な対応付けは、例えば、第一の画像情報に対応付けられていることである。第一の画像情報は、第一の画像に関する情報であり、第一の画像そのもの、または第一の画像の属性などである。 The second image information candidate set storage unit 33 can store one or more second image information candidate sets in association with one or more first images. The second image information candidate set is a set of two or more second image information candidates. The second image information is information related to the second image. The second image information may be a second image, or one or more attributes of the second image. The attribute of the image is, for example, a shooting parameter or one or more feature amounts. The two or more second image information candidates are image information of the second image for the same target as the associated first image. The second image information candidate set storage unit 33 may physically include the first image storage unit 31. Further, “corresponding to the first image” may be directly associated with the first image, or may be indirectly associated with the first image. . Indirect association is associated with, for example, first image information. The first image information is information relating to the first image, such as the first image itself or the attributes of the first image.
第二画像情報候補集合格納部33は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。第二画像情報候補集合格納部33に第二画像情報候補集合が記憶される過程は問わない。 The second image information candidate set storage unit 33 is preferably a non-volatile recording medium, but can also be realized by a volatile recording medium. The process of storing the second image information candidate set in the second image information candidate set storage unit 33 does not matter.
候補出力部34は、第二画像情報候補集合格納部33に格納されている1以上の第二画像情報候補集合を出力する。指示受付部103が第二画像情報候補集合を出力する指示を受け付けた場合に、候補出力部34は、第二画像情報候補集合格納部33に格納されている1以上の第二画像情報候補集合を出力しても良い。ここでの出力とは、通常、ディスプレイへの表示、プロジェクターを用いた投影であるが、外部の装置や他のプログラムへの送信などを含む概念である。 The candidate output unit 34 outputs one or more second image information candidate sets stored in the second image information candidate set storage unit 33. When the instruction receiving unit 103 receives an instruction to output the second image information candidate set, the candidate output unit 34 stores one or more second image information candidate sets stored in the second image information candidate set storage unit 33. May be output. The output here is usually a display on a display or projection using a projector, but is a concept including transmission to an external device or another program.
第二画像蓄積部35は、指示受付部103が受け付けた指示に対応する1以上の各第二の画像情報の候補に対応する1以上の第二の画像を、第二画像情報候補集合に対応する第一の画像に対応付けて、第二画像格納部32に蓄積する。例えば、第二の画像情報が第二の画像である場合、第二画像蓄積部35は、指示受付部103が受け付けた指示に対応する1以上の第二の画像を、第一の画像に対応付けて、第二画像格納部32に蓄積する。また、例えば、第二の画像情報が画像の属性である場合、第二画像蓄積部35は、当該画像の属性を用いて、第二の画像を構成し、第一の画像に対応付けて、第二画像格納部32に蓄積する。第二画像蓄積部35は、通常、MPUやメモリ等から実現され得る。第二画像蓄積部35の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。 The second image storage unit 35 corresponds one or more second images corresponding to one or more second image information candidates corresponding to the instruction received by the instruction receiving unit 103 to the second image information candidate set. The second image storage unit 32 stores the first image in association with the first image. For example, when the second image information is the second image, the second image storage unit 35 corresponds one or more second images corresponding to the instruction received by the instruction receiving unit 103 to the first image. In addition, the image is accumulated in the second image storage unit 32. Further, for example, when the second image information is an attribute of the image, the second image storage unit 35 configures the second image using the attribute of the image, associates it with the first image, Accumulate in the second image storage unit 32. The second image storage unit 35 can usually be realized by an MPU, a memory, or the like. The processing procedure of the second image storage unit 35 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
第一画像関連情報取得部36は、第一画像格納部31の1以上の第一の画像から1以上の第一画像関連情報を取得する。第一画像関連情報は、第一の画像の全部または一部分に関する情報である。第一画像関連情報は、例えば、第一の画像の全部または一部分から抽出される1以上の特徴量である。なお、1以上の特徴量には、1以上の第一の画像の一部の特徴量である近傍特徴量と、1以上の第一の画像全体の特徴量である全体特徴量とがある。近傍特徴量と全体特徴量の例は、上述したので、説明を省略する。また、第一画像関連情報は、上述した1以上の特徴量を縮退した情報でも良い。かかる縮退した情報も、特徴量である。 The first image related information acquisition unit 36 acquires one or more first image related information from one or more first images in the first image storage unit 31. The first image related information is information relating to all or part of the first image. The first image related information is, for example, one or more feature amounts extracted from all or a part of the first image. The one or more feature amounts include a neighborhood feature amount that is a partial feature amount of the one or more first images and an overall feature amount that is a feature amount of the one or more first images as a whole. Since the example of the neighborhood feature amount and the overall feature amount has been described above, the description thereof will be omitted. Further, the first image related information may be information obtained by degenerating one or more feature amounts described above. Such degenerated information is also a feature amount.
第一画像関連情報取得部36は、通常、MPUやメモリ等から実現され得る。第一画像関連情報取得部36の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。 The first image related information acquisition unit 36 can usually be realized by an MPU, a memory, or the like. The processing procedure of the first image related information acquisition unit 36 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
第二画像関連情報取得部37は、第二画像格納部32の1以上の第二の画像から1以上の第二画像関連情報を取得する。第二画像関連情報は、第二の画像の全部または一部分に関する情報である。第二画像関連情報は、第二の画像の全部または一部分を生成するための情報であり、例えば、第二の画像の全部または一部分を生成するための演算式に与えるパラメータ群や、第二の画像の全部または一部分を生成するための演算式である。第二画像関連情報は、例えば、第二の画像の全部または一部分そのものでも良い。第二画像関連情報は、例えば、第二の画像の全部または一部分そのものである場合、第二画像関連情報取得部37は、第二の画像を時空間ブロックに分割する処理を行う。 The second image related information acquisition unit 37 acquires one or more second image related information from one or more second images in the second image storage unit 32. The second image related information is information regarding all or part of the second image. The second image related information is information for generating all or part of the second image, for example, a parameter group given to an arithmetic expression for generating all or part of the second image, It is an arithmetic expression for generating all or part of an image. The second image related information may be, for example, all or part of the second image itself. For example, when the second image related information is all or a part of the second image itself, the second image related information acquisition unit 37 performs a process of dividing the second image into spatiotemporal blocks.
第二画像関連情報取得部37は、通常、MPUやメモリ等から実現され得る。第二画像関連情報取得部37の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。 The second image related information acquisition unit 37 can usually be realized by an MPU, a memory, or the like. The processing procedure of the second image related information acquisition unit 37 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
ルックアップテーブル構成部38は、1または2以上の対応情報を有するルックアップテーブルを構成する。対応情報は、上述したように、1以上の第一の画像の全部または一部分と、1以上の第二の画像の全部または一部分との対応を取るための情報である。また、例えば、対応情報は、第一画像関連情報と第二画像関連情報とを対応付ける情報である。また、対応情報は、例えば、第一画像関連情報と第二画像関連情報とを有する情報である。なお、対応情報の内容や構造は問わない。また、ここで、第一画像関連情報に対応する第二画像関連情報について、第一画像関連情報の元になる第一の画像の全部または一部分と、第二画像関連情報の元になる第二の画像の全部または一部分とが、映像を構成するフレーム画像上の空間的な位置が対応する場合、映像上の時間的な位置が対応する場合、映像上の空間的および時間的な位置が対応する場合がある。 The lookup table configuration unit 38 configures a lookup table having one or more correspondence information. As described above, the correspondence information is information for taking correspondence between all or a part of one or more first images and all or a part of one or more second images. Further, for example, the correspondence information is information that associates the first image related information with the second image related information. The correspondence information is information having first image related information and second image related information, for example. In addition, the content and structure of correspondence information are not ask | required. Here, with respect to the second image related information corresponding to the first image related information, all or a part of the first image that is the source of the first image related information and the second that is the source of the second image related information. When all or a part of the image corresponds to the spatial position on the frame image constituting the video, or corresponds to the temporal position on the video, the spatial and temporal position on the video corresponds There is a case.
ルックアップテーブル構成部38は、通常、MPUやメモリ等から実現され得る。第二画像関連情報取得部37の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。 The lookup table configuration unit 38 can be usually realized by an MPU, a memory, or the like. The processing procedure of the second image related information acquisition unit 37 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
ルックアップテーブル蓄積部39は、ルックアップテーブル構成部38が構成したルックアップテーブルを、格納部101に蓄積する。なお、ここでの蓄積とは、メモリへの書き込みなども含む。 The lookup table storage unit 39 stores the lookup table configured by the lookup table configuration unit 38 in the storage unit 101. Note that the accumulation here includes writing to a memory and the like.
ルックアップテーブル蓄積部39は、通常、MPUやメモリ等から実現され得る。第二画像関連情報取得部37の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。 The lookup table storage unit 39 can usually be realized by an MPU, a memory, or the like. The processing procedure of the second image related information acquisition unit 37 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
次に、ルックアップテーブル取得装置3において、ユーザが、自身にとって好適な第二の画像を選択する動作について、図12のフローチャートを用いて説明する。 Next, the operation in which the user selects a second image suitable for himself / herself in the lookup table acquisition device 3 will be described with reference to the flowchart of FIG.
(ステップS1201)指示受付部103は、第二画像情報候補集合を出力する指示を受け付けたか否かを判断する。かかる指示を受け付ければステップS1202に行き、かかる指示を受け付けなければステップS1201に戻る。 (Step S1201) The instruction receiving unit 103 determines whether an instruction to output the second image information candidate set has been received. If such an instruction is accepted, the process goes to step S1202, and if no such instruction is accepted, the process returns to step S1201.
(ステップS1202)候補出力部34は、カウンタiに1を代入する。 (Step S1202) The candidate output unit 34 substitutes 1 for the counter i.
(ステップS1203)候補出力部34は、第二画像情報候補集合格納部33に、i番目の第二画像情報候補集合が存在するか否かを判断する。i番目の第二画像情報候補集合が存在すればステップS1204に行き、i番目の第二画像情報候補集合が存在しなければ処理を終了する。 (Step S1203) The candidate output unit 34 determines whether or not the i-th second image information candidate set exists in the second image information candidate set storage unit 33. If the i-th second image information candidate set exists, the process goes to step S1204. If the i-th second image information candidate set does not exist, the process ends.
(ステップS1204)候補出力部34は、i番目の第二画像情報候補集合を第二画像情報候補集合格納部33から読み出し、出力する。 (Step S1204) The candidate output unit 34 reads the i-th second image information candidate set from the second image information candidate set storage unit 33 and outputs it.
(ステップS1205)指示受付部103は、第二画像情報候補集合が有する2以上の第二の画像情報の候補から、1または2以上の第二の画像情報に対する選択指示を受け付けたか否かを判断する。かかる選択指示を受け付けた場合はステップS1206に行き、かかる選択指示を受け付けなかった場合はステップS1205に戻る。 (Step S1205) The instruction receiving unit 103 determines whether a selection instruction for one or more second image information is received from two or more second image information candidates included in the second image information candidate set. To do. If such a selection instruction is accepted, the process goes to step S1206. If such a selection instruction is not accepted, the process returns to step S1205.
(ステップS1206)第二画像蓄積部35は、ステップS1205で受け付けられた指示に対応する1以上の第二の画像情報の候補を取得する。 (Step S1206) The second image storage unit 35 acquires one or more second image information candidates corresponding to the instruction received in step S1205.
(ステップS1207)第二画像蓄積部35は、ステップS1206で取得した第二の画像情報を用いて、第二の画像を取得し、第一の画像に対応付けて、第二画像格納部32に蓄積する。この第一の画像は、i番目の第二画像情報候補集合に対応付けられている第一の画像である。 (Step S1207) The second image storage unit 35 acquires the second image using the second image information acquired in step S1206, associates it with the first image, and stores it in the second image storage unit 32. accumulate. This first image is the first image associated with the i-th second image information candidate set.
(ステップS1208)候補出力部34は、カウンタiを1、インクリメントする。ステップS1203に戻る。 (Step S1208) The candidate output unit 34 increments the counter i by one. The process returns to step S1203.
次に、ルックアップテーブル取得装置3が、ルックアップテーブルを構成し、蓄積する動作について、図13のフローチャートを用いて説明する。なお、第一画像格納部31に格納されている各第一の画像に対応する第二の画像が第二画像格納部32に格納されている、とする。 Next, an operation in which the lookup table acquisition device 3 configures and stores a lookup table will be described with reference to the flowchart of FIG. It is assumed that a second image corresponding to each first image stored in the first image storage unit 31 is stored in the second image storage unit 32.
(ステップS1301)第一画像関連情報取得部36は、カウンタiに1を代入する。 (Step S1301) The first image related information acquisition unit 36 substitutes 1 for a counter i.
(ステップS1302)第一画像関連情報取得部36は、i番目の第一の画像が、第一画像格納部31に格納されているか否かを判断する。i番目の第一の画像が格納されていればステップS1303に行き、格納されていなければ処理を終了する。 (Step S1302) The first image related information acquisition unit 36 determines whether or not the i-th first image is stored in the first image storage unit 31. If the i-th first image is stored, the process goes to step S1303, and if not stored, the process ends.
(ステップS1303)第一画像関連情報取得部36は、i番目の第一の画像を、第一画像格納部31から読み出す。 (Step S1303) The first image related information acquisition unit 36 reads the i-th first image from the first image storage unit 31.
(ステップS1304)第一画像関連情報取得部36は、ステップS1303で読み出したi番目の第一の画像をブロックに分割する。そして、第一画像関連情報取得部36は、n個の第一の時空間ブロックを得る。 (Step S1304) The first image related information acquisition unit 36 divides the i-th first image read in step S1303 into blocks. Then, the first image related information acquisition unit 36 obtains n first spatiotemporal blocks.
(ステップS1305)第二画像関連情報取得部37は、i番目の第二の画像を、第二画像格納部32から読み出す。 (Step S 1305) The second image related information acquisition unit 37 reads the i-th second image from the second image storage unit 32.
(ステップS1306)第二画像関連情報取得部37は、ステップS1305で読み出したi番目の第二の画像をブロックに分割する。そして、第二画像関連情報取得部37は、n個の第二の時空間ブロックを得る。 (Step S1306) The second image related information acquisition unit 37 divides the i-th second image read in step S1305 into blocks. Then, the second image related information acquisition unit 37 obtains n second spatiotemporal blocks.
(ステップS1307)ルックアップテーブル構成部38は、カウンタjに1を代入する。 (Step S1307) The lookup table configuration unit 38 substitutes 1 for the counter j.
(ステップS1308)ルックアップテーブル構成部38は、ステップS1304で取得された時空間ブロックの中で、j番目のブロックが存在するか否かを判断する。j番目のブロックが存在すればステップS1309に行き、j番目のブロックが存在しなければステップS1314に行く。 (Step S1308) The lookup table configuration unit 38 determines whether or not the j-th block exists in the spatiotemporal block acquired in step S1304. If the jth block exists, the process goes to step S1309, and if the jth block does not exist, the process goes to step S1314.
(ステップS1309)第一画像関連情報取得部36は、i番目の第一の画像のj番目のブロックから、第一画像関連情報を取得する。 (Step S 1309) The first image related information acquisition unit 36 acquires first image related information from the j th block of the i th first image.
(ステップS1310)第二画像関連情報取得部37は、i番目の第二の画像のj番目のブロックから、第二画像関連情報を取得する。 (Step S1310) The second image related information acquisition unit 37 acquires second image related information from the j th block of the i th second image.
(ステップS1311)ルックアップテーブル構成部38は、ステップS1309で取得された第一画像関連情報と、ステップS1310で取得された第二画像関連情報とを有する対応情報を構成する。 (Step S1311) The lookup table configuration unit 38 configures correspondence information including the first image related information acquired in Step S1309 and the second image related information acquired in Step S1310.
(ステップS1312)ルックアップテーブル蓄積部39は、ステップS1311で構成された対応情報を格納部101に蓄積する。 (Step S1312) The lookup table storage unit 39 stores the correspondence information configured in step S1311 in the storage unit 101.
(ステップS1313)ルックアップテーブル構成部38は、カウンタjを1、インクリメントする。ステップS1308に戻る。 (Step S1313) The lookup table configuration unit 38 increments the counter j by 1. The process returns to step S1308.
(ステップS1314)第一画像関連情報取得部36は、カウンタiを1、インクリメントする。ステップS1302に戻る。 (Step S1314) The first image related information acquisition unit 36 increments the counter i by one. The process returns to step S1302.
以下、本実施の形態におけるルックアップテーブル取得装置3の具体的な動作について説明する。 Hereinafter, a specific operation of the lookup table acquisition apparatus 3 in the present embodiment will be described.
まず、ルックアップテーブル取得装置3において、ユーザからの第二の画像の選択指示を受け付け、第二の画像を蓄積する動作の例について説明する。 First, an example of an operation of receiving a second image selection instruction from the user and accumulating the second image in the lookup table acquisition device 3 will be described.
今、図14に示すような複数の第二画像情報候補集合が、第二画像情報候補集合格納部33に格納されている。なお、ここでは、第二画像情報候補集合において、候補1の画像は、第一の画像である、とする。また、第二画像情報候補集合において、候補1から候補4が第二の画像の候補である。つまり、ここでは、第二の画像情報は、第二の画像そのものである。 Now, a plurality of second image information candidate sets as shown in FIG. 14 are stored in the second image information candidate set storage unit 33. Here, in the second image information candidate set, it is assumed that the image of candidate 1 is the first image. In the second image information candidate set, candidates 1 to 4 are second image candidates. That is, here, the second image information is the second image itself.
そして、ユーザは、ルックアップテーブル取得装置3に、第二画像情報候補集合を出力する指示を入力した。そして、指示受付部103は、第二画像情報候補集合を出力する指示を受け付ける。 Then, the user inputs an instruction to output the second image information candidate set to the lookup table acquisition device 3. Then, the instruction receiving unit 103 receives an instruction to output the second image information candidate set.
次に、候補出力部34は、1番目の第二画像情報候補集合(図14の「ID=1」のレコードの画像の集合)を読み出し、出力する。かかる第二画像情報候補集合の出力例が図15である。 Next, the candidate output unit 34 reads and outputs the first second image information candidate set (the set of images of the record of “ID = 1” in FIG. 14). An output example of the second image information candidate set is shown in FIG.
次に、ユーザは、自分の嗜好に合致する画像を選択する指示(例えば、「4」)を入力する。そして、指示受付部103は、指示(例えば、「4」)を受け付ける。 Next, the user inputs an instruction (for example, “4”) to select an image that matches his / her preference. Then, the instruction receiving unit 103 receives an instruction (for example, “4”).
次に、第二画像蓄積部35は、指示に対応する4番目の画像を取得し、第二画像格納部32に蓄積する。 Next, the second image storage unit 35 acquires the fourth image corresponding to the instruction and stores it in the second image storage unit 32.
以上の処理を他の第二画像情報候補集合に対しても行い、ユーザが好む第二の画像が第二画像格納部32に蓄積される。 The above processing is also performed on other second image information candidate sets, and the second image preferred by the user is accumulated in the second image storage unit 32.
次に、ルックアップテーブル取得装置3が、ルックアップテーブルを構成し、蓄積する具体的な動作について説明する。ここでは、7つの具体例を用いて説明する。 Next, a specific operation in which the lookup table acquisition device 3 configures and stores the lookup table will be described. Here, explanation will be given using seven specific examples.
(具体例1)
具体例1は、光量が異なる光源を用いて、同一の被写体を撮影して、取得した第一の画像と第二の画像とを使用する例である。
(Specific example 1)
Specific example 1 is an example in which the same subject is photographed using light sources having different light amounts, and the acquired first image and second image are used.
まず、一の被写体に光量Aの光源を当て、図示しない撮影装置で撮影し、第一の画像を取得し、第一画像格納部31に蓄積する。また、前記一の被写体に光量B(光量B>光量A)の光源を当て、図示しない撮影装置で撮影し、第二の画像を取得し、第二画像格納部32に蓄積する。かかる場合、第二の画像の方が、第一の画像より脳負荷を低減できる画像である。また、人が視て、第二の画像の方が、第一の画像より高品位である、と感じるものであることは好適である。高品位に感じる画像とは、被写体の質感、遠近感、空気感、温もり感、透明感、新鮮な感じ、または高級感等が表出している画像である。 First, a light source with a light amount A is applied to one subject, and the first image is acquired by an imaging device (not shown) and accumulated in the first image storage unit 31. Further, a light source having a light amount B (light amount B> light amount A) is applied to the one subject, the image is taken with a photographing device (not shown), a second image is acquired, and stored in the second image storage unit 32. In such a case, the second image is an image that can reduce the brain load more than the first image. In addition, it is preferable that the second image has a higher quality than the first image when viewed by a person. A high-quality image is an image that expresses the texture, perspective, airiness, warmth, transparency, freshness, luxury, etc. of the subject.
また、光源の光量を変えて撮影する被写体は、自然、人間、動物、静物等、多数の種類のものとすることは好適である。また、被写体により、光源の光量の変更度合いが異なっても良いことは言うまでもない。 In addition, it is preferable that the subject to be photographed by changing the light amount of the light source is of many types such as nature, human beings, animals and still life. Needless to say, the degree of change in the light amount of the light source may vary depending on the subject.
以上により、第一画像格納部31と第二画像格納部32とが構築された。 As described above, the first image storage unit 31 and the second image storage unit 32 are constructed.
次に、第一画像関連情報取得部36は、第一画像格納部31から順次、第一の画像を読み出す。そして、第一画像関連情報取得部36は、第一の画像をブロックに分割し、n個の第一の時空間ブロックを得る。なお、複数の第一の時空間ブロックは、重複する領域が存在しても良い。つまり、第一画像関連情報取得部36が行う分割処理は、分割部105が行う分割処理と同様の処理である。 Next, the first image related information acquisition unit 36 sequentially reads the first image from the first image storage unit 31. Then, the first image related information acquisition unit 36 divides the first image into blocks and obtains n first spatiotemporal blocks. The plurality of first spatiotemporal blocks may have overlapping areas. That is, the division process performed by the first image related information acquisition unit 36 is the same process as the division process performed by the division unit 105.
また、第二画像関連情報取得部37も、第二画像格納部32から、第一の画像に対応する第二の画像を読み出す。そして、第二画像関連情報取得部37は、第二の画像をブロックに分割し、n個の第二の時空間ブロックを得る。 The second image related information acquisition unit 37 also reads out the second image corresponding to the first image from the second image storage unit 32. Then, the second image related information acquisition unit 37 divides the second image into blocks and obtains n second spatiotemporal blocks.
次に、第一画像関連情報取得部36は、第一の画像の各ブロックから、複数の画素の最大値および最小値、ダイナミックレンジ、輝度度数分布、時間方向の差分値(例えば、直前のフィールドの対応する画素との差分値)などを取得する。かかる情報は特徴量ベクトルであり、第一画像関連情報である。第一画像関連情報は、ブロックごとに取得される。 Next, the first image related information acquisition unit 36 determines the maximum value and minimum value of a plurality of pixels, the dynamic range, the luminance frequency distribution, and the time direction difference value (for example, the previous field) from each block of the first image. And the like (difference value with the corresponding pixel). Such information is a feature vector and is first image related information. The first image related information is acquired for each block.
次に、第二画像関連情報取得部37は、第二の画像の各ブロックから、ブロックを生成するための1以上のパラメータを取得する。具体的には、第二画像関連情報取得部37は、例えば、第二の画像の各ブロックの特徴ベクトルを取得し、当該特徴ベクトルを演算式に代入し、1以上のパラメータを取得する。また、1以上のパラメータは、第二画像関連情報の例である。 Next, the second image related information acquisition unit 37 acquires one or more parameters for generating a block from each block of the second image. Specifically, the second image related information acquisition unit 37 acquires, for example, a feature vector of each block of the second image, substitutes the feature vector into an arithmetic expression, and acquires one or more parameters. One or more parameters are examples of the second image related information.
そして、次に、ルックアップテーブル構成部38は、ブロックごとに、第一画像関連情報と第二画像関連情報とを有する対応情報を構成する。そして、ルックアップテーブル蓄積部39は、構成された対応情報を格納部101に蓄積する。 Then, the lookup table configuration unit 38 configures correspondence information including first image related information and second image related information for each block. Then, the lookup table accumulation unit 39 accumulates the configured correspondence information in the storage unit 101.
以上の処理により、多数の対応情報を有するルックアップテーブルが生成される。なお、同一、または近似する第一画像関連情報を、まとめて一の対応情報にしても良い。 With the above processing, a lookup table having a lot of correspondence information is generated. Note that the same or similar first image related information may be collectively set as one correspondence information.
(具体例2)
具体例2は、色が異なる光源を用いて、同一の被写体を撮影して、取得した第一の画像と第二の画像とを使用する例である。
(Specific example 2)
Specific example 2 is an example in which the same subject is photographed using light sources having different colors, and the acquired first image and second image are used.
まず、一の被写体に、色X(例えば、白)の光源を当て、図示しない撮影装置で撮影し、第一の画像を取得し、第一画像格納部31に蓄積する。また、前記一の被写体に色Y(例えば、橙)の光源を当て、図示しない撮影装置で撮影し、第二の画像を取得し、第二画像格納部32に蓄積する。かかる場合、人が視て、第二の画像の方が、第一の画像より高品位である、と感じるものであることが必要である。 First, a light source of color X (for example, white) is applied to one subject, the image is taken with a photographing apparatus (not shown), a first image is acquired, and stored in the first image storage unit 31. Further, a light source of color Y (for example, orange) is applied to the one subject, the image is taken with a photographing device (not shown), a second image is acquired, and stored in the second image storage unit 32. In such a case, it is necessary for a person to see that the second image is higher quality than the first image.
また、光源の色を変えて撮影する被写体は、自然、人間、動物、静物等、多数の種類のものとすることは好適である。また、被写体により、光源の色の変更度合いが異なっても良いことは言うまでもない。 In addition, it is preferable that the subject to be photographed by changing the color of the light source is of many types such as nature, human beings, animals and still life. Needless to say, the degree of change in the color of the light source may vary depending on the subject.
以上により、第一画像格納部31と第二画像格納部32とが構築された。また、第一画像格納部31と第二画像格納部32とが構築された後の処理は、具体例1と同様であるので、説明を省略する。 As described above, the first image storage unit 31 and the second image storage unit 32 are constructed. Further, the processing after the first image storage unit 31 and the second image storage unit 32 are constructed is the same as that in the first specific example, and thus the description thereof is omitted.
(具体例3)
具体例3は、異なる位置に配置された光源を用いて、同一の被写体を撮影して、取得した第一の画像と第二の画像とを使用する例である。
(Specific example 3)
Specific Example 3 is an example in which the same first subject and second image are used by photographing the same subject using light sources arranged at different positions.
まず、一の被写体に、位置αに設置された光源を当て、図示しない撮影装置で撮影し、第一の画像を取得し、第一画像格納部31に蓄積する。また、前記一の被写体に位置β(位置αに光源が設置されている場合より、被写体の陰を多く作り出す位置)に設置された光源を当て、図示しない撮影装置で撮影し、第二の画像を取得し、第二画像格納部32に蓄積する。かかる場合、人が視て、第二の画像の方が、第一の画像より被写体の陰の領域が多く出ており、被写体の立体感をより感じさせることが必要である。 First, a light source installed at a position α is applied to one subject, the image is taken with a photographing device (not shown), a first image is acquired, and stored in the first image storage unit 31. Further, the second subject is shot with a light source installed at a position β (a position where a shadow of the subject is generated more than when a light source is installed at the position α), and the second image is captured. Are stored in the second image storage unit 32. In such a case, it is necessary for the second image to have more shadow area of the subject than the first image, and to make the subject feel more stereoscopic when viewed by a person.
また、光源の位置を変えて撮影する被写体は、自然、人間、動物、静物等、多数の種類のものとすることは好適である。また、被写体により、光源の位置の変更度合いが異なっても良いことは言うまでもない。 In addition, it is preferable that the subject to be photographed by changing the position of the light source is of many types, such as nature, human beings, animals, and still life. It goes without saying that the degree of change in the position of the light source may vary depending on the subject.
以上により、第一画像格納部31と第二画像格納部32とが構築された。また、第一画像格納部31と第二画像格納部32とが構築された後の処理は、具体例1と同様であるので、説明を省略する。 As described above, the first image storage unit 31 and the second image storage unit 32 are constructed. Further, the processing after the first image storage unit 31 and the second image storage unit 32 are constructed is the same as that in the first specific example, and thus the description thereof is omitted.
(具体例4)
具体例4は、異なる光量で、異なる位置に配置された光源を用いて、同一の被写体を撮影して、取得した第一の画像と第二の画像とを使用する例である。
(Specific example 4)
Specific Example 4 is an example in which the same first subject and second image are used by photographing the same subject using light sources arranged at different positions with different amounts of light.
まず、一の被写体に、位置αに配置された光源であり、光量Aの光源を当て、図示しない撮影装置で撮影し、第一の画像を取得し、第一画像格納部31に蓄積する。また、前記一の被写体に、位置βに配置された光源であり、光量B(光量B>光量A)の光源を当て、図示しない撮影装置で撮影し、第二の画像を取得し、第二画像格納部32に蓄積する。かかる場合、人が視て、第二の画像の方が、第一の画像より高品位である、と感じるものであることは好適である。 First, a light source arranged at a position α is applied to one subject, a light source with a light amount A is applied, and the image is taken with a photographing device (not shown), and a first image is acquired and accumulated in the first image storage unit 31. In addition, a light source disposed at a position β is applied to the one subject, a light source having a light amount B (light amount B> light amount A) is applied, and the second image is obtained by capturing with a photographing device (not shown). Accumulate in the image storage unit 32. In such a case, it is preferable that the second image is higher in quality than the first image when viewed by a person.
また、光源の光量を変えて撮影する被写体は、自然、人間、動物、静物等、多数の種類のものとすることは好適である。 In addition, it is preferable that the subject to be photographed by changing the light amount of the light source is of many types such as nature, human beings, animals and still life.
以上により、第一画像格納部31と第二画像格納部32とが構築された。また、第一画像格納部31と第二画像格納部32とが構築された後の処理は、具体例1と同様であるので、説明を省略する。 As described above, the first image storage unit 31 and the second image storage unit 32 are constructed. Further, the processing after the first image storage unit 31 and the second image storage unit 32 are constructed is the same as that in the first specific example, and thus the description thereof is omitted.
(具体例5)
具体例5は、天候、温度、湿度のうちの1以上が異なる環境で、同一の被写体を撮影して、取得した第一の画像と第二の画像とを使用する例である。
(Specific example 5)
Specific example 5 is an example in which the same subject is photographed in an environment where one or more of weather, temperature, and humidity are different, and the acquired first image and second image are used.
まず、天気「曇り」、温度「25度」、湿度「40%」の環境で、一の被写体に光源を当て、図示しない撮影装置で撮影し、第一の画像を取得し、第一画像格納部31に蓄積する。また、天気「曇り」、温度「22度」、湿度「70%」の環境で、前記一の被写体に光源を当て、図示しない撮影装置で撮影し、第二の画像を取得し、第二画像格納部32に蓄積する。かかる場合、人が視て、第二の画像の方が、通常、より遠近感・しっとり感などを感じることができる。 First, in an environment of weather “cloudy”, temperature “25 ° C.”, and humidity “40%”, a light source is applied to one subject, the image is taken with a photographing device (not shown), a first image is acquired, and the first image is stored. Accumulate in part 31. Further, in an environment of weather “cloudy”, temperature “22 ° C.”, and humidity “70%”, a light source is applied to the one subject, the image is taken with a photographing device (not shown), a second image is obtained, and a second image is obtained. Accumulate in the storage unit 32. In such a case, the second image can usually feel a sense of perspective and moistness when viewed by a person.
以上により、第一画像格納部31と第二画像格納部32とが構築された。また、第一画像格納部31と第二画像格納部32とが構築された後の処理は、具体例1と同様であるので、説明を省略する。 As described above, the first image storage unit 31 and the second image storage unit 32 are constructed. Further, the processing after the first image storage unit 31 and the second image storage unit 32 are constructed is the same as that in the first specific example, and thus the description thereof is omitted.
また同様に、まず、天気「曇り」、温度「25度」、湿度「40%」の環境で、一の被写体に光源を当て、図示しない撮影装置で撮影し、第一の画像を取得し、第一画像格納部31に蓄積する。また、天気「晴れ」、温度「28度」、湿度「20%」の環境で、前記一の被写体に光源を当て、図示しない撮影装置で撮影し、第二の画像を取得し、第二画像格納部32に蓄積する。かかる場合、人が視て、第二の画像の方が、通常、より空気感・温もり感などを感じることができる。 Similarly, first, in an environment of weather “cloudy”, temperature “25 ° C.”, and humidity “40%”, a light source is applied to one subject, the image is taken with a photographing device (not shown), and a first image is obtained. Accumulate in the first image storage unit 31. Further, in an environment of weather “sunny”, temperature “28 ° C.”, and humidity “20%”, a light source is applied to the one subject, the image is taken with a photographing device (not shown), a second image is obtained, and a second image is obtained. Accumulate in the storage unit 32. In such a case, the second image can usually feel a sense of air, warmth, and the like when viewed by a person.
以上により、第一画像格納部31と第二画像格納部32とが構築された。また、第一画像格納部31と第二画像格納部32とが構築された後の処理は、具体例1と同様であるので、説明を省略する。 As described above, the first image storage unit 31 and the second image storage unit 32 are constructed. Further, the processing after the first image storage unit 31 and the second image storage unit 32 are constructed is the same as that in the first specific example, and thus the description thereof is omitted.
(具体例6)
具体例6は、異なる被写界深度の画像を撮影できる撮影装置で取得した第一の画像と第二の画像とを使用する例である。
(Specific example 6)
The specific example 6 is an example in which the first image and the second image acquired by a photographing apparatus capable of photographing images with different depths of field are used.
まず、被写界深度がより浅い画像を撮影する撮影装置で、一の被写体に光源を当て、第一の画像を取得し、第一画像格納部31に蓄積する。また、被写界深度がより深い画像を撮影する撮影装置で、前記一の被写体に光源を当て、図示しない撮影装置で撮影し、第二の画像を取得し、第二画像格納部32に蓄積する。かかる場合、人が視て、第二の画像の方が、より全体的にピントが合っていることにより、通常、すっきり感が増加したように感じる。また、第二の画像の方が、奥行きによるメリハリが増し、通常、奥行き感や立体感が得られる。 First, with a photographing device that captures an image with a shallower depth of field, a light source is applied to one subject, a first image is acquired, and stored in the first image storage unit 31. In addition, a photographing apparatus that captures an image with a deeper depth of field, a light source is applied to the one subject, a photograph is taken by a photographing apparatus (not shown), a second image is acquired, and stored in the second image storage unit 32. To do. In such a case, the person sees and feels that the second image is generally more refreshed because the overall focus is more general. In addition, the second image has more sharpness due to depth, and usually provides a sense of depth and a three-dimensional effect.
以上により、第一画像格納部31と第二画像格納部32とが構築された。また、第一画像格納部31と第二画像格納部32とが構築された後の処理は、具体例1と同様であるので、説明を省略する。 As described above, the first image storage unit 31 and the second image storage unit 32 are constructed. Further, the processing after the first image storage unit 31 and the second image storage unit 32 are constructed is the same as that in the first specific example, and thus the description thereof is omitted.
(具体例7)
具体例7は、シャッタースピードが異なる撮影装置で取得した第一の画像と第二の画像とを使用する例である。
(Specific example 7)
The specific example 7 is an example in which the first image and the second image acquired by photographing apparatuses having different shutter speeds are used.
一の被写体に光源を当て、より遅いシャッタースピード(シャッタースピード=A)の撮影装置で、第一の画像を取得し、第一画像格納部31に蓄積する。また、前記一の被写体に光源を当て、より速いシャッタースピード(シャッタースピード=B,A<B)の撮影装置で、図示しない撮影装置で撮影し、第二の画像を取得し、第二画像格納部32に蓄積する。かかる場合、人が視て、第二の画像の方が、通常、スピード感や躍動感が増加したように感じられる。 A light source is applied to one subject, and a first image is acquired and stored in the first image storage unit 31 with a photographing device having a slower shutter speed (shutter speed = A). Further, a light source is applied to the one subject, and a second image is obtained by photographing with a photographing device (not shown) with a photographing device having a faster shutter speed (shutter speed = B, A <B), and storing a second image. Accumulate in part 32. In such a case, when viewed by a person, the second image usually feels as if the sense of speed and dynamic feeling have increased.
以上により、第一画像格納部31と第二画像格納部32とが構築された。また、第一画像格納部31と第二画像格納部32とが構築された後の処理は、具体例1と同様であるので、説明を省略する。 As described above, the first image storage unit 31 and the second image storage unit 32 are constructed. Further, the processing after the first image storage unit 31 and the second image storage unit 32 are constructed is the same as that in the first specific example, and thus the description thereof is omitted.
以上、本実施の形態によれば、目的に応じて脳負荷が調整された画像を生成するために利用できるルックアップテーブルを自動取得できる。 As described above, according to the present embodiment, it is possible to automatically acquire a lookup table that can be used to generate an image in which the brain load is adjusted according to the purpose.
また、本実施の形態によれば、画像の視聴者であるユーザがルックアップテーブル取得装置3を用いて、ルックアップテーブルを作成すれば、自分にとって、目的に応じて脳負荷が調整された画像を出力できるルックアップテーブルを得ることができる。 In addition, according to the present embodiment, if a user who is a viewer of an image creates a lookup table using the lookup table acquisition device 3, an image in which the brain load is adjusted according to the purpose for himself / herself. Can be obtained.
また、本実施の形態によれば、ユーザの属性(30歳まで、60歳以上、女性、男性、高校生など)ごとに、1以上のユーザが第二の画像を選択する処理を行えば、ユーザの属性ごとにルックアップテーブルが作成され得る。そして、そのように作成されたルックアップテーブルを用いた画像処理装置(例えば、テレビ受信機)は、ユーザ属性ごとに、自分の嗜好に合致するように、脳負荷が調整された画像を出力できる。 In addition, according to the present embodiment, if one or more users select the second image for each user attribute (up to 30 years old, 60 years old or older, female, male, high school student, etc.), A lookup table may be created for each of the attributes. Then, an image processing apparatus (for example, a television receiver) using the lookup table created as described above can output an image in which the brain load is adjusted so as to match the user's preference for each user attribute. .
また、本実施の形態のルックアップテーブル取得装置3において、第二画像情報候補集合格納部33、指示受付部103、候補出力部34、第二画像蓄積部35等の一部の構成要素を具備しなくても良いことは言うまでもない。 In addition, the lookup table acquisition device 3 of the present embodiment includes some components such as the second image information candidate set storage unit 33, the instruction reception unit 103, the candidate output unit 34, and the second image storage unit 35. Needless to say, you don't have to.
さらに、本実施の形態におけるルックアップテーブル取得装置3を用いて取得したルックアップテーブルが、実施の形態1、2で説明した画像処理装置に複写され、利用されることは好適である。 Furthermore, it is preferable that the look-up table acquired using the look-up table acquiring apparatus 3 in the present embodiment is copied and used in the image processing apparatus described in the first and second embodiments.
なお、本実施の形態におけるルックアップテーブル取得装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、記憶媒体に、1以上の第一の画像と、第一の画像に対して、脳負荷が調整された画像であり、前記1以上の各第一の画像と同一の対象についての画像である1以上の各第二の画像を、前記1以上の各第一の画像に対応付けて格納しており、コンピュータを、前記記憶媒体に格納されている1以上の第一の画像の全部または一部分に関する情報である1以上の第一画像関連情報を、前記1以上の第一の画像の全部または一部分から取得する第一画像関連情報取得部と、前記記憶媒体に格納されている1以上の第二の画像の全部または一部分に関する情報である1以上の第二画像関連情報を、前記1以上の第二の画像の全部または一部分から取得する第二画像関連情報取得部と、前記第一画像関連情報取得部が取得した第一画像関連情報と、当該第一画像関連情報に対応する情報であり、前記第二画像関連情報取得部が取得した第二画像関連情報とを有する情報であり、前記1以上の第一の画像の全部または一部分と前記1以上の第二の画像の全部または一部分との対応を示す情報である対応情報を、1または2以上有するルックアップテーブルを構成するルックアップテーブル構成部と、前記ルックアップテーブル構成部が構成したルックアップテーブルを、記憶媒体に蓄積するルックアップテーブル蓄積部として機能させるためのプログラム、である。 Note that the software that implements the lookup table acquisition apparatus according to the present embodiment is the following program. In other words, this program is one or more first images on the storage medium and an image in which the brain load is adjusted with respect to the first images, and the same target as each of the one or more first images. One or more second images that are images of the image are stored in association with the one or more first images, and the computer is stored in the storage medium. A first image related information acquisition unit that acquires one or more first image related information, which is information about all or a part of an image, from all or a part of the one or more first images; and is stored in the storage medium A second image related information acquisition unit that acquires one or more second image related information, which is information related to all or a part of one or more second images, from all or a part of the one or more second images; Acquired by the first image related information acquisition unit. The first image related information and the information corresponding to the first image related information, and the second image related information acquired by the second image related information acquisition unit, and the one or more first images A look-up table constituting unit constituting a look-up table having one or more correspondence information, which is information indicating correspondence between all or part of an image and all or part of the one or more second images, and the look A program for causing a lookup table configured by an uptable configuration unit to function as a lookup table storage unit that stores in a storage medium.
また、上記プログラムにおいて、記憶媒体に、1以上の各第一の画像に対応付けて、当該1以上の各第一の画像と同一の対象についての2以上の第二の画像の候補の集合である第二画像情報候補集合を1以上、さらに格納しており、コンピュータを、前記1以上の第二画像情報候補集合を出力する候補出力部と、前記候補出力部が出力した1以上の各第二画像情報候補集合が有する2以上第二の画像の候補のうち、1以上の第二の画像の候補を選択する指示を受け付ける指示受付部と、前記指示受付部が受け付けた指示に対応する1以上の第二の画像の候補を、第二画像情報候補集合に対応する第一の画像に対応付けて、前記第二画像格納部に蓄積する第二画像蓄積部としてさらに機能させるプログラムであることは好適である。 In the above program, the storage medium is a set of two or more second image candidates for the same target as the one or more first images in association with the one or more first images. One or more second image information candidate sets are further stored, and a computer outputs a candidate output unit that outputs the one or more second image information candidate sets, and one or more second output information output by the candidate output unit. An instruction receiving unit that receives an instruction to select one or more second image candidates from two or more second image candidates included in the two-image information candidate set, and 1 corresponding to the instruction received by the instruction receiving unit A program that further functions as a second image storage unit that stores the second image candidates in the second image storage unit in association with the first image corresponding to the second image information candidate set. Is preferred.
(実施の形態4)
本実施の形態において、ルックアップテーブル取得装置3を用いて、ルックアップテーブルを生成する処理の具体例について、さらに説明する。
(Embodiment 4)
In the present embodiment, a specific example of processing for generating a lookup table using the lookup table acquisition device 3 will be further described.
本具体例は、ルックアップテーブルを構成する対応情報が、特徴量ベクトルと画像の変換フィルタである場合である。なお、特徴量ベクトルとは、入力画像(第一の画像)から抽出される情報である。また、画像の変換フィルタは、例えば、1以上のフィルタ係数の集合である。 This specific example is a case where the correspondence information constituting the lookup table is a feature vector and an image conversion filter. The feature amount vector is information extracted from the input image (first image). The image conversion filter is, for example, a set of one or more filter coefficients.
今、第一画像格納部31には、例えば、図16に示すような被写界深度の浅い第一の画像をはじめ、多数の画像が格納されている。また、第二画像格納部32には、例えば、図17に示すような被写界深度の深い第二の画像をはじめ、多数の画像が格納されている。なお、ある第一の画像とある第二の画像とは対応付けられている。つまり、例えば、図16の第一の画像と図17の第二の画像とは対応付けられている。 Now, the first image storage unit 31 stores a large number of images including a first image having a shallow depth of field as shown in FIG. The second image storage unit 32 stores a large number of images including a second image having a deep depth of field as shown in FIG. A certain first image and a certain second image are associated with each other. That is, for example, the first image in FIG. 16 and the second image in FIG. 17 are associated with each other.
また、第一の画像より第二の画像の方が、被写界深度が深い。また、図16の被写界深度は浅く、画像の手前の赤い車にフォーカスが合っている。一方、図17の被写界深度は深く、画像の奥の黄色い車にもフォーカスが合っている。なお、一般的に、第一の画像と比較して、被写界深度の深い第二の画像の方が画像全体を理解しやすく、脳の負荷の少ない好ましい画像であると言える。 Also, the second image has a greater depth of field than the first image. Also, the depth of field in FIG. 16 is shallow, and the red car in front of the image is in focus. On the other hand, the depth of field in FIG. 17 is deep, and the yellow car at the back of the image is also in focus. In general, it can be said that the second image with a deep depth of field is easier to understand the entire image and is a preferable image with less brain load than the first image.
かかる状況において、ユーザから、ルックアップテーブルを構築する指示が入力された、とする。次に、第一画像関連情報取得部36は、第一の画像(ここでは、例えば、図16)を第一画像格納部31から読み出す。そして、第一画像関連情報取得部36は、第一の画像を分割し、複数の時空間ブロックを取得する。ここでは、図18に示すように、第一画像関連情報取得部36は、第一の画像を16分割し、16の第一の時空間ブロックを取得する。なお、図18において、各第一の時空間ブロックには、ブロック識別子が記載されている。 In such a situation, it is assumed that an instruction to construct a lookup table is input from the user. Next, the first image related information acquisition unit 36 reads the first image (here, for example, FIG. 16) from the first image storage unit 31. Then, the first image related information acquisition unit 36 divides the first image and acquires a plurality of spatiotemporal blocks. Here, as shown in FIG. 18, the first image related information acquisition unit 36 divides the first image into 16 and acquires 16 first spatiotemporal blocks. In FIG. 18, a block identifier is described in each first spatiotemporal block.
次に、第二画像関連情報取得部37は、第二の画像(ここでは、例えば、図17)を第二画像格納部32から読み出す。そして、第二画像関連情報取得部37は、第二の画像を分割し、複数の時空間ブロックを取得する。ここでは、図19に示すように、第二画像関連情報取得部37は、第二の画像を16分割し、16の第二の時空間ブロックを取得する。なお、図19において、各第二の時空間ブロックには、ブロック識別子が記載されている。 Next, the second image related information acquisition unit 37 reads the second image (here, for example, FIG. 17) from the second image storage unit 32. Then, the second image related information acquisition unit 37 divides the second image and acquires a plurality of spatiotemporal blocks. Here, as shown in FIG. 19, the second image related information acquisition unit 37 divides the second image into 16 and acquires 16 second space-time blocks. In FIG. 19, a block identifier is written in each second space-time block.
次に、ルックアップテーブル構成部38は、第一の画像の1番目の第一の時空間ブロックを、第二の画像の1番目の第二の時空間ブロックへ変換する変換フィルタのフィルタ係数を、例えば、最小二乗推定を用いて算出する。 Next, the lookup table configuration unit 38 converts the filter coefficient of the conversion filter that converts the first first space-time block of the first image into the first second space-time block of the second image. For example, calculation is performed using least square estimation.
同様に、ルックアップテーブル構成部38は、第一の画像のn番目(nは2〜16)の第一の時空間ブロックを、第二の画像のn番目(nは2〜16)の第二の時空間ブロックへ変換する変換フィルタのフィルタ係数を、順次、例えば、最小二乗推定を用いて算出する。 Similarly, the lookup table configuration unit 38 determines the nth (n is 2 to 16) first spatiotemporal block of the first image as the nth (n is 2 to 16) of the second image. The filter coefficients of the transform filter that transforms into the second space-time block are calculated sequentially using, for example, least square estimation.
以上により、16種類の画像変換フィルタのフィルタ係数が得られる。なお、図20は、ルックアップテーブル構成部38が行うかかる動作を説明する概念図である。図20において、F04は4番目の画像変換フィルタを示し、F15は15番目の画像変換フィルタを示す。 As described above, filter coefficients of 16 types of image conversion filters are obtained. FIG. 20 is a conceptual diagram illustrating such an operation performed by the lookup table configuration unit 38. In FIG. 20, F 04 indicates the fourth image conversion filter, and F 15 indicates the fifteenth image conversion filter.
次に、ルックアップテーブル構成部38は、第一の画像の16の各第一の時空間ブロックの近傍特徴量を取得する。なお、例えば、ルックアップテーブル構成部38は、各第一の時空間ブロックに対して、離散フーリエ変換を用いて周波数成分を算出し、帯域別のパワーを取得する。この帯域別のパワーを近傍特徴量の特徴量ベクトルとする。なお、かかる処理の概念を図21に示す。図21において、例えば、ルックアップテーブル構成部38は、4番目の第一の時空間ブロックから近傍特徴量の特徴量ベクトル「α04=(p04-1,p04-2,p04-3,p04-4)」を取得し、15番目の第一の時空間ブロックから近傍特徴量の特徴量ベクトル「α15=(p15-1,p15-2,p15-3,p15-4)」を取得している。 Next, the lookup table configuration unit 38 acquires the neighborhood feature amount of each of the first first spatiotemporal blocks of the first image. For example, the lookup table configuration unit 38 calculates frequency components using discrete Fourier transform for each first spatiotemporal block, and acquires power for each band. The power for each band is used as a feature vector of neighboring feature values. The concept of such processing is shown in FIG. In Figure 21, for example, a look-up table configuration 38, 4 th first time spatial feature amount vectors of neighbor feature quantity from the block "α 04 = (p 04-1, p 04-2, p 04-3 , p 04-4 ) ”and the feature vector“ α 15 = (p 15-1 , p 15-2 , p 15-3 , p 15) of the neighborhood feature from the fifteenth first spatiotemporal block. -4 ) ”.
次に、ルックアップテーブル構成部38は、第一の画像全体の特徴量である全体特徴量を算出する。例えば、ルックアップテーブル構成部38は、局所で求めた特徴量ベクトル(近傍特徴量のベクトル)の各成分毎の分散「A1=(V1,V2,V3,V4)」を、全体特徴量として算出する。なお、かかる処理の概念を図22に示す。 Next, the lookup table configuration unit 38 calculates an overall feature amount that is a feature amount of the entire first image. For example, the lookup table configuration unit 38 calculates the variance “A 1 = (V 1 , V 2 , V 3 , V 4 )” for each component of the locally obtained feature vector (neighboring feature vector), Calculated as the total feature amount. The concept of such processing is shown in FIG.
次に、ルックアップテーブル構成部38は、各領域毎の全体特徴量と近傍特徴量とを連結し、対応情報を構成する特徴量ベクトル「(A1,α01)等」を構成する。また、ルックアップテーブル構成部38は、特徴量ベクトルとフィルタ係数とを対応付けた対応情報を構成する。 Next, the look-up table configuration unit 38 connects the overall feature quantity and the neighborhood feature quantity for each region, and constructs a feature vector “(A 1 , α 01 ) etc.” that constitutes correspondence information. Also, the lookup table configuration unit 38 configures correspondence information in which feature quantity vectors and filter coefficients are associated with each other.
そして、ルックアップテーブル蓄積部39は、特徴量ベクトルとフィルタ係数とを対応付けた16の対応情報を格納部101に蓄積する。 Then, the lookup table accumulation unit 39 accumulates 16 pieces of correspondence information in which the feature amount vectors and the filter coefficients are associated with each other in the storage unit 101.
以上の処理を、他の組の第一の画像と第二の画像に対して行う。そして、ルックアップテーブル取得装置3は、図23に示すルックアップテーブルを取得する。図23のルックアップテーブルは、多数の対応情報を有する。また、対応情報は、ここでは、特徴量ベクトルとフィルタ係数とを有する。 The above processing is performed on the first image and the second image of another set. Then, the lookup table acquisition device 3 acquires the lookup table shown in FIG. The lookup table in FIG. 23 has a lot of correspondence information. Here, the correspondence information includes a feature amount vector and a filter coefficient.
以上、本実施の形態において、目的に応じて脳負荷が調整された画像を生成するために利用できるルックアップテーブルを自動取得できる。 As described above, in the present embodiment, a lookup table that can be used to generate an image in which the brain load is adjusted according to the purpose can be automatically acquired.
(実施の形態5)
本実施の形態において、実施の形態4で構築したルックアップテーブルを用いて、目的に応じて、受け付けた画像に対して、脳負荷が調整された画像を取得する画像処理装置4について説明する。
(Embodiment 5)
In the present embodiment, the image processing apparatus 4 that acquires an image in which the brain load is adjusted with respect to the received image according to the purpose using the lookup table constructed in the fourth embodiment will be described.
図24は、本実施の形態における画像処理装置4のブロック図である。画像処理装置4は、格納部101、画像受付部104、分割部105、画像解析部106、マッピング部107、合成部108、および画像出力部109を具備する。 FIG. 24 is a block diagram of the image processing apparatus 4 in the present embodiment. The image processing apparatus 4 includes a storage unit 101, an image receiving unit 104, a dividing unit 105, an image analyzing unit 106, a mapping unit 107, a combining unit 108, and an image output unit 109.
今、画像処理装置4の格納部101は、図23に示すルックアップテーブルを格納している。なお、ルックアップテーブは、特徴量ベクトルをキーとして、インデックス化されていることは好適である。また、ルックアップテーブは、特徴量ベクトルをキーとして、対応情報がソートされていることは好適である。 Now, the storage unit 101 of the image processing apparatus 4 stores the lookup table shown in FIG. The look-up table is preferably indexed using the feature vector as a key. In the lookup table, it is preferable that the correspondence information is sorted using the feature vector as a key.
また、画像受付部104は、図25に示す画像を受け付けた、とする。なお、図25の画像は、被写界深度の浅い画像である。 Further, it is assumed that the image receiving unit 104 has received the image shown in FIG. Note that the image in FIG. 25 is an image with a shallow depth of field.
次に、画像解析部106は、図25の画像の全体特徴量(An)を算出する。なお、全体特徴量の算出方法は、実施の形態4で説明した処理と同じ処理である。 Next, the image analysis unit 106 calculates the overall feature amount (A n ) of the image in FIG. Note that the method for calculating the entire feature amount is the same processing as that described in the fourth embodiment.
次に、画像解析部106等は、図25の画像の各画素に対して、近傍特徴量(αn)を算出する。ここでの近傍特徴量は、当該画素の近傍16×16画素ブロック内での周波数成分を算出し、帯域別のパワーを取得する。なお、かかる処理についても、実施の形態4で説明した処理と同様の処理である。 Next, the image analysis unit 106 and the like calculate the neighborhood feature amount (α n ) for each pixel of the image in FIG. As the neighborhood feature amount here, the frequency component in the neighborhood 16 × 16 pixel block of the pixel is calculated, and the power for each band is acquired. This process is also the same as the process described in the fourth embodiment.
次に、画像解析部106は、各画素に対して、全体特徴量と近傍特徴量とを合成した特徴量ベクトル(An,αn)を構成する。 Next, the image analysis unit 106 configures a feature quantity vector (A n , α n ) that combines the overall feature quantity and the neighboring feature quantity for each pixel.
次に、画像解析部106は、各画素に対応する特徴量ベクトル(An,αn)と、ルックアップテーブルを構成する2以上の対応情報が有する2以上の特徴量ベクトルとの距離を算出し、最も距離が近い特徴量ベクトル「例えば、(Am,αm)」を決定する。 Next, the image analysis unit 106 calculates the distance between the feature quantity vector (A n , α n ) corresponding to each pixel and two or more feature quantity vectors included in the two or more correspondence information constituting the lookup table. Then, the feature quantity vector “for example, (A m , α m )” having the closest distance is determined.
そして、マッピング部107は、各画素毎に、最も距離が近い特徴量ベクトルと対になるフィルタ係数「例えば、Fm」を取得する。 Then, the mapping unit 107 acquires, for each pixel, a filter coefficient “for example, F m ” that is paired with the feature amount vector having the closest distance.
次に、マッピング部107は、入力画像の各画素に対して、取得したフィルタ係数により実現される変換フィルタを施し、第二の画像(出力画像)の各画素を取得する。 Next, the mapping unit 107 performs a conversion filter realized by the acquired filter coefficient on each pixel of the input image, and acquires each pixel of the second image (output image).
そして、合成部108は、取得した各画素を、入力画像の画素の位置の出力画素値として、出力画像を構成する。次に、画像出力部109は、構成された出力画像を出力する。以上の処理の概念を図26に示す。 Then, the synthesizing unit 108 configures the output image using each acquired pixel as an output pixel value at the pixel position of the input image. Next, the image output unit 109 outputs the configured output image. The concept of the above processing is shown in FIG.
以上、本実施の形態によれば、好適に脳負荷が調整された画像を出力できる。 As described above, according to the present embodiment, it is possible to output an image in which the brain load is suitably adjusted.
なお、本実施の形態において、ルックアップテーブルを構成する特徴量ベクトルの取得方法と、画像解析部106の特徴量ベクトルの取得方法とは異なった。しかし、ルックアップテーブルを構成する特徴量ベクトルの取得方法と、画像解析部106の特徴量ベクトルの取得方法とは同じでも良い。 Note that, in the present embodiment, the method for obtaining the feature vector constituting the lookup table is different from the method for obtaining the feature vector of the image analysis unit 106. However, the method for obtaining the feature vector constituting the lookup table and the method for obtaining the feature vector of the image analysis unit 106 may be the same.
(実施の形態6)
本実施の形態において、ルックアップテーブルを用いて、目的に応じて、受け付けた画像に対して、脳負荷が調整された画像を取得する画像処理装置5について説明する。なお、本実施の形態において、実施の形態1等と異なる主たる点は、入力画像に応じて、適用する拘束条件が動的に変化する点である。
(Embodiment 6)
In the present embodiment, an image processing apparatus 5 that acquires an image in which the brain load is adjusted with respect to an received image according to the purpose using a lookup table will be described. In the present embodiment, the main difference from Embodiment 1 and the like is that the constraint conditions to be applied change dynamically according to the input image.
図27は、本実施の形態における画像処理装置5のブロック図である。 FIG. 27 is a block diagram of the image processing apparatus 5 in the present embodiment.
画像処理装置5は、格納部101、拘束条件格納部502、指示受付部503、画像受付部104、分割部105、画像解析部106、マッピング部507、合成部108、画像出力部109、および拘束条件変更部510を具備する。 The image processing apparatus 5 includes a storage unit 101, a constraint condition storage unit 502, an instruction reception unit 503, an image reception unit 104, a division unit 105, an image analysis unit 106, a mapping unit 507, a synthesis unit 108, an image output unit 109, and a constraint. A condition change unit 510 is provided.
マッピング部507は、例えば、出力画像候補取得手段1072、判断手段1073、特徴量取得手段5071、拘束条件決定手段5072、変更手段5074、および出力画像取得手段1075を具備する。 The mapping unit 507 includes, for example, an output image candidate acquisition unit 1072, a determination unit 1073, a feature amount acquisition unit 5071, a constraint condition determination unit 5072, a change unit 5074, and an output image acquisition unit 1075.
拘束条件格納部502は、条件識別情報と拘束条件との組である拘束情報を2以上、格納し得る。ここでの拘束条件は、出力画像に関する条件を例にとり説明するが、入力画像または対応情報に関する条件でも良い。条件識別情報は、拘束条件を識別する情報である。条件識別情報は、例えば、特徴量ベクトルである。また、ベクトルを構成する特徴量は、例えば、入力画像の近傍空間アクティビティーである。近傍空間アクティビティーとは、例えば、フィールド上の同一位置の画素の時間差分値、傾き(一次および二次空間微分値)、極小値および極大値(1位値)、n位値、ダイナミックレンジ、空間差分値、画素値分散、空間周波数高域のパワー、時間アクティビティーと空間アクティビティーとの比等、種々あり得る。また、拘束条件は、適正な近傍空間アクティビティーである。なお、拘束情報の例を図28に示す。図28において、拘束情報は、条件識別情報である近傍空間アクティビティーと、拘束条件である適正アクティビティーとを有する。 The constraint condition storage unit 502 can store two or more constraint information that is a set of condition identification information and constraint conditions. The constraint condition here will be described taking the condition relating to the output image as an example, but it may be the condition relating to the input image or the correspondence information. The condition identification information is information for identifying a constraint condition. The condition identification information is, for example, a feature vector. Further, the feature quantity constituting the vector is, for example, a neighborhood space activity of the input image. Neighboring space activities include, for example, time difference values, slopes (primary and secondary spatial differential values), local minimum values and local maximum values (first value), nth value, dynamic range, and space of pixels at the same position on the field. There may be various values such as a difference value, pixel value dispersion, power in a high spatial frequency range, a ratio of time activity to space activity, and the like. The constraint condition is an appropriate neighborhood space activity. An example of constraint information is shown in FIG. In FIG. 28, the constraint information includes a neighborhood space activity that is condition identification information and an appropriate activity that is a constraint condition.
指示受付部503は、拘束条件を変更するための指示をユーザから受け付ける。なお、指示は、例えば、図28の拘束情報を修正する指示である。また、指示は、例えば、ユーザが画像から受ける刺激量を変更する指示である。 The instruction receiving unit 503 receives an instruction for changing the constraint condition from the user. The instruction is, for example, an instruction to correct the constraint information in FIG. The instruction is, for example, an instruction to change the amount of stimulation that the user receives from the image.
マッピング部507を構成する特徴量取得手段5071は、画像受付部104が受け付けた画像(入力画像)の特徴量ベクトルを取得する。特徴量取得手段5071は、画像受付部104が受け付けた画像全部の特徴量ベクトルを取得しても良いし、画像受付部104が受け付けた画像を構成する時空間ブロックの特徴量ベクトルを取得しても良い。 A feature amount acquisition unit 5071 constituting the mapping unit 507 acquires a feature amount vector of an image (input image) received by the image receiving unit 104. The feature amount acquisition unit 5071 may acquire the feature amount vector of the entire image received by the image receiving unit 104, or acquire the feature amount vector of the spatio-temporal block constituting the image received by the image receiving unit 104. Also good.
拘束条件決定手段5072は、特徴量取得手段5071が取得した特徴量ベクトルを、拘束条件格納部502の拘束情報に適用し、拘束条件を選択する。さらに具体的には、拘束条件決定手段5072は、特徴量取得手段5071が取得した特徴量ベクトルと最も距離が近い条件識別情報(この条件識別情報も特徴量ベクトルである場合)を選択し、当該選択した条件識別情報と対になる拘束条件を拘束条件格納部502から取得する。 The constraint condition determination unit 5072 applies the feature quantity vector acquired by the feature quantity acquisition unit 5071 to the constraint information in the constraint condition storage unit 502, and selects a constraint condition. More specifically, the constraint condition determination unit 5072 selects condition identification information that is closest to the feature amount vector acquired by the feature amount acquisition unit 5071 (when the condition identification information is also a feature amount vector), and A constraint condition paired with the selected condition identification information is acquired from the constraint condition storage unit 502.
変更手段5074は、判断手段1073が拘束条件を満たさないと判断した場合に、拘束条件決定手段5072が取得した拘束条件を用いて、第二の画像の全部または一部分を変更する。なお、変更手段5074は、判断手段1073が拘束条件を満たさないと判断した場合に、ルックアップテーブルを変更しても良い。また、変更手段5074は、判断手段1073が拘束条件を満たさないと判断した場合に、判断後に受け付けられる入力画像、または判断後に得られた時空間ブロック、または判断後に受け付けられる入力画像の1以上の特徴量、または判断後に得られた時空間ブロックの1以上の特徴量を変更しても良い。 When the determination unit 1073 determines that the constraint condition is not satisfied, the change unit 5074 changes all or part of the second image using the constraint condition acquired by the constraint condition determination unit 5072. Note that the changing unit 5074 may change the lookup table when the determining unit 1073 determines that the constraint condition is not satisfied. Further, the changing unit 5074, when the determining unit 1073 determines that the constraint condition is not satisfied, the input image received after the determination, the spatio-temporal block obtained after the determination, or one or more of the input images received after the determination The feature amount or one or more feature amounts of the spatiotemporal block obtained after the determination may be changed.
拘束条件変更部510は、指示受付部503が受け付けた指示に従って、拘束情報を変更する。また、拘束条件変更部510は、自動的に拘束情報を変更しても良い。つまり、拘束条件変更部510は、例えば、ユーザ属性(年齢、性別、住所等)、放送に重畳された情報(EPGに含まれる情報など)、時刻、時間帯、外部センサ情報(例えば視聴している部屋の明るさ、温度等)に応じて、自動的に拘束情報を変更しても良い。なお、かかる場合、拘束条件変更部510は、ユーザ属性等に応じて、どのように拘束情報を変更するかについての情報(例えば、ユーザ属性と変更するアルゴリズムを示す式の対応表等)を予め保持している。また、外部センサ情を用いる場合、拘束条件変更部510は、図示しないセンサから情報(部屋の明るさ、温度等)を取得する。 The constraint condition changing unit 510 changes the constraint information in accordance with the instruction received by the instruction receiving unit 503. Further, the constraint condition changing unit 510 may automatically change the constraint information. In other words, the constraint condition changing unit 510 includes, for example, user attributes (age, sex, address, etc.), information superimposed on the broadcast (information included in the EPG, etc.), time, time zone, external sensor information (eg, viewing and listening). The constraint information may be automatically changed according to the brightness, temperature, etc. of the room. In such a case, the constraint condition changing unit 510 preliminarily stores information on how to change the constraint information according to the user attribute or the like (for example, a correspondence table of expressions indicating the user attribute and the algorithm to be changed). keeping. When using external sensor information, the constraint condition changing unit 510 obtains information (room brightness, temperature, etc.) from a sensor (not shown).
拘束条件格納部502は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。拘束条件格納部502に拘束情報が記憶される過程は問わない。例えば、記録媒体を介して拘束情報が拘束条件格納部502で記憶されるようになってもよく、通信回線等を介して送信された拘束情報が拘束条件格納部502で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された拘束情報が拘束条件格納部502で記憶されるようになってもよい。 The constraint condition storage unit 502 is preferably a non-volatile recording medium, but can also be realized by a volatile recording medium. The process in which the constraint information is stored in the constraint condition storage unit 502 does not matter. For example, the constraint information may be stored in the constraint condition storage unit 502 via a recording medium, and the constraint information transmitted via a communication line or the like is stored in the constraint condition storage unit 502. Alternatively, the constraint information input via the input device may be stored in the constraint condition storage unit 502.
指示受付部503は、キーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。 The instruction receiving unit 503 can be realized by a device driver for input means such as a keyboard, control software for a menu screen, or the like.
マッピング部507、拘束条件変更部510、特徴量取得手段5071、拘束条件決定手段5072、および変更手段5074は、通常、MPUやメモリ等から実現され得る。マッピング部507等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。 The mapping unit 507, the constraint condition changing unit 510, the feature amount acquiring unit 5071, the constraint condition determining unit 5072, and the changing unit 5074 can be usually realized by an MPU, a memory, or the like. The processing procedure of the mapping unit 507 and the like is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
次に、画像処理装置5の動作について、図29のフローチャートを用いて説明する。図29のフローチャートにおいて、図2のフローチャートと異なるステップについて説明する。 Next, the operation of the image processing apparatus 5 will be described using the flowchart of FIG. In the flowchart of FIG. 29, steps different from the flowchart of FIG. 2 will be described.
(ステップS2901)マッピング部507は、マッピング処理を行う。マッピング処理について、図30のフローチャートを用いて説明する。 (Step S2901) The mapping unit 507 performs mapping processing. The mapping process will be described with reference to the flowchart of FIG.
(ステップS2902)指示受付部503は、ユーザの指示を受け付けたか否かを判断する。ユーザの指示を受け付ければステップS2903に行き、ユーザの指示を受け付けなければステップS201に戻る。 (Step S2902) The instruction receiving unit 503 determines whether a user instruction has been received. If a user instruction is accepted, the process proceeds to step S2903, and if a user instruction is not accepted, the process returns to step S201.
(ステップS2903)拘束条件変更部510は、指示受付部503が受け付けた指示に従って、拘束情報を変更する。 (Step S2903) The constraint condition changing unit 510 changes the constraint information in accordance with the instruction received by the instruction receiving unit 503.
なお、図29のフローチャートにおいて、入力画像を分割し、時空間ブロックごとに、処理が行われた。しかし、図29のフローチャートにおいて、入力画像全体に対して、処理が行われても良い。 In the flowchart of FIG. 29, the input image is divided and processing is performed for each space-time block. However, in the flowchart of FIG. 29, processing may be performed on the entire input image.
次に、ステップS2901のマッピング処理について、図30のフローチャートを用いて説明する。図30のフローチャートにおいて、図4のフローチャートと異なるステップについて説明する。 Next, the mapping process of step S2901 will be described using the flowchart of FIG. In the flowchart of FIG. 30, steps different from the flowchart of FIG. 4 will be described.
(ステップS3001)マッピング部507を構成する特徴量取得手段507は、画像受付部104が受け付けた画像の特徴量ベクトルを取得する。 (Step S3001) The feature amount acquisition unit 507 constituting the mapping unit 507 acquires the feature amount vector of the image received by the image receiving unit 104.
(ステップS3002)拘束条件決定手段5072は、特徴量取得手段5071が取得した特徴量ベクトルを、拘束条件格納部502の拘束情報に適用し、拘束条件を決定する。かかる拘束条件決定処理について、図31のフローチャートを用いて説明する。 (Step S3002) The constraint condition determination unit 5072 applies the feature quantity vector acquired by the feature quantity acquisition unit 5071 to the constraint information in the constraint condition storage unit 502, and determines the constraint condition. Such constraint condition determination processing will be described with reference to the flowchart of FIG.
次に、ステップS3002の拘束条件決定処理について、図31のフローチャートを用いて説明する。 Next, the constraint condition determination processing in step S3002 will be described using the flowchart in FIG.
(ステップS3101)拘束条件決定手段5072は、カウンタiに1を代入する。 (Step S3101) The constraint condition determining means 5072 substitutes 1 for the counter i.
(ステップS3102)拘束条件決定手段5072は、拘束条件格納部502にi番目の拘束情報が存在するか否かを判断する。i番目の拘束情報が存在すればステップS3103に行き、存在しなければステップS3106に行く。 (Step S 3102) The constraint condition determining means 5072 determines whether or not the i th constraint information exists in the constraint condition storage unit 502. If the i-th constraint information exists, the process goes to step S3103, and if not, the process goes to step S3106.
(ステップS3103)拘束条件決定手段5072は、i番目の拘束情報が有する条件識別情報を拘束条件格納部502から取得する。 (Step S3103) The constraint condition determination unit 5072 acquires the condition identification information included in the i-th constraint information from the constraint condition storage unit 502.
(ステップS3104)拘束条件決定手段5072は、ステップS3001で取得された特徴量ベクトルと、i番目の条件識別情報との距離を算出する。そして、拘束条件決定手段5072は、i番目の条件識別情報に対応付けて、当該距離をバッファに一時蓄積する。 (Step S3104) The constraint condition determination unit 5072 calculates the distance between the feature quantity vector acquired in step S3001 and the i-th condition identification information. Then, the constraint condition determining unit 5072 temporarily stores the distance in the buffer in association with the i-th condition identification information.
(ステップS3105)拘束条件決定手段5072は、カウンタiを1、インクリメントし、ステップS3102に戻る。 (Step S3105) The restraint condition determination means 5072 increments the counter i by 1, and returns to step S3102.
(ステップS3106)拘束条件決定手段5072は、ステップS3001で取得された特徴量ベクトルとの距離が最小の条件識別情報と対になる拘束条件を、拘束条件格納部502から取得する。上位処理にリターンする。 (Step S3106) The constraint condition determination unit 5072 acquires from the constraint condition storage unit 502 a constraint condition that is paired with the condition identification information having the smallest distance from the feature vector acquired in step S3001. Return to upper process.
以上、本実施の形態によれば、入力画像に応じて、適用する拘束条件を変え、当該拘束条件に合致する出力画像を構成することにより、極めて高品質な画像を出力できる。 As described above, according to the present embodiment, it is possible to output an extremely high quality image by changing the constraint condition to be applied according to the input image and constructing an output image that matches the constraint condition.
なお、本実施の形態において、拘束条件決定手段5072は、入力画像に応じて適用する拘束条件を変更して、取得した。しかし、拘束条件決定手段5072は、出力画像に応じて適用する拘束条件を変更しても良い。また、拘束条件決定手段5072は、入力画像と出力画像とに応じて適用する拘束条件を変更しても良い。 In the present embodiment, the constraint condition determining unit 5072 acquires the constraint condition to be applied according to the input image. However, the constraint condition determination unit 5072 may change the constraint condition to be applied according to the output image. Further, the constraint condition determination unit 5072 may change the constraint condition to be applied according to the input image and the output image.
また、本実施の形態において、画像受付部104が受け付けた画像を分割部105が分割した。しかし、画像受付部104が受け付けた画像を分割しなくても良い。かかる場合、画像処理装置5において、分割部105は不要である。かかることは、他の実施の形態においても同様である。 In this embodiment, the dividing unit 105 divides the image received by the image receiving unit 104. However, the image received by the image receiving unit 104 may not be divided. In such a case, the dividing unit 105 is not necessary in the image processing apparatus 5. The same applies to other embodiments.
(実施の形態7)
本実施の形態において、ルックアップテーブルを用いて、目的に応じて、受け付けた画像に対して、脳負荷が調整された画像を取得する画像処理装置6について説明する。なお、本実施の形態において、実施の形態1等と異なる主たる点は、入力画像や出力画像に応じて、適用するルックアップテーブルが動的に変化する点である。
(Embodiment 7)
In the present embodiment, an image processing apparatus 6 that acquires an image in which the brain load is adjusted with respect to an received image according to the purpose using a lookup table will be described. In the present embodiment, the main difference from Embodiment 1 and the like is that the applied lookup table is dynamically changed according to the input image and the output image.
図32は、本実施の形態における画像処理装置6のブロック図である。 FIG. 32 is a block diagram of the image processing apparatus 6 in the present embodiment.
画像処理装置6は、格納部101、拘束条件格納部502、指示受付部603、画像受付部104、分割部105、画像解析部106、マッピング部607、合成部108、画像出力部109、およびLUT変更情報変更部610を具備する。 The image processing apparatus 6 includes a storage unit 101, a constraint condition storage unit 502, an instruction reception unit 603, an image reception unit 104, a division unit 105, an image analysis unit 106, a mapping unit 607, a synthesis unit 108, an image output unit 109, and an LUT. A change information change unit 610 is provided.
また、マッピング部607は、例えば、出力画像候補取得手段1072、判断手段1073、第一特徴量取得手段6071、第二特徴量取得手段6072、LUT変更情報格納手段6073、LUT決定手段6074、変更手段5074、および出力画像取得手段1075を具備する。 The mapping unit 607 also includes, for example, an output image candidate acquisition unit 1072, a determination unit 1073, a first feature amount acquisition unit 6071, a second feature amount acquisition unit 6072, an LUT change information storage unit 6073, an LUT determination unit 6074, and a change unit. 5074 and output image acquisition means 1075.
ここでの格納部101は、2以上のルックアップテーブル(以下、適宜「LUT」と言う)を格納している。 Here, the storage unit 101 stores two or more lookup tables (hereinafter referred to as “LUT” where appropriate).
指示受付部603は、後述するLUT変更情報を変更するための指示をユーザから受け付ける。なお、指示は、例えば、ユーザが画像から受ける刺激量を変更する指示である。 The instruction receiving unit 603 receives an instruction for changing LUT change information described later from the user. The instruction is, for example, an instruction to change the amount of stimulation that the user receives from the image.
マッピング部607を構成する第一特徴量取得手段6071は、画像受付部104が受け付けた画像の特徴量ベクトルを取得する。第一特徴量取得手段6071は、上述した特徴量取得手段5071と同様の動作を行う。なお、第一特徴量取得手段6071が取得する特徴量ベクトルを第一特徴量ベクトルと言うこととする。 A first feature amount acquisition unit 6071 constituting the mapping unit 607 acquires a feature amount vector of an image received by the image receiving unit 104. The first feature amount acquisition unit 6071 performs the same operation as the feature amount acquisition unit 5071 described above. Note that the feature quantity vector acquired by the first feature quantity acquisition unit 6071 is referred to as a first feature quantity vector.
第二特徴量取得手段6072は、出力画像取得手段1075が取得した出力画像の特徴量ベクトルを取得する。第二特徴量取得手段6072は、情報の取得元が第一特徴量取得手段6071とは異なるが、第一特徴量取得手段6071と同様の動作を行う。なお、第一特徴量取得手段6071が取得する1以上の特徴量と、第二特徴量取得手段6072が取得する1以上の特徴量とが、すべて同一の特徴量でも良いし、一部に同一の特徴量を含んでも良いし、すべて異なる特徴量でも良い。なお、第二特徴量取得手段6072が取得する特徴量ベクトルを第二特徴量ベクトルと言うこととする。 The second feature amount acquisition unit 6072 acquires the feature amount vector of the output image acquired by the output image acquisition unit 1075. The second feature quantity acquisition unit 6072 performs the same operation as the first feature quantity acquisition unit 6071, although the information acquisition source is different from the first feature quantity acquisition unit 6071. The one or more feature amounts acquired by the first feature amount acquisition unit 6071 and the one or more feature amounts acquired by the second feature amount acquisition unit 6072 may all be the same feature amount, or may be partially the same. May be included, or different feature amounts may be included. Note that the feature quantity vector acquired by the second feature quantity acquisition unit 6072 is referred to as a second feature quantity vector.
LUT変更情報格納手段6073は、出力画像候補取得手段1072が出力する画像の候補を取得する際に利用するLUTを変更するための情報であるLUT変更情報を格納している。LUT変更情報は、例えば、第一特徴量ベクトルとルックアップテーブルを識別する種類識別子との対である。また、LUT変更情報は、例えば、第二特徴量ベクトルと種類識別子との対でも良い。また、LUT変更情報は、例えば、第一特徴量ベクトルと第二特徴量ベクトルと種類識別子との対でも良い。また、LUT変更情報は、例えば、第一特徴量ベクトルと、2以上の種類識別子と、各種類識別子に対応する2以上の比の対である。また、LUT変更情報は、例えば、第二特徴量ベクトルと、2以上の種類識別子と、各種類識別子に対応する2以上の比の対でも良い。また、LUT変更情報は、例えば、第一特徴量ベクトルと、第二特徴量ベクトルと、2以上の種類識別子と、各種類識別子に対応する2以上の比の対でも良い。なお、LUT変更情報格納手段6073は、通常、2以上のLUT変更情報を格納している。また、上記の比とは、2以上のLUTを混合して、新しいLUTを構成する場合の、各LUTに対応する比である。 The LUT change information storage unit 6073 stores LUT change information, which is information for changing the LUT used when acquiring the image candidates output by the output image candidate acquisition unit 1072. The LUT change information is, for example, a pair of a first feature vector and a type identifier that identifies a lookup table. Further, the LUT change information may be a pair of a second feature vector and a type identifier, for example. Further, the LUT change information may be, for example, a pair of a first feature vector, a second feature vector, and a type identifier. The LUT change information is, for example, a pair of a first feature vector, two or more type identifiers, and two or more ratios corresponding to each type identifier. The LUT change information may be, for example, a pair of a second feature quantity vector, two or more type identifiers, and two or more ratios corresponding to each type identifier. The LUT change information may be, for example, a pair of a first feature vector, a second feature vector, two or more type identifiers, and two or more ratios corresponding to each type identifier. The LUT change information storage unit 6073 normally stores two or more LUT change information. The ratio is a ratio corresponding to each LUT when two or more LUTs are mixed to form a new LUT.
また、LUT変更情報格納手段6073に格納されているLUT変更情報管理表の例を図33に示す。図33において、LUT変更情報管理表は、複数のLUT変更情報を有する。LUT変更情報は、「ID」「第一特徴量ベクトル」「第二特徴量ベクトル」「LUT」「比」を有する。「LUT」は種類識別子である。「比」は、新しいLUTを構成する場合の、各LUTの混合比を示す情報である。なお、「比」は、比率であるとは限らず、複数のLUTを用いて、新しいLUTを構成するための情報であれば何でも良い。新しいLUTを構成するための情報は、例えば、複数のLUTを構成する要素をパラメータとする演算式等である。LUTを構成する要素とは、例えば、フィルタの係数や、特徴量ベクトルの要素である。 An example of the LUT change information management table stored in the LUT change information storage unit 6073 is shown in FIG. In FIG. 33, the LUT change information management table has a plurality of LUT change information. The LUT change information includes “ID”, “first feature vector”, “second feature vector”, “LUT”, and “ratio”. “LUT” is a type identifier. The “ratio” is information indicating the mixing ratio of each LUT when a new LUT is configured. The “ratio” is not limited to a ratio, and may be any information as long as it is information for configuring a new LUT using a plurality of LUTs. The information for constructing a new LUT is, for example, an arithmetic expression using parameters constituting elements of a plurality of LUTs. The elements constituting the LUT are, for example, filter coefficients and feature vector elements.
LUT決定手段6074は、LUT変更情報格納手段6073のLUT変更情報を用いて、出力画像候補取得手段1072が利用するLUTを決定する。さらに具体的には、LUT決定手段6074は、第一特徴量ベクトル、または第二特徴量ベクトル、または第一特徴量ベクトルと第二特徴量ベクトルを、LUT変更情報に適用して、出力画像候補取得手段1072が利用するLUTを決定する。また、LUT決定手段6074は、第一特徴量ベクトル、または第二特徴量ベクトル、または第一特徴量ベクトルと第二特徴量ベクトルを、LUT変更情報に適用して、LUTを構成しても良い。 The LUT determination unit 6074 determines the LUT used by the output image candidate acquisition unit 1072 using the LUT change information in the LUT change information storage unit 6073. More specifically, the LUT determination unit 6074 applies the first feature vector, the second feature vector, or the first feature vector and the second feature vector to the LUT change information, and outputs an image candidate. The LUT used by the acquisition unit 1072 is determined. The LUT determination unit 6074 may configure the LUT by applying the first feature vector, the second feature vector, or the first feature vector and the second feature vector to the LUT change information. .
以下、LUT変更情報格納手段6073に図33のLUT変更情報管理表が格納されている場合のLUT決定手段6074の動作について説明する。LUT決定手段6074は、第一特徴量取得手段6071が取得した第一特徴量ベクトルと、LUT変更情報管理表の各レコードの第一特徴量ベクトルとの距離を算出する。次に、LUT決定手段6074は、第二特徴量取得手段6072が取得した第二特徴量ベクトルと、LUT変更情報管理表の各レコードの第二特徴量ベクトルとの距離を算出する。そして、LUT決定手段6074は、LUT変更情報管理表の各レコード毎に、例えば、2つの距離の和を取得する。次に、LUT決定手段6074は、2つの距離の和が最小のレコードを決定する。次に、LUT決定手段6074は、決定したレコードが有する「LUT」の属性値、または決定したレコードが有する「LUT」の属性値と「比」の属性値を取得する。決定したレコードが有する「LUT」の属性値が一つの種類識別子である場合、LUT決定手段6074は、当該種類識別子で識別されるLUTを、出力画像候補取得手段1072が利用するLUTとして決定する。一方、決定したレコードが有する「LUT」の属性値が2以上の種類識別子である場合、LUT決定手段6074は、2以上の各種類識別子と「比」の属性値(以下、単に比とも言う。)との組を取得し、比に合致するように、2以上の各種類識別子で識別されるLUTを混合して、新しいLUTを構成する。 The operation of the LUT determination unit 6074 when the LUT change information management table of FIG. 33 is stored in the LUT change information storage unit 6073 will be described below. The LUT determination unit 6074 calculates the distance between the first feature amount vector acquired by the first feature amount acquisition unit 6071 and the first feature amount vector of each record in the LUT change information management table. Next, the LUT determination unit 6074 calculates the distance between the second feature amount vector acquired by the second feature amount acquisition unit 6072 and the second feature amount vector of each record in the LUT change information management table. Then, the LUT determination unit 6074 acquires, for example, the sum of two distances for each record of the LUT change information management table. Next, the LUT determination unit 6074 determines the record having the smallest sum of the two distances. Next, the LUT determination unit 6074 acquires the attribute value of “LUT” included in the determined record or the attribute value of “LUT” and “ratio” included in the determined record. When the attribute value of “LUT” included in the determined record is one type identifier, the LUT determination unit 6074 determines the LUT identified by the type identifier as the LUT used by the output image candidate acquisition unit 1072. On the other hand, when the attribute value of the “LUT” included in the determined record is two or more type identifiers, the LUT determination unit 6074 uses two or more type identifiers and the attribute value of “ratio” (hereinafter also simply referred to as a ratio). ) And a LUT identified by each of the two or more type identifiers is mixed so as to match the ratio, thereby forming a new LUT.
LUT変更情報変更部610は、指示受付部603が受け付けた指示に従って、LUT変更情報を変更する。また、LUT変更情報変更部610は、自動的にLUT変更情報を変更しても良い。つまり、LUT変更情報変更部610は、例えば、ユーザ属性(年齢、性別、住所等)、放送に重畳された情報(EPGに含まれる情報など)、時刻、時間帯、外部センサ情報(例えば視聴している部屋の明るさ、温度等)に応じて、自動的にLUT変更情報を変更しても良い。なお、かかる場合、LUT変更情報変更部610は、ユーザ属性等に応じて、どのようにLUT変更情報を変更するかについての情報を予め保持している。また、外部センサ情を用いる場合、拘束条件変更部510は、図示しないセンサから情報(部屋の明るさ、温度等)を取得する。 The LUT change information changing unit 610 changes the LUT change information according to the instruction received by the instruction receiving unit 603. Further, the LUT change information changing unit 610 may automatically change the LUT change information. That is, the LUT change information changing unit 610 includes, for example, user attributes (age, sex, address, etc.), information superimposed on the broadcast (information included in the EPG), time, time zone, external sensor information (eg, viewing) The LUT change information may be automatically changed according to the brightness of the room, temperature, etc. In such a case, the LUT change information changing unit 610 holds in advance information on how to change the LUT change information according to user attributes and the like. When using external sensor information, the constraint condition changing unit 510 obtains information (room brightness, temperature, etc.) from a sensor (not shown).
指示受付部603は、キーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。 The instruction receiving unit 603 can be realized by a device driver for input means such as a keyboard, control software for a menu screen, or the like.
マッピング部607、LUT変更情報変更部610、第一特徴量取得手段6071、第二特徴量取得手段6072、およびLUT決定手段6074は、通常、MPUやメモリ等から実現され得る。マッピング部607等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。 The mapping unit 607, the LUT change information change unit 610, the first feature quantity acquisition unit 6071, the second feature quantity acquisition unit 6072, and the LUT determination unit 6074 can be normally realized by an MPU, a memory, or the like. The processing procedure of the mapping unit 607 or the like is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
LUT変更情報格納手段6073は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。LUT変更情報格納手段6073にLUT変更情報が記憶される過程は問わない。例えば、記録媒体を介してLUT変更情報がLUT変更情報格納手段6073で記憶されるようになってもよく、通信回線等を介して送信されたLUT変更情報がLUT変更情報格納手段6073で記憶されるようになってもよく、あるいは、入力デバイスを介して入力されたLUT変更情報がLUT変更情報格納手段6073で記憶されるようになってもよい。 The LUT change information storage means 6073 is preferably a non-volatile recording medium, but can also be realized by a volatile recording medium. The process in which the LUT change information is stored in the LUT change information storage unit 6073 does not matter. For example, the LUT change information may be stored in the LUT change information storage unit 6073 via a recording medium, and the LUT change information transmitted via a communication line or the like is stored in the LUT change information storage unit 6073. Alternatively, the LUT change information input via the input device may be stored in the LUT change information storage unit 6073.
次に、画像処理装置6の動作について、図34のフローチャートを用いて説明する。図34のフローチャートにおいて、図2のフローチャートと異なるステップについて説明する。 Next, the operation of the image processing apparatus 6 will be described using the flowchart of FIG. In the flowchart of FIG. 34, steps different from the flowchart of FIG. 2 will be described.
(ステップS3401)マッピング部607は、マッピング処理を行う。マッピング処理について、図35のフローチャートを用いて説明する。 (Step S3401) The mapping unit 607 performs mapping processing. The mapping process will be described with reference to the flowchart in FIG.
(ステップS3402)指示受付部603は、ユーザの指示を受け付けたか否かを判断する。ユーザの指示を受け付ければステップS3403に行き、ユーザの指示を受け付けなければステップS201に戻る。 (Step S3402) The instruction receiving unit 603 determines whether a user instruction has been received. If a user instruction is accepted, the process proceeds to step S3403. If a user instruction is not accepted, the process returns to step S201.
(ステップS3403)LUT変更情報変更部610は、指示受付部503が受け付けた指示に従って、LUT変更情報を変更する。 (Step S3403) The LUT change information changing unit 610 changes the LUT change information in accordance with the instruction received by the instruction receiving unit 503.
次に、ステップS3401のマッピング処理について、図35のフローチャートを用いて説明する。図35のフローチャートにおいて、図4のフローチャートと異なるステップについて説明する。 Next, the mapping process of step S3401 will be described using the flowchart of FIG. In the flowchart of FIG. 35, steps different from the flowchart of FIG. 4 will be described.
(ステップS3501)マッピング部607の第一特徴量取得手段6071は、画像受付部104が受け付けた入力画像から第一特徴量ベクトルを取得する。 (Step S3501) The first feature amount acquisition unit 6071 of the mapping unit 607 acquires a first feature amount vector from the input image received by the image receiving unit 104.
(ステップS3502)第二特徴量取得手段6072は、出力画像取得手段1075が取得した出力画像から第二特徴量ベクトルを取得する。なお、ここで、第二特徴量ベクトルを取得する元になる出力画像は、通常、直前に出力された出力画像である。 (Step S3502) The second feature amount acquisition unit 6072 acquires a second feature amount vector from the output image acquired by the output image acquisition unit 1075. Here, the output image from which the second feature vector is acquired is usually the output image output immediately before.
(ステップS3503)LUT決定手段6074は、ステップS3501で取得された第一特徴量ベクトルと、ステップS3502で取得された第二特徴量ベクトルとを用いて、LUTを決定する。かかる処理であるLUT決定処理について、図36のフローチャートを用いて説明する。 (Step S3503) The LUT determination unit 6074 determines the LUT using the first feature vector acquired in step S3501 and the second feature vector acquired in step S3502. The LUT determination process which is such a process will be described with reference to the flowchart of FIG.
次に、ステップS3503のLUT決定処理について、図36のフローチャートを用いて説明する。 Next, the LUT determination processing in step S3503 will be described using the flowchart in FIG.
(ステップS3601)LUT決定手段6074は、カウンタiに1を代入する。 (Step S3601) The LUT determination means 6074 substitutes 1 for the counter i.
(ステップS3602)LUT決定手段6074は、i番目のLUT変更情報が存在するか否かを判断する。i番目のLUT変更情報が存在すればステップS3603に行き、存在しなければステップS3607に行く。 (Step S3602) The LUT determination unit 6074 determines whether or not the i-th LUT change information exists. If the i-th LUT change information exists, the process goes to step S3603, and if not, the process goes to step S3607.
(ステップS3603)LUT決定手段6074は、i番目のLUT変更情報が有する第一特徴量ベクトルを取得する。そして、LUT決定手段6074は、取得した第一特徴量ベクトルと、ステップS3501で取得された第一特徴量ベクトルとの間の距離(d1)を算出する。 (Step S3603) The LUT determination unit 6074 acquires the first feature vector included in the i-th LUT change information. Then, the LUT determination unit 6074 calculates a distance (d1) between the acquired first feature value vector and the first feature value vector acquired in step S3501.
(ステップS3604)LUT決定手段6074は、i番目のLUT変更情報が有する第二特徴量ベクトルを取得する。そして、LUT決定手段6074は、取得した第二特徴量ベクトルと、ステップS3502で取得された第二特徴量ベクトルとの間の距離(d2)を算出する。 (Step S3604) The LUT determination means 6074 acquires the second feature amount vector included in the i-th LUT change information. Then, the LUT determination unit 6074 calculates the distance (d2) between the acquired second feature value vector and the second feature value vector acquired in step S3502.
(ステップS3605)LUT決定手段6074は、ステップS3603で算出した距離(d1)と、ステップS3604で算出した距離(d2)とを算出式に代入し、当該算出式を実行する。そして、LUT決定手段6074は、i番目のLUT変更情報のコスト(C)を取得する。そして、LUT決定手段6074は、当該コスト(C)をi番目のLUT変更情報と対応付けて、少なくとも一時蓄積する。なお、算出式は、2つの距離をパラメータとする算出式であり、各距離をパラメータとする関数である。なお、かかる関数は、通常、各距離をパラメータとする増加関数である。算出式は、例えば、「C=a1×d1+(1−a1)×d2」である。なお、a1は、例えば、0.5、0.8等である。 (Step S3605) The LUT determination unit 6074 substitutes the distance (d1) calculated in step S3603 and the distance (d2) calculated in step S3604 for the calculation formula, and executes the calculation formula. Then, the LUT determination unit 6074 acquires the cost (C) of the i-th LUT change information. Then, the LUT determination unit 6074 stores at least temporarily the cost (C) in association with the i-th LUT change information. The calculation formula is a calculation formula using two distances as parameters, and is a function using each distance as a parameter. Such a function is usually an increasing function with each distance as a parameter. The calculation formula is, for example, “C = a1 × d1 + (1−a1) × d2”. In addition, a1 is 0.5, 0.8, etc., for example.
(ステップS3606)LUT決定手段6074は、カウンタiを1、インクリメントする。 (Step S3606) The LUT determination means 6074 increments the counter i by one.
(ステップS3607)LUT決定手段6074は、ステップS3605で算出したコストが最も小さいLUT変更情報が有する1以上の種類識別子を取得する。 (Step S3607) The LUT determination unit 6074 acquires one or more type identifiers included in the LUT change information with the smallest cost calculated in Step S3605.
(ステップS3608)LUT決定手段6074は、ステップS3607で取得した種類識別子が複数であるか否かを判断する。複数であればステップS3609に行き、1つであればステップS3611に行く。 (Step S3608) The LUT determination means 6074 determines whether or not there are a plurality of type identifiers acquired in step S3607. If there is more than one, go to step S3609, and if there is one, go to step S3611.
(ステップS3609)LUT決定手段6074は、LUT変更情報格納手段6073から、コストが最も小さいLUT変更情報が有する複数の比を、種類識別子と対応付けて取得する。 (Step S3609) The LUT determination unit 6074 acquires, from the LUT change information storage unit 6073, a plurality of ratios included in the LUT change information with the lowest cost in association with the type identifier.
(ステップS3610)LUT決定手段6074は、複数の種類識別子に対応するLUTを、格納部101から取得する。そして、LUT決定手段6074は、ステップS3609で取得した比に応じて、取得したLUTを混合し、新しいLUTを生成する。かかる新しいLUTは、出力画像候補取得手段1072が使用するLUTである。 (Step S3610) The LUT determination means 6074 acquires the LUT corresponding to the plurality of type identifiers from the storage unit 101. Then, the LUT determination unit 6074 mixes the acquired LUTs according to the ratio acquired in step S3609 to generate a new LUT. The new LUT is an LUT used by the output image candidate acquisition unit 1072.
なお、LUTの混合とは、例えば、以下のような処理である。例えば、LUTを構成する対応情報が特徴量ベクトルとパラメータ群(例えば、フィルタの係数の集合)である、とする。そして、複数のLUTは、同一の特徴量ベクトルを有する、とする。そして、LUT決定手段6074は、同一の特徴量ベクトルに対応する複数のLUTのパラメータ群を取得し、当該パラメータ群を構成する各パラメータを、比に応じて混合する。例えば、LUT「A」のある対応情報が有する特徴量ベクトルがV1であり、パラメータ群が(4,10,7,・・・)であった、とする。また、LUT「B」のある対応情報が有する特徴量ベクトルがV1であり、パラメータ群が(10,8,17,・・・)であった、とする。そして、LUT「A」に対応する比が「a1」、LUT「A」に対応する比が「1−a1」であった、とする。かかる場合、LUT決定手段6074は、パラメータ群(4×a1+10×(1−a1),10×a1+8×(1−a1),7×a1+17×(1−a1),・・・)を取得する。かかる処理を、すべての対応情報に対して行う。 The LUT mixing is, for example, the following processing. For example, it is assumed that the correspondence information constituting the LUT is a feature vector and a parameter group (for example, a set of filter coefficients). The plurality of LUTs have the same feature vector. Then, the LUT determination unit 6074 acquires a plurality of LUT parameter groups corresponding to the same feature vector, and mixes the parameters constituting the parameter group according to the ratio. For example, it is assumed that the feature quantity vector included in the correspondence information with the LUT “A” is V1 and the parameter group is (4, 10, 7,...). Further, it is assumed that the feature quantity vector included in the correspondence information with the LUT “B” is V1 and the parameter group is (10, 8, 17,...). It is assumed that the ratio corresponding to the LUT “A” is “a1” and the ratio corresponding to the LUT “A” is “1-a1”. In such a case, the LUT determination unit 6074 acquires a parameter group (4 × a1 + 10 × (1−a1), 10 × a1 + 8 × (1−a1), 7 × a1 + 17 × (1−a1),...). Such processing is performed for all correspondence information.
(ステップS3611)LUT決定手段6074は、LUT変更情報格納手段6073から、コストが最も小さいLUT変更情報が有する種類識別子で識別されるLUTを取得する。かかるLUTは、出力画像候補取得手段1072が使用するLUTである。 (Step S3611) The LUT determination means 6074 acquires the LUT identified by the type identifier of the LUT change information with the lowest cost from the LUT change information storage means 6073. Such an LUT is an LUT used by the output image candidate acquisition unit 1072.
以上、本実施の形態によれば、入力画像、または出力画像、または入力画像と出力画像に応じて、適用するルックアップテーブルを変え、出力画像を構成することにより、極めて高品質な画像を出力できる。 As described above, according to the present embodiment, an extremely high quality image is output by changing the look-up table to be applied and configuring the output image according to the input image, the output image, or the input image and the output image. it can.
(実施の形態8)
本実施の形態において、画像学習装置7について説明する。画像学習装置7は、ルックアップテーブル取得装置3がルックアップテーブルを構成するために用いる第一の画像と第二の画像とを取得する装置である。また、ここでの画像学習装置7は、主として、エンターテインメント性を向上させる画像処理装置で用いられるルックアップテーブルのための装置である。
(Embodiment 8)
In the present embodiment, the image learning device 7 will be described. The image learning device 7 is a device that acquires a first image and a second image that are used by the lookup table acquisition device 3 to form a lookup table. The image learning device 7 here is mainly a device for a look-up table used in an image processing device that improves entertainment properties.
図37は、画像学習装置7のブロック図である。画像学習装置7は、第一画像格納部31、第二画像格納部32、画像生成部71、画像蓄積部72を有する。なお、第一画像格納部31および第二画像格納部32は、ルックアップテーブル取得装置3等の装置を構成する。 FIG. 37 is a block diagram of the image learning device 7. The image learning device 7 includes a first image storage unit 31, a second image storage unit 32, an image generation unit 71, and an image storage unit 72. The first image storage unit 31 and the second image storage unit 32 constitute a device such as the lookup table acquisition device 3.
第一画像格納部31は、1以上の第一の画像を格納し得る。第一画像格納部31は、動画である第一の画像を格納していても良い。 The first image storage unit 31 can store one or more first images. The first image storage unit 31 may store a first image that is a moving image.
第二画像格納部32は、1以上の第二の画像を格納し得る。第二画像格納部32は、動画である第二の画像を格納していても良い。 The second image storage unit 32 can store one or more second images. The second image storage unit 32 may store a second image that is a moving image.
画像生成部71は、第一画像格納部31に格納されている第一の画像から第二の画像を生成する。また、画像生成部71は、第二画像格納部32に格納されている第二の画像から第一の画像を生成しても良い。 The image generation unit 71 generates a second image from the first image stored in the first image storage unit 31. The image generation unit 71 may generate the first image from the second image stored in the second image storage unit 32.
例えば、画像生成部71は、以下の第二の画像、または第一の画像を生成する。
(1)白画像であるフラッシュ画像を挿入した第二の画像の生成
For example, the image generation unit 71 generates the following second image or first image.
(1) Generation of a second image with a flash image that is a white image inserted
画像生成部71は、動画である第一の画像を第一画像格納部31から読み出す。次に、画像生成部71は、第一の画像の任意のフレーム位置に白画像のフレームを挿入し、第二の画像を取得する。
(2)輝度値を上げた画像であるフラッシュ画像を挿入した第二の画像の生成
The image generation unit 71 reads the first image that is a moving image from the first image storage unit 31. Next, the image generation unit 71 inserts a white image frame at an arbitrary frame position of the first image, and acquires a second image.
(2) Generation of a second image in which a flash image that is an image with an increased luminance value is inserted
画像生成部71は、動画である第一の画像を第一画像格納部31から読み出す。次に、画像生成部71は、第一の画像の任意のフレーム位置のフレームの輝度値を上げ、第二の画像を取得する。
(3)高コントラスト画像であるフラッシュ画像を挿入した第二の画像の生成
The image generation unit 71 reads the first image that is a moving image from the first image storage unit 31. Next, the image generation unit 71 increases the luminance value of the frame at an arbitrary frame position of the first image, and acquires the second image.
(3) Generation of a second image with a flash image as a high contrast image inserted
画像生成部71は、動画である第一の画像を第一画像格納部31から読み出す。次に、画像生成部71は、第一の画像の任意のフレーム位置に高コントラスト画像を挿入し、第二の画像を取得する。
(4)画面不均一に画像を強調した第二の画像の生成
The image generation unit 71 reads the first image that is a moving image from the first image storage unit 31. Next, the image generation unit 71 inserts a high-contrast image at an arbitrary frame position of the first image, and acquires the second image.
(4) Generation of second image with non-uniformly enhanced image
画像生成部71は、動画である第一の画像を第一画像格納部31から読み出す。次に、画像生成部71は、第一の画像の任意の位置のフレームに対して、エッジ強調やコントラスト変更等を施し、第二の画像を取得する。エッジ強調やコントラスト変更等の処理は公知技術であるので、説明を省略する。
(5)フィルムライクな映像の処理
The image generation unit 71 reads the first image that is a moving image from the first image storage unit 31. Next, the image generation unit 71 performs edge enhancement, contrast change, and the like on a frame at an arbitrary position of the first image, and acquires a second image. Since processing such as edge enhancement and contrast change is a known technique, description thereof is omitted.
(5) Film-like image processing
画像生成部71は、フィルムソースの動画である第二の画像を第二画像格納部32から読み出す。次に、第二の画像を画像変換し、第一の画像を取得する。 The image generation unit 71 reads a second image that is a moving image of the film source from the second image storage unit 32. Next, the second image is image-converted to obtain the first image.
画像蓄積部72は、画像生成部71が生成した第二の画像を、第二画像格納部32に蓄積する。また、画像蓄積部72は、画像生成部71が生成した第一の画像を、第一画像格納部31に蓄積する。 The image storage unit 72 stores the second image generated by the image generation unit 71 in the second image storage unit 32. In addition, the image storage unit 72 stores the first image generated by the image generation unit 71 in the first image storage unit 31.
次に、画像処理装置のマッピング処理について説明する。マッピング処理は、上述した画像処理装置のマッピング部が行う。 Next, mapping processing of the image processing apparatus will be described. The mapping process is performed by the mapping unit of the image processing apparatus described above.
第二の画像が上記の(1)から(3)のいずれかで生成されたフラッシュ画像である場合、マッピング部107は、入力画像の特徴量ベクトル(例えば、輝度分布や全画面動き量などを要素として有するベクトル)を用いて、当該特徴量ベクトルに対応する対応情報をLUTから取得する。そして、マッピング部107は、取得した対応情報を用いて、特殊フレームを挿入する。なお、入力画像の特徴量ベクトルは、画像解析部106が取得する。また、マッピング部107は、入力画像の特徴量ベクトルが所定の条件(対応情報であっても良い)を満たす場合、特殊フレームを挿入しても良い。特殊フレームとは、フラッシュ画像のフレームである。 When the second image is a flash image generated in any one of the above (1) to (3), the mapping unit 107 calculates a feature vector (for example, luminance distribution or full screen motion amount) of the input image. Corresponding information corresponding to the feature vector is acquired from the LUT using a vector). Then, the mapping unit 107 inserts a special frame using the acquired correspondence information. Note that the feature vector of the input image is acquired by the image analysis unit 106. The mapping unit 107 may insert a special frame when the feature vector of the input image satisfies a predetermined condition (may be correspondence information). A special frame is a frame of a flash image.
また、第二の画像が上記の(4)で生成された不均一に強調された画像である場合、マッピング部107は、上述した処理を行うことにより、強調の方法が全画面で一律にならず、例えば、波形に応じて、異なる強調方法が自動で選択される。 In addition, when the second image is the nonuniformly emphasized image generated in the above (4), the mapping unit 107 performs the above-described processing so that the enhancement method is uniform over the entire screen. Instead, for example, different enhancement methods are automatically selected according to the waveform.
また、第二の画像が上記の(5)で生成されたフィルムライクな画像である場合、マッピング部107は、上述した処理を行うことにより、フィルム調の画像に変換した出力画像を出力できる。 When the second image is a film-like image generated in the above (5), the mapping unit 107 can output an output image converted into a film-like image by performing the above-described processing.
なお、例えば、異なる照明環境下で同一の撮影対象を撮影した第一の画像と第二の画像とを、それぞれ第一画像格納部31と、第二画像格納部32に蓄積しても良い。異なる照明環境とは、上述したように、例えば、撮影対象に応じて、照明の明るさを異ならせた環境である。また、異なる照明環境とは、例えば、光源の位置をずらした環境である。 Note that, for example, a first image and a second image obtained by photographing the same subject under different illumination environments may be accumulated in the first image storage unit 31 and the second image storage unit 32, respectively. As described above, the different illumination environment is an environment in which the brightness of the illumination is varied depending on the object to be photographed, for example. Further, the different illumination environment is an environment in which the position of the light source is shifted, for example.
かかる場合、マッピング部107は、上述した処理を行うことにより、画像の質感が向上したり、表面反射特性が全く異なる画像が得られたりする。例えば、入力画像中の新作の弦楽器が、オールドのような渋いニスの色の弦楽器のように出力される。 In such a case, the mapping unit 107 performs the above-described processing, thereby improving the texture of the image or obtaining an image with completely different surface reflection characteristics. For example, a new string instrument in the input image is output like a string instrument with a sober varnish color like Old.
また、図38は、本明細書で述べたプログラムを実行して、上述した実施の形態のルックアップテーブル取得装置等を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図38は、このコンピュータシステム340の概観図であり、図39は、コンピュータシステム340のブロック図である。 FIG. 38 shows the external appearance of a computer that executes the program described in this specification and realizes the lookup table acquisition apparatus and the like of the above-described embodiment. The above-described embodiments can be realized by computer hardware and a computer program executed thereon. FIG. 38 is an overview of the computer system 340, and FIG. 39 is a block diagram of the computer system 340.
図38において、コンピュータシステム340は、FDドライブ、CD−ROMドライブを含むコンピュータ341と、キーボード342と、マウス343と、モニタ344とを含む。 38, the computer system 340 includes a computer 341 including an FD drive and a CD-ROM drive, a keyboard 342, a mouse 343, and a monitor 344.
図39において、コンピュータ341は、FDドライブ3411、CD−ROMドライブ3412に加えて、MPU3413と、CD−ROMドライブ3412及びFDドライブ3411に接続されたバス3414と、ブートアッププログラム等のプログラムを記憶するためのROM3415とに接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのRAM3416と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク3417とを含む。ここでは、図示しないが、コンピュータ341は、さらに、LANへの接続を提供するネットワークカードを含んでも良い。 In FIG. 39, a computer 341 stores an MPU 3413, a bus 3414 connected to the CD-ROM drive 3412 and the FD drive 3411, and a program such as a bootup program, in addition to the FD drive 3411 and the CD-ROM drive 3412. A RAM 3416 for temporarily storing application program instructions and providing a temporary storage space; and a hard disk 3417 for storing application programs, system programs, and data. Although not shown here, the computer 341 may further include a network card that provides connection to the LAN.
コンピュータシステム340に、上述した実施の形態のルックアップテーブル取得装置等の機能を実行させるプログラムは、CD−ROM3501、またはFD3502に記憶されて、CD−ROMドライブ3412またはFDドライブ3411に挿入され、さらにハードディスク3417に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ341に送信され、ハードディスク3417に記憶されても良い。プログラムは実行の際にRAM3416にロードされる。プログラムは、CD−ROM3501、FD3502またはネットワークから直接、ロードされても良い。 A program that causes the computer system 340 to execute the functions of the lookup table acquisition apparatus and the like of the above-described embodiment is stored in the CD-ROM 3501 or FD 3502, inserted into the CD-ROM drive 3412 or FD drive 3411, and It may be transferred to the hard disk 3417. Alternatively, the program may be transmitted to the computer 341 via a network (not shown) and stored in the hard disk 3417. The program is loaded into the RAM 3416 at the time of execution. The program may be loaded directly from the CD-ROM 3501, the FD 3502, or the network.
プログラムは、コンピュータ341に、上述した実施の形態のルックアップテーブル取得装置等の機能を実行させるオペレーティングシステム(OS)、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能(モジュール)を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム340がどのように動作するかは周知であり、詳細な説明は省略する。 The program does not necessarily include an operating system (OS), a third-party program, or the like that causes the computer 341 to execute functions such as the lookup table acquisition device of the above-described embodiment. The program only needs to include an instruction portion that calls an appropriate function (module) in a controlled manner and obtains a desired result. How the computer system 340 operates is well known and will not be described in detail.
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。 Further, the computer that executes the program may be singular or plural. That is, centralized processing may be performed, or distributed processing may be performed.
また、上記各実施の形態において、各処理(各機能)は、単一の装置(システム)によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。 In each of the above embodiments, each process (each function) may be realized by centralized processing by a single device (system), or by distributed processing by a plurality of devices. May be.
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。 The present invention is not limited to the above-described embodiments, and various modifications are possible, and it goes without saying that these are also included in the scope of the present invention.
以上のように、本発明にかかる画像処理装置は、脳負荷が調整された画像を出力できる、という効果を有し、テレビジョン受信機等として有用である。 As described above, the image processing apparatus according to the present invention has an effect of outputting an image in which the brain load is adjusted, and is useful as a television receiver or the like.
1、2、4、5、6 画像処理装置
3 ルックアップテーブル取得装置
7 画像学習装置
31 第一画像格納部
32 第二画像格納部
33 第二画像情報候補集合格納部
34 候補出力部
35 第二画像蓄積部
36 第一画像関連情報取得部
37 第二画像関連情報取得部
38 ルックアップテーブル構成部
39 ルックアップテーブル蓄積部
71 画像生成部
72 画像蓄積部
101 格納部
102、502 拘束条件格納部
103、503、603 指示受付部
104 画像受付部
105 分割部
106 画像解析部
107、507、607 マッピング部
108 合成部
109 画像出力部
110 ルックアップテーブル更新部
507、5071 特徴量取得手段
510 拘束条件変更部
610 LUT変更情報変更部
1071 種類識別子取得手段
1072 出力画像候補取得手段
1073 判断手段
1074、5074 変更手段
1075 出力画像取得手段
5072 拘束条件決定手段
6071 第一特徴量取得手段
6072 第二特徴量取得手段
6073 LUT変更情報格納手段
6074 LUT決定手段
1, 2, 4, 5, 6 Image processing device 3 Look-up table acquisition device 7 Image learning device 31 First image storage unit 32 Second image storage unit 33 Second image information candidate set storage unit 34 Candidate output unit 35 Second Image storage unit 36 First image related information acquisition unit 37 Second image related information acquisition unit 38 Lookup table configuration unit 39 Lookup table storage unit 71 Image generation unit 72 Image storage unit 101 Storage unit 102, 502 Constraint condition storage unit 103 , 503, 603 Instruction receiving unit 104 Image receiving unit 105 Dividing unit 106 Image analyzing unit 107, 507, 607 Mapping unit 108 Combining unit 109 Image output unit 110 Look-up table updating unit 507, 5071 Feature quantity acquisition unit 510 Constraint condition changing unit 610 LUT change information change unit 1071 Type identifier acquisition means 10 2 output image candidate obtaining unit 1073 determining unit 1074,5074 changing means 1075 outputs the image acquiring unit 5072 constraint determination unit 6071 first feature amount acquisition unit 6072 second feature amount acquisition unit 6073 LUT change information storage unit 6074 LUT determining means
Claims (10)
1以上の画像を受け付ける画像受付部と、
前記1または2以上の対応情報のうちのいずれかの対応情報を用いて、前記画像受付部が受け付けた1以上の画像の全部または一部分に対応する1以上の第二の画像の全部または一部分を取得するマッピング部と、
前記マッピング部が取得した1以上の第二の画像の全部、または前記マッピング部が取得した1以上の第二の画像の一部分の集合である1以上の出力画像を出力する画像出力部とを具備し、
前記第二の画像は前記第一の画像に対して当該第一の画像が得られた一の環境とは異なる環境である他環境で得られた画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して一部にフラッシュ画面が挿入されている画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して当該第一の画像をデフォルメした画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して当該第一の画像を描写した絵画を撮影した画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して当該第一の画像のCG画像である関係を有し、
前記他環境は、前記一の環境と比較して、画像上のオブジェクトの陰が良く表出する光源の位置の環境、または前記一の環境と比較して、画像上のオブジェクトの立体感が良く表出する光源の位置の環境、または前記一の環境と比較して、画像上のオブジェクトの立体感が良く表出するカメラ位置の環境、または前記一の環境と異なる天候の環境、または前記一の環境と異なる温度や湿度の環境、または前記一の環境と異なる被写界深度の環境、または前記一の環境と異なるシャッター速度の環境であり、
前記対応情報は、
1以上の第一の画像の全部または一部分から抽出される1以上の特徴量である第一画像関連情報と、1以上の第二の画像の全部または一部分に関する情報である第二画像関連情報との対であり、
前記第一画像関連情報は、
1以上の画像の一部の特徴量であり、アクティビティまたは時空間相関または動きベクトルまたは周波数分布のうちのいずれかを含む特徴量である近傍特徴量、1以上の画像全体の特徴量である全体特徴量のうちのいずれかの特徴量を含み、
前記画像受付部が受け付けた1以上の画像から、近傍特徴量または全体特徴量のうちの1以上の特徴量を取得する画像解析部をさらに具備し、
前記マッピング部は、
前記画像解析部が取得した1以上の特徴量に対応する第一画像関連情報と対になる第二画像関連情報を用いて、第二の画像を取得する画像処理装置。 Two or more pieces of correspondence information that is information for taking correspondence between all or part of one or more first images and all or part of a second image that is an image of the same object as the first image A storage that can store a lookup table having:
An image receiving unit for receiving one or more images;
All or part of one or more second images corresponding to all or part of one or more images received by the image receiving unit using any one of the one or more correspondence information. A mapping part to be acquired;
An image output unit that outputs one or more output images that are a set of all of the one or more second images acquired by the mapping unit or a part of the one or more second images acquired by the mapping unit. And
The second image has a relationship that the second image is an image obtained in another environment that is different from the one environment in which the first image is obtained, or the second image The image has a relationship that a flash screen is inserted in part with respect to the first image, or the second image has the relationship with the first image with respect to the first image. The second image is a deformed image, or the second image is an image of a picture depicting the first image with respect to the first image, or the second image The image has a relationship that is a CG image of the first image with respect to the first image;
Compared to the one environment , the other environment is an environment of the position of the light source where the shadow of the object on the image appears well, or the object on the image has a better three-dimensional effect than the one environment. position environment exposed to the light source or in comparison with the one of the environment, the environment of the camera position where the stereoscopic effect of an object on the image is exposed well or the one environment different weather environments, or the one, environmental der environment with different temperatures and humidity environment or of the one, the environment is different from the depth of field environment or of the one environment different shutter speeds, is,
The correspondence information is
First image related information that is one or more feature amounts extracted from all or a portion of one or more first images, and second image related information that is information about all or a portion of one or more second images; Is a pair of
The first image related information is:
A feature amount of a part of one or more images, a neighborhood feature amount that is one of an activity, a spatio-temporal correlation, a motion vector, or a frequency distribution, and a whole feature amount of one or more entire images Including any of the features
An image analysis unit that obtains one or more feature amounts of the neighborhood feature amount or the entire feature amount from one or more images received by the image reception unit;
The mapping unit
An image processing apparatus that acquires a second image using second image related information paired with first image related information corresponding to one or more feature amounts acquired by the image analysis unit .
入力される映像のうちの一部である第一の時空間ブロックであり、
前記第二の画像の全部または一部分は、
画面に出力される映像のうちの一部である第二の時空間ブロックであり、
前記画像受付部は、
1以上の画像の集合である映像を受け付け、
前記画像受付部が受け付けた映像を、空間的、または時間的、または空間的かつ時間的に2以上に分割し、2以上の第一の時空間ブロックを取得する分割部をさらに具備し、
前記画像解析部は、
前記分割部が取得した2以上の各第一の時空間ブロックごとに、当該各第一の時空間ブロックに対応する第一の画像の全部または一部分を決定し、
前記マッピング部は、
前記2以上の各第一の時空間ブロックごとに、前記画像解析部が決定した第一の画像の全部または一部分に対応する対応情報を用いて、前記画像解析部が決定した第一の画像の全部または一部分に対応する第二の時空間ブロックを取得し、
前記マッピング部が取得した2以上の各第二の時空間ブロックを、当該2以上の各第二の時空間ブロックに対応する第一の時空間ブロックの時間的、または空間的、または空間的かつ時間的な位置に配置し、出力画像を生成する合成部をさらに具備し、
前記画像出力部は、
前記合成部が生成した出力画像を出力する請求項1記載の画像処理装置。 All or part of the first image is
The first spatiotemporal block that is part of the input video,
All or part of the second image is
A second spatiotemporal block that is part of the video output to the screen,
The image receiving unit
Accept video that is a collection of one or more images,
The image received by the image receiving unit is further divided into two or more spatially, temporally, or spatially and temporally, and further includes a dividing unit that acquires two or more first spatiotemporal blocks,
The image analysis unit
For each of the two or more first spatiotemporal blocks acquired by the dividing unit, determine all or part of the first image corresponding to each first spatiotemporal block,
The mapping unit
For each of the two or more first spatiotemporal blocks, the correspondence information corresponding to all or a part of the first image determined by the image analysis unit is used to determine the first image determined by the image analysis unit. Get a second spatiotemporal block corresponding to all or part of it,
The two or more second spatiotemporal blocks acquired by the mapping unit are temporally, spatially, or spatially of the first spatiotemporal block corresponding to the two or more second spatiotemporal blocks. It further includes a synthesizing unit that is arranged at a temporal position and generates an output image
The image output unit includes:
The image processing apparatus according to claim 1, wherein outputting the output image which the combining unit has generated.
前記画像受付部が受け付けた1以上の画像、または前記分割部が取得した2以上の各第一の時空間ブロックを解析し、1以上の特徴量を取得し、当該1以上の特徴量に対応する第一の画像の全部または一部分を決定する請求項1または請求項2記載の画像処理装置。 The image analysis unit
One or more images received by the image receiving unit or two or more first spatiotemporal blocks acquired by the dividing unit are analyzed to acquire one or more feature amounts and correspond to the one or more feature amounts first image processing apparatus according to claim 1 or claim 2, wherein determining all or part of the image to be.
前記第一の画像の全部または一部分に対応する第二の画像の全部または一部分を生成するための演算式、または演算式に代入するパラメータの集合とを有する情報である請求項1から請求項3いずれか記載の画像処理装置。 The second image related information is:
Second operation expression for generating all or a portion of an image or claim from claim 1 is information including a set of parameters to be assigned to the arithmetic expression, 3 corresponding to all or a portion of said first image Any one of the image processing apparatuses.
ルックアップテーブルの種類を識別する種類識別子と当該種類識別子に対応するルックアップテーブルとの組を2組以上格納しており、
前記マッピング部は、
利用するルックアップテーブルの種類を識別する種類識別子を取得する種類識別子取得手段と、
前記種類識別子に対応するルックアップテーブルが有する対応情報のうちのいずれかの対応情報を用いて、前記画像受付部が受け付けた画像の全部または一部分に対応する第二の画像の全部または一部分を、出力画像の全部または一部分として取得する出力画像取得手段とを具備する請求項1から請求項4いずれか記載の画像処理装置。 The storage unit
Two or more pairs of a type identifier for identifying the type of the lookup table and a lookup table corresponding to the type identifier are stored,
The mapping unit
Type identifier acquisition means for acquiring a type identifier for identifying the type of lookup table to be used;
All or part of the second image corresponding to all or part of the image received by the image receiving unit using any one of the correspondence information included in the lookup table corresponding to the type identifier, the image processing apparatus in accordance with claim 4 in whole or claim 1, and an output image acquiring means for acquiring a portion of the output image.
前記指示に応じて、前記ルックアップテーブルが有する2以上の対応情報のいずれかを変更するルックアップテーブル更新部とをさらに具備する請求項1から請求項5いずれか記載の画像処理装置。 An instruction receiving unit for receiving user instructions;
The indication in response to the image processing apparatus according to any one claims 1 to 5, further comprising a look-up table update unit for changing any of two or more correspondence information the look-up table has.
前記マッピング部は、
前記1または2以上の対応情報のうちのいずれかの対応情報を用いて、前記画像受付部が受け付けた1以上の画像の全部または一部分に対応する1以上の第二の画像の全部または一部分を、前記拘束条件に合致するように取得する請求項1から請求項6いずれか記載の画像処理装置。 A constraint condition storage unit that can store a constraint condition that is a condition to be satisfied by one or more types of information of the input image, the correspondence information, or the output image;
The mapping unit
All or part of one or more second images corresponding to all or part of one or more images received by the image receiving unit using any one of the one or more correspondence information. the image processing apparatus according to any one claims 1 to 6 for obtaining to meet the constraints.
1以上の前記第一の画像を格納し得る第一画像格納部と、
前記1以上の各第一の画像と同一の対象についての画像である1以上の前記各第二の画像を、前記1以上の各第一の画像に対応付けて格納し得る第二画像格納部と、
前記第一画像格納部に格納されている1以上の第一の画像の全部または一部分に関する情報である1以上の第一画像関連情報を、前記1以上の第一の画像の全部または一部分から取得する第一画像関連情報取得部と、
前記第二画像格納部に格納されている1以上の第二の画像の全部または一部分に関する情報である1以上の第二画像関連情報を、前記1以上の第二の画像の全部または一部分から取得する第二画像関連情報取得部と、
前記第一画像関連情報取得部が取得した第一画像関連情報と、当該第一画像関連情報に対応する情報であり、前記第二画像関連情報取得部が取得した第二画像関連情報とを有する情報であり、前記1以上の第一の画像の全部または一部分と前記1以上の第二の画像の全部または一部分との対応を示す情報である対応情報を、1または2以上有するルックアップテーブルを構成するルックアップテーブル構成部とを具備するルックアップテーブル取得装置により取得されたルックアップテーブルである請求項1から請求項7いずれか記載の画像処理装置。 The lookup table stored in the storage unit is
A first image storage unit capable of storing one or more of the first images;
A second image storage unit that can store one or more second images that are images of the same object as the one or more first images in association with the one or more first images. When,
One or more first image related information, which is information about all or part of one or more first images stored in the first image storage unit, is acquired from all or part of the one or more first images. A first image related information acquisition unit
One or more second image related information, which is information related to all or part of one or more second images stored in the second image storage unit, is acquired from all or part of the one or more second images. A second image related information acquisition unit,
The first image related information acquired by the first image related information acquisition unit, and the second image related information acquired by the second image related information acquisition unit, which is information corresponding to the first image related information. A look-up table having one or more correspondence information, which is information and indicates correspondence between all or part of the one or more first images and all or part of the one or more second images configuration image processing apparatus according to any one claims 1 to 7 is a lookup table obtained by a look-up table obtaining apparatus comprising a look-up table configuration unit for.
1以上の第一の画像の全部または一部分と、前記第一の画像と同一の対象についての画像である第二の画像の全部または一部分との対応を取るための情報である2以上の対応情報を有するルックアップテーブルを格納しており、
画像受付部、画像解析部、マッピング部、および画像出力部により実現され得る画像処理方法であって、
前記画像受付部が、1以上の画像を受け付ける画像受付ステップと、
前記マッピング部が、前記1または2以上の対応情報のうちのいずれかの対応情報を用いて、前記画像受付ステップで受け付けられた1以上の画像の全部または一部分に対応する1以上の第二の画像の全部または一部分を取得するマッピングステップと、
前記画像出力部が、前記マッピングステップで取得された1以上の第二の画像の全部、または前記マッピングステップで取得された1以上の第二の画像の一部分の集合である1以上の出力画像を出力する画像出力ステップとを具備し、
前記第二の画像は前記第一の画像に対して当該第一の画像が得られた一の環境とは異なる環境である他環境で得られた画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して一部にフラッシュ画面が挿入されている画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して当該第一の画像をデフォルメした画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して当該第一の画像を描写した絵画を撮影した画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して当該第一の画像のCG画像である関係を有し、
前記他環境は、前記一の環境と比較して、画像上のオブジェクトの陰が良く表出する光源の位置の環境、または前記一の環境と比較して、画像上のオブジェクトの立体感が良く表出する光源の位置の環境、または前記一の環境と比較して、画像上のオブジェクトの立体感が良く表出するカメラ位置の環境、または前記一の環境と異なる天候の環境、または前記一の環境と異なる温度や湿度の環境、または前記一の環境と異なる被写界深度の環境、または前記一の環境と異なるシャッター速度の環境であり、
前記対応情報は、
1以上の第一の画像の全部または一部分から抽出される1以上の特徴量である第一画像関連情報と、1以上の第二の画像の全部または一部分に関する情報である第二画像関連情報との対であり、
前記第一画像関連情報は、
1以上の画像の一部の特徴量であり、アクティビティまたは時空間相関または動きベクトルまたは周波数分布のうちのいずれかを含む特徴量である近傍特徴量、1以上の画像全体の特徴量である全体特徴量のうちのいずれかの特徴量を含み、
前記画像解析部が、前記画像受付ステップで受け付けられた1以上の画像から、近傍特徴量または全体特徴量のうちの1以上の特徴量を取得する画像解析ステップをさらに具備し、
前記マッピングステップは、
前記画像解析ステップで取得された1以上の特徴量に対応する第一画像関連情報と対になる第二画像関連情報を用いて、第二の画像を取得する画像処理方法。 On the storage medium,
All or a portion of one or more first image, two or more correspondence information is information for establishing correspondence between all or a portion of the second image is an image of the first of the same object and the image Stores a lookup table having
An image processing method that can be realized by an image reception unit, an image analysis unit, a mapping unit, and an image output unit,
An image receiving step in which the image receiving unit receives one or more images;
The mapping unit uses one or more correspondence information of the one or two or more correspondence information, and one or more second corresponding to all or a part of the one or more images received in the image reception step. A mapping step for acquiring all or part of the image;
The image output unit outputs one or more output images that are a set of all of the one or more second images acquired in the mapping step or a part of the one or more second images acquired in the mapping step. An image output step for outputting,
The second image has a relationship that the second image is an image obtained in another environment that is different from the one environment in which the first image is obtained, or the second image The image has a relationship that a flash screen is inserted in part with respect to the first image, or the second image has the relationship with the first image with respect to the first image. The second image is a deformed image, or the second image is an image of a picture depicting the first image with respect to the first image, or the second image The image has a relationship that is a CG image of the first image with respect to the first image;
Compared to the one environment , the other environment is an environment of the position of the light source where the shadow of the object on the image appears well, or the object on the image has a better three-dimensional effect than the one environment. position environment exposed to the light source or in comparison with the one of the environment, the environment of the camera position where the stereoscopic effect of an object on the image is exposed well or the one environment different weather environments, or the one, environmental der environment with different temperatures and humidity environment or of the one, the environment is different from the depth of field environment or of the one environment different shutter speeds, is,
The correspondence information is
First image related information that is one or more feature amounts extracted from all or a portion of one or more first images, and second image related information that is information about all or a portion of one or more second images; Is a pair of
The first image related information is:
A feature amount of a part of one or more images, a neighborhood feature amount that is one of an activity, a spatio-temporal correlation, a motion vector, or a frequency distribution, and a whole feature amount of one or more entire images Including any of the features
The image analysis unit further includes an image analysis step of acquiring one or more feature amounts of the neighborhood feature amount or the entire feature amount from the one or more images received in the image receiving step,
The mapping step includes
An image processing method for acquiring a second image using second image related information paired with first image related information corresponding to one or more feature amounts acquired in the image analysis step .
1以上の第一の画像の全部または一部分と、前記第一の画像と同一の対象についての画像である第二の画像の全部または一部分との対応を取るための情報である2以上の対応情報を有するルックアップテーブルを格納しており、
コンピュータを、
1以上の画像を受け付ける画像受付部と、
前記1または2以上の対応情報のうちのいずれかの対応情報を用いて、前記画像受付部が受け付けた1以上の画像の全部または一部分に対応する1以上の第二の画像の全部または一部分を取得するマッピング部と、
前記マッピング部が取得した1以上の第二の画像の全部、または前記マッピング部が取得した1以上の第二の画像の一部分の集合である1以上の出力画像を出力する画像出力部として機能させるためのプログラムであって、
前記第二の画像は前記第一の画像に対して当該第一の画像が得られた一の環境とは異なる環境である他環境で得られた画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して一部にフラッシュ画面が挿入されている画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して当該第一の画像をデフォルメした画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して当該第一の画像を描写した絵画を撮影した画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して当該第一の画像のCG画像である関係を有し、
前記他環境は、前記一の環境と比較して、画像上のオブジェクトの陰が良く表出する光源の位置の環境、または前記一の環境と比較して、画像上のオブジェクトの立体感が良く表出する光源の位置の環境、または前記一の環境と比較して、画像上のオブジェクトの立体感が良く表出するカメラ位置の環境、または前記一の環境と異なる天候の環境、または前記一の環境と異なる温度や湿度の環境、または前記一の環境と異なる被写界深度の環境、または前記一の環境と異なるシャッター速度の環境である、プログラムであり、
前記対応情報は、
1以上の第一の画像の全部または一部分から抽出される1以上の特徴量である第一画像関連情報と、1以上の第二の画像の全部または一部分に関する情報である第二画像関連情報との対であり、
前記第一画像関連情報は、
1以上の画像の一部の特徴量であり、アクティビティまたは時空間相関または動きベクトルまたは周波数分布のうちのいずれかを含む特徴量である近傍特徴量、1以上の画像全体の特徴量である全体特徴量のうちのいずれかの特徴量を含み、
コンピュータを、
前記画像受付部が受け付けた1以上の画像から、近傍特徴量または全体特徴量のうちの1以上の特徴量を取得する画像解析部としてさらに機能させ、
前記マッピング部は、
前記画像解析部が取得した1以上の特徴量に対応する第一画像関連情報と対になる第二画像関連情報を用いて、第二の画像を取得するものとして、コンピュータを機能させるためのプログラム。 On the storage medium,
All or a portion of one or more first image, two or more correspondence information is information for establishing correspondence between all or a portion of the second image is an image of the first of the same object and the image Stores a lookup table having
Computer
An image receiving unit for receiving one or more images;
All or part of one or more second images corresponding to all or part of one or more images received by the image receiving unit using any one of the one or more correspondence information. A mapping part to be acquired;
It functions as an image output unit that outputs all of one or more second images acquired by the mapping unit or one or more output images that are a set of a part of one or more second images acquired by the mapping unit. A program for
The second image has a relationship that the second image is an image obtained in another environment that is different from the one environment in which the first image is obtained, or the second image The image has a relationship that a flash screen is inserted in part with respect to the first image, or the second image has the relationship with the first image with respect to the first image. The second image is a deformed image, or the second image is an image of a picture depicting the first image with respect to the first image, or the second image The image has a relationship that is a CG image of the first image with respect to the first image;
Compared to the one environment , the other environment is an environment of the position of the light source where the shadow of the object on the image appears well, or the object on the image has a better three-dimensional effect than the one environment. position environment exposed to the light source or in comparison with the one of the environment, the environment of the camera position where the stereoscopic effect of an object on the image is exposed well or the one environment different weather environments, or the one, An environment having a temperature and humidity different from the environment, an environment having a depth of field different from the one environment, or an environment having a shutter speed different from the one environment ,
The correspondence information is
First image related information that is one or more feature amounts extracted from all or a portion of one or more first images, and second image related information that is information about all or a portion of one or more second images; Is a pair of
The first image related information is:
A feature amount of a part of one or more images, a neighborhood feature amount that is one of an activity, a spatio-temporal correlation, a motion vector, or a frequency distribution, and a whole feature amount of one or more entire images Including any of the features
Computer
Further functioning as an image analysis unit that acquires one or more feature amounts of the neighborhood feature amount or the entire feature amount from one or more images received by the image receiving unit;
The mapping unit
A program for causing a computer to function as a second image-related information that is paired with first image-related information corresponding to one or more feature amounts acquired by the image analysis unit. .
Priority Applications (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012010717A JP5961389B2 (en) | 2011-05-11 | 2012-01-23 | Image processing apparatus, image processing method, and program |
US14/116,771 US9071719B2 (en) | 2011-05-11 | 2012-05-08 | Image processing apparatus with a look-up table and a mapping unit, image processing method using a look-up table and a mapping unit, and storage medium in which program using a look-up table and a mapping unit is stored |
BR112013028780A BR112013028780A2 (en) | 2011-05-11 | 2012-05-08 | image processing apparatus, image processing method, and storage medium where a program is stored |
CN201280022555.5A CN103518221B (en) | 2011-05-11 | 2012-05-08 | Image processing apparatus and method, the method carrying out image procossing with computer program |
PCT/JP2012/061737 WO2012153726A1 (en) | 2011-05-11 | 2012-05-08 | Image processing device, image processing method, and recording medium that has recorded program |
EP12782649.3A EP2709056B1 (en) | 2011-05-11 | 2012-05-08 | Image processing device, image processing method, and recording medium that has recorded program |
KR1020137029864A KR101961967B1 (en) | 2011-05-11 | 2012-05-08 | Image processing device, image processing method, and recording medium that has recorded program |
US14/719,737 US9826194B2 (en) | 2011-05-11 | 2015-05-22 | Image processing apparatus with a look-up table and a mapping unit, image processing method using a look-up table and a mapping unit, and storage medium in which program using a look-up table and a mapping unit is stored |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011106300 | 2011-05-11 | ||
JP2011106300 | 2011-05-11 | ||
JP2012010717A JP5961389B2 (en) | 2011-05-11 | 2012-01-23 | Image processing apparatus, image processing method, and program |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016092986A Division JP6244396B2 (en) | 2011-05-11 | 2016-05-06 | Image processing apparatus, image processing method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012252685A JP2012252685A (en) | 2012-12-20 |
JP5961389B2 true JP5961389B2 (en) | 2016-08-02 |
Family
ID=47525399
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012010717A Active JP5961389B2 (en) | 2011-05-11 | 2012-01-23 | Image processing apparatus, image processing method, and program |
JP2016092986A Active JP6244396B2 (en) | 2011-05-11 | 2016-05-06 | Image processing apparatus, image processing method, and program |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016092986A Active JP6244396B2 (en) | 2011-05-11 | 2016-05-06 | Image processing apparatus, image processing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP5961389B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3481045A4 (en) | 2016-06-30 | 2020-01-15 | I-Cubed Research Center Inc. | Image output device, image output method, and program |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2923894B1 (en) * | 1998-03-31 | 1999-07-26 | 日本電気株式会社 | Light source determination method, skin color correction method, color image correction method, light source determination device, skin color correction device, color image correction device, and computer-readable recording medium |
US6766067B2 (en) * | 2001-04-20 | 2004-07-20 | Mitsubishi Electric Research Laboratories, Inc. | One-pass super-resolution images |
JP4000837B2 (en) * | 2001-11-28 | 2007-10-31 | コニカミノルタホールディングス株式会社 | ID card creation system, color correction method and ID card creation method |
JP4423537B2 (en) * | 2003-06-27 | 2010-03-03 | ソニー株式会社 | Signal processing apparatus, signal processing method, program, and recording medium |
JP4639613B2 (en) * | 2004-03-15 | 2011-02-23 | ソニー株式会社 | Information processing apparatus and method, recording medium, and program |
JP4591786B2 (en) * | 2007-02-05 | 2010-12-01 | ソニー株式会社 | Signal processing device |
JP2008234479A (en) * | 2007-03-22 | 2008-10-02 | Toshiba Corp | Image quality improvement device, method, and program |
JP4629118B2 (en) * | 2008-03-03 | 2011-02-09 | 株式会社日立ハイテクノロジーズ | Defect inspection apparatus and parameter adjustment method used for this defect inspection apparatus. |
JP2010166506A (en) * | 2009-01-19 | 2010-07-29 | Ricoh Co Ltd | Image output device, image output method, image output program and recording medium |
-
2012
- 2012-01-23 JP JP2012010717A patent/JP5961389B2/en active Active
-
2016
- 2016-05-06 JP JP2016092986A patent/JP6244396B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP6244396B2 (en) | 2017-12-06 |
JP2012252685A (en) | 2012-12-20 |
JP2016157480A (en) | 2016-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2012153727A1 (en) | Image processing device, image processing method, and recording medium that has recorded program | |
WO2012153726A1 (en) | Image processing device, image processing method, and recording medium that has recorded program | |
KR102273331B1 (en) | Image processing device, image processing method, and recording medium | |
JP5414165B2 (en) | Image quality adjusting apparatus, image quality adjusting method and program | |
JP6134414B2 (en) | Image processing apparatus, image processing method, and program | |
JP6499612B2 (en) | Image processing apparatus, image processing method, and program | |
JP6134267B2 (en) | Image processing apparatus, image processing method, and recording medium | |
JP5961389B2 (en) | Image processing apparatus, image processing method, and program | |
EP2744209A1 (en) | Content processing device, content processing method, and recording medium | |
JP6244397B2 (en) | Look-up table acquisition device, look-up table production method, and program | |
TWI586180B (en) | An image processing apparatus, an image processing method, and a storage medium for storing a program | |
TWI535297B (en) | An image processing apparatus, an image processing method, and a storage medium for storing a program | |
TWI558219B (en) | An image processing apparatus, an image processing method, and a storage medium for storing a program | |
JP2024039874A (en) | Image processing device, method for controlling image processing device and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141202 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151228 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160209 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160506 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20160516 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160607 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160627 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5961389 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |