JP6798607B2 - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

情報処理装置、情報処理方法及び情報処理プログラム Download PDF

Info

Publication number
JP6798607B2
JP6798607B2 JP2019506890A JP2019506890A JP6798607B2 JP 6798607 B2 JP6798607 B2 JP 6798607B2 JP 2019506890 A JP2019506890 A JP 2019506890A JP 2019506890 A JP2019506890 A JP 2019506890A JP 6798607 B2 JP6798607 B2 JP 6798607B2
Authority
JP
Japan
Prior art keywords
image processing
processing program
fitness
resolution
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019506890A
Other languages
English (en)
Other versions
JPWO2018173257A1 (ja
Inventor
毅 長門
毅 長門
岡本 浩明
浩明 岡本
哲男 肥塚
哲男 肥塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2018173257A1 publication Critical patent/JPWO2018173257A1/ja
Application granted granted Critical
Publication of JP6798607B2 publication Critical patent/JP6798607B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211Selection of the most significant subset of features
    • G06F18/2111Selection of the most significant subset of features by using evolutionary computational techniques, e.g. genetic algorithms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/12Computing arrangements based on biological models using genetic models
    • G06N3/126Evolutionary algorithms, e.g. genetic algorithms or genetic programming

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Physiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Genetics & Genomics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。
工業製品の外観検査などでは、撮像装置を用いて工業製品の外観を撮影し、欠陥の有無を判定している。ここで、FA(Factory Automation)分野においては、現場の撮影環境に応じたノイズや、影、明るさの変動などが撮影画像に影響を与えることが多く、欠陥部を抽出する画像処理プログラムには、環境変化にロバストな処理の実現が望まれている。また、工業製品の外観を検査する外観検査装置を運用する場合、検査対象の変更や、外観検査装置の改良に起因して検査環境が変化したときに、画像処理プログラムの再構築が必要になることがある。そのため、外観検査装置においては、画像処理方法を容易に構築できることが求められている。
外観検査装置に使用される画像処理装置では、カメラなどで撮影した画像を画像処理フィルタで画像処理することで出力画像を得ている。ここで、従来の画像処理装置では、画像処理フィルタを遺伝的プログラミング(Genetic Programming:GP)に基づいた進化的計算を行って自動生成する技術が知られている。この技術では、画像処理プログラムを示す個体は、それぞれが画像処理のプログラム要素(画像処理フィルタ)に対応する1以上のノードを有する木構造で表現されており、ある世代の親個体に基づいて子個体が生成され、学習用データとして与えられた入力画像を用いて、子個体に基づく画像処理が実行される。そして、その処理結果と、学習用データとして与えられた目標となる処理結果(例えば、目標画像)との比較によって、子個体の適応度が算出される。また、適応度に基づいて世代交代の際に入れ替える個体が選択されることで、画像処理プログラムが最適化されていく(例えば、非特許文献1等参照)。
青木紳也、長尾智晴、「木構造画像変換の自動構築法ACTIT」、情報メディア学会誌Vol.53,No.6、1999年6月20日、p.890−892
遺伝的プログラミングによる画像処理プログラムの生成過程では、世代交代のたびに子個体の適応度が算出される。ここで、最終的に高性能の画像処理プログラムを得るためには多くの世代交代が行われるが、世代交代の回数が多くなるほど、適応度の算出処理にかかる全体の時間が長くなる。また、高機能の画像処理プログラムを生成するために個体の木構造が複雑になるほど、木構造に基づく画像処理も複雑になり、それに伴って個々の子個体の適応度を算出する時間も長くなる。また、画像処理のプログラム要素(画像処理フィルタ)が空間フィルタであることもあり、対象となる画像サイズが大きくなると、適応度の計算時間が長くなる。このように適応度算出にかかる時間が長くなると、最適な個体が得られるまでの時間が増大してしまう。
1つの側面では、本発明は、遺伝的プログラミングによる次世代の画像処理フィルタの決定に要する時間を短縮することが可能な情報処理装置、情報処理方法及び情報処理プログラムを提供することを目的とする。
一つの態様では、情報処理装置は、撮像装置により撮像された画像に対し、木構造を有する画像処理プログラムを用いて画像処理する情報処理装置であって、前記画像処理プログラムに基づき、遺伝的プログラミングにおける次世代の画像処理プログラムの候補を複数生成する生成部と、入力画像と目標となる処理結果とを含む学習用データのうち少なくとも前記入力画像解像度を低下させることによって生成された低解像学習用データを用いて、前記次世代の画像処理プログラムの複数の候補の各々の適応度を評価する第1評価部と、前記第1評価部の評価結果に基づいて、前記次世代の画像処理プログラムの複数の候補に対して絞り込みを行い、絞り込んだ前記次世代の画像処理プログラムの複数の候補の各々の適応度を、前記学習用データを用いて評価する第2評価部と、前記第2評価部の評価結果に基づいて、前記次世代の画像処理プログラムを決定する決定部と、を備え、前記第1評価部は、前記適応度を評価する際に、前記解像度を低下させる際に用いられた前記入力画像の縮小率に合わせて、前記画像処理プログラムが有する画像処理フィルタのパラメータを調整する。
遺伝的プログラミングによる次世代の画像処理フィルタの決定に要する時間を短縮することができる
第1の実施形態に係る画像処理プログラム生成処理の概要を示す図である。 画像処理装置のハードウェア構成を示す図である。 画像処理装置の機能ブロック図である。 第1の実施形態に係る画像処理装置の処理を示すフローチャートである。 第2の実施形態に係る画像処理装置の処理を示すフローチャートである。 図5のステップS11の処理を示すフローチャートである。
≪第1の実施形態≫
以下、情報処理装置の第1の実施形態について、図1〜図4に基づいて詳細に説明する。
まず、図1に基づいて、遺伝的プログラミングによる画像処理プログラムの生成処理の概要について説明する。
(画像処理プログラム生成処理の概要)
図1は、画像処理プログラムの生成処理手順の概要を示す図である。前提として、画像処理プログラムの生成処理の前に、1つ以上の学習用データ20が用意される。学習用データ20には、入力画像21と、入力画像21に対して画像処理を施したときの処理結果(本第1の実施形態では目標画像22)とが含まれる。入力画像21は、例えば、カメラによって被写体を撮像することによって得られる。
遺伝的プログラミングによる画像処理プログラムの生成処理では、個体(図1において白丸で表記)は、1つ以上の画像処理フィルタを組み合わせて構成される。例えば、図1の左上に示すように、個体は木構造で定義され、木構造の各ノードに画像処理フィルタが組み込まれる。なお、図1の左上において、“F”はノードに組み込まれた画像処理フィルタを示し、“I”は入力端子を示し、“O”は出力端子を示す。また、個体に組み込むことが可能な複数の画像処理フィルタも、あらかじめ用意される。
遺伝的プログラミングによる画像処理プログラムの生成処理は、例えば、以下のように実行される。
まず、ステップS100において、母集団11に含められる複数の初期個体が生成される。各初期個体のノードには、あらかじめ用意された複数の画像処理フィルタの中からランダムに選択された画像処理フィルタが組み込まれる。また、生成された各初期個体について、適応度が算出される。なお、適応度の算出処理の詳細については後述する。
次いでステップS102では、母集団11の中から、一定数(図1では、例えば2つ)の親個体がランダムに選択される。次いで、ステップS104では、選択された一定数(2つ)の親個体に対して進化過程の処理が施されることで、2以上の一定数の子個体が生成される。進化過程では、2つの親個体に対して交叉処理および突然変異処理が行われる。2つの親個体に対して、それぞれ異なる交叉処理や突然変異処理が行われることで、3つ以上の子個体が生成されてもよい。すなわち、生成される子個体の数は、母集団11から選択される親個体の数以上となる。
次いで、ステップS106では、生成された各子個体について、適応度が算出される。なお、適応度の算出処理の詳細については、後述する。
ここで、生成された子個体および元の親個体のうちのいずれかの適応度が所定の閾値以上であった場合には、その個体が最終的な画像処理プログラムとして出力され、プログラム生成処理が終了する。
一方、これらすべての個体の適応度が所定の閾値未満であった場合には、ステップS108において、生成された各子個体および元の2つの親個体を含む個体群12の中から、生存選択が行われる。この生存選択では、個体群12の中から、算出された適応度が最大の個体が選択される。また、個体群12内の残りの個体の中から、所定の方法で個体が1つ選択される。例えば、残りの個体の中から、適応度に応じた確率で個体が選択される(ルーレット選択)。
このような生存選択によって選択された2つの個体は、ステップS110において、母集団11に含まれる個体のうち、親個体として選択された2つの個体と入れ替えられる。これにより、母集団11に含まれる個体が次世代の個体へ変更される。そして、適応度が所定の閾値以上となる個体が出現するまで、同様の処理が繰り返される。
以上のような手順によって生成される画像処理プログラムの用途としては、例えば、FA(Factory Automation)分野において、製品を撮像した画像に画像処理を施して所望の効果を得るという用途が考えられる。例えば、製品の外観を撮像した画像に画像処理を施して、欠陥が生じた箇所を抽出する、位置合わせを行う箇所を抽出するといった用途が考えられる。
このような用途では、被写体となる製品の変更や改良、それに伴う撮像環境の変化などに応じて、画像処理プログラムの再構築の必要が生じる場合がある。このため、画像処理プログラムの構築の容易性が求められている。また、照明条件の変化や被写体の形状、位置姿勢のバラツキなどの撮像環境の変化に対するロバスト性が高い画像処理プログラムを構築することが求められている。
遺伝的プログラミングを利用することで、入力画像21とこれに対応する目標画像22とをあらかじめ用意しておくだけで、このような用途で使用可能な画像処理プログラムを容易に生成することができる。また、それぞれ撮像環境が異なる入力画像21と目標画像22とのペア(学習用データ20)を複数用意しておくことで、撮像環境の変化に対するロバスト性が高い画像処理プログラムを自動生成することもできる。
(画像処理装置の構成)
次に、上述した画像処理プログラム生成処理を実施する情報処理装置としての画像処理装置100の構成等について、図2に基づいて説明する。図2には、画像処理装置100のハードウェア構成の一例が概略的に示されている。本第1の実施形態に係る画像処理装置100は、例えば、図2に示すようなコンピュータ(情報処理装置)として実現される。
画像処理装置100は、プロセッサ101によって装置全体が制御されている。プロセッサ101は、マルチプロセッサであってもよい。プロセッサ101は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)等である。また、プロセッサ101は、CPU、MPU、DSP、ASIC、PLDのうちの2以上の要素の組み合わせであってもよい。プロセッサ101には、バス109を介して、RAM102と複数の機器(周辺機器)が接続されている。
RAM102は、画像処理装置100の主記憶装置として使用される。RAM102には、プロセッサ101に実行させるOS(Operating System)プログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、RAM102には、プロセッサ101による処理に必要な各種データが格納される。
バス109に接続される機器には、HDD(Hard Disk Drive)103、グラフィック処理装置104、入力インタフェース105、読み取り装置106、通信インタフェース107、及びネットワークインタフェース108等が含まれる。
HDD103は、画像処理装置100の補助記憶装置として使用される。HDD103には、OSプログラム、アプリケーションプログラム、および各種データが格納される。なお、補助記憶装置としては、SSD(Solid State Drive)などの他の種類の不揮発性記憶装置を使用することもできる。
グラフィック処理装置104には、表示装置104aが接続されている。グラフィック処理装置104は、プロセッサ101からの命令にしたがって、表示装置104aの画面に画像を表示させる。表示装置104aとしては、液晶ディスプレイや有機EL(ElectroLuminescence)ディスプレイなどがある。
入力インタフェース105には、入力装置105aが接続されている。入力インタフェース105は、入力装置105aから出力される信号をプロセッサ101に送信する。入力装置105aとしては、キーボードやポインティングデバイスなどがある。ポインティングデバイスとしては、マウス、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。
読み取り装置106には、可搬型記録媒体106aが脱着可能となっている。読み取り装置106は、可搬型記録媒体106aに記録されたデータを読み取ってプロセッサ101に送信する。可搬型記録媒体106aには、光ディスク、光磁気ディスク、半導体メモリなどが含まれる。
通信インタフェース107は、接続された外部デバイスとの間でデータの送受信を行う。本第1の実施形態では、通信インタフェース107に撮像装置としてのカメラ107aが接続されており、通信インタフェース107は、カメラ107aから送信された画像データをプロセッサ101に送信する。
ネットワークインタフェース108は、ネットワークを介して他の装置との間でデータの送受信を行う。
(画像処理装置100が備える処理機能)
図3は、画像処理装置が備える処理機能の構成例を示すブロック図(機能ブロック図)である。画像処理装置100は、画像取得部111、画像処理部112、プログラム生成部120、プログラム記憶部130、学習用データ記憶部141、低解像学習用データ記憶部142を有する。画像取得部111、画像処理部112及びプログラム生成部120の処理は、例えば、画像処理装置100のプロセッサ101が所定のプログラムを実行することで実現される。また、画像処理部112の処理の一部は、プログラム記憶部130に保存された画像処理プログラムを、画像処理装置100のプロセッサ101が実行することで実現される。プログラム記憶部130、学習用データ記憶部141、及び低解像学習用データ記憶部142は、例えば、画像処理装置100のHDD103の記憶領域として実現される。
画像取得部111は、カメラ107aによって撮像された画像のデータをカメラ107aから取得し、プログラム生成部120または画像処理部112に出力する。
プログラム生成部120は、遺伝的プログラミングにより画像処理プログラムを生成し、生成された画像処理プログラムをプログラム記憶部130に保存する。なお、プログラム生成部120の詳細については、後述する。
画像処理部112は、カメラ107aによって撮像された画像のデータを画像取得部111を介して取得する。画像処理部112は、プログラム記憶部130に保存された画像処理プログラムにしたがって、取得した画像に画像処理を施す。処理後の画像は、例えば、表示装置104aに表示される。
プログラム記憶部130は、プログラム生成部120によって生成された画像処理プログラムを記憶する。
学習用データ記憶部141は、それぞれ入力画像および目標画像の各データを含む学習用データを、1つ以上記憶する。学習用データに含まれる入力画像は、例えば、画像処理装置100に接続されたカメラ107aによって撮像された画像であってもよい。
なお、本第1の実施形態では、一例として、生成される画像処理プログラムを用いた処理の結果として、画像が出力されるものとするが、処理の結果として画像以外の情報が出力されるようにしてもよい。そのような処理の結果としては、例えば、入力画像における領域を示す位置情報、入力画像の分類結果や評価結果などが考えられる。このように処理の結果が画像でない場合、学習用データには、目標となる処理結果を示す、画像以外の情報が、目標画像の代わりに含まれていてもよい。
低解像学習用データ記憶部142は、学習用データ記憶部141に格納されている学習用データの入力画像および目標画像の各データを低解像度化したデータ(低解像学習用データ)を1つ以上記憶する。
プログラム生成部120は、生成部及び決定部としての学習制御部121、第1評価部及び第2評価部としての適応度算出部122、作成部としての低解像度化部123を有する。
学習制御部121は、プログラム生成部120でのプログラム生成処理全体を統括的に制御する。例えば、学習制御部121は、図1に示す、母集団11に含める初期個体の生成(S100)、個体の進化過程の処理(S104)、適応度に基づく生存選択(S108)、最終的な画像処理プログラムの出力、生存選択された個体による母集団11の更新(S110)などの処理を実行する。
適応度算出部122は、個体を評価するための適応度を算出する。具体的には、適応度算出部122は、状況に応じて、学習用データ記憶部141に記憶された学習用データと、低解像学習用データ記憶部142に記憶された低解像学習用データと、を使い分け、各画像処理プログラムの適応度を算出する。例えば、低解像学習用データを用いる場合、適応度算出部122は、画像処理プログラムに従って、低解像学習用データに含まれる入力画像に画像処理を施し、得られた画像と、画像処理された入力画像に対応する目標画像との類似度を、個体の適応度として算出する。また、学習用データを用いる場合、適応度算出部122は、画像処理プログラムに従って、学習用データに含まれる入力画像に画像処理を施し、得られた画像と、画像処理された入力画像に対応する目標画像との類似度を、個体の適応度として算出する。
低解像度化部123は、学習用データ記憶部141に格納されている学習用データを取得し、学習用データに含まれる入力画像と目標画像を所定の縮小率sで縮小する。なお、本第1の実施形態では、縮小率sが予め定められているものとする。
(画像処理装置100の処理)
図4は、画像処理装置100により実行される、プログラム生成処理の詳細を示すフローチャートである。
図4のステップS10において、学習制御部121は、学習用データの設定のための入力操作を受け付ける。例えば、学習用データ記憶部141に記憶された学習用データの中から、本処理で使用される学習用データが指定される。あるいは、本処理で使用される学習用データが学習用データ記憶部141に登録される。
次いで、ステップS12では、低解像度化部123が、学習用データ記憶部141から学習用データを取得し、取得した学習用データを低解像度化することで、低解像学習用データを作成する。本第1の実施形態では、低解像度化部123は、予め定められている縮小率sを用いて、学習用データに含まれる入力画像と目標画像とを低解像度化する。低解像度化部123は、低解像度化した学習用データ(低解像学習用データ)を低解像学習用データ記憶部142に格納する。なお、以下においては、低解像度化された入力画像及び目標画像を、「低解像入力画像」及び「低解像目標画像」と呼ぶものとする。
次いで、ステップS14では、学習制御部121は、母集団11に含める所定個数の初期個体を生成する(図1のステップS100参照)。各初期個体は、木構造の各ノードに対して、画像処理フィルタをランダムに選択して組み合わせることで生成される。また、各初期個体の木構造は、例えば、あらかじめ決められた複数の木構造の中からランダムに選択される。あるいは、木構造自体がランダムに決定されてもよい。
次いで、ステップS16では、学習制御部121は、母集団11から個体を1つ選択し、選択された個体についての、低解像学習用データを用いた適応度の算出を適応度算出部122に依頼する。
次いで、ステップS18では、適応度算出部122は、ステップS16で選択された個体の適応度を、低解像学習用データを用いて算出(評価)する。具体的には、適応度算出部122は、選択された個体に対応する画像処理プログラムにしたがって、低解像学習用データに含まれる低解像入力画像に画像処理を施す。このとき、画像処理プログラムの構成要素である画像処理フィルタのパラメータは、縮小率sに合わせて調整する(例えば、空間フィルタのカーネル径を縮小率sに合わせて小さくする)ものとする。適応度算出部122は、画像処理によって得られた画像と、低解像入力画像に対応付けられた低解像目標画像との類似度を、選択された個体の適応度として算出する。なお、低解像学習用データが複数登録されている場合には、適応度算出部122は、例えば、各低解像学習用データを用いて類似度を算出し、それらの類似度の平均値を個体の適応度とする。
次いで、ステップS20では、学習制御部121は、母集団11に含まれるすべての個体を選択済みか否かを判定する。このステップS20の判断が否定された場合、すなわち未選択の個体がある場合、学習制御部121は、ステップS16に戻り、次の個体を選択する。一方、ステップS20の判断が肯定された場合、すなわち全ての個体を選択済みの場合、学習制御部121は、ステップS22に移行する。
全ての個体についての低解像学習用データを用いた適応度の算出が行われ、ステップS22に移行すると、学習制御部121は、適応度が上位N個の個体を特定する(絞り込む)。ここで、Nの値は、事前に設定されているものとする。
次いで、ステップS24では、学習制御部121は、特定したN個の個体のいずれかを選択し、選択された個体についての、学習用データを用いた適応度の算出を適応度算出部122に依頼する。
次いで、ステップS26では、適応度算出部122は、ステップS24で選択された個体の適応度を、学習用データを用いて算出(評価)する。具体的には、適応度算出部122は、選択された個体に対応する画像処理プログラムにしたがって、学習用データに含まれる入力画像に画像処理を施す。適応度算出部122は、画像処理によって得られた画像と、入力画像に対応付けられた目標画像との類似度を、選択された個体の適応度として算出する。なお、学習用データが複数登録されている場合には、適応度算出部122は、例えば、各学習用データを用いて類似度を算出し、それらの類似度の平均値を個体の適応度とする。
次いで、ステップS28では、学習制御部121は、N個の個体のすべてを選択済みか否かを判定する。このステップS28の判断が否定された場合、すなわち未選択の個体がある場合、学習制御部121は、ステップS24に戻り、次の個体を選択する。一方、ステップS28の判断が肯定された場合、すなわちN個全ての個体を選択済みの場合、学習制御部121は、ステップS30に移行する。
N個全ての個体の適応度が算出され、ステップS30に移行すると、学習制御部121は、母集団11に含まれる個体の中から、2つの親個体をランダムに選択する(図1のステップS102参照)。
次いで、ステップS32では、学習制御部121は、進化過程の処理により子個体を生成する((図1のステップS104参照))。この場合、学習制御部121は、選択された2つの親個体の間で交叉を行うことで、2つ以上の所定数の子個体を生成する。また、学習制御部121は、生成された子個体のいずれかのノードに突然変異を発生させ、元の子個体のノードに組み込まれていた画像処理フィルタを他の画像処理フィルタに置き換える。
次いで、ステップS34では、学習制御部121は、子個体の1つを選択し、選択された個体についての、低解像学習用データを用いた適応度の算出を適応度算出部122に依頼する。
次いで、ステップS36では、適応度算出部122は、ステップS34で選択された個体の適応度を、低解像学習用データを用いて算出(評価)する。このステップS36の具体的な処理は、上述したステップS18と同様である。
次いで、ステップS38では、学習制御部121は、すべての子個体を選択済みか否かを判定する。このステップS38の判断が否定された場合、すなわち未選択の子個体がある場合、学習制御部121は、ステップS34に戻り、次の子個体を選択する。一方、ステップS38の判断が肯定された場合、すなわち全ての子個体を選択済みの場合、学習制御部121は、ステップS40に移行する。
全ての子個体についての低解像学習用データを用いた適応度の算出が行われ、ステップS40に移行すると、学習制御部121は、適応度が上位M個の子個体を特定する(絞り込む)。ここで、Mの値は、事前に設定されているものとし、上述したNと同一の値でもよいし、異なる値でもよい。
次いで、ステップS42では、学習制御部121は、特定したM個の子個体のいずれかを選択し、選択された子個体についての、学習用データを用いた適応度の算出を適応度算出部122に依頼する。
次いで、ステップS44では、適応度算出部122は、ステップS42で選択された子個体の適応度を、学習用データを用いて算出(評価)する。このステップS44の具体的な処理は、上述したステップS26と同様である。
次いで、ステップS46では、学習制御部121は、M個の子個体のすべてを選択済みか否かを判定する。このステップS46の判断が否定された場合、すなわち未選択の子個体がある場合、学習制御部121は、ステップS42に戻り、次の子個体を選択する。一方、ステップS46の判断が肯定された場合、すなわちM個全ての子個体を選択済みの場合、学習制御部121は、ステップS48に移行する。なお、本第1の実施形態では、ステップS34〜S46の処理が、図1のステップS106に相当する。本第1の実施形態では、上述したように、適応度算出部122は、低解像学習用データを用いて適応度を算出した結果に基づいて子個体を厳選し、厳選した子個体のみについて、高解像度の学習用データを用いて適応度を算出している。このため、すべての子個体について、高解像度の学習用データを用いた適応度の算出処理を行う場合に比べて、短時間で適応度の算出処理を行うことが可能となっている。
ステップS48に移行すると、学習制御部121は、ステップS30で選択された各親個体の適応度、およびステップS44で算出された各子個体の適応度の中から、最大適応度を特定し、最大適応度が所定の閾値より大きいか否かを判定する。学習制御部121は、最大適応度が閾値より大きい場合、ステップS54の処理に移行し、最大適応度が閾値以下の場合、ステップS50の処理に移行する。
ステップS50に移行すると、学習制御部121は、生存させる個体として、ステップS30で選択された各親個体と、ステップS32で生成された各子個体の中から、適応度が最大の個体を選択する(図1のステップS108参照)。さらに、学習制御部121は、残りの個体の中から生存させる個体を1つ選択する。この選択では、残りの個体それぞれの適応度に応じた確率で生存させる個体が選択される(ルーレット選択)。
次いで、ステップS52では、学習制御部121は、母集団11に含まれる個体のうちステップS30で選択された親個体を、ステップS50で選択された2つの個体に入れ替える(図1のステップS110参照)。これによって、母集団11の世代が更新される。その後は、ステップS30に戻り、上述したようにステップS30以降の処理が実行されることになる。
一方、ステップS48の判断が肯定され、ステップS54に移行すると、学習制御部121は、ステップS48で適応度が閾値より大きいと判定された個体に対応する画像処理プログラムをプログラム記憶部130に格納して、処理を終了する。
以上、詳細に説明したように、本第1の実施形態によると、学習制御部121は、母集団11に含まれる画像処理プログラム(親個体)に基づき、遺伝的プログラミングにおける次世代の画像処理プログラムの候補(子個体)を生成する(S32)。また、適応度算出部122は、学習用データを低解像度化した低解像学習用データを用いて、子個体の適応度を算出し(S36)、算出結果に基づいて、子個体を絞り込み(S40)、絞り込んだ子個体の適応度を学習用データを用いて算出する(S44)。そして、学習制御部121は、適応度算出部122の算出結果に基づいて、新たに利用する画像処理プログラムを決定し、プログラム記憶部130に格納する(S54)。すなわち、本第1の実施形態では、低解像学習用データを用いた適応度の簡易的な算出処理は子個体の全てについて行うものの、当該簡易的な算出処理で算出された適応度に基づいて子個体を厳選し、厳選された子個体のみに対して、解像度の高い学習用データを用いた適応度の算出処理を行うこととしている。これにより、新たに利用する画像処理プログラムを決定する場合のように、適応度が高い子個体を見つけ出したい場合において、高解像度の学習用データを用いた適応度の算出処理を、厳選した一部の子個体についてのみ行うようにすることができる。したがって、高解像度の学習用データを用いた適応度の算出処理の回数を減らすことができるため、適応度算出部122による処理に要する時間を短くすることができる。なお、実際のシミュレーション結果からは、縮小率sを0.5とすることで、適応度算出部122による処理に要する時間を50%短縮することができることが分かった。したがって、本第1の実施形態によれば、新たに利用する画像処理プログラムの決定に要する時間を短縮することができる。特に、子個体の木構造が複雑になるほど、木構造が示す画像処理プログラムを用いた入力画像の処理時間が長くなるが、本第1の実施形態を適用することで、処理時間の短縮を図ることができる。また、FA分野において、高解像度カメラを用いてより大きな撮影視野で微細な欠陥を検出する場合のように、入力画像の画像サイズが大きくなったとしても、画像処理プログラムを決定するために要する時間を許容範囲に収めることが可能となる。
また、本第1の実施形態では、初期個体の適応度の算出の際にも、ステップS16〜S28に示すように、ステップS34〜S46と同様の処理を行うこととしている。これにより、初期個体の適応度の算出に要する時間を短縮することができるので、この点からも、新たに利用する画像処理プログラムの決定に要する時間を短縮することができる。
また、本第1の実施形態では、低解像度化部123が、学習用データを低解像度化するため、学習用データを用意するだけで、上述した図4の処理を実現することができる。ただし、これに限らず、画像処理装置100から低解像度化部123を省略してもよい。この場合、画像処理装置100は、外部から低解像学習用データを取得するようにすればよい。
なお、上記第1の実施形態では、低解像度化部123が、学習用データに含まれる入力画像と目標画像の両方を低解像度化する場合について説明したが、これに限られるものではない。すなわち、低解像度化部123は、少なくとも入力画像を低解像度化すればよい。
≪第2の実施形態≫
以下、第2の実施形態について説明する。
図5は、本第2の実施形態の画像処理装置100の処理を示すフローチャートである。図5の処理と上述した第1の実施形態の処理(図4)とを比較するとわかるように、本第2の実施形態では、ステップS11の処理(縮小率sの算出処理)が追加されている。また、本第2の実施形態では、図4のステップS22、S28,S40,S46に代えて、ステップS22’、S28’、S40’、S46’を実行することとしている。以下、第1の実施形態と異なる部分を中心に、第2の実施形態について説明する。
上述した第1の実施形態では、縮小率sを予め定めておくこととしたが、本第2の実施形態では、図5のステップS11において、図6のフローチャートに沿った処理を実行することで、縮小率sを自動的に決定する。
図6の処理では、まず、ステップS60において、学習制御部121が、許容誤差σを設定する。なお、許容誤差σについては、予め入力されている値を用いるものとする。
次いで、ステップS62では、学習制御部121は、学習用データを用いて、母集団に含まれる画像処理プログラムの適応度Cを算出する。なお、学習用データが複数存在する場合には、各学習用データを用いて適応度Cをそれぞれ算出する。
次いで、ステップS64では、学習制御部121は、変数Bを0.9に設定する。
次いで、ステップS66では、低解像度化部123が、学習用データを縮小率Bで低解像度化する。なお、学習用データが複数存在する場合には、各学習用データを低解像度化する。
次いで、ステップS68では、学習制御部121が、ステップS66において低解像度化した学習用データを用いて、母集団11に含まれる画像処理プログラムの適応度cを算出する。この場合においても、低解像度化した学習用データが複数存在する場合には、各低解像度化した学習用データを用いて適応度cをそれぞれ算出する。
次いで、ステップS70では、学習制御部121が、適応度Cと適応度cの誤差(誤差平均)dを算出する。学習用データが複数存在する場合には、1つ目の学習用データを用いて算出した適応度Cと、1つ目の学習用データを低解像度化したものを用いて算出した適応度の差分、2つ目の学習用データを用いて算出した適応度Cと、2つ目の学習用データを低解像度化したものを用いて算出した適応度の差分、…というように差分を複数算出し、複数の差分の平均を誤差平均dとする。
次いで、ステップS72では、dがσよりも大きいか否かを判断する。このステップS72の判断が否定された場合には、ステップS74に移行し、学習制御部121は、縮小率sを変数Bの現在の値とする。次いで、ステップS76では、学習制御部121は、変数Bを0.1だけ小さくし、ステップS66に戻る。ステップS66に戻った場合、新たに設定された変数Bを用いて、ステップS66以降の処理を実行する。そして、ステップS72の判断が肯定された段階で、図6の全処理(ステップS11の全処理)を終了する。
なお、図6の処理が終了した場合、縮小率sは、誤差平均dがσよりも大きくなる直前のBの値となる(ステップS74参照)。
以上のように、本第2の実施形態では、ステップS11の処理(図6の処理)を実行することで、縮小率sとして適切な値を自動的に定めることが可能となっている。なお、上述した変数Bの初期値=0.9や、ステップS76でBの値を減算する値=0.1は、一例である。したがって、各値としてその他の値を設定してもよい。
また、本第2の実施形態では、図5のステップS22’において、適応度が上位n%の個体を特定し、ステップS40’において、適応度が上位m%の子個体を特定することとしている。このように、学習用データを用いた適応値の算出に用いる個体や子個体を特定する際に、所定割合の個体や子個体を特定するようにすることで、母集団に含まれる個体数によらずに、適切な処理を行うことができる。
なお、上記第2の実施形態のステップS11の処理は、第1の実施形態で説明した図4のステップS10とステップS12の処理の間に行うこととしてもよい。
なお、上記の処理機能は、コンピュータによって実現することができる。その場合、処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体(ただし、搬送波は除く)に記録しておくことができる。
プログラムを流通させる場合には、例えば、そのプログラムが記録されたDVD(Digital Versatile Disc)、CD−ROM(Compact Disc Read Only Memory)などの可搬型記録媒体の形態で販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。
100 画像処理装置(情報処理装置)
107a カメラ(撮像装置)
121 学習制御部(生成部、決定部)
122 適応度算出部(第1評価部、第2評価部)
123 低解像度化部(作成部)

Claims (5)

  1. 撮像装置により撮像された画像に対し、木構造を有する画像処理プログラムを用いて画像処理する情報処理装置であって、
    前記画像処理プログラムに基づき、遺伝的プログラミングにおける次世代の画像処理プログラムの候補を複数生成する生成部と、
    入力画像と目標となる処理結果とを含む学習用データのうち少なくとも前記入力画像解像度を低下させることによって生成された低解像学習用データを用いて、前記次世代の画像処理プログラムの複数の候補の各々の適応度を評価する第1評価部と、
    前記第1評価部の評価結果に基づいて、前記次世代の画像処理プログラムの複数の候補に対して絞り込みを行い、絞り込んだ前記次世代の画像処理プログラムの複数の候補の各々の適応度を、前記学習用データを用いて評価する第2評価部と、
    前記第2評価部の評価結果に基づいて、前記次世代の画像処理プログラムを決定する決定部と、を備え
    前記第1評価部は、前記適応度を評価する際に、前記解像度を低下させる際に用いられた前記入力画像の縮小率に合わせて、前記画像処理プログラムが有する画像処理フィルタのパラメータを調整することを特徴とする情報処理装置。
  2. 前記第2評価部は、前記次世代の画像処理プログラムの複数の候補の中から、前記第1評価部が評価した前記適応度が上位所定割合の候補又は上位所定数の候補に絞り込むことを特徴とする請求項に記載の情報処理装置。
  3. 前記低解像学習用データを作成する作成部を更に備え、
    前記作成部は、前記縮小率の値を段階的に変更しながら、前記入力画像の解像度を低下させる処理と、前記低解像学習用データを用いた前記画像処理プログラムの前記適応度の評価と、を繰り返し、繰り返しの結果得られた前記適応度に基づいて、前記低解像学習用データを作成する際に用いる前記縮小率を決定する、ことを特徴とする請求項1又は2に記載の情報処理装置。
  4. 撮像装置により撮像された画像に対し、木構造を有する画像処理プログラムを用いて画像処理する情報処理方法であって、
    前記画像処理プログラムに基づき、遺伝的プログラミングにおける次世代の画像処理プログラムの候補を複数生成し、
    入力画像と目標となる処理結果とを含む学習用データのうち少なくとも前記入力画像解像度を低下させることによって生成された低解像学習用データを用いて、前記次世代の画像処理プログラムの複数の候補の各々の適応度を評価し、
    前記低解像学習用データを用いた評価結果に基づいて、前記次世代の画像処理プログラムの複数の候補に対して絞り込みを行い、絞り込んだ前記次世代の画像処理プログラムの複数の候補の各々の適応度を、前記学習用データを用いて評価し、
    前記学習用データを用いた評価結果に基づいて、前記次世代の画像処理プログラムを決定する、処理をコンピュータが実行し、
    前記次世代の画像処理プログラムの複数の候補の各々の適応度を評価する際に、前記解像度を低下させる際に用いられた前記入力画像の縮小率に合わせて、前記画像処理プログラムが有する画像処理フィルタのパラメータを調整することを特徴とする情報処理方法。
  5. コンピュータに、撮像装置により撮像された画像に対し、木構造を有する画像処理プログラムを用いて画像処理させるための情報処理プログラムであって、
    前記画像処理プログラムに基づき、遺伝的プログラミングにおける次世代の画像処理プログラムの候補を複数生成し、
    入力画像と目標となる処理結果とを含む学習用データのうち少なくとも前記入力画像解像度を低下させることによって生成された低解像学習用データを用いて、前記次世代の画像処理プログラムの複数の候補の各々の適応度を評価し、
    前記低解像学習用データを用いた評価結果に基づいて、前記次世代の画像処理プログラムの複数の候補に対して絞り込みを行い、絞り込んだ前記次世代の画像処理プログラムの複数の候補の各々の適応度を、前記学習用データを用いて評価し、
    前記学習用データを用いた評価結果に基づいて、前記次世代の画像処理プログラムを決定する、処理を前記コンピュータに実行させ
    前記コンピュータに前記次世代の画像処理プログラムの複数の候補の各々の適応度を評価する処理を実行させる際に、前記解像度を低下させる際に用いられた前記入力画像の縮小率に合わせて、前記画像処理プログラムが有する画像処理フィルタのパラメータを調整させることを特徴とする情報処理プログラム。
JP2019506890A 2017-03-24 2017-03-24 情報処理装置、情報処理方法及び情報処理プログラム Active JP6798607B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/012020 WO2018173257A1 (ja) 2017-03-24 2017-03-24 情報処理装置、情報処理方法及び情報処理プログラム

Publications (2)

Publication Number Publication Date
JPWO2018173257A1 JPWO2018173257A1 (ja) 2019-11-07
JP6798607B2 true JP6798607B2 (ja) 2020-12-09

Family

ID=63585183

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019506890A Active JP6798607B2 (ja) 2017-03-24 2017-03-24 情報処理装置、情報処理方法及び情報処理プログラム

Country Status (3)

Country Link
US (1) US11182650B2 (ja)
JP (1) JP6798607B2 (ja)
WO (1) WO2018173257A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11461657B2 (en) * 2019-05-10 2022-10-04 Fujitsu Limited Data augmentation in training deep neural network (DNN) based on genetic model

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002366929A (ja) 2001-06-11 2002-12-20 Printing Bureau Ministry Of Finance 印刷物の不良欠点抽出処理方法及び装置
JP2004241943A (ja) * 2003-02-04 2004-08-26 Fuso Precsion Co Ltd 電子製版で使用されるレイアウト原稿に嵌め込まれた画像を差し替えるためのプログラムおよび装置
JP2008299687A (ja) 2007-06-01 2008-12-11 National Printing Bureau 画像処理構築方法
JP2009122939A (ja) 2007-11-14 2009-06-04 Bridgestone Corp タイヤ検査用特徴抽出プログラム作成装置及びタイヤ検査装置
JP5181825B2 (ja) * 2008-05-19 2013-04-10 株式会社ニコン 画像処理装置、画像処理方法およびプログラム
JP5479944B2 (ja) 2010-02-26 2014-04-23 東日本高速道路株式会社 舗装路面のクラックの抽出と損傷レベルの評価方法
JP6179224B2 (ja) * 2013-07-02 2017-08-16 富士通株式会社 画像処理フィルタの作成装置及びその方法
US20170287217A1 (en) * 2016-03-30 2017-10-05 Kahyun Kim Preceding traffic alert system and method

Also Published As

Publication number Publication date
WO2018173257A1 (ja) 2018-09-27
US11182650B2 (en) 2021-11-23
JPWO2018173257A1 (ja) 2019-11-07
US20200005092A1 (en) 2020-01-02

Similar Documents

Publication Publication Date Title
JP6511986B2 (ja) プログラム生成装置、プログラム生成方法および生成プログラム
US10489710B2 (en) Program generation apparatus and program generation method
JP6236731B1 (ja) 超解像度処理装置、超解像度処理方法およびコンピュータプログラム
JP7028322B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
US10303447B2 (en) Program generating apparatus and method therefor
JP6344469B2 (ja) プログラム生成装置、プログラム生成方法およびプログラム
JP6607261B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US20210295475A1 (en) Method and apparatus for generating image, and electronic device
CN108876847B (zh) 图像定位方法、装置、系统和存储介质
US11328176B2 (en) Information processing apparatus, information processing method, and storage medium
CN111652054A (zh) 关节点检测方法、姿态识别方法及装置
JP2022520511A (ja) ビデオ分析方法及びそれに関連するモデル訓練方法、機器、装置
CN112419342A (zh) 图像处理方法、装置、电子设备和计算机可读介质
JP6798607B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JPWO2019220608A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP2019153223A (ja) 画像生成装置、画像生成方法および画像生成プログラム
JP4281453B2 (ja) 信号処理装置および信号処理方法
CN111726592B (zh) 获取图像信号处理器的架构的方法和装置
US10949713B2 (en) Image analyzing device with object detection using selectable object model and image analyzing method thereof
JP5570895B2 (ja) 検出器構成装置、方法、及びプログラム
CN112131995A (zh) 一种动作分类方法、装置、计算设备、以及存储介质
JP6544435B2 (ja) プログラム生成装置、プログラム生成方法および生成プログラム
JP7294031B2 (ja) 情報処理装置、情報処理方法、プログラム、予測装置および予測方法
US20240193732A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
CN113221876A (zh) 目标检测方法、设备及存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190527

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200701

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201020

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201102

R150 Certificate of patent or registration of utility model

Ref document number: 6798607

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150