JP6570698B1 - 設定装置、設定方法及び設定プログラム - Google Patents

Abstract

【課題】識別モデルにより画像を識別した結果をより高速に精緻化するイジングマシンを設定することができる設定装置、設定方法及び設定プログラムを提供する。【解決手段】設定装置は、二値変数を引数とする目的関数を最小化又は最大化する二値変数の値を確率的に求めるイジングマシンを設定する設定装置であって、画像を識別モデルに入力した場合に、画像を構成する複数の画素に対して識別モデルにより出力される識別値に基づいて、目的関数に含まれる二値変数の１次関数の係数を設定する第１設定部と、識別値が複数の画素にわたって平滑化されるように、目的関数に含まれる二値変数の２次関数の係数を設定する第２設定部と、を備える。【選択図】図１

Description

本発明は、設定装置、設定方法及び設定プログラムに関する。

従来、１枚の画像に写された複数の対象が占める領域を識別するセグメンテーションや、同じ場面を異なる位置から撮影した２枚の画像の視差を識別するステレオマッチングといった画像処理の技術が研究されている。

例えば、下記非特許文献１には、ＣＮＮ（Convolutional Neural Network）による画像セグメンテーションの結果を、条件付き確率場（Conditional Random Fields；ＣＲＦ）によって精緻化する技術が記載されている。非特許文献１に記載の技術によれば、高精度な画像セグメンテーションを従来のコンピュータによって０．２秒程度で実行可能である。

また、下記非特許文献２には、ＣＮＮによるステレオマッチングの結果を、ＣＲＦによって精緻化する技術が記載されている。非特許文献２に記載の技術によれば、高精度なステレオマッチングを従来のコンピュータによって４秒程度で実行可能である。

P.Krahenbuhl and V.Koltun, "Efficient Inference in Fully Connected CRFs with Gaussian Edge Potentials", 2011, Advances in Neural Information Processing Systems 24 (NIPS 2011) J.Zbontar and Y.LeCun, "Stereo matching by training a convolutional neural network to compare image patches", 2016, Journal of Machine Learning Research, Volume 17, Issue 1

非特許文献１及び非特許文献２では、従来のノイマン型コンピュータを用いてＣＲＦの最大事後確率（Maximum A Posteriori；ＭＡＰ）推定を行うことで、ＣＮＮによる識別結果を精緻化している。これらの技術によって高い識別精度が達成されるが、例えば自動運転のために画像セグメンテーションやステレオマッチングを用いる場合、処理速度をさらに速める必要がある。

近年、非ノイマン型コンピュータの一種であり、組合せ最適化問題の高速処理に適したイジングマシンに関する研究が進められている。イジングマシンは、二値変数を引数とする目的関数について、目的関数を最小化する二値変数の値を求める装置である。ここで、目的関数を解くべき問題に対応するものに設定することで、イジングマシンによってその問題の解を高速に求めることができる。

しかしながら、イジングマシンによる処理を実行するためには、問題毎に目的関数を設定する必要があり、識別モデルにより画像を識別した結果を精緻化するための目的関数はこれまで知られていない。

そこで、本発明は、識別モデルにより画像を識別した結果をより高速に精緻化するイジングマシンを設定することができる設定装置、設定方法及び設定プログラムを提供する。

本発明の一態様に係る設定装置は、二値変数を引数とする目的関数を最小化又は最大化する二値変数の値を確率的に求めるイジングマシンを設定する設定装置であって、画像を識別モデルに入力した場合に、画像を構成する複数の画素に対して識別モデルにより出力される識別値に基づいて、目的関数に含まれる二値変数の１次関数の係数を設定する第１設定部と、識別値が複数の画素にわたって平滑化されるように、目的関数に含まれる二値変数の２次関数の係数を設定する第２設定部と、を備える。

この態様によれば、識別モデルにより出力される識別値に基づいて、目的関数に含まれる二値変数の１次関数の係数を設定し、識別値が複数の画素にわたって平滑化されるように、目的関数に含まれる二値変数の２次関数の係数を設定することで、画像を構成する画素に対して識別モデルにより出力された識別値をより高速に精緻化するイジングマシンを設定することができる。

上記態様において、第２設定部は、複数の画素のうち２つの画素について識別値が等しい場合に０となり、２つの画素について識別値が異なる場合に２つの画素の画素値に関する関数となるように、２次関数の係数を設定してよい。

この態様によれば、複数の画素のうち２つの画素について識別値が等しい場合に、識別値を変化させず、複数の画素のうち２つの画素について識別値が異なる場合に、識別値が複数の画素にわたって平滑化されるように、目的関数に含まれる二値変数の２次関数の係数を設定することができる。

上記態様において、目的関数は、二値変数に関する拘束条件を与える項を含んでよい。

この態様によれば、二値変数が満たすべき条件を拘束条件として与えることができ、目的関数を最小化又は最大化し、さらに拘束条件を満たすような二値変数の値を確率的に求めるイジングマシンを設定することができる。

上記態様において、識別モデルは、画像に写された複数の対象を識別するセグメンテーションモデルであり、複数の画素が複数の対象のいずれに対応するか表すラベルを識別値として出力してよい。

この態様によれば、セグメンテーションモデルによる画像のセグメンテーションをより高速に精緻化するイジングマシンを設定することができる。

上記態様において、第１設定部は、複数の画素にラベルが付される確率となるように、１次関数の係数を設定し、第２設定部は、複数の画素のうち２つの画素についてラベルが等しい場合に０となり、２つの画素についてラベルが異なる場合に２つの画素の画素値に関する関数となるように、２次関数の係数を設定してよい。

この態様によれば、複数の画素のうち２つの画素について識別値が等しい場合に、複数の対象のいずれに対応するか表すラベルを変化させず、複数の画素のうち２つの画素について識別値が異なる場合に、ラベルが複数の画素にわたって平滑化されるように、目的関数に含まれる二値変数の２次関数の係数を設定することができる。

上記態様において、複数の画素の番号をｉ又はｊ（ｉ，ｊ＝１〜Ｎ）と表し、複数の画素が複数の対象のいずれに対応するか表すラベルをｋ又はｋ’（ｋ，ｋ’＝１〜Ｋ）と表し、０又は１の値を取る二値変数をｘ_ikと表し、画像のｉ番目の画素の画素値をｆ_iと表し、ｉ番目の画素の画素値ｆ_iとｊ番目の画素の画素値ｆ_jの関数をｋ（ｆ_i，ｆ_j）と表すとき、第１設定部は、１次関数の係数ａ_ikを、識別モデルによって画像のｉ番目の画素にラベルｋが付される確率ａ_ikとなるように設定し、第２設定部は、２次関数の係数ｂ_ikjk'を、画像のｉ番目の画素にラベルｋが付され、ｉ番目の画素の近傍Ｎ（ｉ）に属するｊ番目の画素にラベルｋ’が付され、ｋ＝ｋ’の場合にｂ_ikjk'＝０となり、ｋ≠ｋ’の場合にｂ_ikjk'＝ｋ（ｆ_i，ｆ_j）となるように設定してよい。

この態様によれば、識別モデルによって画素にラベルが付される確率を再現するように、目的関数に含まれる二値変数の１次関数の係数を設定し、複数の画素のうち２つの画素について識別値が等しい場合にラベルを変化させず、複数の画素のうち２つの画素について識別値が異なる場合に、ラベルが複数の画素にわたって平滑化されるように、目的関数に含まれる二値変数の２次関数の係数を設定することができる。

上記態様において、目的関数をＥ（ｘ）と表すとき、Ｅ（ｘ）＝−Σ_i=1 ^NΣ_k=1 ^Kａ_ikｘ_ik＋Σ_i=1 ^NΣ_j∈_N(i)Σ_k=1 ^KΣ_k'=1 ^Kｂ_ikjk'ｘ_ikｘ_jk'＋αＰ（ｘ）であり、αは定数であり、Ｐ（ｘ）は、Ｐ（ｘ）＝Σ_i=1 ^N（Σ_k=1 ^Kｘ_ik−１）²と表される拘束条件を与える項であってよい。

この態様によれば、複数の画素が、複数の対象のいずれか１つに対応するように拘束条件を課して、セグメンテーションモデルにより出力されたラベルをより高速に精緻化するイジングマシンを設定することができる。

上記態様において、識別モデルは、同じ場面を異なる位置から撮影した２枚の画像の対応点を識別するステレオマッチングモデルであり、２枚の画像の一方の画像の画素と他方の画像の画素との相関を表す数値を識別値として出力してよい。

この態様によれば、ステレオマッチングモデルによる２枚の画像の相関算出をより高速に精緻化するイジングマシンを設定することができる。

上記態様において、第１設定部は、相関を表す数値となるように、１次関数の係数を設定し、第２設定部は、２枚の画像の一方の画像の画素と他方の画像の画素との視差が等しい場合に０となり、視差が異なる場合に２枚の画像の一方の画像の画素と他方の画像の画素の画素値に関する関数となるように、２次関数の係数を設定してよい。

この態様によれば、２枚の画像の一方の画像の画素と他方の画像の画素との視差が等しい場合に、視差を変化させず、２枚の画像の一方の画像の画素と他方の画像の画素との視差が異なる場合に、視差が複数の画素にわたって平滑化されるように、目的関数に含まれる二値変数の２次関数の係数を設定することができる。

上記態様において、複数の画素の番号をｉ又はｊ（ｉ，ｊ＝１〜Ｎ）と表し、２枚の画像における複数の画素の視差をｋ又はｋ’（ｋ，ｋ’＝１〜Ｋ）と表し、０又は１の値を取る二値変数をｘ_ikと表し、画像のｉ番目の画素の画素値をｆ_iと表し、ｉ番目の画素の画素値ｆ_iとｊ番目の画素の画素値ｆ_jの関数をｗ（ｆ_i，ｆ_j）と表すとき、第１設定部は、１次関数の係数ａ_ikを、識別モデルによって２枚の画像の一方の画像のｉ番目の画素と他方の画像のｉ＋ｋ番目の画素との相関を表す数値ａ_ikとなるように設定し、第２設定部は、２次関数の係数ｂ_ikjk'を、一方の画像のｉ番目の画素の２枚の画像における視差がｋであり、一方の画像のｊ番目の画素であって、ｉ番目の画素の近傍Ｎ（ｉ）に属する画素の２枚の画像における視差がｋ’であり、ｋ＝ｋ’の場合にｂ_ikjk'＝０となり、ｋ≠ｋ’の場合にｂ_ikjk'＝ｗ（ｆ_i，ｆ_j）となるように設定してよい。

この態様によれば、識別モデルによって２枚の画像の画素の相関を表す数値を再現するように、目的関数に含まれる二値変数の１次関数の係数を設定し、２枚の画像の一方の画像の画素と他方の画像の画素との視差が等しい場合に、視差を変化させず、２枚の画像の一方の画像の画素と他方の画像の画素との視差が異なる場合に、視差が複数の画素にわたって平滑化されるように、目的関数に含まれる二値変数の２次関数の係数を設定することができる。

上記態様において、目的関数をＥ（ｘ）と表すとき、Ｅ（ｘ）＝−Σ_i=1 ^NΣ_k=1 ^Kａ_ikｘ_ik＋Σ_i=1 ^NΣ_j∈_N(i)Σ_k=1 ^KΣ_k'=1 ^Kｂ_ikjk'ｘ_ikｘ_jk'＋αＰ（ｘ）であり、αは定数であり、Ｐ（ｘ）は、Ｐ（ｘ）＝Σ_i=1 ^N（Σ_k=1 ^Kｘ_ik−１）²と表される拘束条件を与える項であってよい。

この態様によれば、複数の画素が、複数の視差のいずれか１つに対応するように拘束条件を課して、ステレオマッチングモデルにより出力された２枚の画像の画素の相関をより高速に精緻化し、視差を算出するイジングマシンを設定することができる。

本発明の他の態様に係る設定方法は、二値変数を引数とする目的関数を最小化又は最大化する二値変数の値を確率的に求めるイジングマシンを設定する設定方法であって、画像を識別モデルに入力した場合に、画像を構成する複数の画素に対して識別モデルにより出力される識別値に基づいて、目的関数に含まれる二値変数の１次関数の係数を設定することと、識別値が複数の画素にわたって平滑化されるように、目的関数に含まれる二値変数の２次関数の係数を設定することと、を含む。

この態様によれば、識別モデルにより出力される識別値に基づいて、目的関数に含まれる二値変数の１次関数の係数を設定し、識別値が複数の画素にわたって平滑化されるように、目的関数に含まれる二値変数の２次関数の係数を設定することで、画像を構成する画素に対して識別モデルにより出力された識別値をより高速に精緻化するイジングマシンを設定することができる。

本発明の他の態様に係る設定プログラムは、二値変数を引数とする目的関数を最小化又は最大化する二値変数の値を少なくとも確率的に求めるイジングマシンを、設定装置により設定する設定プログラムであって、設定装置に備えられたコンピュータを、画像を識別モデルに入力した場合に、画像を構成する複数の画素に対して識別モデルにより出力される識別値に基づいて、目的関数に含まれる二値変数の１次関数の係数を設定する第１設定部、及び識別値が複数の画素にわたって平滑化されるように、二値変数の２次関数の係数を設定する第２設定部、として機能させる。

この態様によれば、識別モデルにより出力される識別値に基づいて、目的関数に含まれる二値変数の１次関数の係数を設定し、識別値が複数の画素にわたって平滑化されるように、目的関数に含まれる二値変数の２次関数の係数を設定することで、画像を構成する画素に対して識別モデルにより出力された識別値をより高速に精緻化するイジングマシンを設定することができる。

本発明によれば、識別モデルにより画像を識別した結果をより高速に精緻化するイジングマシンを設定することができる設定装置、設定方法及び設定プログラムが提供される。

本発明の実施形態に係る画像処理システムの概要を示す図である。 本実施形態に係る設定装置の機能ブロックを示す図である。 本実施形態に係る設定装置の物理的構成を示す図である。 本実施形態に係る画像処理システムにより実行される画像処理のフローチャートである。 本実施形態に係る設定装置により実行される２次関数の係数の設定処理のフローチャートである。

以下、本発明の一側面に係る実施の形態（以下、「本実施形態」と表記する。）を、図面に基づいて説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。

図１は、本発明の実施形態に係る画像処理システム１００の概要を示す図である。画像処理システム１００は、設定装置１０と、イジングマシン２０と、ユーザ端末３０と、画像処理装置４０とを備える。設定装置１０、イジングマシン２０、ユーザ端末３０及び画像処理装置４０は、互いに通信ネットワークＮを介して接続される。なお、同図に示す構成は画像処理システム１００の一例であり、設定装置１０、イジングマシン２０、ユーザ端末３０及び画像処理装置４０は必ずしも別体の装置でなくてもよく、これらの一部が１つの装置により構成されてもよい。

設定装置１０は、二値変数を引数とする目的関数を最小化又は最大化する二値変数の値を確率的に求めるイジングマシン２０を設定する。設定装置１０は、従来のコンピュータ、すなわちノイマン型コンピュータで構成されてよい。本明細書では、設定装置１０によって、二値変数を引数とする目的関数を最小化する二値変数の値を確率的に求めるイジングマシン２０を設定する場合について説明する。しかしながら、目的関数全体の符号を逆にすれば、二値変数を引数とする目的関数を最大化する二値変数の値を確率的に求めるイジングマシン２０を設定することもできる。

イジングマシン２０は、二値変数を引数とする目的関数を最小化又は最大化する二値変数の値を確率的に求める装置であってよく、二値変数は、古典ビットや量子ビットで実現されてよい。イジングマシン２０は、目的関数がイジングモデルの形式でハードウェアによって実装された非ノイマン型コンピュータであってよく、自然計算（natural computing）を実行する計算機であってもよい。イジングマシン２０は、量子アニーリングマシンやＦＰＧＡ（Field-Programmable Gate Array）によって構成されてよく、二値変数を引数とする目的関数を最小化又は最大化する二値変数の値を確率的に求めるものであればどのようなハードウェアによって構成されるものであってもよく、目的関数の最小又は最大を求める過程において量子現象を利用していてもよいし、利用していなくてもよい。目的関数は、二値変数の１次関数と２次関数とを含んでよく、設定装置１０は、用途に応じて１次関数の係数と２次関数の係数とを設定してよい。

ユーザ端末３０は、従来のコンピュータ、すなわちノイマン型コンピュータで構成されてよく、例えばパーソナルコンピュータやスマートフォンで構成されてよい。ユーザ端末３０は、画像処理装置４０及びイジングマシン２０による処理の対象となる画像の指定を行ったり、設定装置１０によりイジングマシン２０に設定する目的関数の種類の指定を行ったり、イジングマシン２０による演算結果を確認したりするために用いられてよい。

画像処理装置４０は、画像の入力を受け付けて、識別モデルによって、画像を構成する複数の画素に関する識別値を出力する。画像処理装置４０は、従来のコンピュータ、すなわちノイマン型コンピュータで構成されてよい。

識別モデルは、例えば、画像に写された複数の対象を識別するセグメンテーションモデルであり、複数の画素が複数の対象のいずれに対応するか表すラベルを識別値として出力するものであってよい。セグメンテーションモデルは、ＣＮＮを含んでよい。設定装置１０によって、セグメンテーションモデルから出力される識別値を精緻化する目的関数をイジングマシン２０に設定することで、画像のセグメンテーションをより高速に精緻化するイジングマシン２０を設定することができる。

また、識別モデルは、同じ場面を異なる位置から撮影した２枚の画像の対応点を識別するステレオマッチングモデルであり、２枚の画像の一方の画像の画素と他方の画像の画素との相関を表す数値を識別値として出力するものであってもよい。ステレオマッチングモデルは、ＣＮＮを含んでよい。設定装置１０によって、ステレオマッチングモデルから出力される識別値を精緻化する目的関数をイジングマシン２０に設定することで、ステレオマッチングモデルによる２枚の画像の相関算出をより高速に精緻化するイジングマシンを設定することができる。

図２は、本実施形態に係る設定装置１０の機能ブロックを示す図である。設定装置１０は、第１設定部１１、第２設定部１２及び拘束条件設定部１３を備える。

第１設定部１１は、画像を識別モデル４１に入力した場合に、画像を構成する複数の画素に対して識別モデル４１により出力される識別値に基づいて、目的関数に含まれる二値変数の１次関数の係数を設定する。例えば、識別モデル４１が、複数の画素が複数の対象のいずれに対応するか表すラベルを識別値として出力するセグメンテーションモデルの場合、第１設定部１１は、複数の画素にラベルが付される確率となるように、１次関数の係数を設定してよい。また、識別モデル４１が、２枚の画像の一方の画像の画素と他方の画像の画素との相関を表す数値を識別値として出力するステレオマッチングモデルの場合、第１設定部１１は、相関を表す数値となるように、１次関数の係数を設定してよい。

第２設定部１２は、識別値が複数の画素にわたって平滑化されるように、目的関数に含まれる二値変数の２次関数の係数を設定する。このように、識別モデル４１により出力される識別値に基づいて、目的関数に含まれる二値変数の１次関数の係数を設定し、識別値が複数の画素にわたって平滑化されるように、目的関数に含まれる二値変数の２次関数の係数を設定することで、画像を構成する画素に対して識別モデル４１により出力された識別値をより高速に精緻化するイジングマシン２０を設定することができる。

第２設定部１２は、複数の画素のうち２つの画素について識別値が等しい場合に０となり、２つの画素について識別値が異なる場合に２つの画素の画素値に関する関数となるように、２次関数の係数を設定してよい。これにより、複数の画素のうち２つの画素について識別値が等しい場合に、識別値を変化させず、複数の画素のうち２つの画素について識別値が異なる場合に、識別値が複数の画素にわたって平滑化されるように、目的関数に含まれる二値変数の２次関数の係数を設定することができる。

拘束条件設定部１３は、目的関数に含まれる二値変数に関する拘束条件を与える項を設定する。拘束条件設定部１３により、二値変数が満たすべき条件を拘束条件として与えることができ、目的関数を最小化又は最大化し、さらに拘束条件を満たすような二値変数の値を確率的に求めるイジングマシンを設定することができる。

識別モデル４１が、複数の画素が複数の対象のいずれに対応するか表すラベルを識別値として出力するセグメンテーションモデルの場合、第２設定部１２は、複数の画素のうち２つの画素についてラベルが等しい場合に０となり、２つの画素についてラベルが異なる場合に２つの画素の画素値に関する関数となるように、２次関数の係数を設定してよい。これにより、複数の画素のうち２つの画素について識別値が等しい場合に、複数の対象のいずれに対応するか表すラベルを変化させず、複数の画素のうち２つの画素について識別値が異なる場合に、ラベルが複数の画素にわたって平滑化されるように、目的関数に含まれる二値変数の２次関数の係数を設定することができる。

より具体的には、画像を構成する複数の画素の番号をｉ又はｊ（ｉ，ｊ＝１〜Ｎ）と表し、複数の画素が複数の対象のいずれに対応するか表すラベルをｋ又はｋ’（ｋ，ｋ’＝１〜Ｋ）と表し、０又は１の値を取る二値変数をｘ_ikと表し、画像のｉ番目の画素の画素値をｆ_iと表し、ｉ番目の画素の画素値ｆ_iとｊ番目の画素の画素値ｆ_jの関数をｋ（ｆ_i，ｆ_j）と表すとき、第１設定部１１は、１次関数の係数ａ_ikを、識別モデル４１によって画像のｉ番目の画素にラベルｋが付される確率ａ_ikとなるように設定してよい。ここで、ラベルは、複数の対象物のいずれかに一対一に対応するものであってよく、異なる対象物の数を表すＫは任意である。二値変数ｘ_ik＝１は、ｉ番目の画素がラベルｋの対象物に対応することを表し、二値変数ｘ_ik＝０は、ｉ番目の画素がラベルｋの対象物に対応しないことを表してよい。なお、二値変数は、必ずしも画素毎に設定されなくてもよく、隣接する複数の画素をひとまとまりとして、それらの画素が複数の対象物のいずれに対応するものであるかを二値変数によって表してもよい。

また、第２設定部１２は、２次関数の係数ｂ_ikjk'を、画像のｉ番目の画素にラベルｋが付され、ｉ番目の画素の近傍Ｎ（ｉ）に属するｊ番目の画素にラベルｋ’が付され、ｋ＝ｋ’の場合にｂ_ikjk'＝０となり、ｋ≠ｋ’の場合にｂ_ikjk'＝ｋ（ｆ_i，ｆ_j）となるように設定してよい。ここで、画素値ｆ_iは、画素のＲＧＢ値Ｉ_iであったり、画素の画像における位置を表す値ｐ_iであったりしてよい。そして、ｋ（ｆ_i，ｆ_j）＝ｗ⁽¹⁾ｅｘｐ（−｜ｐ_i−ｐ_j｜²／２θ_α ²−｜Ｉ_i−Ｉ_j｜²／２θ_β ²）＋ｗ⁽²⁾ｅｘｐ（−｜ｐ_i−ｐ_j｜²／２θ_γ ²）であってよい。ここで、ｗ⁽¹⁾、ｗ⁽²⁾、θ_α、θ_β及びθ_γはパラメータである。また、ｉ番目の画素の近傍Ｎ（ｉ）は、例えば、ｉ番目の画素に隣接する画素の集合であってよい。関数ｋ（ｆ_i，ｆ_j）は、２つの画素の画素値が近いほど大きな値となる関数である。そのため、近傍の２つの画素に異なるラベルが付され、それらの画素の画素値が近い場合に、目的関数の値が大きくなり、そのようなラベル付けでは目的関数の最小が実現できず、ラベルの変更が促されることとなる。一方、近傍の２つの画素に異なるラベルが付され、それらの画素の画素値の差がパラメータと比較して十分に大きい場合、目的関数の値はほとんど大きくならず、そのようなラベル付けで目的関数の最小が実現できることとなる。このように、識別モデル４１によって画素にラベルが付される確率を再現するように、目的関数に含まれる二値変数の１次関数の係数を設定し、複数の画素のうち２つの画素について識別値が等しい場合にラベルを変化させず、複数の画素のうち２つの画素について識別値が異なる場合に、ラベルが複数の画素にわたって平滑化されるように、目的関数に含まれる二値変数の２次関数の係数を設定することができる。

また、目的関数をＥ（ｘ）と表すとき、Ｅ（ｘ）＝−Σ_i=1 ^NΣ_k=1 ^Kａ_ikｘ_ik＋Σ_i=1 ^NΣ_j∈_N(i)Σ_k=1 ^KΣ_k'=1 ^Kｂ_ikjk'ｘ_ikｘ_jk'＋αＰ（ｘ）であってよい。ここで、αは定数である。また、Ｐ（ｘ）は、Ｐ（ｘ）＝Σ_i=1 ^N（Σ_k=1 ^Kｘ_ik−１）²と表される拘束条件を与える項である。拘束条件は、二値変数ｘ_ikがいずれか１つのラベルについて１であり、他のラベルについて０であるという条件であり、１つの画素に１つのラベルが付されることを保証する。このように、複数の画素が、複数の対象のいずれか１つに対応するように拘束条件を課して、セグメンテーションモデルにより出力されたラベルをより高速に精緻化するイジングマシン２０を設定することができる。このような目的関数Ｅ（ｘ）をイジングマシン２０に設定することで、目的関数を最小化する二値変数の値を確率的に求めることができる。なお、上記の目的関数Ｅ（ｘ）全体にマイナスを掛けたものをイジングマシン２０に設定することで、目的関数を最大化する二値変数の値を確率的に求めることができる。

また、識別モデル４１が、２枚の画像の一方の画像の画素と他方の画像の画素との相関を表す数値を識別値として出力するステレオマッチングモデルの場合、第２設定部１２は、２枚の画像の一方の画像の画素と他方の画像の画素との視差が等しい場合に０となり、視差が異なる場合に２枚の画像の一方の画像の画素と他方の画像の画素の画素値に関する関数となるように、２次関数の係数を設定してよい。これにより、２枚の画像の一方の画像の画素と他方の画像の画素との視差が等しい場合に、視差を変化させず、２枚の画像の一方の画像の画素と他方の画像の画素との視差が異なる場合に、視差が複数の画素にわたって平滑化されるように、目的関数に含まれる二値変数の２次関数の係数を設定することができる。

より具体的には、複数の画素の番号をｉ又はｊ（ｉ，ｊ＝１〜Ｎ）と表し、２枚の画像における複数の画素の視差をｋ又はｋ’（ｋ，ｋ’＝０〜Ｋ−１）と表し、０又は１の値を取る二値変数をｘ_ikと表し、画像のｉ番目の画素の画素値をｆ_iと表し、ｉ番目の画素の画素値ｆ_iとｊ番目の画素の画素値ｆ_jの関数をｗ（ｆ_i，ｆ_j）と表すとき、第１設定部１１は、１次関数の係数ａ_ikを、識別モデル４１によって２枚の画像の一方の画像のｉ番目の画素と他方の画像のｉ＋ｋ番目の画素との相関を表す数値ａ_ikとなるように設定してよい。ここで、視差は、離散的な値であってよく、視差の最大値を表すＫは任意である。二値変数ｘ_ik＝１は、ｉ番目の画素の視差がｋであることを表し、二値変数ｘ_ik＝０は、ｉ番目の画素の視差がｋでないことを表してよい。また、第１設定部１１は、係数ａ_ikを、ａ_ik＝−ｅｘｐ（＜φ_i ⁰，φ_i+k ¹＞）／Σ_j=0 ^K-1ｅｘｐ（＜φ_i ⁰，φ_i+j ¹＞）によって設定してよい。ここで、φ_i ⁰は、１枚目の画像をＣＮＮ（Convolutional Neural Network）等のモデルに入力して得られるｉ番目の画像の特徴量であり、φ_i+k ¹は、２枚目の画像をＣＮＮ等のモデルに入力して得られるｉ＋ｋ番目の画像の特徴量である。また、記号＜，＞は、特徴量の内積を表す。なお、二値変数は、必ずしも画素毎に設定されなくてもよく、隣接する複数の画素をひとまとまりとして、それらの画素の視差を二値変数によって表してもよい。

また、第２設定部１２は、２次関数の係数ｂ_ikjk'を、一方の画像のｉ番目の画素の２枚の画像における視差がｋであり、一方の画像のｊ番目の画素であって、ｉ番目の画素の近傍Ｎ（ｉ）に属する画素の２枚の画像における視差がｋ’であり、ｋ＝ｋ’の場合にｂ_ikjk'＝０となり、ｋ≠ｋ’の場合にｂ_ikjk'＝ｗ（ｆ_i，ｆ_j）となるように設定してよい。ここで、画素値ｆ_iは、画素のＲＧＢ値Ｉ_iであってよい。そして、ｗ（ｆ_i，ｆ_j）は、｜ｋ−ｋ’｜＝１の場合、Ｐ１×ｅｘｐ（−α｜Ｉ_i−Ｉ_j｜²）であってよく、それ以外の場合（ｋ＝ｋ’でなく、｜ｋ−ｋ’｜＝１でもない場合）、Ｐ２×ｅｘｐ（−α｜Ｉ_i−Ｉ_j｜²）であってよい。ここで、Ｐ１、Ｐ２及びαはパラメータである。また、ｉ番目の画素の近傍Ｎ（ｉ）は、例えば、ｉ番目の画素に隣接する画素の集合であってよい。
関数ｗ（ｆ_i，ｆ_j）は、２つの画素の画素値が近いほど大きな値となる関数である。そのため、近傍の２つの画素に異なる視差が対応付けられ、それらの画素の画素値が近い場合に、目的関数の値が大きくなり、そのような対応付けでは目的関数の最小が実現できず、視差の変更が促されることとなる。一方、近傍の２つの画素に異なる視差が対応付けられ、それらの画素の画素値の差がパラメータと比較して十分に大きい場合、目的関数の値はほとんど大きくならず、そのような対応付けで目的関数の最小が実現できることとなる。このように、識別モデル４１によって２枚の画像の画素の相関を表す数値を再現するように、目的関数に含まれる二値変数の１次関数の係数を設定し、２枚の画像の一方の画像の画素と他方の画像の画素との視差が等しい場合に、視差を変化させず、２枚の画像の一方の画像の画素と他方の画像の画素との視差が異なる場合に、視差が複数の画素にわたって平滑化されるように、目的関数に含まれる二値変数の２次関数の係数を設定することができる。

また、目的関数をＥ（ｘ）と表すとき、Ｅ（ｘ）＝−Σ_i=1 ^NΣ_k=1 ^Kａ_ikｘ_ik＋Σ_i=1 ^NΣ_j∈_N(i)Σ_k=1 ^KΣ_k'=1 ^Kｂ_ikjk'ｘ_ikｘ_jk'＋αＰ（ｘ）であってよい。ここで、αは定数である。また、Ｐ（ｘ）は、Ｐ（ｘ）＝Σ_i=1 ^N（Σ_k=1 ^Kｘ_ik−１）²と表される拘束条件を与える項である。拘束条件は、二値変数ｘ_ikがいずれか１つの視差について１であり、他の視差について０であるという条件であり、１つの画素に１つの視差が対応付けられることを保証する。このように、複数の画素が、複数の視差のいずれか１つに対応するように拘束条件を課して、ステレオマッチングモデルにより出力された２枚の画像の画素の相関をより高速に精緻化し、視差を算出するイジングマシン２０を設定することができる。このような目的関数Ｅ（ｘ）をイジングマシン２０に設定することで、目的関数を最小化する二値変数の値を確率的に求めることができる。なお、上記の目的関数Ｅ（ｘ）全体にマイナスを掛けたものをイジングマシン２０に設定することで、目的関数を最大化する二値変数の値を確率的に求めることができる。

設定装置１０により、イジングマシン２０の目的関数の１次関数の係数及び２次関数の係数が設定されると、イジングマシン２０によって、目的関数を最小化又は最大化する二値変数の値が求められ、その値がユーザ端末３０に送信される。従来、識別モデル４１により識別値を出力する処理は高速に行えているが、識別値を精緻化する処理に数秒程度要することがあった。イジングマシン２０により目的関数を最小化又は最大化する二値変数の値として識別値を精緻化する値を求めると、数ミリ秒程度で全ての処理を終えることができる。このように、設定装置１０によりイジングマシン２０の設定を行うことで、画像を構成する画素に対して識別モデル４１により出力された識別値を精緻化した値をより高速に得ることができる。また、イジングマシン２０は、従来のコンピュータと比較して消費電力が少ない場合があり、処理の高速化のみならず省電力化を達成することもできる。

図３は、本実施形態に係る設定装置１０の物理的構成を示す図である。設定装置１０は、ノイマン型コンピュータで構成されてよく、演算部に相当するＣＰＵ（Central Processing Unit）１０ａと、記憶部に相当するＲＡＭ（Random Access Memory）１０ｂと、記憶部に相当するＲＯＭ（Read only Memory）１０ｃと、通信部１０ｄと、入力部１０ｅと、表示部１０ｆと、を有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。なお、本例では設定装置１０が一台のコンピュータで構成される場合について説明するが、設定装置１０は、複数のコンピュータが組み合わされて実現されてもよい。また、図２で示す構成は一例であり、設定装置１０はこれら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。

ＣＰＵ１０ａは、ＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う制御部である。ＣＰＵ１０ａは、イジングマシン２０の目的関数を設定するプログラム（設定プログラム）を実行する演算部である。ＣＰＵ１０ａは、入力部１０ｅや通信部１０ｄから種々のデータを受け取り、データの演算結果を表示部１０ｆに表示したり、ＲＡＭ１０ｂやＲＯＭ１０ｃに格納したりする。

ＲＡＭ１０ｂは、記憶部のうちデータの書き換えが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＡＭ１０ｂは、ＣＰＵ１０ａが実行する設定プログラム等のデータを記憶してよい。なお、これらは例示であって、ＲＡＭ１０ｂには、これら以外のデータが記憶されていてもよいし、これらの一部が記憶されていなくてもよい。

ＲＯＭ１０ｃは、記憶部のうちデータの読み出しが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＯＭ１０ｃは、例えば設定プログラムや、書き換えが行われないデータを記憶してよい。

通信部１０ｄは、設定装置１０を他の機器に接続するインターフェースである。通信部１０ｄは、イジングマシン２０、ユーザ端末３０及び画像処理装置４０と有線又は無線通信により接続されて、種々のデータを送受信してよい。また、通信部１０ｄは、インターネット等の通信ネットワークに接続されてもよい。

入力部１０ｅは、ユーザからデータの入力を受け付けるものであり、例えば、キーボード及びタッチパネルを含んでよい。

表示部１０ｆは、ＣＰＵ１０ａによる演算結果を視覚的に表示するものであり、例えば、ＬＣＤ（Liquid Crystal Display）により構成されてよい。表示部１０ｆは、例えばイジングマシン２０に設定する目的関数やその係数を表示したりしてよい。

設定プログラムは、ＲＡＭ１０ｂやＲＯＭ１０ｃ等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部１０ｄにより接続される通信ネットワークを介して提供されてもよい。設定装置１０では、ＣＰＵ１０ａが設定プログラムを実行することにより、図１を用いて説明した様々な動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、設定装置１０は、ＣＰＵ１０ａとＲＡＭ１０ｂやＲＯＭ１０ｃが一体化したＬＳＩ（Large-Scale Integration）を備えていてもよい。

図４は、本実施形態に係る画像処理システム１００により実行される画像処理のフローチャートである。はじめに、ユーザ端末３０より受け付けた画像を画像処理装置４０の識別モデル４１によって解析する（Ｓ１０）。

その後、設定装置１０によって、識別モデル４１により出力された識別値に基づき、目的関数に含まれる二値変数の１次関数の係数を設定する（Ｓ１１）。また、設定装置１０によって、識別値が複数の画素にわたって平滑化されるように、目的関数に含まれる二値変数の２次関数の係数を設定する（Ｓ１２）。なお、２次関数の係数を設定する処理については、次図を用いてより詳しく説明する。また、設定装置１０によって、二値変数の拘束条件を設定する（Ｓ１３）。

設定装置１０により目的関数の設定が終了した後、イジングマシン２０により、目的関数を最小化する二値変数の値を特定する（Ｓ１４）。なお、イジングマシン２０は、目的関数を最大化する二値変数の値を特定してもよい。また、イジングマシン２０は、目的関数を最小化する二値変数の値を確率的に求めてよい。

最後に、イジングマシン２０により、目的関数を最小化する二値変数の値をユーザ端末３０に送信する（Ｓ１５）。目的関数を最小化する二値変数の値は、画像を構成する複数の画素が複数の対象のいずれに対応するか表すラベルであったり、２枚の画像の一方の画像の画素と他方の画像の画素との視差であったりしてよい。以上により、画像処理が終了する。

図５は、本実施形態に係る設定装置１０により実行される２次関数の係数の設定処理のフローチャートである。同図に示す処理は、図４の処理Ｓ１２をより詳しく説明するものである。

設定装置１０は、画像を構成する複数の画素のうち、２つの画素の識別値が等しいか否かを判定する（Ｓ１２１）。ここで、２つの画素は、近傍画素であってよく、隣り合う画素であったり、１つの画素を隔てて位置する画素であったりしてよい。

２つの画素の識別値が等しい場合（Ｓ１２１：ＹＥＳ）、設定装置１０は、目的関数に含まれる２次関数の係数を０に設定する（Ｓ１２２）。これにより、識別値が等しい場合には、識別値が変化しないように設定することができる。

一方、２つの画素の識別値が等しくない場合（Ｓ１２１：ＮＯ）、設定装置１０は、目的関数に含まれる２次関数の係数の係数を、２つの画素の画素値に関する関数に設定する。ここで、２つの画素の画素値に関する関数は、画素値の差が大きいほど大きな値となるような関数であってよい。また、画素値とは、画素のＲＧＢ値であったり、画素の画像における位置を表す値であったりしてよい。以上により、設定処理が終了する。

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

１０…設定装置、１０ａ…ＣＰＵ、１０ｂ…ＲＡＭ、１０ｃ…ＲＯＭ、１０ｄ…通信部、１０ｅ…入力部、１０ｆ…表示部、１１…第１設定部、１２…第２設定部、１３…拘束条件設定部、２０…イジングマシン、３０…ユーザ端末、４０…画像処理装置、１００…画像処理システム

Claims (12)

1. 二値変数を引数とする目的関数を最小化又は最大化する前記二値変数の値を確率的に求めるイジングマシンを設定する設定装置であって、
   画像を識別モデルに入力した場合に、前記画像を構成する複数の画素に対して前記識別モデルにより出力される識別値に基づいて、前記目的関数に含まれる前記二値変数の１次関数の係数を設定する第１設定部と、
   前記識別値が前記複数の画素にわたって平滑化されるように、前記目的関数に含まれる前記二値変数の２次関数の係数を設定する第２設定部と、
   を備え、
   前記目的関数を最小化又は最大化する前記二値変数の値は、前記複数の画素が複数の対象のいずれに対応するか表すラベル又は前記画像の画素と他の画像の画素との視差に対応し、前記識別値を精緻化した値であり、
   前記第１設定部は、前記複数の画素に前記ラベルが付される確率となるように前記１次関数の係数を設定するか又は前記画像の画素と前記他の画像の画素との相関を表す数値となるように前記１次関数の係数を設定し、
   前記第２設定部は、前記複数の画素のうち２つの画素について前記識別値が等しい場合に０となり、前記２つの画素について前記識別値が異なる場合に前記２つの画素の画素値が近いほど大きな値となるように、前記２次関数の係数を設定する、
   設定装置。
2. 前記目的関数は、前記二値変数に関する拘束条件を与える項を含む、
   請求項１に記載の設定装置。
3. 前記識別モデルは、前記画像に写された複数の対象を識別するセグメンテーションモデルであり、前記複数の画素が前記複数の対象のいずれに対応するか表すラベルを前記識別値として出力する、
   請求項１又は２に記載の設定装置。
4. 前記第１設定部は、前記複数の画素に前記ラベルが付される確率となるように、前記１次関数の係数を設定し、
   前記第２設定部は、前記複数の画素のうち２つの画素について前記ラベルが等しい場合に０となり、前記２つの画素について前記ラベルが異なる場合に前記２つの画素の画素値が近いほど大きな値となるように、前記２次関数の係数を設定する、
   請求項３に記載の設定装置。
5. 前記複数の画素の番号をｉ又はｊ（ｉ，ｊ＝１〜Ｎ）と表し、前記複数の画素が前記複数の対象のいずれに対応するか表す前記ラベルをｋ又はｋ’（ｋ，ｋ’＝１〜Ｋ）と表し、０又は１の値を取る前記二値変数をｘ_ikと表し、前記画像のｉ番目の画素の画素値をｆ_iと表し、ｉ番目の画素の画素値ｆ_iとｊ番目の画素の画素値ｆ_jの関数であって、画素値ｆ _i と画素値ｆ _j が近いほど大きな値となる関数をｋ（ｆ_i，ｆ_j）と表すとき、
   前記第１設定部は、前記１次関数の係数ａ_ikを、前記識別モデルによって前記画像のｉ番目の画素に前記ラベルｋが付される確率ａ_ikとなるように設定し、
   前記第２設定部は、前記２次関数の係数ｂ_ikjk'を、前記画像のｉ番目の画素に前記ラベルｋが付され、前記ｉ番目の画素の近傍Ｎ（ｉ）に属するｊ番目の画素に前記ラベルｋ’が付され、ｋ＝ｋ’の場合にｂ_ikjk'＝０となり、ｋ≠ｋ’の場合にｂ_ikjk'＝ｋ（ｆ_i，ｆ_j）となるように設定する、
   請求項４に記載の設定装置。
6. 前記目的関数をＥ（ｘ）と表すとき、
   Ｅ（ｘ）＝−Σ_i=1 ^NΣ_k=1 ^Kａ_ikｘ_ik＋Σ_i=1 ^NΣ_j∈_N(i)Σ_k=1 ^KΣ_k'=1 ^Kｂ_ikjk'ｘ_ikｘ_jk'＋αＰ（ｘ）であり、
   αは定数であり、
   Ｐ（ｘ）は、Ｐ（ｘ）＝Σ_i=1 ^N（Σ_k=1 ^Kｘ_ik−１）²と表される拘束条件を与える項である、
   請求項５に記載の設定装置。
7. 前記識別モデルは、同じ場面を異なる位置から撮影した２枚の画像の対応点を識別するステレオマッチングモデルであり、前記２枚の画像の一方の画像の画素と他方の画像の画素との相関を表す数値を前記識別値として出力する、
   請求項１又は２に記載の設定装置。
8. 前記第１設定部は、前記相関を表す数値となるように、前記１次関数の係数を設定し、
   前記第２設定部は、前記２枚の画像の一方の画像の画素と他方の画像の画素との視差が等しい場合に０となり、前記視差が異なる場合に前記２枚の画像の一方の画像の画素と他方の画像の画素の画素値に関する関数となるように、前記２次関数の係数を設定する、
   請求項７に記載の設定装置。
9. 前記複数の画素の番号をｉ又はｊ（ｉ，ｊ＝１〜Ｎ）と表し、前記２枚の画像における前記複数の画素の視差をｋ又はｋ’（ｋ，ｋ’＝１〜Ｋ）と表し、０又は１の値を取る前記二値変数をｘ_ikと表し、前記画像のｉ番目の画素の画素値をｆ_iと表し、ｉ番目の画素の画素値ｆ_iとｊ番目の画素の画素値ｆ_jの関数であって、画素値ｆ _i と画素値ｆ _j が近いほど大きな値となる関数をｗ（ｆ_i，ｆ_j）と表すとき、
   前記第１設定部は、前記１次関数の係数ａ_ikを、前記識別モデルによって前記２枚の画像の一方の画像のｉ番目の画素と他方の画像のｉ＋ｋ番目の画素との前記相関を表す数値ａ_ikとなるように設定し、
   前記第２設定部は、前記２次関数の係数ｂ_ikjk'を、前記一方の画像のｉ番目の画素の前記２枚の画像における視差がｋであり、前記一方の画像のｊ番目の画素であって、前記ｉ番目の画素の近傍Ｎ（ｉ）に属する画素の前記２枚の画像における視差がｋ’であり、ｋ＝ｋ’の場合にｂ_ikjk'＝０となり、ｋ≠ｋ’の場合にｂ_ikjk'＝ｗ（ｆ_i，ｆ_j）となるように設定する、
   請求項８に記載の設定装置。
10. 前記目的関数をＥ（ｘ）と表すとき、
    Ｅ（ｘ）＝−Σ_i=1 ^NΣ_k=1 ^Kａ_ikｘ_ik＋Σ_i=1 ^NΣ_j∈_N(i)Σ_k=1 ^KΣ_k'=1 ^Kｂ_ikjk'ｘ_ikｘ_jk'＋αＰ（ｘ）であり、
    αは定数であり、
    Ｐ（ｘ）は、Ｐ（ｘ）＝Σ_i=1 ^N（Σ_k=1 ^Kｘ_ik−１）²と表される拘束条件を与える項である、
    請求項９に記載の設定装置。
11. 二値変数を引数とする目的関数を最小化又は最大化する前記二値変数の値を確率的に求めるイジングマシンを設定する設定方法であって、
    画像を識別モデルに入力した場合に、前記画像を構成する複数の画素に対して前記識別モデルにより出力される識別値に基づいて、前記目的関数に含まれる前記二値変数の１次関数の係数を設定することと、
    前記識別値が前記複数の画素にわたって平滑化されるように、前記目的関数に含まれる前記二値変数の２次関数の係数を設定することと、を含み、
    前記目的関数を最小化又は最大化する前記二値変数の値は、前記複数の画素が複数の対象のいずれに対応するか表すラベル又は前記画像の画素と他の画像の画素との視差に対応し、前記識別値を精緻化した値であり、
    前記１次関数の係数を設定することは、前記複数の画素に前記ラベルが付される確率となるように前記１次関数の係数を設定するか又は前記画像の画素と前記他の画像の画素との相関を表す数値となるように前記１次関数の係数を設定し、
    前記２次関数の係数を設定することは、前記複数の画素のうち２つの画素について前記識別値が等しい場合に０となり、前記２つの画素について前記識別値が異なる場合に前記２つの画素の画素値が近いほど大きな値となるように、前記２次関数の係数を設定する、
    設定方法。
12. 二値変数を引数とする目的関数を最小化又は最大化する前記二値変数の値を少なくとも確率的に求めるイジングマシンを、設定装置により設定する設定プログラムであって、
    前記設定装置に備えられたコンピュータを、
    画像を識別モデルに入力した場合に、前記画像を構成する複数の画素に対して前記識別モデルにより出力される識別値に基づいて、前記目的関数に含まれる前記二値変数の１次関数の係数を設定する第１設定部、及び
    前記識別値が前記複数の画素にわたって平滑化されるように、前記二値変数の２次関数の係数を設定する第２設定部、として機能させ、
    前記目的関数を最小化又は最大化する前記二値変数の値は、前記複数の画素が複数の対象のいずれに対応するか表すラベル又は前記画像の画素と他の画像の画素との視差に対応し、前記識別値を精緻化した値であり、
    前記第１設定部は、前記複数の画素に前記ラベルが付される確率となるように前記１次関数の係数を設定するか又は前記画像の画素と前記他の画像の画素との相関を表す数値となるように前記１次関数の係数を設定し、
    前記第２設定部は、前記複数の画素のうち２つの画素について前記識別値が等しい場合に０となり、前記２つの画素について前記識別値が異なる場合に前記２つの画素の画素値が近いほど大きな値となるように、前記２次関数の係数を設定する、
    設定プログラム。

Images