JP7842741B2 - 情報処理システム及び情報処理方法 - Google Patents

Description

本開示は、機械学習モデルの訓練に用いられるデータセットを作成する技術に関する。

例えば、非特許文献１には、通常カメラで撮像した画像をディスプレイに表示し、ディスプレイに表示された画像をレンズレスカメラで撮像することにより、レンズレスカメラを利用した顔検出モデルを訓練するためのデータセットを作成する手法が記載されている。

しかしながら、従来のようにディスプレイに表示された画像を撮像することでデータセットが作成される場合、ディスプレイとカメラとの距離に応じた様々なボケ度合いの訓練用画像を含んだ訓練用データセットが作成されないため、被写体のプライバシーを保護しつつ、機械学習モデルの認識精度を向上させることが困難であった。

Ｊａｓｐｅｒ Ｔａｎ、Ｌｉ Ｎｉｕ、Ｊｅｓｓｅ Ｋ． Ａｄａｍｓ、Ｖｉｖｅｋ Ｂｏｏｍｉｎａｔｈａｎ、Ｊａｃｏｂ Ｔ． Ｒｏｂｉｎｓｏｎ、及びＲｉｃｈａｒｄ Ｇ． Ｂａｒａｎｉｕｋ、「Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｖｅｒｉｆｉｃａｔｉｏｎ Ｕｓｉｎｇ Ｌｅｎｓｌｅｓｓ Ｃａｍｅｒａｓ」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｉｍａｇｉｎｇ、ｖｏｌ．５、Ｎｏ．２、ｐｐ．１８０－１９４、２０１９年

本開示は、上記の問題を解決するためになされたもので、被写体のプライバシーを保護しつつ、機械学習モデルの認識精度を向上させることができる技術を提供することを目的とするものである。

本開示に係る情報処理システムは、機械学習モデルの第１訓練用画像を第１記憶部から取得する画像取得部と、表示装置と、撮像によりボケ画像を取得する撮像装置との距離を取得する距離取得部と、前記距離に基づいて前記第１訓練用画像を前記表示装置に表示させる表示制御部と、前記表示装置に表示された前記第１訓練用画像を前記撮像装置に撮像させて第２訓練用画像を取得する撮像制御部と、前記撮像装置の撮像により得られた前記第２訓練用画像と、前記第１訓練用画像に対応する正解情報との組を含むデータセットを第２記憶部に記憶する記憶制御部と、を備え、前記表示制御部は、前記距離が変更されたとき、前記撮像装置の撮像により得られる前記第２訓練用画像のサイズが維持されるように、前記第１訓練用画像の表示サイズを変更し、前記表示サイズを変更した前記第１訓練用画像を前記表示装置に表示させ、前記撮像制御部は、前記距離が変更されると前記第１訓練用画像を前記撮像装置に撮像させる。

本開示によれば、被写体のプライバシーを保護しつつ、機械学習モデルの認識精度を向上させることができる。

本開示の第１実施形態に係る撮像システムの全体構成の一例を示すブロック図である。 撮像装置の一例であるマルチピンホールカメラの構造を模式的に示す図である。 本開示の第１実施形態に係る撮像制御装置におけるデータセット作成処理について説明するためのフローチャートである。 第１実施形態における表示装置と撮像装置との位置関係を説明するための模式図である。 マルチピンホールカメラにおける２つのピンホールを通過して撮像される画像について説明するための模式図である。 撮像装置と表示装置との距離がＬ１である場合に、撮像装置によって撮像される画像の一例を示す図である。 撮像装置と表示装置との距離がＬ２（Ｌ１＜Ｌ２）である場合に、撮像装置によって撮像される画像の一例を示す図である。 表示装置に表示される第１訓練用画像の一例を示す図である。 撮像装置と表示装置との距離がＬ１である場合に、図８に示す第１訓練用画像を撮像装置が撮像することによって得られる第２訓練用画像の一例を示す図である。 撮像装置と表示装置との距離がＬ２（Ｌ１＜Ｌ２）である場合に、図８に示す第１訓練用画像を撮像装置が撮像することによって得られる第２訓練用画像の一例を示す図である。 本開示の第１実施形態の変形例に係る撮像制御装置におけるデータセット作成処理について説明するためのフローチャートである。 本開示の第２実施形態に係る撮像システムの全体構成の一例を示すブロック図である。 本開示の第２実施形態に係る撮像制御装置におけるデータセット作成処理について説明するためのフローチャートである。 本開示の第３実施形態に係る撮像システムの全体構成の一例を示すブロック図である。

（本開示の基礎となった知見）
家庭内又は屋内などにおいて、環境内人物の行動認識又は機器操作者の人物認識など、さまざまな認識技術は重要である。近年、物体認識のために、ディープラーニングと呼ばれる技術が注目されている。ディープラーニングとは、多層構造のニューラルネットワークを用いた機械学習であり、大量の訓練データを利用することで、従来法と比べて、より高精度な認識性能を実現することが可能である。このような物体認識において、画像情報は特に有効である。入力デバイスにカメラを利用し、画像情報を入力としたディープラーニングを行うことによって、従来の物体認識能力を大幅に向上させるさまざまな手法が提案されている。

しかし、家庭内などにカメラを配置することは、ハッキングなどにより撮像画像が外部に漏れた場合、プライバシーが侵害されるという課題があった。したがって、仮に撮像画像が外部に漏れた場合であっても、被写体のプライバシーを保護するための対策が必要である。

例えば、人間による視覚的な認識が困難であるボケのある画像を得るためのカメラとしては、マルチピンホールカメラがある。マルチピンホールカメラによって撮像される画像は、視点の異なる複数の画像が重畳され、又は、レンズを使用しないことで被写体像が合焦しにくい等の影響により、意図的に作り出されたボケによって人間による視覚的な認識が困難な画像である。そのため、特に家庭内又は屋内など、プライバシー保護が必要となる環境における画像認識システムの構築のために、マルチピンホールカメラによって撮像された画像を用いることは好適である。

画像認識システムでは、マルチピンホールカメラによって対象エリアが撮像され、撮像画像が識別器に入力される。これにより、識別器は、訓練済みの識別モデルを用いて、入力された撮像画像に含まれている顔を識別する。このように、マルチピンホールカメラによって対象エリアが撮像されることにより、仮に撮像画像が外部に漏れた場合であっても、撮像画像は人間による視覚的な認識が困難であるため、被写体のプライバシーを保護することができる。

このような識別器を訓練するために、上記の非特許文献１の撮像方法は、通常カメラで撮像した画像をディスプレイに表示し、ディスプレイに表示された画像をレンズレスカメラで撮像することで、訓練用データセットを作成している。しかしながら、マルチピンホールカメラ及びレンズレスカメラは被写体との距離に応じて多重像の重畳の度合いが変化し、ボケ度合いが異なる撮像画像が取得できるが、従来の撮像方法では、ディスプレイに表示された１つの画像からは、カメラとディスプレイとの間の距離に応じた１つのボケ画像しか取得できない。実際に画像認識時に用いる撮像画像のボケ度合いは、訓練時に用いた撮像画像のボケ度合いと異なるおそれがある。そのため、従来の撮像方法で撮像した撮像画像を用いて機械学習モデルが訓練された場合、機械学習モデルの認識精度を向上させることは困難であった。

そこで、本発明者らは、訓練用データセットを蓄積する段階で、ディスプレイとカメラとの距離を変化させながら、ディスプレイに表示された画像を撮像する情報処理方法を発案した。これにより、ディスプレイとカメラとの距離に応じた様々なボケ度合いの訓練用画像を含んだ訓練用データセットを蓄積することができ、被写体のプライバシーを保護しつつ、機械学習モデルの認識精度を向上させることができるとの知見を得て、本開示を想到するに至った。

以上の課題を解決するために、本開示の一態様に係る情報処理システムは、機械学習モデルの第１訓練用画像を第１記憶部から取得する画像取得部と、表示装置と、撮像によりボケ画像を取得する撮像装置との距離を取得する距離取得部と、前記距離に基づいて前記第１訓練用画像を前記表示装置に表示させる表示制御部と、前記表示装置に表示された前記第１訓練用画像を前記撮像装置に撮像させて第２訓練用画像を取得する撮像制御部と、前記撮像装置の撮像により得られた前記第２訓練用画像と、前記第１訓練用画像に対応する正解情報との組を含むデータセットを第２記憶部に記憶する記憶制御部と、を備え、前記表示制御部は、前記距離が変更されたとき、前記撮像装置の撮像により得られる前記第２訓練用画像のサイズが維持されるように、前記第１訓練用画像の表示サイズを変更し、前記表示サイズを変更した前記第１訓練用画像を前記表示装置に表示させ、前記撮像制御部は、前記距離が変更されると前記第１訓練用画像を前記撮像装置に撮像させる。

この構成によれば、機械学習モデルの第１訓練用画像が表示装置に表示され、表示装置に表示された第１訓練用画像を撮像装置に撮像させて第２訓練用画像が取得される。撮像装置は、撮像によりボケ画像を取得する。撮像装置の撮像により得られた第２訓練用画像と正解情報との組を含むデータセットは第２記憶部に記憶される。そして、表示装置と撮像装置との距離が変更されたとき、撮像装置の撮像により得られる第２訓練用画像のサイズが維持されるように、第１訓練用画像の表示サイズが変更され、表示サイズが変更された第１訓練用画像が表示装置に表示される。そして、距離が変更されると第１訓練用画像が撮像装置に撮像される。

したがって、表示装置と撮像装置との距離に応じた様々なボケ度合いの訓練用画像と正解情報との組を含むデータセットを蓄積することができ、被写体のプライバシーを保護しつつ、機械学習モデルの認識精度を向上させることができる。

また、上記の情報処理システムにおいて、前記表示装置と前記撮像装置との距離の変更を指示する変更指示部をさらに備えてもよい。

この構成によれば、表示装置と撮像装置との距離の変更が指示されるので、表示装置と撮像装置との距離を予め決められた距離に変更することができ、変更された距離に応じた所望のボケ度合いの訓練用画像を取得することができる。

また、上記の情報処理システムにおいて、前記変更指示部は、前記距離の変更を複数回指示し、前記表示制御部は、前記複数回の前記距離の変更のたびに、前記撮像装置の撮像により得られる前記第２訓練用画像のサイズが維持されるように、前記第１訓練用画像の表示サイズを変更し、前記表示サイズを変更した前記第１訓練用画像を前記表示装置に表示させ、前記撮像制御部は、前記複数回の前記距離の変更のたびに、前記第１訓練用画像を前記撮像装置に撮像させて複数の第２訓練用画像を取得し、前記記憶制御部は、前記撮像装置の撮像により得られた前記複数の第２訓練用画像それぞれと前記正解情報との組を含むデータセットを前記第２記憶部に記憶してもよい。

この構成によれば、表示装置と撮像装置との距離が複数回変更され、１つの第１訓練用画像に対して、ボケ度合いが異なる複数の第２訓練用画像が取得されるので、ボケ度合いが異なる複数の訓練用画像それぞれと正解情報との組を含むデータセットを蓄積することができる。

また、上記の情報処理システムにおいて、前記変更指示部は、前記撮像装置及び前記表示装置の少なくとも一方を移動させる移動装置に対して、前記撮像装置及び前記表示装置の少なくとも一方の移動を指示してもよい。

この構成によれば、撮像装置と表示装置との距離を自動的に変更することができ、ユーザによる撮像装置及び表示装置の少なくとも一方の移動作業を軽減することができる。

また、上記の情報処理システムにおいて、前記変更指示部は、前記撮像装置及び前記表示装置の少なくとも一方を、前記撮像装置の光軸方向に移動させてもよい。

この構成によれば、撮像装置及び表示装置の少なくとも一方が、撮像装置の光軸方向に移動されるので、表示装置と撮像装置との光軸方向の距離を変更することができる。

また、上記の情報処理システムにおいて、前記変更指示部は、前記撮像装置及び前記表示装置の少なくとも一方を、前記撮像装置の光軸方向と交差する方向に移動させてもよい。

この構成によれば、第２訓練用画像が撮像装置の光学系による周辺減光の影響を受ける場合、撮像装置及び表示装置の少なくとも一方が、撮像装置の光軸方向と交差する方向に移動されるので、１つの被写体に対して異なる周辺減光の影響を受ける複数の訓練用画像を得ることができる。

また、上記の情報処理システムにおいて、前記距離取得部は、前記表示装置と前記撮像装置との距離を測定する距離測定装置から前記距離を取得してもよい。

この構成によれば、表示装置と撮像装置との距離がユーザにより手動で変更されたとしても、表示装置と撮像装置との距離を測定する距離測定装置から距離が取得されるので、測定された距離に応じて第１訓練用画像の表示サイズを変更することができる。

また、上記の情報処理システムにおいて、前記第１記憶部に記憶されている前記第１訓練用画像は、前記撮像装置とは異なる撮像装置によって取得されたボケのない画像であってもよい。

この構成によれば、ボケのない画像である第１訓練用画像を撮像装置によって撮像することにより、ボケのある第２訓練用画像を取得することができる。

また、上記の情報処理システムにおいて、前記表示制御部は、前記表示装置と前記撮像装置との距離に比例して前記第１訓練用画像の前記表示サイズを変更してもよい。

この構成によれば、表示装置と撮像装置との距離に比例して第１訓練用画像の表示サイズが変更されるので、表示装置と撮像装置との距離が得られれば、当該距離に比例する第１訓練用画像の表示サイズを容易に決定することができる。

また、上記の情報処理システムにおいて、前記第２記憶部に記憶された前記第２訓練用画像と前記正解情報との組を含むデータセットを利用して、前記機械学習モデルを訓練する訓練部をさらに備えてもよい。

この構成によれば、第２記憶部に記憶された第２訓練用画像と正解情報との組を含むデータセットを利用して、機械学習モデルが訓練されるので、被写体との距離に応じたボケ度合いの撮像画像から被写体を認識するための機械学習モデルの認識能力を向上させることができる。

また、上記の情報処理システムにおいて、前記第１訓練用画像に対応する前記正解情報は、前記第１記憶部に記憶されており、前記記憶制御部は、前記正解情報を前記第１記憶部から取得してもよい。

この構成によれば、表示装置と撮像装置との距離に応じた様々なボケ度合いの訓練用画像と正解情報との組を含むデータセットを蓄積することができ、被写体のプライバシーを保護しつつ、機械学習モデルの認識精度を向上させることができる。

また、上記の情報処理システムにおいて、前記第１訓練用画像に対応する前記正解情報は、前記第１記憶部に記憶されており、前記画像取得部は、前記正解情報を前記第１記憶部から取得し、取得した前記正解情報を前記記憶制御部へ出力してもよい。

この構成によれば、表示装置と撮像装置との距離に応じた様々なボケ度合いの訓練用画像と正解情報との組を含むデータセットを蓄積することができ、被写体のプライバシーを保護しつつ、機械学習モデルの認識精度を向上させることができる。

また、本開示は、以上のような特徴的な構成を備える情報処理システムとして実現することができるだけでなく、情報処理システムが備える特徴的な構成に対応する特徴的な処理を実行する情報処理方法などとして実現することもできる。したがって、以下の他の態様でも、上記の情報処理システムと同様の効果を奏することができる。

本開示の他の態様に係る情報処理方法は、コンピュータが、機械学習モデルの第１訓練用画像を第１記憶部から取得し、表示装置と、撮像によりボケ画像を取得する撮像装置との距離を取得し、前記距離に基づいて前記第１訓練用画像を前記表示装置に表示させ、前記表示装置に表示された前記第１訓練用画像を前記撮像装置に撮像させて第２訓練用画像を取得し、前記撮像装置の撮像により得られた前記第２訓練用画像と、前記第１訓練用画像に対応する正解情報との組を含むデータセットを第２記憶部に記憶し、前記第１訓練用画像の表示において、前記距離が変更されたとき、前記撮像装置の撮像により得られる前記第２訓練用画像のサイズが維持されるように、前記第１訓練用画像の表示サイズを変更し、前記表示サイズを変更した前記第１訓練用画像を前記表示装置に表示させ、前記第２訓練用画像の取得において、前記距離が変更されると前記第１訓練用画像を前記撮像装置に撮像させる。

以下添付図面を参照しながら、本開示の実施形態について説明する。なお、以下の実施形態は、本開示を具体化した一例であって、本開示の技術的範囲を限定するものではない。

（第１実施形態）
図１は、本開示の第１実施形態に係る撮像システム１の全体構成の一例を示すブロック図である。

撮像システム１は、撮像制御装置２、移動装置３、表示装置４及び撮像装置５を備える。

表示装置４は、例えば、液晶表示装置又は有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）表示装置である。表示装置４は、撮像制御装置２によって制御され、撮像制御装置２から出力された画像を表示する。なお、表示装置４は、スクリーンに画像を投影するプロジェクタであってもよい。

撮像装置５は、例えば、レンズレスカメラ、符号化開口カメラ（Ｃｏｄｅｄ Ａｐｅｒｔｕｒｅ Ｃａｍｅｒａ）、マルチピンホールカメラ、レンズレスマルチピンホールカメラ、又はライトフィールドカメラなどの計算撮像カメラである。撮像装置５は、撮像によりボケ画像を取得する。

撮像装置５は、表示装置４の表示画面を撮像可能な位置に配置されている。本第１実施形態における撮像装置５は、複数のピンホールが形成されたマスクパターンを有するマスクが撮像素子の受光面を覆うように配置されたレンズレスマルチピンホールカメラである。言い換えると、マスクパターンは、被写体と受光面との間に配置されるともいえる。

撮像装置５は、ボケのない通常の画像を撮像する通常のカメラと異なり、ボケのある画像である計算撮像画像を撮像する。計算撮像画像は、意図的に作り出されたボケによって撮像画像自体を人が見ても被写体を認識できない画像である。

図２は、撮像装置５の一例であるマルチピンホールカメラ２００の構造を模式的に示す図である。図２は、マルチピンホールカメラ２００を上から見た図である。

図２に示すマルチピンホールカメラ２００は、マルチピンホールマスク２０１と、ＣＭＯＳなどのイメージセンサ２０２とを有する。マルチピンホールカメラ２００は、レンズを有していない。マルチピンホールマスク２０１は、イメージセンサ２０２の受光面から一定距離離れて配置されている。マルチピンホールマスク２０１は、ランダム又は等間隔に配置された複数のピンホール２０１１，２０１２を有している。複数のピンホール２０１１，２０１２は、マルチピンホールとも呼ばれる。イメージセンサ２０２は、各ピンホール２０１１，２０１２を通じて表示装置４に表示された画像を撮像した撮像画像を取得する。ピンホールを通じて取得される画像は、ピンホール画像とも呼ばれる。

各ピンホール２０１１，２０１２の位置及び大きさによって被写体のピンホール画像は異なる。そのため、イメージセンサ２０２は、複数のピンホール画像がわずかにずれて重なり合った状態（多重像）の重畳画像を取得する。複数のピンホール２０１１，２０１２の位置関係は、イメージセンサ２０２上に投影される複数のピンホール画像の位置関係（つまり多重像の重畳の度合い）に影響を与える。ピンホール２０１１，２０１２の大きさは、ピンホール画像のボケの度合いに影響を与える。

マルチピンホールマスク２０１が用いられることによって、位置及びボケの程度が異なる複数のピンホール画像を重畳して取得することが可能である。つまり、意図的に多重像及びボケが作り出された計算撮像画像を取得することが可能である。そのため、撮像画像は多重像かつボケ画像となり、これらのボケによって被写体のプライバシーが保護された画像を取得することができる。

また、ピンホールの数、ピンホールの位置、及びピンホールの大きさが変更されることで、ボケ方の異なる画像が取得可能となる。つまり、マルチピンホールマスク２０１は、ユーザによって容易に脱着できる構造であってもよい。マスクパターンが異なる複数種類のマルチピンホールマスク２０１が予め用意されていてもよい。マルチピンホールマスク２０１は、画像認識時に使用されるマルチピンホールカメラのマスクパターンに応じて、ユーザによって自由に交換されてもよい。

なお、このようなマルチピンホールマスク２０１の変更は、マルチピンホールマスク２０１の交換以外にも、以下の様々な方法で実現可能である。例えば、マルチピンホールマスク２０１は、イメージセンサ２０２の前に回動自在に取り付けられていてもよく、ユーザによって任意に回転されてもよい。また、例えば、マルチピンホールマスク２０１は、イメージセンサ２０２の前に取り付けられている板の任意の箇所に、ユーザによって穴が開けられることにより、作成されてもよい。また、例えば、マルチピンホールマスク２０１は、空間光変調器などを利用した液晶マスクであってもよい。マルチピンホールマスク２０１内の各位置の透過率が任意に設定されることにより、所定の数のピンホールが所定の位置に形成されてもよい。さらに、例えば、マルチピンホールマスク２０１は、ゴムなどの伸縮可能な材質を用いて成形されてもよい。ユーザは、外力の印加によってマルチピンホールマスク２０１を物理的に変形させ、ピンホールの位置及び大きさを変えてもよい。

なお、マルチピンホールカメラ２００は、訓練済みの機械学習モデルを用いた画像認識時においても用いられる。マルチピンホールカメラ２００によって撮像された画像は、訓練データとして収集される。収集された訓練データは、機械学習モデルの訓練に用いられる。

また、図２では、２つのピンホール２０１１，２０１２が水平方向に並んで配置されているが、本開示は特にこれに限定されず、マルチピンホールカメラ２００は、３つ以上のピンホールを備えてもよい。また、２つのピンホール２０１１，２０１２は、垂直方向に並んで配置されてもよい。

移動装置３は、モータなどの駆動装置である。移動装置３は、例えばリニアモータを有したレールであり、撮像装置５を搭載している。移動装置３は、リニアモータを駆動することにより、撮像装置５を移動させる。表示装置４の位置は固定されている。移動装置３は、表示装置４に近づく方向又は表示装置４から離れる方向へ撮像装置５を移動させる。この際、移動装置３は、撮像装置５を撮像装置５の光軸方向上に移動させる。これにより、後述するように、撮像装置５は、撮像装置５の光軸上に存在するピンホールに対応するピンホール画像の位置が固定された画像を取得することができる。もちろん、移動装置３は、撮像装置５を移動させることが可能であればよく、例えば車輪を動かすモータ、又はドローンなどの飛行体であってもよい。

撮像制御装置２は、具体的には図示されていないマイクロプロセッサ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びハードディスクなどから構成される。ＲＡＭ、ＲＯＭ又はハードディスクは、コンピュータプログラムを記憶しており、マイクロプロセッサがコンピュータプログラムに従って動作することにより、撮像制御装置２の機能が実現される。

撮像制御装置２は、第１記憶部２１、第２記憶部２２、第３記憶部２３、距離取得部２４、移動指示部２５、画像取得部２６、表示制御部２７、撮像制御部２８及び記憶制御部２９を備える。

第１記憶部２１は、機械学習モデルの第１訓練用画像と第１訓練用画像に対応する正解情報とを記憶する。第１記憶部２１は、通常カメラで撮像された複数の第１訓練用画像と、複数の第１訓練用画像それぞれに対応する正解情報（アノテーション情報）とを記憶する。第１訓練用画像は、機械学習モデルの認識対象である被写体を含む画像である。第１訓練用画像は、撮像装置５とは異なる撮像装置によって取得されたボケのない画像である。

正解情報は、識別タスクごとに異なる。例えば、識別タスクが物体検出であれば、正解情報は、検出対象が画像上に占める領域を表すバウンディングボックス（Ｂｏｕｎｄｉｎｇ Ｂｏｘ）である。また、例えば、識別タスクが物体識別であれば、正解情報は、分類結果である。また、例えば、識別タスクが画像の領域分割であれば、正解情報は、画素ごとの領域情報である。第１記憶部２１に記憶されている第１訓練用画像及び正解情報は、通常カメラを利用した識別器の機械学習において利用する情報と同じである。

第３記憶部２３は、表示装置４と撮像装置５との距離と、表示装置４に表示する第１訓練用画像の表示サイズとを対応付けて記憶する。第３記憶部２３は、複数の距離と、複数の距離それぞれに対する表示サイズとを対応付けて記憶する。例えば、複数の距離は、表示装置４と撮像装置５とが最も近い第１の距離と、第１の距離よりも長い第２の距離と、第２の距離よりも長い第３の距離とを含んでもよい。第１の距離は、例えば、１メートルであり、第２の距離は、例えば、２メートルであり、第３の距離は、例えば、３メートルであってもよい。

距離取得部２４は、表示装置４と撮像装置５との距離を取得する。表示装置４と撮像装置５との距離が変更される際に、距離取得部２４は、表示装置４と撮像装置５との距離を第３記憶部２３から取得する。距離取得部２４は、第３記憶部２３に記憶されている表示装置４と撮像装置５との複数の距離のうち、１つの距離を取得する。距離取得部２４は、取得した距離を移動指示部２５へ出力する。

例えば、第３記憶部２３が第１の距離、第２の距離及び第３の距離（第１の距離＜第２の距離＜第３の距離）を記憶している場合、距離取得部２４は、最初に第３の距離を第３記憶部２３から取得し、移動指示部２５へ出力する。そして、第３の距離における第１訓練用画像の撮像が終了すると、距離取得部２４は、第２の距離を第３記憶部２３から取得し、移動指示部２５へ出力する。そして、第２の距離における第１訓練用画像の撮像が終了すると、距離取得部２４は、第１の距離を第３記憶部２３から取得し、移動指示部２５へ出力する。

移動指示部２５は、表示装置４と撮像装置５との距離の変更を指示する。移動指示部２５は、距離取得部２４によって取得された表示装置４と撮像装置５との距離に応じて撮像装置５を移動させるように、移動装置３へ指示する。撮像装置５の基準位置は予め決められており、例えば、距離取得部２４によって第３の距離が取得された場合、移動指示部２５は、第３の距離に対応する基準位置に撮像装置５を移動させるように移動装置３へ指示する。そして、距離取得部２４によって第２の距離が取得された場合、移動指示部２５は、基準位置から、第３の距離と第２の距離との差分だけ撮像装置５を移動させるように移動装置３へ指示する。また、移動指示部２５は、表示装置４と撮像装置５との距離の変更を複数回指示する。

移動装置３は、移動指示部２５からの指示に基づき撮像装置５を移動させる。

画像取得部２６は、第１訓練用画像を第１記憶部２１から取得する。画像取得部２６は、第１記憶部２１から取得した第１訓練用画像を表示制御部２７へ出力する。

表示制御部２７は、表示装置４と撮像装置５との距離に基づいて第１訓練用画像を表示装置４に表示させる。表示制御部２７は、表示装置４と撮像装置５との距離が変更されたとき、撮像装置５の撮像により得られる第２訓練用画像のサイズが維持されるように、第１訓練用画像の表示サイズを変更し、表示サイズを変更した第１訓練用画像を表示装置４に表示させる。表示制御部２７は、表示装置４と撮像装置５との距離に比例して第１訓練用画像の表示サイズを変更する。表示装置４と撮像装置５との距離に対応する表示サイズは、第３記憶部２３に予め記憶されている。そのため、表示制御部２７は、表示装置４と撮像装置５との距離に応じた表示サイズを第３記憶部２３から取得し、取得した表示サイズに第１訓練用画像の表示サイズを変更する。

また、表示制御部２７は、移動指示部２５による複数回の距離の変更のたびに、撮像装置５の撮像により得られる第２訓練用画像のサイズが維持されるように、第１訓練用画像の表示サイズを変更し、表示サイズを変更した第１訓練用画像を表示装置４に表示させる。

撮像制御部２８は、表示装置４に表示された第１訓練用画像を撮像装置５に撮像させて第２訓練用画像を取得する。撮像制御部２８は、表示装置４と撮像装置５との距離が変更されると第１訓練用画像を撮像装置５に撮像させる。撮像制御部２８は、取得した第２訓練用画像を記憶制御部２９へ出力する。また、撮像制御部２８は、移動指示部２５による複数回の距離の変更のたびに、第１訓練用画像を撮像装置５に撮像させて複数の第２訓練用画像を取得する。

記憶制御部２９は、第１訓練画像に対応する正解情報を第１記憶部２１から取得するとともに、撮像装置５の撮像により得られた第２訓練用画像と、第１訓練用画像に対応する正解情報との組を含むデータセットを第２記憶部２２に記憶する。記憶制御部２９は、撮像装置５の撮像により得られた第２訓練用画像と、第１記憶部２１から取得した正解情報との組を含むデータセットを第２記憶部２２に記憶する。また、記憶制御部２９は、撮像装置５の撮像により得られた複数の第２訓練用画像それぞれと正解情報との組を含むデータセットを第２記憶部２２に記憶する。

第２記憶部２２は、第２訓練用画像と正解情報との組を含むデータセットを記憶する。

続いて、本開示の第１実施形態に係る撮像制御装置２におけるデータセット作成処理について説明する。

図３は、本開示の第１実施形態に係る撮像制御装置２におけるデータセット作成処理について説明するためのフローチャートである。

まず、距離取得部２４は、表示装置４と撮像装置５との距離を変更するための表示装置４と撮像装置５との距離を取得する（ステップＳ１０１）。距離取得部２４は、取得した距離を移動指示部２５へ出力する。

次に、移動指示部２５は、距離取得部２４によって取得された距離に応じた所定の撮像位置への撮像装置５の移動を移動装置３へ指示する（ステップＳ１０２）。ここで、撮像位置とは、撮像装置５と表示装置４との距離を変化させるために事前に設定された、撮像装置５が第１訓練用画像を撮像する位置である。移動装置３は、移動指示部２５からの指示を受信すると、撮像装置５を所定の撮像位置へ移動させる。

次に、画像取得部２６は、第１訓練用画像を第１記憶部２１から取得する（ステップＳ１０３）。画像取得部２６は、第１記憶部２１に記憶されている複数の第１訓練用画像の中から、撮像されていない第１訓練用画像を取得する。

次に、表示制御部２７は、表示装置４と撮像装置５との距離が変更されたとき、撮像装置５の撮像により得られる第２訓練用画像のサイズが維持されるように、第１訓練用画像の表示サイズを変更する（ステップＳ１０４）。このとき、表示制御部２７は、表示装置４と撮像装置５との距離に応じた表示サイズを第３記憶部２３から取得し、取得した表示サイズに第１訓練用画像の表示サイズを変更する。

次に、表示制御部２７は、表示サイズを変更した第１訓練用画像を表示装置４に表示させる（ステップＳ１０５）。

表示制御部２７は、表示装置４と撮像装置５との距離に応じて第１訓練用画像の表示サイズを変更する。

ここで、表示制御部２７による第１訓練用画像の表示サイズの変更について説明する。

図４は、第１実施形態における表示装置４と撮像装置５との位置関係を説明するための模式図である。図４は、表示装置４及び撮像装置５を上から見た図である。ここで、距離Ｌは、撮像装置５のマルチピンホールマスク２０１と、表示装置４の表示画面との距離であり、表示サイズＷは、表示装置４に表示される第１訓練用画像の表示サイズである。また、撮像装置５は、図２に示すレンズレスのマルチピンホールカメラ２００と同じ構成であり、撮像装置５の光軸上にピンホール２０１１が存在し、ピンホール２０１１に隣接してピンホール２０１２が存在している。

撮像装置５と表示装置４との距離がＬ１であるときの表示サイズをＷ１とし、撮像装置５と表示装置４との距離がＬ２であるときの表示サイズをＷ２としたとき、表示制御部２７は、以下の関係を満たすように表示装置４に表示される第１訓練用画像の表示サイズを決定する。これにより、撮像装置５と表示装置４との距離の変更に関わらず、同じサイズの第２訓練用画像が取得される第１訓練用画像が表示装置４に表示される。

Ｌ１：Ｗ１＝Ｌ２：Ｗ２
つまり、撮像装置５と表示装置４との距離と、表示装置４に表示される第１訓練用画像の表示サイズとが比例関係になるように表示サイズが決定される。これにより、撮像装置５によって光軸上にあるピンホール２０１１を通過して撮像される画像のサイズ及び位置は、撮像装置５と表示装置４との距離Ｌに依存せず、一定となる。一方、撮像装置５によって光軸上にないピンホール２０１２を通過して撮像される画像の撮像範囲は、撮像装置５と表示装置４との距離Ｌに依存して変化する。つまり、撮像装置５と表示装置４との距離Ｌに依存して、各ピンホール２０１１，２０１２は異なる視差を生じさせる。そして、視差情報は奥行情報を含む。

図５は、マルチピンホールカメラにおける２つのピンホールを通過して撮像される画像について説明するための模式図であり、図６は、撮像装置５と表示装置４との距離がＬ１である場合に、撮像装置５によって撮像される画像の一例を示す図であり、図７は、撮像装置５と表示装置４との距離がＬ２（Ｌ１＜Ｌ２）である場合に、撮像装置５によって撮像される画像の一例を示す図である。図５は、表示装置４及び撮像装置５を上から見た図である。

図５において、図４と同じ構成要素に関しては同じ参照符号を付し、説明を省略する。図５において、表示装置４は、「１２３４５６」という数字を水平方向に並べた第１訓練用画像を表示している。前述のように、撮像装置５と表示装置４との距離がＬ１であるときの第１訓練用画像４１の表示サイズはＷ１であり、撮像装置５と表示装置４との距離がＬ２であるときの第１訓練用画像４２の表示サイズはＷ２である。距離Ｌ１は、距離Ｌ２より短く、表示サイズＷ１は、表示サイズＷ２より小さい。なお、表示サイズＷ１，Ｗ２は、第１訓練用画像４１，４２の横幅を表している。第１訓練用画像４１，４２の横縦比は、予め決められており、例えば、３：２、４：３又は１６：９である。表示サイズは、第１訓練用画像４１，４２の縦横比が維持された状態で変更される。

撮像装置５と表示装置４との距離が離れるほど、第１訓練用画像の表示サイズは大きくなり、撮像装置５と表示装置４との距離が近づくほど、第１訓練用画像の表示サイズは小さくなる。

図６において、画像２０２１は、撮像装置５と表示装置４との距離がＬ１であるときに、光軸上にあるピンホール２０１１を通過して撮像される画像を表しており、画像２０２２は、撮像装置５と表示装置４との距離がＬ１であるときに、光軸上にないピンホール２０１２を通過して撮像される画像を表している。また、図７において、画像２０２３は、撮像装置５と表示装置４との距離がＬ２であるときに、光軸上にあるピンホール２０１１を通過して撮像される画像を表しており、画像２０２４は、撮像装置５と表示装置４との距離がＬ２であるときに、光軸上にないピンホール２０１２を通過して撮像される画像を表している。

図６及び図７に示すように、光軸上にあるピンホール２０１１を通過して撮像される画像２０２１，２０２３の位置及びサイズは、撮像装置５と表示装置４との距離に関係なく、ともに変化していない。このように、表示装置４に表示する第１訓練用画像４１，４２の表示サイズ及び位置が調整されることにより、マルチピンホールカメラにおけるピンホール２０１１を通過して撮像される画像のサイズは一定に維持される。

一方、図６及び図７に示すように、光軸上にないピンホール２０１２を通過して撮像される画像２０２２，２０２４のサイズは変化していないが、画像２０２２，２０２４の撮像範囲は、互いに変化している。画像２０２２，２０２４には、左の画像２０２１，２０２３と比較した場合、距離に依存した視差が生じている。ここで、視差とは、画像上での複数の像のずれ量のことである。そのため、視差情報は、被写体と撮像装置５との距離情報を含むことがわかる。

表示制御部２７は、撮像装置５と表示装置４との距離が変更されると、表示装置４に表示される第１訓練用画像の表示サイズを変更する。このとき、表示制御部２７は、撮像装置５と表示装置４との距離が変更されても、第２訓練用画像上の被写体像の大きさは変化しないように、第１訓練用画像の表示サイズを変更する。これにより、撮像装置５と表示装置４との距離に応じたずれ量で複数の被写体像が重畳された第２訓練用画像が得られる。

続いて、図８～図１０を用いて、マルチピンホールカメラにおける距離に依存した視差について説明する。

図８は、表示装置４に表示される第１訓練用画像の一例を示す図であり、図９は、撮像装置５と表示装置４との距離がＬ１である場合に、図８に示す第１訓練用画像を撮像装置５が撮像することによって得られる第２訓練用画像の一例を示す図であり、図１０は、撮像装置５と表示装置４との距離がＬ２（Ｌ１＜Ｌ２）である場合に、図８に示す第１訓練用画像を撮像装置５が撮像することによって得られる第２訓練用画像の一例を示す図である。

図８に示す第１訓練用画像５１には、人物３０１及びテレビ３０２が映っている。図９に示す第２訓練用画像５２は、撮像装置５と表示装置４との距離がＬ１である場合に、２つのピンホール２０１１，２０１２を有する撮像装置５が図８に示す第１訓練用画像５１を撮像することによって得られる。また、図１０に示す第２訓練用画像５３は、撮像装置５と表示装置４との距離がＬ２である場合に、２つのピンホール２０１１，２０１２を有する撮像装置５が図８に示す第１訓練用画像５１を撮像することによって得られる。ただし、Ｌ１は、Ｌ２より短い。

図９に示す第２訓練用画像５２において、人物３０３は、光軸上にあるピンホール２０１１を通過して撮像された第１訓練用画像５１上の人物３０１であり、テレビ３０４は、光軸上にあるピンホール２０１１を通過して撮像された第１訓練用画像５１上のテレビ３０２であり、人物３０５は、光軸上にないピンホール２０１２を通過して撮像された第１訓練用画像５１上の人物３０１であり、テレビ３０６は、光軸上にないピンホール２０１２を通過して撮像された第１訓練用画像５１上のテレビ３０２である。

また、図１０に示す第２訓練用画像５３において、人物３０７は、光軸上にあるピンホール２０１１を通過して撮像された第１訓練用画像５１上の人物３０１であり、テレビ３０８は、光軸上にあるピンホール２０１１を通過して撮像された第１訓練用画像５１上のテレビ３０２であり、人物３０９は、光軸上にないピンホール２０１２を通過して撮像された第１訓練用画像５１上の人物３０１であり、テレビ３１０は、光軸上にないピンホール２０１２を通過して撮像された第１訓練用画像５１上のテレビ３０２である。

このように、マルチピンホールカメラである撮像装置５から得られる第２訓練用画像は、複数の被写体像が重畳された画像となる。光軸上にあるピンホール２０１１を通過して撮像された人物３０３，３０７及びテレビ３０４，３０８の撮像画像上の位置及び大きさは変化しない。一方、光軸上にないピンホール２０１２を通過して撮像された人物３０５，３０９及びテレビ３０６，３１０の撮像画像上の位置は変化し、被写体と撮像装置５との距離が離れるほど、視差量は小さくなる。つまり、撮像装置５と表示装置４との距離Ｌを変化させながら第１訓練用画像が撮像されることで、視差量が変化した第２訓練用画像が得られる。

なお、本第１実施形態では、撮像装置５はレンズを有していないが、撮像装置５は、撮像装置５と表示装置４との間にレンズのような光学系を有してもよい。撮像装置５がレンズを有することにより、撮像装置５と表示装置４との距離（光路長）を実際の距離よりも長くしたり、短くしたりすることが可能である。これにより、光学系を挿入しない場合と比較して、より大きな視差、又はより小さな視差を生じさせることができる。移動装置３が、撮像装置５と表示装置４との距離を大きく変化させることができない場合、撮像装置５が光学系を有する構成は有効である。また、撮像装置５と表示装置４との間に光学系が挿入される場合、移動装置３は、撮像装置５又は表示装置４を物理的に動かすのではなく、光学系の焦点距離を変えたり、光学系を挿入したり、光学系を除去したりすることにより、撮像装置５と表示装置４との距離が変更されてもよい。

なお、距離Ｌは、実際の測距距離ではなく、前述の光路長であってもよい。表示制御部２７は、撮像装置５と表示装置４との光路長に基づいて、表示装置４に表示される第１訓練用画像の表示サイズを決定してもよい。

図３に戻って、次に、撮像制御部２８は、表示装置４に表示された第１訓練用画像を撮像装置５に撮像させて第２訓練用画像を取得する（ステップＳ１０６）。撮像装置５は、表示装置４が視野に入るように撮像する。前述の通り、表示装置４と撮像装置５との距離に応じて第１訓練用画像の表示サイズが変更されることで、表示装置４と撮像装置５との距離が変更されたとしても、撮像サイズが等しい第２訓練用画像を取得することができる。

次に、記憶制御部２９は、第１記憶部２１から表示装置４に表示された第１訓練用画像に対応付けられている正解情報を取得し、撮像装置５によって取得された第２訓練用画像と、表示装置４に表示された第１訓練用画像に対応付けられている正解情報との組を含むデータセットを第２記憶部２２に記憶する（ステップＳ１０７）。これにより、第２記憶部２２には、撮像装置５によって取得された第２訓練用画像と、その正解情報との組を含むデータセットが記憶される。

次に、画像取得部２６は、第１記憶部２１に記憶されている全ての第１訓練用画像を撮像装置５が撮像したか否かを判断する（ステップＳ１０８）。ここで、全ての第１訓練用画像を撮像装置５が撮像していないと判断された場合（ステップＳ１０８でＮＯ）、ステップＳ１０３に処理が戻り、画像取得部２６は、第１記憶部２１に記憶されている複数の第１訓練用画像の中から、撮像されていない第１訓練用画像を新たに取得する。その後、新たに取得された第１訓練用画像を用いてステップＳ１０４からステップＳ１０６の処理が実行される。その後、ステップＳ１０７において、撮像装置５によって取得された第２訓練用画像と、表示装置４に表示された新たな第１訓練用画像に対応付けられている正解情報との組を含むデータセットが第２記憶部２２に記憶された後、ステップＳ１０８が実行される。

一方、全ての第１訓練用画像を撮像装置５が撮像したと判断された場合（ステップＳ１０８でＹＥＳ）、距離取得部２４は、予め設定されている全ての撮像位置における撮像装置５による撮像が完了したか否かを判断する（ステップＳ１０９）。ここで、全ての撮像位置における撮像装置５による撮像が完了していないと判断された場合（ステップＳ１０９でＮＯ）、ステップＳ１０１に処理が戻り、距離取得部２４は、第３記憶部２３に記憶されている複数の撮像位置の中から、撮像されていない撮像位置に対応する表示装置４と撮像装置５との距離を取得する。そして、移動指示部２５は、距離取得部２４によって取得された距離に応じた所定の撮像位置への撮像装置５の移動を移動装置３へ指示する。移動装置３は、移動指示部２５の指示に従い、撮像装置５を所定の撮像位置に移動させる。

一方、全ての撮像位置における撮像装置５による撮像が完了したと判断された場合（ステップＳ１０９でＹＥＳ）、処理が終了する。

図３に示す例では、記憶制御部２９は、表示装置４に表示された第１訓練用画像に対応付けられている正解情報を第１記憶部２１から取得しているが、これに限定されない。

例えば、画像取得部２６が、第１訓練用画像と、第１訓練用画像に対応する正解情報とを第１記憶部２１から取得してもよい。この場合、画像取得部２６は、第１記憶部２１から取得した正解情報を記憶制御部２９へ出力し、記憶制御部２９は、撮像装置５によって取得された第２訓練用画像と、表示装置４に表示された第１訓練用画像に対応付けられている正解情報、つまり画像取得部２６から出力される正解情報との組を含むデータセットを第２記憶部２２に記憶する。

以上のように、本第１実施形態の撮像システム１は、撮像装置５と表示装置４との距離に応じて、表示装置４に表示される第１訓練用画像の表示サイズが変更されることにより、光軸上のピンホールを通過して撮像される被写体像の位置及び大きさは変化しないが、マルチピンホールカメラにおけるピンホール間の視差量を変化させた画像が撮像される。光軸上のピンホールを通過して撮像される被写体像の位置及び大きさは変化しないため、表示装置４に表示した第１訓練用画像に付与されている正解情報はそのまま利用することができる。その結果、マルチピンホールカメラに対応したデータセットを作成することが可能である。このようなデータセットを利用して機械学習により訓練処理が実施されることで、被写体までの距離に依存せず、高精度の認識を実現することが可能である。

以上の説明では、移動指示部２５は、撮像装置５を撮像装置５の光軸方向に移動させているが、撮像装置５を撮像装置５の光軸方向と交差する方向に移動させてもよい。撮像装置５としてレンズレスカメラなどが利用される場合、イメージセンサ２０２の中心付近から外縁部に向かって光量が減衰する周辺減光と呼ばれる現象が発生する。第２訓練用画像は、周辺減光の影響を受ける。これに対し、移動指示部２５は、撮像装置５を光軸方向と交差する方向に移動させ、撮像装置５と表示装置４との位置関係が変更されることで、１つの被写体に対して異なる周辺減光の影響を受ける複数の第２訓練用画像を得ることができる。

また、移動指示部２５は、撮像装置５ではなく、表示装置４を移動させてもよい。例えば、表示装置４がディスプレイであり、移動装置３がリニアモータを有したレールである場合、移動装置３は、表示装置４であるディスプレイを搭載し、リニアモータを駆動することにより、表示装置４を移動させてもよい。また、例えば、表示装置４がプロジェクタ及びスクリーンである場合、移動装置３は、スクリーン及びプロジェクタの少なくとも一方を移動させてもよく、スクリーンとプロジェクタとの距離を変更してもよい。また、表示制御部２７は、プロジェクタが投影する第１訓練用画像のサイズを変更してもよい。

ここで、撮像装置５ではなく、表示装置４を移動させる第１実施形態の変形例について説明する。

図１１は、本開示の第１実施形態の変形例に係る撮像制御装置２におけるデータセット作成処理について説明するためのフローチャートである。

第１実施形態の変形例において、移動指示部２５は、距離取得部２４によって取得された表示装置４と撮像装置５との距離に応じて表示装置４を移動させるように、移動装置３へ指示する。表示装置４の基準位置は予め決められており、例えば、距離取得部２４によって第３の距離が取得された場合、移動指示部２５は、第３の距離に対応する基準位置に表示装置４を移動させるように移動装置３へ指示する。そして、距離取得部２４によって第２の距離が取得された場合、移動指示部２５は、基準位置から、第３の距離と第２の距離との差分だけ表示装置４を移動させるように移動装置３へ指示する。

移動装置３は、移動指示部２５からの指示に基づき表示装置４を移動させる。

図１１に示すステップＳ１２１の処理は、図３に示すステップＳ１０１の処理と同じであるので、説明を省略する。

次に、移動指示部２５は、距離取得部２４によって取得された距離に応じた所定の表示位置への表示装置４の移動を移動装置３へ指示する（ステップＳ１２２）。移動装置３は、移動指示部２５からの指示を受信すると、表示装置４を所定の表示位置へ移動させる。

図１１に示すステップＳ１２３～ステップＳ１２８の処理は、図３に示すステップＳ１０３～ステップＳ１０８の処理と同じであるので、説明を省略する。

全ての第１訓練用画像を撮像装置５が撮像したと判断された場合（ステップＳ１２８でＹＥＳ）、距離取得部２４は、予め設定されている全ての表示位置における撮像装置５による撮像が完了したか否かを判断する（ステップＳ１２９）。ここで、表示位置とは、撮像装置５と表示装置４との距離を変化させるために事前に設定された、表示装置４が第１訓練用画像を表示する位置である。ここで、全ての表示位置における撮像装置５による撮像が完了していないと判断された場合（ステップＳ１２９でＮＯ）、ステップＳ１２１に処理が戻り、距離取得部２４は、第３記憶部２３に記憶されている複数の撮像位置の中から、撮像されていない表示位置に対応する表示装置４と撮像装置５との距離を取得する。そして、移動指示部２５は、距離取得部２４によって取得された距離に応じた所定の表示位置への表示装置４の移動を移動装置３へ指示する。移動装置３は、移動指示部２５の指示に従い、表示装置４を所定の表示位置に移動させる。

一方、全ての表示位置における撮像装置５による撮像が完了したと判断された場合（ステップＳ１２９でＹＥＳ）、処理が終了する。

なお、本第１実施形態において、移動装置３は、撮像装置５又は表示装置４を移動させているが、本開示は特にこれに限定されず、撮像装置５及び表示装置４の両方を移動させてもよい。

（第２実施形態）
上記の第１実施形態では、表示装置４と撮像装置５との複数の距離が予め決められており、予め決められている複数の距離に対応する各位置に表示装置４及び撮像装置５の少なくとも一方が移動され、撮像装置５と表示装置４との距離に応じて、表示装置４に表示される第１訓練用画像の表示サイズが変更される。これに対し、第２実施形態では、表示装置４及び撮像装置５の少なくとも一方が任意の位置に移動され、撮像装置５と表示装置４との距離が測定され、測定された距離に応じて、表示装置４に表示される第１訓練用画像の表示サイズが変更される。

図１２は、本開示の第２実施形態に係る撮像システム１Ａの全体構成の一例を示すブロック図である。図１２において、図１と同じ構成要素に関しては同じ参照符号を付し、説明を省略する。

撮像システム１Ａは、撮像制御装置２Ａ、移動装置３、表示装置４、撮像装置５及び距離測定装置６を備える。

距離測定装置６は、例えば、レーザ距離計又はＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）カメラであり、撮像制御装置２Ａの指示に従い、表示装置４と撮像装置５との距離を測定する。例えば、表示装置４及び撮像装置５はレール上に載置されている。表示装置４及び撮像装置５の少なくとも一方は、撮像装置５の光軸方向にレール上を移動可能である。

撮像制御装置２Ａは、第１記憶部２１、第２記憶部２２、距離取得部２４Ａ、移動指示部２５Ａ、画像取得部２６、表示制御部２７Ａ、撮像制御部２８、記憶制御部２９及び第４記憶部３０を備える。

移動指示部２５Ａは、表示装置４と撮像装置５との距離の変更を指示する。移動指示部２５Ａは、ユーザによる撮像装置５を移動させるための入力操作を受け付け、受け付けた入力操作に応じて撮像装置５を移動させるように、移動装置３へ指示する。移動指示部２５Ａは、撮像装置５を表示装置４へ近づけたり、撮像装置５を表示装置４から離したりするための入力操作を受け付ける。

なお、本第２実施形態では、移動指示部２５Ａは、撮像装置５を撮像装置５の光軸方向に移動させているが、撮像装置５を撮像装置５の光軸方向と交差する方向に移動させてもよい。また、移動指示部２５Ａは、撮像装置５ではなく、表示装置４を移動させてもよい。さらに、移動指示部２５Ａは、撮像装置５及び表示装置４の両方を移動させてもよい。

さらに、撮像システム１Ａは、移動装置３を備えていなくてもよく、撮像制御装置２Ａは、移動指示部２５Ａを備えていなくてもよい。この場合、ユーザは、手動により表示装置４と撮像装置５との距離を変更してもよい。例えば、ユーザは、レール上に載置された撮像装置５及び表示装置４の少なくとも一方を移動させてもよい。

距離取得部２４Ａは、移動装置３による撮像装置５の移動が完了すると、表示装置４と撮像装置５との距離を測定するように距離測定装置６に指示する。距離取得部２４Ａは、距離測定装置６によって測定された表示装置４と撮像装置５との距離を取得する。なお、距離取得部２４Ａは、ユーザによる表示装置４と撮像装置５との距離を測定させるための入力操作を受け付け、受け付けた入力操作に応じて距離測定装置６に距離を測定させてもよい。特に、ユーザが手動で撮像装置５を移動させた場合に、距離取得部２４Ａは、ユーザによる距離測定装置６の測定開始指示を受け付けてもよい。

第４記憶部３０は、表示装置４と撮像装置５との基準距離と、表示装置４に表示する第１訓練用画像の基準表示サイズとを対応付けて記憶する。第１訓練用画像の表示サイズは、表示装置４と撮像装置５との距離に比例する。そのため、表示装置４と撮像装置５との基準距離と、基準距離に対する第１訓練用画像の基準表示サイズとが予め決められていれば、測定された距離から表示サイズが決定される。

表示制御部２７Ａは、距離測定装置６によって測定された距離に基づいて第１訓練用画像を表示装置４に表示させる。表示制御部２７Ａは、表示装置４と撮像装置５との距離が変更されたとき、撮像装置５の撮像により得られる第２訓練用画像のサイズが維持されるように、第１訓練用画像の表示サイズを変更し、表示サイズを変更した第１訓練用画像を表示装置４に表示させる。

表示制御部２７Ａは、表示装置４と撮像装置５との距離に比例して第１訓練用画像の表示サイズを変更する。表示装置４と撮像装置５との基準距離に対応する基準表示サイズは、第４記憶部３０に予め記憶されている。基準距離は、例えば、表示装置４と撮像装置５とが互いに最も離れた位置に配置された場合における距離である。そのため、表示制御部２７Ａは、第４記憶部３０に記憶されている基準距離及び基準表示サイズを用いて、距離測定装置６によって測定された距離から表示サイズを算出し、算出した表示サイズに第１訓練用画像の表示サイズを変更する。

続いて、本開示の第２実施形態に係る撮像制御装置２Ａにおけるデータセット作成処理について説明する。

図１３は、本開示の第２実施形態に係る撮像制御装置２Ａにおけるデータセット作成処理について説明するためのフローチャートである。

まず、移動指示部２５Ａは、任意の撮像位置への撮像装置５の移動を移動装置３へ指示する（ステップＳ１４１）。移動装置３は、移動指示部２５Ａの指示に従い、撮像装置５を任意の位置に移動させる。

次に、距離取得部２４Ａは、表示装置４と撮像装置５との距離の測定を距離測定装置６に指示する（ステップＳ１４２）。距離測定装置６は、距離取得部２４Ａの指示に従い、表示装置４と撮像装置５との距離を測定する。

次に、距離取得部２４Ａは、距離測定装置６によって測定された表示装置４と撮像装置５との距離を距離測定装置６から取得する（ステップＳ１４３）。

次に、表示制御部２７Ａは、距離測定装置６によって測定された距離に従い、表示装置４と撮像装置５との距離が変更されたとき、撮像装置５の撮像により得られる第２訓練用画像のサイズが維持されるための第１訓練用画像の表示サイズを決定する（ステップＳ１４４）。表示制御部２７Ａは、第４記憶部３０に記憶されている基準距離及び基準表示サイズを用いて、距離測定装置６によって測定された距離から第１訓練用画像の表示サイズを決定する。より具体的には、表示制御部２７Ａは、距離測定装置６によって測定された距離を基準距離で除算した値に基準表示サイズを乗算することにより、変更する第１訓練用画像の表示サイズを算出する。

なお、第４記憶部３０は、表示装置４と撮像装置５との距離と、第１訓練用画像の表示サイズとを対応付けたテーブルを記憶してもよい。この場合、表示制御部２７Ａは、距離測定装置６によって測定された距離に対応付けられている表示サイズを第４記憶部３０から読み出し、読み出した表示サイズを第１訓練用画像の表示サイズに決定してもよい。

次に、画像取得部２６は、第１訓練用画像を第１記憶部２１から取得する（ステップＳ１４５）。画像取得部２６は、第１記憶部２１に記憶されている複数の第１訓練用画像の中から、撮像されていない第１訓練用画像を取得する。

次に、表示制御部２７Ａは、表示装置４と撮像装置５との距離が変更されたとき、撮像装置５の撮像により得られる第２訓練用画像のサイズが維持されるように、第１訓練用画像の表示サイズを変更する（ステップＳ１４６）。このとき、表示制御部２７Ａは、決定した表示サイズに第１訓練用画像の表示サイズを変更する。

次に、表示制御部２７Ａは、表示サイズを変更した第１訓練用画像を表示装置４に表示させる（ステップＳ１４７）。

図１１に示すステップＳ１４８～ステップＳ１４９の処理は、図３に示すステップＳ１０６～ステップＳ１０７の処理と同じであるので、説明を省略する。

次に、画像取得部２６は、第１記憶部２１に記憶されている全ての第１訓練用画像を撮像装置５が撮像したか否かを判断する（ステップＳ１５０）。ここで、全ての第１訓練用画像を撮像装置５が撮像していないと判断された場合（ステップＳ１５０でＮＯ）、ステップＳ１４５に処理が戻り、画像取得部２６は、第１記憶部２１に記憶されている複数の第１訓練用画像の中から、撮像されていない第１訓練用画像を新たに取得する。その後、新たに取得された第１訓練用画像を用いてステップＳ１４６からステップＳ１４８の処理が実行される。その後、ステップＳ１４９において、撮像装置５によって取得された第２訓練用画像と、表示装置４に表示された新たな第１訓練用画像に対応付けられている正解情報との組を含むデータセットが第２記憶部２２に記憶された後、ステップＳ１５０が実行される。

一方、全ての第１訓練用画像を撮像装置５が撮像したと判断された場合（ステップＳ１５０でＹＥＳ）、距離取得部２４Ａは、予定されている全ての撮像位置における撮像装置５による撮像が完了したか否かを判断する（ステップＳ１５１）。なお、複数の撮像位置及び撮像回数が予め決められている。距離取得部２４Ａは、撮像位置を変更して所定の回数撮像された場合、全ての撮像位置における撮像装置５による撮像が完了したと判断する。ここで、全ての撮像位置における撮像装置５による撮像が完了していないと判断された場合（ステップＳ１５１でＮＯ）、ステップＳ１４１に処理が戻り、移動指示部２５Ａは、任意の撮像位置への撮像装置５の移動を移動装置３へ指示する。距離取得部２４Ａは、移動後の撮像位置における表示装置４と撮像装置５との距離の測定を指示し、距離測定装置６によって測定された距離を取得する。

一方、全ての撮像位置における撮像装置５による撮像が完了したと判断された場合（ステップＳ１５１でＹＥＳ）、処理が終了する。

図１３に示す例では、記憶制御部２９は、表示装置４に表示された第１訓練用画像に対応付けられている正解情報を第１記憶部２１から取得しているが、これに限定されない。

第１実施形態で説明したように、画像取得部２６が、第１訓練用画像と、第１訓練用画像に対応する正解情報とを第１記憶部２１から取得してもよい。この場合、画像取得部２６は、第１記憶部２１から取得した正解情報を記憶制御部２９へ出力し、記憶制御部２９は、撮像装置５によって取得された第２訓練用画像と、表示装置４に表示された第１訓練用画像に対応付けられている正解情報、つまり画像取得部２６から出力される正解情報との組を含むデータセットを第２記憶部２２に記憶する。

以上のように、本第２実施形態の撮像システム１Ａは、撮像装置５と表示装置４との距離に応じて、表示装置４に表示される第１訓練用画像の表示サイズが変更されることにより、光軸上のピンホールを通過して撮像される被写体像の位置及び大きさは変化しないが、マルチピンホールカメラにおけるピンホール間の視差量を変化させた画像が撮像される。光軸上のピンホールを通過して撮像される被写体像の位置及び大きさは変化しないため、表示装置４に表示した第１訓練用画像に付与されている正解情報はそのまま利用することができる。その結果、マルチピンホールカメラに対応したデータセットを作成することが可能である。このようなデータセットを利用して機械学習により訓練処理が実施されることで、被写体までの距離に依存せず、高精度の認識を実現することが可能である。

また、撮像システム１Ａは移動装置３を備えていなくてもよく、撮像装置５及び表示装置４の少なくとも一方をユーザが手動で移動させてもよい。この場合、距離測定装置６は、距離取得部２４Ａの指示に従い、表示装置４と撮像装置５の距離を測定する。これにより、撮像システム１Ａの構成を簡略化することができ、撮像システム１Ａの製造コストを削減することができる。

（第３実施形態）
第１実施形態及び第２実施形態では、第２訓練用画像と正解情報との組を含むデータセットが第２記憶部に記憶されるが、第３実施形態では、第２記憶部に記憶された第２訓練用画像と正解情報との組を含むデータセットを利用して、機械学習モデルが訓練される。

図１４は、本開示の第３実施形態に係る撮像システム１Ｂの全体構成の一例を示すブロック図である。図１４において、図１と同じ構成要素に関しては同じ参照符号を付し、説明を省略する。

撮像システム１Ｂは、撮像制御装置２Ｂ、移動装置３、表示装置４及び撮像装置５を備える。

撮像制御装置２Ｂは、第１記憶部２１、第２記憶部２２、第３記憶部２３、距離取得部２４、移動指示部２５、画像取得部２６、表示制御部２７、撮像制御部２８、記憶制御部２９、訓練部３１及びモデル記憶部３２を備える。

訓練部３１は、第２記憶部２２に記憶された第２訓練用画像と正解情報との組を含むデータセットを利用して、機械学習モデルを訓練する。本第３実施形態では、識別器に適用される機械学習モデルは、ディープラーニング（深層学習）等のニューラルネットワークを用いた機械学習モデルであるが、他の機械学習モデルであってもよい。例えば、機械学習モデルは、ランダムフォレスト又は遺伝的プログラミング（Ｇｅｎｅｔｉｃ Ｐｒｏｇｒａｍｍｉｎｇ）等を用いた機械学習モデルであってもよい。

訓練部３１における機械学習は、例えば、ディープラーニングなどにおける誤差逆伝播法（ＢＰ：ＢａｃｋＰｒｏｐａｇａｔｉｏｎ）などによって実現される。具体的には、訓練部３１は、機械学習モデルに第２訓練用画像を入力し、機械学習モデルが出力する認識結果を取得する。そして、訓練部３１は、認識結果が正解情報となるように機械学習モデルを調整する。訓練部３１は、機械学習モデルの調整をそれぞれ異なる第２訓練用画像及び正解情報の複数の組（例えば数千組）について繰り返すことによって、機械学習モデルの認識精度を向上させる。

モデル記憶部３２は、訓練済みの機械学習モデルを記憶している。機械学習モデルは、画像認識に用いられる画像認識モデルでもある。

なお、本第３実施形態では、撮像制御装置２Ｂが訓練部３１及びモデル記憶部３２を備えているが、本開示は特にこれに限定されず、ネットワークを介して撮像制御装置２Ｂと接続された外部コンピュータが訓練部３１及びモデル記憶部３２を備えていてもよい。この場合、撮像制御装置２Ｂは、データセットを外部コンピュータへ送信する通信部をさらに備えてもよい。また、ネットワークを介して撮像制御装置２Ｂと接続された外部コンピュータがモデル記憶部３２を備えていてもよい。この場合、撮像制御装置２Ｂは、訓練済み機械学習モデルを外部コンピュータへ送信する通信部をさらに備えてもよい。

本第３実施形態における撮像システム１Ｂは、視差情報に含まれる、被写体の奥行情報を訓練用データに用いることができるため、機械学習モデルの認識能力向上に有効である。例えば、機械学習モデルは、画像内に小さく写っている物体が、遠方に存在する被写体であることを認識でき、ゴミとして認識されないこと、つまり無視されてしまうことを抑制できる。このため、第２訓練用画像を使用した機械学習により構築された機械学習モデルは、認識性能を向上することができる。

本第３実施形態における撮像システム１Ｂは、第１記憶部２１に記憶された第１訓練用画像を表示し、表示装置４と撮像装置５との距離を変更することで得られる複数の第２訓練用画像を第２記憶部２２に記憶し、記憶した複数の第２訓練用画像を訓練に利用する。訓練部３１は、訓練処理において、第２記憶部２２に記憶されている複数の第２訓練用画像を利用してよい。また、訓練部３１は、全ての第２訓練用画像を利用せず、一部の第２訓練用画像のみをランダムに選択し、選択した一部の第２訓練用画像のみを利用してもよい。また、訓練部３１は、複数の第２訓練用画像の一部のみを入れ替えて、様々な奥行の第２訓練用画像をパッチワークのようにつなぎ合わせた一枚の画像を作成し、作成した画像を訓練に利用してもよい。

以上のように、撮像システム１Ｂは、機械学習のパラメータを訓練して最適化するだけではなく、撮像装置５のデバイスパラメータを最適化するためにも有効である。撮像装置５としてマルチピンホールカメラが利用される場合、撮像装置５の認識性能及びプライバシー保護性能は、各ピンホールの大きさ、各ピンホールの形状、各ピンホールの配置及びピンホールの数などのデバイスパラメータに依存する。そのため、最適な認識システムを実現するためには、機械学習のパラメータだけではなく、各ピンホールの大きさ、各ピンホールの形状、各ピンホールの配置及びピンホールの数などの撮像装置５のデバイスパラメータも最適化する必要がある。本第３実施形態における撮像システム１Ｂは、撮像装置５のデバイスパラメータを変更した際に得られる第２訓練用画像を訓練及び評価することにより、認識率が高く、かつプライバシー保護性能が高いデバイスパラメータを最適なデバイスパラメータとして選択することが可能である。

なお、上記各実施形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。また、プログラムを記録媒体に記録して移送することにより、又はプログラムをネットワークを経由して移送することにより、独立した他のコンピュータシステムによりプログラムが実施されてもよい。

本開示の実施形態に係る装置の機能の一部又は全ては典型的には集積回路であるＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）として実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

また、本開示の実施形態に係る装置の機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。

また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。

また、上記フローチャートに示す各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、同様の効果が得られる範囲で上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。

本開示に係る技術は、被写体のプライバシーを保護しつつ、機械学習モデルの認識精度を向上させることができるので、機械学習モデルの訓練に用いられるデータセットを作成する技術として有用である。

Claims (13)

1. 機械学習モデルの第１訓練用画像を第１記憶部から取得する画像取得部と、
   表示装置と、撮像によりボケ画像を取得する撮像装置との距離を取得する距離取得部と、
   前記距離に基づいて前記第１訓練用画像を前記表示装置に表示させる表示制御部と、
   前記表示装置に表示された前記第１訓練用画像を前記撮像装置に撮像させて第２訓練用画像を取得する撮像制御部と、
   前記撮像装置の撮像により得られた前記第２訓練用画像と、前記第１訓練用画像に対応する正解情報との組を含むデータセットを第２記憶部に記憶する記憶制御部と、
   を備え、
   前記表示制御部は、前記距離が変更されたとき、前記撮像装置の撮像により得られる前記第２訓練用画像のサイズが維持されるように、前記第１訓練用画像の表示サイズを変更し、前記表示サイズを変更した前記第１訓練用画像を前記表示装置に表示させ、
   前記撮像制御部は、前記表示サイズが変更された前記第１訓練用画像を前記撮像装置に撮像させる、
   情報処理システム。
2. 前記表示装置と前記撮像装置との距離の変更を指示する変更指示部をさらに備える、
   請求項１記載の情報処理システム。
3. 前記変更指示部は、前記距離の変更を複数回指示し、
   前記表示制御部は、前記複数回の前記距離の変更のたびに、前記撮像装置の撮像により得られる前記第２訓練用画像のサイズが維持されるように、前記第１訓練用画像の表示サイズを変更し、前記表示サイズを変更した前記第１訓練用画像を前記表示装置に表示させ、
   前記撮像制御部は、前記表示サイズが変更された前記第１訓練用画像を前記撮像装置に撮像させて複数の第２訓練用画像を取得し、
   前記記憶制御部は、前記撮像装置の撮像により得られた前記複数の第２訓練用画像それぞれと前記正解情報との組を含むデータセットを前記第２記憶部に記憶する、
   請求項２記載の情報処理システム。
4. 前記変更指示部は、前記撮像装置及び前記表示装置の少なくとも一方を移動させる移動装置に対して、前記撮像装置及び前記表示装置の少なくとも一方の移動を指示する、
   請求項２又は３記載の情報処理システム。
5. 前記変更指示部は、前記撮像装置及び前記表示装置の少なくとも一方を、前記撮像装置の光軸方向に移動させる、
   請求項４記載の情報処理システム。
6. 前記変更指示部は、前記撮像装置及び前記表示装置の少なくとも一方を、前記撮像装置の光軸方向と交差する方向に移動させる、
   請求項４に記載の情報処理システム。
7. 前記距離取得部は、前記表示装置と前記撮像装置との距離を測定する距離測定装置から前記距離を取得する、
   請求項１～３のいずれか１項に記載の情報処理システム。
8. 前記第１記憶部に記憶されている前記第１訓練用画像は、前記撮像装置とは異なる撮像装置によって取得されたボケのない画像である、
   請求項１～３のいずれか１項に記載の情報処理システム。
9. 前記表示制御部は、前記表示装置と前記撮像装置との距離に比例して前記第１訓練用画像の前記表示サイズを変更する、
   請求項１～３のいずれか１項に記載の情報処理システム。
10. 前記第２記憶部に記憶された前記第２訓練用画像と前記正解情報との組を含むデータセットを利用して、前記機械学習モデルを訓練する訓練部をさらに備える、
    請求項１～３のいずれか１項に記載の情報処理システム。
11. 前記第１訓練用画像に対応する前記正解情報は、前記第１記憶部に記憶されており、
    前記記憶制御部は、前記正解情報を前記第１記憶部から取得する、
    請求項１～３のいずれか１項に記載の情報処理システム。
12. 前記第１訓練用画像に対応する前記正解情報は、前記第１記憶部に記憶されており、
    前記画像取得部は、前記正解情報を前記第１記憶部から取得し、取得した前記正解情報を前記記憶制御部へ出力する、
    請求項１～３のいずれか１項に記載の情報処理システム。
13. コンピュータが、
    機械学習モデルの第１訓練用画像を第１記憶部から取得し、
    表示装置と、撮像によりボケ画像を取得する撮像装置との距離を取得し、
    前記距離に基づいて前記第１訓練用画像を前記表示装置に表示させ、
    前記表示装置に表示された前記第１訓練用画像を前記撮像装置に撮像させて第２訓練用画像を取得し、
    前記撮像装置の撮像により得られた前記第２訓練用画像と、前記第１訓練用画像に対応する正解情報との組を含むデータセットを第２記憶部に記憶し、
    前記第１訓練用画像の表示において、前記距離が変更されたとき、前記撮像装置の撮像により得られる前記第２訓練用画像のサイズが維持されるように、前記第１訓練用画像の表示サイズを変更し、前記表示サイズを変更した前記第１訓練用画像を前記表示装置に表示させ、
    前記第２訓練用画像の取得において、前記表示サイズが変更された前記第１訓練用画像を前記撮像装置に撮像させる、
    情報処理方法。