JP7310123B2 - 撮影装置及びプログラム - Google Patents

Description

本発明は、撮影装置及びプログラムに関する。

昨今、ディープラーニングの技術を用いて、入力画像を判別することが行われている。ディープラーニングとは、コンピュータによる機械学習で、人間の脳神経回路を模したニューラルネットワークを多層的にすることで、コンピュータ自らがデータに含まれる潜在的な特徴をとらえ、より正確で効率的な判断を実現させる技術である。ディープラーニングでは、様々な条件下で撮影した様々な画像を、コンピュータに入力させることで、コンピュータが学習して、識別器を生成する。そして、入力画像を識別器により判定させると、入力画像に対する学習結果が出力される。
ディープラーニングの精度を向上させるには、様々な条件での画像を学習させる必要がある。そのため、大量の画像が必要になる。
そこで、大量の画像を生成する学習サンプル撮影装置が開示されている（例えば、特許文献１）。
また、ある画像から大量の画像を生成する学習装置が開示されている（例えば、特許文献２）。

特開２０１６－１８１０６８号公報 特開２０１６－６６１６号公報

特許文献１は、被写体をモニタ上に載置し、モニタに背景画像を表示させた状態で被写体を撮影するものである。そのため、特許文献１では、モニタに、被写体の影が入り込んでしまい、自然な被写体の画像を取得できなかった。
また、特許文献２は、被写体の画像から３次元形状を復元して、復元した３次元形状に基づいて、被写体を描出した画像を生成するものであり、処理が煩雑であった。

そこで、本発明は、自然な被写体の画像であって撮影条件が異なる大量の画像を取得することが可能な撮影装置及びプログラムを提供することを目的とする。

本発明は、以下のような解決手段により、前記課題を解決する。
第１の発明は、被写体を保持する保持部と、前記保持部により保持された前記被写体を撮影する撮影部と、前記被写体に対して直接的又は間接的に照明光を照射する照明部と、制御部と、を備え、前記制御部は、前記保持部及び前記撮影部の少なくとも一方を制御し、前記保持部により保持された前記被写体の姿勢及び前記撮影部の撮影位置の少なくとも一方を変化させて前記撮影部による前記被写体の全方位からの撮影を可能にする撮影位置制御手段と、前記照明部から照射される照明光の照明条件を制御する照明制御手段と、前記撮影位置制御手段によって前記被写体の姿勢及び前記撮影部の撮影位置の少なくとも一方が変化されるか、又は、前記照明制御手段による前記照明部の照明条件が変更される度に、前記撮影部を制御して撮影を行わせる撮影制御手段と、前記撮影部により撮影された画像を、画像記憶部に記憶させる記憶制御手段と、を備えること、を特徴とする撮影装置である。
第２の発明は、第１の発明の撮影装置において、前記撮影部から見て、前記被写体の背面になる位置に背景部材を備え、前記背景部材は、前記被写体とは異なる色の部材であり、前記制御部は、前記撮影部により撮影された前記背景部材の画像に対して画像処理を行う背景処理手段を備え、前記制御部の前記記憶制御手段は、さらに前記背景処理手段による画像処理後の画像を、前記画像記憶部に記憶させること、を特徴とする撮影装置である。
第３の発明は、第１の発明又は第２の発明の撮影装置において、前記制御部の前記記憶制御手段は、前記画像に、前記画像に関する情報を対応付けて前記画像記憶部に記憶させること、を特徴とする撮影装置である。
第４の発明は、第３の発明の撮影装置において、前記画像に関する情報は、前記画像の撮影条件を示す撮影情報及び前記画像に含まれる前記被写体の画像に関する画像情報のうち少なくとも一方であること、を特徴とする撮影装置である。
第５の発明は、第１の発明から第４の発明までのいずれかの撮影装置において、撮影条件の指定を受け付ける指定受付部を備え、前記制御部は、前記指定受付部が受け付けた前記撮影条件に従って、前記撮影位置制御手段、前記照明制御手段及び前記撮影制御手段による処理を行うこと、を特徴とする撮影装置である。
第６の発明は、第１の発明から第５の発明までのいずれかの撮影装置において、異なる位置に配置された複数の前記照明部を備え、前記制御部の前記照明制御手段は、各照明部を制御すること、を特徴とする撮影装置である。
第７の発明は、第１の発明から第５の発明までのいずれかの撮影装置において、前記制御部は、前記照明部の前記被写体に対する照明光の照射方向を変更する照射方向変更手段を備え、前記制御部の前記撮影制御手段は、前記照射方向変更手段による照射方向の変更が行われる度に、前記撮影部を制御して撮影を行わせること、を特徴とする撮影装置である。
第８の発明は、第１の発明から第７の発明までのいずれかの撮影装置において、異なる位置から前記被写体を撮影可能に配置された複数の前記撮影部を備え、前記制御部の前記撮影制御手段は、各撮影部を制御して撮影を行わせること、を特徴とする撮影装置である。
第９の発明は、第１の発明から第８の発明までのいずれかの撮影装置において、前記保持部は、前記被写体を把持する把持部材であること、を特徴とする撮影装置である。
第１０の発明は、第１の発明から第８の発明までのいずれかの撮影装置において、前記保持部は、前記被写体を載置する載置台であること、を特徴とする撮影装置である。
第１１の発明は、第１の発明から第１０の発明までのいずれかの撮影装置において、前記制御部は、前記撮影部により撮影された前記画像に写り込んだ前記保持部の画像に対して補間処理を行う補間処理手段を備えること、を特徴とする撮影装置である。
第１２の発明は、第１の発明から第１１の発明までのいずれかの撮影装置において、前記制御部は、前記撮影部のズームレンズを制御するズーム制御手段を備え、前記撮影制御手段は、前記ズーム制御手段により前記ズームレンズが制御された場合に、前記撮影部を制御して撮影を行わせること、を特徴とする撮影装置である。
第１３の発明は、第１の発明から第１１の発明までのいずれかの撮影装置において、前記制御部は、前記撮影部と前記被写体との距離を変更する距離変更手段を備え、前記撮影制御手段は、前記距離変更手段により前記距離が変更された場合に、前記撮影部を制御して撮影を行わせること、を特徴とする撮影装置である。
第１４の発明は、第１の発明から第１３の発明までのいずれかの撮影装置において、前記制御部は、前記撮影部により撮影された前記画像から前記被写体の画像を抽出する被写体画像抽出手段と、前記被写体画像抽出手段により抽出した前記被写体の画像を囲む形状又は前記被写体の画像の形状に、前記画像を切り出す画像切出手段と、を備え、前記記憶制御手段は、前記画像切出手段により切り出された画像を、前記画像記憶部に記憶させること、を特徴とする撮影装置である。
第１５の発明は、第１の発明から第１４の発明までのいずれかの撮影装置の前記制御部としてコンピュータを機能させるためのプログラムである。

本発明によれば、自然な被写体の画像であって撮影条件が異なる大量の画像を取得することが可能な撮影装置及びプログラムを提供することができる。

第１実施形態に係る撮影装置の全体概要を示す図である。 第１実施形態に係る制御装置の機能ブロック図である。 第１実施形態に係る制御装置の撮影処理を示すフローチャートである。 第１実施形態に係るカメラにより撮影された撮影画像の例を示す図である。 第１実施形態に係る制御装置の画像編集処理を示すフローチャートである。 第１実施形態に係る撮影装置での画像処理例を示す図である。 第１実施形態に係る撮影装置での画像処理例を示す図である。 第２実施形態に係る撮影装置の全体概要を示す図である。 第２実施形態に係る制御装置の機能ブロック図である。 第３実施形態に係る撮影装置の全体構成図及び制御装置の機能ブロック図である。 第３実施形態に係る制御装置の撮影処理を示すフローチャートである。 第３実施形態に係る制御装置の画像切出処理を示すフローチャートである。 変形形態に係る撮影装置の全体概要を示す図である。

以下、本発明を実施するための形態について、図を参照しながら説明する。なお、これは、あくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
（第１実施形態）
図１は、第１実施形態に係る撮影装置１００の全体概要を示す図である。
図２は、第１実施形態に係る制御装置４の機能ブロック図である。
図１に示す撮影装置１００は、カメラ１（撮影部）と、２台のライト２（照明部）と、被写体Ａを把持するアーム３（保持部）と、背景板７（背景部材）とを備える。そして、撮影装置１００は、ライト２の異なる照明条件の中で、様々な姿勢の被写体Ａを、カメラ１に撮影させることで、撮影条件が異なる大量の被写体Ａの画像を得るシステムである。

＜カメラ１＞
カメラ１は、被写体Ａを撮影する装置である。カメラ１は、制御装置４に接続されており、制御装置４の制御により、シャッターが押されて被写体Ａを撮像する。カメラ１は、被写体Ａの方向にレンズが向くように、予め位置が固定されている。なお、カメラ１は、どのような性能のものであってもよい。カメラ１は、例えば、一眼レフカメラであってもよいし、スマートフォン等の携帯端末が備えるものであってもよい。

＜ライト２＞
ライト２は、被写体Ａに対して直接的に、又は、間接的に照明光を照射する装置である。ライト２は、制御装置４に接続されており、制御装置４の制御により、照明条件を変更する。図１において、ライト２は、２つのみであるが、撮影装置１００は、例えば、被写体Ａを取り囲むように、複数のライト２を有してもよいし、１台のライト２であってもよい。

＜アーム３＞
アーム３は、被写体Ａを把持する部材である。アーム３は、制御装置４に接続されており、制御装置４の制御によりアーム３を各軸方向に回転させて、把持する被写体Ａの姿勢を変化させる。

＜制御装置４＞
制御装置４は、カメラ１、ライト２及びアーム３を制御する。制御装置４は、例えば、パーソナルコンピュータ（ＰＣ）や、タブレット等の装置である。
図２に示すように、制御装置４は、制御部４０と、記憶部５０と、タッチパネルディスプレイ５６と、インタフェース部５９とを備える。
制御部４０は、制御装置４の全体を制御する中央処理装置（ＣＰＵ）である。制御部４０は、記憶部５０に記憶されているオペレーティングシステム（ＯＳ）や、各種のアプリケーションプログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。

制御部４０は、撮影位置制御部４１（撮影位置制御手段）と、照明制御部４２（照明制御手段）と、カメラ制御部４４（撮影制御手段）と、画像処理部４５とを備える。
撮影位置制御部４１は、アーム３を制御して、アーム３に保持された被写体Ａの姿勢を変化させる。撮影位置制御部４１による制御の結果、カメラ１による被写体Ａの全方位からの撮影が可能になる。
照明制御部４２は、ライト２から照射される照明光の照明条件を制御する。照明制御部４２は、複数のライト２の各々について、照明条件を制御する。照明条件とは、例えば、照明光の強さや、色等に関するものである。
カメラ制御部４４は、カメラ１を制御してカメラ１に撮像させる。また、カメラ制御部４４は、カメラ１を制御して、カメラ１から撮影画像を送信させる。

画像処理部４５は、カメラ１から取得した撮影画像について、画像処理を行う。画像処理部４５は、背景処理部４６（背景処理手段）と、補間処理部４７（補間処理手段）と、記憶処理部４８（記憶制御手段）とを備える。
背景処理部４６は、カメラ１から取得した撮影画像に、背景画像を合成する。
補間処理部４７は、カメラ１から取得した撮影画像の少なくとも一部に対して、補間用画像を用いて補間処理を行う。
記憶処理部４８は、カメラ１から取得した撮影画像を、撮影情報に対応付けて撮影画像記憶部５２（画像記憶部）に記憶させる。ここで、撮影情報は、撮影条件を示す情報であり、例えば、被写体Ａとの距離情報を含む位置に関する情報や、照明条件等の照明光に関する情報を含む。また、記憶処理部４８は、背景処理部４６による処理や、補間処理部４７による処理により得た処理後の画像を、生成画像記憶部５４（画像記憶部）に記憶させる。

記憶部５０は、制御部４０を実行するために必要なプログラム、データ等を記憶するためのハードディスク、半導体メモリ素子等の記憶領域である。
記憶部５０は、プログラム記憶部５１と、撮影画像記憶部５２と、合成用画像記憶部５３と、生成画像記憶部５４とを備える。
プログラム記憶部５１は、制御プログラム５１ａを記憶している。制御プログラム５１ａは、制御部４０の各種機能を実行するためのプログラムである。
撮影画像記憶部５２は、カメラ１から取得した撮影画像を記憶する記憶領域である。

合成用画像記憶部５３は、撮影画像の被写体Ａの背景として合成する合成用画像を記憶する記憶領域である。また、合成用画像記憶部５３は、撮影画像の被写体Ａの一部に対して合成する合成用画像を記憶する。合成用画像は、背景画像と、補間用画像とを含む。
生成画像記憶部５４は、画像処理部４５による画像処理で生成された処理後の画像を記憶する記憶領域である。

タッチパネルディスプレイ５６は、例えば、撮影装置１００を使用するユーザが撮影条件の指定を入力するための（指定受付部である）入力装置としての機能と、例えば、入力された撮影条件を、確認のために表示させる等の表示装置としての機能とを有する。
インタフェース部５９は、カメラ１、ライト２及びアーム３に対して、信号やデータ等を送受信するためのインタフェースである。

＜背景板７＞
図１の背景板７は、カメラ１の側から見て、被写体Ａの背面になる位置に設けられたボードである。
背景板７は、撮影画像に対してクロマキーを行うのに好適な色をしており、例えば、単色のボードである。背景板７の色は、被写体Ａの色と補色の関係にある色、つまり、互いの色を最も目立たせる色であることが望ましい。よって、背景板７は、被写体Ａの色によって、異なる色のものに変更してもよい。また、背景板７は、その他、背景として用いる絵柄等を有していてもよい。
背景板７は、カメラ１による撮影で背面を構成するものであるため、そのサイズは、カメラ１の画角より大きい。

＜被写体Ａ＞
被写体Ａは、コンピュータによる学習に使用したい撮影対象物である。図１に示す被写体Ａは、ボトル型の物体である。被写体Ａは、物体に限定されるものではない。被写体Ａは、例えば、動物や植物等であってもよい。

＜撮影装置１００の設営＞
被写体Ａの画像を取得するにあたり、撮影装置１００の設営について、図１に基づき説明する。
図１に示すように、撮影装置１００を構成するカメラ１の位置及び各ライト２の位置は、固定されている。
そして、背景板７は、被写体Ａの色とは補色の関係になる色をしたものを用意し、カメラ１の撮影方向であって、アーム３より遠い位置に配置する。
ユーザは、図１に示すように、撮影装置１００を構成する各装置を設営した後、被写体Ａをアーム３に保持させる。

＜撮影装置１００の処理＞
次に、撮影装置１００での処理について説明する。
図３は、第１実施形態に係る制御装置４の撮影処理を示すフローチャートである。
図４は、第１実施形態に係るカメラ１により撮影された撮影画像の例を示す図である。
制御装置４の制御プログラム５１ａが起動されると、制御装置４の制御部４０は、図３の処理を開始する。

図３のステップＳ（以下、「ステップＳ」を、単に「Ｓ」という。）１０において、制御部４０は、タッチパネルディスプレイ５６を介して撮影条件の指定を受け付ける。撮影条件は、例えば、撮影する枚数や、被写体Ａの撮影角度等をいう。
また、制御部４０は、撮影条件として、照明条件を受け付けてもよい。
なお、制御装置４は、記憶部５０に、予め撮影条件を記憶しておいてもよい。その場合、制御部４０は、ユーザによる撮影条件の指定があった場合には、指定された撮影条件を用い、ユーザによる撮影条件の指定がなかった場合には、記憶部５０に記憶された撮影条件を用いてもよい。

Ｓ１１において、制御部４０（撮影位置制御部４１、照明制御部４２）は、撮影条件に基づいて、各装置（各ライト２及びアーム３）を制御する。具体的には、制御部４０は、撮影条件に基づいて、各ライト２による照明光の明るさや色を制御する。また、制御部４０は、撮影条件に基づいて、アーム３を回転動作させ、被写体Ａの姿勢を変化させる。

Ｓ１２において、制御部４０は、各装置を制御したことで、Ｓ１０で受け付けた撮影条件を満たすか否かを判断する。撮影条件を満たす場合（Ｓ１２：ＹＥＳ）には、制御部４０は、処理をＳ１３に移す。他方、撮影条件を満たさない場合（Ｓ１２：ＮＯ）には、制御部４０は、撮影条件を満たすまで、本処理に留まる。
Ｓ１３において、制御部４０（カメラ制御部４４）は、カメラ１を制御して、カメラ１に被写体Ａを撮像させる。

Ｓ１４において、制御部４０は、カメラ１から撮影画像を取得し、撮影情報に対応付けて撮影画像を撮影画像記憶部５２に記憶させる。
図４（Ａ）は、図１に示す状態でカメラ１が取得した撮影画像６０の例である。撮影画像６０は、被写体Ａを、Ｚ方向上から撮影した画像である。撮影画像６０は、部分画像６０ａと、部分画像６０ｂとを含む。部分画像６０ａは、被写体Ａの画像であり、被写体Ａの上側を撮影したものである。また、部分画像６０ｂは、アーム３の画像である。
図３のＳ１５において、制御部４０は、後述する画像編集処理（図５参照）を行う。

Ｓ１６において、制御部４０は、全ての撮影条件について処理を行ったか否かを判断する。全ての撮影条件について処理を行った場合（Ｓ１６：ＹＥＳ）には、制御部４０は、処理をＳ１７に移す。他方、全ての撮影条件について処理を行っていない場合（Ｓ１６：ＮＯ）には、制御部４０は、処理をＳ１１に移す。そして、制御部４０（撮影位置制御部４１、照明制御部４２）は、撮影条件に基づいて、各装置（ライト２及びアーム３）を制御して、その後、カメラ１に被写体Ａを撮影させるという処理を繰り返す。

図４（Ｂ）から図４（Ｄ）までは、異なる撮影条件に基づいて被写体Ａを撮影した画像の例である。この例で説明する異なる撮影条件は、被写体Ａの姿勢の変化によるものである。
図４（Ｂ）は、アーム３を、Ｘ軸を中心に９０度回転させて、被写体Ａを撮影した撮影画像６１である。撮影画像６１は、部分画像６１ａと、部分画像６１ｂとを含む。部分画像６１ａは、被写体Ａの側面を撮影したものである。また、部分画像６１ｂは、アーム３の画像である。
図４（Ｃ）は、アーム３を、Ｘ軸を中心にさらに９０度回転させて、被写体Ａを撮影した撮影画像６２である。撮影画像６２は、部分画像６２ａと、部分画像６２ｂとを含む。部分画像６２ａは、被写体Ａの下側を撮影したものである。
図４（Ｄ）は、アーム３を、Ｘ軸を中心にさらに９０度回転させて、被写体Ａを撮影した撮影画像６３である。撮影画像６３は、部分画像６３ａと、部分画像６３ｂとを含む。部分画像６３ａは、図４（Ｂ）とは反対側の被写体Ａの側面を撮影したものである。

なお、全ての撮影条件について処理を行った場合とは、撮影条件として指定した被写体Ａの撮影角度にしたがって、指定した枚数の撮影をした場合をいう。
また、図には示していないが、被写体Ａの姿勢が同じであっても、照明条件が異なる場合に、撮影条件を満たすものとしてカメラを制御して撮影画像を取得してもよい。
Ｓ１７において、制御部４０は、制御プログラム５１ａの実行を終了し、本処理を終了する。

次に、画像編集処理について説明する。
図５は、第１実施形態に係る制御装置４の画像編集処理を示すフローチャートである。
図６及び図７は、第１実施形態に係る撮影装置１００での画像処理例を示す図である。
図５のＳ２０において、制御部４０は、撮影画像に対して補間処理を行うか否かを判断する。制御部４０は、補間処理を行うか否かを、ユーザからの入力によって判断してもよい。また、制御部４０は、撮影画像に対して公知の技術である画像認識処理を行うことによって、補間処理を行うか否かを判断してもよい。具体的には、画像認識処理によって、例えば、アーム３の画像があると確認された場合に、制御部４０は、補間処理を行うと判断してもよい。補間処理を行う場合（Ｓ２０：ＹＥＳ）には、制御部４０は、処理をＳ２１に移す。他方、補間処理を行わない場合（Ｓ２０：ＮＯ）には、制御部４０は、処理をＳ２２に移す。

Ｓ２１において、制御部４０（補間処理部４７）は、補間処理を行う。具体的には、制御部４０は、例えば、合成用画像記憶部５３に記憶された補間用画像を用いて、補間処理を行う。また、制御部４０は、例えば、撮影画像記憶部５２に記憶された他の撮影画像を用いて、補間処理を行ってもよい。そして、制御部４０は、補間処理後の画像を、生成画像記憶部５４に記憶させる。
なお、制御部４０は、補間処理後の画像と、元の撮影画像に対応付けられた撮影情報とを、生成画像記憶部５４に対応付けて記憶してもよい。その際、補間処理を行った旨をさらに記憶するようにしてもよい。また、制御部４０は、補間処理後の画像を、元の撮影画像に対応付けて生成画像記憶部５４に記憶してもよい。

ここで、補間処理の具体例を説明する。
図６（Ａ）は、図１に示す撮影装置１００によってカメラ１が取得した撮影画像８０の一例であり、補間処理を行う前の画像である。
図６（Ｂ）は、補間処理後の画像８１を示す。画像８１は、撮影画像８０からアーム３の画像である部分画像８０ｂを補間処理によって削除し、被写体Ａの全体画像である部分画像８１ａにしたものである。部分画像８１ａは、例えば、撮影画像記憶部５２に記憶された他の撮影画像を用いて、部分画像８０ｂが占めた部分を追加する加工処理を行って生成できる。

このように、制御部４０は、アーム３の画像を削除する補間処理を行うことで、アーム３の画像がない被写体Ａを示す部分画像８１ａを得ることができる。よって、部分画像８１ａを含む画像８１は、コンピュータによる学習に用いる画像として適切なものにできる。

図６（Ｃ）は、補間処理後の画像８２を示す。画像８２は、例えば、画像８１に、手の部分画像８２ｃを加工したものである。手の部分画像８２ｃは、例えば、合成用画像記憶部５３に記憶された補間用画像である手の画像を用いて加工したものであってよい。
このように、制御部４０は、手の画像を加える補間処理を行うことによって、被写体Ａを手に持っているという自然な画像８２を得ることができる。よって、部分画像８２ａ及び８２ｃを含む画像８２は、コンピュータによる学習に用いる画像として適切なものにできる。

図５のＳ２２において、制御装置４の制御部４０（画像処理部４５）は、合成用画像記憶部５３から背景画像を取得する。
Ｓ２３において、制御部４０（背景処理部４６）は、取得した背景画像を、被写体Ａの画像に合成し、生成画像記憶部５４に合成後の画像を記憶させる。ここで、被写体Ａの画像とは、補間処理を行った場合には、補間処理後の画像をいい、補間処理を行っていない場合には、撮影画像をいう。
なお、制御部４０は、合成処理後の画像と、元の撮影画像に対応付けられた撮影情報とを、生成画像記憶部５４に対応付けて記憶してもよい。その際、合成処理を行った旨をさらに記憶するようにしてもよい。また、制御部４０は、合成処理後の画像を、元の撮影画像に対応付けて生成画像記憶部５４に記憶してもよい。

ここで、背景画像の合成に関する具体例を説明する。
図７（Ａ）は、背景合成前の画像８１の例を示す。画像８１は、図６（Ｂ）に示すものと同じであり、補間処理によって、アーム３の画像が削除されたものである。
図７（Ｂ）は、画像８１に背景画像８５ｄを合成した合成後の画像８５の例を示す。画像８５は、被写体Ａの画像である部分画像８５ａが、タイル柄の背景画像８５ｄの前景に配置された画像である。
このように、制御部４０は、背景画像を合成する処理を行うことによって、被写体Ａが、より自然な状態にある画像８５を得ることができる。よって、部分画像８５ａ及び背景画像８５ｄを含む画像８５は、コンピュータによる学習に用いる画像として適切なものにできる。

図５のＳ２４において、制御部４０は、全ての背景画像を使用して処理を行ったか否かを判断する。この画像編集処理は、制御部４０は、合成用画像記憶部５３に記憶された全ての背景画像を用いて順番に合成するものである。全ての背景画像を使用して処理を行った場合（Ｓ２４：ＹＥＳ）には、制御部４０は、本処理を終了する。他方、全ての背景画像を使用して処理を行っていない場合（Ｓ２４：ＮＯ）には、制御部４０は、処理をＳ２２に移し、未使用の背景画像による合成処理を繰り返す。

このように、第１実施形態によれば、撮影装置１００は、以下のような効果がある。
（１）被写体Ａを保持するアーム３によって被写体Ａの姿勢を変化させる度に被写体Ａを撮影するので、様々な姿勢の被写体Ａの撮影画像を取得できる。よって、コンピュータによる学習に用いる画像として、被写体Ａに関する異なる多くの画像を、簡単に取得できる。
（２）背景板７を背景にして被写体Ａの撮影画像を得るので、背景画像の合成がしやすいものにできる。
（３）撮影画像に、撮影情報を対応付けて記憶するので、コンピュータによる学習の際に、撮影情報をも用いることができる。

（４）複数のライト２によって照明条件を変化させるので、より自然な光がある条件で被写体Ａの画像を得ることができる。
（５）撮影画像に対して補間処理をするので、補間処理後の画像を、例えば、アーム３が入らない自然なものにできる。よって、補間処理後の画像を、コンピュータによる学習に用いる画像として適切なものにできる。
（６）撮影画像に対して合成処理をするので、合成処理後の画像を、より自然な状態の画像にできる。よって、合成処理後の画像を、コンピュータによる学習に用いる画像として適切なものにできる。

（第２実施形態）
第２実施形態では、被写体が固定され、カメラの撮影位置が変わるものを説明する。なお、以降の説明において、上述した第１実施形態と同様の機能を果たす部分には、同一の符号又は末尾に同一の符号を付して、重複する説明を適宜省略する。

図８は、第２実施形態に係る撮影装置２００の全体概要を示す図である。
図９は、第２実施形態に係る制御装置２０４の機能ブロック図である。
図８に示す撮影装置２００は、カメラ１と、ライト２と、被写体Ａを把持するアーム２０３と、背景板７との他、カメラ１の撮影位置を変更する可動部材２０５と、ライト２の照射方向を変更する可動部材２０６と、背景板７の位置を変更する可動部材２０８とを備える。そして、撮影装置２００は、ライト２の異なる照明条件及び照射方向の中で、様々な方向から被写体Ａを、カメラ１に撮影させることで、撮影条件が異なる大量の被写体Ａの画像を得るシステムである。

＜カメラ１＞
カメラ１は、可動部材２０５によって、被写体Ａに対する位置が変更可能になっている。可動部材２０５は、カメラ１を被写体Ａに対して全方位からの撮影が可能なように、カメラ１の位置を変更可能な部材である。
＜ライト２＞
ライト２は、可動部材２０６によって、照明光の照射方向が変更可能になっている。
＜アーム２０３＞
アーム２０３は、被写体Ａを把持する部材である。アーム２０３は、予め位置が固定されている。

＜制御装置２０４＞
制御装置２０４は、カメラ１及びライト２の他、可動部材２０５、２０６、２０８を制御する。
図９に示すように、制御装置２０４は、制御部２４０と、記憶部２５０と、タッチパネルディスプレイ５６と、インタフェース部５９とを備える。
制御部２４０は、撮影位置制御部２４１と、照明制御部４２と、照射方向変更部２４３（照射方向変更手段）と、カメラ制御部４４と、画像処理部４５とを備える。
撮影位置制御部２４１は、可動部材２０５を制御することで、カメラ１の撮影位置を変化させる。また、撮影位置制御部２４１は、カメラ１の撮影位置を変化させることに応じて、可動部材２０８を制御し、背景板７の位置を変化させる。具体的には、可動部材２０５及び可動部材２０８によって、カメラ１の側から見て、被写体Ａの背面になる位置に、常に背景板７が設けられるようにする。
照射方向変更部２４３は、可動部材２０６を制御することで、ライト２による照明光の照射方向を変更する。

記憶部２５０は、プログラム記憶部２５１と、撮影画像記憶部５２と、合成用画像記憶部５３と、生成画像記憶部５４とを備える。プログラム記憶部２５１は、制御部２４０の各種機能を実行するためのプログラムである制御プログラム２５１ａを記憶している。

＜背景板７＞
図８の背景板７は、可動部材２０８によって、被写体Ａに対する位置が変更可能になっている。

＜撮影装置２００の処理＞
撮影装置２００の処理については、第１実施形態（図３）とＳ１１に対応する処理を除いて同じである。
図３のＳ１１に対応する処理において、制御部２４０（撮影位置制御部２４１、照明制御部４２、照射方向変更部２４３）は、撮影条件に基づいて、各装置（ライト２、可動部材２０５、２０６及び２０８）を制御する。具体的には、制御部２４０は、撮影条件に基づいて、ライト２及び可動部材２０６を制御して、ライト２による照明光の明るさ、色及び照射方向を制御する。また、制御部２４０は、撮影条件に基づいて、可動部材２０５及び２０８を制御して、被写体Ａに対するカメラ１及び背景板７の位置を変化させる。

このように、第２実施形態によれば、撮影装置２００は、以下のような効果がある。
（１）カメラ１の位置を変化させる度に被写体Ａを撮影するので、様々な方向から被写体Ａの撮影画像を取得できる。よって、コンピュータによる学習に用いる画像として、被写体Ａに関する異なる多くの画像を、簡単に取得できる。
（２）カメラ１の位置を変化させることに応じて、背景板７の位置を変化させるので、カメラ１の位置が変わっても、背景板７を背景として被写体Ａが撮影できる。
（３）ライト２の照射方向が変更される度に被写体Ａを撮影するので、同じ方向からの被写体Ａの撮影画像でも、照明条件が異なる撮影画像を得ることができる。よって、コンピュータによる学習に用いる画像として、異なるライティングの画像を、簡単に取得できる。

（第３実施形態）
第３実施形態では、被写体の大きさが様々である画像を取得するものを説明する。
図１０は、第３実施形態に係る撮影装置３００の全体構成図及び制御装置３０４の機能ブロック図である。
第３実施形態で説明する撮影装置３００の各機器の設置状況は、第１実施形態（図１）と同様である。
撮影装置３００は、カメラ３０１のズームレンズを制御することで、被写体Ａの大きさを拡大及び縮小させた様々な画像を撮影する。また、撮影装置３００は、撮影画像に含まれる被写体画像に関する画像情報を、撮影画像に関連付ける。ここで、画像情報や撮影情報は、撮影画像のメタデータであり、ラベル付けによって撮影画像に関連付けができる。そうすることで、メタデータがラベル付けされた画像は、機械学習に用いる際の教師データになり得る。

＜カメラ３０１＞
カメラ３０１は、ズームレンズ（図示せず）を備える。そして、カメラ３０１は、ズームレンズの制御によって、画角に占める被写体Ａの大きさを変更することができ、様々な大きさの被写体を画角に有する画像を撮影可能である。

＜制御装置３０４＞
制御装置３０４は、制御部３４０と、記憶部３５０と、タッチパネルディスプレイ５６と、インタフェース部５９とを備える。
制御部３４０は、撮影位置制御部４１と、照明制御部４２と、カメラ制御部３４４（撮影制御手段、ズーム制御手段）と、画像処理部３４５とを備える。
カメラ制御部３４４は、カメラ３０１のズームレンズを制御してカメラ３０１に撮像させる。また、カメラ制御部３４４は、カメラ３０１を制御して、カメラ３０１から撮影画像を送信させる。

画像処理部３４５は、背景処理部４６と、補間処理部４７と、切出処理部３４７ａ（被写体画像抽出手段、画像切出手段）と、記憶処理部３４８とを備える。
切出処理部３４７ａは、カメラ３０１によって取得した撮影画像から被写体Ａの画像を抽出する。そして、切出処理部３４７ａは、抽出した被写体Ａの画像を囲む矩形領域を設定して、被写体Ａの画像を切り出す。また、切出処理部３４７ａは、被写体の画像に関する画像情報を取得する。切出処理部３４７ａは、撮影画像に対して公知の物体認識処理を行うことによって、被写体Ａの画像に関する画像情報を取得できる。また、切出処理部３４７ａは、ユーザによってタッチパネルディスプレイ５６を介して入力された画像情報を取得してもよい。ここで、画像情報は、撮影画像に含まれる被写体Ａの名称を含み、被写体Ａが製品の場合には、メーカ名や製品名を含んでもよい。

記憶処理部３４８は、カメラ３０１から取得した撮影画像に、メタデータをラベル付けして撮影画像記憶部５２に記憶させる。また、記憶処理部３４８は、背景処理部４６による処理や、補間処理部４７による処理、さらには切出処理部３４７ａによる処理により得た処理後の画像に、メタデータをラベル付けして、生成画像記憶部３５４に記憶させる。

記憶部３５０は、プログラム記憶部３５１と、撮影画像記憶部５２と、合成用画像記憶部５３と、生成画像記憶部３５４とを備える。
プログラム記憶部３５１は、制御部３４０の各種機能を実行するためのプログラムである制御プログラム３５１ａを記憶している。
生成画像記憶部３５４は、画像処理部３４５による画像処理で生成された処理後の画像を記憶する記憶領域である。

＜撮影装置３００の処理＞
次に、撮影装置３００での処理について説明する。
図１１は、第３実施形態に係る制御装置３０４の撮影処理を示すフローチャートである。
図１１のＳ３１０において、制御部３４０は、タッチパネルディスプレイ５６を介して撮影条件の指定を受け付ける。撮影条件には、例えば、ズームレンズの倍率等をさらに含む。
Ｓ３１１において、制御部３４０（撮影位置制御部４１、照明制御部４２、カメラ制御部３４４）は、撮影条件に基づいて、各装置（各ライト２、アーム３及びカメラ３０１）を制御する。カメラ３０１を制御するものとして、具体的には、制御部３４０は、撮影条件に基づいて、ズームレンズの倍率を変化させる。

Ｓ３１２からＳ３１５までの処理は、第１実施形態（図３）のＳ１２からＳ１５までの処理と同様である。
Ｓ３１５ａにおいて、制御部３４０（画像処理部３４５）は、後述する画像切出処理（図１２参照）を行う。
Ｓ３１６及びＳ３１７の処理は、第１実施形態（図３）のＳ１６及びＳ１７の処理と同様である。

次に、画像切出処理について説明する。
図１２は、第３実施形態に係る制御装置３０４の画像切出処理を示すフローチャートである。
図１２のＳ３３０において、制御部３４０（切出処理部３４７ａ）は、画像を解析して、被写体Ａの画像を抽出する。具体的には、制御部３４０は、例えば、物体認識処理を行うことで、撮影画像に含まれる被写体Ａを認識する。ここで、処理を行う画像は、撮影画像の他、画像編集処理による処理後の画像を含む。
Ｓ３３１において、制御部３４０（切出処理部３４７ａ）は、抽出した被写体Ａの画像に関する画像情報を取得する。画像情報は、被写体Ａの名称等であり、例えば、物体認識処理において取得してもよいし、手入力によって取得してもよい。

Ｓ３３２において、制御部３４０（記憶処理部３４８）は、取得した画像情報を、画像に対応付けて記憶する。ここで、制御部３４０は、取得した画像情報を、撮影画像記憶部５２に記憶された撮影画像に対応付ける。また、制御部３４０は、取得した画像情報を、生成画像記憶部３５４に記憶された補間処理後の画像や合成処理後の画像に対応付ける。
Ｓ３３３において、制御部３４０（切出処理部３４７ａ）は、被写体Ａの画像を切り出す。
Ｓ３３４において、制御部３４０（記憶処理部３４８）は、切り出した被写体Ａの画像に、取得した画像情報を対応付ける。そして、制御部３４０は、被写体Ａの画像を、生成画像記憶部３５４に記憶させる。その後、制御部３４０は、処理を図１１のＳ３１６に処理を移す。

このように、第３実施形態によれば、撮影装置３００は、以下のような効果がある。
（１）カメラ３０１のズーム倍率を変化させる度に被写体Ａを撮影するので、様々な大きさの被写体Ａを含む撮影画像を取得できる。よって、コンピュータによる学習に用いる画像として、被写体Ａに関する異なる多くの画像を、簡単に取得できる。
（２）物体認識処理によって被写体Ａの画像情報を取得し、撮影画像や、撮影画像を加工（補間、背景付加、切出）した画像に画像情報を対応付ける。よって、コンピュータによる学習に最適な情報を有する画像を、簡単に取得できる。

以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。また、実施形態に記載した効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、実施形態に記載したものに限定されない。なお、上述した実施形態及び後述する変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。

（変形形態）
（１）各実施形態では、アームによって把持された被写体を撮影して画像を取得するものを例に説明したが、これに限定されない。例えば、被写体を回転台に載置して撮影するものであってもよい。
図１３は、変形形態に係る撮影装置４００の全体概要を示す図である。
図１３に示す撮影装置４００は、カメラ１と、ライト２と、制御装置４０４と、被写体Ａを載置する台４０９（載置台）と、背景板７との他、台４０９を回転させる可動部材４０８を備える。そして、撮影装置４００は、制御装置４０４が、カメラ１と、ライト２と、可動部材４０８とを制御して、様々なライト２の照明条件の中で、台４０９が回転されることによって様々な方向の被写体Ａを、カメラ１に撮影させる。そのようにすることで、撮影装置４００は、撮影条件が異なる大量の被写体Ａの画像を得ることができる。

（２）各実施形態では、１台のカメラによる撮影を例に説明したが、これに限定されない。配置位置の異なる複数のカメラを用いて、被写体を撮影してもよい。その場合、撮影画像に他のカメラの画像を含むことがあるが、その際には、補間処理によって、他のカメラを削除すればよい。
（３）各実施形態では、背景板を用いるものとして説明したが、これに限定されない。背景板を用いなくてもよい。その場合には、現実の背景が入った画像になるが、これもコンピュータによる学習に用いる画像にすることができる。

（４）本実施形態では、撮影画像を取得した後に、撮影処理の中で画像編集処理や画像切出処理を行うものとして説明したが、これに限定されない。撮影処理とは別に、画像編集処理や画像切出処理を行ってもよい。
（５）本実施形態では、全ての背景画像を用いて合成するものを例に説明したが、これに限定されない。使用する１以上の背景画像を、例えば、ユーザが選択することで、タッチパネルディスプレイを介して受け付け、選択された背景画像を用いて合成するものであってもよい。

（６）第３実施形態では、カメラのズームレンズによって被写体の大きさが様々な画像を取得するものを説明したが、これに限定されない。制御装置が有する距離変更手段がカメラと被写体との距離を変更して、被写体が拡大及び縮小させた様々な画像を取得するものであってもよい。
（７）第３実施形態では、被写体を含む矩形領域を切り出すものを例に説明したが、これに限定されない。被写体のシルエットに沿って切り出すものであってもよい。また、矩形に限らず、円形や楕円形等の形状に切り出すものであってもよい。

１、３０１ カメラ
２ ライト
３、２０３ アーム
４、２０４、３０４、４０４ 制御装置
７ 背景板
４０、２４０、３４０ 制御部
４１、２４１ 撮影位置制御部
４２ 照明制御部
４４、３４４ カメラ制御部
４５、３４５ 画像処理部
４６ 背景処理部
４７ 補間処理部
４８、３４８ 記憶処理部
５０、２５０、３５０ 記憶部
５１ａ、２５１ａ、３５１ａ 制御プログラム
５２ 撮影画像記憶部
５３ 合成用画像記憶部
５４、３５４ 生成画像記憶部
５６ タッチパネルディスプレイ
１００、２００、３００、４００ 撮影装置
２０５、２０６、２０８、４０８ 可動部材
２４３ 照射方向変更部
３４７ａ 切出処理部
４０９ 台
Ａ 被写体

Claims (15)

1. 被写体を保持する保持部と、
   前記保持部により保持された前記被写体を撮影する撮影部と、
   前記被写体に対して直接的又は間接的に照明光を照射する照明部と、
   制御部と、
   前記被写体の撮影角度に係る条件を含む撮影条件を記憶する記憶部と、
   手の画像である補間用画像を記憶する合成用画像記憶部と、
   を備え、
   前記制御部は、
   前記保持部及び前記撮影部の少なくとも一方を制御し、前記保持部により保持された前記被写体の姿勢及び前記撮影部の撮影位置の少なくとも一方を変化させて前記撮影部による前記被写体の全方位からの撮影を可能にする撮影位置制御手段と、
   前記照明部から照射される照明光の照明条件を制御する照明制御手段と、
   前記撮影条件にしたがって前記撮影位置制御手段による制御を行って前記被写体の姿勢及び前記撮影部の撮影位置の少なくとも一方が変化された場合及び／又は前記照明制御手段による前記照明部の照明条件が変更された場合に、前記撮影部を制御して撮影を行わせる撮影制御手段と、
   前記撮影制御手段により前記撮影部から取得した画像を、画像記憶部に記憶させる記憶制御手段と、
   前記撮影制御手段により前記撮影部により撮影された前記画像に写り込んだ前記保持部の画像に対して、前記合成用画像記憶部に記憶された前記補間用画像を加える補間処理を行う補間処理手段と、
   を備え、
   前記記憶制御手段は、前記補間処理手段による補間処理後の画像を、前記画像記憶部に記憶させ、
   前記制御部は、少なくとも全ての前記撮影条件にしたがった前記撮影位置制御手段による制御がされるまで、前記撮影制御手段及び前記記憶制御手段による処理を繰り返し行うこと、
   を特徴とする撮影装置。
2. 請求項１に記載の撮影装置において、
   前記制御部は、前記撮影制御手段により前記撮影部から取得した前記画像から物体認識処理により前記被写体の画像に関する画像情報を取得する被写体画像抽出手段を備え、
   前記記憶制御手段は、前記被写体画像抽出手段が取得した前記画像情報を、前記画像に関連付けて前記画像記憶部に記憶させること、
   を特徴とする撮影装置。
3. 請求項１に記載の撮影装置において、
   前記制御部は、前記撮影制御手段により前記撮影部から取得した前記画像から物体認識処理により前記被写体の画像を切り出し、及び、前記被写体の画像に関する画像情報を取得する被写体画像抽出手段を備え、
   前記記憶制御手段は、前記被写体画像抽出手段が取得した前記画像情報を、切り出された前記被写体の画像に関連付けて前記画像記憶部に記憶させること、
   を特徴とする撮影装置。
4. 請求項１から請求項３までのいずれかに記載の撮影装置において、
   前記撮影部から見て、前記被写体の背面になる位置に背景部材を備え、
   前記背景部材は、前記被写体とは異なる色の部材であり、
   前記制御部は、前記撮影部により撮影された前記背景部材の画像に対して画像処理を行う背景処理手段を備え、
   前記制御部の前記記憶制御手段は、さらに前記背景処理手段による画像処理後の画像を、前記画像記憶部に記憶させること、
   を特徴とする撮影装置。
5. 請求項４に記載の撮影装置において、
   前記撮影位置制御手段は、前記撮影部の撮影位置を変化させる場合に、前記背景部材の配置位置を変更可能な可動部材を制御することにより前記背景部材の配置位置を前記撮影部による撮影方向であって前記被写体の背面の位置に移動させる処理を行うこと、
   を特徴とする撮影装置。
6. 請求項１から請求項５までのいずれかに記載の撮影装置において、
   前記撮影条件の指定を受け付ける指定受付部を備え、
   前記制御部は、前記指定受付部が受け付けた前記撮影条件について、全ての前記撮影条件にしたがった前記撮影位置制御手段による制御がされるまで、前記撮影位置制御手段及び前記照明制御手段による処理を繰り返し行うこと、
   を特徴とする撮影装置。
7. 請求項１から請求項６までのいずれかに記載の撮影装置において、
   異なる位置に配置された複数の前記照明部を備え、
   前記制御部の前記照明制御手段は、各照明部から照射される照射光の前記照明条件を制御すること、
   を特徴とする撮影装置。
8. 請求項１から請求項７までのいずれかに記載の撮影装置において、
   前記制御部は、前記照明部の前記被写体に対する照明光の照射方向を変更する照射方向変更手段を備え、
   前記制御部の前記撮影制御手段は、前記照射方向変更手段による照射方向の変更が行われる度に、前記撮影部を制御して撮影を行わせること、
   を特徴とする撮影装置。
9. 請求項１から請求項８までのいずれかに記載の撮影装置において、
   異なる位置から前記被写体を撮影可能に配置された複数の前記撮影部を備え、
   前記制御部の前記撮影制御手段は、各撮影部を制御して撮影を行わせること、
   を特徴とする撮影装置。
10. 請求項１から請求項９までのいずれかに記載の撮影装置において、
    前記保持部は、前記被写体を把持する把持部材であること、
    を特徴とする撮影装置。
11. 請求項１から請求項９までのいずれかに記載の撮影装置において、
    前記保持部は、前記被写体を載置する載置台であること、
    を特徴とする撮影装置。
12. 請求項１から請求項１１までのいずれかに記載の撮影装置において、
    前記補間処理手段は、前記撮影制御手段により前記撮影部により撮影された前記画像に写り込んだ前記保持部の画像に対して、前記画像記憶部に記憶された他の画像を用いて前記保持部の画像を削除する補間処理を行うこと、
    を特徴とする撮影装置。
13. 請求項１から請求項１２までのいずれかに記載の撮影装置において、
    前記制御部は、前記撮影部のズームレンズの倍率を制御するズーム制御手段を備え、
    前記撮影制御手段は、前記ズーム制御手段により前記ズームレンズの倍率を変化させる制御がされた場合に、前記撮影部を制御して撮影を行わせること、
    を特徴とする撮影装置。
14. 請求項１から請求項１３までのいずれかに記載の撮影装置において、
    前記制御部は、前記撮影部と前記被写体との距離を変更する距離変更手段を備え、
    前記撮影制御手段は、前記距離変更手段により前記距離が変更された場合に、前記撮影部を制御して撮影を行わせること、
    を特徴とする撮影装置。
15. 請求項１から請求項１４までのいずれかに記載の撮影装置の前記制御部としてコンピュータを機能させるためのプログラム。

Images