JP6266374B2 - 収納装置、画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明の実施形態は、収納装置、画像処理装置、画像処理方法およびプログラムに関する。

従来、冷蔵庫等の収納装置において、ドア（開き戸）の開閉時に、当該ドアに取り付けられたカメラなどの撮像装置で収納装置の内部を撮像し、その撮像により得られた画像をユーザに提示する技術が知られている。

特開２００１−３１７８５８号公報

しかしながら、従来技術では、例えば開閉時のドアの角度によっては、ユーザに提示すべき領域を含む画像を得ることができないという問題がある。また、例えばドアの開閉と同時にユーザの手などが撮像範囲に侵入してきた場合やドアの移動速度が大きい場合においても、ユーザに提示すべき領域を含む画像を得ることができないという問題が起こる。すなわち、従来技術では、ユーザに提示する収納装置内の画像の品質が低いという問題がある。

本発明が解決しようとする課題は、ユーザに提示する収納装置内の画像の品質を向上させることが可能な収納装置、画像処理装置、画像処理方法およびプログラムを提供することである。

実施形態の収納装置は、開き戸と、収納室と、生成部とを備える。収納室は、物体を収納する。生成部は、開き戸の開動作および閉動作のうちの少なくとも一方が行われる場合に、開動作または閉動作に応じて収納室との位置関係が変化するとともに収納室を複数撮像する撮像部による撮像で得られた複数の撮像画像を合成する。生成部は、第１の生成部と第２の生成部とを含む。第１の生成部は、複数の撮像画像に含まれる同一の被写体が重なるよう、複数の撮像画像を合成した第１合成画像を生成する。第２の生成部は、第１合成画像が、収納室のうちユーザに提示すべき領域を示す対象領域の一部を含んでいない場合、過去の第１合成画像を用いて当該対象領域の一部を補完し、ユーザに提示するための第２合成画像を生成する。

実施形態の冷蔵庫の正面図。 実施形態の冷蔵庫の平面図。 実施形態の冷蔵庫の平面図。 実施形態の各カメラ位置に対応する撮像画像の一例を示す図。 実施形態の画像処理装置の構成の一例を示す図。 実施形態の開き戸の角度を説明するための図。 実施形態の撮像画像に対する補正を説明するための図。 実施形態の撮像画像に対する補正を説明するための図。 実施形態の第１合成画像の一例を示す図。 実施形態の第１合成画像と不足領域の一例を示す模式図。 実施形態の第２合成画像の生成方法を示す概念図。 実施形態の画像処理装置の構成の一例を示す図。 実施形態の第１信頼度を説明するための模式図。

以下、添付図面を参照しながら、本発明に係る収納装置、画像処理装置、画像処理方法およびプログラムの実施形態を詳細に説明する。以下の説明では、収納装置の一例として、冷蔵庫を挙げて説明するが、これに限られるものではない。

（第１実施形態）
図１は、本実施形態の冷蔵庫１の正面図である。図１に示すように、冷蔵庫１は、開き戸１０と、本体部２０とを備える。

なお、「開き戸」とは、一方の端部（扉の両側縁のうちの一方の側縁）が蝶番（ヒンジ）などで固定され、その固定された部分を軸として、他方の端部（扉の両側縁のうちの他方の側縁）が弧を描くように移動する扉（戸）を指す。

図１に示すように、本体部２０は、物体を収納する収納室２１を有する。図１では、正面視において収納室２１の入口全体が完全に露出するように開き戸１０の開動作が行われた後の状態を図示している。ここでは、図示を省略するが、開き戸１０には、ユーザが開き戸１０を開閉させるための把持部が設けられている。図１の例では、開き戸１０は、１枚の扉で構成されているが、これに限らず、例えば２枚の扉で構成される両開き戸であってもよいし、例えば上下に開くタイプの扉であってもよい。また、図１の例では、開き戸１０の後面（収納室２１側の面）には、ペットボトルなどの容器を収納するためのドアポケット１１が設けられている。

また、図１の例では、開き戸１０には、開き戸１０の開動作または閉動作に応じて収納室２１との位置関係が変化するとともに収納室２１を複数撮像する（連続的に撮像する）カメラ３０が取り付けられている。本明細書において、「撮像」とは、レンズなどの光学系により結像された被写体（撮像対象）の像を、電気信号に変換することを指す。カメラ３０は、動画の撮像を行う機能を有するものであればよく、例えばＣＣＤやＣＭＯＳを用いた可視光カメラや赤外カメラなどで構成され得る。この例では、カメラ３０は、請求項の「撮像部」に対応していると考えることができる。なお、この例では、カメラ３０は開き戸１０に外付けされているが、これに限らず、例えばカメラ３０が開き戸１０に内蔵される（埋め込まれる）形態であってもよい。

本実施形態では、カメラ３０による撮像は、開き戸１０の開閉時に行われる。また、カメラ３０の設置場所や設置時のカメラ３０の光軸方向や画角等は、ユーザに提示する収納室２１の範囲に応じて決定することが好ましい。例えば収納室２１のうちの少なくとも入口全体を提示する場合、開き戸１０の開閉時において、収納室２１のうちの少なくとも入口全体が撮像されるよう、カメラ３０の光軸方向や角度を決定することが好ましい。また、本実施形態では、カメラ３０の台数が１台である場合を例に挙げて説明するが、これに限らず、例えば複数台のカメラ３０を用いて、ユーザに提示する収納室２１の範囲を撮像する形態であってもよい。

図２は、冷蔵庫１を上方から俯瞰した場合の平面図である。図２においては、開き戸１０の上部であって、根元（扉の回転軸に対応する部分）から、扉の上縁部の全長の２／３程度の位置に、カメラ３０を設置した例を示している。図２の例では、扉面（扉の前面または後面）の法線方向に対して角度θの方向にカメラ光軸を向けてカメラ３０が設置されている。

図３は、冷蔵庫１を上方から俯瞰した場合の平面図であり、正面視において収納室２１の入口全体が完全に露出するまで開き戸１０の開動作が行われた場合に、カメラ３０による撮像が行われる様子を示している。図３の例では、上記開動作が行われる場合、カメラ３０は、位置Ｐ１→位置Ｐ２→位置Ｐ３と移動しながら撮像を行う。カメラ３０は、位置Ｐ１では収納室２１の入口の右側を撮像し、位置Ｐ２では収納室２１の入口の中央付近を撮像し、位置Ｐ３では収納室２１の左側を撮像し、開動作の開始から終了までにおいて収納室２１の入口全体を撮像することになる。

図４の（ａ）は、上記位置Ｐ１に対応する撮像画像（位置Ｐ１でのカメラ３０による撮像で得られた画像）を表す。また、図４の（ｂ）は、上記位置Ｐ２に対応する撮像画像を表す。さらに、図４の（ｃ）は、上記位置Ｐ３に対応する撮像画像を表す。

図５は、冷蔵庫１に搭載された画像処理装置１００の構成の一例を示す図である。ここでは、画像処理装置１００が冷蔵庫１に搭載される場合を例に挙げて説明するが、これに限らず、例えば画像処理装置１００は、冷蔵庫１の外部に設けられる形態であってもよい。

図５に示すように、画像処理装置１００は、カメラ制御部１１０と、取得部１２０と、生成部１２５と、表示制御部１６０とを備える。

カメラ制御部１１０は、センサ４０からの信号に基づいて、カメラ３０による撮像の開始または終了を制御する。この例では、センサ４０は、所定の周期で、開き戸１０の角度φを検出する角度センサである。センサ４０を構成する角度センサとしては、公知の様々な構成を利用可能である。この例では、図６に示すように、上記角度φは、本体部２０の前面と開き戸１０とのなす角度を表す。角度φが「０度」であれば、開き戸１０は閉じた状態であり、角度φが「９０度」であれば、正面視において収納室２１の入口全体が露出するように開き戸１０が開いた状態であると考えることができる。本実施形態のセンサ４０は、角度φを検出するたびに、その検出した角度φを示す信号（以下の説明では、「角度信号」と称する場合がある）を、カメラ制御部１１０および後述の取得部１２０へ送信する。

図５に戻って、カメラ制御部１１０の説明を続ける。前述したように、本実施形態では、カメラ３０による撮像は、開き戸１０の開閉時に行われる。より具体的には以下のとおりである。例えばカメラ制御部１１０は、上記所定の周期でセンサ４０から取得する角度信号が示す角度φが、「０度」から増加方向に変化する場合は、開動作が開始されたと判断し、カメラ３０による撮像を開始する制御を行う。当該カメラ３０による撮像を開始する制御を行った後、カメラ制御部１１０は、センサ４０からの角度信号が示す角度φの増加方向の変化量が閾値以下になった場合は、開動作が完了したと判断して、カメラ３０による撮像を終了する制御を行う。その後、センサ４０からの角度信号が示す角度φの減少方向の変化量が閾値を超えた場合、カメラ制御部１１０は、閉動作が開始されたと判断し、カメラ３０による撮像を開始する制御を行う。当該カメラ３０による撮像を開始する制御を行った後、カメラ制御部１１０は、センサ４０からの角度信号が示す角度φが「０度」を示す場合は、閉動作が完了したと判断して、カメラ３０による撮像を終了する制御を行う。

次に、図５に示す取得部１２０について説明する。取得部１２０は、カメラ３０による撮像が行われるたびに、当該撮像により得られた撮像画像と、当該撮像が行われた時刻を示す撮像時刻とをカメラ３０から取得して後述の検出部１３１へ供給する。また、この例では、取得部１２０は、上記所定の周期でセンサ４０からの角度信号を取得して後述の検出部１３１へ供給する。

なお、例えば上述のカメラ制御部１１０が設けられずに、カメラ３０による撮像が常時行われており、取得部１２０は、センサ４０からの角度信号に基づいて、開き戸１０の開動作または閉動作が行われていると判断した場合にのみ、撮像画像および撮像時刻をカメラ３０から取得する形態であってもよい。

次に、図５に示す生成部１２５について説明する。生成部１２５は、開き戸１０の開動作および閉動作のうちの少なくとも一方が行われる場合に、カメラ３０による撮像で得られた複数の撮像画像を合成する。以下、具体的な内容を説明する。図５に示すように、生成部１２５は、第１生成部１３０と、記憶部１４０と、第２生成部１５０と、を含む。

第１生成部１３０は、開き戸１０の開動作および閉動作のうちの少なくとも一方が行われる場合に、カメラ３０による撮像で得られた複数の撮像画像に含まれる同一の被写体が重なるよう、複数の撮像画像を合成した第１合成画像（パノラマ画像）を生成する。以下、具体的に説明する。本実施形態では、第１生成部１３０は、検出部１３１と、補正部１３２と、合成部１３３とを含む。

検出部１３１は、収納室２１に対するカメラ３０の相対的な位置を検出する。この例では、検出部１３１は、請求項の「位置検出部」に対応する機能を有していると考えることができる。より具体的には以下のとおりである。この例では、検出部１３１は、予め定められたカメラ３０の取り付け位置（この例では、開き戸１０に取り付けられたカメラ３０の位置）や方向等の設置情報を、カメラ３０あるいは不図示のメモリ（外部装置でもよい）から取得する。また、例えば検出部１３１は、撮像時の明るさやシャッタースピード等の撮像環境を示す環境情報をカメラ３０から取得することもできる。また、例えば検出部１３１は、カメラ３０の解像度や画角等のカメラ３０のスペックを、カメラ３０あるいは不図示のメモリ（外部装置でもよい）から取得することもできる。

例えば検出部１３１は、開き戸１０の根元の位置を原点とする座標系を定義し、上述の取得部１２０から供給される角度信号が示す角度φと、上述の設置情報が示すカメラ３０の取り付け位置とから、当該座標系におけるカメラ３０の座標値を算出し、その算出した座標値を、カメラ３０の位置（収納室２１に対するカメラ３０の相対的な位置）として検出することもできる。本実施形態では、検出部１３１は、取得部１２０から供給される情報（撮像画像、撮像時刻および角度信号）や、上述の設置情報などに基づいて、撮像時のカメラ３０の位置（より具体的には、複数の撮像時刻と１対１に対応する複数のカメラ位置）を検出する。そして、検出部１３１は、検出した複数の位置（撮像時のカメラ３０の位置）ごとに、当該位置での撮像により得られた撮像画像を対応付けた検出情報を、後述の補正部１３２へ供給する。

また、例えば検出部１３１は、上記所定の周期で取得部１２０から供給される角度信号に基づいて、開き戸１０の開動作の開始と終了、または、閉動作の開始と終了を検出（判断）することもできる。例えば検出部１３１は、開動作が行われる場合に（開動作の開始から終了までの一連の動作が完了するたびに）、当該開動作に対応する上述の検出情報を、後述の補正部１３２へ供給することもできる。また、例えば検出部１３１は、閉動作が行われる場合に（閉動作の開始から終了までの一連の動作が完了するたびに）、当該閉動作に対応する上述の検出情報を、後述の補正部１３２へ供給することもできる。

なお、例えば検出部１３１が、上述した取得部１２０の機能を兼ねる形態であってもよい。つまり、取得部１２０が設けられない形態であってもよい。

また、カメラ３０の位置を検出する方法としては、上記に限られず、様々な方法が考えられる。例えばカメラ３０にジャイロやＧＰＳ等を取り付け、ジャイロやＧＰＳ等により得られた情報を元にカメラ３０の位置を求めることもできる。また、例えばカメラ３０による撮像範囲にマーカ等を配置し、撮像画像中のマーカの位置や大きさからカメラ３０の位置を求めることもできる。以上に例示した方法以外の方法で、カメラ３０の位置を求めてもよい。要するに、検出部１３１は、カメラ３０の位置（撮像を行ったときのカメラ３０の位置）を検出する機能を有するものであればよい。

補正部１３２は、開き戸１０の開動作および閉動作のうちの少なくとも一方が行われた場合において経時的に変化（時間の経過とともに変化）するカメラ３０の位置のうち、基準となる位置を示す基準位置以外の位置に対応する撮像画像に対して、各位置に対応する撮像画像に含まれる被写体のスケールを揃えるための補正を行う。本実施形態では、補正部１３２は、検出部１３１から供給された検出情報を参照して、当該検出情報に含まれる複数の位置のうち、基準位置以外の位置を特定し、特定した位置に対応付けられた撮像画像を補正する。以下、具体的に説明する。

一例として、図３に示す開動作を想定する。この例では、一連の開動作において、カメラ３０の位置は、Ｐ１→Ｐ２→Ｐ３と経時的に変化するので、当該開動作に対応する検出情報においては、位置Ｐ１と、位置Ｐ１での撮像により得られた撮像画像（以下、「撮像画像Ｉｐ１」と表記する）とが対応付けられ、位置Ｐ２と、位置Ｐ２での撮像により得られた撮像画像（以下、「撮像画像Ｉｐ２」と表記する）とが対応付けられ、位置Ｐ３と、位置Ｐ３での撮像により得られた撮像画像（以下、「撮像画像Ｉｐ３」と表記する）とが対応付けられている。なお、以下の説明では、撮像画像Ｉｐ１、撮像画像Ｉｐ２、撮像画像Ｉｐ３を互いに区別しない場合は、単に「撮像画像Ｉｐ」と称する場合がある。

ここで、収納室２１内部の同一物体を、位置Ｐ１、位置Ｐ２、位置Ｐ３で撮像した場合、当該物体までの距離は位置ごとに異なるので、各撮像画像Ｉｐに含まれる（映り込んだ）当該物体の大きさも異なる。したがって、撮像画像Ｉｐ１と撮像画像Ｉｐ２と撮像画像Ｉｐ３とを単純に繋ぎ合わせることは困難である。そこで、本実施形態では、基準となる視点位置（基準位置）を設定し、基準位置以外の位置に対応する撮像画像を補正する。基準位置は、収納室２１が観察可能な位置であれば、冷蔵庫１の裏側といった観察不可能な場所でない限り限定されない。しかしながら、後述の第１合成画像（パノラマ画像）が、ユーザに対して提示すべき風景と大きく異なるのは好ましくないので、本実施形態では、カメラ３０の光軸が収納室２１の入口面と直交するときのカメラ３０の位置（図３に示すＰ２）を、基準位置として設定する。

例えば位置Ｐ１に対応する撮像画像の補正としては、図７に示すように、収納室２１の入口からの距離Ｌが位置Ｐ２と等しく、かつ、位置Ｐ１のカメラ３０の光軸と収納室２１の入口との交点ｃ１でカメラ３０の光軸が交わる位置Ｐ１’で撮像が行われたように補正することもできる。図８に示すように、補正は、例えばアフィン変換などの単純な幾何変換を用いることができる。なお、補正は上述の方法に限られず、各位置に対応する撮影画像に映る物体のスケールが同等になるようなものであればよい。補正部１３２は、以上のようにして、基準位置Ｐ２以外の位置Ｐ１および位置Ｐ３の各々に対応する撮像画像を補正する。そして、補正部１３２は、補正した撮像画像（以下の説明では、補正後の撮像画像を「補正画像」と称する場合がある）群と、基準位置に対応する撮像画像を示す基準画像（この例では撮像画像Ｉｐ２）とを、後述の合成部１３３へ供給する。

図５に示す合成部１３３は、補正部１３２から供給された基準画像と補正画像とを合成して第１合成画像を生成する。この例では、合成部１３３は、基準画像と、補正画像群に含まれる複数の補正画像（この例では位置Ｐ１に対応する補正画像と、位置Ｐ３に対応する補正画像）の各々とを比較し、同一範囲すなわち同一物体が撮像されている領域を重ね合わせる。これにより、図９に示すように、基準画像の範囲外まで画像領域が拡張された第１合成画像が生成される。このとき、基準位置に近い画像から順に合成していくと、より高画質な第１合成画像を生成しやすい。なお、本実施形態では、各画像を補正した後に合成しているが、合成しながら補正する方法も考えられる。例えば基準画像に対し、最適に重なるように各画像（基準位置以外の位置に対応する撮像画像）を変形する方法であってもよい。具体的には、様々な変形を試しながら基準画像に対して最適に重なる変形を探索し、最適に重なる変形を決定した後に合成していくといった具合である。上述の本実施形態における方法は、この最適変形を、カメラ３０の位置を利用して決定する方法であると考えることができる。

以上に説明した第１生成部１３０は、開き戸１０の開動作または閉動作が行われる場合に（開き戸１０の開動作または閉動作が行われるたびに）、第１合成画像を生成して記憶部１４０に格納するとともに、当該第１合成画像および当該第１合成画像の生成に用いた検出情報を後述の第２生成部１５０へ供給する。記憶部１４０は、第１生成部１３０により生成された第１合成画像を時系列に記憶する。

次に、図５に示す第２生成部１５０について説明する。第２生成部１５０は、上述の第１生成部１３０により生成された第１合成画像が、収納室２１のうちユーザに提示すべき領域を示す対象領域の一部を含んでいない場合、過去の第１合成画像を用いて当該対象領域の一部を補完し、ユーザに提示するための第２合成画像を生成する。以下、具体的に説明する。なお、この例では、上記対象領域は、収納室２１の入口全体の領域である。

例えば収納室２１の入口全体が完全に露出するまで開き戸１０が開けられず、収納室２１の入口全体を撮像することができなかった場合、この開動作（以下では、「非全開動作」と称する場合がある）に対応する第１合成画像（非全開動作が行われた場合に生成される第１合成画像）は、収納室２１の入口全体の一部が含まれない（映っていない）画像となる。同様に、例えば収納室２１の入口全体が完全に露出するまで開いていない開き戸１０の位置を始点とした閉動作（以下では、「不足閉動作」と称する場合がある）が行われた場合も、この不足閉動作に対応する第１合成画像（不足閉動作が行われた場合に生成される第１合成画像）は、収納室２１の入口全体の一部が含まれない画像となる。

ここでは、上述の非全開動作または不足閉動作において経時的に変化するカメラ３０の位置（撮像時のカメラ３０の位置）に基づき、収納室２１の入口全体が完全に露出するまで開き戸１０が開けられた場合に生成される第１合成画像の画像領域（以下の説明では、「全景領域」と称する場合がある）のうち、非全開動作または不足閉動作に対応する第１合成画像の範囲外の領域（以下では、「不足領域」と称する場合がある）を求めることができる。

本実施形態では、第２生成部１５０は、上述の第１生成部１３０から、第１合成画像と検出情報とを取得した場合（取得するたびに）、当該検出情報に含まれるカメラ３０の位置から、当該第１合成画像が、全景領域を有するかどうかを判断する。見方を変えれば、第２生成部１５０は、第１生成部１３０から取得した検出情報に含まれるカメラ３０の位置から、第１生成部１３０から取得した第１合成画像に対応する開動作が非全開動作、または、当該第１合成画像に対応する閉動作が不足閉動作であるか否かを判断していると考えることもできる。

第２生成部１５０は、第１生成部１３０から取得した第１合成画像（以下の説明では、「最新の第１合成画像」と称する場合がある）が、全景領域を有していないと判断した場合、当該最新の第１合成画像の生成に用いられた検出情報（第１生成部１３０から取得した検出情報）に含まれるカメラ３０の位置から、上述の不足領域を求める。図１０は、この場合の最新の第１合成画像と不足領域の一例を示す模式図である。

そして、第２生成部１５０は、記憶部１４０に記憶された過去の第１合成画像（最新の第１合成画像よりも前に生成された第１合成画像）の中から、全景領域を有する過去の第１合成画像（好ましくは、全景領域を有し、かつ、現在の時刻に最も近い時刻に対応する過去の第１合成画像）を選択し、その選択した過去の第１合成画像のうち上述の不足領域に対応する領域を、最新の第１合成画像に対して補完することで、最新の第１合成画像の範囲外まで画像領域を拡張した第２合成画像を生成する。図１１は、この場合の第２合成画像の生成方法を示す概念図である。このようにして生成した第２合成画像が、ユーザに提示される画像となる。

なお、第１生成部１３０から取得した第１合成画像が全景領域を有していても、例えば撮像時にユーザの手や収納室２１から出し入れする物体がカメラ３０の撮像範囲に侵入することで、収納室２１の入口全体の一部が隠れてしまう場合も想定される。この場合、例えば第２生成部１５０は、第１生成部１３０から取得した検出情報に含まれる複数の位置（撮像時のカメラ３０の位置）と、複数の位置と１対１に対応する複数の撮像画像とを用いて、モーションステレオ等の方法で被写体までの距離を推定し、全景領域のうち、収納室２１の入口よりも手前に存在する物体が撮像された領域を示す第１補完対象領域を求めることができる。そして、第２生成部１５０は、記憶部１４０に記憶された過去の第１合成画像の中から、収納室２１の入口全体が撮像された過去の第１合成画像を選択し、その選択した過去の第１合成画像のうち上述の第１補完対象領域に対応する領域を、最新の第１合成画像に対して補完することで、第２合成画像を生成することもできる。

また、第１生成部１３０から取得した第１合成画像が全景領域を有していても、開閉時のカメラ３０の移動速度が大きいために、収納室２１の入口全体の一部が撮像されなかった場合も想定される。この場合、例えば第２生成部１５０は、第１生成部１３０から取得した検出情報に含まれる複数の位置に基づいて、全景領域のうち、収納室２１の入口全体の一部が撮像されなかった領域（フレーム落ちの領域と考えることができる）を示す第２補完対象領域を求めることができる。そして、第２生成部１５０は、記憶部１４０に記憶された過去の第１合成画像の中から、収納室２１の入口全体が撮像された過去の第１合成画像を選択し、その選択した過去の第１合成画像のうち上述の第２補完対象領域に対応する領域を、最新の第１合成画像に対して補完することで、第２合成画像を生成することもできる。

要するに、第２生成部１５０は、上述の第１生成部１３０により生成された第１合成画像が、収納室２１のうちユーザに提示すべき領域を示す対象領域（この例では収納室２０の入口全体）の一部を含んでいない場合、過去の第１合成画像を用いて当該対象領域の一部を補完し、ユーザに提示するための第２合成画像を生成する形態であればよい。

次に、図５に示す表示制御部１６０について説明する。表示制御部１６０は、第２生成部１５０により生成された第２合成画像を、画像を表示する表示部（例えば液晶型ディスプレイなどで構成され得る）５０に表示する制御を行う。この例では、表示制御部１６０は、第２生成部１５０により第２合成画像が生成されるたびに、その生成された第２合成画像を表示部５０に表示する制御を行い、表示部５０に表示される第２合成画像は、最新の第２合成画像に更新される。また、この例では、表示部５０は、開き戸１０の前面に設けられているが、これに限らず、表示部５０の設置場所は任意である。例えば表示部５０は、冷蔵庫１の外部に設けられてもよい。例えば表示部５０は、画像処理装置１００と接続可能（通信可能）な外部機器（例えばＴＶ、ＰＣ、携帯電話端末等）に搭載される形態であってもよい。

なお、第２合成画像を表示するタイミングは任意であり、常時表示する形態であってもよいし、ユーザからの要求に応じて表示する形態であってもよい。例えばユーザは、ボタン操作、音声、メール、リモコン等を介して、第２合成画像の表示を要求することができる。また、例えば一定時間ごとに、第２合成画像を表示する形態であってもよい。

以上に説明した画像処理装置１００は、ＣＰＵ（Central Processing Unit）、ＲＯＭ、ＲＡＭ、および、通信Ｉ／Ｆ装置などを含んだハードウェア構成となっている。上述した各部の機能（カメラ制御部１１０、取得部１２０、第１生成部１３０（検出部１３１、補正部１３２、合成部１３３）、第２生成部１５０、表示制御部１６０）は、ＣＰＵがＲＯＭに格納されたプログラムをＲＡＭ上で展開して実行することにより実現される。また、これに限らず、上述した各部の機能のうちの少なくとも一部を専用のハードウェア回路（例えば半導体集積回路等）で実現することもできる。また、例えば上述の記憶部１４０は、ＲＯＭや外部記憶装置（例えばＨＤＤ）等により実現することができる。

また、上述の画像処理装置１００で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上述の画像処理装置１００で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、上述の画像処理装置１００で実行されるプログラムを、ＲＯＭ等の不揮発性の記録媒体に予め組み込んで提供するようにしてもよい。

以上に説明したように、本実施形態では、開き戸１０の開動作または閉動作が行われる場合に、カメラ３０による撮像で得られた複数の撮像画像を合成することにより、対象領域（本実施形態では、収納室２１の入口全体）全体を表現することができる。より具体的には、本実施形態では、開き戸１０の開動作または閉動作が行われる場合に、カメラ３０による撮像で得られた複数の撮像画像に含まれる同一の被写体が重なるよう、複数の撮像画像を合成した第１合成画像を生成する。そして、その生成した第１合成画像が、収納室２１のうちユーザに提示すべき領域を示す対象領域の一部を含んでいない場合、過去の第１合成画像を用いて当該対象領域の一部を補完し、ユーザに提示するための第２合成画像を生成する。したがって、例えばユーザが、収納室２１の入口全体が完全に露出するまで開き戸１０を開けなかった場合であっても、当該ユーザに対して、収納室２１の入口全体が撮像された第２合成画像を提示することができる。すなわち、本実施形態によれば、ユーザに提示する冷蔵庫１内の画像の品質を向上させることができるという有利な効果を達成できる。

（第２実施形態）
次に、第２実施形態について説明する。上述の第１実施形態と共通する部分については適宜に説明を省略する。

図１２は、第２実施形態の画像処理装置２００の構成の一例を示す図である。図１２に示すように、画像処理装置２００は、設定部１７０をさらに備える。

本実施形態では、検出部１３１は、上述の第１実施形態で説明した機能に加えて、収納室２１に対するカメラ３０の相対的な速度を検出する機能を有する。この例では、検出部１３１は、請求項の「速度検出部」に対応する機能を有していると考えることができる。以下の説明では、収納室２１に対するカメラの相対的な速度を、「カメラ３０の移動速度」あるいは「移動速度」と称する場合がある。この例では、検出部１３１は、撮像時のカメラ３０の位置に対応する移動速度を求める。例えば検出部１３１は、上述の第１実施形態と同様にして検出したカメラ３０の位置（複数の撮像時刻と１対１に対応する複数のカメラ位置）を利用して、撮像時のカメラ３０の位置に対応する移動速度を求めることもできる。また、これに限らず、例えばカメラ３０にジャイロや加速度計などを搭載し、これらの計器から出力される信号を利用して移動速度を求めることもできるし、それ以外の方法で求めても構わない。

例えば検出部１３１は、開き戸１０の開動作が行われる場合に、当該開動作に対応する検出情報を生成し、開き戸１０の閉動作が行われる場合に、当該閉動作に対応する検出情報を生成することができる。この例における検出情報は、検出した複数の位置（撮像時のカメラ３０の位置）ごとに、撮像画像と移動速度とを対応付けた情報で構成される。

本実施形態では、第１生成部１３０は、開き戸１０の開動作または閉動作が行われる場合に、第１合成画像を生成し、その第１合成画像の生成に用いた検出情報を、当該第１合成画像とともに設定部１７０へ供給する。設定部１７０は、第１生成部１３０から、第１合成画像と検出情報を取得した場合（取得するたびに）、その取得した第１合成画像と検出情報とに基づいて、当該第１合成画像内の複数の領域ごとに、当該領域に対応する撮像画像が得られたときの移動速度が大きいほど低い値を示す第１信頼度を設定する。以下、具体的に説明する。

以下の説明において、第１信頼度は、０以上、かつ、１以下の範囲内の値であり、「１」が最も信頼性が高く、「０」が最も信頼性が低いことを表す。また、撮像時のカメラ３０の位置ｐにおけるカメラ３０の移動速度をＶｐと表記する。ここで、カメラ３０が静止している（Ｖｐ＝０）場合の撮像画像は、対象物（被写体）に対してフォーカス（焦点）が合っていればボケのない画像となる。ボケとは、撮像により画像が得られる際の過程で生じる画像劣化の一態様であり、１点に結像（集光）すべき光線群が像面上において広がることにより生じる事象を指す。一方、カメラ３０の移動速度Ｖｐが大きくなるほど、撮像画像中に動きボケが見られるようになるので、画質は低下し、信頼性の低い画像となる。つまり、カメラ３０の移動速度Ｖｐが大きくなるほど、第１信頼度は低下する（図１３参照）。第１信頼度は、例えば以下の式１で表すことができる。

上記式１において、Ｓｐは第１信頼度を表し、Ｖｔｈは閾値となる速度を表す。これは、移動速度Ｖｐが一定の速度Ｖｔｈ以下であれば、そのときの撮像画像は、信頼性の高い画像であると判断することに相当する。Ｖｔｈは、カメラ３０のフレームレートやシャッタースピード等によって設定すればよく、フレームレートが高い場合やシャッタースピードが速い場合は、Ｖｔｈは大きい値に設定することができる。第１信頼度Ｓｐの算出方法は、上述の方法に限らず、移動速度Ｖｐが大きくなるほど第１信頼度Ｓｐが低下するように設計することもできる。第１信頼度Ｓｐは、例えば以下の式２で表すこともできる。

以上においては、画像のボケをカメラ３０の移動速度から間接的に評価したが、これに限らず、例えば画像中のボケ量を直接計測し、ボケ量が大きいほど低い値を示す信頼度を算出する形態であってもよい。見方を変えれば、この信頼度も、移動速度が大きいほど（ボケ量が大きいほど）低い値を示す第１信頼度と同義であると考えることができる。

本実施形態では、設定部１７０は、第１生成部１３０から、第１合成画像と検出情報を取得した場合、その取得した検出情報を参照して、当該検出情報に含まれる複数の撮像画像ごとに、当該撮像画像に対応付けられた移動速度Ｖｐに応じた第１信頼度Ｓｐを算出し、当該撮像画像に割り当てる。これにより、第１生成部１３０から取得した第１合成画像の元となる複数の撮像画像ごとに、当該撮像画像に対応付けられた移動速度Ｖｐに応じた第１信頼度Ｓｐが割り当てられる。そして、設定部１７０は、第１生成部１３０から取得した第１合成画像のうち、当該第１合成画像の生成に用いられた検出情報（当該第１合成画像とともに第１生成部１３０から取得した検出情報）に含まれる複数の撮像画像と１対１に対応する複数の領域を特定し、特定した複数の領域ごとに、当該領域に対応する撮像画像に割り当てられた第１信頼度Ｓｐを設定する。

以上のようにして、第１生成部１３０から取得した第１合成画像内の複数の領域（当該第１合成画像の元となる複数の撮像画像と１対１に対応する複数の領域）ごとに、当該領域に対応する撮像画像が得られたときのカメラ３０の移動速度が大きいほど低い値を示す第１信頼度Ｓｐが設定されるという具合である。

なお、第１生成部１３０から取得した第１合成画像内の、当該第１合成画像の元となる複数の撮像画像と１対１に対応する複数の領域のうち、互いに重なり合う部分に関しては、例えば互いに重なる複数の領域の各々の第１信頼度Ｓｐ１を乗算（例えば各第１信頼度Ｓｐ１に重みを付けた積でもよい）することで当該部分の第１信頼度Ｓｐ１を設定することもできるし、例えば互いに重なる複数の領域の各々の第１信頼度Ｓｐ１の平均値を算出することで当該部分の第１信頼度Ｓｐ１を設定することもできる。

また、例えば、カメラ３０から撮像対象までの距離の概念を追加して、撮像画像内の画素毎に第１信頼度Ｓｐ１を割り当てることもできる。撮像対象までの距離はステレオカメラや距離計を用いて直接計測してもよいし、モーションステレオ等の方法で撮像画像から推定してもよい。また、撮像対象までの距離を直接利用しない場合は、カメラ３０から収納室２１の入口までの距離を利用する方法がある。

ここで、撮像時のカメラ３０の位置ｐに対応する撮像画像Ｉｐ中の任意の画素ａの実空間上での距離（収納室２１の入口までの距離）をＬａとする。Ｌａが大きいほど撮像画像内での被写体の動きは小さくなりボケは発生しにくくなる。従って、Ｌａが大きい領域ほど信頼度が高くなるように設計する。反対にＬａが小さいほどボケが発生しやすいので、Ｌａが小さいほど信頼度が低くなるように設計することが好ましい。画素ａに対応する距離を用いた信頼度をＳｐＬ（ａ）とすると、この信頼度ＳｐＬ（ａ）は、例えば以下の式３で表すことができる。

上記式３において、Ｌｔｈは任意の正の定数で、この距離以上はボケが発生しにくい距離となっている。なお、信頼度ＳｐＬ（ａ）は上記以外の方法で算出しても構わない。上記信頼度ＳｐＬ（ａ）と、画素ａを含む撮像画像に対応する移動速度から算出される信頼度（例えば上記式１または上記式２などで算出される信頼度）ＳｐＶとから、画素ａに対応する第１信頼度Ｓｐ１（ａ）を算出することもできる。第１信頼度Ｓｐ１（ａ）は、例えば以下の式４で表すことができる。

上記式４以外にも、例えばＳｐＬ（ａ）とＳｐＶとの和を求めて正規化する等の方法が考えられ、これら以外の方法でも構わない。そして、第１合成画像の元となる複数の撮像画像の各々に含まれる画素ごとに割り当てられた第１信頼度Ｓｐ１（ａ）を用いて、当該第１合成画像内の画素ごとの第１信頼度Ｓｐ１を求めることもできる。

設定部１７０は、第１生成部１３０から取得した第１合成画像内の複数の領域の各々に対する第１信頼度の設定を行った場合（行うたびに）、第１信頼度を設定した第１合成画像を記憶部１４０に格納するとともに、第１信頼度を設定した第１合成画像と、当該第１合成画像の生成に用いられた検出情報とを第２生成部１５０へ供給する。記憶部１４０は、第１信頼度が設定された第１合成画像を時系列に記憶する。

第２生成部１５０は、上述の第１実施形態と同様に、設定部１７０から取得した第１合成画像が、収納室２１の入口全体を含んでいない場合、過去の第１合成画像を用いて上述の不足領域を補完して第２合成画像を生成する。さらに、本実施形態の第２生成部１５０は、設定部１７０から取得した第１合成画像（最新の第１合成画像）、および、過去の第１合成画像の各々に設定された第１信頼度に基づいて、第２合成画像を生成する。より具体的には、第２生成部１５０は、最新の第１合成画像内の複数の領域のうち、第１信頼度が、過去の第１合成画像内の対応する領域の第１信頼度よりも低い値を示す領域については、過去の第１合成画像内の対応する領域に置き換える。これにより、第２合成画像の画質をさらに向上させることができるという有利な効果を達成できる。

（第３実施形態）
次に、第３実施形態について説明する。上述の各実施形態と共通する部分については適宜に説明を省略する。なお、第３実施形態に係る画像処理装置の基本的な構成は、第２実施形態に係る画像処理装置２００と同様（図１２の構成と同様）であるので、詳細な図示は省略する。

本実施形態では、設定部１７０は、第１合成画像内の複数の領域ごとに、当該領域に対応する撮像画像が得られたときの時刻（撮像時刻）が現在の時刻に近いほど高い値を示す第２信頼度をさらに設定し、第２生成部１５０は、第１合成画像、および、過去の第１合成画像の各々に設定された第１信頼度および第２信頼度に基づいて、第２合成画像を生成する点で上述の第２実施形態と相違する。以下、第３実施形態の具体的な内容を説明する。

上述の各実施形態と同様に、検出部１３１は、開き戸１０の開動作が行われる場合に、当該開動作に対応する検出情報を生成し、開き戸１０の閉動作が行われる場合に、当該閉動作に対応する検出情報を生成する。この例における検出情報は、検出した複数の位置（撮像時のカメラ３０の位置）ごとに、撮像画像と移動速度と撮像時刻とを対応付けた情報で構成される。

また、上述の第２実施形態と同様に、第１生成部１３０は、開き戸１０の開動作または閉動作が行われる場合に、第１合成画像を生成し、その第１合成画像の生成に用いた検出情報を、当該第１合成画像とともに設定部１７０へ供給する。

設定部１７０は、第１生成部１３０から、第１合成画像と検出情報を取得した場合、その取得した第１合成画像と検出情報とに基づいて、当該第１合成画像内の複数の領域ごとに、当該領域に対応する撮像画像が得られたときの移動速度が大きいほど低い値を示す第１信頼度を設定するとともに、当該領域に対応する撮像画像が得られたときの撮像時刻が現在の時刻に近いほど高い値を示す第２信頼度を設定し、その設定した第１信頼度と第２信頼度とに応じて規定される第３信頼度を設定する。第１信頼度の設定方法は上述の第２実施形態と同様である。

第２信頼度は、０以上、かつ、１以下の範囲内の値であり、「１」は、最も信頼性が高いことを表し（撮像時刻が現在の時刻に最も近いことを表し）、「０」は、最も信頼性が低いことを表す。この例では、撮像時刻と現在の時刻との差が閾値以上の場合、第２信頼度は「０」に設定される。

本実施形態では、設定部１７０は、第１生成部１３０から、第１合成画像と検出情報を取得した場合、その取得した検出情報を参照して、当該検出情報に含まれる複数の撮像画像ごとに、当該撮像画像に対応付けられた撮像時刻と現在の時刻との差が大きいほど低い値を示す第２信頼度を算出し、当該撮像画像に割り当てる。これにより、第１生成部１３０から取得した第１合成画像の元となる複数の撮像画像ごとに、当該撮像画像に対応付けられた撮像時刻に応じた第２信頼度が割り当てられる。そして、設定部１７０は、第１生成部１３０から取得した第１合成画像のうち、当該第１合成画像の生成に用いられた検出情報に含まれる複数の撮像画像と１対１に対応する複数の領域を特定し、特定した複数の領域ごとに、当該領域に対応する撮像画像に割り当てられた第２信頼度を設定する。以上のようにして、第１生成部１３０から取得した第１合成画像内の複数の領域（当該第１合成画像の元となる複数の撮像画像と１対１に対応する複数の領域）ごとに、当該領域に対応する撮像画像が得られたときの撮像時刻が現在の時刻に近いほど低い値を示す第２信頼度が設定されるという具合である。

そして、設定部１７０は、第１生成部１３０から取得した第１合成画像内の複数の領域（当該第１合成画像の元となる複数の撮像画像と１対１に対応する複数の領域）ごとに、当該領域に設定した第１信頼度と第２信頼度に応じて規定される第３信頼度を算出し、その算出した第３信頼度を当該領域に設定する。本実施形態では、設定部１７０は、第１信頼度と第２信頼度との乗算により、第３信頼度を求めるが、これに限らず、例えば第１信頼度および第２信頼度の各々に重みを付けた乗算により第３信頼度を求めてもよいし、例えば第１信頼度および第２信頼度の重み付きの平均値を算出して第３信頼度を求めてもよいし、例えば第１信頼度と第２信頼度の和を０〜１の範囲内の値に正規化して第３信頼度を求めてもよい。

設定部１７０は、第１生成部１３０から取得した第１合成画像内の複数の領域の各々に対する第３信頼度の設定を行った場合、第３信頼度を設定した第１合成画像と、当該第１合成画像の生成に用いられた検出情報とを対応付けて記憶部１４０に格納するとともに、第２生成部１５０へ供給する。

なお、この例では、記憶部１４０に記憶された過去の第１合成画像に対応付けられた検出情報に含まれる撮像時刻と現在の時刻との差分は、時間の経過とともに増大していくので、設定部１７０は、第３信頼度を設定した第１合成画像を記憶部１４０に格納するたびに、過去の第１合成画像に対応付けられた検出情報に含まれる撮像時刻と現在時刻との差分に応じて、過去の第１合成画像内の各領域に設定された第３信頼度を更新することもできる。なお、撮像時刻と現在時刻との差分が閾値以上の場合は、第３信頼度を「０」に設定することもできる。

第２生成部１５０は、上述の第１実施形態と同様に、設定部１７０から取得した第１合成画像が、収納室２１の入口全体を含んでいない場合、過去の第１合成画像を用いて上述の不足領域を補完して第２合成画像を生成する。さらに、本実施形態の第２生成部１５０は、設定部１７０から取得した第１合成画像（最新の第１合成画像）、および、過去の第１合成画像の各々に設定された第３信頼度に基づいて、第２合成画像を生成する。より具体的には、第２生成部１５０は、最新の第１合成画像内の複数の領域のうち、第３信頼度が、過去の第１合成画像内の対応する領域の第３信頼度よりも低い値を示す領域については、過去の第１合成画像内の対応する領域に置き換える。

すなわち、本実施形態では、不足領域を補完することに加えて、画質の劣化と撮像時刻とを総合的に考慮して第２合成画像を生成することにより、第２合成画像の画質を向上させることができるという有利な効果を達成できる。

以上、本発明の実施形態を説明したが、上述の各実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。以上の新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。以上の新規な実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

（変形例）
以下、変形例を説明する。

（１）変形例１
上述の各実施形態では、第１生成部１３０は、開き戸１０の開動作または閉動作が行われる場合に、第１合成画像を生成しているが、これに限らず、例えば第１生成部１３０は、開動作が行われる場合に第１合成画像を生成し、閉動作が行われても第１合成画像を生成しない形態であってもよい。また、例えば第１生成部１３０は、閉動作が行われる場合に第１合成画像を生成し、開動作が行われても第１合成画像を生成しない形態であってもよい。

また、例えば第１生成部１３０は、開動作および閉動作の両方が行われる場合に（開動作の開始から閉動作の終了までの一連の動作（以下の説明では、「開閉動作」と称する）が行われるたびに）、第１合成画像を生成する形態であってもよい。要するに、第１生成部１３０は、開き戸１０の開動作および閉動作のうちの少なくとも一方が行われる場合に、第１合成画像を生成する形態であればよい。

ここで、例えば上述の開閉動作が行われる場合に第１合成画像を生成する場合を想定する。この形態において、例えば開動作における撮像時のカメラ３０の位置（説明の便宜上、「第１の位置」と称する）と、閉動作における撮像時のカメラ３０の位置（説明の便宜上、「第２の位置」と称する）とが近い（「一致」も含む）場合、同一領域（説明の便宜上、「重複領域」と称する）が、第１の位置および第２の位置の各々で撮像されている。このような場合、第１合成画像の生成に使用される画像を、フレームもしくは領域単位で選択する必要がある。その選択方法としては、第１の位置に対応する撮像画像のうち上記重複領域が撮像されている領域と、第２の位置に対応する撮像画像のうち上記重複領域が撮像されている領域とを比較し、信頼性が高い方を選択することが好ましい。例えば、上述の第３実施形態のように、撮像時の移動速度（ボケ量）と撮像時刻に応じた信頼度（第３信頼度）を、第１の位置に対応する撮像画像および第２の位置に対応する撮像画像の各々に設定し、当該信頼度が高い方の領域を選択することもできる。

この例では、特に、同一撮像範囲であっても撮像時刻が後の撮像画像の方が、その情報の価値は高い。具体的には、一般的な冷蔵庫１の使用方法は、（１）開き戸１０を開けて、（２）収納物の出し入れを行い、（３）開き戸１０を閉じる、といった流れであり、上述の（２）の前後で収納室２１の様子が変化するため、（３）の時点の様子が、真にユーザが知りたい情報となる。つまり、撮像時刻が後の撮像画像の方がより価値は高く、多少画像がボケている等の画質劣化があっても、信頼度が高くなるように設計するのが好ましい。また、同一撮像範囲の推定は、カメラ３０の位置から撮像範囲を計算して推定することができるし、撮像画像同士を比較して似ている領域を算出する方法や、マーカ等を利用する方法でも推定可能である。

（２）変形例２
上述の各実施形態では、カメラ３０は、開き戸１０に設けられているが、これに限らず、例えばカメラ３０が本体部２０に設けられる形態であってもよい。この形態では、カメラ３０は、開き戸１０の開動作または閉動作に応じてドアポケット１１（図１参照）との位置関係が変化するとともに当該ドアポケット１１を連続的に撮像することになる。つまり、この形態では、ドアポケット１１が、請求項の「収納室」に対応していると考えることができる。この形態でも、第１合成画像および第２合成画像の各々の生成に関する処理は、上述の各実施形態と同様に考えることができる。カメラ３０が移動して収納室２１を撮像することと、カメラ３０が静止して移動する開き戸１０を撮像することは、相対的な動きの観点からみれば同様であるからである。もし、移動する開き戸１０上から本体部２０に取り付けられたカメラ３０（静止しているカメラ３０）を観測した場合、カメラ３０が移動しているように観測され、開き戸１０上の観測者からはどちらが移動しているか区別することはできないということである。ところで、この場合の検出情報に含まれるカメラ３０の位置（撮像時のカメラ３０の位置）は、開き戸１０の移動によって変化する座標系上の位置とする。こうすることによって、上述の各実施形態におけるカメラ３０の位置と同様にして考えることが可能になる。なお、カメラ３０の位置を推定する方法も、基本的には上述の各実施形態と同様である。ただし、カメラ３０にジャイロやＧＰＳなどの計器を取り付ける方法は不可能になるが、開き戸１０にジャイロやＧＰＳなどの計器を取り付けることによって、カメラ３０の位置を推定することが可能となる。

要するに、カメラ３０は、開き戸１０の開動作または閉動作に応じて収納室（収納室２１またはドアポケット１１）との位置関係が変化するとともに収納室を複数撮像する形態であればよい。また、第１生成部１３０は、開き戸の開動作および閉動作のうちの少なくとも一方が行われる場合に、カメラ３０による撮像で得られた複数の撮像画像に含まれる同一の被写体が重なるよう、複数の撮像画像を合成した第１合成画像を生成する形態であればよい。また、第２生成部１５０は、第１合成画像が、収納室のうちユーザに提示すべき領域を示す対象領域の一部を含んでいない場合、過去の第１合成画像を用いて当該対象領域の一部を補完し、ユーザに提示するための第２合成画像を生成する形態であればよい。

（３）変形例３
上述の各実施形態では、請求項の「収納装置」の一例として、冷蔵庫１を挙げて説明したが、これに限られるものではない。例えば開き戸を有する食器棚、開き戸を有するキャビネット（書類を整理するための棚）、開き戸を有する冷凍機械などであってもよい。

なお、以上の各実施形態および各変形例は、任意に組み合わせることが可能である。

１ 冷蔵庫
１０ 開き戸
１１ ドアポケット
２０ 本体部
２１ 収納室
３０ カメラ
４０ センサ
５０ 表示部
１００ 画像処理装置
１１０ カメラ制御部
１２０ 取得部
１３０ 第１生成部
１４０ 記憶部
１５０ 第２生成部
１６０ 表示制御部
１７０ 設定部

Claims (11)

1. 開き戸と、
   物体を収納する収納室と、
   前記開き戸の開動作および閉動作のうちの少なくとも一方が行われる場合に、前記開動作または前記閉動作に応じて前記収納室との位置関係が変化するとともに前記収納室を複数撮像する撮像部による撮像で得られた複数の撮像画像を合成する生成部と、を備え、
   前記生成部は、
   前記複数の撮像画像に含まれる同一の被写体が重なるよう、前記複数の撮像画像を合成した第１合成画像を生成する第１生成部と、
   前記第１合成画像が、前記収納室のうちユーザに提示すべき領域を示す対象領域の一部を含んでいない場合、過去の前記第１合成画像を用いて当該対象領域の一部を補完し、前記ユーザに提示するための第２合成画像を生成する第２生成部と、を含む、
   収納装置。
2. 前記収納室に対する前記撮像部の相対的な速度を検出する速度検出部と、
   前記第１合成画像内の複数の領域ごとに、当該領域に対応する撮像画像が得られたときの前記速度が大きいほど低い値を示す第１信頼度を設定する設定部と、をさらに備え、
   前記第２生成部は、前記第１合成画像、および、過去の前記第１合成画像の各々に設定された前記第１信頼度に基づいて、前記第２合成画像を生成する、
   請求項１に記載の収納装置。
3. 前記第２生成部は、前記第１合成画像内の複数の領域のうち、前記第１信頼度が、過去の前記第１合成画像内の対応する領域の前記第１信頼度よりも低い値を示す領域については、過去の前記第１合成画像内の対応する領域に置き換える、
   請求項２に記載の収納装置。
4. 前記設定部は、前記第１合成画像内の複数の領域ごとに、当該領域に対応する撮像画像が得られたときの時刻が現在の時刻に近いほど高い値を示す第２信頼度をさらに設定し、
   前記第２生成部は、前記第１合成画像、および、過去の前記第１合成画像の各々に設定された前記第１信頼度および前記第２信頼度に基づいて、前記第２合成画像を生成する、
   請求項２に記載の収納装置。
5. 前記第２生成部は、前記第１合成画像内の複数の領域のうち、前記第１信頼度と前記第２信頼度とに応じて規定される第３信頼度が、過去の前記第１合成画像内の対応する領域の前記第３信頼度よりも低い値を示す領域については、過去の前記第１合成画像内の対応する領域に置き換える、
   請求項４に記載の収納装置。
6. 前記第３信頼度は、前記第１信頼度と前記第２信頼度との乗算結果を示す、
   請求項５に記載の収納装置。
7. 前記第１生成部は、
   前記収納室に対する前記撮像部の相対的な位置を検出する位置検出部と、
   前記開動作および前記閉動作のうちの少なくとも一方が行われた場合において経時的に変化する前記撮像部の位置のうち、基準となる位置を示す基準位置以外の位置に対応する撮像画像に対して、各位置に対応する撮像画像に含まれる前記被写体のスケールを揃えるための補正を行う補正部と、
   前記基準位置に対応する撮像画像を示す基準画像と、前記補正部による補正が行われた撮像画像を示す補正画像とを合成して前記第１合成画像を生成する合成部と、を含む、
   請求項１に記載の収納装置。
8. 前記第２合成画像を表示部に表示する制御を行う表示制御部をさらに備える、
   請求項２に記載の収納装置。
9. 開き戸の開動作および閉動作のうちの少なくとも一方が行われる場合に、前記開動作または前記閉動作に応じて、物体を収納する収納室との位置関係が変化するとともに前記収納室を複数撮像する撮像部による撮像で得られた複数の撮像画像を合成する生成部を備え、
   前記生成部は、
   前記複数の撮像画像に含まれる同一の被写体が重なるよう、前記複数の撮像画像を合成した第１合成画像を生成する第１生成部と、
   前記第１合成画像が、前記収納室のうちユーザに提示すべき領域を示す対象領域の一部を含んでいない場合、過去の前記第１合成画像を用いて当該対象領域の一部を補完し、前記ユーザに提示するための第２合成画像を生成する第２生成部と、を含む、
   画像処理装置。
10. 開き戸の開動作および閉動作のうちの少なくとも一方が行われる場合に、前記開動作または前記閉動作に応じて、物体を収納する収納室との位置関係が変化するとともに前記収納室を複数撮像する撮像部による撮像で得られた複数の撮像画像を合成する生成ステップを含み、
    前記生成ステップは、
    前記複数の撮像画像に含まれる同一の被写体が重なるよう、前記複数の撮像画像を合成した第１合成画像を生成する第１生成ステップと、
    前記第１合成画像が、前記収納室のうちユーザに提示すべき領域を示す対象領域の一部を含んでいない場合、過去の前記第１合成画像を用いて当該対象領域の一部を補完し、前記ユーザに提示するための第２合成画像を生成する第２生成ステップと、を含む、
    画像処理方法。
11. コンピュータを、
    開き戸の開動作および閉動作のうちの少なくとも一方が行われる場合に、前記開動作または前記閉動作に応じて、物体を収納する収納室との位置関係が変化するとともに前記収納室を複数撮像する撮像部による撮像で得られた複数の撮像画像を合成する生成手段として機能させ、
    前記生成手段は、
    前記複数の撮像画像に含まれる同一の被写体が重なるよう、前記複数の撮像画像を合成した第１合成画像を生成する第１生成手段と、
    前記第１合成画像が、前記収納室のうちユーザに提示すべき領域を示す対象領域の一部を含んでいない場合、過去の前記第１合成画像を用いて当該対象領域の一部を補完し、前記ユーザに提示するための第２合成画像を生成する第２生成手段と、を含む、
    プログラム。

Images