JP6701281B2 - 冷蔵庫、カメラ装置、冷蔵庫用ドアポケット、通信端末、家電ネットワークシステム、庫内画像表示プログラム - Google Patents

冷蔵庫、カメラ装置、冷蔵庫用ドアポケット、通信端末、家電ネットワークシステム、庫内画像表示プログラム Download PDF

Info

Publication number
JP6701281B2
JP6701281B2 JP2018154013A JP2018154013A JP6701281B2 JP 6701281 B2 JP6701281 B2 JP 6701281B2 JP 2018154013 A JP2018154013 A JP 2018154013A JP 2018154013 A JP2018154013 A JP 2018154013A JP 6701281 B2 JP6701281 B2 JP 6701281B2
Authority
JP
Japan
Prior art keywords
refrigerator
image
door
imaging
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018154013A
Other languages
English (en)
Other versions
JP2018173272A (ja
JP2018173272A5 (ja
Inventor
裕樹 丸谷
裕樹 丸谷
古田 和浩
和浩 古田
井澤 浩一
浩一 井澤
浩太 渡邊
浩太 渡邊
良 河田
良 河田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Lifestyle Products and Services Corp
Original Assignee
Toshiba Lifestyle Products and Services Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Lifestyle Products and Services Corp filed Critical Toshiba Lifestyle Products and Services Corp
Publication of JP2018173272A publication Critical patent/JP2018173272A/ja
Publication of JP2018173272A5 publication Critical patent/JP2018173272A5/ja
Application granted granted Critical
Publication of JP6701281B2 publication Critical patent/JP6701281B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)

Description

本発明の実施形態は、冷蔵庫、カメラ装置、冷蔵庫用ドアポケット、冷蔵庫用ホルダ、通信端末、家電ネットワークシステム、庫内画像表示プログラムに関する。
従来、庫内を撮像して食材を認識することで食材を管理するシステムが提案されている(例えば、特許文献1参照)。
しかしながら、容易に冷蔵庫の庫内を確認したいと考えるユーザが存在する。
特開2012−226748号公報
本発明が解決しようとする課題は、容易に庫内等を確認することができる冷蔵庫、カメラ装置、冷蔵庫用ドアポケット、冷蔵庫用ホルダ、通信端末、家電ネットワークシステム、庫内画像表示プログラムを提供することである。
実施形態による冷蔵庫は、冷蔵庫本体と、前記冷蔵庫本体内に設けられた貯蔵室と、前記貯蔵室内を撮像するためのカメラ装置と、前記カメラ装置で撮像した画像情報を外部の装置に送信するための通信モジュールと、前記カメラ装置と前記通信モジュールとに電力を供給する電力供給手段と、前記通信モジュールとは異なる構成であって、前記通信モジュールと通信可能に構成された通信装置と、を備える。前記カメラ装置は、筐体内に前記通信モジュールと前記電力供給手段とを収容して構成され、前記カメラ装置及び前記通信装置は、前記冷蔵庫本体に着脱可能に構成されている。
第1実施形態の冷蔵庫を採用した家電ネットワークシステムの構成の概略を示す図 第1実施形態の冷蔵庫を模式的に示す図 第1実施形態の撮像カメラの取り付け態様を模式的に示す図 第1実施形態の冷蔵庫の電気的構成を模式的に示す図 第1実施形態の冷蔵庫の庫内の状態を模式的に示す図 第1実施形態の冷蔵庫による撮像処理の流れを示す図 第1実施形態の撮像カメラで撮像した画像の一例を示す図 第1実施形態の撮像カメラの結露の状態の変化を模式的に示す図 第1実施形態の撮像カメラによる撮像シーケンスを示す図 第1実施形態の通信端末による端末側処理の流れを示す図 第1実施形態の通信端末における画像表示態様の一例を示す図その1 第1実施形態の通信端末における画像表示態様の一例を示す図その2 第2実施形態の冷蔵庫用ドアポケットにカメラ装置を取り付けた態様を模式的に示す図 第2実施形態の冷蔵庫用ドアポケットを冷蔵庫に取り付けた態様を模式的に示す図 第2実施形態のカメラ装置の外観を模式的に示す図 第2実施形態のカメラ装置の外観および内部の部品配置を模式的に示す図 第2実施形態のカメラ装置を冷蔵庫用ドアポケットに取り付けた態様を模式的に示す図 第2実施形態の冷蔵庫用ホルダを取り付ける位置を模式的に示す図 第2実施形態の冷蔵庫用ホルダを模式的に示す図 第2実施形態の冷蔵庫用ホルダを取り付けた態様を模式的に示す図 第2実施形態のカメラ装置の電気的構成を模式的に示す図 第2実施形態のカメラ装置の検知部の検知態様を模式的に示す図 第2実施形態のカメラ装置の撮像タイミングの例を示す図 第2実施形態のカメラ装置により撮像した庫内の画像の例を示す図 第2実施形態の家電ネットワークシステムの構成の概略を示す図 その他の実施形態の撮像カメラの取り付け態様を模式的に示す図 その他の実施形態の冷蔵庫の構成を模式的に示す図 その他の実施形態の通信端末における画像表示態様の一例を示す図 その他の実施形態の取り付け部の一例を示す図 第3実施形態の冷蔵庫の電気的構成を示す機能ブロック図 第3実施形態において扉を開放する過程を模式的に示す図その1 第3実施形態において扉を開放する過程を模式的に示す図その2 第3実施形態において扉を開放する過程を模式的に示す図その3 第3実施形態における収納量推定の一例を示す図その1 第3実施形態における収納量推定の一例を示す図その2 第4実施形態において扉を開放する過程を模式的に示す図 第4実施形態における撮像手段の設置位置の一例を示す図 第4実施形態における冷蔵庫の構成の一例を模式的に示す図その1 第4実施形態における冷蔵庫の構成の一例を模式的に示す図その2 第5実施形態における冷蔵庫の構成の一例を模式的に示す図 第5実施形態における撮像手段の設置位置の一例を示す図その1 第5実施形態における撮像手段の設置位置の一例を示す図その2 第5実施形態における撮像手段の設置位置の一例を示す図その3 第6実施形態の冷蔵庫を模式的に示す図 第6実施形態のカメラユニットの構成を模式的に示す図 第6実施形態のレンズユニットを模式的に示す図 第6実施形態の具体例1の取り付け態様を模式的に示す図その1 第6実施形態の具体例2の取り付け態様を模式的に示す図その2 第6実施形態の具体例3の取り付け態様を模式的に示す図その3 第6実施形態の撮像結果および表示態様を模式的に示す図 第6実施形態の具体例4の縦仕切りの回動態様を模式的に示す図 第6実施形態の具体例4の取り付け態様を模式的に示す図その1 第6実施形態の具体例4の取り付け態様を模式的に示す図その2 第6実施形態の具体例5の取り付け態様を模式的に示す図 第6実施形態の具体例6のカメラユニットの構成を模式的に示す図 第7実施形態の冷蔵庫の構成を模式的に示す図 第7実施形態の冷蔵庫およびカメラモジュールの電気的構成を模式的に示す図 第7実施形態の具体例1のカメラユニットの取り付け状態を模式的に示す図その1 第7実施形態の具体例1のカメラユニットの取り付け状態を模式的に示す図その2 第7実施形態の具体例1のカメラユニットの取り付け状態を模式的に示す図その3 第7実施形態の具体例2のカメラユニットの取り付け状態を模式的に示す図その1 第7実施形態の具体例3のカメラユニットの取り付け状態を模式的に示す図 第7実施形態の具体例4のカメラユニットの取り付け状態を模式的に示す図 第7実施形態の具体例5のカメラユニットを模式的に示す図
以下、複数の実施形態により、冷蔵庫、カメラ装置、冷蔵庫用ドアポケット、通信端末、家電ネットワークシステム、庫内画像表示プログラムについて説明する。なお、各実施形態にて実質的に共通する部位には共通する符号を付して、その詳細な説明は省略する。
(第1実施形態)
以下、第1実施形態について、図1から図12を参照しながら説明する。
図1に示すように、本実施形態の冷蔵庫1を採用した家電ネットワークシステム100では、冷蔵庫1は、ルータ101を介して外部の通信回線102に通信可能に接続されている。このルータ101は、いわゆる無線アクセスポイントであり、無線通信方式にて冷蔵庫1と通信可能に接続されている。この冷蔵庫1は、通信回線102に接続されている通信端末103およびサーバ104(いずれも外部の装置に相当する)との間で各種の情報をやり取りする。なお、本実施形態の家電ネットワークシステム100では、後述するように、冷蔵庫1の庫内を撮像した画像情報はサーバ104にて記憶され、通信端末103は、サーバ104から庫内の画像を取得する構成となっている。ここで、画像情報とは、庫内の画像を示す情報(データ)であり、例えばビットマップ形式やJPEG形式或いはMPEG形式などの周知のフォーマットの画像データ(静止画、動画)、画像データを圧縮や暗号化あるいは第2実施形態のように画像処理することにより変換したデータ等、通信手段を介した送信が可能であって最終的に庫内の様子を確認できるものであれば、どのような形式のデータであってもよい。また、本実施形態では、通信端末103として、住宅105の外部に携帯可能ないわゆるスマートフォン(高機能携帯電話)やタブレット型パソコン、家電ネットワークシステム100に接続されているテレビ等を想定している。
冷蔵庫1は、図2に示すように、本体2の上部から順に、食材を貯蔵するための貯蔵庫である冷蔵室3、野菜室4、製氷室5、上部冷凍室6、および下部冷凍室7が設けられている。冷蔵室3および野菜室4と、製氷室5および上部冷凍室6との間は、図示しない断熱仕切壁により仕切られている。冷蔵室3は、いわゆる両開き式の左扉3aおよび右扉3bによって開閉され、野菜室4、製氷室5、上部冷凍室6および下部冷凍室7は、引き出し式の扉4a、扉5a、扉6aおよび扉7aによってそれぞれ開閉されるようになっている。
各扉には、その開閉状態を検知するためのセンサが設けられている(図4参照。ただし、図4では、左扉3a用の左ドアセンサ34、右扉3b用の右ドアセンサ35のみを図示している)。なお、図2に示す冷蔵庫1の構成は一例であり、各貯蔵庫の配置順が異なっていたり、例えば上部冷凍室6が冷蔵と冷凍とを切り替え可能な切替室であるような構成でもよい。
冷蔵室3の左扉3aには、上段から順にドアポケット8a、ドアポケット9a、ドアポケット10aが設けられており、右扉3bには、上段から順にドアポケット8b、ドアポケット9b、ドアポケット10bが設けられている。また、冷蔵室3内には、例えばガラス等の透明性材料で形成されている複数の棚板11が設けられているとともに、最下段には、例えば卵室やチルド室のような特定目的室12が配置されている。また、冷蔵室3の上部には、照明手段としての天井ライト13が設けられている。なお、冷蔵室3内には、側面に設けられている側面ライト36(図4参照)も設けられている。このうち、天井ライト13は庫内の上部側、側面ライト36は庫内の中央部や下部等、庫内の特定の位置を照らすために設けられている。
冷蔵室3の左扉3aおよび右扉3bは、その前面が絶縁性のガラス材料で形成されたガラス板3b1で覆われており、その内部には断熱材であるウレタンが充填剤として充填されており、その内側については、周知のように、非金属の樹脂製の内板14および縦板15を備えている。つまり、左扉3aおよび右扉3bの前面側は、電波を透過させる非金属製材料であるガラス板3b1により構成されている。上記したドアポケット8〜10は、この内板14に設けられている。縦板15には、上下方向における中央付近であって左右方向における右扉3bの開放端部側(具体的には、後述する撮像カメラ18が設けられている付近)に、凹部16が形成されている。この凹部16は、後述するように、撮像カメラ18の視野を遮らないように設けられている。また、左扉3aには、右扉3bとの隙間を埋めるための回動式の縦仕切り17が設けられている。なお、野菜室4の扉4等も、右扉3bと同様にその前面がガラス板で覆われており、内部にはウレタンが断熱材として充填されている構成となっている。
右扉3bの内板14(縦仕切りを有していない扉)には、図2に示すように、撮像カメラ18および撮像ライト19が設けられている。つまり、本実施形態では、内板14が被取り付け部に相当する。撮像カメラ18は、CCDあるいはCMOS等の撮像素子を有しており、庫内の画像を扉側から撮像する。この撮像カメラ18は、概ね120度程度の視野角を有する広角レンズを備えている。そして、撮像カメラ18は、中段のドアポケット9bに隣接した位置であって、ドアポケット9bよりも左扉3a側となる位置に設けられている。すなわち、撮像カメラ18は、冷蔵室3の上下方向の中央付近、且つ、冷蔵室3の左右方向の中央付近に設けられている。このため、右扉3bが閉鎖された状態において、撮像カメラ18は、その視野が、後述する図7に示すように冷蔵室3の庫内のほぼ全域、且つ、ドアポケット8〜10の少なくとも一部を撮像可能となっている。なお、比較例として一般的なWebカメラの場合、その視野角は概ね55度程度である。
撮像カメラ18に隣接するドアポケット9bは、図3に示すように、撮像カメラ18側が斜めに形成されている。すなわち、一般的には収容部が四角形(長方形)に形成されるドアポケット9bには、広角レンズを採用している撮像カメラ18の視野を確保するために、切り欠き部9b1が形成されている。なお、図3等は撮像カメラ18を模式的に示すものであり、撮像カメラ18の実際の大きさや形状とは異なっている。なお、撮像カメラ18は、本実施形態では冷蔵庫1に取り付けられた構造となっているが、後述する第2実施形態のように冷蔵庫1から着脱可能(例えば、冷蔵庫1の購入後に、オプション装置として取り付ける等)としてもよい。
撮像ライト19は、例えば撮像カメラ18の上部側に設けられている。つまり、撮像ライト19は、その照射方向が撮像カメラ18の視野と同じ向きになるように配置されており、照射される光が撮像カメラ18に直接入ることがない位置(対向位置外の位置)、すなわち、撮像カメラ18にとって逆光になりにくい位置或いは逆光とならない位置に配置されている。撮像カメラ18は、特許請求の範囲に記載した撮像手段を構成し、撮像ライト19は、特許請求の範囲に記載した照明手段を構成する。
この冷蔵庫1は、図4に示すように、主制御部30により制御されている。主制御部30は、CPU30a、ROM30bおよびRAM30cなどを有するマイクロコンピュータにより構成されており、例えばROM30bなどに記憶されているコンピュータプログラムを実行することで冷蔵庫1の全体を制御する。
主制御部30は、周知の冷凍サイクル等で構成されている冷蔵用冷却機構31と冷凍用冷却機構32、冷蔵庫1に対する設定操作等を入力するための操作パネル33、左ドアセンサ34、右ドアセンサ35、天井ライト13および側面ライト等に接続されている。なお、冷蔵庫1は、冷蔵室3や下部冷凍室7等の温度を検出する図示しない庫内センサ等も備えている。
操作パネル33は、表示器33a、スイッチ類33b、および庫外センサ33cを有している。表示器33aは、冷蔵庫1の運転状態等の各種の情報を表示する。スイッチ類33bは、冷蔵庫1に対するユーザの設定操作等が入力される。このスイッチ類33bには、ユーザが外出する際に冷蔵庫1の運転状態を切り替えるための外出スイッチも含まれている。この外出スイッチは、例えば、「節電」、「おでかけ」等が設定されており、いずれかが選択されると、該当する省電力モードに移行する。つまり、ユーザが外出すると冷蔵庫1を使用しない状態となるため、冷蔵庫1は、省電力モードに移行して消費電力を削減する。
例えば、「節電」が選択されると、冷蔵庫1は、食材の貯蔵環境に影響が出ない範囲で庫内温度を調節するとともに、結露防止用のヒータの運転状態を制御することで、通常時よりも約10%程度の消費電力を削減するモードに移行する。あるいは、「おでかけ」が選択されると、冷蔵庫1は、自動製氷の回数を削減し、通常時に比べて消費電力を削減する省電力モードに移行する。より具体的には、冷蔵庫1は、自動製氷の回数を例えば8時間に1回とすることで、通常運転時に比べて約20%程度の消費電力を低減している。
なお、本実施形態では冷蔵庫1に予め設けられている「節電」や「おでかけ」用のスイッチを外出スイッチとして兼用しているが、外出する旨を設定するための専用のスイッチを設けてもよい。
庫外センサ33cは、温度センサや湿度センサにより形成されており、庫外の環境を取得する。庫外センサ33cは、特許請求の範囲に記載した庫外環境取得手段を構成する。
主制御部30は、庫内センサにて取得した庫内の環境、および庫外センサ33cにて取得した庫外の環境に基づいて、また、操作パネル33からの設定に基づいて、冷蔵庫1の運転状態を制御する。また、主制御部30は、左ドアセンサ34や右ドアセンサ35とから、扉の開閉状態を取得する。この主制御部30は、制御部50と通信可能に接続されており、扉の開閉状態を制御部50に送信したり、天井ライト13や側面ライト36の点灯指示を制御部50から受信したりすることができる。
制御部50は、CPU50a、ROM50b、RAM50c、および時刻を取得するためのリアルタイムクロック(以下、RTC50dと称する)を有するマイクロコンピュータで構成されている。この制御部50は、撮像カメラ18、撮像ライト19、レンズヒータ51および通信部52に接続されている。
制御部50は、例えばROM50bなどに記憶されているコンピュータプログラムを実行することにより、撮像カメラ18により庫内を撮像するタイミング、および撮像カメラ18にて庫内を撮像するための撮像環境を制御する。具体的には、主制御部30から受信した扉の開閉状態等に基づいて撮像するタイミングを制御するとともに、撮像環境すなわち撮像のために必要な光源である天井ライト13や撮像ライト19等の点灯状態を制御する。制御部50は、特許請求の範囲に記載した制御手段を構成する。
ここで、撮像するタイミングについて説明する。
庫内を撮像する場合、撮像カメラ18を駆動するとともに、撮像ライト19等を点灯する必要がある。すなわち、庫内を撮像するためには、電力を消費する必要がある。このため、常に撮像可能な状態になっていると、不要な電力を消費してしまうことになる。そこで、冷蔵庫1では、庫内を撮像するタイミングを制御することで、また、そのタイミングに合わせて必要なときだけ撮像環境(つまり、撮像ライト19等の点灯)を制御することで、消費電力の削減を図っている。
庫内を撮像するタイミングは例えば以下の撮像条件1〜6のような条件が予め設定されており、制御部50は、いずれかの撮像条件が満たされると、庫内を撮像するタイミングになったと判定する。
・撮像条件1:冷蔵室3のいずれかの扉が一旦開放された後に閉鎖されたタイミング。すなわち、庫内の食材の貯蔵状況が変化した可能性があるタイミング。
・撮像条件2:冷蔵室3のいずれかの扉が開放されたタイミング。すなわち、庫内の食材の貯蔵状況が変化する可能性があるタイミング。
・撮像条件3:通信端末等の外部の装置から指令を受け付けたタイミング。
・撮像条件4:外出スイッチが操作された場合。外出スイッチが操作されたタイミングで撮像してもよいし、外出スイッチが操作されてから所定の待ち時間が経過したタイミングで撮像してもよい。また、いずれのタイミングを採用するかは予め設定しておけばよい。
・撮像条件5:一旦開放された扉が閉鎖された後であって、所定期間が経過したタイミング(本実施形態では、撮像カメラ18の広角レンズの結露が除去されるまでに要すると想定される遅延撮像時間が経過したタイミングを採用している)。すなわち、広角レンズの結露が除去されたタイミング。なお、遅延撮像時間は、予め固定値を設定してもよいし、庫外センサ33cで取得した庫外の湿度や温度に基づいてその都度設定してもよい。
・撮像条件6:一旦開放された扉が閉鎖された後であって、撮像カメラ18の広角レンズの結露がレンズヒータ51により除去されたタイミング。すなわち、広角レンズの結露が除去されたタイミング。
なお、撮像条件としては、上記したもののうちいずれか1つを採用してもよいし、相反しない条件であれば複数を組み合わせて採用してもよい。本実施形態では、判定条件1、判定条件3、判定条件4、判定条件5を採用している。
通信部52は、いわゆる無線LANやBluetooth(登録商標)などの無線通信方式により、ルータ101との間で通信を行う。具体的には、通信部52は、撮像された庫内の画像をルータ101および通信回線102を介してサーバ104にアップロードされる。なお、通信部52は、有線通信方式であってもよい。
レンズヒータ51は、撮像カメラ18の広角レンズを加熱することで、後述する図8に示すようにレンズ面の結露の除去を行う(除去手段に相当する)。このレンズヒータ51は、電熱線等の通電により発熱する発熱部材により構成してもよいし、制御部50を構成するマイクロコンピュータの発熱またはその発熱を伝える伝熱部材により構成してもよい。この場合、マイクロコンピュータの発熱を利用するために、マイクロコンピュータを省電力モードから復帰させるとよい。また、除去手段としてファン等を採用してもよい。具体的には、ファンを駆動してレンズ面に冷気を送風し、結露が除去されると予想される所定時間が経過した後に、撮像すればよい。いずれにしろ、レンズ面の結露を除去することができればどのような構成であってもよい。
通信端末103は、サーバ104にアクセスすることにより、サーバ104に記憶されている庫内の画像を取得して表示する。つまり、本実施形態では、通信端末103は、冷蔵庫1から直接画像を取得するのではなく、一旦サーバ104に記憶された画像を取得する。
サーバ104は、いわゆるコンピュータシステムにより構成されており、アップロードされた画像を時系列且つ複数枚記憶する。また、サーバ104は、通信端末と冷蔵庫1とを対応付けしておくことで、画像を取得する通信端末に対して、該当する冷蔵庫1の画像を提供する。
次に、上記した構成の作用について説明する。なお、以下に説明する処理は主制御部30や制御部50が協同して行っている処理であるが、説明の簡略化のため、冷蔵庫1を主体として説明する。
冷蔵庫1の冷蔵室3には、図5に示すように各種の食材が貯蔵されている。冷蔵庫1は、図6に示す撮像処理を実行しており、撮像カメラ18にて庫内を撮像するための撮像条件が満たされたか否かを判定しており(A1)、上記した判定条件のいずれかが満たされたと判定すると(A1:YES)、すなわち、撮像するタイミングになったと判定すると、ライト(撮像ライト19)を点灯し(A2)、庫内を撮像する(A3)。これにより、図7に示すような庫内の画像が撮像される。
この図7では、上記したように広角レンズにて庫内を撮像していることから、冷蔵室3内のほぼ全体が撮像されている。つまり、それぞれの棚板11に載置されている各種の食材と、ドアポケットに収納されている各種の食材が視認可能に撮像されている。また、棚板11が透明性材料で形成されていることから、例えば最上段の棚板11に載置されている食材S1についても、棚板11を透かして視認可能に撮像されている。
また、撮像ライト19を点灯することで撮像していることから、逆光にならず、ここの食材が視認可能に撮像されている。なお、図示は省略するが、比較例として天井ライト13を点灯した状態で庫内を撮像した場合、天井ライト13からの光が逆光となり、食材S1や2段目の棚板11に載置されている食材は視認が困難な状態で撮像されることになる。つまり、冷蔵庫1は、撮像カメラ18に対して逆光とならない撮像ライト19を点灯することにより、庫内を視認可能に撮像するための撮像環境を整備している。
そして、冷蔵庫1は、撮像した画像情報をサーバ104へ送信する(A4)。このとき、撮像した時刻も同時にサーバ104に送信される。これにより、サーバ104には、庫内の画像が時系列で、且つ複数枚記憶(蓄積)される。
ところで、冷蔵室3の扉を開放した場合、右扉3bの内板14に設けられている撮像カメラ18は、広角レンズごと庫外の環境にさらされる。これは、右扉3bが開放された場合だけでなく、左扉3aが開放された場合も同様である。このため、扉が閉鎖された直後においては、庫外の環境にもよるものの、図8(a)に示すようにレンズ面が結露して曇る可能性がある。なお、図8ではレンズ面に生じた結露をハッチングにて模式的に示しており、図8(a)は結露した状態(扉を閉鎖した直後)を示し、図8(b)は徐々に結露が除去された状態(扉を閉鎖した後、しばらく時間が経過した状態)を示し、図8(c)は結露が除去された状態(遅延撮像時間が経過した状態)を示している。
このように、扉を閉鎖した直後に庫内を撮像すると、結露により視認が困難になるおそれがある。そこで、冷蔵庫1は、上記した判定条件5を採用し、一旦開放された扉が閉鎖された後に遅延撮像時間が経過したタイミングでさらに庫内を撮像する。つまり、判定条件5が成立した場合(A1:YES)、ライトを点灯し(A2)、庫内を撮像し(A3)、撮像した画像情報をサーバ104に送信する(A4)。
より詳細には、図9に示すように、扉が閉扉されており、時刻t1にて開扉され、時刻t2で閉扉されたとすると、時刻t2においてまず画像を撮像し、その後遅延撮像時間が経過した時刻t3において再度画像を撮像する。この場合、時刻t4で閉扉されて撮像した後、遅延撮像時間が経過する前の時刻t5にて再び開扉された場合には、閉扉された時刻t6で一旦撮像した後、遅延撮像時間が経過した時刻t7で再度撮像されることになる。これにより、広角レンズの結露が除去された状態、つまり、庫内を視認可能な画像を撮像することが可能となる。
サーバ104に画像情報を送信すると、制御部50は、待機状態となる。この待機状態では、制御部50をいわゆるスリープモード等の省電力モード(例えば、製氷動作を停止する等)に移行してもよいし、撮像カメラ18等も含む制御部50側への通電を遮断して消費電力をゼロとしてもよい。そして、例えばドアセンサにより扉が開放された等を検知した際に主制御部30から制御部50に対して通常モードに移行する指令を出力したり、通電を開始したりすればよい。これにより、冷蔵庫1の総消費電力を削減することが可能となる。
さて、サーバ104に記憶されている画像は、通信端末103にて表示することができる。通信端末103は、画像を取得するためのアプリケーションが起動されると、図10に示す端末側処理(庫内画像表示プログラムに相当する)を実行して、サーバ104から最新の画像(あるいは画像情報)を取得する(B1)。これにより、通信端末103の画面には、図11に示すような庫内の画像が撮像時刻とともに表示される。なお、通信端末103には、画面に対応したタッチパネルが設けられている。
この画面には、現在の画像を取得するためのボタンM1、アプリケーションを終了するためのボタンM2、表示中の画像よりも過去の画像を表示するためのボタンM3、表示中の画像よりも新しい画像を表示するためのボタンM4等が設けられている。また、通信端末は、所望の領域を拡大して表示することも可能であり、図11に示す領域Rを拡大して図12に示すように表示することで、例えば卵が何個残っているのかをユーザが把握することができる。
また、通信端末103は、ユーザがボタンM1をタッチ操作すると、つまり、最新の画像を取得するための操作が入力されると(B2:YES)、冷蔵庫1に対して庫内を撮像するための指令を送信し(B3)、サーバ104から画像を取得して(B4)、取得した画像を表示する(B5)。なお、ステップB3の後、冷蔵庫1側では、図6にて撮像条件3が成立したことから庫内を撮像し、撮像した画像情報がサーバ104に送信されている。
このように、家電ネットワークシステム100では、冷蔵庫1が庫内を撮像した画像情報をサーバ104に送信し、サーバ104がその画像を記憶し、通信端末103がサーバ104から画像を取得して表示することで、庫内の様子を外出先等の遠隔地にて確認可能としている。
以上説明した本実施形態によれば次のような効果を奏する。
冷蔵庫1は、食品を貯蔵する冷蔵室3等の貯蔵庫の庫内を撮像する撮像カメラ18と、撮像カメラ18で撮像した庫内の画像情報を外部の装置に送信するための通信部52とを備えているので、例えば通信端末103のような外部の装置にて庫内の画像を取得することができる。これにより、外出先等の遠隔地で容易に冷蔵庫の庫内を確認することができる。
この場合、本実施形態では庫内の画像を一旦サーバ104に記憶させているので、冷蔵庫1側には画像を記憶するための記憶手段を設ける必要が無く、製造コストの増加を抑えることができる。なお、冷蔵庫1に記憶部を設け、冷蔵庫1側で画像を記憶する構成としてもよい。
また、制御部50は、サーバ104に画像情報を送信した後は待機状態となる。つまり、撮像時以外では、制御部50側(撮像カメラ18等も含む)の消費電力は、削減された状態あるいはゼロとなる。これにより、冷蔵庫1の総消費電力を削減することが可能となる。
制御部50は、撮像カメラ18により庫内を撮像するタイミングを制御するとともに、そのタイミングに合わせて庫内を撮像するためのライトの点灯等の撮像環境を制御する。庫内を撮像するためには光源が必要であり、常に撮像可能な状態になっていると不要な電力を消費してしまうことになるが、庫内を撮像するタイミングに合わせて撮像するときだけ撮像ライト19等を点灯するように撮像環境を制御することで、不要な電力消費を削減することができる。なお、光源が無い状態でも撮像可能な暗視カメラ(例えば、赤外線カメラ)等を採用してライトが点灯しない状態で撮像してもよい。また、ライトを常時点灯させておいてもよい。
冷蔵庫1は、冷蔵室3の扉が閉鎖された後のタイミングで、撮像カメラ18により庫内を撮像する。冷蔵庫の貯蔵状況が変わっていないにもかかわらず撮像すると、不要な画像が蓄積されるだけでなく、電力消費の増加も招くことになる。そのため、本実施形態では、冷蔵庫は、扉が一旦開放され、その扉が閉鎖された後のタイミングで庫内を撮像する。これにより、庫内の食材の貯蔵状態が変化する可能性のある状態(扉が一旦開放された状態)において、貯蔵状態が確定した状態(扉が閉鎖した後の状態)で庫内を撮像するにより、不要な撮像を抑制して電力消費が増加することを抑制できる。
また、冷蔵庫1は、扉が閉鎖された後であって、撮像カメラ18の広角レンズの結露が除去されるまでに要する遅延撮像時間が経過したタイミングで庫内を撮像する。例えば夏期のように気温が高い場合や湿度が高い場合、扉が開放されて庫外の環境にさらされた撮像カメラは、扉が閉鎖されると、冷蔵室3内の温度が低いことからレンズ面に結露が生じる可能性がある。そこで、その結露が除去されると想定される遅延撮像時間が経過したタイミングで再度庫内を撮像することにより、レンズ面に曇りがない明りょうな画像を撮像することができる。したがって、庫内の様子をより確実に把握することができる。
この場合、遅延撮像時間は、庫外センサ33cにより取得した温度や湿度等の庫外の環境に基づいて設定してもよい。これにより、温度や湿度が低い場合等には結露が生じない(或いは少ない)と想定されるため、遅延撮像時間を短くすることができ、消費電力を削減することができる。具体的には、例えば遅延撮像時間が経過するまで制御部50が待機するような構成の場合、待機時間が短くなることにより、その分の消費電力を削減することができる。
また、撮像カメラ18の広角レンズの結露を除去する場合、レンズヒータ51のような除去手段を用いてもよい。この場合、冷蔵庫1は、レンズヒータ51によりレンズ面の結露を除去した後のタイミングで庫内を撮像することになる。このレンズヒータ51を用いることにより、遅延撮像時間をさらに短くすることができるので、消費電力を削減することができる。この場合、レンズヒータ51を制御部50の自己発熱を伝える伝熱部材で構成すれば、電力を余分に消費することなくレンズ面の結露を除去することができる。また、除去手段としてファンを採用した場合も、遅延撮像時間が短くなることで消費電力を削減することができる。
冷蔵庫1は、例えば通信端末103から庫内を撮像するための指令を受け付けたタイミングで庫内を撮像する。例えば、ユーザが外出中であり、その留守中に家族が冷蔵庫1から食材を取り出した等により貯蔵状況が変化する可能性があるが、ユーザの指令によりその時点での画像を撮像することにより、最新すなわち現時点での冷蔵庫1の庫内の様子を把握することができる。
冷蔵庫1は、外出スイッチが操作された場合に庫内を撮像するので、外出後に冷蔵庫1の中の様子を確認したいような状況に対応することができる。この場合、例えば一人暮らしのユーザが外出する場合、冷蔵庫1の貯蔵状況は、ユーザが外出した時点から変化しないと考えられるので、外出スイッチが操作された場合に撮像した画像を最新の庫内の画像として扱うことができる。
なお、実施形態では採用していないが、撮像条件2を採用して庫内の食材の貯蔵状況が変化する可能性があるタイミングで撮像することにより、最新に近い庫内の画像を取得することができる。この場合、右扉3bの開放中には撮像カメラ18の視野がぶれる可能性はあるものの、例えば右扉3bが開放される瞬間に撮像することで、そのぶれを低減することができるとともに、扉が開放されれば庫内照明が点灯するので、照度を確保することができる。
冷蔵庫1は、撮像カメラ18で庫内を撮像する際、庫内を照らすための撮像ライト19を点灯して撮像環境を制御(整備)する。これにより、扉が閉鎖された状態であっても光源を確保することができ、庫内を視認可能に撮像することができる。
冷蔵庫1は、天井ライト13や撮像ライト19あるいは側面ライト36のように庫内に複数設けられている照明手段のうち、特定の位置(この場合は、特に撮像位置)を照らすための撮像ライト19を点灯する。撮像カメラ18で撮像する場合、庫内に設けられている照明手段との位置関係によっては照明が直接視野に入り込み逆光となる可能性があるが、照明手段の全てを点灯するのではなく、例えば撮像ライト19のように撮像する際に逆光とならない位置等の特定の位置を照らすための照明手段を点灯することにより、画像をより鮮明に撮像することができる。具体的には、例えば撮像カメラ18と対向する背面側に照明手段が設けられている場合は、少なくとも最も逆光となる照明手段を消灯し、他の照明手段(天井ライト13等)などを利用すること等が考えられる。
撮像ライト19は、撮像カメラ18の対向位置外であって、且つ撮像カメラ18の視野と同じ向きを照らすように設けられているので、撮像ライト19からの光が逆光とならず、庫内の様子を詳細に把握することができる。
庫内を撮像する際には撮像カメラ18の視野を確保するためにある程度の距離が必要となるが、撮像カメラ18を冷蔵室3の扉に設けているので、撮像カメラ18と、棚板11等に収納されている食材との距離を確保することができ、視野を大きくすることができる。
撮像カメラ18を右扉3bの内板14に設けているので、扉が閉鎖された状態であっても、庫内を撮像することができる。
この場合、撮像カメラ18を冷蔵室3の上下方向の中央付近、且つ、冷蔵室3の左右方向の中央付近に設けるとともに、広角レンズを採用しているので、撮像カメラ18は、冷蔵室3の庫内のほぼ全域を、庫内の中央部付近から画像(つまり、ユーザが通常冷蔵庫1内を見ている状態と近似した状態での画像)として撮像することができる。このとき、棚板11を透明性材料で形成していることから、例えば最上段の棚板11に載置されている食材についても、棚板11を透かして視認可能に撮像することができる。
撮像カメラ18に隣接するドアポケット9bは、撮像カメラ18側の部位が撮像カメラ18を避ける方向に形成されているので、広角レンズを採用している撮像カメラ18の左右方向の視野を確保することができる。また、ドアポケット9bに隣接した位置に撮像カメラ18を設けているので、上下方向の視野がドアポケット9bにより遮られることも無い。
撮像カメラ18をドアポケット8〜10の少なくとも一部を撮像することが可能な位置に配置しているので、ドアポケット8〜10に収納されている食材も撮像可能となり、庫内に貯蔵されている食材をより詳細に把握することができる。なお、撮像カメラ18に隣接して設けられている本実施形態のドアポケット9bについては、視野外であっても(撮像できなくても)よい。また、撮像カメラ18をドアポケットの間に設けてもよい。このような撮像カメラ18の設置位置は、後述する第2実施形態で説明する着脱可能なカメラ装置を利用する場合であっても、同様の効果を得ることができる。
通信端末103は、画像を表示する表示部を有し、上記した冷蔵庫1で撮像された庫内の画像をサーバ104から取得して表示部に表示するので、外出先等の遠隔地から庫内の様子を把握することができる。
上記した冷蔵庫1と、上記した通信端末103と、冷蔵庫1で撮像された庫内の画像を記憶する記憶手段を有するサーバ104とにより構成される家電ネットワークシステム100によれば、通信端末103が通信回線102を介してサーバ104に接続し、当該サーバ104に記憶されている庫内の画像を取得して表示するので、外出先等の遠隔地から庫内の様子を把握することができる。この場合、画像の記憶をサーバ104にて行っているため、冷蔵庫1側には大容量の記憶部を設ける必要が無いので、冷蔵庫1のコストが増加することを防止できる。また、通信端末103は、サーバ104から画像を取得するので、冷蔵庫1の制御部50を通信可能なように待機させておく必要が無く、冷蔵庫1側の消費電力が増加することを抑制できる。
また、撮像カメラ18で撮像した貯蔵庫の庫内の画像情報を取得する画像取得処理(図10のステップB1、B4)と、画像取得処理で取得した画像情報を表示する表示処理(図10のステップB5)と、庫内を撮像させるための指令を出力して撮像カメラ撮像手段に庫内を撮像させる撮像処理(ステップB2、B3)と、を実行させる庫内画像表示プログラムを通信端末103にて実行することで、遠隔地等から庫内を確認することができる。
(第2実施形態)
以下、第2実施形態について、図13から図25を参照しながら説明する。なお、冷蔵庫の構成は第1実施形態とほぼ共通するので、図2等も参照しながら説明する。
図13(A)および(B)に示すように、本実施形態によるドアポケット200(冷蔵庫用ドアポケットに相当する)は、物品を収納する収納部201と、カメラ装置300を保持するための保持部202とを備えている。つまり、このドアポケット200は、特許請求の範囲に記載した冷蔵庫用ドアポケットと冷蔵庫用ホルダとの機能を備えている。なお、保持部202は、撮像手段を取り付けるための被取り付け部に相当するとも言える。また、収納部201に注目した場合、ドアポケット200は、保持部202に保持されたカメラ装置300(つまり、撮像手段)に隣接して設けられているとも言える。
収納部201は、保持部202側の壁部203が、保持部202から離間する方向に斜めに形成されている。つまり、ドアポケット200は、保持部202にてカメラ装置300を保持した(取り付けた)場合、そのカメラ装置300の視野を妨げないように、視野の外縁に沿った形状に形成されている。
保持部202は、本実施形態では、上部側(図3(A)の図示上方側)が開口した概ね箱状に形成されており、上部側の開口からカメラ装置300が出し入れ(着脱)される。また、保持部202の前面側(つまり、庫内に向かう側)の壁部204は、カメラ装置300を保持した状態でレンズ301および撮像ランプ302(図15等参照。カメラ側照明手段、照明手段に相当する)に対応する位置に切り込み205が形成されており、カメラ装置300の視野を妨げたり照明が反射したりすることが防止されている。
また、保持部202には、磁石206が設けられている。この磁石206は、カメラ装置300の背面側に対向する側がN極またはS極の何れかとなるように配置されている。なお、磁石206の極性については、後述するカメラ装置300の構成にて詳細に説明する。
このドアポケット200は、図14に示すように、右扉3bの内板14に取り付けられる。このため、右扉3bが閉鎖された状態では、カメラ装置300は、その視野が庫内(冷蔵室3)に対向する配置となる。このとき、保持部202に保持されるカメラ装置300は、そのレンズ301の中心が、冷蔵室3の左右方向の中心線CL1と、冷蔵室3の上下方向の中心線CL2とが交差する位置に対応して保持される。つまり、この状態におけるカメラ装置300は、冷蔵室3の中央部を中心とした視野となるように配置されている。具体的には、ドアポケット200の場合、ドアポケット200の取り付け位置とカメラ装置300の形状とに基づいて、収納部201の底部よりも保持部202の底部の方が若干下方に位置する形状とすることで、中心位置が最適となるような形状となっている。
カメラ装置300は、図15および図16に示すように、概ね直方体の形状に形成された筐体303の表面にレンズ301および撮像ランプ302が露出するように設けられている。なお、レンズ301および撮像ランプ302が直接露出しているのではなく、その表面をカバー等で覆っていてもよい。また、本実施形態でも、レンズ301は広角レンズを採用している。
以下、レンズ301および撮像ランプ302が設けられている側(図16の場合、図示右側)をカメラ装置300の正面とし、反対側を背面として説明する。また、図13に示したように、レンズ301と撮像ランプ302とが冷蔵庫1の上下方向に配置される向きを縦向きと称し、後述する図20のようにレンズ301と撮像ランプ302とが冷蔵庫1の左右方向に配置される向きを横向きと称する。
このカメラ装置300は、図16に示すように、筐体303内に、制御基板304、電池305、通信モジュール306、検知部307が収容されている。制御基板304には、レンズ301や図示しない撮像素子を有する撮像部308(図21参照)、本実施形態では2個の撮像ランプ302、およびそれらを制御するための制御部309(図21参照)等が設けられている。撮像素子は、CCDやCMOS等の周知の撮像素子であり、その形状が長方形となっている。本実施形態の場合、撮像素子の長手方向が上下方向(つまり、筐体の縦方向)となるように配置されている。このため、一般的には縦長に形成されている冷蔵室3を撮像する際には、カメラ装置300を縦置きすることで、撮像素子を縦長の向きに配置することができる。一方、後述するように横長に形成されている野菜室4を撮像する際には、カメラ装置300を横置きすることで、撮像素子を横長の向きに配置することができる。また、撮像ランプ302として、本実施形態ではLEDを採用している。なお、図示は省略するが、カメラ装置300には電源スイッチも設けられている。
電池305は、リチウム電池で構成されており、制御部309や通信モジュール306あるいは検知部307等に電力を供給する。この電池305は、筐体303の最下部側であって、筐体の前後方向(図示左右方向)の概ね全域を占有する配置となっている。筐体303に収納されている各部材のうち比較的重量が大きい電池305をそのような配置とすることで、カメラ装置300を設置した際のバランスがある程度確保されている。また、重心をカメラ装置300の下部(縦置きの場合)にしたことにより、カメラ装置300を右扉3bのドアポケット200に配置した場合において、扉開閉時の遠心力や振動等によりカメラ装置300がドアポケット200から飛び出ること等が防止される。また、リチウム電池を使用することで、冷蔵庫1内のように比較的低温の場所であっても優れた放電特性を示すことになる。
さて、図25に示すように、本実施形態の家電ネットワークシステム500では、冷蔵庫1側に、カメラ装置300の通信モジュール306とは異なる別の通信装置501が設けられており、この通信装置501によって、冷蔵庫1は、外部の装置からの撮像指令を受信する。なお、この通信装置501は冷蔵庫1に取り付けられており、カメラ装置300は冷蔵室3内に配置されている。この通信装置501は、庫内を撮像するための指令(以下、撮像指令とも称する)を外部の装置から受信するための庫側通信手段を構成している。本実施形態では、通信装置501は無線通信用のアダプタとして形成されており、冷蔵庫1に対して着脱可能となっている。このため、冷蔵庫1を購入したユーザが、購入後にオプションとして設置することも可能となっている。この通信装置501は、図21に示すように、冷蔵庫1の主制御部30との間で無線通信方式や有線通信方式により通信可能となっている。そして、冷蔵庫1は、詳細は後述するが、撮像指令を受信すると、カメラ装置300に対して撮像指示(図23参照。本実施形態では光の点滅信号)を報知する。
カメラ装置300の通信モジュール306は、ルータ101との間で通信可能に構成されており、通信端末103やサーバ104に画像情報を送信する。この通信モジュール306は、カメラ装置300で撮像した庫内の画像情報を通信端末103やサーバ104(図1参照)等の外部の装置に送信するためのカメラ側通信手段として機能する。なお、この通信モジュール306は、カメラ装置300の筐体303の背面側(最外縁側)の壁部に沿って設けられている。つまり、通信モジュール306は、内蔵する図示しないアンテナと筐体303との間に他の部品等が存在しないような内部配置とすることで、アンテナによる電波の送受信が阻害されること(通信障害が発生すること)が抑制されている。また、通信モジュール306は電池305に対して垂直向きに配置されており、アンテナと電池305とが対向しないような配置とされている。
そして、冷蔵庫1の右扉3bの前面は上記したようにガラス材料で形成されていることから、庫内に配置されたカメラ装置300から発せられる無線通信用の電波は、金属板等を用いる場合に比べて、扉を透過し易くなっている。また、カメラ装置300は、ドアポケット200の保持部202(つまり、右扉3bの開放端部側)に配置されているので、特に本実施形態のように観音開きの場合には、各扉の隙間から電波を庫外に出すことができる。また、保持部202に配置することで、例えば扉の前面が金属材料で形成されている場合等であっても、カメラ装置300からの電波が庫外に出易くなる。また、扉の内部はウレタンによって充填されているので、電波を遮る可能性が少ない。
ところで、冷蔵庫1には、断熱材として、ウレタンの代わり、あるいはウレタンとともに、真空断熱材が用いられることがある。この真空断熱材は、金属製の箔部材(例えばアルミ箔)と例えば合成樹脂製のフィルム部材とを貼り合わせた(ラミネート加工した)フィルムでガラス繊維等の芯材を包むことにより、例えば長方形の薄板状に形成されて断熱材となる。この真空断熱材は、冷蔵庫1の筐体や扉の内部部材として用いられるものの、例えばカメラ装置300をドアポケット200に配置する場合には保持部202に対応する位置を避けて真空断熱材を設ける等により、電波を外に出し易くすることができる。
この場合、右扉3bについてはカメラ装置300の投影面(特に通信モジュール306の部位)を避けるように真空断熱材を配置したり、左扉3aや下部冷凍室7の扉7a等、カメラ装置300が配置されない扉についてはその全面に真空断熱材を配置したりすること等によって、冷蔵庫1の断熱性を低下させること無く電波を出し易くすることができる。また、上記したガラス板3b1を補強することや後述する図29のように磁石にてカメラ装置300を取り付けのための金属部材を扉に設けることも考えられるが、その場合も、真空断熱材の場合と同様に配置を工夫することで、電波を出し易くすることができる。
このように庫内から電波を出し易くする構造は、本実施形態のように、カメラ装置300に通信モジュール306を設け、そのカメラ装置300を冷蔵庫1の庫内に配置し、撮像した画像情報をカメラ装置300から直接的に外部の装置に伝達する構成(つまり、冷蔵庫1の通信装置501を介さずにカメラ装置300が画像情報を送信する構成)において、特に有意になる。
ここで、上記した磁石206の極性について説明する。
磁石206は、図17に示すように、保持部202において、カメラ装置300の背面つまり検知部307に対応する位置に設けられている。このため、カメラ装置300が保持されている状態では、検知部307が磁石206と対向した状態、且つ、磁石206と接近した状態となる。この場合、磁石206は、カメラ装置300と対向する側がN極となるように配置されている。このため、検知部307は、N極からの磁界の強さを検知することになる。
さて、磁石206の極性をこのような配置にする理由は、カメラ装置300を冷蔵室3以外の例えば野菜室4等に設置することを考慮しているためである。野菜室4は、図18に示すように、扉4aにレール部材4bが取り付けられており、そのレール部材4bに野菜室ボックス4cが取り付けられた構造となっている。このような野菜室4をカメラ装置300で撮像するために、本実施形態では、図19に示す冷蔵庫用ホルダ400を採用している。この冷蔵庫用ホルダ400は、カメラ装置300を保持する保持部401と、保持部401を野菜室ボックス4cに取り付けるための係止部402とを備えている。この保持部401は、カメラ装置300を横置きで保持可能な形状に形成されているとともに、前面側の前壁403は、レンズ301の視野を遮らない高さに形成されている。
そして、保持部401の後壁404には、カメラ装置300の背面側の位置に、磁石405が設けられている。この磁石405は、カメラ装置300側がS極となるように配置されている。このため、図20に示すように冷蔵庫用ホルダ400を野菜室4に取り付け、カメラ装置300を保持部401に保持した状態では、カメラ装置300は、横置きの状態で保持されるとともに、検知部307が、図17と同様に磁石405に対向する。そして、検知部307は、S極からの磁界の強さを検知する。
このように、磁石206および磁石405は、カメラ装置300に対向する側の極性が互いに逆になるように配置されている。このため、カメラ装置300は、冷蔵室3に設置された場合と野菜室4に設置された場合とで、異なる磁界の強さを検知部307で検知する。換言すると、カメラ装置300は、自身がいずれの貯蔵室に設置されたかを検知することが可能となる。また、カメラ装置300は、磁気を検知することで、設置された冷蔵庫1が自身の動作対象であるかを識別することができる。つまり、磁石206および磁石405は、特許請求の範囲に記載した被検知手段としても機能する。
次に、このカメラ装置300の電気的構成等について説明する。
図21に示すように、カメラ装置300は、制御部309を備えている。この制御部309は、CPU309a、ROM309b、RAM309cおよびRTC309d等を有するマイクロコンピュータで構成されており、カメラ装置300の全体を制御するカメラ側制御手段として機能する。具体的には、制御部309は、レンズ301や撮像素子を有する撮像部308による撮像タイミングの制御、撮像ランプ302による撮像する際の撮像環境を整える制御(点灯制御)、通信モジュール306による画像情報の送信および後述する指令の受信等のための制御、検知部307による設置状態を判断・識別するための制御を行う。また、制御部309は、本実施形態では、撮像した画像の補正等を行う画像処理も行っている。
まず、検知部307による設置状態の判断・識別の制御について説明する。検知部307は、温度センサ310、磁気センサ311、加速度センサ312、および照度センサ313を有している。制御部309は、温度センサ310により外部の温度を検知することで、カメラ装置300がいずれ貯蔵庫に設置されているかの設置場所を判断する。以下、具体的な判断について説明する。
温度センサ310は、カメラ装置300が設置された場所の温度を検知する。この温度センサ310は、図22(A)に示すように、温度に比例して出力が大きくなる。そして、一般的には冷蔵室3の温度と下部冷凍室7の温度とは十数℃程度の差があることから、基準となる基準温度を設定しておき、その基準温度より高ければ冷蔵室3に設置されていると判断する一方、基準温度よりも低ければ下部冷凍室7に設置されていると判断する。この場合、下部冷凍室7に設置されていると判断した場合、故障等の虞が懸念されるため、撮像ランプ302を点灯させたり、ブザー等の音声出力手段を設けておいて音声にて設置場所が想定外であることを報知したり、通信モジュール306を介して冷蔵庫1側にその旨を送信して冷蔵庫1の操作パネル33等にてユーザに報知したりする。このように、カメラ装置300は、温度センサ310で検知した温度に基づいて、設置場所を判断する。
磁気センサ311は、上記したように磁石206や磁石405からの磁界を検知する。この磁気センサ311は、図22(B)に示すように、N極またはS極のいずれからの磁界であるかによって出力が正側(N極の場合)と負側(S極の場合)とに変化することから、その正負によって設置場所を判断することができる。つまり、磁気センサ311の出力が正側(0ではない)である場合には、本実施形態においては上記したように冷蔵室3のドアポケット200に設けられている磁石206に対向する位置に設置されたこと、すなわち、カメラ装置300が冷蔵室3に設置されたことを検知できる。
尚、冷蔵室3と野菜室4とに温度差がある場合には、この温度センサ310の出力に基づいて冷蔵室3に設置されたか野菜室4に設置されたかを判断するようにしてもよい。いずれにしろ、温度センサ310の出力に基づいて、カメラ装置300が貯蔵室内に設置されたことを検知することができる。
一方、磁気センサ311の出力が負側(0ではない)である場合には、上記した磁石405に対向する位置に設置されたこと、すなわち、カメラ装置300が野菜室4に設置されたことを検知できる。尚、カメラ装置300を例えば棚板11等に設置する場合(図24(B)参照)を考慮して、本実施形態では、正側基準値を超えた場合に冷蔵室3であると判定し、負側基準値を下回った場合に野菜室4であると判断する構成としている。そして、0付近の出力の場合には、磁石が設置されていない棚板11等であると判断する。尚、上記した温度センサ310と組み合わせて、貯蔵室内であることを判断条件に加えてもよい。
加速度センサ312は、カメラ装置300に加わる加速度(重力加速度)を検知する。この加速度センサ312は、所謂三軸センサとしてX方向、Y方向およびZ方向(図15、図16参照)の三軸方向の加速度を検知する。このため、図22(C)に示すように、縦置きした場合と、縦置き(上下逆向き)した場合と、横置きした場合と、横置き(左右逆向き)した場合とにおいて、その出力が変化する。これにより、カメラ装置300が設置された向きを検知することができる。検知したカメラ装置300の向きは、後述する画像処理にて利用される。なお、設置場所の判断に用いてもよい。
次に、撮像タイミングについて説明する。尚、撮像の流れは、第1実施形態の図6とほぼ共通するので、図6も参照しながら説明する。
カメラ装置300は、予め定められている所定時間が経過した場合、および、外部の装置からの指令を受信した場合のいずれかを判定している。すなわち、撮像条件が満たされか否かを判定している(A1)。この場合、カメラ装置300は、RTC309dにより計時を行うことで、所定期間が経過したかを判定するとともに、指令を受信したか否かを、照度センサ313で検知した照度に基づいて判定する。
検知部307を構成する照度センサ313は、カメラ装置300が設置された場所の照度を検知する。本実施形態の場合、照度センサ313は、庫内照明が点灯された程度の照度になると、その旨を制御部309に通知する。また、カメラ装置300が設置される本実施形態の冷蔵庫1は、外部の装置から撮像するための指令を受信すると、例えば天井ライト13のような庫内照明を所定の点滅パターンで点滅させる。なお、撮像指令は、例えば通信端末103の場合には、第1実施形態の図10の端末側処理のステップB2〜B4と同様に行われる。
この点滅パターンは、冷蔵庫1から着脱可能なカメラ装置300に対して撮像タイミングを報知するために予め設定されている。つまり、冷蔵庫1は、庫内照明を点滅させることで、カメラ装置300に対して撮像指示を報知する。これは、上記したように、冷蔵庫1が動作対象であるか(つまり、庫内照明の点滅が可能な冷蔵庫であるか)を判断可能とする構成や、カメラ装置300に動作対象であることを識別させるための構成を設けたことにより実現されている。すなわち、庫内照明を点滅可能であることが、カメラ装置300の動作対象である冷蔵庫1であることを示している。
カメラ装置300は、図23の期間T1に示すように、通常は所謂スリープモード等の省電力状態となっている一方、照度センサは作動している。冷蔵庫1は、外部の装置から指令を受信すると、上記したように所定の点滅パターンにて庫内照明を点滅させる。このとき、庫内照明が点灯されたことから、照度センサ313から制御部309に対して通知(例えば割り込み信号の入力等)が行われ、制御部309が動作状態となる。つまり、庫内照明が所定の点滅パターンで点滅した場合、撮像条件が満たされたと判断する。点滅パターンは、例えば点灯と消灯の周期、その繰り返し回数等、任意に設定することができる。
撮像条件が満たされたと判断すると(A1:YES)、カメラ装置300は、撮像ランプ302を点灯させ(A2)、庫内を撮像し(A3)、その画像情報をサーバ104等へ送信する(A4)。
ところで、冷蔵庫1は、指令を受けた場合以外にも庫内照明が点灯することがある。例えば、図23の期間T2のように、ユーザにより扉が開放されたような場合には、点滅パターンではない態様(この場合、連続点灯)で庫内照明が点灯される。この場合、カメラ装置300は、庫内照明が点灯したことから一旦は動作状態となるものの、所定の点滅パターンではないので、つまり、撮像条件が満たされていないので、再び待機状態になる。
また、カメラ装置300は、図23の期間T3のように、前回(期間T1)の撮像から予め設定されている撮像間隔設定期間が経過した等、所定期間が経過すると、撮像条件が満たされたと判定して(A1:YES)、動作状態となり、撮像ランプ302を点灯させ(A2)、その時点での庫内の画像を撮像し(A3)、画像情報を送信する(A4)。
このように、カメラ装置300は、所定期間が経過したか、および、外部の装置からの指令(ユーザの意思)があったかに基づいて、庫内を撮像する。そして、ユーザは、図24(A)〜(C)に示すように、カメラ装置300を設置した場所に応じて、庫内の様子を確認することができる。なお、カメラ装置300を冷蔵室3と野菜室4との双方に設ける等、複数のカメラ装置300を設けてもよい。
さて、本実施形態の場合、カメラ装置300は、単に庫内を撮像するだけでなく、画像の変換等の画像処理も行っている。
カメラ装置300は、上記したように縦置きまたは横置きすることができるが、その場合、画像は、90度(あるいは270度)回転した状態となっている。そのため、カメラ装置300は、サーバ104に送信する前に、画像の変換を行っている。これにより、図24(A)と、(B)又は(C)とに示すように、カメラ装置300の向きが異なっている場合であっても、上下方向が統一された画像、すなわち、ユーザが冷蔵庫1を直接確認するときと同様の状態の画像を通信端末103にて表示させることができる。
また、レンズ301が広角レンズであることから、撮像した画像は、第1実施形態の図7に示したように中央付近が歪んだ画像となる。そのため、カメラ装置300は、その歪みを補正する画像処理を行うことにより、具体的には、中央付近と上下の端部との比率を一致させるような画像処理を行うことにより、図24(A)に示すように、歪みの少ない画像を表示可能としている。なお、画像とカメラ装置300の向きとを合わせて画像情報として送信し、サーバ104あるいは通信端末103にて画像処理を行う構成としてもよい。画像処理を外部の装置側で行うことにより、カメラ装置300の消費電力を削減することができる。これは、本実施形態のように外部からの給電手段を持たないカメラ装置300にとって有意である。
以上説明した本実施形態によれば、第1実施形態で得られる効果に加えて(あるいは代わりに)、次のような効果を奏する。
外出先等の遠隔地で冷蔵庫1の庫内を確認したいと考えるユーザが存在するが、庫内を撮像するための撮像部308(撮像手段)と、撮像部308で撮像した庫内の画像情報をサーバ104等の外部の装置に送信するための通信モジュール306(通信手段)と冷蔵庫1に設けているので、外出先等において、通信端末103により庫内の画像を取得でき、庫内を確認することができる。
庫内の画像を撮像する際、むやみに撮像を繰り返すと電力消費が増加して電池切れを引き起こしたり、サーバ104に不要(同一の画像)が何枚も蓄積されたりする虞があるが、カメラ装置300の制御部309は、により庫内を撮像するタイミングを制御することにより、そのような虞を低減することができる。
具体的には、実施形態のように、所定期間が経過した場合には例えば家族等が冷蔵庫1から食材を取り出す等の行為を行う可能性があるので、所定期間を経過したタイミング、すなわち、貯蔵状況が変化した可能性があるタイミングで庫内を撮像することで、不必要に撮像が繰り返されることを防止できる。
また、ユーザからの指令を受信したタイミングで庫内を撮像することで、最新の貯蔵状況を把握することができる。この場合、上記した所定期間が経過したタイミングで撮像することを行わなければ、換言すると、ユーザの意思表示がされた際だけ撮像するようにすれば、不要な撮像が行われなくなるので、さらに消費電力を削減することができる。なお、実施形態でも説明したが、第1実施形態の各撮像条件と組み合わせることで、貯蔵状況が変化した際の画像を取得するようにしてもよい。
冷蔵庫1の庫内を確認する必要が無いと考えるユーザも存在することが予想されるが、カメラ装置300は、庫内を撮像するための撮像部308と、撮像部308で撮像した庫内の画像情報をサーバ104等の外部の装置に送信するための通信モジュール306とを備え、冷蔵庫1に着脱可能な構成となっているので、確認を不要とするユーザは、カメラ装置300を取り外すことができる。また、購入時には不要と考えていたが、購入後に確認したいと考えるユーザも、カメラ装置300を追加することで、庫内を確認することができるようになる。
この場合、通信装置501も着脱可能な構成としているので、カメラ装置300の場合と同様に、庫内の確認を不要とするユーザは取り外すことで消費電力を低減することができるとともに、後から付け足したいユーザにも対応することができる。
撮像するためには光源が必要であるが、庫内を照らすための撮像ランプ302(カメラ側照明手段)をカメラ装置300に設けているので、カメラ装置300単体で庫内を撮像することができる。なお、冷蔵庫1と連携して、庫内照明を点灯する構成であってもよいことは勿論である。
カメラ装置300を設置する場合、設置位置によっては視野が遮られる等により上手く庫内を撮像できない可能性もあるが、撮像するのに有利な場所もある。そこで、冷蔵庫1にカメラ装置300を取り付けるための被取り付け部(実施形態では、ドアポケット200の保持部202や、冷蔵庫用ホルダ400の保持部401等)を設けることで、例えば冷蔵室3の全域を撮像可能な場所にカメラ装置300を設置することができる。
カメラ装置300の、上記したような庫内照明を点滅させることができないと外部の装置からの撮像指令を実行することができない虞があるが、磁石206や磁石405を設けてその磁気を検知部307にて検知する構成とすることにより、つまり、その冷蔵庫1がカメラ装置300による撮像が可能な(撮像が許可された)動作対象であることを検知させるための被検知手段備えることにより、そのような虞を低減することができる。
この場合、通信モジュール306にて冷蔵庫1側と通信することで、つまり、通信モジュール306を検知手段(この場合、通信装置501が被検知手段となる)として用いてもよい。また、通信モジュール306を、カメラ装置300が該冷蔵庫1用に設計されたもの(例えば、庫内照明を点滅させることで撮像ができるもの)であるかを識別するための識別手段として用いてもよい。
カメラ装置300は、実施形態の場合には電池305により駆動される(つまり、冷蔵庫1に設置されている際には外部からの電源供給が無い状態で駆動される)ことから、可能な限り電力消費を低減することが望ましい。そこで、通信モジュール306は通信装置501と通信するようにすることにより、通信モジュール306で外部の装置と無線通信を行う場合に比べて、無線通信による電力消費を低減することができる。
また、外部の装置から指令を受ける場合、通信手段が常に動作して指令を待機する必要があるが、実施形態のように通信装置501にて指令を受信する構成としたことで、通信モジュール306を常時動作させておく必要が無くなり、電池切れとなるまでの期間をより長くすることができる。この場合、通信装置501には例えばUSB等の有線方式により冷蔵庫1側から給電可能な構成としておけば、通信装置501が無い場合には不要な給電が行われなくなるとともに、通信装置501が有る場合には例えば常時動作させることができるようになる。
カメラ装置300を着脱可能とする場合、無線通信を採用したほうが利便性を向上させることができるものの、上記したような通信装置501にて指令を受信する場合、それを何らかの方法でカメラ装置300に伝達する必要がある。そこで、カメラ装置300に照度センサ313を設け、庫内照明を点滅させることで撮像指令を間接的にカメラ装置300に伝達する構成とすることで、無線通信を採用したカメラ装置300に、撮像タイミングを通知することができる。この場合、カメラ装置300側は照度センサ313を動作状態としておけばよいので、通信モジュール306を動作せる場合に比べて電力消費を削減することができる。
また、カメラ装置300が設けられる右扉3bの前面は、非金属材料で形成されているので、右扉3bによって密閉された冷蔵室3内にカメラ装置300を通信モジュール306ごと配置する場合であっても、電波を庫外に出し易くすることができる。野菜室4にカメラ装置300を配置する場合も同様である。
例えば冷蔵室3は一般的には縦長の形状であり、野菜室4は一般的には横長の形状であることを考慮すると、複数の貯蔵室が存在する場合、貯蔵室に応じてカメラ装置300の視野を切り替えることが望ましい。また、画像が横向きになるとユーザが違和感を覚える可能性もあるので、ユーザが冷蔵庫1を見た場合の状態、つまり、冷蔵庫の上下方向が統一された画像とすることが望ましい。そこで、上記した磁石206や磁石405を設けることにより、さらには、カメラ装置300に対向する側の極性が異なるような配置とすることにより、いずれの位置(この場合、メーカ等が予め設定した取り付け位置。保持部202または保持部401に対応する)に設置されているのかを把握することで、その位置におけるカメラ装置300の向きを判断可能としている。また、冷蔵室3の場合には本実施形態で縦置き、野菜室の場合には横置きとなるように保持部202や保持部401が予め形成されていることにより、貯蔵室に応じた向きでカメラ装置300が設置されるようにしている。これらにより、貯蔵室に応じて適切に視野を確保することができるとともに、画像処理を行う際にどの向きに回転させれば良いか等を判別できるようになる。
この場合、加速度センサ312で検出した加速度の向きからカメラ装置300の向きを判断することもできるし、温度センサ310で検出した温度に基づいて設置場所を判断することもできる。
カメラ装置300が例えば冷凍室に誤って設置されると、動作不良等を引き起こす可能性があるが、温度センサ310で温度を検知することで、また、実施形態のように報知可能とすることで、動作不良等を引き起こす虞を低減することができる。
カメラ装置300で庫内を撮像するためには、庫内に対して正面から、且つ、視野を確保するためにある程度の距離を確保することが望ましいが、冷蔵庫1の場合、その正面側の取り付け位置は、扉により制限される。そこで、少しでも距離を確保するために扉の内板14に取り付けることが考えられるが、その場合、ドアポケットが視野に掛かる可能性がある。そこで、実施形態のドアポケット200は、その壁部203が、保持部202(被取り付け部)を避ける形状に形成されているので、カメラ装置300の視野を遮ることが無い。
また、上記したように庫内を撮像するのに有利な場所が存在することから、その場所をユーザに知らせることが望ましい。そこで、ドアポケット200のように、カメラ装置300を保持する保持部202(取り付けるための被取り付け部)を設けることで、設置場所を明示することができる。また、保持部202に保持された状態では、カメラ装置300の視野が冷蔵室の中心に来るように保持部202が形成されているので、庫内のほぼ全域を撮像することができる。なお、保持部202に設置することでその中心位置が規定されることから、画像の歪みを補正する画像処理において、補正する際の中心位置と画像の中心位置とが一致し、その中心位置を中心として均等に歪み補正を行えばよいので、画像処理の演算負荷の低減を図ることもできる。
また、このドアポケット200には、磁気センサ311の検知対象となる磁石206を設けているので、上記したように、設置場所をカメラ装置300に識別させることができる。
冷蔵庫1場合、野菜室4等も設けられているが、野菜室4には所謂ドアポケットが設けられておらず、また箱状に形成されていることから、単にカメラ装置300を設置すると、収納される野菜等で覆われてしまう虞がある。そこで、冷蔵庫用ホルダ400のように、カメラ装置300を保持する保持部401を有する冷蔵庫用ホルダ400を用いてカメラ装置300を野菜室4に設置することができる。この場合、保持部401を野菜室ボックス4cの縁等に係止する係止部402を備えているので、野菜室4の上部側且つ扉4a側に設置することができ、野菜等に覆われることなく、野菜室を撮像可能とすることができる。また、係止部402にて係止しているので、不要な場合には容易に取り外すことができる。
また、この冷蔵庫用ホルダ400にも磁石405を設けていることで、カメラ装置300は、自身の設置場所を上記したように判断することができる。
また、家電ネットワークシステム500、庫内画像表示プログラムが奏する効果は、第1実施形態と共通する。
(第3実施形態)
以下、第3実施形態について、図30から図35を参照しながら説明する。なお、上記した第1実施形態や第2実施形態と実質的に共通する構成については、同一の符号を付して説明する。
まず、図30を参照しながら、本実施形態の冷蔵庫700が備える機能について説明する。冷蔵庫700は、制御ブロック701(制御手段)、撮像ブロック702(撮像手段)、照明ブロック703(照明手段)、開検知ブロック704(扉開検知手段)、開度検知ブロック705(開度検知手段)、照度検知ブロック706(照度検知手段)、通信ブロック707(通信手段、報知手段)等を備えている。なお、各ブロックを機能名で示しているのは、以下に説明するように、その具体的な実現方法として種々の組み合わせが想定できることや、単一の構成要素を複数の機能ブロックに適用できること等によるためである。
制御ブロック701は、CPU701a、ROM701b、RAM701c等を有するマイクロコンピュータで構成されている。また、制御ブロック701は、CPUで実行するコンピュータプログラムにより、収納量推定部708をソフトウェア的に実現している。収納量推定部708は、各ブロックで検知した情報に基づいて、庫内に貯蔵される収納物の収納量(食材の貯蔵量。物品の全体的な量だけでなく、専用ケースに収納されている卵の数やペットボトルの残量等も含む)を推定する。なお、本実施形態では、制御ブロック701として冷蔵庫700の主制御部30(図4参照)を想定しているが、カメラ装置18側の制御部50を採用してもよいし、双方で処理を分担して作動する構成としてもよい。
撮像ブロック702は、貯蔵庫の庫内等を撮像するものであり、本実施形態では、第1実施形態のカメラ装置18(図4参照)と同様に冷蔵庫700の扉に固定的に設けられたものを想定している。この場合、カメラ装置18と同様の構成としてもよいし、カメラ装置18側の制御部50を省いて主制御部30により撮像制御を直接的に行う構成としてもよい。なお、第2実施形態のカメラ装置300(図15参照)を採用し、撮像ブロック702を冷蔵庫700から着脱式の構成としてもよい。
照明ブロック703は、庫内を照らすものであり、本実施形態では、庫内照明である天井ライト13(図4参照)、および撮像専用の撮像ライト19(図4参照)と同等のものを想定している。なお、側面ライト36(図4参照)等の他の庫内照明を備えていてもよい。
開検知ブロック704は、扉の開放を検知するものであり、本実施形態では、扉によって押圧されることで移動する可動片と、その可動片と連動して作動する接点とを有するスイッチにより構成されている。この開検知ブロック704は、扉が完全に閉まっている状態および扉が僅かに開放されている状態(扉の開放量が所定量未満であるとき)にはオフとなり、扉が所定量以上に開放されるとオンとなる。開検知ブロック704のオン/オフ状態は庫内照明を点灯するか否かの判断基準にもなっており、開検知ブロック704がオンであれば庫内照明が点灯され、開検知ブロック704がオフであれば庫内照明が消灯される。なお、オン/オフは扉の開閉状態を示しており、必ずしも接点の状態ではない。
開度検知ブロック705は、扉の開度を検知するものであり、例えば図2に示す冷蔵室3の扉3aのようにヒンジを中心に回動する扉の場合には、その回転角度(閉鎖状態が0度とする)を検知する。また、野菜室4の引き出し式の扉4a等の場合には、その引き出し量を検知する。回転角度は角度検出器(例えばロータリエンコーダ等)により検出すればよいし、引き出し量は距離検出器(例えばレーザ距離計等)により構成することができる。また、実験により予め計測および記録した庫内の照度の変化を利用した照度ブロックにより、開度を検知してもよい。なお、開度検知ブロック705は、撮像ブロック702を設ける対象となる貯蔵庫に対して設ければよい。
通信ブロック707は、撮像した画像情報を外部に送信するものであり、第1実施形態の通信部52(図4参照)、第2実施形態の通信モジュール306や通信装置501(図21参照)等、撮像ブロック702の構成に応じて適宜採用することができる。例えば、撮像ブロック702を冷蔵庫700の主制御部30が直接的に制御する場合、通信モジュール306を採用すればよい。
次に、まず片開き式(回動式)の扉で開閉される貯蔵庫709(例えば冷蔵室)を撮像する例について説明する。
図31(A)に示すように、貯蔵庫709は、扉710によって開閉され、その扉710の庫内側に撮像ブロック702が設けられている。この撮像ブロック702は、貯蔵庫709の扉710の開放端側(ヒンジと反対側の端部側)に位置して設けられており、扉710が閉鎖状態にあるとき、貯蔵庫709のほぼ正面に位置している。また、貯蔵庫709内には、照明ブロック703(例えば、天井ライト13)、開検知ブロック704、および照度検知ブロック706等が設けられている。
本実施形態では、閉鎖状態にある扉710が開放される際、撮像ブロック702により撮像する。これにより、冷蔵庫700は、扉710が開放されるとき、すなわち、収納量が変化する可能性のあるときの庫内を撮像することができる。なお、撮像ブロック702は、扉710が開放された状態(扉710が静止した状態)だけでなく、開放中(扉710が動いている状態)であっても撮像可能である。つまり、撮像ブロック702は、扉710が閉鎖状態から開放され(開放される直前の閉鎖状態も含む)、その後再び閉鎖状態とされるまで(閉鎖状態となった直後も含む)間において、任意のタイミングで撮像することができる。なお、「貯蔵物の収納量が変化した」ことには、「新たに貯蔵物が追加された」ことも含まれる。
さて、開検知ブロック704は、扉710の開度(この場合、回転角度)が所定量未満の場合にはオフされている。このため、図31(B)に示すように、扉710が若干開いた状態では、開検知ブロック704がオフとなっている。ただし、その状態であっても、開度検知ブロック705により扉710の回転角度を検知していることから、開度検知ブロック705では扉710の回転角度が0度ではなくなっており、実際には若干開いていることを検知している。すなわち、開度検知ブロック705の判定結果からは、本実施形態における冷蔵庫700の撮像タイミングになったと判定される。
その場合、庫内照明がまだ点灯されないこと、また、扉710の開度が低いことから外部の光もそれほど入り込んでおらず、庫内が暗い(照度が低い)ことが想定される。そして、照度が低い場合、撮像した画像も暗くなってしまうことから、庫内の様子を把握することができなくなる。
そこで、冷蔵庫700は、扉710が開放されるとき、その開度が所定量(図31の回転角度θ1)未満である場合には、照明ブロック703を点灯し、光量を確保する。これにより、撮像した画像から庫内の様子を把握できるようになる。このとき、点灯する照明ブロックは撮像ライト19を想定しているが、撮像ライト19に加えて、または、撮像ライト19の代わりに(撮像ライト19が設けられていない場合等)、庫内照明を点灯する構成としてもよい。
また、開検知ブロック704は、図31(C)に示すように扉710の開度が所定量(回転角度θ1)以上になるとオンし、それに伴って庫内照明が点灯される。つまり、庫内が明るくなる。
そこで、冷蔵庫700は、扉710が開放されるとき、その開度が所定量以上になると撮像する。これにより、庫内を明るく撮像することができる。
なお、冷蔵庫700が省エネモードに設定されている場合には、庫内照明を点灯させる際の光量を通常の点灯時よりも少なくしてもよい。この場合、開検知ブロック704がオンするのは扉710がある程度開放された状態であるため、その状態であれば外部からの光がある程度庫内に入っていると考えることができる。そのため、開検知ブロック704がオンの状態で撮像することで外部の光も利用して撮像することができ、省エネモードに設定されている場合でも鮮明な画像を撮像することができる。
ところで、庫内を撮像する目的は庫内の様子を把握することであり、庫内の様子を把握できない不鮮明な画像を撮像すること(および、それをユーザに送信すること)は望ましくない。
そこで、照度検知ブロック706により庫内の照度を検知し、照度が所定の基準値を超えると撮像する構成としてもよい。この場合、所定の基準値を庫内の様子を把握できる程度の照度に設定することで、撮像した画像が不鮮明になることを防止することができる。また、照度検知ブロック706の検知結果と、上記した開検知ブロック704や開度検知ブロック705の検知結果とを組み合わせてもよい。例えば、開度が十分であっても庫内の照度が不足する可能性をも考慮し、扉710が開放されたこと、および、照度が十分であることを条件として撮像するようにしてもよい。さらには、開検知ブロック704がオフの状態(ただし、開度検知ブロック705では開放と判断されている状態)において、照度が十分であれば照明ブロックを点灯しないで撮像するようにしてもよい。
さて、扉710がさらに開放された場合、例えば図31(D)に示すように扉710の開度が90度未満である状態では撮像ブロックの視野の半分程度は庫内が写っていると考えられる。一方、図31(E)に示すように扉710の開度が90度になると、撮像ブロックの視野の多くには庫外が写っていると想定される。その場合、庫内の様子を把握したいユーザに取って、不要な情報が多い画像が撮像されてしまうことになる。
そこで、冷蔵庫700は、扉710の開度が90度未満のときに撮像する構成としてもよい。これにより、庫内の情報が多く含まれた画像を撮像することができる。ただし、例えば広角レンズで撮像する場合や、撮像ブロック702がヒンジ(回動中心)に近い位置に設けられている等、扉710の開度が90度を超えても庫内を撮像できるような場合には、扉710の開度が庫内を撮像可能な範囲であるときに撮像するようにしてもよい。
あるいは、扉710はユーザにより開閉されるものであることから、図31(F)に示すように、扉710の開度が90度付近(あるいは90度を超えている状態)では、撮像ブロック702の視野にユーザが写っていると想定される。そのため、扉710が90度を超えるような状態でもあえて撮像する構成としてもよい。これにより、例えばユーザの様子(顔色等)や留守中の子供の様子等を把握できるようになり、遠隔地からの見守りシステム等への適用もできるようになる。すなわち、撮像手段としては、庫内だけでなく、庫外(冷蔵庫700の周辺)の様子を撮像できるものであってもよい。なお、90度を超えて撮像するか否かは、ユーザにより選択可能な構成にするとよく、所定角度であれば90度に限定されることはない。
なお、照度検知ブロックは、例えば扉の庫外側に設けて、外部の光を検知できるようにしてもよい。そして、庫外の様子を撮像する場合に、部屋の照明が消えていないかを照度センサで検知して、消えている場合は照明ブロックを点灯するとよい。特に、扉の前面がガラス製である場合、扉の端部を構成するフレームに穴を開け、扉内部に配置した照度検知ブロックに光が入射するように構成するとよい。
<撮像ブロックの配置例1>
図32(A)に示すように、若干扉710が開放されている状態では、上記したように開度検知ブロック705にて開度を検知する構成であれば庫内照明や撮像ライトを点灯させる等の対策が行えるものの、開度検知ブロック705を備えていない場合等には、庫内照明が点灯されないことから庫内の明るさが撮像するには不足する可能性がある。
そこで、撮像ブロック702を、上記したような扉710の中央付近ではなく、扉710の開放端側、つまり、外部の光がより早く入る側に設けてもよい。この場合、外部の光がより早く入る側とは、扉中央よりも開放端側、より好ましくは扉の左右方向において開放端から1/3の長さの範囲内、さらに好ましくは開放端から1/4の長さの範囲内に相当する。これにより、撮像ブロックの視野に外部からの光をいち早く入り込むことができ、光量を確保し易くなる。また、撮像ブロック702は扉710から庫内に向かう視野となるように配置されることから、扉710の隙間からの光は撮像ブロック702の後方側から庫内に入り込む。このため、逆光になるおそれが少なく、庫内を鮮明に撮像することができる。
この場合、図32(B)に示すように扉710の開放角度が90度に近くなると画像には庫外の情報の方が多く含まれるようになるため、庫内を撮像することを主目的とするのであれば扉の開放角度が90度未満の際に撮像するようにすればよいし、上記した見守りシステム等への適用を考慮するのであれば、90度を超えて開放された場合にも撮像するようにしてもよい。
なお、庫外を撮像するための専用のカメラを設けてもよい。その場合、扉前面がガラス板である場合、ガラス裏面の色付きの塗料の一部を透明とし、扉内部に設けたカメラでその透明部を通して外部を撮像できるようにすればよい。
<撮像ブロックの配置例2>
撮像ブロック702は、図33(A)に示すように、扉710のヒンジ側に設けてもよい。この場合、図33(B)、(C)に示すように、扉710の開放に伴って撮像ブロック702の視野が庫内を横断していき、ほぼ庫内の全域を撮像することができるようになる。
また、扉710が開放される際に撮像する位置を予め設定してもよい。例えば、図32(B)に示すように撮像ブロック702の視野が冷蔵庫700のほぼ中央付近となる角度まで扉710が開放された際に撮像するようにしてもよい。つまり、撮像ブロック702をヒンジ側に設けた場合には、庫内を撮像できる範囲(例えば、画像中に庫内の情報量が庫外の情報量よりも多くなる範囲)が広くなり、撮像タイミングの自由度を向上させることができる。
そのため、扉710の開放中に複数回、画像を撮像するようにしてもよい。つまり、視野の異なる画像を撮像するようにしてもよい。この場合、開度検知ブロック705にて回転角度を検知し、回転角度が所定値になった時点で撮像するようにしてもよいし、扉710の開放を検知してから回転角度が変化している間は所定時間毎に撮像するようにしてもよい。また、撮像ブロック702として動画の撮像が可能なものを採用し、扉710の開放中に動画を撮像し、その動画の中から複数の画像(静止画)を抽出するようにしてもよい。このように複数の画像を撮像することで、すなわち、庫内を異なった複数の視野から撮像することで、手前の物品に隠れている食材等を確認することができる。
また、複数の画像を撮像することで、1つの画像では写っていない範囲を他の画像で補完することが可能となり、それらを合成して一枚の全体画像を合成することで、庫内の様子をより詳細に把握することができるようになる。また、視野の異なる画像を撮像することで、立体画像を合成することもできる。
勿論、配置例1で示した開放端側と配置例2で示したヒンジ側との双方に撮像ブロック702を設け、互いに視野を補完する構成としてもよい。その場合、開放端側の撮像ブロック702は回転角度が大きくなると庫外を撮像するようになってしまうため、開放端側の撮像ブロック702とヒンジ側の撮像ブロック702とで撮像する角度範囲を異ならせるようにしてもよい。なお、扉710の開放中に2つの撮像ブロック702でそれぞれ1回ずつ撮像することも、複数回撮像することに含まれる。
<収納量を推定する例>
次に、収納物の収納量を推定する手法について説明する。
例えば庫内を正面側から撮像した1つの画像に対して収納量推定部708にて画像処理等(例えば色認識や輝度差の抽出等の手法)を行うことで、庫内全体に占める収納物の割合等の収納量を推定することができる。
このとき、複数の画像に基づいて収納量を推定することで、収納量(以下の例では、残量)をより正確に把握することができる。
一例として、貯蔵庫709内の容器(例えばペットボトル720等)中の飲料等の残量を推定する場合、図34(A)に示すように撮像ブロック702のほぼ正面にペットボトル720が位置していると、正面(矢印Y1にて示す向き)から撮像した画像には、図34(B)に示すようにペットボトル720中に飲料(ハッチングにて模式的に示す)が多く写っており、残量が多いと推定されることになる。ただし、矢印Y2にて示す向きから見た図34(C)に示すように、実際には残量が少なくなっており、ペットボトル720が他の物品721に乗って傾いたために正面からの画像からでは残量が多くなっていたと誤推定される可能性がある。
そこで、図34(D)に示すように扉710が開放された際に異なる視野(矢印Y3にて示す向き)からも撮像し、その画像を画像処理することで、図34(E)に示すような側方からの画像を得ることができ、その画像に基づいて残量を推定すれば、実際には残量が少なくなっていることを把握することができる。
他の例として、図35(A)に示すように、卵ケース722をほぼ正面から撮像した場合、卵ケース722には卵723が整列されて収納されていることから、最前列の卵723に隠されて後列に卵723が残っているかを判断できない可能性がある。そこで、図35(B)に示すように斜め方向等の異なる視野で撮像された画像をも利用することで、後列の状態つまり実際の卵723の残量を確認することができる。
このように、複数の画像を撮像することで、全体的な収納量だけでなく、個別の残量をも推定できるようになる。また、異なる角度から撮像することで、使用者が目視で残量も確認することができる。さらには、異なる角度から撮像することで、正面からでは目視できない部位も撮像でき、他の物品に隠れた位置等、使用者が正面から庫内を見た場合にはすぐには気付かないような位置の状態も把握することができる。なお、卵ケース722のようにその位置が基本的に固定されているようなものの場合、撮像ブロック702が卵ケース722を後列側が写る斜め方向から撮像できる回転角度となったときに撮像するように撮像タイミングを制御してもよいし、その回転角度に対応する画像を動画から抽出してもよい。
また、扉710の閉鎖時にも撮像するようにしてもよい。これにより、食材の収納量が変化する可能性のある扉710の開放時にまず撮像し、扉710が閉鎖された時点でさらに撮像し、それらの画像を比較することで収納量の変化を検知することができる。したがって、収納量が変化したことを精度よく検知することができる。
このとき、扉710への振動を検知した時点や開度検知ブロック705にて開度が変化し始めた時点等、扉710が開放されるそのときに撮像する構成としてもよいし、基本的には扉710が開閉されなければ収納量が変化する可能性もないため、扉710の閉鎖中に例えば定期的に庫内を撮像しておき、扉710が開放される前の最新の画像と、開放された扉710がその後閉鎖されたときに撮像した画像とを比較することで、収納量の変化を検知したり収納量を推定したりしてもよい。
また、収納量が変化した旨を通信ブロック707を介してユーザに報知してもよい。この場合、送信する画像情報とともに収納量が変化した旨を示す付帯情報を添付して送付すること等が考えられる。報知先は、ユーザの所謂スマートホンやタブレットPC、ユーザ宅のTV等が考えられる。
また、左右方向あるいは上下方向の異なる位置に複数の撮像ブロック702を設けてもよい。さらには、庫内に設置された例えばカメラ装置300と連携して撮像するような構成としてもよい。そして、異なる角度から撮像して収納物の残量などを確認する方法としては、異なる壁(例えば、扉と側壁)に複数のカメラ(撮像ブロック)を配置し、それぞれで撮像し、全体で複数回撮像することによっても可能である。
(第4実施形態)
以下、第4実施形態について、図36から図39を参照しながら説明する。第4実施形態では、1つの貯蔵庫を2との扉で開閉する例について説明する。なお、機能ブロックの基本的な構成は上記した第3実施形態と共通する。
<複数扉の例1>
図36(A)に示すように、本実施形態の冷蔵庫800は、左右に隣り合って配置された左扉801と右扉802とにより、1つの貯蔵庫803(例えば冷蔵室)が開閉される構成となっている。これら左扉801および右扉802には、それぞれ開放端側に撮像ブロック702が設けられている。また、右扉802の撮像ブロック702は、開放端側であって、且つ、冷蔵庫800の左右方向の中央付近に設けられている。各扉には、1または複数のドアポケット804がそれぞれ設けられている。
まず、いずれか一方の扉に撮像ブロック702を設けたことによる効果は、第3実施形態と共通する。そのため、以下では、主としてそれぞれの扉に撮像ブロック702を設けたことにより得られる効果について説明する。
図36(A)に示すように、各扉に撮像ブロック702を設けることにより、一方の撮像ブロック702の視野外を、他方の撮像ブロック702にて補うことが可能となる。これにより、一方の視野には入らない、あるいは、一方の視野では収納物に遮られて写らない場所を撮像することができ、より詳細に庫内の様子を把握することができる。
そして、図36(B)に示すように例えば左扉801を開放する際に撮像することで、閉鎖状態では視野外になっている右扉802のドアポケット804に収納されている収納物を撮像することができる。この場合、右扉802の縦板(図2の縦板15参照)に第1実施形態のような凹部(図2の凹部16参照)を設けることで、右扉802のドアポケット804をより広く撮像することができる。勿論、左扉801の縦板に凹部を設ければ、右扉802の撮像ブロック702にて撮像するより広く撮像することができる。
また、左扉801の撮像ブロック702で撮像するときに右扉802の撮像ブロック702でも同じタイミングで撮像する構成とすれば、第3実施形態で説明したような、正面からの画像と側方(あるいは斜め方向)からの画像等、視野の異なる画像を得ることができる。このとき、それぞれの撮像ブロック702の設置位置が元々離間しているので、単一の撮像ブロック702で撮像する場合よりもその見え方の差が大きくなり、上記した図34、35等で示した収納量の検知をより正確に行うことができる。
また、図36(C)に示すように双方の扉が開放されている状態で撮像することで、庫内のほぼ全域を撮像することができる。
このとき、図36(D)に示すように双方の扉がほほ90度開放された際に撮像することで、互いのドアポケット804を正面からそれぞれ撮像することができる。そして、庫内の画像と、ドアポケット804を撮像した画像とを用いることで、後述する図28に示すような冷蔵庫800を正面から視た状態、つまり、ユーザが一般的に見ている状態の画像を合成することができる。
このように、貯蔵庫を開閉する各扉に撮像ブロック702を設けることで、一方の撮像ブロック702では撮像できない範囲を他方の撮像ブロック702で補うことができる。
このとき、複数の撮像ブロック702にて撮像することから、それぞれの撮像ブロック702は必ずしもそれほど広角のレンズ系を採用する必要はなく、画像の歪みを小さくすることができる。また、画像の歪みが小さくなれば、歪み補正や画像合成あるいは収納量の推定等の処理の負荷を低減することができる。特に、画像処理を第2実施形態のようなカメラ装置300で行う場合、電池の消耗等を抑制することができる。
なお、図37(A)に示すように、それぞれの撮像ブロック702をヒンジ部側からの距離L1(冷蔵庫800の側面からの距離)が同じになるように配置してもよい。つまり、扉が開放される際、開放角度が同じであれば、各撮像ブロック702の視野の中心が冷蔵庫800の中央にくるような配置としてもよい。これにより、それぞれの撮像ブロック702で同じ回転角度で撮像された画像を合成すれば、合成画像の中心位置と冷蔵庫800の中央とが一致するので、冷蔵庫800の正面から見た状態の立体視画像(つまり、ユーザが理解しやすい画像)を合成することができる。また、図37(B)に示すように、一方(例えば左扉801)の撮像ブロック702は開放端側に設け、他方(例えば右扉802)の撮像ブロック702はヒンジ側に設けてもよい。さらには、図37(C)に示すように、撮像ブロック702の視野が扉に対して傾くように配置してもよい。
<複数扉の例2>
この例2では、図38(A)に示すように、冷蔵庫810は、隣り合って配置された左扉811と右扉812とにより、仕切り板813により仕切られた独立した貯蔵庫814A〜814Dをそれぞれ開閉する構成となっている。また、各扉は、複数の独立した貯蔵庫814A、Bと、貯蔵庫814C、Dとをそれぞれ開閉する。そして、それぞれの扉には、図38(B)にも示すように、それぞれの独立した貯蔵庫814を撮像するための撮像ブロック702が設けられている。また、貯蔵庫814Cは、その内部に棚板815が設けられており、この棚板815の上下を撮像するために、貯蔵庫814Cを開閉する右扉812には、対応する位置には2つの撮像ブロック702が設けられている。これにより、庫内をそれぞれ撮像することができる。また、庫内を撮像することにより得られる効果は第1実施形態と共通するとともに、扉の開放時に撮像することにより得られる効果は第3実施形態と共通する。
また、図39に示すように、例えば左扉811が複数の独立した貯蔵庫814A、Bを開閉し、右扉812が1つの独立した貯蔵庫814Eを開閉する構成であってもよい。また、貯蔵庫814E内に収納容器816が設けられている場合には、図39(B)にも示すように、それぞれの収納容器816を撮像可能なように対応した数の撮像ブロック702を設けてもよい。このような構成の冷蔵庫810においても、庫内を撮像することにより、上記した例1と同様の効果を得ることができる。また、このような冷蔵庫810であっても、撮像ブロック702をヒンジ側に設けたり、開放端側に設けたりする等、第3実施形態と同様の構成を適用することができる。
(第5実施形態)
以下、第5実施形態について、図40から図42を参照しながら説明する。第5実施形態では、引き出し式の扉により開閉される貯蔵庫の例について説明する。なお、機能ブロックの基本的な構成は上記した第3実施形態と共通する。
例えば図2に示したような冷蔵庫1には、野菜室4のような引き出し式の扉4aにより開閉される貯蔵庫が設けられている。このような野菜室4等は、庫内照明が設けられていないものもあり、撮像する際の光量が鮮明な画像を撮像するには不足することが考えられる。そこで、扉が開放される際に撮像することにより、収納量が変化する可能性があるタイミングで撮像できるとともに、扉が引き出されることで、外部からの光を利用して撮像することができる。
<撮像ブロックの設置例1>
図40に示すように、冷蔵庫900の貯蔵庫901には、引き出し式の扉902、その扉902と一体に引き出される収納容器903、基本的には位置が固定されている棚板903a、撮像ブロック702、照明ブロック703、および撮像ブロック702と一体に構成された照度検知ブロック706(図示省略)が設けられている。撮像ブロック702は、その視野の中心が扉902の引き出し方向から傾くように設置されている。また、本実施形態では、照明ブロック703は、撮像専用のものを想定している。
このような構成において、図40(B)に示すように扉902が引き出されると、外部からの光が入り込み、庫内の照度が高くなる。そのため、光が入射したことを照度検知ブロック706で検知し、そのタイミングで撮像することで、庫内を把握可能な画像を得ることができる。
また、図40(C)に示すように扉902が大きく引き出された状態では、収納容器903のほぼ全体が外部の光で照らされるため、より鮮明な画像を撮像することができる。そのため、照度検知ブロック706で検知した照度が所定の基準値を超えた際に撮像するようにしてもよい。また、照度が基準値を超えていない場合には、照明ブロック703を点灯するようにしてもよい。
また、撮像ブロック702の視野が棚板903aに対して変化していくので、上記したような異なる視野で収納物を撮像することもできる。なお、棚板903aは、収納容器903が最前列まで引き出された場合にはその位置が移動するタイプのものであってもよい。また、棚板903aは、下容器の上に位置していて、下容器の左右側壁部の上端部を摺動して移動する上容器であってもよい。
また、扉902の開度(本実施形態では引き出し量)を検知する開度検知ブロック705を設け、開度に基づいて、扉902の開度が所定量を超えた際に撮像するようにしてもよい。なお、夜間等で電気を付けないまま扉902が開放されることも想定されるため、開度検知ブロック705の検知結果と照度検知ブロック706の検知結果とを採用してもよい。また、収納量の変化を検知するために扉902が閉鎖状態で撮像する場合には、照明ブロック703を点灯すればよい。
このように、引き出し式の扉902にて貯蔵庫901を開閉する場合であっても、上記した第3実施形態等と同様の効果を得ることができる。
なお、照明ブロックは、撮像専用のもので無くてもよく、庫内灯として兼用してもよい。
<撮像ブロック702の設置例2>
設置例1では撮像ブロック702を引き出し式の扉902に設けたが、図41(A)に示すように、引き出し式の扉902の上方に位置する扉910の下面側であって、図41(B)に示すように引き出された収納容器903内を撮像可能な位置に、撮像ブロック702を設けてもよい。これにより、扉902が引き出された際には、外部からの光が入り込んで収納容器903内を照らすので撮像可能な状態となるとともに、光は撮像ブロック702の後方から入るので逆光になることもない。
また、一般的には、引き出し式の貯蔵庫901に食材等を収納あるいは取り出す場合には、収納容器903を目的とする位置まで引き出すことが想定される。換言すると、収納容器903の上方に位置する扉910に設けられている撮像ブロック702の直下付近が食材等を収納あるいは取り出す位置となり、その位置で収納量が変化すると考えられる。そのため、上方の扉910に撮像ブロック702を設けることで、収納量の変化をより検知し易くなる。
なお、図41において最下段となる引き出し式の貯蔵庫904に対しては、図42(A)に示すように、貯蔵庫901と貯蔵庫904との間に設けられている仕切り板905等に撮像ブロック702を下向きに設けてもよい。このとき、貯蔵庫904の引き出し口側(つまり、扉906側)に撮像ブロック702を設ければ、図41にて示した貯蔵庫901用の撮像ブロック702と同様に、光量を確保できるとともに、収納量の変化を検知しやすくなる。
さらに、貯蔵庫901の扉902の場合、扉902が引き出されると扉902自体は冷蔵庫900本体から離間した状態となるため、撮像ブロック702を有線接続することが困難になる。そのため、仕切り板905に撮像ブロック702を設ければ、冷蔵庫900本体から離間することがないため、撮像ブロック702を有線接続することも可能となる。なお、上記した回動式の扉910の場合には、ヒンジ部を利用して操作パネル等への配線が行われているものもあるため、撮像ブロック702を有線接続することは比較的容易である。
また、図43に示すように、調理機能を有する貯蔵庫930(以下、便宜的に調理室と称する)に撮像手段を設けてもよい。この調理室は、例えばマグネトロン931のような加熱手段(調理手段)を有し、所謂電子レンジ等のような調理機能を有している。このような調理室は、例えば引き出し式の扉や回動式の扉932によって収納容器や棚板(図示省略)ごと開閉される。そのため、その上部の仕切り板933に撮像ブロック702を設けることで、扉932を開ける際、庫内(収納容器や棚板に載置された調理品も含む)を撮像することができる。
このような貯蔵庫930の場合、調理機能を使用している際のノイズ放射等を抑制するために、鉄板等により覆われた構造となっている。このため、撮像ブロックが無線通信により画像情報を送信するものであれば、調理中(マグネトロンの駆動中)には無線通信を行わない、ノイズによるエラーを考慮して複数回送信する、撮像した場合には調理後に送信する等の制御を行うとよい。なお、マグネトロンの駆動中には扉932を開けることはないが、調理状況を観察するために調理中に撮像したり、仕上がり等を記録しておくために調理後に扉932を開放する際に撮像したりすることは考えられる。
また、貯蔵庫内とは別の位置のカメラの画像や冷蔵庫の扉開閉回数やエラー情報などを外部に送信する無線手段(例えば、Bluetooth(登録商標)やWiFi)などでは、マイクロ波と干渉して送信できない可能性があるため、マグネトロンの停止中に無線で送信するとよい。また、マグネトロン駆動中にカメラに撮像指示がある場合にも、マグネトロンの停止後に再受信したり再送信したりするとよい。また、無線手段は、鉄板等で囲われたマグネトロンのマイクロ波が照射される貯蔵庫(上記した調理室)の外側に配置することで、画像情報等を外部に容易に送信することができる。なお、重量センサの検知結果を有線または無線で外部や冷蔵庫の制御部に送信することも可能であるが、その時も同様である。
(第6実施形態)
以下、第6実施形態について、図44から図55を参照しながら説明する。なお、第1実施形態と共通する部位には同一の符号を付し、その詳細な説明は省略する。また、撮像タイミングについては、上記した各実施形態で例示したものを適宜採用すればよい。
図44に示すように、本実施形態の冷蔵庫1は、撮像手段としてのカメラユニット1000を備えている。この冷蔵庫1は、第1実施形態と同様に、家電ネットワークシステム100(図1参照)に接続されている。この場合、冷蔵庫1は、第1実施形態のように無線通信方式にて家電ネットワークシステム100に接続してもよいし、有線通信方式にて家電ネットワークシステム100に接続してもよい。本実施形態では、有線通信方式として、冷蔵庫1への電力を供給する電力線を利用して通信を行う電力線通信(PLC:Power Line Communication)を採用している。以下、カメラユニット1000の取り付け位置についていくつかの具体例とともに説明する。
<具体例1>
具体例1のカメラユニット1000は、冷蔵庫1の扉に設けられている。このカメラユニット1000は、例えば冷蔵室3の庫内の中央を撮像可能な位置に設けられており、具体的には、撮像対象となる冷蔵室3(貯蔵庫)を開閉する右扉3bにおいて、当該冷蔵室3の上下方向および左右方向における略中央の位置に対応するように設けられている。このカメラユニット1000は、図45(A)、(B)に示すようにその外形が概ね直方体状に形成されており、カメラケース1001(保護ケースに相当する)と底板1002とで囲まれた空間にカメラモジュール1003(撮像モジュールに相当する)が収容された構成となっている。
また、カメラユニット1000には、冷蔵庫1側との間を接続する接続ケーブル1004、およびカメラユニット1000を固定するためのフランジ部1005が設けられている。接続ケーブル1004は、冷蔵庫1側からの電源供給、カメラユニット1000に対する撮像指示の伝達、および撮像された画像データ取得に用いられる。このカメラユニット1000は、フランジ部1005によって扉3bの庫内側に取り付けられている。そのため、具体例1および後述する具体例2〜4の場合、接続ケーブル1004は、扉3bの内部に配線され、扉のヒンジ部を経由して冷蔵庫1の主制御部30(図4参照)に接続されている。
カメラモジュール1003は、図46に示すように、CCDセンサやCMOSセンサ等の撮像素子1010およびその周辺回路を構成する回路部品1011等が搭載された基板1012と、その基板1012に取り付けられているレンズユニット1013とから構成されている。本実施形態の撮像素子1010は、長方形に形成されており、その長手方向が、カメラユニット1000の長手方向(図45の図示上下方向)と一致している。この基板1012には、撮像素子1010に対応した位置にレンズホルダ1014が設けられており、そのレンズホルダ1014の内周面は雌ねじとなっている。一方、レンズユニット1013は、基板1012側の端部が雄ねじとなっており、レンズホルダ1014にねじ込まれることで、撮像素子1010までの距離が調整された状態で取り付けられている。
このレンズユニット1013は、複数枚、例えば本実施形態では3枚のレンズ1015を備えており、各レンズ1015は、例えば樹脂材料等で形成された本体部内に保持されている。カメラユニット1000は、これら3枚のレンズ1015によっておよそ120度の視野角が確保されており、庫内を広角で撮像することが可能となっている。また、レンズユニット1013には赤外カットフィルタ1016が設けられており、撮像素子1010で検出する光を概ね可視光の範囲に限定している。このため、カメラユニット1000は、庫内をカラーで撮像する際、鮮明な色彩で撮像することができる。なお、レンズ1015の枚数等は一例であり、必要な視野角に応じて適宜選択すればよい。
また、カメラユニット1000は、図44(B)に示すように、カメラケース1001内が例えばウレタン樹脂やエポキシ樹脂等のポッティング材1017によってカメラモジュール1003ごとポッティングされている。また、図46に示すように、レンズユニット1013にはその外周側にOリング1018が設けられており、そのOリング1018によってレンズユニット1013とカメラケース1001の内面との間が封止されている。なお、図46では、ポッティング材1017の図示を省略している。
このため、レンズユニット1013の前面側から水や湿気がカメラケース1001内に浸入することが防止されている。また、カメラケース1001の底板1002側も、接続ケーブル1004が貫通している部位を含めて封止された状態となっている。つまり、カメラユニット1000は、全体として防水構造あるいは防滴構造となっているとともに、内部のカメラモジュール1003も結露等から保護されている。
このカメラユニット1000は、図47(A)に示すように、右扉3bの内板14に取り付けられている。また、カメラユニット1000は、扉3bが閉鎖された状態における視野が庫内側となるように取り付けられている。このため、カメラユニット1000は、右扉3bが閉鎖された状態では、冷蔵室3を正面から、且つ、上下方向および左右方向のほぼ中央から撮像することが可能となっている。つまり、カメラユニット1000は、ユーザが冷蔵庫1を使用するときと同様の視野にて庫内を撮像することができる。このとき、カメラユニット1000に隣り合って配置されているドアポケット9bは、第一実施形態と同様に切り欠き部9b1が設けられており、カメラユニット1000の視野を大きく遮ることが無いようになっている。
また、カメラユニット1000は、図47(B)に示すように、長手方向が上下となるように縦向きに取り付けられている。このため、カメラユニット1000内の撮像素子1010も、その長手方向が縦向きとなっている。これにより、上下方向と左右方向とにおいてその大きさが異なる略直方体状に形成され、縦長の空間となっている冷蔵室3を、縦長で撮像することができる。つまり、縦長に配置された撮像素子1010の撮像範囲を有効に活用しつつ、庫内を撮像することができる。
<具体例2>
具体例2の場合、カメラユニット1000は、図48に示すように、右扉3bの内板14側に設けられている凹部1020に取り付けられている。なお、具体例2でも、カメラユニット1000は縦向きに取り付けられている。この凹部1020は、カメラユニット1000全体を収容できる程度の大きさに形成されており、その凹部1020に収容されているカメラユニット1000は、内板14よりも庫内側に突出しないようになっている。このため、右扉3bの最下段のドアポケット10b(図44参照)にペットボトル等を出し入れする際、カメラユニット1000に接触することが防止される。
また、カメラユニット1000全体が凹部1020に収容されているため、ユーザが手を触れる可能性が小さくなり、レンズ1015が汚れるおそれを低減することができる。
また、カメラユニット1000は、その位置が上記した具体例1よりも庫外側、つまり、冷蔵庫1の前方側にずれている。このため、冷蔵室3内をより大きい視野で撮像することができる。
この場合、凹部1020の開口側に、例えば内板14と面一となる位置に、例えばアクリル等の透明なカバー部材等を設けてもよい。これにより、レンズ1015等へ汚れが付着することや、凹部1020にほこり等が溜まること等を防止することができる。
<具体例3>
具体例3の場合、カメラユニット1000は、図49に示すように、右扉3bの内板14内に配置されている。なお、具体例3も、カメラユニット1000は縦向きに取り付けられている。この場合、カメラユニット1000は、そのレンズ面だけが冷蔵室3側に露出した状態となっている。このため、具体例2と同様に、ドアポケット10bにペットボトル等を出し入れする際にカメラユニット1000が邪魔になることが防止される。
これら具体例1〜3のようにカメラユニット1000を取り付けることで、図50(A)に示すようにユーザが冷蔵庫1を使用する際の視点と同様に冷蔵庫1の正面側から庫内を撮像することができ、家電ネットワークシステム100を介して通信端末103等にて撮像した画像を表示することで、遠隔地から庫内を確認することができる。
<具体例4>
具体例4の場合、カメラユニット1000は、左扉3aに設けられている縦仕切り17(図44参照)に取り付けられている。この縦仕切りは、図51(A)、(B)に示すように、左扉3aのヒンジ部3dと反対側の端部に設けられており、回動機構17aによって、図51(A)に示すように扉3aが開放されている状態と図51(B)に示すように扉3aが閉鎖されている状態とでその向きが変化する。この縦仕切りは、観音開きの扉(いわゆるフレンチドア)の左右方向のほぼ中央、つまりは、冷蔵室3のほぼ中央部に位置している。そして、左扉3aと右扉3bとが閉鎖された状態では、図52(A)に示すように、ガスケット1030によって庫内と庫外とが封止されている。
カメラユニット1000は、図52(A)、(B)に示すように、断熱材1031が充填されている縦仕切り17の内部において、取り付け板1032に縦向きに取り付けられている。このカメラユニット1000は、縦仕切り17の上下方向の略中央に配置されている。このため、具体例4においても、カメラユニット1000は、冷蔵室3の上下方向および左右方向のほぼ中央から庫内を撮像可能となっている。そして、上記したように縦仕切り17が回動することから、左扉3aが開放された状態では、図51(A)に示すように、カメラユニット1000が左扉3aと平行となるように、且つ、開放された側と反対側となる。これにより、左扉3aが開放されたとき、ユーザがカメラユニット1000のレンズ面に触れることが防止されている。
そして、左扉3aが閉鎖された状態では、図51(B)に示すように、カメラユニット1000が庫内側を向くので、図53に示すように、正面側且つほぼ中央付近から庫内を撮像することができる。この場合、ドアポケット9aがカメラユニット1000の視野を遮るようであれば、ドアポケット9bと同様の切り欠き部をドアポケット9aに設けてもよい。
このような具体例4の場合でも、上記した具体例1〜3と同様に、図50(A)に示したように庫内を撮像することができる。
<具体例5>
具体例5の場合、図54に示すように、カメラユニット1000は、冷蔵室3の側壁3cに設けられている凹部1040に取り付けられている。具体例5の場合、カメラユニット1000は、左右の側壁3cにそれぞれ取り付けられている。なお、一方の側壁3cにのみカメラユニット1000を取り付ける構成であってもよい。
凹部1040は、側壁3cにおいて前方側つまり扉側に設けられており、カメラユニット1000を取り付けるための取り付け面1041が、側壁3cに対して傾斜した形状に形成されている。具体例5の場合、凹部1040は、断面視にて略三角形に形成されている。これにより、カメラユニット1000を取り付けた際、その視野が冷蔵室3のほぼ中央を向くようになる。
そして、具体例5では左右の2方向から庫内を撮像するため、一方のカメラユニット1000では食材等により遮られた部分を、他方のカメラユニット1000から撮像することができる。これにより、食材等に邪魔されること無く庫内全体を撮像できるようになり、庫内をより詳細に確認することができる。また、2方向から撮像した画像を合成して立体画像を生成することで、庫内を立体的に表示させることもできる。
また、側壁3cにカメラユニット1000を取り付けていることから、有線式のカメラユニット1000において、側壁3cを利用して接続ケーブル1004を配線することが可能となり、例えば冷蔵庫1の背面側に設けられている主制御部30(図4参照)まで容易に配線処理することができる。
<具体例6>
具体例6では、図55(A)に示すように、カメラユニット1000に照明手段としてのLEDライト1050が設けられている。このカメラユニット1000は、前面側が、少なくともLEDライト1050に対応する位置が透明となった保護カバー1051によって覆われている。また、カメラユニット1000は、具体例1〜5のカメラユニット1000と同様に、カメラケース1001内がポッティング材1017によりポッティングされている。
このカメラユニット1000は、本実施形態ではその前面に設けられている保護カバー1051と取付面1060とが面一となるように配置されている。この取付面1060は、例えば扉の内板14、縦仕切り17、側壁3c等に相当する。この状態において、レンズユニット1013の最前面は、取付面1060よりも前方に位置している。
LEDライト1050は、図55(B)に示すように、カメラケース1001内において、撮像素子1010(図55参照)とは前後方向に異なる位置に配置されている。具体的には、LEDライト1050は、撮像素子1010よりも前方に配置されている。本実施形態の場合、基板1012に撮像素子1010を実装し、それよりも前方に配置されたLED基板1052にLEDライト1050を実行することで、その位置を異ならせている。
このLEDライト1050は、カメラユニット1000の前面に近い位置に配置されており、LEDライト1050から照射された光がカメラケース1001内においてレンズユニット1013や撮像素子1010に直接的に入射することが防止されている。また、LEDライト1050は、前方に向かって拡大した開口壁1053に囲まれているとともに、レンズユニット1013の前面よりも後方に位置している。そして、レンズユニット1013の最前面が取付面1060よりも前方に位置していることから、LEDの前面を保護している保護カバー1051に光が反射したとしても、その光がレンズユニット1013に直接的に入射することがない。
このような構成のカメラユニット1000は、具体例1〜5で例示した位置に取り付けることで、庫内照明13等を点灯しなくてもLEDライト1050を点灯させることで庫内を撮像できる。
なお、カメラユニット1000は、保護カバー1051が取付面1060よりも内側(後方)に位置するように配置されていてもよい。その場合、レンズユニット1013の最前面が取付面1060と面一となるように配置してもよいし、取付面1060よりも内側に位置するように配置してもよい。また、レンズユニット1013の最前面が保護カバー1051と面一となるように、カメラユニット1000内におけるレンズユニット1013の位置を調整してもよい。つまり、レンズユニット1013の本体部の先端が保護カバー1051と面一となるようにしてもよい。そのような配置にすれば、カメラユニット1000を例えば冷蔵室3の側壁3cや扉の内板14等に取り付ける際、庫内側に突出することがなく、食材の出し入れの邪魔になったりすることを防止できる。また、その場合には、取付面1060にカメラケース1001と同じ大きさの開口を設けてもよいし、レンズユニット1013とLEDライト1050に対応した丸穴の開口を設けてもよい。また、カメラケース1001を取付面1060よりも突出させ、結露によって水滴等が取付面1060をしたたり落ちた際に、その水がレンズ面に流れないようにしてもよい。
(第7実施形態)
以下、第7実施形態について、図56から図64を参照しながら説明する。第7実施形態では、撮像手段は、冷凍温度帯の庫内を撮像する。なお、第1実施形態と共通する部位には同一の符号を付し、その詳細な説明は省略する。
本実施形態の場合、図56に示すように、冷蔵庫1の基本的な構成は第一実施形態と実質的に共通しており、冷蔵庫1の背面側に設けられている主制御部30によって制御されている。この主制御部30は、図57に簡略化して示すように、冷蔵室温度センサ1100、冷凍室温度センサ1101、冷蔵室扉スイッチ1102、冷凍室扉スイッチ1103、周囲温度センサ1104、および外部と通信するための通信部1105を備えている。なお、図57にはセンサおよびスイッチを1つずつ示しているが、冷蔵室3、野菜室4、製氷室5、上部冷凍室6および下部冷凍室7にそれぞれセンサおよびスイッチが設けられている。この主制御部30は、有線または無線の通信方式にて、撮像手段としてのカメラユニット1110に接続されている。なお、後述する具体例1〜3では有線通信方式、具体例4では無線通信方式を採用している。
カメラユニット1110は、カメラ制御部1111、および、カメラ制御部1111に接続されている撮像部1112、カメラ温度センサ1113およびLEDライト1114を備えている。撮像部1112は、CCDセンサやCMOSセンサ等の撮像素子やレンズ等を備えており、カメラ制御部1111からの指示に基づいて庫内を撮像する。このとき、カメラユニット1110は、LEDライト1114を点灯することで撮像時の光量を確保する。カメラ温度センサ1113は、カメラユニット1110の温度を検知する。なお、このカメラユニット1110も、第6実施形態のカメラユニット1000と同様に、防水構造あるいは防滴構造となっているとともに、広角での撮像が可能となっている。なお、第6実施形態の具体例6に示したカメラユニット1000と同じものを採用してもよい。
このような構成の冷蔵庫1は、通信部1105により、カメラユニット1110にて撮影した画像を外部のサーバ104等に送信する。このとき、外部から通信端末103などを用いてサーバ104にアクセスすることで、外出先等の遠隔地から冷蔵庫1内を確認することができる。なお、冷蔵庫1本体にディスプレイを設け、扉を開けることなく冷凍温度帯の貯蔵庫内を確認可能なシステム構成としてもよい。
本実施形態の場合、カメラユニット1110は、以下に説明する各具体例のように冷凍温度帯の庫内を撮像可能な位置に取り付けられている。
<具体例1>
具体例1の場合、カメラユニット1110は、図56に示す取り付け位置Aに取り付けられている。より詳細には、図58に示すように、カメラユニット1110は、冷凍温度帯の貯蔵庫を仕切る仕切り板1120の前面から突出する状態で取り付けられている。なお、図58では、扉の図示を省略している。このカメラユニット1110は、その視野がやや下向きとなるように仕切り板1120に取り付けられている。また、カメラユニット1110は、上部冷凍室6の扉6aと下部冷凍室7の扉7aとの間に位置するように、また、製氷室5と上部冷凍室6とを仕切る垂直仕切り板1121の下方に取り付けられている。このため、カメラユニット1110が突出していたとしても、扉5a、扉6aあるいは扉7aに設けられているガスケット(図示省略)と接触することがない。
仕切り板1120には、図59に示すように、放熱パイプ1122が予め埋め込まれている、この放熱パイプ1122は、仕切り板1120の結露を防止するために設けられており、通電により放熱する。そして、カメラユニット1110は、この放熱パイプ1122に挟まれた状態で仕切り板1120の前面に取り付けられている。このため、放熱パイプ1122からの放熱によりカメラユニット1110の近傍、より具体的には、レンズ面の近傍の温度を上昇させることができる。つまり、放熱パイプ1122は、撮像手段を加熱する加熱手段として機能する。これにより、冷凍温度帯近傍に取り付けられることで霜がついたり結露したりする可能性があるカメラユニット1110に対して、レンズの近傍の温度を上昇させることで霜つきや結露を防止すること、および、発生した霜や結露を除去することができる。
なお、放熱パイプ1122の代わりに通電により発熱するヒータをレンズの近傍に配置する構成としてもよい。その際、レンズ近傍にカメラ温度センサ1113を配置することで、温度を監視しながら必要に応じてヒータを通電し、霜取りしてから撮像するようにしてもよい。もちろん、カメラ温度センサ1113で検知した温度に基づいて放熱パイプ1122の動作状態を変更して霜取りする構成としてもよい。これらにより、鮮明な画像を撮像することができる。
このような構成のカメラユニット1110は、下部冷凍室7の扉7aが開放されたことが冷凍室扉センサにより検知された際、主制御部30からの指示によって庫内を撮像する。つまり、カメラユニット1110は、扉が開閉されて食材等の出し入れが行われた可能性のあるとき、撮像する。このとき、カメラユニット1110は若干下方に向けて取り付けられているので、図60に示すように、下部冷凍室7の扉7aが開放されたとき、収納ケース7b内を撮像することができる。また、例えば複数回撮像することにより、収納ケース7bが引き出されるのに応じて引き出されるスライドケース7c内を撮像することもできる。
また、仕切り板1120の前面から突出しているので、仮に垂直仕切り板1121が結露したとしても、水滴がカメラユニット1110のレンズ面に付着することが防止されている。
このようなカメラユニット1110により、冷凍温度帯の貯蔵庫内を撮像することができる。
<具体例2>
具体例2の場合、カメラユニット1110は、図61(A)、(B)に示すように、仕切り板1120の前面側に設けられている凹部1130に収容された状態で、仕切り板1120の前面から突出しないように取り付けられている。このため、レンズ面の直ぐ近傍に放熱パイプ1122が配置された状態となり、レンズ面をより容易に加熱することができ、霜つきや結露を効果的に防止することができるとともに、仮に結露したとしても迅速に除去することができる。
また、カメラユニット1110は、垂直仕切り板1121とは異なる位置に配置されているため、仮に結露した際に水滴が縦仕切りに沿って滴下したとしても、その水滴がレンズ面に付着することはない。
<具体例3>
具体例3では、カメラユニット1110は、図56に示す取り付け位置Bに取り付けられている。より詳細には、カメラユニット1110は、図62(A)に示すように、仕切り板1120の下面側に取り付けられている。つまり、カメラユニット1110は、貯蔵庫内に設置されている。また、カメラユニット1110は、図62(B)に示すように、仕切り板1120の内部に取り付けられている。
このため、扉7aを引き出したり、食材等を出し入れしたりする際に、カメラユニット1110が邪魔になることがない。なお、仕切り板1120の内部ではなく、仕切り板1120に凹部1130を設け、その凹部1130にカメラユニット1110を収容する構成としてもよい。このカメラユニット1110の周囲にはヒータ1115が配置されており、レンズ面の近傍の温度を上昇させることができ、霜を除去した後に撮影することができる。
また、具体例3でもカメラユニット1110は広角での撮像が可能となっており、閉扉状態ではスライドケース7cを撮像でき、開扉状態では収納ケース7b内およびスライドケース7cを撮像することができる。また、収納ケース7b内およびスライドケース7cを撮像することができる。つまり、具体例3の取り付け位置であれば、扉7aが開放されていない状態であっても庫内を撮像することができるとともに、上記した第1実施形態等で示したような通信端末103側からの指示によっても庫内を撮像することができる。なお、LEDライト1114が設けられているため、閉扉時にも撮像することができる。
また、開扉時および閉扉時の双方で収納ケース7bとスライドケース7cの両方を撮像可能なことから、食材の貯蔵状態の変化を検知することができる等、単に庫内を確認するためだけで無く、食材の管理等にも応用することができる。
また、広角のレンズ系を備えていることから、比較的近い位置からであっても収納ケース7bやスライドケース7cの全体を撮像することができる。
<具体例4>
具体例4では、カメラユニット1110は、図56に示す取り付け位置Cに取り付けられている。より詳細には、カメラユニット1110は、図63に示すように、冷蔵温度帯との貯蔵庫と冷凍温度帯の貯蔵庫との間、つまり、冷蔵室3と上部冷凍室6との間を仕切る断熱仕切り板1140の下面側に設けられている。換言すると、カメラユニット1110は、冷凍温度帯の貯蔵庫の天面に、下向きつまり庫内を撮像可能な向きに設けられている。また、カメラユニット1110は、広角で撮像することで、庫内のほぼ中央を撮像可能に設けられている。
このカメラユニット1110は、LEDライト1114が設けられているため閉扉時にも撮像することができるが、具体例3と同様に、上部冷凍室6の扉6aが開放されたことが冷凍室扉スイッチ1103により検知されたときに庫内を撮影することもできる。また、レンズの近傍にカメラ温度センサ1113およびヒータを配置することで、レンズの近傍の温度を上昇させ、霜を除去した後に撮影することができる。
<具体例5>
具体例5のカメラユニット1200は、図64に示すように、カメラユニット1200内に通信部1201およびバッテリ1202を内蔵している。この通信部1201は、冷蔵庫1あるいはルータ101(図1参照)等と無線通信を行うことで、撮像した画像を外部に送信する。また、カメラユニット1200は、LEDライト1203、電源ボタン1204、設定ボタン1205が設けられており、単体で庫内を撮像可能となっている。このような構成とすることにより、配線ケーブル等をすることなく、設置場所をユーザが自由に設定できる。
また、カメラユニット1200には、図示は省略するが、レンズの近傍に温度センサおよびヒータが設けられており、レンズの近傍の温度を上昇させ、霜を除去した後に撮影することができる。
なお、このカメラユニット1200により庫内を撮像するタイミングは、冷蔵庫1と通信を行うことで冷蔵庫1側から撮像指示を受けてもよいし、上記した第1実施形態のようにカメラユニット1200内に照度センサを設け、庫内照明を点灯したことや扉が開放されて外部の光を検知したとき等に撮像するようにしてもよい。
(その他の実施形態)
本発明は、上記した実施形態にて例示したものに限定されることなく、次のように変形又は拡張することができる。また、上記した実施形態で例示したものおよび以下に示す変形例および拡張例で例示するものは、その一部または全部を任意に組み合わせることができる。
第1実施形態では右扉3bに撮像カメラを設けた構成を例示したが、図26に示すように左扉3aに設けられている縦仕切り17に撮像カメラ18を設けてもよい。この縦仕切り17は、左扉3aの開閉状態に応じて回動するため、図26(a)に示すように左扉3aが閉鎖された状態では撮像カメラ18が庫内に向けられて庫内の画像を撮像することができる。一方、図26(b)に示すように左扉3aが開放された状態では、撮像カメラ18が内板側に向くので、ユーザが撮像カメラ18に触れることがなく、レンズ面の汚れを防止することができる。
第1実施形態では撮像カメラ18および撮像ライト19を1つ設けた構成を例示したが、図27に示すように、複数の撮像手段(上部撮像カメラ60、下部撮像カメラ62、ドア撮像カメラ64)や、複数の照明手段(上部撮像ライト61、下部撮像ライト63)を設けてもよい。この場合、上部撮像カメラ60にて庫内の上部側を撮像し、下部撮像カメラ62にて庫内の下部側を撮像してもよい。すなわち、庫内の特定の位置を撮像する撮像手段を複数設けてもよい。この場合、それぞれの画像を合成すれば、例えば図7に示したような1枚の庫内画像を生成することができる。
また、例えば庫内の上部側や下部側等の特定の位置を撮像できればよいので、広角レンズを採用しなくても庫内の全域を撮像することができる。また、1つの撮像カメラ18で広角に撮像する場合に比べれば上部撮像カメラ60や下部撮像カメラ62の視野を小さくできるので、換言すると、第1実施形態のようにドアポケット9bに切り欠き部9b1を設けなくても視野が遮られる可能性が小さくなるので、ドアポケットの収納量を維持したまま庫内を撮像することもできる。
また、上部撮像カメラ60で撮像する場合には上部撮像ライト61を点灯し、下部撮像カメラ62で撮像する場合には下部撮像ライト63を点灯する等、撮像する位置に応じて適切な照明手段を点灯することで、撮像環境を制御するようにしてもよい。なお、上部側と下部側だけでなく、例えば棚板11ごとに撮像手段を設けてもよい。
また、例えば庫内の上部側を撮像する際には天井ライト13の照度を低く、庫内の下部側を撮像する際には天井ライト13の照度を通常の状態となるように制御し、複数の画像を合成して1枚の庫内画像を生成してもよい。すなわち、撮像ライト19等は、必ずしも撮像専用のものを設ける必要は無い。
第1実施形態では撮像ライト19を点灯することで撮像環境を制御したが、例えば天井ライト13や側面ライト36の照度を低くする等で撮像カメラ18に対する逆光が弱くなるように撮像環境を制御してもよい。
また、ドア撮像カメラ64によりドアポケット側を撮像し、庫内画像と併せて図28に示すように冷蔵庫1の扉を開放した様子を示す合成画像を生成し、通信端末103にて表示するようにしてもよい。この場合、庫内にドア撮像カメラ64を設けてドアポケット側を撮像するようにしもてよいし、扉の内板14にそれぞれドア撮像カメラ64を設け、扉が開放された後のタイミングで他の扉のドアポケットをそれぞれ撮像し、扉が閉鎖された後のタイミングで画像を撮像し、複数の画像を合成して1枚の庫内画像を生成するようにしてもよい。
各実施形態では、撮像した画像をサーバ104に記憶する構成を例示したが、通信端末103に直接送信する構成としてもよい。
各実施形態では撮像した画像をそのままサーバ104に送信したが、広角レンズを用いたことにより生じる画像の歪みを補正した画像をサーバ104に送信してもよい。この場合、サーバ104にて画像の歪みを補正するようにしてもよい。
各実施形態では、通信端末103から庫内を撮像するための指令を受け付けたタイミングで庫内を撮像する例を示したが、遅延撮像時間が経過した後の画像を最新の画像として撮像していれば、指令を受け付けた場合であっても庫内を撮像しない構成としてもよい。つまり、遅延撮像時間が経過した後の画像は冷蔵庫1の扉が閉鎖された後の最新の画像であることから、遅延撮像時間が経過した後の画像が撮像されている状態は、撮像時以降に扉が開放されていない状態(貯蔵状態が変化していない状態)であると言える。そのため、遅延撮像時間が経過した後の画像が最新の画像であれば、撮像しないことで無用な電力の消費を防ぐことができる。この場合、通信端末103がサーバ104から画像を取得する際に、最新の画像である旨を通知する構成としてもよい。
第1実施形態では主制御部30とは別に制御部50を設けているが、主制御部30にて撮像カメラ18の制御等を行う構成としてもよい。これにより、部品点数を削減でき、コストを低減することができる。この場合、実施形態のように撮像した画像をそのままサーバ104に送信する構成とすれば、画像処理のような負荷の掛かる処理が不要であるため、主制御部30だけでも対応することができる。
第1実施形態では撮像カメラ18側に通信手段を設けたが、第2実施形態のように冷蔵庫1側に通信手段を設け、撮像カメラ18側は冷蔵庫1側の通信手段との間で通信を行う構成としてもよい。この場合、冷蔵庫1側に設ける通信手段は、冷蔵庫1の主制御部30に設ける構成としてもよいが、第2実施形態の図25に示す通信装置501のように着脱可能(オプション品)な構成としてもよい。
第1実施形態では貯蔵庫として冷蔵室3を例示したが、第2実施形態のように例えば野菜室4等の他の貯蔵庫を撮像するようにしてもよい。
第1実施形態では撮像カメラ18を予め冷蔵庫1に設けた構成を示したが、撮像カメラ18は、冷蔵庫1から着脱可能な構成としてもよい。具体的には、冷蔵庫1を購入したユーザが、購入後に撮像カメラ18を取り付けることができる構成としてもよい。つまり、第2実施形態のカメラ装置300のように、撮像カメラ18を着脱可能とする構成としてもよい。
この場合、撮像カメラ18と撮像ライト19とを一体にユニットケースに収納し、冷蔵庫1から着脱可能としてもよい。また、制御部50や通信部52をカメラ装置に一体に設けてもよいし、さらにレンズヒータ51も一体に設けてもよい。あるいは、制御部50や通信部52は冷蔵庫1に予め設けておき、制御部50や通信部52等と通信するための別の通信手段をカメラ装置側に設けてもよい。すなわち、カメラ装置は、少なくとも撮像カメラ18を備えていれば、どの様な構成としてもよい。
このカメラ装置と冷蔵庫1との間は、有線方式にて接続するようにしてもよいし、無線方式にて接続するようにしてもよい。この場合、カメラ装置に対する電源も無線給電方式としてもよい。
また、カメラ装置を着脱可能な構成とする場合、冷蔵庫1のドアポケット8〜10、内板14、縦仕切り17あるいは棚板等に被取り付け部を設け、被取り付け部に取り付けるための取り付け部をカメラ装置に設けることで、着脱可能とすることができる。具体的には、取り付け部と被取り付け部とが係合する構成としてもよいし、カメラ装置にクリップを設け、異なる厚みのドアポケットを挟み込むような構成(つまり、任意の位置に撮像手段を取り付け可能な構成)としてもよい。
また、無線方式を採用する場合には、図29に示すように、例えば冷蔵庫1の扉の内板14に、カメラ装置300を取り付ける位置を示す目印となる窪み600を設け、カメラ装置300側に取り付け用の磁石601を設けてもよい。例えば右扉3b等の扉はその内部に金属製の鉄板602が設けられた構造となっているため、磁力によってカメラ装置300を取り付けることができるためである。この窪み600には、磁力以外の取り付け構造(例えば保持構造や係合構造)を設けてもよい。また、第2実施形態の磁石206のような検知用の磁石603を設けてもよい。この場合、なお、扉側に磁石を設け、カメラ装置300側に金属部を設ける構成としてもよい。
また、任意の位置にカメラ装置を取り付け可能な場合には、棚板やドアポケット等によって視野が遮られる可能性が小さい部位など、庫内を適切に撮像できる位置に取り付け位置を示す目印を設けてもよい。なお、カメラ装置を取り付ける位置が予め指定されている場合であっても、取り付け時にユーザが迷わないように目印を設けておいてもよい。
また、ドアポケットにカメラ装置を収納するための専用の部位を形成しておき、その部位にカメラ装置を収納するようにしてもよい。
冷蔵庫1の庫内の特定の場所に、カメラ装置の有無を検出するICチップ等の検知手段を設け、カメラ装置の有無に応じて例えば通信部52の動作を許可する構成としてもよい。この場合、特定の場所は、少なくとも冷蔵庫1の庫内を含んでいる。なお、操作パネル33からカメラ装置を取り付けたこと入力する構成としてもよい。
また、冷蔵庫1にカメラ装置を識別するための識別手段を設け、特定のカメラ装置であると認識した場合のみカメラ装置の動作(通信部52等の動作も含む)を許可する構成としてもよい。これにより、信頼性のあるカメラ装置(例えばメーカ純正品や動作確認済みのカメラ装置)のみを作動させることができる。また、第2実施形態のように、既存の庫内照明を撮像タイミングの通知手段として用いることができ、追加部品等が不要となり、コストの低減を図ることもできる。
また、カメラ装置側にその冷蔵庫1が動作対象であるか否かを検知する検知手段を設け、冷蔵庫1側に検知手段に検知させるための被検知手段を設けるとよい。これら検知手段および被検知手段は、例えばコネクタの形状が適合する等の物理的な手法により構成してもよいし、識別情報をやり取りする等の手法により構成してもよい。
また、例えばカメラ装置300と通信を行うことで、そのカメラ装置300が冷蔵庫1用のものであるか否かを識別する構成としてもよい。この場合、冷蔵庫1の通信装置501が識別手段として機能し、通信モジュール306が、カメラ装置300が冷蔵庫1用のものであることを当該冷蔵庫1に識別させるための被識別手段として機能することになる。
また、識別手段や被識別手段を、上記した検知手段や被検知手段と兼用してもよい。すなわち、例えばカメラ装置300が保持部202に収納可能であれば、そのカメラ装置300は、当該冷蔵庫1用のものであると識別することもできる。この場合、カメラ装置300にて保持部202に設けられている磁石206の極性を検出し、その結果を冷蔵庫1側に通知することで、カメラ装置300が保持部202に収容されたかを判定したり、冷蔵庫1側で庫内照明を点滅させ、それに対してカメラ装置300側から何らかの応答を返すようにしておくこと等により、識別することができるようになる。
また冷蔵庫1の内板14にドアポケットを取り付けるポケット取り付け部を設け、ドアポケット9b(第2実施形態のドアポケット200も同様)そのものを着脱可能としてもよい。つまり、カメラ装置を着脱可能とする場合、カメラ装置を利用しないユーザはドアポケット8のような幅広なドアポケットを取り付けて収納量を増やすことができ、カメラ装置を利用するユーザは、幅狭になるもののドアポケット9b(あるはドアポケット200)を取り付けることで、カメラ装置の視野を遮ること無く、庫内を撮像させることができる。
また、ポケット取り付け部に図3にて撮像カメラ18が取り付けられている部位を覆う幅広な(つまり、右扉3bの幅とほぼ等しい)ドアポケット(あるいは、ドアポケット9bの切り欠き部9b1を補う形状のドアポケット)を取り付け可能とし、カメラ装置を利用しない場合にはカメラ装置の取り付け部がドアポケットにより覆われる構成とすることで、ユーザが誤って取り付け部に触れてしまうこと等を防止できる。
第2実施形態の制御部309による撮像タイミングの制御は、冷蔵庫1との間で通信を行って扉の開閉状態を取得することにより、第1実施形態と同様に撮像条件1〜4等を判定する構成としてもよい。この場合、照度センサ313によるタイミングの検出と撮像条件1〜4との双方を採用する構成としてもよいし、いずれか一方を採用する構成としてもよい。具体的には、第2実施形態ではユーザが扉を開放した場合には撮像しない構成としたが、庫内照明が連続点灯した時点を扉が開放された時点と判定し、その後、庫内照明が消灯した時点を扉が閉鎖された時点と判定し、庫内照明が消灯した時点で撮像することで、撮像条件1を判定することが可能となる。また、通信モジュール306を利用して、冷蔵庫1の主制御部30から通信により扉の開閉状態を取得する構成とすれば、撮像条件1〜4を採用することができる。
第2実施形態のカメラ装置300に、結露を除去するための除去手段を設けてもよい。
第2実施形態の所定期間を、温度や湿度に基づいて結露が除去される期間(あるいは少なくともそれ以上の期間)に設定してもよい。勿論、例えば2時間等の固定期間を設定してもよい。
第2実施形態のカメラ装置300には撮像ランプ302を設けない構成としてもよい。例えば、冷蔵室3であれば天井ライト13等が設けられているので、それらの庫内照明を利用して撮像する構成としてもよい。この場合、通信モジュールを介して冷蔵庫1側に点灯命令を送信すること等が考えられる。また、撮像時に、撮像ランプ302と庫内照明とを利用する構成としてもよい。
各実施形態では庫内を撮像する例を示したが、例えば庫内に設けられている閉鎖空間部(例えば、蓋や引き出し構造で閉鎖あるいは覆われている卵室やチルド室の特定目的室12、密閉された状態となる低気圧保存室等が考えられる)の構造の一部に透明部材を用いて窓部を形成し、その窓部から閉鎖空間部の内部を撮像する構成としてもよい。
カメラ装置300に対して冷蔵庫1側から有線あるは無線による給電を行ってもよい。これにより、電池切れ等が無くなり、利便性を向上させることができる。この場合、冷蔵庫1は基本的に常時給電されていることから、カメラ装置300に給電するための給電回路等を設けても、冷蔵庫1の運転に異常をきたすことは無いと考えられる。この場合、カメラ装置300のように冷蔵庫1からの着脱が可能な構成とすることで、不要な電力供給が行われることも防止できる。
第2実施形態では、2箇所の保持部においてそれぞれカメラ装置300に対向する側の極性が異なるように磁石を配置したが、検知部307に対する相対的な位置関係が変化するように磁石を配置してもよい。この場合、磁石と近ければ磁気センサの出力が大きくなる一方、磁石から遠ければ出力が小さく(但し、磁界の正負は変わらない)なるので、3以上の保持部を設ける構成にも対応することができる。
温度センサ310、磁気センサ311、加速度センサ312、照度センサ313は、必要なものを設ければよく、必ずしも全てのセンサを設ける必要は無い。例えば、磁気センサ311にてカメラの向きを検知する構成とすれば、加速度センサ312は必ずしも必須ではない。
第3実施形態では扉が開放される際に撮像する例を示したが、勿論、第1、第2実施形態のように扉の閉鎖中に撮像するものと組み合わせてもよい。
開度検知ブロックは、第3実施形態で例示したもの以外に、照度検知ブロックで検知した庫内の照度に基づいて開度を推定する構成としてもよい。また、撮像ブロックで撮像した画像を利用して、例えば庫内照明等の位置が固定されている目標物が画像のどの位置に写っているかに基づいて開度を推定する構成としてもよい。また、扉の振動を検知する振動検知手段を設け、振動を検知したときに扉が開放されたと判定する構成としてもよいし、第2実施形態のカメラ装置300のような加速度センサ312で回動状態や直線移動状態が検知されると、扉が開放されたと判定する構成としてもよい。
照度検知ブロックは、開度検知ブロックで検知した開度に基づいて照度を推定する構成としてもよい。また、撮像ブロックで撮像した画像の輝度から照度を検知する構成としてもよい。
第3実施形態では照明手段として庫内照明を例示したが、専用の撮像ライト19を設けてもよい。また、扉を開放した際の外部からの光(冷蔵庫が設置されている室内照明や太陽光)も照明手段に含まれる。さらには、撮像ブロックを扉ではなく庫内に設置し、扉が開放された際に撮像するようにしてもよい。
扉が開放されると、冷えていたレンズが暖かい外気に触れること曇りや結露が生じることがある。そんため、庫内を撮像できる状態を、扉の回転角度の代わりにレンズが結露しない程度の時間等で設定する構成としてもよい。この場合、庫内温度と外気温とを加味することで、その時間を推測する構成としてもよい。
また、結露を除去するための除去手段を設けてもよい。例えば、収納量推定手段により推定された収納物の収納量が所定の基準収納量を超えたとき、貯蔵庫内の水分が増加していると予想されることから、空気を循環させる循環ファンを、通常時よりも循環量が高くなる状態で駆動することが考えられる。
また、撮像手段の近傍に、熱を発する発熱手段を設けてもよい。この場合、発熱手段としては、ヒータ等であってもよいし、マイクロコンピュータ等の発熱部品であってもよい。
第3実施形態では庫内照明を照明ブロックに採用したが、専用の撮像ライトを設け、図31(B)のように光量が少ないと想定される場合や、省エネモードにある場合等には、光量を補うために撮像ライトを点灯させてもよい。
第3実施形態では開度が所定量未満である際に庫内照明を点灯する構成としたが、しなくてもよい。その場合、扉の開度が所定量未満である場合には撮像しないという選択肢もある。
第4実施形態で例示した凹部を、第3実施形態に適用してもよい。
「扉が開放されている状態」には、扉が閉鎖されるときも含まれている。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
図面中、1は冷蔵庫、3は冷蔵室(貯蔵庫)、3aは左扉(扉)、3bは右扉(扉)、3dは側壁、4は野菜室(貯蔵庫)、4a〜7aは扉、5は製氷室(貯蔵庫)、6は上部冷凍室(貯蔵庫)、7は下部冷凍室(貯蔵庫)、8〜10はドアポケット、9b1は切り欠き部、13は天井ライト(照明手段)、14は内板(被取り付け部)、17は縦仕切り、18は撮像カメラ(撮像手段)、19は撮像ライト(照明手段)、30は制御部(制御手段)、33bはスイッチ類(外出スイッチ)、33cは庫外センサ(庫外環境取得手段)、36は側面ライト(照明手段)、50は制御部(制御手段)、51はレンズヒータ(除去手段)、52は通信部(通信手段)、60は上部撮像カメラ(撮像手段)、61は上部撮像ライト(照明手段)、62は下部撮像カメラ(撮像手段)、63は下部撮像ライト(照明手段)、64はドア撮像カメラ(撮像手段)、100は家電ネットワークシステム、102は通信回線、103は通信端末(外部の装置)、104はサーバ(外部の装置)、200はドアポケット(冷蔵庫用ドアポケット、冷蔵庫用ホルダ)、202は保持部(被取り付け部)、206は磁石(被検知手段)、300はカメラ装置(撮像手段)、302は撮像ランプ(照明手段、カメラ側照明手段)、306は通信モジュール(通信手段、カメラ側通信手段、被識別手段)、307は検知部(検知手段)、308は撮像部(撮像手段)、310は温度センサ、311は磁気センサ、312は加速度センサ、313は照度センサ、400は冷蔵庫用ホルダ、401は保持部、405は磁石(被検知手段)、500は家電ネットワークシステム、501は通信装置(通信手段、庫側通信手段、識別手段)、700は冷蔵庫、701は制御ブロック(制御手段)、702は撮像ブロック(撮像手段)、703は照明ブロック(照明手段)、704は開検知ブロック(扉開検知手段)、705は開度検知ブロック(開度検知手段)、706は照度検知ブロック(照度検知手段)、707は通信ブロック(通信手段)、708は収納量推定部(収納量推定手段)、710は扉(回動式の扉)、720はペットボトル(収納物)、723は卵(収納物)、800は冷蔵庫、801は左扉(回動式の扉)、802は右扉(回動式の扉)、810は冷蔵庫、811は左扉(回動式の扉)、812は右扉(回動式の扉)、814A〜Eは貯蔵庫(独立した貯蔵庫)、815は棚板、816は収納容器、900は冷蔵庫、902は扉(引き出し式の扉)、904は貯蔵庫(引き出し式の貯蔵庫)、905は仕切り板、906は扉(引き出し式の扉)、910は扉、930は貯蔵庫、932は扉、933は仕切り板、1000はカメラユニット(撮像手段)、1001はカメラケース(保護ケース)、1003はカメラモジュール(撮像モジュール)、1010は撮像素子、1011は回路部品、1012は基板、1013はレンズユニット、1017はポッティング材、1018はOリング、1050はLEDライト(照明手段)、1105は通信部(通信手段)、1110はカメラユニット(撮像手段)、1113はカメラ温度センサ(温度検知手段)、1114はLEDライト(照明手段)、1115はヒータ(加熱手段、除去手段)、1120は仕切り板、1122は放熱パイプ(加熱手段、除去手段)、1140は断熱仕切り板(仕切り板)、1200はカメラユニット(撮像手段)、1201は通信部(通信手段)、1203はLEDライト(照明手段)を示す。

Claims (1)

  1. 冷蔵庫本体と、
    前記冷蔵庫本体内に設けられた貯蔵室と、
    前記貯蔵室内を撮像するためのカメラ装置と、
    前記カメラ装置で撮像した画像情報を外部の装置に送信するための通信モジュールと、
    前記カメラ装置と前記通信モジュールとに電力を供給する電力供給手段と、
    前記通信モジュールとは異なる構成であって、前記通信モジュールと通信可能に構成された通信装置と、を備え、
    前記カメラ装置は、筐体内に前記通信モジュールと前記電力供給手段とを収容して構成され、
    前記カメラ装置及び前記通信装置は、前記冷蔵庫本体に着脱可能に構成されている、
    冷蔵庫。
JP2018154013A 2013-03-12 2018-08-20 冷蔵庫、カメラ装置、冷蔵庫用ドアポケット、通信端末、家電ネットワークシステム、庫内画像表示プログラム Active JP6701281B2 (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2013049073 2013-03-12
JP2013049073 2013-03-12
JP2013147562 2013-07-16
JP2013147562 2013-07-16
JP2013225437 2013-10-30
JP2013225437 2013-10-30

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014038461A Division JP6391943B2 (ja) 2013-03-12 2014-02-28 冷蔵庫、カメラ装置、庫内画像表示プログラム

Publications (3)

Publication Number Publication Date
JP2018173272A JP2018173272A (ja) 2018-11-08
JP2018173272A5 JP2018173272A5 (ja) 2019-07-11
JP6701281B2 true JP6701281B2 (ja) 2020-05-27

Family

ID=64108472

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018154013A Active JP6701281B2 (ja) 2013-03-12 2018-08-20 冷蔵庫、カメラ装置、冷蔵庫用ドアポケット、通信端末、家電ネットワークシステム、庫内画像表示プログラム

Country Status (1)

Country Link
JP (1) JP6701281B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7213784B2 (ja) * 2019-09-26 2023-01-27 日立グローバルライフソリューションズ株式会社 冷蔵庫及び食品管理システム
JP2023122162A (ja) * 2022-02-22 2023-09-01 日立グローバルライフソリューションズ株式会社 画像管理システム、画像管理サーバ、画像管理方法、および、画像表示制御システムの生産方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4329131B2 (ja) * 1998-05-21 2009-09-09 パナソニック株式会社 冷蔵庫の使い方比較システム、および、その制御方法
JP2002295962A (ja) * 2001-03-29 2002-10-09 Sanyo Electric Co Ltd 冷蔵庫
JP2004183987A (ja) * 2002-12-04 2004-07-02 Hitachi Home & Life Solutions Inc 冷蔵庫
JP2005030607A (ja) * 2003-07-07 2005-02-03 Hitachi Ltd 充電器及び充電器を備えた冷蔵庫
JP2005315479A (ja) * 2004-04-28 2005-11-10 Hitachi Home & Life Solutions Inc 冷蔵庫
JP4196914B2 (ja) * 2004-09-16 2008-12-17 三菱電機株式会社 冷蔵庫
KR101774054B1 (ko) * 2011-04-15 2017-09-12 엘지전자 주식회사 네트워크 시스템 및 그 제어방법
JP6402353B2 (ja) * 2013-03-29 2018-10-10 パナソニックIpマネジメント株式会社 冷蔵庫及び冷蔵庫システム
JP6322803B2 (ja) * 2013-03-29 2018-05-16 パナソニックIpマネジメント株式会社 冷蔵庫及び冷蔵庫システム

Also Published As

Publication number Publication date
JP2018173272A (ja) 2018-11-08

Similar Documents

Publication Publication Date Title
JP6391943B2 (ja) 冷蔵庫、カメラ装置、庫内画像表示プログラム
JP6498866B2 (ja) 冷蔵庫、カメラ装置
JP7223054B2 (ja) 冷蔵庫
JP6701281B2 (ja) 冷蔵庫、カメラ装置、冷蔵庫用ドアポケット、通信端末、家電ネットワークシステム、庫内画像表示プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180919

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190606

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191001

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191127

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200204

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200313

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200407

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200501

R150 Certificate of patent or registration of utility model

Ref document number: 6701281

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150