WO2023067966A1 - Storage chamber and imaging method performed by storage chamber and imaging device - Google Patents
Storage chamber and imaging method performed by storage chamber and imaging device Download PDFInfo
- Publication number
- WO2023067966A1 WO2023067966A1 PCT/JP2022/034798 JP2022034798W WO2023067966A1 WO 2023067966 A1 WO2023067966 A1 WO 2023067966A1 JP 2022034798 W JP2022034798 W JP 2022034798W WO 2023067966 A1 WO2023067966 A1 WO 2023067966A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- door
- refrigerator
- refrigerator compartment
- photographing
- control unit
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 41
- 238000003860 storage Methods 0.000 title claims abstract description 37
- 235000013305 food Nutrition 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims description 17
- 238000005057 refrigeration Methods 0.000 abstract 4
- 230000000007 visual effect Effects 0.000 abstract 2
- 238000012545 processing Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 15
- 238000004891 communication Methods 0.000 description 11
- 238000005192 partition Methods 0.000 description 11
- 235000013311 vegetables Nutrition 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 238000003780 insertion Methods 0.000 description 7
- 230000037431 insertion Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 230000000052 comparative effect Effects 0.000 description 4
- JOYRKODLDBILNP-UHFFFAOYSA-N Ethyl urethane Chemical compound CCOC(N)=O JOYRKODLDBILNP-UHFFFAOYSA-N 0.000 description 3
- 239000011810 insulating material Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000007789 sealing Methods 0.000 description 3
- 239000006260 foam Substances 0.000 description 2
- 230000008014 freezing Effects 0.000 description 2
- 238000007710 freezing Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000003507 refrigerant Substances 0.000 description 2
- 239000011347 resin Substances 0.000 description 2
- 229920005989 resin Polymers 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000005001 laminate film Substances 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D11/00—Self-contained movable devices, e.g. domestic refrigerators
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D23/00—General constructional features
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D29/00—Arrangement or mounting of control or safety devices
Definitions
- step S106 the control unit 8 outputs a shooting command. That is, the control unit 8 takes in an electric signal output from the image sensor 31e by photoelectric conversion and further amplified by a predetermined gain as photographed image data. In this way, after at least one of the refrigerator compartment doors 211 and 212 (doors) is opened (S101: Yes), the controller 8 turns off the interior light 4 and turns on the camera LED 31c (illumination part). Then, the photographing unit 30 is caused to photograph (S102, S104, S106).
- the photographing time interval can be, for example, 3 seconds or more. This makes it easier for the user to understand that the output is for the photographed result when the output is made to recognize a certain photographed result. For example, if the duration is less than 3 seconds, it may be difficult for the user to distinguish whether the output is for a certain photographed result or for one or more preceding or later photographed results. On the other hand, if the time interval is too long, the opening time of the refrigerating compartment doors 211 and 212 will be long, and a large amount of cold air will flow out from the refrigerating compartment. .
- step S106 may be performed to continuously perform multiple times of photographing. In this case, in steps S108 to S110, processing can be executed for all of the multiple image data.
- FIG. 12A is an explanatory diagram showing candidate regions that serve as references for exposure adjustment in the refrigerator according to the first embodiment.
- the gain is adjusted when amplifying the electrical signal output from the image sensor 31e (see FIG. 7).
- at least one of the three rectangular areas 61 to 63 shown in FIG. 12A is used as a reference indicating the degree of image brightness in exposure adjustment. That is, at least one of the area 61 of the left refrigerator compartment door 211, the area 62 of the right refrigerator compartment door 212, and the predetermined area 63 between these areas 61 and 62 is used.
- Such a case is also included in the matter of setting the weighting of the area 61 (partial area) higher than the weighting of the other areas 62 and 63 (remaining areas). Further, for example, exposure adjustment may be performed based on a value obtained by multiplying the average luminance value of each of the regions 61 to 63 by a predetermined weighting value and summing the multiplication results. . In this case, the control unit 8 may adjust the exposure of the photographing unit 30 by setting the weighting of the partial region including the position where the food is present to be higher than the weighting of the remaining region. .
- control unit 8 controls the above-described inside the field of view of the imaging unit 30 when one of the right refrigerator compartment door 212 (right door) and the left refrigerator compartment door 211 (left door) is opened. Using the area corresponding to one as a reference, the gain of the exposure at the time of photographing is adjusted. Signals indicating whether the left and right refrigerator compartment doors 211 and 212 are open or closed are output to the control unit 8 from the left and right door sensors 6 (see FIG. 7).
- the shooting button 7A is provided near the handle portion 212e, the user can press the shooting button 7A by touching the refrigerator compartment door 212 and moving the hand. . Therefore, when the user presses the shooting button 7A, there is no particular need to temporarily release the hand from the refrigerator compartment door 212, so that operability can be enhanced. In addition, since the user can take an image in a state in which the refrigerator door 212 is opened in a predetermined manner and the rotation of the refrigerator door 212 is stopped, blurring of the photographed image can be suppressed. Furthermore, compared to the case where the shooting button 7A is provided inside the refrigerator compartment door 212 or on the wall surface of the refrigerator compartment 21, it is possible to prevent the user's hand from appearing in the captured image.
Landscapes
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Thermal Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
- Devices That Are Associated With Refrigeration Equipment (AREA)
Abstract
Provided is a storage chamber that suitably captures images of a storage compartment and the like. A refrigerator comprises: a housing having a refrigeration compartment (21); refrigeration compartment doors (211, 212) that block an opening in the refrigeration compartment (21); an imaging unit for capturing images of at least the refrigeration compartment (21); and a control unit for controlling the imaging unit. The control unit divides the visual field of the imaging unit into a plurality of areas (61, 62, 63) and performs recognition therein, increases the weighting of parts of the visual field of the imaging unit that include a location in which food is present so as to be higher than the weighting of the remaining parts, and executes exposure adjustment of the imaging unit.
Description
本開示は、貯蔵庫等に関する。
This disclosure relates to storage and the like.
冷蔵庫の貯蔵室等をカメラで撮影する技術として、例えば、特許文献1には、「カメラは、冷蔵庫本体の上部で、かつ扉と干渉しない位置に配置」すると記載されている。
As a technique for photographing the storage compartment of a refrigerator with a camera, for example, Patent Document 1 describes that "the camera is placed above the refrigerator body and in a position where it does not interfere with the door."
特許文献1には、例えば、冷蔵庫の貯蔵室等を撮影する際の明るさについては記載されておらず、カメラによる撮影をさらに適切に行う余地がある。
Patent Document 1 does not describe, for example, the brightness when photographing a storage room of a refrigerator, and there is room for more appropriate photographing with a camera.
本開示に係る貯蔵庫は、
貯蔵室を有する筐体と、
前記貯蔵室の開口を塞ぐ扉と、
少なくとも前記貯蔵室を撮影する撮影部と、
前記撮影部を制御する制御部と、を備え、
前記制御部は、
前記撮影部の視野の全部または一部を複数の領域に分けて認識し、
前記撮影部の視野のうち、食材が存在する位置を含む一部の領域の重みづけを、残部の領域の重みづけよりも高くして、前記撮影部の露光調整を実行する。 The repository according to the present disclosure is
a housing having a storage chamber;
a door that closes the opening of the storage room;
an imaging unit for imaging at least the storage chamber;
A control unit that controls the imaging unit,
The control unit
recognizing all or part of the field of view of the imaging unit by dividing it into a plurality of areas;
In the field of view of the photographing unit, a partial area including the position where the food is present is weighted higher than the rest of the area, and the exposure adjustment of the photographing unit is performed.
貯蔵室を有する筐体と、
前記貯蔵室の開口を塞ぐ扉と、
少なくとも前記貯蔵室を撮影する撮影部と、
前記撮影部を制御する制御部と、を備え、
前記制御部は、
前記撮影部の視野の全部または一部を複数の領域に分けて認識し、
前記撮影部の視野のうち、食材が存在する位置を含む一部の領域の重みづけを、残部の領域の重みづけよりも高くして、前記撮影部の露光調整を実行する。 The repository according to the present disclosure is
a housing having a storage chamber;
a door that closes the opening of the storage room;
an imaging unit for imaging at least the storage chamber;
A control unit that controls the imaging unit,
The control unit
recognizing all or part of the field of view of the imaging unit by dividing it into a plurality of areas;
In the field of view of the photographing unit, a partial area including the position where the food is present is weighted higher than the rest of the area, and the exposure adjustment of the photographing unit is performed.
≪第1実施形態≫
図1は、第1実施形態に係る冷蔵庫100の正面図である。
冷蔵庫100は、食品等を冷やす機器であり、筐体1の他、冷蔵室ドア211,212等の各ドア(扉)と、カメラユニット3と、を備えている。筐体1は、その内部に複数の貯蔵室を有している。図1の例では、冷蔵庫100の貯蔵室として、上から順に、冷蔵室21と、左右に並ぶ製氷室22・上段冷凍室23の他、野菜室24と、下段冷凍室25と、が設けられている。 <<First Embodiment>>
FIG. 1 is a front view ofrefrigerator 100 according to the first embodiment.
Refrigerator 100 is a device that cools food and the like, and includes housing 1 , doors (doors) such as refrigerator compartment doors 211 and 212 , and camera unit 3 . The housing 1 has a plurality of storage chambers inside. In the example of FIG. 1, as the storage compartments of the refrigerator 100, a refrigerating compartment 21, an ice making compartment 22 and an upper freezing compartment 23 arranged side by side, a vegetable compartment 24, and a lower freezing compartment 25 are provided in order from the top. ing.
図1は、第1実施形態に係る冷蔵庫100の正面図である。
冷蔵庫100は、食品等を冷やす機器であり、筐体1の他、冷蔵室ドア211,212等の各ドア(扉)と、カメラユニット3と、を備えている。筐体1は、その内部に複数の貯蔵室を有している。図1の例では、冷蔵庫100の貯蔵室として、上から順に、冷蔵室21と、左右に並ぶ製氷室22・上段冷凍室23の他、野菜室24と、下段冷凍室25と、が設けられている。 <<First Embodiment>>
FIG. 1 is a front view of
筐体1は、鋼板製の外箱11と、樹脂製の内箱(図示せず)と、の間に発泡ウレタン等の断熱材(図示せず)が充填された構成になっている。筐体1の前側(正面側)には、各室に対応する複数の開口10(図2、図4参照)が設けられている。例えば、冷蔵室21の開口10を介して食品等が入れられる際には、冷蔵室ドア211,212が開けられる。また、冷蔵室ドア211,212が閉じられると、冷蔵室21の開口10が閉塞された状態になる。このように、冷蔵室ドア211,212(扉)は、筐体1の開口10を塞ぐ機能等を有している。なお、他の各ドアについても同様である。
The housing 1 is configured such that a heat insulating material (not shown) such as urethane foam is filled between an outer box 11 made of steel plate and an inner box (not shown) made of resin. A plurality of openings 10 (see FIGS. 2 and 4) corresponding to the respective chambers are provided on the front side (front side) of the housing 1 . For example, when food or the like is put through the opening 10 of the refrigerator compartment 21, the refrigerator compartment doors 211 and 212 are opened. Also, when the refrigerator compartment doors 211 and 212 are closed, the opening 10 of the refrigerator compartment 21 is closed. In this way, the refrigerator compartment doors 211 and 212 (doors) have functions such as closing the opening 10 of the housing 1 . The same applies to other doors.
冷蔵庫100は、筐体1とともに冷蔵室21を形成するフレンチ式ドアとして、左右の冷蔵室ドア211,212を備えている。左側の冷蔵室ドア211(左ドア)は、左端のヒンジ211a(図4参照)の軸を中心として、回動可能になっている。なお、右側の冷蔵室ドア212(右ドア)についても同様である。また、冷蔵庫100は、引出し式のドアとして、製氷室ドア221や上段冷凍室ドア231の他、野菜室ドア241や下段冷凍室ドア251を備えている。
The refrigerator 100 includes left and right refrigerator compartment doors 211 and 212 as French doors that form a refrigerator compartment 21 together with the housing 1 . The left refrigerating compartment door 211 (left door) is rotatable around the axis of the left end hinge 211a (see FIG. 4). The same applies to the right refrigerator compartment door 212 (right door). Refrigerator 100 also includes an icemaker door 221 and an upper freezer compartment door 231, as well as a vegetable compartment door 241 and a lower freezer compartment door 251, as drawer doors.
冷蔵室21には、この冷蔵室21を所定に仕切る複数の棚板213(図3参照)が設けられている。左側の冷蔵室ドア211の庫内側には、食品等を収容するための複数のドアポケット211c(図3参照)が設けられている(右側の冷蔵室ドア212も同様)。製氷室22には、製氷室ドア221と一体に引き出される製氷室容器(図示せず)が設けられている。同様に、上段冷凍室23には上段冷凍室容器(図示せず)が設けられ、また、野菜室24には野菜室容器(図示せず)が設けられている他、下段冷凍室25には下段冷凍室容器(図示せず)が設けられている。
The refrigerator compartment 21 is provided with a plurality of shelf plates 213 (see FIG. 3) that partition the refrigerator compartment 21 in a predetermined manner. A plurality of door pockets 211c (see FIG. 3) for storing food and the like are provided inside the refrigerator compartment door 211 on the left side (the same applies to the refrigerator compartment door 212 on the right side). The ice making chamber 22 is provided with an ice making chamber container (not shown) that is pulled out integrally with the ice making chamber door 221 . Similarly, the upper freezer compartment 23 is provided with an upper freezer compartment container (not shown), and the vegetable compartment 24 is provided with a vegetable compartment container (not shown). A lower freezer compartment container (not shown) is provided.
また、冷蔵庫100は、図示はしないが、圧縮機と、放熱器(凝縮器)と、キャピラリチューブ(絞り機構)と、蒸発器と、を備えている。そして、圧縮機、放熱器、キャピラリチューブ、及び蒸発器を順次に介して冷媒が循環し、蒸発器を通流する冷媒との間の熱交換で、貯蔵室の空気が冷やされるようになっている。図1に示すカメラユニット3は、冷蔵庫100の貯蔵室等を撮像するものであり、筐体1の上面に設置されている。
Although not shown, the refrigerator 100 includes a compressor, a radiator (condenser), a capillary tube (throttle mechanism), and an evaporator. The refrigerant circulates sequentially through the compressor, radiator, capillary tube, and evaporator, and the air in the storage room is cooled by heat exchange with the refrigerant flowing through the evaporator. there is The camera unit 3 shown in FIG. 1 is for taking an image of the storage room of the refrigerator 100 and the like, and is installed on the upper surface of the housing 1 .
図2は、冷蔵庫100の側面図である。
図2に示すように、カメラユニット3は、本体部31と、支持部32と、を備えている。本体部31は、貯蔵室等を撮像する機能を有している。支持部32は、本体部31を支持するものであり、筐体1の上面に設置されている。 FIG. 2 is a side view ofrefrigerator 100 .
As shown in FIG. 2, thecamera unit 3 includes a body portion 31 and a support portion 32. As shown in FIG. The body part 31 has a function of capturing an image of a storage room or the like. The support portion 32 supports the body portion 31 and is installed on the upper surface of the housing 1 .
図2に示すように、カメラユニット3は、本体部31と、支持部32と、を備えている。本体部31は、貯蔵室等を撮像する機能を有している。支持部32は、本体部31を支持するものであり、筐体1の上面に設置されている。 FIG. 2 is a side view of
As shown in FIG. 2, the
本体部31の前端付近には、レンズ31a(図5も参照)が設けられている。レンズ31aは、光を屈折させて集束させる光学素子である。このようなレンズ31aとして、例えば、魚眼レンズが用いられる。そして、冷蔵室ドア211,212(図1参照)が開かれた場合に、カメラユニット3で冷蔵室21(図1参照)を撮像できるように、レンズ31aが下側に臨んだ状態になっている。
A lens 31a (see also FIG. 5) is provided near the front end of the main body 31. The lens 31a is an optical element that refracts and converges light. A fish-eye lens, for example, is used as such a lens 31a. When the refrigerator compartment doors 211 and 212 (see FIG. 1) are opened, the lens 31a faces downward so that the camera unit 3 can take an image of the refrigerator compartment 21 (see FIG. 1). there is
図2に示すように、レンズ31aは、筐体1の前端(筐体1の開口10)よりも前側に位置している。より好ましくは、レンズ31aは、閉状態の冷蔵室ドア211,212(図1参照)の前面よりもさらに前側に位置している。これによって、例えば、冷蔵室ドア211,212が開けられた際、レンズ31aの視野に冷蔵室21が入りやすくなる。なお、野菜室ドア241等の引出し式のドアが開かれた状態で、カメラユニット3によって野菜室24等(図1参照)を撮像することも可能である。このように、それぞれの貯蔵室を上から見下ろせる位置にレンズ31aが設けられている。
As shown in FIG. 2, the lens 31a is positioned forward of the front end of the housing 1 (the opening 10 of the housing 1). More preferably, the lens 31a is positioned further forward than the front surfaces of the refrigerator compartment doors 211 and 212 (see FIG. 1) in the closed state. As a result, for example, when the refrigerator compartment doors 211 and 212 are opened, the refrigerator compartment 21 can easily enter the field of view of the lens 31a. It is also possible to take an image of the vegetable compartment 24 and the like (see FIG. 1) with the camera unit 3 in a state where the drawer-type door such as the vegetable compartment door 241 is opened. In this manner, the lens 31a is provided at a position where each storage chamber can be viewed from above.
図3は、冷蔵庫100の左右の冷蔵室ドア211,212が開かれた状態の正面図である。
前記したように、左側の冷蔵室ドア211の内板211bには、食品等を収容するための複数のドアポケット211cが設けられている(右側の冷蔵室ドア212も同様)。そして、左右の冷蔵室ドア211,212が開けられると、冷蔵室21やドアポケット211c,212cの食品等が、カメラユニット3のレンズ31aの視野に俯瞰的に入るようになっている(図10も参照)。 FIG. 3 is a front view ofrefrigerator 100 with left and right refrigerator compartment doors 211 and 212 opened.
As described above, theinner plate 211b of the left refrigerating compartment door 211 is provided with a plurality of door pockets 211c for storing foodstuffs and the like (the same applies to the right refrigerating compartment door 212). When the left and right refrigerator compartment doors 211 and 212 are opened, food items in the refrigerator compartment 21 and the door pockets 211c and 212c enter the field of vision of the lens 31a of the camera unit 3 (FIG. 10). see also).
前記したように、左側の冷蔵室ドア211の内板211bには、食品等を収容するための複数のドアポケット211cが設けられている(右側の冷蔵室ドア212も同様)。そして、左右の冷蔵室ドア211,212が開けられると、冷蔵室21やドアポケット211c,212cの食品等が、カメラユニット3のレンズ31aの視野に俯瞰的に入るようになっている(図10も参照)。 FIG. 3 is a front view of
As described above, the
図3に示す回転仕切211dは、冷蔵室ドア211,212の間の隙間からの冷気漏れを抑制するための仕切体である。図3の例では、左側の冷蔵室ドア211において、ヒンジ211a(図4参照)の軸とは反対側の端部に回転仕切211dが設けられ、冷蔵室ドア211の開閉に伴って所定に回転するようになっている。
A rotary partition 211d shown in FIG. 3 is a partition for suppressing cold air leakage from the gap between the refrigerator compartment doors 211 and 212. In the example of FIG. 3, in the refrigerator compartment door 211 on the left side, a rotating partition 211d is provided at the end opposite to the shaft of the hinge 211a (see FIG. 4), and rotates as the refrigerator compartment door 211 opens and closes. It is designed to
また、カメラユニット3を用いて冷蔵室21を手動で撮影する際、ユーザによって押される撮影ボタン7が、左右の冷蔵室ドア211,212にひとつずつ設けられている。図3の例では、左側の冷蔵室ドア211(扉)において、この冷蔵室ドア211のヒンジ211a(図4参照)とは反対側の面の下部に、撮影ボタン7が設けられている(右側の冷蔵室ドア212も同様)。別の観点から説明すると、左右の冷蔵室ドア211,212が閉まっている状態(図1参照)において、冷蔵室ドア211,212の一方が他方と対向している面(図3の回転仕切211dの付近)に撮影ボタン7が設けられている。
Also, when manually photographing the refrigerator compartment 21 using the camera unit 3, the left and right refrigerator compartment doors 211 and 212 are each provided with a shooting button 7 that is pressed by the user. In the example of FIG. 3, in the refrigerator compartment door 211 (door) on the left side, a photographing button 7 is provided at the bottom of the surface opposite to the hinge 211a (see FIG. 4) of the refrigerator compartment door 211 (right side). The same applies to the refrigerating compartment door 212 of . From another point of view, when the left and right refrigerator compartment doors 211 and 212 are closed (see FIG. 1), one of the refrigerator compartment doors 211 and 212 faces the other (rotating partition 211d in FIG. 3). ) is provided with a shooting button 7 .
これら2つの撮影ボタン7のうち少なくとも一方がユーザによって押された場合に行う撮影を「手動撮影」という。また、冷蔵室ドア211,212の開き始めのタイミングからの経過時間に基づいて、制御部8(図7参照)が行う撮影を「自動撮影」という。
Shooting performed when at least one of these two shooting buttons 7 is pressed by the user is called "manual shooting". Also, the photographing performed by the control unit 8 (see FIG. 7) based on the elapsed time from the timing at which the refrigerator compartment doors 211 and 212 start to open is referred to as "automatic photographing".
図4は、冷蔵庫100の左右の冷蔵室ドア211,212が開かれた状態の平面図である。
図4の例では、左右方向において、冷蔵庫100の筐体1の中央よりも若干左側にカメラユニット3の本体部31が配置されている。より詳しく説明すると、閉状態の冷蔵室ドア211,212の合わせ目の真上にカメラユニット3の本体部31が配置されている(図1も参照)。このように本体部31を配置することで、例えば、冷蔵室ドア211,212が開けられた場合に、ドアポケット211c,212cの食品等がカメラユニット3の視野に入りやすくなる。 FIG. 4 is a plan view ofrefrigerator 100 with left and right refrigerator compartment doors 211 and 212 opened.
In the example of FIG. 4, themain body portion 31 of the camera unit 3 is arranged slightly to the left of the center of the housing 1 of the refrigerator 100 in the horizontal direction. More specifically, the main body 31 of the camera unit 3 is arranged directly above the seam between the refrigerator compartment doors 211 and 212 in the closed state (see also FIG. 1). By arranging the body portion 31 in this way, for example, when the refrigerator compartment doors 211 and 212 are opened, food items in the door pockets 211c and 212c can easily enter the field of view of the camera unit 3, for example.
図4の例では、左右方向において、冷蔵庫100の筐体1の中央よりも若干左側にカメラユニット3の本体部31が配置されている。より詳しく説明すると、閉状態の冷蔵室ドア211,212の合わせ目の真上にカメラユニット3の本体部31が配置されている(図1も参照)。このように本体部31を配置することで、例えば、冷蔵室ドア211,212が開けられた場合に、ドアポケット211c,212cの食品等がカメラユニット3の視野に入りやすくなる。 FIG. 4 is a plan view of
In the example of FIG. 4, the
また、冷蔵庫100を使用する際、ユーザは、冷蔵室ドア211,212の合わせ目(境界部)を意識することが多い。したがって、冷蔵室ドア211,212の合わせ目の真上に本体部31を配置することで、本体部31の左右方向の位置が合わせ目から外れている場合に比べて、ユーザが違和感を感じることを抑制できる。
Also, when using the refrigerator 100, the user is often conscious of the seam (boundary) between the refrigerator compartment doors 211 and 212. Therefore, by arranging the body part 31 directly above the seam of the refrigerator compartment doors 211 and 212, the user does not feel uncomfortable compared to the case where the body part 31 is displaced from the seam in the left-right direction. can be suppressed.
図5は、カメラユニット3を斜め下から見上げた場合の斜視図である。
図5に示すカメラユニット3の本体部31は、前記したレンズ31a(図2も参照)の他に、ケース31bと、カメラLED31c(Light Emitting Diode:照明部)と、を備えている。図5の例では、本体部31のケース31bは、概ね、前後方向に細長い直方体状を呈している。ケース31bの前端付近の下面には、円形状の孔(符号は図示せず)が設けられ、この孔を介してレンズ31aが露出している。また、レンズ31aの後側(奥側)にカメラLED31cが設けられている。 FIG. 5 is a perspective view of thecamera unit 3 as viewed obliquely from below.
Abody portion 31 of the camera unit 3 shown in FIG. 5 includes a case 31b and a camera LED 31c (Light Emitting Diode: illumination portion) in addition to the lens 31a (see also FIG. 2). In the example of FIG. 5, the case 31b of the main body 31 has a substantially rectangular parallelepiped shape elongated in the front-rear direction. A circular hole (not shown) is provided on the lower surface near the front end of the case 31b, through which the lens 31a is exposed. A camera LED 31c is provided on the rear side (deep side) of the lens 31a.
図5に示すカメラユニット3の本体部31は、前記したレンズ31a(図2も参照)の他に、ケース31bと、カメラLED31c(Light Emitting Diode:照明部)と、を備えている。図5の例では、本体部31のケース31bは、概ね、前後方向に細長い直方体状を呈している。ケース31bの前端付近の下面には、円形状の孔(符号は図示せず)が設けられ、この孔を介してレンズ31aが露出している。また、レンズ31aの後側(奥側)にカメラLED31cが設けられている。 FIG. 5 is a perspective view of the
A
カメラLED31cは、カメラユニット3が冷蔵室21(図3参照)やドアポケット211c,212c(図3参照)を適度な明るさのもとで撮影できるように、冷蔵室21等に光を照射する光源である。また、カメラLED31c(照明部)は、冷蔵庫100の筐体1(図2参照)の外側に設けられている。詳細については後記するが、第1実施形態では、冷蔵庫100の庫内灯4(図7参照)を消灯しつつ、カメラLED31cを点灯させた状態で、カメラユニット3が冷蔵室21等(図3参照)を撮影するようにしている。
The camera LED 31c illuminates the refrigerator compartment 21 and the like so that the camera unit 3 can photograph the refrigerator compartment 21 (see FIG. 3) and the door pockets 211c and 212c (see FIG. 3) under moderate brightness. A light source. Further, the camera LED 31c (illumination unit) is provided outside the housing 1 (see FIG. 2) of the refrigerator 100. As shown in FIG. Although the details will be described later, in the first embodiment, while the interior light 4 (see FIG. 7) of the refrigerator 100 is turned off, the camera unit 3 is turned on while the camera LED 31c is turned on. reference).
図5に示すように、カメラLED31cの前側にレンズ31aを設けることで、冷蔵室ドア211,212が開けられた状態で、冷蔵室21等(図3参照)からの反射光がレンズ31aに入射しやすくなる。したがって、冷蔵室21等に収容されている食品を適切に撮影できる。なお、冷蔵庫100の筐体1(図2参照)の前端(筐体1の開口10)よりも前側にカメラLED31cが位置していることが好ましい。これによって、カメラLED31cから照射された光が冷蔵室21等に入射しやすくなり、ひいては、鮮明な撮影結果が得られやすくなる。
As shown in FIG. 5, by providing the lens 31a on the front side of the camera LED 31c, with the refrigerator compartment doors 211 and 212 opened, the reflected light from the refrigerator compartment 21 and the like (see FIG. 3) enters the lens 31a. easier to do. Therefore, the food stored in the refrigerator compartment 21 or the like can be photographed appropriately. It is preferable that the camera LED 31c is positioned in front of the front end (the opening 10 of the housing 1) of the housing 1 (see FIG. 2) of the refrigerator 100. As shown in FIG. This makes it easier for the light emitted from the camera LED 31c to enter the refrigerating compartment 21 and the like, thereby making it easier to obtain a clear photographing result.
図6Aは、カメラユニット3の正面図である。
図6Aに示すように、カメラユニット3の本体部31が支持部32の上側に設置されている。また、左右方向において、支持部32の中央付近に本体部31が設置されている。 6A is a front view of thecamera unit 3. FIG.
As shown in FIG. 6A, thebody portion 31 of the camera unit 3 is installed above the support portion 32 . Further, the body portion 31 is installed near the center of the support portion 32 in the left-right direction.
図6Aに示すように、カメラユニット3の本体部31が支持部32の上側に設置されている。また、左右方向において、支持部32の中央付近に本体部31が設置されている。 6A is a front view of the
As shown in FIG. 6A, the
図6Bは、図6AのII-II線矢視断面図である。
図6Bに示すように、カメラユニット3は、レンズ31a(図5も参照)やカメラLED31c(図5も参照)、ケース31bを備える他、回路基板31dを備えている。回路基板31dは、後記する撮像素子31e(図7参照)やカメラ/通信制御SoC31f(System-on-a-Chip:図7参照)が実装されたプリント基板である。このように、レンズ31aやカメラLED31c、回路基板31dを一つのケース31bに収容することで、これらを別体で設ける場合と比べて、カメラユニット3を小型化できるとともに、配線の長さを短縮できる。 FIG. 6B is a cross-sectional view taken along line II-II of FIG. 6A.
As shown in FIG. 6B, thecamera unit 3 includes a lens 31a (see also FIG. 5), a camera LED 31c (see also FIG. 5), a case 31b, and a circuit board 31d. The circuit board 31d is a printed board on which an imaging device 31e (see FIG. 7) and a camera/communication control SoC 31f (System-on-a-Chip: see FIG. 7) are mounted. By housing the lens 31a, the camera LED 31c, and the circuit board 31d in one case 31b in this way, the camera unit 3 can be made smaller and the wiring length can be shortened compared to the case where these are provided separately. can.
図6Bに示すように、カメラユニット3は、レンズ31a(図5も参照)やカメラLED31c(図5も参照)、ケース31bを備える他、回路基板31dを備えている。回路基板31dは、後記する撮像素子31e(図7参照)やカメラ/通信制御SoC31f(System-on-a-Chip:図7参照)が実装されたプリント基板である。このように、レンズ31aやカメラLED31c、回路基板31dを一つのケース31bに収容することで、これらを別体で設ける場合と比べて、カメラユニット3を小型化できるとともに、配線の長さを短縮できる。 FIG. 6B is a cross-sectional view taken along line II-II of FIG. 6A.
As shown in FIG. 6B, the
図7は、冷蔵庫100のカメラユニット3を含むシステム構成図である。
図7に示すように、冷蔵庫100は、カメラユニット3の他に、庫内灯4と、ブザー5と、ドアセンサ6と、撮影ボタン7と、制御部8と、を備えている。庫内灯4は、冷蔵庫100の庫内に光を照射する光源であり、筐体1の内側に設けられている。ブザー5は、例えば、カメラユニット3による撮影において、庫内灯4を消灯する際に鳴らされるものであり、筐体1の所定箇所に設置されている。 FIG. 7 is a system configuration diagram including thecamera unit 3 of the refrigerator 100. As shown in FIG.
As shown in FIG. 7 , therefrigerator 100 includes an interior light 4 , a buzzer 5 , a door sensor 6 , a photographing button 7 , and a control section 8 in addition to the camera unit 3 . The interior light 4 is a light source that irradiates the interior of the refrigerator 100 with light, and is provided inside the housing 1 . The buzzer 5 is, for example, sounded when the interior light 4 is turned off during photographing by the camera unit 3 , and is installed at a predetermined location on the housing 1 .
図7に示すように、冷蔵庫100は、カメラユニット3の他に、庫内灯4と、ブザー5と、ドアセンサ6と、撮影ボタン7と、制御部8と、を備えている。庫内灯4は、冷蔵庫100の庫内に光を照射する光源であり、筐体1の内側に設けられている。ブザー5は、例えば、カメラユニット3による撮影において、庫内灯4を消灯する際に鳴らされるものであり、筐体1の所定箇所に設置されている。 FIG. 7 is a system configuration diagram including the
As shown in FIG. 7 , the
ドアセンサ6は、冷蔵室ドア211,212の開閉状態を示す所定の信号を制御部8に出力する。なお、図7ではひとつのドアセンサ6を示しているが、実際には、左側の冷蔵室ドア211(図1参照)に対応するドアセンサ6と、右側の冷蔵室ドア212(図1参照)に対応する別のドアセンサ6と、が設けられている。例えば、左側の冷蔵室ドア211が開かれた場合には、この冷蔵室ドア211に対応するドアセンサ6から制御部8に開信号が出力される。撮影ボタン7(図3も参照)は、前記したように、カメラユニット3を用いて手動で撮影する際、ユーザによって押されるボタンである。
The door sensor 6 outputs a predetermined signal indicating the open/closed state of the refrigerator compartment doors 211 and 212 to the controller 8 . Although FIG. 7 shows one door sensor 6, it actually corresponds to the door sensor 6 corresponding to the left refrigerating compartment door 211 (see FIG. 1) and the right refrigerating compartment door 212 (see FIG. 1). There is provided another door sensor 6 for For example, when the left refrigerator compartment door 211 is opened, the door sensor 6 corresponding to this refrigerator compartment door 211 outputs an open signal to the controller 8 . The shooting button 7 (see also FIG. 3) is a button that is pressed by the user when shooting manually using the camera unit 3, as described above.
制御部8は、例えば、マイコンであり、図示はしないが、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、各種インタフェース等の電子回路を含んで構成されている。そして、ROMに記憶されたプログラムを読み出してRAMに展開し、CPUが各種処理を実行するようになっている。制御部8は、前記した「自動撮影」を行う他、撮影ボタン7が押された場合には、「手動撮影」を行う。なお、制御部8が行う処理の詳細については後記する。
The control unit 8 is, for example, a microcomputer, and includes electronic circuits such as a CPU (Central Processing Unit), ROM (Read Only Memory), RAM (Random Access Memory), and various interfaces (not shown). . Then, the program stored in the ROM is read out and developed in the RAM, and the CPU executes various processes. The control unit 8 performs "automatic shooting" as described above, and also performs "manual shooting" when the shooting button 7 is pressed. Details of the processing performed by the control unit 8 will be described later.
カメラユニット3は、レンズ31a(図5も参照)やカメラLED31c(図5も参照)の他、撮像素子31eと、カメラ/通信制御SoC31fと、無線LANユニット31gと、を備えている。撮像素子31eは、レンズ31aを介して入射する光を光電変換し、撮影画像データを生成する素子である。このような撮像素子31eとして、例えば、CCDセンサ(Charge Coupled Device)やCMOSセンサ(Complementary Metal Oxide Semiconductor)が用いられる。
The camera unit 3 includes a lens 31a (see also FIG. 5), a camera LED 31c (see also FIG. 5), an imaging device 31e, a camera/communication control SoC 31f, and a wireless LAN unit 31g. The imaging device 31e is a device that photoelectrically converts light incident through the lens 31a to generate captured image data. For example, a CCD sensor (Charge Coupled Device) or a CMOS sensor (Complementary Metal Oxide Semiconductor) is used as such an imaging device 31e.
カメラ/通信制御SoC31fは、マイコンの機能や他の応用的な機能を有する回路を1チップ上に集積し、連携して機能するよう設計された集積回路である。カメラ/通信制御SoC31fは、制御部8との間で所定に通信を行い、撮像素子31eに撮影指令を出力する。これによって、撮像素子31eからカメラ/通信制御SoC31fに撮影画像データが入力される。なお、カメラ/通信制御SoC31fは集積回路の一例であり、他の種類のものを用いるようにしてもよい。
The camera/communication control SoC 31f is an integrated circuit designed to integrate circuits with microcomputer functions and other applied functions on a single chip and work together. The camera/communication control SoC 31f performs predetermined communication with the control unit 8 and outputs a photographing command to the image sensor 31e. As a result, captured image data is input from the image sensor 31e to the camera/communication control SoC 31f. Note that the camera/communication control SoC 31f is an example of an integrated circuit, and other types may be used.
図7に示す撮影部30は、少なくとも冷蔵室21等(貯蔵室)を撮影する機能を有し、冷蔵庫100の筐体1(図1参照)の外側に設けられている。図7に示すように、撮影部30は、レンズ31aと、撮像素子31eと、カメラ/通信制御SoC31fと、を含んで構成されている。
The photographing unit 30 shown in FIG. 7 has a function of photographing at least the refrigerator compartment 21 (storage room), and is provided outside the housing 1 (see FIG. 1) of the refrigerator 100 . As shown in FIG. 7, the photographing unit 30 includes a lens 31a, an imaging device 31e, and a camera/communication control SoC 31f.
無線LANユニット31gは、カメラ/通信制御SoC31fから出力される撮影画像データをルータ51に送信する。ルータ51は、通信の中継機器であり、無線LANユニット31gから受信した撮影画像データをネットワーク52を介して、サーバ53に送信する。サーバ53は、撮影画像データについて所定の処理を行い、冷蔵庫100の識別情報に対応付けて保存する。また、サーバ53は、ユーザの携帯端末54から冷蔵庫100の庫内画像の要求信号を受信した場合、撮影画像データを携帯端末54に送信する。このような携帯端末54として、携帯電話やスマートフォンの他、タブレットやウェアラブル端末等が用いられる。
The wireless LAN unit 31g transmits the captured image data output from the camera/communication control SoC 31f to the router 51. The router 51 is a communication relay device, and transmits captured image data received from the wireless LAN unit 31 g to the server 53 via the network 52 . The server 53 performs predetermined processing on the captured image data, and stores the processed image data in association with the identification information of the refrigerator 100 . When server 53 receives a request signal for an image of the inside of refrigerator 100 from mobile terminal 54 of the user, server 53 transmits captured image data to mobile terminal 54 . As such a mobile terminal 54, a tablet, a wearable terminal, or the like is used in addition to a mobile phone or a smart phone.
<制御部の処理>
図8A、図8Bは、冷蔵庫の制御部が実行する自動撮影の処理のフローチャートである(適宜、図7を参照)。
以下では、一例として、冷蔵室ドア211,212(図3参照)のうちの少なくとも一方が開かれた場合に、カメラユニット3が冷蔵室21を撮影する処理について説明する。なお、図8Aの「START」時には、左右の冷蔵室ドア211,212(図3参照)が閉状態であるものとする。また、ユーザによる携帯端末54(図7参照)の操作で、自動撮影の設定のオン/オフや、手動撮影の設定のオン/オフを切り替えることができるようになっている。図8A、図8Bの例では、自動撮影の設定がオン(自動撮影可能)であり、さらに、手動撮影の設定もオン(手動撮影可能)になっているものとする。 <Processing of control section>
8A and 8B are flowcharts of automatic photographing processing executed by the control unit of the refrigerator (see FIG. 7 as needed).
In the following, as an example, a process will be described in which thecamera unit 3 takes an image of the refrigerator compartment 21 when at least one of the refrigerator compartment doors 211 and 212 (see FIG. 3) is opened. It is assumed that the left and right refrigerator compartment doors 211 and 212 (see FIG. 3) are closed at the time of "START" in FIG. 8A. Further, the user can switch on/off the setting of automatic shooting and on/off the setting of manual shooting by operating the portable terminal 54 (see FIG. 7). In the example of FIGS. 8A and 8B, it is assumed that automatic shooting is set to ON (automatic shooting is possible), and manual shooting is also set to ON (manual shooting is possible).
図8A、図8Bは、冷蔵庫の制御部が実行する自動撮影の処理のフローチャートである(適宜、図7を参照)。
以下では、一例として、冷蔵室ドア211,212(図3参照)のうちの少なくとも一方が開かれた場合に、カメラユニット3が冷蔵室21を撮影する処理について説明する。なお、図8Aの「START」時には、左右の冷蔵室ドア211,212(図3参照)が閉状態であるものとする。また、ユーザによる携帯端末54(図7参照)の操作で、自動撮影の設定のオン/オフや、手動撮影の設定のオン/オフを切り替えることができるようになっている。図8A、図8Bの例では、自動撮影の設定がオン(自動撮影可能)であり、さらに、手動撮影の設定もオン(手動撮影可能)になっているものとする。 <Processing of control section>
8A and 8B are flowcharts of automatic photographing processing executed by the control unit of the refrigerator (see FIG. 7 as needed).
In the following, as an example, a process will be described in which the
ステップS101において制御部8は、ドアセンサ6から開信号の入力があったか否かを判定する。つまり、制御部8は、左右の冷蔵室ドア211,212(図3参照)のうちの少なくとも一方が開かれたか否かを判定する。ステップS101において、ドアセンサ6から開信号の入力がない場合(S101:No)、制御部8は、ステップS101の処理を繰り返す。一方、ステップS101において、ドアセンサ6から開信号の入力があった場合(S101:Yes)、制御部8の処理はステップS102に進む。
In step S101, the control unit 8 determines whether or not an open signal has been input from the door sensor 6. That is, the control unit 8 determines whether or not at least one of the left and right refrigerator compartment doors 211 and 212 (see FIG. 3) is opened. In step S101, when there is no open signal input from the door sensor 6 (S101: No), the control section 8 repeats the process of step S101. On the other hand, in step S101, when an open signal is input from the door sensor 6 (S101: Yes), the process of the control section 8 proceeds to step S102.
ステップS102において制御部8は、冷蔵庫100の庫内灯4を点灯させるとともに、カメラLED31cを点灯させる。つまり、制御部8は、冷蔵室ドア211,212(扉)の少なくとも一方が開かれた直後には庫内灯4を点灯させるとともに、カメラLED31c(照明部)も点灯させる。後記するように、ドアセンサ6から開信号が入力されてから所定時間が経過した後、制御部8が庫内灯4を消灯させるが(S103:Yes、S104)、それまでは庫内灯4を点灯させる。これによって、冷蔵室21に光が照射されるため、ユーザが冷蔵室21を視認しやすくなる。また、ユーザが冷蔵室ドア211,212のうち少なくとも一方を開けたときに庫内灯4が消灯している場合に比べて、ユーザが違和感を感じることを抑制できる。
In step S102, the control unit 8 turns on the interior light 4 of the refrigerator 100 and turns on the camera LED 31c. That is, immediately after at least one of the refrigerator compartment doors 211 and 212 (door) is opened, the control section 8 turns on the interior light 4 and also turns on the camera LED 31c (illumination section). As will be described later, the controller 8 turns off the interior light 4 after a predetermined period of time has elapsed since the door sensor 6 input the open signal (S103: Yes, S104). light up. As a result, the refrigerator compartment 21 is illuminated with light, which makes it easier for the user to visually recognize the refrigerator compartment 21 . Moreover, compared with the case where the interior light 4 is turned off when the user opens at least one of the refrigerator compartment doors 211 and 212, it is possible to prevent the user from feeling uncomfortable.
さらに、制御部8が庫内灯4とともにカメラLED31cも点灯させることで(S102)、その後の撮影(S106)に備えることができる。また、庫内灯4とカメラLED31cとをタイミングをずらして点灯させる場合に比べて、撮影時の露光調整に要する時間を短縮できる。なお、カメラLED31cは、左右の冷蔵室ドア211,212の両方が閉められるまで点灯され続ける。
Furthermore, the control unit 8 turns on the camera LED 31c as well as the interior light 4 (S102) to prepare for the subsequent photographing (S106). In addition, compared to the case where the interior light 4 and the camera LED 31c are turned on at different timings, the time required for exposure adjustment during photography can be shortened. Note that the camera LED 31c continues to be lit until both the left and right refrigerator compartment doors 211 and 212 are closed.
次に、ステップS103において制御部8は、ドアセンサ6から開信号の入力があった時点から所定時間が経過したか否かを判定する。この所定時間(例えば、数秒間)は、庫内灯4が消灯(S104)されるまでの時間であり、予め設定されている。例えば、その後の露光調整(S105)の時間も考慮して、撮影時(S106)に冷蔵室ドア211,212が所定の開角度以上に開かれている可能性が高くなるように、ステップS103の所定時間が予め設定されている。
Next, in step S103, the control unit 8 determines whether or not a predetermined time has passed since the door sensor 6 received an open signal. This predetermined time (for example, several seconds) is the time until the interior light 4 is turned off (S104), and is set in advance. For example, in consideration of the subsequent exposure adjustment time (S105), it is highly possible that the refrigerator compartment doors 211 and 212 are opened at a predetermined opening angle or more at the time of photographing (S106). A predetermined time is set in advance.
ステップS103において、ドアセンサ6から開信号の入力があった時点から所定時間が経過していない場合(S103:No)、制御部8は、ステップS103の処理を繰り返す。一方、ドアセンサ6から開信号の入力があった時点から所定時間が経過した場合(S103:Yes)、制御部8の処理はステップS104に進む。
In step S103, if the predetermined time has not passed since the door sensor 6 input the open signal (S103: No), the control unit 8 repeats the process of step S103. On the other hand, if the predetermined time has passed since the door sensor 6 input the open signal (S103: Yes), the process of the control unit 8 proceeds to step S104.
ステップS104において制御部8は、庫内灯4を消灯するとともに、ブザー5を鳴らす。すなわち、制御部8は、冷蔵室ドア211,212(扉)の少なくとも一方が開かれた後、庫内灯4を消灯する際、ブザー5を鳴らす。このようにブザー5を鳴らすことで、庫内灯4が消灯した際にユーザが感じる違和感を低減できる他、撮影のための消灯であることをユーザが把握しやすくなる。
At step S104, the control unit 8 turns off the interior light 4 and sounds the buzzer 5. That is, the control unit 8 sounds the buzzer 5 when turning off the interior light 4 after at least one of the refrigerator compartment doors 211 and 212 (doors) is opened. By sounding the buzzer 5 in this way, it is possible to reduce the sense of discomfort felt by the user when the interior light 4 is turned off, and it is possible for the user to easily recognize that the lighting is being turned off for photographing.
次に、ステップS105において制御部8は、露光調整を行う。つまり、制御部8は、撮像素子31eから出力される電気信号を増幅する際のゲイン(明るさに対する感度)を調整する他、カメラユニット3のシャッタスピード等を調整する。例えば、制御部8は、撮影画像データの輝度の平均値が所定範囲内に含まれるように、前記したゲインを調整する。このように露光調整を行うことで、撮影画像における白飛び(ハレーション)や黒つぶれを抑制できる。なお、冷蔵室ドア211,212のうち少なくとも一方が開かれてから、冷蔵室ドア211,212の両方が閉じられるまで、画像入力や露光調整が所定に繰り返されるようにしてもよい。
Next, in step S105, the control unit 8 performs exposure adjustment. That is, the control unit 8 adjusts the gain (sensitivity to brightness) when amplifying the electrical signal output from the imaging element 31e, and also adjusts the shutter speed of the camera unit 3 and the like. For example, the control unit 8 adjusts the gain so that the average value of the brightness of the captured image data is within a predetermined range. By adjusting the exposure in this way, it is possible to suppress blown-out highlights (halation) and blocked-up shadows in the captured image. Note that image input and exposure adjustment may be repeated in a predetermined manner from when at least one of the refrigerator compartment doors 211 and 212 is opened until both of the refrigerator compartment doors 211 and 212 are closed.
次に、ステップS106において制御部8は、撮影指令を出力する。すなわち、制御部8は、光電変換によって撮像素子31eから出力され、さらに、所定のゲインで増幅された電気信号を撮影画像データとして取り込む。このように、制御部8は、冷蔵室ドア211,212(扉)の少なくとも一方が開かれた後(S101:Yes)、庫内灯4を消灯し、さらに、カメラLED31c(照明部)を点灯させた状態で撮影部30に撮影を行わせる(S102、S104、S106)。
Next, in step S106, the control unit 8 outputs a shooting command. That is, the control unit 8 takes in an electric signal output from the image sensor 31e by photoelectric conversion and further amplified by a predetermined gain as photographed image data. In this way, after at least one of the refrigerator compartment doors 211 and 212 (doors) is opened (S101: Yes), the controller 8 turns off the interior light 4 and turns on the camera LED 31c (illumination part). Then, the photographing unit 30 is caused to photograph (S102, S104, S106).
なお、図8A、図8Bには特に示していないが、庫内灯4を消灯してから所定時間(例えば、数秒間)が経過した後、制御部8が撮影部30に撮影を行わせることが好ましい。このように庫内灯4の消灯から撮影までの間に所定時間を設けることで、露光調整(S105)を適切に行うことができる。
Although not particularly shown in FIGS. 8A and 8B, after a predetermined time (for example, several seconds) has passed since the interior light 4 was turned off, the control unit 8 causes the image capturing unit 30 to perform image capturing. is preferred. By setting a predetermined time between turning off the interior light 4 and photographing in this way, the exposure adjustment (S105) can be performed appropriately.
また、図8A、図8Bには特に示していないが、1回目の撮影時から所定時間が経過するたびに、制御部8が撮影を行うようにしてもよい。この所定時間の長さは、ステップS103における所定時間と同一であってもよいし、また、異なっていてもよい。
Also, although not particularly shown in FIGS. 8A and 8B, the control unit 8 may take an image every time a predetermined time elapses from the time of the first image capturing. The length of this predetermined period of time may be the same as the predetermined period of time in step S103, or may be different.
ステップS107において制御部8は、冷蔵室ドア211,212の開角度を認識する。例えば、制御部8は、エッジ検出といった画像処理を行うことで、冷蔵室ドア211,212のうち開かれているものの開角度を認識する。なお、「開角度」とは、冷蔵室ドア211,212が開いている角度であり、例えば、冷蔵庫100を平面視した場合の筐体1(図4参照)の前端を基準として認識される。
In step S107, the control unit 8 recognizes the opening angles of the refrigerator compartment doors 211 and 212. For example, the control unit 8 recognizes the opening angle of the opened one of the refrigerator compartment doors 211 and 212 by performing image processing such as edge detection. The "opening angle" is the angle at which the refrigerator compartment doors 211 and 212 are opened, and is recognized based on, for example, the front end of the housing 1 (see FIG. 4) when the refrigerator 100 is viewed from above.
次に、図8BのステップS108において制御部8は、冷蔵室ドア211,212の開角度が所定値以上であるか否かを判定する。この所定値は、撮影結果を保存するか(S109)、それとも破棄するか(S110)を選択する際の判定基準となる開角度の閾値であり、予め設定されている。
Next, in step S108 of FIG. 8B, the control unit 8 determines whether or not the opening angle of the refrigerator compartment doors 211, 212 is equal to or greater than a predetermined value. This predetermined value is a threshold value of the opening angle that serves as a criterion for selecting whether to save the photographed result (S109) or discard it (S110), and is set in advance.
ステップS108において、冷蔵室ドア211,212のうち少なくとも一方の開角度が所定値以上である場合(S108:Yes)、制御部8の処理はステップS109に進む。ステップS109において制御部8は、撮影結果を保存して、ステップS112の処理に進む。冷蔵室ドア211,212の開角度が所定値以上である場合には、冷蔵室21等が適切に撮影されている可能性が高いからである。
In step S108, if the opening angle of at least one of the refrigerator compartment doors 211 and 212 is greater than or equal to the predetermined value (S108: Yes), the processing of the control unit 8 proceeds to step S109. In step S109, the control unit 8 saves the imaging result, and proceeds to the process of step S112. This is because when the opening angle of the refrigerator compartment doors 211 and 212 is equal to or greater than a predetermined value, there is a high possibility that the refrigerator compartment 21 and the like are properly photographed.
なお、左側の冷蔵室ドア211のみが開かれているときの撮影結果と、右側の冷蔵室ドア212のみが開かれているときの撮影結果と、左右の冷蔵室ドア211,212の両方が開かれているときの撮影結果と、が異なる記憶領域に保存されるようにしてもよい。
Note that the imaging result when only the left refrigerator compartment door 211 is open, the imaging result when only the right refrigerator compartment door 212 is open, and the imaging results when both the left and right refrigerator compartment doors 211 and 212 are open. The photographing result obtained when the camera is being held may be saved in a different storage area.
また、ステップS108において、冷蔵室ドア211,212の開角度がいずれも所定値未満である場合(S108:No)、制御部8の処理はステップS110に進む。ステップS110において制御部8は、撮影結果を破棄する。冷蔵室ドア211,212の開角度が所定値未満である場合には、冷蔵室21等が適切に撮像されていない可能性が高いからである。
Also, in step S108, if the opening angles of the refrigerator compartment doors 211 and 212 are both less than the predetermined value (S108: No), the processing of the control unit 8 proceeds to step S110. In step S110, the control unit 8 discards the photographed result. This is because when the opening angle of the refrigerator compartment doors 211 and 212 is less than the predetermined value, there is a high possibility that the refrigerator compartment 21 and the like are not properly imaged.
そして、ステップS111において制御部8は、ブザー5を鳴らす。すなわち、冷蔵室ドア211,212(扉)の開角度が所定値未満の状態で撮影を行った場合(S108:No)、制御部8は、ブザー5を鳴らす(S111)。これによって、今回の撮影結果が破棄されたことをユーザに知らせることができる。なお、ステップS111におけるブザー5の音と、ステップS104(庫内灯4の消灯時)のブザー5の音と、を異なるものにして、ユーザが両者を区別できるようにしてもよい。ステップS111の処理を行った後、制御部8の処理はステップS112に進む。ブザー5の鳴動に代えて、光、振動などユーザが知覚可能な出力を冷蔵庫100又はユーザが使用する携帯端末54に行わせてもよい。
Then, in step S111, the control unit 8 sounds the buzzer 5. That is, when the photographing is performed in a state where the opening angle of the refrigerator compartment doors 211 and 212 (doors) is less than the predetermined value (S108: No), the control unit 8 sounds the buzzer 5 (S111). This makes it possible to inform the user that the photographing result of this time has been discarded. The sound of the buzzer 5 in step S111 and the sound of the buzzer 5 in step S104 (when the interior light 4 is turned off) may be made different so that the user can distinguish between them. After performing the process of step S111, the process of the control part 8 progresses to step S112. Instead of sounding the buzzer 5, the refrigerator 100 or the portable terminal 54 used by the user may be caused to output an output perceivable by the user, such as light or vibration.
ステップS112において制御部8は、庫内灯4を点灯させる。つまり、制御部8は、カメラLED31cを点灯させたまま、庫内灯4も点灯させる。このように、制御部8が、撮影部30に撮影を行わせた後(図8AのS106)、庫内灯4を点灯させる(図8BのS112)。これによって、冷蔵室21が明るく照らされるため、ユーザが冷蔵室21を視認しやすくなる。
At step S112, the control unit 8 turns on the interior light 4. In other words, the control unit 8 turns on the interior light 4 while keeping the camera LED 31c turned on. In this way, after the control unit 8 causes the photographing unit 30 to photograph (S106 in FIG. 8A), the interior light 4 is turned on (S112 in FIG. 8B). As a result, the refrigerator compartment 21 is brightly illuminated, making it easier for the user to visually recognize the refrigerator compartment 21 .
次に、ステップS113において制御部8は、ドアセンサ6から閉信号の入力があったか否かを判定する。ドアセンサ6から閉信号の入力がない場合(S113:No)、制御部8は、ステップS102へ戻る。一方、ドアセンサ6から閉信号の入力があった場合(S113:Yes)、制御部8の処理はステップS114に進む。
Next, in step S113, the control unit 8 determines whether or not a close signal has been input from the door sensor 6. If there is no close signal input from the door sensor 6 (S113: No), the controller 8 returns to step S102. On the other hand, if the close signal is input from the door sensor 6 (S113: Yes), the process of the control section 8 proceeds to step S114.
ステップS114において制御部8は、庫内灯4を消灯するとともに、カメラLED31cを消灯する。
ステップS115において制御部8は、撮影結果を選定する。例えば、制御部8は、保存されている複数の撮影結果のうち、最も新しいものをサーバ53への送信用の撮影結果として選定する。このように、撮影ごとに撮影結果の保存または破棄を完了させることで、制御部8の必要な記憶量の低減、サーバ53への送信が必要なデータ量の低減、又は、破棄の場合に適宜ユーザにその旨の報知をすることができる。もちろん、保存の場合にその旨を報知するようにしてもよい。撮影結果が保存または破棄いずれにて処理されたかをユーザが認識可能であればよい。
各撮影結果をユーザが認識しやすいように、撮影の時間間隔は、例えば3秒以上開けることができる。こうすると、或る撮影結果を認識させる出力を行った場合に、ユーザが当該撮影結果に対する出力であることを理解しやすい。例えば3秒未満とすると、出力を行った場合、或る撮影結果に対する出力であるか、又はその1つ以上前若しくは後の撮影結果に対する出力であるか、ユーザが区別しにくくなる虞がある。
一方、時間間隔を開けすぎると冷蔵室ドア211,212の開時間が長くなり、冷蔵室からの冷気の流出が多量になってしまうため、時間間隔は8秒以下、好ましくは5秒以下である。
なお、ステップS111を実行しない場合、ステップS106は、連続して複数回の撮影を実行してもよい。この場合、ステップS108~S110では、複数枚の画像データのすべてについてそれぞれ処理を実行することができる。 In step S114, thecontroller 8 turns off the interior light 4 and turns off the camera LED 31c.
In step S115, thecontrol unit 8 selects the photographing result. For example, the control unit 8 selects the latest photographed result from among the plurality of stored photographed results as the photographed result for transmission to the server 53 . In this way, by completing the saving or discarding of photographing results for each photographing, the amount of storage required by the control unit 8 can be reduced, the amount of data required to be transmitted to the server 53 can be reduced, or the The user can be notified to that effect. Of course, in the case of saving, the fact may be notified. It suffices if the user can recognize whether the photographed result is saved or discarded.
In order for the user to easily recognize each photographing result, the photographing time interval can be, for example, 3 seconds or more. This makes it easier for the user to understand that the output is for the photographed result when the output is made to recognize a certain photographed result. For example, if the duration is less than 3 seconds, it may be difficult for the user to distinguish whether the output is for a certain photographed result or for one or more preceding or later photographed results.
On the other hand, if the time interval is too long, the opening time of the refrigerating compartment doors 211 and 212 will be long, and a large amount of cold air will flow out from the refrigerating compartment. .
In addition, when step S111 is not executed, step S106 may be performed to continuously perform multiple times of photographing. In this case, in steps S108 to S110, processing can be executed for all of the multiple image data.
ステップS115において制御部8は、撮影結果を選定する。例えば、制御部8は、保存されている複数の撮影結果のうち、最も新しいものをサーバ53への送信用の撮影結果として選定する。このように、撮影ごとに撮影結果の保存または破棄を完了させることで、制御部8の必要な記憶量の低減、サーバ53への送信が必要なデータ量の低減、又は、破棄の場合に適宜ユーザにその旨の報知をすることができる。もちろん、保存の場合にその旨を報知するようにしてもよい。撮影結果が保存または破棄いずれにて処理されたかをユーザが認識可能であればよい。
各撮影結果をユーザが認識しやすいように、撮影の時間間隔は、例えば3秒以上開けることができる。こうすると、或る撮影結果を認識させる出力を行った場合に、ユーザが当該撮影結果に対する出力であることを理解しやすい。例えば3秒未満とすると、出力を行った場合、或る撮影結果に対する出力であるか、又はその1つ以上前若しくは後の撮影結果に対する出力であるか、ユーザが区別しにくくなる虞がある。
一方、時間間隔を開けすぎると冷蔵室ドア211,212の開時間が長くなり、冷蔵室からの冷気の流出が多量になってしまうため、時間間隔は8秒以下、好ましくは5秒以下である。
なお、ステップS111を実行しない場合、ステップS106は、連続して複数回の撮影を実行してもよい。この場合、ステップS108~S110では、複数枚の画像データのすべてについてそれぞれ処理を実行することができる。 In step S114, the
In step S115, the
In order for the user to easily recognize each photographing result, the photographing time interval can be, for example, 3 seconds or more. This makes it easier for the user to understand that the output is for the photographed result when the output is made to recognize a certain photographed result. For example, if the duration is less than 3 seconds, it may be difficult for the user to distinguish whether the output is for a certain photographed result or for one or more preceding or later photographed results.
On the other hand, if the time interval is too long, the opening time of the
In addition, when step S111 is not executed, step S106 may be performed to continuously perform multiple times of photographing. In this case, in steps S108 to S110, processing can be executed for all of the multiple image data.
ステップS116において制御部8は、撮影結果をサーバ53に送信する。すなわち、制御部8は、図7に示す無線LANユニット31g、ルータ51、及びネットワーク52を順次に介して、撮影画像データをサーバ53に送信する。ステップS116の処理を行った後、制御部8は、一連の処理を終了する(END)。
In step S116, the control unit 8 transmits the imaging result to the server 53. That is, the control unit 8 sequentially transmits the captured image data to the server 53 via the wireless LAN unit 31g, the router 51, and the network 52 shown in FIG. After performing the process of step S116, the control unit 8 ends the series of processes (END).
なお、サーバ53では、例えば、撮影結果において、冷蔵室21(図3参照)の右側・左側の各領域の他、左側の冷蔵室ドア211(図3参照)の領域や、右側の冷蔵室ドア212(図3参照)の領域が抽出される。そして、サーバ53において、それぞれの領域の画像が個別的に最新のものに更新される。さらに、携帯端末54からの要求信号に応じて、サーバ53から携帯端末54に撮影画像データが送信され、携帯端末54のディスプレイ(図示せず)に所定に表示される。
In the server 53, for example, in addition to the right and left regions of the refrigerating chamber 21 (see FIG. 3), the left refrigerating chamber door 211 (see FIG. 3) and the right refrigerating chamber door A region 212 (see FIG. 3) is extracted. Then, in the server 53, the image of each area is individually updated to the latest one. Further, in response to a request signal from the mobile terminal 54 , the captured image data is transmitted from the server 53 to the mobile terminal 54 and displayed on the display (not shown) of the mobile terminal 54 in a predetermined manner.
図9は、冷蔵室ドア211,212が開閉される過程を時系列的に示す説明図である。
なお、図9では、冷蔵室ドア211,212の状態の他、庫内灯4やカメラLED31cの状態を、アルファベットのA,B,C,・・・,J,K,Lの順で時系列的に示している。また、図9では、冷蔵庫100の庫内灯4が点灯している場合には庫内灯4を図示し(例えば、状態B)、また、庫内灯4が消灯している場合には庫内灯4を図示しないようにしている(例えば、状態A)。同様に、図9では、カメラLED31cが点灯している場合にはカメラLED31cを図示し(例えば、状態B)、また、カメラLED31cが消灯している場合にはカメラLED31cを図示しないようにしている(例えば、状態A)。 FIG. 9 is an explanatory diagram showing the process of opening and closing the refrigerator compartment doors 211 and 212 in chronological order.
In FIG. 9, in addition to the states of the refrigerator compartment doors 211 and 212, the states of the interior light 4 and the camera LED 31c are shown in alphabetical order of A, B, C, . clearly shown. In FIG. 9, the interior light 4 of the refrigerator 100 is illustrated when the interior light 4 is on (for example, state B), and when the interior light 4 is off, the The interior light 4 is not shown (for example, state A). Similarly, in FIG. 9, the camera LED 31c is illustrated when the camera LED 31c is lit (for example, state B), and the camera LED 31c is not illustrated when the camera LED 31c is extinguished. (eg state A).
なお、図9では、冷蔵室ドア211,212の状態の他、庫内灯4やカメラLED31cの状態を、アルファベットのA,B,C,・・・,J,K,Lの順で時系列的に示している。また、図9では、冷蔵庫100の庫内灯4が点灯している場合には庫内灯4を図示し(例えば、状態B)、また、庫内灯4が消灯している場合には庫内灯4を図示しないようにしている(例えば、状態A)。同様に、図9では、カメラLED31cが点灯している場合にはカメラLED31cを図示し(例えば、状態B)、また、カメラLED31cが消灯している場合にはカメラLED31cを図示しないようにしている(例えば、状態A)。 FIG. 9 is an explanatory diagram showing the process of opening and closing the
In FIG. 9, in addition to the states of the
図9の例では、左右の冷蔵室ドア211,212の両方が閉まっている状態Aから、ユーザが左側の冷蔵室ドア211を開けている(状態B,C,D)。この後、左右の冷蔵室ドア211,212の両方が閉められるまで、カメラLED31cは点灯した状態で維持される(図8AのS102)。また、左側の冷蔵室ドア211が開けられ始めた時点から所定時間が経過するまでは(S103:No)、状態B,Cに示すように、庫内灯4及びカメラLED31cの両方が点灯している(S102)。そして、左側の冷蔵室ドア211が開けられ始めた時点から所定時間が経過した場合(図8AのS103:Yes)、状態Dに示すように、庫内灯4が消灯し、カメラLED31cが点灯した状態で自動撮影が行われる(S104~S106)。その後、状態Eにおいて庫内灯4が再び点灯される(図8BのS112)。
In the example of FIG. 9, the user opens the left refrigerator compartment door 211 from the state A in which both the left and right refrigerator compartment doors 211 and 212 are closed (states B, C, and D). After that, the camera LED 31c is kept lit until both the left and right refrigerator compartment doors 211 and 212 are closed (S102 in FIG. 8A). Further, until a predetermined time elapses after the left refrigerating compartment door 211 is opened (S103: No), as shown in states B and C, both the interior light 4 and the camera LED 31c are lit. (S102). Then, when a predetermined time has passed since the left refrigerator door 211 started to be opened (S103 in FIG. 8A: Yes), as shown in state D, the interior light 4 is turned off and the camera LED 31c is turned on. Automatic photography is performed in this state (S104 to S106). After that, in state E, the interior light 4 is turned on again (S112 in FIG. 8B).
また、状態E,Fでは、左側の冷蔵室ドア211が閉められつつ、右側の冷蔵室ドア212が開けられている。この場合、状態Fに示すように、庫内灯4が消灯し、カメラLED31cが点灯した状態で自動撮影が再び行われる(図8AのS104~S106)。その後、図9の例では、状態G,H,Iに示すように、ユーザが左側の冷蔵室ドア211をいったん閉めた後に再び開けている。
In states E and F, the left refrigerator door 211 is closed and the right refrigerator door 212 is opened. In this case, as shown in state F, automatic photographing is performed again with the interior light 4 turned off and the camera LED 31c turned on (S104 to S106 in FIG. 8A). After that, as shown in states G, H, and I in the example of FIG. 9, the user once closed the left refrigerator compartment door 211 and then opened it again.
このような場合でも、状態Iに示すように、庫内灯4が消灯し、カメラLED31cが点灯した状態で自動撮影が再び行われる(図8AのS104~S106)。これによって、左右の冷蔵室ドア211,212の両方が開けられた状態で撮影できる。その後、状態Jで示すように、庫内灯4が再び点灯される(図8BのS112)。このように、左右の冷蔵室ドア211,212のうち少なくとも一方が開かれるたびに、制御部8は、カメラユニット3で冷蔵室21等の撮影を行う。
Even in such a case, as shown in state I, automatic photography is performed again with the interior light 4 turned off and the camera LED 31c turned on (S104 to S106 in FIG. 8A). As a result, the left and right refrigerator compartment doors 211 and 212 can both be opened for photographing. After that, as shown in state J, the interior light 4 is turned on again (S112 in FIG. 8B). In this way, every time at least one of the left and right refrigerator compartment doors 211 and 212 is opened, the controller 8 takes an image of the refrigerator compartment 21 and the like with the camera unit 3 .
さらに、状態Kに示すように、ユーザによって撮影ボタン7(図3参照)が押された場合、制御部8は、手動撮影を行う。この場合については、図8A、図8Bのフローチャートでは特に示していないが、制御部8は、次の処理を行う。すなわち、冷蔵室ドア211,212(扉)の少なくとも一方が開かれた後、撮影ボタン7が押された場合、制御部8は、庫内灯4を消灯し、さらに、カメラLED31c(照明部)を点灯させた状態で撮影部30に撮影を行わせる(状態K)。なお、庫内灯4を消灯する際、ユーザの違和感を低減するために、制御部8がブザー5を鳴らすようにしてもよい。制御部8は、手動撮影を行った後、状態Lに示すように、庫内灯4を再び点灯させる。
Further, as shown in state K, when the user presses the shooting button 7 (see FIG. 3), the control unit 8 performs manual shooting. Although this case is not particularly shown in the flowcharts of FIGS. 8A and 8B, the control unit 8 performs the following processing. That is, when the shooting button 7 is pressed after at least one of the refrigerator compartment doors 211 and 212 (doors) is opened, the control unit 8 turns off the interior light 4, furthermore, the camera LED 31c (illumination unit) is turned on (state K). When the interior light 4 is turned off, the control unit 8 may sound the buzzer 5 in order to reduce the discomfort of the user. After performing manual photography, the control unit 8 turns on the interior light 4 as shown in state L again.
なお、撮影ボタン7の操作に基づく撮影(手動撮影)を行った場合、この撮影の結果を他の撮影結果(自動撮影の結果)よりも優先して、制御部8が携帯端末54(図7参照)への表示に用いることが好ましい。これによって、ユーザは、撮影ボタン7を押すことで撮影された結果を、自身の携帯端末54(図7参照)で確認できる。
Note that when shooting (manual shooting) based on the operation of the shooting button 7 is performed, the result of this shooting is prioritized over other shooting results (results of automatic shooting), and the control unit 8 controls the portable terminal 54 (FIG. 7). See) is preferably used for display. Thereby, the user can confirm the result of photographing by pressing the photographing button 7 on his own portable terminal 54 (see FIG. 7).
また、制御部8は、撮影ボタン7の操作に基づく撮影後(手動撮影の後)であって、冷蔵室ドア211,212(扉)の少なくとも一方が開かれている間は、再び撮影(自動撮影)を行わないことが好ましい。手動撮影の結果が優先的に送信される場合、その後に自動撮影を行う必要が特にないからである。
Further, the control unit 8 restarts photography (automatically It is preferable not to take photographs. This is because when the result of manual shooting is preferentially transmitted, there is no particular need to perform automatic shooting thereafter.
また、ユーザが、冷蔵室ドア211,212のうち少なくとも一方をしっかりと閉めずに、いわゆる半ドアの状態になっている場合には、所定時間ごとに自動撮影が行われるが、その撮影結果はサーバ53(図7参照)には送信されない。いわゆる半ドアの場合には、通常、冷蔵室ドア211,212の開角度が所定値未満になり(図8BのS108:No)、その撮影結果が破棄されるからである(S110)。
In addition, when the user does not close at least one of the refrigerator compartment doors 211 and 212 firmly and is in a state of a so-called ajar door, automatic photographing is performed at predetermined time intervals, but the photographing result is It is not sent to the server 53 (see FIG. 7). This is because, in the case of a so-called ajar door, the opening angle of the refrigerator compartment doors 211 and 212 is usually less than the predetermined value (S108 in FIG. 8B: No), and the photographing result is discarded (S110).
図10は、カメラユニットの撮影結果であって、画像処理が行われていない状態の例である。
なお、図10では、紙面上側を前方とし、紙面下側を後方としている関係上、図3に対して、左右が反転している(図11、図12A、図12Bも同様)。図10の例では、左右の冷蔵室ドア211,212の両方が開かれており、冷蔵室21の他、左側の冷蔵室ドア211のドアポケット211cや、右側の冷蔵室ドア212のドアポケット212cも撮影されている。 FIG. 10 shows an example of a state in which image processing has not been performed, which is the photographing result of the camera unit.
In FIG. 10, the upper side of the paper surface is the front side, and the lower side of the paper surface is the rear side, so the left and right are reversed with respect to FIG. In the example of FIG. 10, both the left and right refrigerating compartment doors 211 and 212 are open, and in addition to the refrigerating compartment 21, the door pocket 211c of the left refrigerating compartment door 211 and the door pocket 212c of the right refrigerating compartment door 212 are opened. is also filmed.
なお、図10では、紙面上側を前方とし、紙面下側を後方としている関係上、図3に対して、左右が反転している(図11、図12A、図12Bも同様)。図10の例では、左右の冷蔵室ドア211,212の両方が開かれており、冷蔵室21の他、左側の冷蔵室ドア211のドアポケット211cや、右側の冷蔵室ドア212のドアポケット212cも撮影されている。 FIG. 10 shows an example of a state in which image processing has not been performed, which is the photographing result of the camera unit.
In FIG. 10, the upper side of the paper surface is the front side, and the lower side of the paper surface is the rear side, so the left and right are reversed with respect to FIG. In the example of FIG. 10, both the left and right refrigerating
特に、カメラユニット3(図5参照)のレンズ31aとして、魚眼レンズが用いられることで、広範囲の画角で撮像できる。ただし、画像処理が行われていない状態では、図10に示すように、実際には直線状の稜線が湾曲して写る他、同じ長さの稜線であっても、カメラユニット3から遠くなるにつれて、撮影画像における画素数が少なくなる。
In particular, by using a fisheye lens as the lens 31a of the camera unit 3 (see FIG. 5), it is possible to capture images with a wide range of angles of view. However, in a state where image processing is not performed, as shown in FIG. , the number of pixels in the captured image is reduced.
図11は、カメラユニット3の撮影結果であって、画像処理が行われた状態の例である。
例えば、図10の撮影結果に基づいて、サーバ53(図7参照)で所定の画像処理が行われることで、あたかも冷蔵室21や左右の冷蔵室ドア211,212のそれぞれを正面から見たような画像に変換される。このような画像が携帯端末54(図7参照)に表示されることで、ユーザは、冷蔵室21等にどのような食品が収容されているかを一目で把握できる。
次に、制御部8による露光調整(図8AのS105)の処理の詳細について、図12A(第1実施形態)、及び図12B(比較例)を用いて詳細に説明する。 FIG. 11 shows an example of a photographing result of thecamera unit 3 after image processing.
For example, by performing predetermined image processing in the server 53 (see FIG. 7) based on the imaging result of FIG. converted to a simple image. By displaying such an image on the mobile terminal 54 (see FIG. 7), the user can grasp at a glance what kind of food is stored in therefrigerator compartment 21 or the like.
Next, the details of the processing of exposure adjustment (S105 in FIG. 8A) by thecontrol unit 8 will be described in detail with reference to FIG. 12A (first embodiment) and FIG. 12B (comparative example).
例えば、図10の撮影結果に基づいて、サーバ53(図7参照)で所定の画像処理が行われることで、あたかも冷蔵室21や左右の冷蔵室ドア211,212のそれぞれを正面から見たような画像に変換される。このような画像が携帯端末54(図7参照)に表示されることで、ユーザは、冷蔵室21等にどのような食品が収容されているかを一目で把握できる。
次に、制御部8による露光調整(図8AのS105)の処理の詳細について、図12A(第1実施形態)、及び図12B(比較例)を用いて詳細に説明する。 FIG. 11 shows an example of a photographing result of the
For example, by performing predetermined image processing in the server 53 (see FIG. 7) based on the imaging result of FIG. converted to a simple image. By displaying such an image on the mobile terminal 54 (see FIG. 7), the user can grasp at a glance what kind of food is stored in the
Next, the details of the processing of exposure adjustment (S105 in FIG. 8A) by the
図12Aは、第1実施形態に係る冷蔵庫において、露光調整を行う際の基準となる領域の候補を示す説明図である。
前記したように、露光調整の処理(図8AのS105)では、撮像素子31e(図7参照)から出力される電気信号を増幅する際のゲインが調整される。第1実施形態では、露光調整における画像の明るさの度合いを示す基準として、図12Aに示す3つの矩形状の領域61~63のうち少なくとも一つを用いるようにしている。つまり、左側の冷蔵室ドア211の領域61と、右側の冷蔵室ドア212の領域62と、これらの領域61,62の間の所定の領域63と、のうち少なくとも一つが用いられる。なお、冷蔵室ドア211,212の開角度に基づいて、領域61~63の位置や大きさが適宜に変更されるようにしてもよい。最もユーザが興味ある食材が撮影される領域について、視認しやすいようにゲイン調整をしたいため、例えば食材の特徴量を認識して食材位置を判別し、撮像素子31eの視野内の食材が包含されるように、1つまたは複数の領域を設定することができる。食材の特徴量に代えて、ドア211,212の開閉をセンシングして、開であれば当該ドアの開放側の領域を使用するようにしてもよい。 FIG. 12A is an explanatory diagram showing candidate regions that serve as references for exposure adjustment in the refrigerator according to the first embodiment.
As described above, in the exposure adjustment process (S105 in FIG. 8A), the gain is adjusted when amplifying the electrical signal output from theimage sensor 31e (see FIG. 7). In the first embodiment, at least one of the three rectangular areas 61 to 63 shown in FIG. 12A is used as a reference indicating the degree of image brightness in exposure adjustment. That is, at least one of the area 61 of the left refrigerator compartment door 211, the area 62 of the right refrigerator compartment door 212, and the predetermined area 63 between these areas 61 and 62 is used. The positions and sizes of the regions 61 to 63 may be appropriately changed based on the opening angles of the refrigerator compartment doors 211 and 212 . In order to adjust the gain so that it is easy to visually recognize the area where the food that the user is most interested in is photographed, for example, the feature amount of the food is recognized to determine the position of the food, and the food within the field of view of the imaging element 31e is included. One or more regions can be set as follows. Instead of using the feature amount of the food, the opening/closing of the doors 211 and 212 may be sensed, and if the door is open, the area on the open side of the door may be used.
前記したように、露光調整の処理(図8AのS105)では、撮像素子31e(図7参照)から出力される電気信号を増幅する際のゲインが調整される。第1実施形態では、露光調整における画像の明るさの度合いを示す基準として、図12Aに示す3つの矩形状の領域61~63のうち少なくとも一つを用いるようにしている。つまり、左側の冷蔵室ドア211の領域61と、右側の冷蔵室ドア212の領域62と、これらの領域61,62の間の所定の領域63と、のうち少なくとも一つが用いられる。なお、冷蔵室ドア211,212の開角度に基づいて、領域61~63の位置や大きさが適宜に変更されるようにしてもよい。最もユーザが興味ある食材が撮影される領域について、視認しやすいようにゲイン調整をしたいため、例えば食材の特徴量を認識して食材位置を判別し、撮像素子31eの視野内の食材が包含されるように、1つまたは複数の領域を設定することができる。食材の特徴量に代えて、ドア211,212の開閉をセンシングして、開であれば当該ドアの開放側の領域を使用するようにしてもよい。 FIG. 12A is an explanatory diagram showing candidate regions that serve as references for exposure adjustment in the refrigerator according to the first embodiment.
As described above, in the exposure adjustment process (S105 in FIG. 8A), the gain is adjusted when amplifying the electrical signal output from the
図12Aの例では、左側の冷蔵室ドア211が開かれているが、右側の冷蔵室ドア212は閉じた状態になっている。このような場合、制御部8は、左側の冷蔵室ドア211に対応する領域61の輝度の平均値を基準として、露光調整を行う。つまり、制御部8は、領域61の輝度の平均値が所定範囲に含まれるように、撮像素子31e(図7参照)から出力される電気信号を増幅する際のゲインを調整する。これによって、閉状態である右側の冷蔵室ドア212の領域62や、その一部が左側の冷蔵室ドア211から外れている領域63が、ゲインを調整する際の基準から外される。したがって、冷蔵室の周囲が暗い場合でも、制御部8がゲインを上げすぎることなく、露光調整を適切に行うことができる。
上記のように、撮像素子31eの視野の略全域ではなく一部を露光調整に使用する領域にする。露光調整に使用する領域の決定には、食材が存在する位置を使用して行うことができる。食材が存在する位置は、画像認識における特徴量を利用してもよいし、ドア開情報やドア開角度情報を検知することで間接的に行ってもよい。ドア開情報やドア開角度情報(ドアの開閉及び/又は開角度の情報)の取得は、公知のドアセンサや画像認識技術等を使用して行うことができる。有益な情報である食材が存在しない領域について、露光調整の対象領域から極力外すようにすることで、食材が存在しない領域の輝度が明るすぎたり暗すぎたりする場合に、食材がある領域の白飛びや黒つぶれが生じてしまう虞を低減できる。
このように、撮像素子31eの視野のうち、食材が存在する位置を含む上記の「一部の領域」のみを露光調整に使用するようにしてもよい。また、露光調整に際して、当該「一部の領域」の重み(所定領域の輝度に基づいて露光調整を行う際の重みづけ)を、その余の残部の領域より大きくしてもよい。例えば、図12Aに示す領域61~63のうち、領域61の輝度に基づいて露光調整が行われ、残りの領域62,63については露光調整には特に用いられなかったとする。このような場合も、領域61(一部の領域)の重みづけを他の領域62,63(残部の領域)の重みづけよりも高くするという事項に含まれる。また、例えば、領域61~63のそれぞれの輝度の平均値に所定の重みづけの値を乗算し、その乗算の結果の和をとった値に基づいて、露光調整が行われるようにしてもよい。この場合において、食材が存在する位置を含む一部の領域の重みづけを、残部の領域の重みづけよりも高くして、制御部8が撮影部30の露光調整を実行するようにしてもよい。 In the example of FIG. 12A, the leftrefrigerator compartment door 211 is open, while the right refrigerator compartment door 212 is closed. In such a case, the controller 8 adjusts the exposure based on the average brightness of the area 61 corresponding to the left refrigerator door 211 . That is, the control unit 8 adjusts the gain when amplifying the electrical signal output from the imaging device 31e (see FIG. 7) so that the average value of the brightness of the region 61 is within a predetermined range. As a result, the area 62 of the closed right refrigerator compartment door 212 and the area 63 partially deviated from the left refrigerator compartment door 211 are excluded from the reference for gain adjustment. Therefore, even when the surroundings of the refrigerator compartment are dark, the control section 8 can appropriately adjust the exposure without increasing the gain too much.
As described above, a part of the field of view of theimaging device 31e is used for exposure adjustment instead of substantially the entire field of view. Determination of the area to be used for exposure adjustment can be performed using the position where the food is present. The position where the food is present may be determined using a feature amount in image recognition, or may be determined indirectly by detecting door opening information or door opening angle information. Acquisition of door opening information and door opening angle information (information on door opening/closing and/or opening angle) can be performed using a known door sensor, image recognition technology, or the like. Areas without foodstuffs, which is useful information, are excluded from exposure adjustment target areas as much as possible. It is possible to reduce the risk of skipping or blackout.
In this way, only the above-mentioned "partial region" including the position where the food is present in the field of view of theimaging device 31e may be used for exposure adjustment. Further, when adjusting the exposure, the weight of the "partial area" (the weighting when performing the exposure adjustment based on the brightness of the predetermined area) may be made larger than the rest of the remaining area. For example, it is assumed that, of the regions 61 to 63 shown in FIG. 12A, the exposure adjustment is performed based on the brightness of the region 61, and the remaining regions 62 and 63 are not particularly used for the exposure adjustment. Such a case is also included in the matter of setting the weighting of the area 61 (partial area) higher than the weighting of the other areas 62 and 63 (remaining areas). Further, for example, exposure adjustment may be performed based on a value obtained by multiplying the average luminance value of each of the regions 61 to 63 by a predetermined weighting value and summing the multiplication results. . In this case, the control unit 8 may adjust the exposure of the photographing unit 30 by setting the weighting of the partial region including the position where the food is present to be higher than the weighting of the remaining region. .
上記のように、撮像素子31eの視野の略全域ではなく一部を露光調整に使用する領域にする。露光調整に使用する領域の決定には、食材が存在する位置を使用して行うことができる。食材が存在する位置は、画像認識における特徴量を利用してもよいし、ドア開情報やドア開角度情報を検知することで間接的に行ってもよい。ドア開情報やドア開角度情報(ドアの開閉及び/又は開角度の情報)の取得は、公知のドアセンサや画像認識技術等を使用して行うことができる。有益な情報である食材が存在しない領域について、露光調整の対象領域から極力外すようにすることで、食材が存在しない領域の輝度が明るすぎたり暗すぎたりする場合に、食材がある領域の白飛びや黒つぶれが生じてしまう虞を低減できる。
このように、撮像素子31eの視野のうち、食材が存在する位置を含む上記の「一部の領域」のみを露光調整に使用するようにしてもよい。また、露光調整に際して、当該「一部の領域」の重み(所定領域の輝度に基づいて露光調整を行う際の重みづけ)を、その余の残部の領域より大きくしてもよい。例えば、図12Aに示す領域61~63のうち、領域61の輝度に基づいて露光調整が行われ、残りの領域62,63については露光調整には特に用いられなかったとする。このような場合も、領域61(一部の領域)の重みづけを他の領域62,63(残部の領域)の重みづけよりも高くするという事項に含まれる。また、例えば、領域61~63のそれぞれの輝度の平均値に所定の重みづけの値を乗算し、その乗算の結果の和をとった値に基づいて、露光調整が行われるようにしてもよい。この場合において、食材が存在する位置を含む一部の領域の重みづけを、残部の領域の重みづけよりも高くして、制御部8が撮影部30の露光調整を実行するようにしてもよい。 In the example of FIG. 12A, the left
As described above, a part of the field of view of the
In this way, only the above-mentioned "partial region" including the position where the food is present in the field of view of the
このように、制御部8は、右側の冷蔵室ドア212(右ドア)、及び左側の冷蔵室ドア211(左ドア)のうち一方が開けられた場合、撮影部30の視野内で、前記した一方に対応する領域を基準として、撮影時の露光のゲインを調整する。なお、左右の冷蔵室ドア211,212の開閉状態を示す信号が、左右のそれぞれのドアセンサ6(図7参照)から制御部8に出力される。
In this way, the control unit 8 controls the above-described inside the field of view of the imaging unit 30 when one of the right refrigerator compartment door 212 (right door) and the left refrigerator compartment door 211 (left door) is opened. Using the area corresponding to one as a reference, the gain of the exposure at the time of photographing is adjusted. Signals indicating whether the left and right refrigerator compartment doors 211 and 212 are open or closed are output to the control unit 8 from the left and right door sensors 6 (see FIG. 7).
また、3つの領域61~63のうち、画像の輝度の平均値が最も高いものを基準として、露光調整が行われるようにしてもよい。すなわち、制御部8は、撮影部30の視野に含まれる複数の領域61~63のうち、画像の輝度の平均値が最も高い領域を基準として、撮影時の露光のゲインを調整する。これによって、ゲインが高くなりすぎることを抑制し、ひいては、撮影画像の白飛び(ハレーション)を抑制できる。
Further, the exposure adjustment may be performed with reference to the one having the highest average luminance value of the image among the three regions 61 to 63 . That is, the control unit 8 adjusts the gain of the exposure at the time of photographing with reference to the region having the highest average luminance value of the image among the plurality of regions 61 to 63 included in the field of view of the photographing unit 30 . As a result, it is possible to prevent the gain from becoming too high, and furthermore, to prevent overexposure (halation) in the captured image.
また、左右の冷蔵室ドア211,212のうち、ドアセンサ6から開信号が入力されている扉の少なくとも一部を含む領域であって、画像の輝度の平均値が最も高いものを基準に露光調整が行われるようにしてもよい。これによって、例えば、冷蔵庫100の外部から照射された光が閉状態の冷蔵室ドア212の表面で反射するような状況でも、露光調整におけるゲインを制御部8が適切に設定できる。これによって、撮影画像において、白飛びや黒つぶれが生じることを抑制できる。
Further, the exposure is adjusted based on the area including at least a part of the left and right refrigerating compartment doors 211 and 212 to which the open signal is input from the door sensor 6 and the one having the highest average luminance value of the image. may be performed. As a result, the control unit 8 can appropriately set the gain in the exposure adjustment, for example, even in a situation where the light emitted from the outside of the refrigerator 100 is reflected on the surface of the refrigerator compartment door 212 in the closed state. As a result, it is possible to suppress the occurrence of blown-out highlights and blocked-up shadows in the captured image.
図12Bは、比較例に係る冷蔵庫において、露光調整を行う際の輝度の基準となる領域を示す説明図である。
図12Bの比較例では、露光調整を行う際の基準として、1つの矩形状の領域60が設定されている。例えば、左右の冷蔵室ドア211,212が開かれた場合に、これらの冷蔵室ドア211,212の両方を含むように矩形状の領域60が設定されている。このように大きな1つの領域60を用いた場合、冷蔵庫100の周囲が暗い状況では、撮影によって右側の冷蔵室ドア212が暗く写るため、光に対する感度を上げるためにゲインが高めに設定される。その結果、撮影画像において、開状態の左側の冷蔵室ドア211や、冷蔵室21の左半分の部分で白飛びが生じやすくなる。 FIG. 12B is an explanatory diagram showing a region serving as a luminance reference when performing exposure adjustment in the refrigerator according to the comparative example.
In the comparative example of FIG. 12B, onerectangular area 60 is set as a reference for exposure adjustment. For example, a rectangular area 60 is set to include both the left and right refrigerator compartment doors 211 and 212 when the left and right refrigerator compartment doors 211 and 212 are opened. When one large region 60 is used in this way, the right refrigerator door 212 appears dark when photographed when the surroundings of the refrigerator 100 are dark, so the gain is set high in order to increase the sensitivity to light. As a result, in the photographed image, blown-out highlights are likely to occur in the open left refrigerator compartment door 211 and the left half of the refrigerator compartment 21 .
図12Bの比較例では、露光調整を行う際の基準として、1つの矩形状の領域60が設定されている。例えば、左右の冷蔵室ドア211,212が開かれた場合に、これらの冷蔵室ドア211,212の両方を含むように矩形状の領域60が設定されている。このように大きな1つの領域60を用いた場合、冷蔵庫100の周囲が暗い状況では、撮影によって右側の冷蔵室ドア212が暗く写るため、光に対する感度を上げるためにゲインが高めに設定される。その結果、撮影画像において、開状態の左側の冷蔵室ドア211や、冷蔵室21の左半分の部分で白飛びが生じやすくなる。 FIG. 12B is an explanatory diagram showing a region serving as a luminance reference when performing exposure adjustment in the refrigerator according to the comparative example.
In the comparative example of FIG. 12B, one
これに対して第1実施形態(図12A参照)では、例えば、冷蔵室ドア211,212の開閉状態に基づいて、露光調整を行う際の基準となる領域を制御部8が選択するようにしている。これによって、撮影画像の白飛びを抑制し、ユーザが視認しやすい鮮明な画像を携帯端末54(図7参照)に表示させることができる。
On the other hand, in the first embodiment (see FIG. 12A), for example, based on the open/closed state of the refrigerating compartment doors 211 and 212, the control unit 8 selects a reference area for exposure adjustment. there is As a result, it is possible to suppress overexposure in the captured image, and display a clear image that is easy for the user to visually recognize on the mobile terminal 54 (see FIG. 7).
なお、冷蔵室21(貯蔵室)の壁面、及び、冷蔵室ドア211,212(扉)の内板211b,212b(図3参照)が、それぞれ、白色であってもよい。ここで、「白色」とは、可視光のスペクトルの略全域に亘って、50%以上の反射率で反射するような色である。別の観点では、「白色」とは、RGB表色系において、R(Red),G(Green),B(Blue)の各要素の明度が略同一であり、かつ、50%以上の反射率で反射するような色である。
The wall surface of the refrigerator compartment 21 (storage compartment) and the inner plates 211b and 212b (see FIG. 3) of the refrigerator compartment doors 211 and 212 (doors) may be white. Here, "white" is a color that is reflected with a reflectance of 50% or more over substantially the entire spectrum of visible light. From another point of view, "white" means that the brightness of each element of R (Red), G (Green), and B (Blue) is substantially the same in the RGB color system, and the reflectance is 50% or more. It is a color that is reflected in
冷蔵室21の壁面等が白色である場合、撮影結果が白飛びしやすい傾向があるが、制御部8が、露光調整を行う際の基準となる領域を適宜に選択することで、白飛びを抑制できる。このように、第1実施形態によれば、カメラユニット3を用いて、冷蔵室21等を適切に撮影できる。したがって、ユーザが携帯端末54を見て、冷蔵室21等の状態を視認しやすくなる。
If the wall surface of the refrigerator compartment 21 is white, there is a tendency for the image to be overexposed. can be suppressed. Thus, according to the first embodiment, the camera unit 3 can be used to properly photograph the refrigerator compartment 21 and the like. Therefore, it becomes easier for the user to visually recognize the state of the refrigerator compartment 21 and the like by looking at the portable terminal 54 .
≪第2実施形態≫
第2実施形態は、左右の冷蔵室ドア211,212(図13参照)の下面に設けられた取手部211e,212e(図13参照)の付近に撮影ボタン7A(図13参照)が設けられる点が、第1実施形態とは異なっている。なお、その他については、第1実施形態と同様である。したがって、第1実施形態とは異なる部分について説明し、重複する部分については説明を省略する。 <<Second embodiment>>
In the second embodiment, ashooting button 7A (see FIG. 13) is provided in the vicinity of handles 211e and 212e (see FIG. 13) provided on the lower surfaces of left and right refrigerator compartment doors 211 and 212 (see FIG. 13). is different from the first embodiment. In addition, about others, it is the same as that of 1st Embodiment. Therefore, the portions different from the first embodiment will be described, and the description of the overlapping portions will be omitted.
第2実施形態は、左右の冷蔵室ドア211,212(図13参照)の下面に設けられた取手部211e,212e(図13参照)の付近に撮影ボタン7A(図13参照)が設けられる点が、第1実施形態とは異なっている。なお、その他については、第1実施形態と同様である。したがって、第1実施形態とは異なる部分について説明し、重複する部分については説明を省略する。 <<Second embodiment>>
In the second embodiment, a
図13は、第2実施形態に係る冷蔵庫100Aが備える左右の冷蔵室ドア211,212の正面図及び下面図である。
なお、図13では、冷蔵室ドア211,212の正面図の紙面下側に、その下面図を図示している。図13に示すように、左側の冷蔵室ドア211の下面には、上側に凹んでなる取手部211eが、横方向の所定長さに亘って設けられている。 13A and 13B are a front view and a bottom view of right and left refrigerator compartment doors 211 and 212 provided in the refrigerator 100A according to the second embodiment.
In addition, in FIG. 13, a bottom view thereof is illustrated below the front view of the refrigerating compartment doors 211 and 212 . As shown in FIG. 13, a grip portion 211e recessed upward is provided on the lower surface of the left refrigerator compartment door 211 over a predetermined length in the lateral direction.
なお、図13では、冷蔵室ドア211,212の正面図の紙面下側に、その下面図を図示している。図13に示すように、左側の冷蔵室ドア211の下面には、上側に凹んでなる取手部211eが、横方向の所定長さに亘って設けられている。 13A and 13B are a front view and a bottom view of right and left
In addition, in FIG. 13, a bottom view thereof is illustrated below the front view of the
また、左側の冷蔵室ドア211の下面において、取手部211eよりも内側(ヒンジの軸211fとは反対側)には、手動撮影を行う際にユーザによって押される撮影ボタン7Aが設けられている。つまり、冷蔵室ドア211(扉)の取手部211eの外側であって、この取手部211eの付近に撮影ボタン7Aが設けられている。同様に、右側の冷蔵室ドア212の下面にも、取手部212eや撮影ボタン7Aが設けられている。
In addition, on the lower surface of the refrigerator compartment door 211 on the left, inside the handle 211e (on the side opposite to the hinge shaft 211f), there is provided a photographing button 7A that is pressed by the user when manual photographing is performed. That is, the shooting button 7A is provided outside the handle portion 211e of the refrigerator compartment door 211 (door) and near the handle portion 211e. Similarly, the lower surface of the refrigerator compartment door 212 on the right side is also provided with a handle portion 212e and a shooting button 7A.
このように撮影ボタン7Aを配置することで、例えば、ユーザが右側の冷蔵室ドア212を開ける際に取手部212eに手をかけたとき、意図せずに誤って撮影ボタン7Aを押してしまうことを防止できる。なお、ユーザが右側の取手部211eに右手をかけると、手のひらが上側に向き、さらに、右手の親指が外側(右側)に位置する状態になる。図13の例では、取手部212eよりも内側(左側)に撮影ボタン7Aが設けられている。したがって、ユーザが取手部212eに右手をかけた際、右手の親指が誤って撮影ボタン7Aに触れることを防止できる。なお、左側の冷蔵室ドア211の撮影ボタン7Aについても同様のことがいえる。
By arranging the shooting button 7A in this way, for example, when the user puts his or her hand on the handle portion 212e when opening the right refrigerator compartment door 212, it is possible to prevent the shooting button 7A from being unintentionally pressed by mistake. can be prevented. When the user puts the right hand on the handle 211e on the right side, the palm faces upward and the thumb of the right hand is positioned outside (to the right). In the example of FIG. 13, the shooting button 7A is provided inside (on the left side) of the handle portion 212e. Therefore, it is possible to prevent the thumb of the right hand from erroneously touching the shooting button 7A when the user puts the right hand on the handle 212e. The same can be said for the shooting button 7A on the left refrigerator compartment door 211. FIG.
また、取手部212eの付近に撮影ボタン7Aが設けられているため、ユーザは、冷蔵室ドア212に手をかけたまま、その手を移動させ、指先の感触で撮影ボタン7Aを押すことができる。したがって、ユーザが撮影ボタン7Aを押す際、冷蔵室ドア212にかけた手をいったん放す必要が特にないため、操作性を高めることができる。また、ユーザが、冷蔵室ドア212を所定に開いて、冷蔵室ドア212の回動を止めた状態で撮影を行えるため、撮影画像のブレを抑制できる。さらに、冷蔵室ドア212の庫内側や冷蔵室21の壁面に撮影ボタン7Aを設ける場合に比べて、撮影画像上でユーザの手が写り込むことを抑制できる。また、取手部212eの付近に撮影ボタン7Aを設けることで、回転仕切211d(図3参照)や操作パネル(図示せず)の配線と、撮影ボタン7Aの配線と、の共用も可能になる。
なお、撮影ボタン7Aの操作に基づく制御部8(図7参照)の処理については、第1実施形態(図8A、図8B参照)と同様であるから、説明を省略する。 Further, since theshooting button 7A is provided near the handle portion 212e, the user can press the shooting button 7A by touching the refrigerator compartment door 212 and moving the hand. . Therefore, when the user presses the shooting button 7A, there is no particular need to temporarily release the hand from the refrigerator compartment door 212, so that operability can be enhanced. In addition, since the user can take an image in a state in which the refrigerator door 212 is opened in a predetermined manner and the rotation of the refrigerator door 212 is stopped, blurring of the photographed image can be suppressed. Furthermore, compared to the case where the shooting button 7A is provided inside the refrigerator compartment door 212 or on the wall surface of the refrigerator compartment 21, it is possible to prevent the user's hand from appearing in the captured image. Also, by providing the shooting button 7A near the handle 212e, it is possible to share the wiring of the rotary partition 211d (see FIG. 3) and the operation panel (not shown) with the wiring of the shooting button 7A.
Note that the processing of the control unit 8 (see FIG. 7) based on the operation of theshooting button 7A is the same as that of the first embodiment (see FIGS. 8A and 8B), so description thereof will be omitted.
なお、撮影ボタン7Aの操作に基づく制御部8(図7参照)の処理については、第1実施形態(図8A、図8B参照)と同様であるから、説明を省略する。 Further, since the
Note that the processing of the control unit 8 (see FIG. 7) based on the operation of the
図14Aは、冷蔵庫が備える右側の冷蔵室ドア212の下部の断面斜視図である。
なお、図14Aの構成は、図13に対応している。図14Aに示すように、右側の冷蔵室ドア212の撮影ボタン7Aは、ユーザによって押される樹脂製のスイッチ部71Aと、スイッチ部71Aの外側に貼られるラミネートフィルム72Aと、スイッチ部71Aの押圧に伴って所定の電気信号を発生させるスイッチ基板73Aと、を備えている。また、スイッチ基板73Aには、複数の配線80が接続されている。これらの配線80には、電力線や信号線が含まれている。なお、左側の冷蔵室ドア211(図13参照)も同様の構成になっている。 FIG. 14A is a cross-sectional perspective view of the lower portion of the rightrefrigerator compartment door 212 of the refrigerator.
Note that the configuration of FIG. 14A corresponds to FIG. As shown in FIG. 14A, the photographingbutton 7A on the right refrigerator compartment door 212 includes a resin switch portion 71A that is pressed by the user, a laminate film 72A that is attached to the outside of the switch portion 71A, and a switch portion 71A. and a switch board 73A for generating a predetermined electrical signal. A plurality of wirings 80 are connected to the switch substrate 73A. These wirings 80 include power lines and signal lines. The left refrigerator compartment door 211 (see FIG. 13) has the same structure.
なお、図14Aの構成は、図13に対応している。図14Aに示すように、右側の冷蔵室ドア212の撮影ボタン7Aは、ユーザによって押される樹脂製のスイッチ部71Aと、スイッチ部71Aの外側に貼られるラミネートフィルム72Aと、スイッチ部71Aの押圧に伴って所定の電気信号を発生させるスイッチ基板73Aと、を備えている。また、スイッチ基板73Aには、複数の配線80が接続されている。これらの配線80には、電力線や信号線が含まれている。なお、左側の冷蔵室ドア211(図13参照)も同様の構成になっている。 FIG. 14A is a cross-sectional perspective view of the lower portion of the right
Note that the configuration of FIG. 14A corresponds to FIG. As shown in FIG. 14A, the photographing
図14Bは、冷蔵庫が備える右側の冷蔵室ドア212の下部の断面図である。
なお、図14Bの構成は、図13や図14Aに対応している。図14Bに示すように、冷蔵室ドア212(扉)の内部において、撮影ボタン7Aの周囲の領域91aを他から仕切る隔壁92が設けられている。隔壁92には、撮影ボタン7Aに接続される配線80の挿通孔93が設けられている。挿通孔93には、この挿通孔93を塞ぐシール部材94が設置されている。このようなシール部材94として、例えば、ウレタンフォームが用いられる。そして、シール部材94に配線80が挿通されている。つまり、挿通孔93を介して配線80が挿通された状態で、シール部材94によって挿通孔93が塞がれている。 FIG. 14B is a cross-sectional view of the lower portion of the rightrefrigerator compartment door 212 of the refrigerator.
Note that the configuration of FIG. 14B corresponds to FIGS. 13 and 14A. As shown in FIG. 14B, inside the refrigerator compartment door 212 (door), apartition wall 92 is provided to partition a region 91a around the shooting button 7A from the rest. The partition wall 92 is provided with an insertion hole 93 for the wiring 80 connected to the shooting button 7A. A seal member 94 is installed in the insertion hole 93 to close the insertion hole 93 . Urethane foam, for example, is used as such a sealing member 94 . The wiring 80 is inserted through the sealing member 94 . That is, the insertion hole 93 is closed by the seal member 94 while the wiring 80 is inserted through the insertion hole 93 .
なお、図14Bの構成は、図13や図14Aに対応している。図14Bに示すように、冷蔵室ドア212(扉)の内部において、撮影ボタン7Aの周囲の領域91aを他から仕切る隔壁92が設けられている。隔壁92には、撮影ボタン7Aに接続される配線80の挿通孔93が設けられている。挿通孔93には、この挿通孔93を塞ぐシール部材94が設置されている。このようなシール部材94として、例えば、ウレタンフォームが用いられる。そして、シール部材94に配線80が挿通されている。つまり、挿通孔93を介して配線80が挿通された状態で、シール部材94によって挿通孔93が塞がれている。 FIG. 14B is a cross-sectional view of the lower portion of the right
Note that the configuration of FIG. 14B corresponds to FIGS. 13 and 14A. As shown in FIG. 14B, inside the refrigerator compartment door 212 (door), a
このようなシール部材94を設けることで、製造時に冷蔵室ドア212の内部空間にウレタン等の断熱材が注入(充填)された際、挿通孔93を介して、断熱材が撮影ボタン7A側に漏れ出ることを防止できる。また、撮影ボタン7Aに接続されている配線80を隔壁92の上側の領域91bに引き出すことが可能になる。
By providing such a seal member 94, when a heat insulating material such as urethane is injected (filled) into the internal space of the refrigerator compartment door 212 during manufacturing, the heat insulating material passes through the insertion hole 93 to the shooting button 7A side. It can prevent leakage. Also, the wiring 80 connected to the shooting button 7A can be pulled out to the upper region 91b of the partition wall 92 .
≪変形例≫
以上、本開示に係る冷蔵庫100等について各実施形態により説明したが、これらの記載に限定されるものではなく、種々の変更を行うことができる。
例えば、各実施形態では、冷蔵庫100(図2参照)の筐体1の上面にカメラユニット3が設けられる構成について説明したが、これに限らない。すなわち、筐体1の外側における別の所定位置にカメラユニット3が設けられるようにしてもよい。 <<Modification>>
As described above, therefrigerator 100 and the like according to the present disclosure have been described according to each embodiment, but the invention is not limited to these descriptions, and various modifications can be made.
For example, in each embodiment, the configuration in which thecamera unit 3 is provided on the upper surface of the housing 1 of the refrigerator 100 (see FIG. 2) has been described, but the configuration is not limited to this. That is, the camera unit 3 may be provided at another predetermined position outside the housing 1 .
以上、本開示に係る冷蔵庫100等について各実施形態により説明したが、これらの記載に限定されるものではなく、種々の変更を行うことができる。
例えば、各実施形態では、冷蔵庫100(図2参照)の筐体1の上面にカメラユニット3が設けられる構成について説明したが、これに限らない。すなわち、筐体1の外側における別の所定位置にカメラユニット3が設けられるようにしてもよい。 <<Modification>>
As described above, the
For example, in each embodiment, the configuration in which the
また、各実施形態では、カメラLED31c(図5参照)が、レンズ31a(図5参照)の後側に配置される構成について説明したが、これに限らない。例えば、レンズ31aの前側にカメラLEDが配置されるようにしてもよい。また、複数のカメラLEDが所定に配置されるようにしてもよい。
Also, in each embodiment, the configuration in which the camera LED 31c (see FIG. 5) is arranged behind the lens 31a (see FIG. 5) has been described, but the present invention is not limited to this. For example, the camera LED may be arranged in front of the lens 31a. Also, a plurality of camera LEDs may be arranged in a predetermined manner.
また、各実施形態では、一例として、冷蔵室21の他、冷蔵室ドア211,212の庫内側をカメラユニット3で撮影する場合について説明したが、これに限らない。例えば、引出し式の製氷室ドア221(扉:図1参照)や、上段冷凍室ドア231(扉)の他、野菜室ドア241(扉)や下段冷凍室ドア251(扉)のうち、少なくとも一つをカメラユニット3で撮影するようにしてもよい。
In addition, in each embodiment, as an example, the case where the inside of the refrigerator compartment doors 211 and 212 in addition to the refrigerator compartment 21 is photographed by the camera unit 3 has been described, but the present invention is not limited to this. For example, at least one of the drawer-type ice making compartment door 221 (door: see FIG. 1), the upper freezer compartment door 231 (door), the vegetable compartment door 241 (door), and the lower freezer compartment door 251 (door). The camera unit 3 may be used to photograph one of them.
また、各実施形態では、左右の冷蔵室ドア211,212に撮影ボタン7(図3参照)が設けられる構成について説明したが、これに限らない。例えば、引出し式の製氷室ドア221(図1参照)や、上段冷凍室ドア231の他、野菜室ドア241や下段冷凍室ドア251のうち、少なくとも一つに撮影ボタン(図示せず)を設けるようにしてもよい。
Also, in each embodiment, the configuration in which the left and right refrigerator compartment doors 211 and 212 are provided with the shooting button 7 (see FIG. 3) has been described, but the present invention is not limited to this. For example, at least one of the drawer-type ice making compartment door 221 (see FIG. 1), the upper freezer compartment door 231, the vegetable compartment door 241, and the lower freezer compartment door 251 is provided with a shooting button (not shown). You may do so.
また、各実施形態では、冷蔵室ドア211,212のうち少なくとも一方が開かれた場合(図8AのS101:Yes)、制御部8が、庫内灯4を点灯させるとともに、カメラLED31cを点灯させる処理(S102)について説明したが、これに限らない。すなわち、冷蔵室ドア211,212のうち少なくとも一方が開かれた場合、制御部8が、庫内灯4とカメラLED31cとをタイミングを所定にずらして点灯させるようにしてもよい。
Further, in each embodiment, when at least one of the refrigerator compartment doors 211 and 212 is opened (S101 in FIG. 8A: Yes), the controller 8 turns on the interior light 4 and turns on the camera LED 31c. Although processing (S102) has been described, the present invention is not limited to this. That is, when at least one of the refrigerator compartment doors 211 and 212 is opened, the controller 8 may cause the interior light 4 and the camera LED 31c to turn on at predetermined different timings.
また、各実施形態では、左右の冷蔵室ドア211,212のうち少なくとも一方が開かれてから、冷蔵室ドア211,212の両方が閉じられるまで、制御部8がカメラLED31cを点灯させ続ける場合について説明したが、これに限らない。例えば、露光調整(図8AのS105)を行っていないとき、制御部8が所定のタイミグでカメラLED31cを消灯するようにしてもよい。
In each embodiment, the control unit 8 keeps the camera LED 31c lit until both the left and right refrigerator doors 211 and 212 are closed after at least one of the left and right refrigerator doors 211 and 212 is opened. Illustrated, but not limited to. For example, when the exposure adjustment (S105 in FIG. 8A) is not performed, the control unit 8 may turn off the camera LED 31c at a predetermined timing.
また、第2実施形態では、冷蔵室ドア211,212(図13参照)の下面に凹状の取手部211e,212eが設けられる構成について説明したが、これに限らない。例えば、冷蔵室ドア211,212に所定のドアハンドル(図示せず)が設けられた構成であってもよい。この場合において、ドアハンドルの外側に撮影ボタン(図示せず)が設けられてもよいし、また、ドアハンドル自体の所定箇所に撮影ボタン(図示せず)が設けられてもよい。
In addition, in the second embodiment, the configuration in which the recessed handle portions 211e and 212e are provided on the lower surfaces of the refrigerator compartment doors 211 and 212 (see FIG. 13) has been described, but the configuration is not limited to this. For example, the refrigerator compartment doors 211 and 212 may be provided with predetermined door handles (not shown). In this case, a photographing button (not shown) may be provided outside the door handle, or a photographing button (not shown) may be provided at a predetermined location on the door handle itself.
また、各実施形態で説明した冷蔵庫100等は一例であり、他の形態の冷蔵庫又は貯蔵庫にも適用できる。例えば、片開き式の冷蔵室ドア(図示せず)を備える冷蔵庫や、ポータブル冷蔵庫(図示せず)にも各実施形態を適用できる。貯蔵庫に備えられた演算装置やセンサから情報を優先又は無線通信によって受信して撮影を実行可能で、貯蔵庫とは別体の撮影装置であってもよい。
Also, the refrigerator 100 or the like described in each embodiment is an example, and can be applied to other types of refrigerators or storages. For example, each embodiment can be applied to a refrigerator with a single-opening refrigerator compartment door (not shown) and a portable refrigerator (not shown). It is possible to receive information from an arithmetic unit or a sensor provided in the storage by priority or by wireless communication, and to execute the shooting, and the imaging device may be separate from the storage.
また、各実施形態は本発明を分かりやすく説明するために詳細に記載したものであり、必ずしも説明した全ての構成を備えるものに限定されない。また、実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、前記した機構や構成は説明上必要と考えられるものを示しており、製品上必ずしも全ての機構や構成を示しているとは限らない。 Moreover, each embodiment is described in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to those having all the described configurations. Moreover, it is possible to add, delete, or replace a part of the configuration of the embodiment with another configuration.
Further, the mechanisms and configurations described above show those considered necessary for explanation, and do not necessarily show all the mechanisms and configurations on the product.
また、前記した機構や構成は説明上必要と考えられるものを示しており、製品上必ずしも全ての機構や構成を示しているとは限らない。 Moreover, each embodiment is described in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to those having all the described configurations. Moreover, it is possible to add, delete, or replace a part of the configuration of the embodiment with another configuration.
Further, the mechanisms and configurations described above show those considered necessary for explanation, and do not necessarily show all the mechanisms and configurations on the product.
100,100A 冷蔵庫(貯蔵庫)
1 筐体
10 開口
21 冷蔵室(貯蔵室)
211 冷蔵室ドア(扉)
212 冷蔵室ドア(扉)
211a,212a ヒンジ
211b,212b 内板
211e,212e 取手部
22 製氷室(貯蔵室)
221 製氷室ドア(扉)
23 上段冷凍室(貯蔵室)
231 上段冷凍室ドア(扉)
24 野菜室(貯蔵室)
241 野菜室ドア(扉)
25 下段冷凍室(貯蔵室)
251 下段冷凍室ドア(扉)
3 カメラユニット
4 庫内灯
5 ブザー
6 ドアセンサ
7,7A 撮影ボタン
8 制御部
31c カメラLED
30 撮影部
54 携帯端末
61,62,63 領域
80 配線
92 隔壁
93 挿通孔
94 シール部材 100, 100A refrigerator (storage)
1housing 10 opening 21 refrigerating room (storage room)
211 refrigerator door (door)
212 refrigerator door (door)
211a, 212a Hinge 211b, 212b Inner plate 211e, 212e Handle 22 Ice making compartment (storage compartment)
221 ice compartment door (door)
23 Upper freezer (storage room)
231 upper freezer compartment door (door)
24 Vegetable room (storage room)
241 vegetable compartment door (door)
25 lower freezer (storage room)
251 lower freezer compartment door (door)
3camera unit 4 interior light 5 buzzer 6 door sensor 7, 7A shooting button 8 controller 31c camera LED
30 photographingunit 54 mobile terminal 61, 62, 63 area 80 wiring 92 partition wall 93 insertion hole 94 sealing member
1 筐体
10 開口
21 冷蔵室(貯蔵室)
211 冷蔵室ドア(扉)
212 冷蔵室ドア(扉)
211a,212a ヒンジ
211b,212b 内板
211e,212e 取手部
22 製氷室(貯蔵室)
221 製氷室ドア(扉)
23 上段冷凍室(貯蔵室)
231 上段冷凍室ドア(扉)
24 野菜室(貯蔵室)
241 野菜室ドア(扉)
25 下段冷凍室(貯蔵室)
251 下段冷凍室ドア(扉)
3 カメラユニット
4 庫内灯
5 ブザー
6 ドアセンサ
7,7A 撮影ボタン
8 制御部
31c カメラLED
30 撮影部
54 携帯端末
61,62,63 領域
80 配線
92 隔壁
93 挿通孔
94 シール部材 100, 100A refrigerator (storage)
1
211 refrigerator door (door)
212 refrigerator door (door)
211a,
221 ice compartment door (door)
23 Upper freezer (storage room)
231 upper freezer compartment door (door)
24 Vegetable room (storage room)
241 vegetable compartment door (door)
25 lower freezer (storage room)
251 lower freezer compartment door (door)
3
30 photographing
Claims (8)
- 貯蔵室を有する筐体と、
前記貯蔵室の開口を塞ぐ扉と、
少なくとも前記貯蔵室を撮影する撮影部と、
前記撮影部を制御する制御部と、を備え、
前記制御部は、
前記撮影部の視野の全部または一部を複数の領域に分けて認識し、
前記撮影部の視野のうち、食材が存在する位置を含む一部の領域の重みづけを、残部の領域の重みづけよりも高くして、前記撮影部の露光調整を実行する貯蔵庫。 a housing having a storage chamber;
a door that closes the opening of the storage room;
an imaging unit for imaging at least the storage chamber;
A control unit that controls the imaging unit,
The control unit
recognizing all or part of the field of view of the imaging unit by dividing it into a plurality of areas;
A storehouse for performing exposure adjustment of the photographing unit by weighting a part of the field of view of the photographing unit that includes a position where food is present higher than the weighting of the rest of the region. - 請求項1において、
該複数の領域のうち、輝度の平均値が最も高い領域を基準として、前記露光調整を実行する貯蔵庫。 In claim 1,
A storehouse for performing the exposure adjustment with reference to an area having the highest average luminance value among the plurality of areas. - 請求項1において、
前記扉の開閉及び/又は開角度を検知するドアセンサを備え、
食材が存在する位置を含む前記一部の領域の認識は、前記ドアセンサの情報に応じて行われる貯蔵庫。 In claim 1,
A door sensor that detects the opening and closing and / or opening angle of the door,
A storehouse in which the recognition of the partial area including the position where the food is present is performed according to the information of the door sensor. - 請求項3において、
前記扉として、前記撮影部の視野に収まる複数枚の扉を備え、
前記扉の一部のみが開である場合、当該扉の開き方向に応じて前記一部の領域を作成する貯蔵庫。 In claim 3,
As the door, a plurality of doors that fit in the field of view of the imaging unit are provided,
A storehouse that creates the partial area according to the opening direction of the door when only a part of the door is open. - 請求項1において、
前記撮影部の視野のうち、食材が存在する位置を含む一部の領域の輝度に応じて、前記撮影部の露光調整を実行する貯蔵庫。 In claim 1,
A storehouse that adjusts the exposure of the photographing unit according to the brightness of a part of the field of view of the photographing unit that includes a position where food is present. - 請求項1において、
前記撮影部の視野には、前記貯蔵室の壁面が含まれ、
該壁面は、白色である貯蔵庫。 In claim 1,
The field of view of the imaging unit includes the wall surface of the storage chamber,
A reservoir in which the walls are white. - 請求項1において、
前記撮影部の視野には、前記扉の内板が含まれ、
該内板は、白色である貯蔵庫。 In claim 1,
The field of view of the imaging unit includes the inner plate of the door,
A reservoir in which the inner plate is white. - 貯蔵室を有する筐体と、
前記貯蔵室の開口を塞ぐ扉と、を備える貯蔵庫と、
少なくとも前記貯蔵室を撮影する撮影装置と、によって実行される撮影方法であって、
前記撮影装置を制御する制御部は、
前記撮影装置の視野の全部または一部を複数の領域に分けて認識し、
前記撮影装置の視野のうち、食材が存在する位置を含む一部の領域の重みづけを、残部の領域の重みづけよりも高くして、前記撮影装置の露光調整を実行する撮影方法。 a housing having a storage chamber;
a storage compartment comprising a door that closes an opening of the storage compartment;
an imaging device for imaging at least the storage chamber, and
A control unit that controls the imaging device,
recognizing all or part of the field of view of the imaging device by dividing it into a plurality of regions;
A photographing method for performing exposure adjustment of the photographing device by weighting a part of the field of view of the photographing device that includes a position where food is present higher than the weighting of the rest of the region.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021170614A JP2023060929A (en) | 2021-10-19 | 2021-10-19 | Storage box and photographing method carried out by storage box and photographing device |
JP2021-170614 | 2021-10-19 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023067966A1 true WO2023067966A1 (en) | 2023-04-27 |
Family
ID=86059008
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2022/034798 WO2023067966A1 (en) | 2021-10-19 | 2022-09-16 | Storage chamber and imaging method performed by storage chamber and imaging device |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2023060929A (en) |
WO (1) | WO2023067966A1 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001317858A (en) * | 2000-05-09 | 2001-11-16 | Matsushita Refrig Co Ltd | Refrigerator |
JP2015087041A (en) * | 2013-10-29 | 2015-05-07 | 三菱電機株式会社 | Refrigerator |
JP2017015298A (en) * | 2015-06-30 | 2017-01-19 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | Food material position presentation method and refrigerator |
WO2017072954A1 (en) * | 2015-10-30 | 2017-05-04 | 三菱電機株式会社 | Refrigerator |
JP2018035983A (en) * | 2016-08-30 | 2018-03-08 | シャープ株式会社 | Food storage compartment and system for imaging inside of compartment |
-
2021
- 2021-10-19 JP JP2021170614A patent/JP2023060929A/en active Pending
-
2022
- 2022-09-16 WO PCT/JP2022/034798 patent/WO2023067966A1/en unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001317858A (en) * | 2000-05-09 | 2001-11-16 | Matsushita Refrig Co Ltd | Refrigerator |
JP2015087041A (en) * | 2013-10-29 | 2015-05-07 | 三菱電機株式会社 | Refrigerator |
JP2017015298A (en) * | 2015-06-30 | 2017-01-19 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | Food material position presentation method and refrigerator |
WO2017072954A1 (en) * | 2015-10-30 | 2017-05-04 | 三菱電機株式会社 | Refrigerator |
JP2018035983A (en) * | 2016-08-30 | 2018-03-08 | シャープ株式会社 | Food storage compartment and system for imaging inside of compartment |
Also Published As
Publication number | Publication date |
---|---|
JP2023060929A (en) | 2023-05-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6371965B2 (en) | Refrigerator and refrigerator system | |
JP6221048B2 (en) | refrigerator | |
EP2843336A1 (en) | Refrigerator and refrigerator system for monitoring food | |
JP6322803B2 (en) | Refrigerator and refrigerator system | |
JP6167330B2 (en) | Refrigerator and refrigerator system | |
WO2023067966A1 (en) | Storage chamber and imaging method performed by storage chamber and imaging device | |
JP2000055533A (en) | Cooling storage cabinet and its managing system | |
JP6500251B2 (en) | refrigerator | |
WO2023042504A1 (en) | Refrigerator | |
JP7337889B2 (en) | refrigerator | |
JP7353340B2 (en) | refrigerator | |
JP2023060927A (en) | Storage box and photographing method carried out by storage box and photographing device | |
JP6167327B2 (en) | refrigerator | |
TWI846010B (en) | refrigerator | |
JP6681555B2 (en) | refrigerator | |
JP2014196844A (en) | Refrigerator and refrigerator system | |
JP6641109B2 (en) | refrigerator | |
JP6167288B2 (en) | refrigerator | |
JP6671002B2 (en) | refrigerator | |
JP2024038577A (en) | Storage cabinet and camera unit | |
JP6167328B2 (en) | refrigerator | |
WO2018069986A1 (en) | Refrigerator | |
JP6145701B2 (en) | refrigerator | |
JP6114916B2 (en) | refrigerator | |
WO2023073869A1 (en) | Door opening angle calculation method and storage unit |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22883276 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |