WO2014142120A1 - 冷蔵庫、カメラ装置、冷蔵庫用ドアポケット、通信端末、家電ネットワークシステム、庫内画像表示プログラム - Google Patents

冷蔵庫、カメラ装置、冷蔵庫用ドアポケット、通信端末、家電ネットワークシステム、庫内画像表示プログラム Download PDF

Info

Publication number
WO2014142120A1
WO2014142120A1 PCT/JP2014/056327 JP2014056327W WO2014142120A1 WO 2014142120 A1 WO2014142120 A1 WO 2014142120A1 JP 2014056327 W JP2014056327 W JP 2014056327W WO 2014142120 A1 WO2014142120 A1 WO 2014142120A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
refrigerator
door
image
storage
Prior art date
Application number
PCT/JP2014/056327
Other languages
English (en)
French (fr)
Inventor
裕樹 丸谷
古田 和浩
井澤 浩一
浩太 渡邊
良 河田
Original Assignee
株式会社 東芝
東芝ホームアプライアンス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社 東芝, 東芝ホームアプライアンス株式会社 filed Critical 株式会社 東芝
Priority to KR1020177011992A priority Critical patent/KR20170052705A/ko
Priority to CN201480014441.5A priority patent/CN105074365A/zh
Priority to EP14763567.6A priority patent/EP2975342B1/en
Priority to US14/776,733 priority patent/US10951863B2/en
Priority to KR1020157028150A priority patent/KR20150128901A/ko
Publication of WO2014142120A1 publication Critical patent/WO2014142120A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25DREFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D23/00General constructional features
    • F25D23/02Doors; Covers
    • F25D23/04Doors; Covers with special compartments, e.g. butter conditioners
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25DREFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D17/00Arrangements for circulating cooling fluids; Arrangements for circulating gas, e.g. air, within refrigerated spaces
    • F25D17/04Arrangements for circulating cooling fluids; Arrangements for circulating gas, e.g. air, within refrigerated spaces for circulating air, e.g. by convection
    • F25D17/06Arrangements for circulating cooling fluids; Arrangements for circulating gas, e.g. air, within refrigerated spaces for circulating air, e.g. by convection by forced circulation
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25DREFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D23/00General constructional features
    • F25D23/02Doors; Covers
    • F25D23/028Details
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25DREFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D23/00General constructional features
    • F25D23/12Arrangements of compartments additional to cooling compartments; Combinations of refrigerators with other equipment, e.g. stove
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25DREFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D25/00Charging, supporting, and discharging the articles to be cooled
    • F25D25/02Charging, supporting, and discharging the articles to be cooled by shelves
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25DREFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D27/00Lighting arrangements
    • F25D27/005Lighting arrangements combined with control means
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25DREFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00Arrangement or mounting of control or safety devices
    • F25D29/005Mounting of control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00095Systems or arrangements for the transmission of the picture signal
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25DREFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2400/00General features of, or devices for refrigerators, cold rooms, ice-boxes, or for cooling or freezing apparatus not covered by any other subclass
    • F25D2400/36Visual displays
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25DREFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2500/00Problems to be solved
    • F25D2500/06Stock management
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25DREFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00Means for sensing or measuring; Sensors therefor
    • F25D2700/02Sensors detecting door opening
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25DREFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00Means for sensing or measuring; Sensors therefor
    • F25D2700/08Sensors using Radio Frequency Identification [RFID]

Definitions

  • Embodiments of the present invention relate to a refrigerator, a camera device, a refrigerator door pocket, a refrigerator holder, a communication terminal, a home appliance network system, and an in-chamber image display program.
  • the problem to be solved by the present invention is to provide a refrigerator, a camera device, a refrigerator door pocket, a refrigerator holder, a communication terminal, a home appliance network system, and an in-chamber image display program capable of easily confirming the inside of the warehouse. That is.
  • the refrigerator door pocket according to the embodiment includes an attached portion for attaching imaging means for imaging the interior of the refrigerator.
  • the refrigerator holder according to the embodiment includes a holding unit for holding imaging means for imaging the interior of the refrigerator.
  • the communication terminal is capable of communicating via a communication line to a refrigerator provided with an imaging means for imaging the inside of the storage, and displays image information in the refrigerator storage acquired via the communication line To do.
  • the home appliance network system is capable of communicating with an imaging unit for imaging the interior of a storage that stores articles, and communication that can communicate with the imaging unit via a communication line and acquires image information in the storage of the storage.
  • a server having storage means for storing the image information acquired by the communication means, and can communicate with the server via a communication line, and acquire and display image information stored in the server.
  • a communication terminal having terminal-side display means.
  • FIG. 2 is a diagram illustrating an example of an installation position of an imaging unit according to the fifth embodiment.
  • FIG. 3 is a diagram illustrating an example of an installation position of an imaging unit according to the fifth embodiment.
  • the figure which shows the refrigerator of 6th Embodiment typically The figure which shows typically the structure of the camera unit of 6th Embodiment.
  • the figure which shows typically the imaging result and display mode of 6th Embodiment The figure which shows typically the rotation aspect of the vertical partition of the specific example 4 of 6th Embodiment.
  • the figure which shows typically the attachment aspect of the specific example 4 of 6th Embodiment The figure which shows typically the attachment aspect of the specific example 4 of 6th Embodiment.
  • the figure which shows typically the attachment aspect of the specific example 5 of 6th Embodiment The figure which shows typically the structure of the camera unit of the specific example 6 of 6th Embodiment.
  • the figure 2 which shows typically the attachment state of the camera unit of the specific example 1 of 7th Embodiment The figure which shows typically the attachment state of the camera unit of the specific example 1 of 7th Embodiment.
  • image information obtained by imaging the interior of the refrigerator 1 is stored in the server 104, and the communication terminal 103 acquires the image in the interior from the server 104.
  • the image information is information (data) indicating an image in the warehouse, and for example, image data (still image, moving image) or image data in a known format such as a bitmap format, JPEG format, or MPEG format is compressed. Any data that can be transmitted via communication means, such as data converted by encryption or image processing as in the second embodiment, and finally the state inside the warehouse can be confirmed. It may be in the form of data.
  • the communication terminal 103 is assumed to be a so-called smart phone (high-function mobile phone) that can be carried outside the house 105, a tablet personal computer, a television connected to the home appliance network system 100, or the like.
  • the refrigerator 1 includes a refrigerator room 3, a vegetable room 4, an ice making room 5, an upper freezer room 6, and a lower freezer room 7, which are storages for storing ingredients in order from the top of the main body 2. Is provided.
  • the refrigerator compartment 3 and the vegetable compartment 4, and the ice making compartment 5 and the upper freezer compartment 6 are partitioned by a heat insulating partition wall (not shown).
  • the refrigerator compartment 3 is opened and closed by a so-called double-open left door 3a and right door 3b, and the vegetable compartment 4, the ice making compartment 5, the upper freezer compartment 6 and the lower freezer compartment 7 have a pull-out door 4a, door 5a, door 6a. And the door 7a.
  • the left door 3a of the refrigerator compartment 3 is provided with a door pocket 8a, a door pocket 9a, and a door pocket 10a in order from the top, and the right door 3b has a door pocket 8b, a door pocket 9b, and a door pocket 10b in order from the top.
  • the refrigerator compartment 3 is provided with a plurality of shelves 11 made of a transparent material such as glass, and a special purpose room such as an egg room or a chilled room at the bottom. 12 is arranged.
  • a ceiling light 13 as an illumination unit is provided in the upper part of the refrigerator compartment 3.
  • a side light 36 (see FIG. 4) provided on the side surface is also provided.
  • the ceiling light 13 is provided to illuminate a specific position in the storage, such as the upper side in the storage, and the side light 36, such as a central portion or a lower portion in the storage.
  • the front side of the left door 3a and the right door 3b of the refrigerator compartment 3 is covered with a glass plate 3b1 formed of an insulating glass material, and the inside thereof is filled with urethane as a heat insulating material as a filler.
  • a glass plate 3b1 formed of an insulating glass material, and the inside thereof is filled with urethane as a heat insulating material as a filler.
  • an inner plate 14 and a vertical plate 15 made of non-metallic resin are provided on the inner side. That is, the front side of the left door 3a and the right door 3b is configured by the glass plate 3b1 that is a non-metallic material that transmits radio waves.
  • the door pockets 8 to 10 are provided on the inner plate 14.
  • a recess 16 is formed in the vertical plate 15 near the center in the vertical direction and on the open end side of the right door 3b in the left-right direction (specifically, in the vicinity where an imaging camera 18 described later is provided). ing. As will be described later, the recess 16 is provided so as not to block the field of view of the imaging camera 18.
  • the left door 3a is provided with a rotary vertical partition 17 for filling a gap with the right door 3b.
  • the door 4 etc. of the vegetable compartment 4 is the structure where the front surface is covered with the glass plate similarly to the right door 3b, and the inside is filled with urethane as a heat insulating material.
  • an imaging camera 18 and an imaging light 19 are provided on the inner plate 14 of the right door 3b (the door not having a vertical partition). That is, in the present embodiment, the inner plate 14 corresponds to the attached portion.
  • the imaging camera 18 has an imaging element such as a CCD or a CMOS, and takes an image in the cabinet from the door side.
  • the imaging camera 18 includes a wide-angle lens having a viewing angle of approximately 120 degrees.
  • the imaging camera 18 is provided at a position adjacent to the middle door pocket 9b and closer to the left door 3a than the door pocket 9b. That is, the imaging camera 18 is provided in the vicinity of the center in the vertical direction of the refrigerator compartment 3 and in the vicinity of the center in the left-right direction of the refrigerator compartment 3.
  • the imaging camera 18 has a field of view substantially in the entire region of the refrigerator compartment 3 as shown in FIG. 7 described later, and at least one of the door pockets 8 to 10.
  • the part can be imaged.
  • the viewing angle is approximately 55 degrees.
  • the door pocket 9b adjacent to the imaging camera 18 is formed obliquely on the imaging camera 18 side as shown in FIG. That is, a notch 9b1 is formed in the door pocket 9b, which generally has a rectangular (rectangular) housing portion, in order to ensure the field of view of the imaging camera 18 employing a wide-angle lens. .
  • FIG. 3 and the like schematically illustrate the imaging camera 18 and are different from the actual size and shape of the imaging camera 18.
  • the imaging camera 18 has a structure attached to the refrigerator 1 in this embodiment, it can be attached to and detached from the refrigerator 1 as in the second embodiment to be described later (for example, as an optional device after purchase of the refrigerator 1). It may be attached).
  • the imaging light 19 is provided on the upper side of the imaging camera 18, for example. That is, the imaging light 19 is arranged so that the irradiation direction thereof is the same as the field of view of the imaging camera 18, and the position where the irradiated light does not directly enter the imaging camera 18 (position outside the facing position). That is, it is arranged at a position where it is difficult for the imaging camera 18 to be backlit or a position where it is not backlit.
  • the imaging camera 18 constitutes imaging means described in the claims, and the imaging light 19 constitutes illumination means described in the claims.
  • the refrigerator 1 is controlled by the main control unit 30 as shown in FIG.
  • the main control unit 30 is configured by a microcomputer having a CPU 30a, a ROM 30b, a RAM 30c, and the like, and controls the entire refrigerator 1 by executing a computer program stored in the ROM 30b, for example.
  • the main control unit 30 includes a refrigeration cooling mechanism 31 and a refrigeration cooling mechanism 32 configured by a well-known refrigeration cycle, an operation panel 33 for inputting setting operations and the like for the refrigerator 1, a left door sensor 34, and a right door sensor 35.
  • the ceiling light 13 and the side light are connected.
  • the refrigerator 1 also includes an unshown internal sensor that detects the temperature of the refrigerator compartment 3, the lower freezer compartment 7, and the like.
  • the operation panel 33 has a display 33a, switches 33b, and an outside sensor 33c.
  • the indicator 33a displays various information such as the operating state of the refrigerator 1.
  • the switches 33b are input with a user's setting operation or the like for the refrigerator 1.
  • the switches 33b include an outing switch for switching the operation state of the refrigerator 1 when the user goes out. For example, “power saving”, “outing” and the like are set in this outing switch, and when any one of them is selected, the mode switches to the corresponding power saving mode. That is, since the refrigerator 1 is not used when the user goes out, the refrigerator 1 shifts to the power saving mode and reduces power consumption.
  • the refrigerator 1 adjusts the internal temperature within a range that does not affect the food storage environment and controls the operation state of the heater for preventing condensation, so that Shift to a mode that reduces power consumption by about 10%.
  • the refrigerator 1 shifts to the power saving mode in which the number of times of automatic ice making is reduced and the power consumption is reduced as compared with the normal time. More specifically, the refrigerator 1 reduces the power consumption by about 20% compared with the normal operation by setting the number of times of automatic ice making to, for example, once every 8 hours.
  • the switch for “power saving” and “outing” provided in advance in the refrigerator 1 is also used as an outing switch.
  • a dedicated switch for setting to go out may be provided. .
  • the outside sensor 33c is formed by a temperature sensor or a humidity sensor, and acquires the outside environment.
  • the outside sensor 33c constitutes the outside environment acquisition means described in the claims.
  • the main control unit 30 Based on the internal environment acquired by the internal sensor and the external environment acquired by the external sensor 33c, and the main control unit 30 based on the settings from the operation panel 33, Control the operating state. Further, the main control unit 30 acquires the open / closed state of the door from the left door sensor 34 and the right door sensor 35.
  • the main control unit 30 is communicably connected to the control unit 50, and transmits the door open / closed state to the control unit 50 and receives instructions for lighting the ceiling light 13 and the side light 36 from the control unit 50. can do.
  • the control unit 50 includes a CPU 50a, a ROM 50b, a RAM 50c, and a microcomputer having a real time clock (hereinafter referred to as an RTC 50d) for acquiring time.
  • the control unit 50 is connected to the imaging camera 18, the imaging light 19, the lens heater 51, and the communication unit 52.
  • the control unit 50 executes, for example, a computer program stored in the ROM 50b or the like to control the timing at which the imaging camera 18 images the interior and the imaging environment for imaging the interior by the imaging camera 18. . Specifically, the timing of imaging is controlled based on the open / closed state of the door received from the main control unit 30, and the ceiling light 13 and the imaging light 19 that are light sources necessary for imaging are turned on. Control the state.
  • the control part 50 comprises the control means described in the claims.
  • the timing of imaging will be described.
  • the timing at which the interior is imaged and by controlling the imaging environment (that is, lighting of the imaging light 19 etc.) only when necessary in accordance with the timing, power consumption can be reduced. We are trying to reduce it.
  • the following imaging conditions 1 to 5 are set in advance as the timing for imaging the interior, and the control unit 50 determines that the timing for imaging the interior is reached when any imaging condition is satisfied. judge.
  • Imaging condition 1 timing when any door of the refrigerator compartment 3 is once opened and then closed. In other words, the timing at which the storage status of food in the cabinet may have changed.
  • Imaging condition 2 Timing when any door of the refrigerator compartment 3 is opened. In other words, the timing at which the storage status of food in the warehouse may change.
  • Imaging condition 3 Timing when a command is received from an external device such as a communication terminal.
  • -Imaging condition 4 When the outing switch is operated. You may image at the timing when the going-out switch was operated, and you may image at the timing when the predetermined waiting time passed after the going-out switch was operated. In addition, which timing should be used may be set in advance.
  • Imaging condition 5 After a door that has been opened once is closed and when a predetermined period has elapsed (in this embodiment, it is assumed that it is necessary to remove condensation on the wide-angle lens of the imaging camera 18) The timing when the delay imaging time has passed is adopted). That is, the timing at which the condensation of the wide-angle lens is removed.
  • the delay imaging time may be set in advance as a fixed value, or may be set each time based on the outside humidity or temperature acquired by the outside sensor 33c.
  • Image capturing condition 6 timing when condensation of the wide-angle lens of the image capturing camera 18 is removed by the lens heater 51 after the opened door is closed. That is, the timing at which the condensation of the wide-angle lens is removed.
  • the communication unit 52 communicates with the router 101 by a wireless communication method such as a so-called wireless LAN or Bluetooth (registered trademark). Specifically, the communication unit 52 uploads the captured image in the warehouse to the server 104 via the router 101 and the communication line 102.
  • the communication unit 52 may be a wired communication method.
  • the lens heater 51 removes condensation on the lens surface by heating the wide-angle lens of the imaging camera 18 as shown in FIG.
  • the lens heater 51 may be configured by a heat generating member that generates heat when energized by a heating wire or the like, or may be configured by heat generated by a microcomputer that constitutes the control unit 50 or a heat transfer member that transmits the generated heat.
  • the microcomputer may be returned from the power saving mode in order to use the heat generated by the microcomputer.
  • a fan or the like may be employed as the removing means.
  • the image may be taken after a predetermined period of time that dew condensation is expected to elapse, by driving the fan and blowing cool air onto the lens surface. In any case, any configuration is possible as long as condensation on the lens surface can be removed.
  • the communication terminal 103 accesses the server 104 to acquire and display the image stored in the server 104. That is, in this embodiment, the communication terminal 103 does not directly acquire an image from the refrigerator 1 but acquires an image once stored in the server 104.
  • the server 104 is configured by a so-called computer system, and stores a plurality of uploaded images in time series. Moreover, the server 104 provides the image of the corresponding refrigerator 1 with respect to the communication terminal which acquires an image by matching the communication terminal and the refrigerator 1.
  • the refrigerator 1 transmits the captured image information to the server 104 (A4).
  • the imaged time is also transmitted to the server 104 at the same time.
  • the server 104 stores (accumulates) a plurality of images in the warehouse in time series.
  • FIG. 8 shows a condensed state (immediately after the door is closed), and FIG. 8 (b) gradually shows the condensation. 8 shows a state where a period of time has elapsed after the door is closed, and FIG. 8C shows a state where condensation has been removed (a state where delayed imaging time has elapsed).
  • the control unit 50 When the image information is transmitted to the server 104, the control unit 50 enters a standby state. In this standby state, the control unit 50 may be switched to a power saving mode such as a so-called sleep mode (for example, the ice making operation is stopped), or power supply to the control unit 50 side including the imaging camera 18 is cut off. Thus, the power consumption may be zero. For example, when the door sensor detects that the door has been opened, the main control unit 30 may output a command to the control unit 50 to shift to the normal mode or start energization. Thereby, the total power consumption of the refrigerator 1 can be reduced.
  • a power saving mode such as a so-called sleep mode (for example, the ice making operation is stopped)
  • the main control unit 30 may output a command to the control unit 50 to shift to the normal mode or start energization. Thereby, the total power consumption of the refrigerator 1 can be reduced.
  • This screen includes a button M1 for acquiring the current image, a button M2 for ending the application, a button M3 for displaying a past image than the image being displayed, and an image newer than the image being displayed.
  • a button M4 and the like for displaying “” are provided.
  • the communication terminal can also display a desired region in an enlarged manner. By expanding the region R shown in FIG. 11 and displaying it as shown in FIG. 12, for example, how many eggs remain. It is possible for the user to grasp whether or not.
  • the communication terminal 103 captures the interior of the refrigerator with respect to the refrigerator 1.
  • a command is transmitted (B3), an image is acquired from the server 104 (B4), and the acquired image is displayed (B5).
  • Step B 3 the image capturing condition 3 in FIG. 6 is established on the refrigerator 1 side, so that the inside of the cabinet is imaged, and the captured image information is transmitted to the server 104.
  • the refrigerator 1 transmits image information obtained by imaging the interior to the server 104, the server 104 stores the image, and the communication terminal 103 acquires and displays the image from the server 104. This makes it possible to check the inside of the warehouse at a remote place such as a place where you go.
  • the refrigerator 1 includes an imaging camera 18 that images the interior of a storage such as the refrigerator compartment 3 that stores food, and a communication unit 52 that transmits image information captured by the imaging camera 18 to an external device. Since it is provided, the image in the warehouse can be acquired by an external device such as the communication terminal 103. Thereby, the inside of the refrigerator can be easily confirmed at a remote place such as an outside place.
  • the image in the warehouse is temporarily stored in the server 104, it is not necessary to provide storage means for storing the image on the refrigerator 1 side, and an increase in manufacturing cost can be suppressed. .
  • control unit 50 enters a standby state after transmitting image information to the server 104. That is, the power consumption on the control unit 50 side (including the imaging camera 18 and the like) is reduced or zero at times other than during imaging. Thereby, the total power consumption of the refrigerator 1 can be reduced.
  • the control unit 50 controls the timing at which the inside of the warehouse is imaged by the imaging camera 18, and controls the imaging environment such as lighting of a light for imaging the inside of the warehouse in accordance with the timing.
  • a light source is required to image the interior, and if it is always in an imageable state, it will consume unnecessary power, but only when capturing in time for capturing the interior
  • unnecessary power consumption can be reduced.
  • a night-vision camera for example, an infrared camera
  • a night-vision camera for example, an infrared camera
  • the light may be always turned on.
  • the refrigerator 1 images the interior of the refrigerator with the imaging camera 18 at a timing after the door of the refrigerator compartment 3 is closed. If an image is taken even though the storage state of the refrigerator has not changed, unnecessary images are not only accumulated, but also power consumption is increased. Therefore, in this embodiment, the refrigerator images the interior of the refrigerator at a timing after the door is once opened and the door is closed. As a result, in the state where the storage state of the foodstuff in the warehouse may change (the door is once opened), the inside of the warehouse is imaged in a state where the storage state is confirmed (the state after the door is closed). Thus, it is possible to suppress unnecessary imaging and increase power consumption.
  • the refrigerator 1 images the interior of the refrigerator after the door is closed and when the delayed imaging time required until the condensation of the wide-angle lens of the imaging camera 18 is removed.
  • the temperature is high or humidity is high as in the summer
  • an imaging camera that is exposed to the outside environment with the door opened has a low temperature in the refrigerator compartment 3 when the door is closed. Condensation may occur on the surface. Therefore, by capturing the interior of the cabinet again at the timing when the delay imaging time assumed to remove the condensation has passed, it is possible to capture a clear image with no cloudiness on the lens surface. Therefore, it is possible to grasp the state in the warehouse more reliably.
  • the delayed imaging time may be set based on the outside environment such as temperature and humidity acquired by the outside sensor 33c. As a result, it is assumed that condensation does not occur (or is less) when the temperature or humidity is low, etc., so that the delay imaging time can be shortened and the power consumption can be reduced. Specifically, for example, in a configuration in which the control unit 50 waits until the delay imaging time elapses, power consumption can be reduced by shortening the standby time.
  • a removing means such as the lens heater 51 may be used.
  • the refrigerator 1 captures an image of the interior at the timing after the lens heater 51 removes condensation on the lens surface.
  • the delay imaging time can be further shortened, so that power consumption can be reduced.
  • the lens heater 51 is formed of a heat transfer member that transmits the self-heating of the control unit 50, condensation on the lens surface can be removed without consuming extra power. Even when a fan is used as the removing means, the power consumption can be reduced by shortening the delay imaging time.
  • the refrigerator 1 images the interior of the refrigerator at the timing when a command for imaging the interior from the communication terminal 103 is received, for example.
  • the storage status may change due to the user going out and the family taking out food from the refrigerator 1 while the user is away, but by taking an image at that time according to the user's instruction, It is possible to grasp the latest state, that is, the state of the refrigerator 1 at the present time.
  • the refrigerator 1 images the inside of the refrigerator when the outing switch is operated, it is possible to cope with a situation where it is desired to check the inside of the refrigerator 1 after going out.
  • the storage state of the refrigerator 1 is considered not to change from the time when the user goes out, so the image captured when the outing switch is operated is the latest image in the warehouse.
  • chamber may change Can do.
  • the field of view of the imaging camera 18 is blurred while the right door 3b is opened, for example, by taking an image at the moment when the right door 3b is opened, the shaking can be reduced, and the door Since the interior lighting is turned on when is opened, the illuminance can be secured.
  • the refrigerator 1 controls (maintains) the imaging environment by turning on the imaging light 19 for illuminating the interior when the imaging camera 18 images the interior. Thereby, even if the door is in a closed state, the light source can be secured, and the interior can be imaged so as to be visible.
  • the refrigerator 1 includes an imaging light 19 for illuminating a specific position (in particular, the imaging position in this case) among a plurality of illumination means provided in the cabinet, such as the ceiling light 13, the imaging light 19, or the side light 36. Lights up.
  • a specific position in particular, the imaging position in this case
  • the illumination directly enters the visual field and becomes backlit, but instead of lighting all the illumination means, for example,
  • By turning on the illumination means for illuminating a specific position such as a position that is not backlit when taking an image like the imaging light 19, an image can be taken more clearly.
  • an illuminating unit is provided on the back side facing the imaging camera 18, at least the illuminating unit that is the most backlit is turned off and another illuminating unit (ceiling light 13 or the like) is used. It is conceivable.
  • the imaging light 19 is provided so as to illuminate the same direction as the field of view of the imaging camera 18 outside the position facing the imaging camera 18, the light from the imaging light 19 is not backlit, and the inside of the cabinet The situation can be grasped in detail.
  • the imaging camera 18 Since the imaging camera 18 is provided on the inner plate 14 of the right door 3b, the interior can be imaged even when the door is closed. In this case, the imaging camera 18 is provided in the vicinity of the center in the vertical direction of the refrigerator compartment 3 and in the vicinity of the center in the left-right direction of the refrigerator compartment 3 and a wide-angle lens is adopted. An almost entire area in the refrigerator can be taken as an image from the vicinity of the central portion in the refrigerator (that is, an image in a state that approximates a state where the user is normally looking inside the refrigerator 1). At this time, since the shelf board 11 is formed of a transparent material, for example, foodstuffs placed on the uppermost shelf board 11 can be imaged in a visible manner through the shelf board 11.
  • the door pocket 9b adjacent to the imaging camera 18 is formed in a direction avoiding the imaging camera 18 on the side of the imaging camera 18, the left and right visual field of the imaging camera 18 employing a wide-angle lens is ensured. Can do. Moreover, since the imaging camera 18 is provided at a position adjacent to the door pocket 9b, the vertical field of view is not blocked by the door pocket 9b.
  • the imaging camera 18 Since the imaging camera 18 is arranged at a position where at least a part of the door pockets 8 to 10 can be imaged, foods stored in the door pockets 8 to 10 can be imaged and stored in the cabinet. It is possible to grasp in detail the ingredients that are present. Note that the door pocket 9b of the present embodiment provided adjacent to the imaging camera 18 may be out of the field of view (not imaged). Moreover, you may provide the imaging camera 18 between door pockets. Such an installation position of the imaging camera 18 can obtain the same effect even when a detachable camera device described in a second embodiment described later is used.
  • the communication terminal 103 Since the communication terminal 103 has a display unit for displaying an image, and acquires the image in the warehouse captured by the refrigerator 1 from the server 104 and displays it on the display unit, the inside of the warehouse can be accessed from a remote place such as an outside place. Can be seen.
  • the communication terminal 103 is connected to the communication line 102 by the above-described refrigerator 1, the above-described communication terminal 103, and the server 104 having storage means for storing the image captured in the refrigerator 1. Since the image in the store
  • the holding portion 202 is formed in a substantially box shape with an upper side (the upper side in FIG. 3A) opened, and the camera device 300 is taken in and out (detached) from the upper side opening. .
  • the wall portion 204 on the front surface side (that is, the side facing the interior) of the holding unit 202 holds the camera device 300 while the lens 301 and the imaging lamp 302 (see FIG. 15, etc.
  • Camera-side illumination means and illumination means Is formed at a position corresponding to (2) corresponding to (2), preventing the camera device 300 from obstructing the field of view or reflecting the illumination.
  • the image pickup device when imaging the refrigerator compartment 3 that is generally formed in a vertically long shape, the image pickup device can be arranged in a vertically long direction by placing the camera device 300 vertically.
  • the image sensor when imaging the vegetable room 4 that is formed horizontally long, the image sensor can be disposed in the landscape direction by placing the camera device 300 horizontally.
  • the imaging lamp 302 an LED is employed in the present embodiment. Although illustration is omitted, the camera device 300 is also provided with a power switch.
  • a vacuum heat insulating material may be used as a heat insulating material instead of urethane or together with urethane.
  • This vacuum heat insulating material wraps a core material such as a glass fiber with a film obtained by laminating (laminating) a metal foil member (for example, aluminum foil) and a film member made of, for example, a synthetic resin. It is formed in a thin plate shape and becomes a heat insulating material.
  • this vacuum heat insulating material is used as an internal member of the housing or door of the refrigerator 1, for example, when the camera device 300 is disposed in the door pocket 200, the vacuum heat insulating material is provided avoiding the position corresponding to the holding portion 202. Thus, it is possible to easily emit radio waves.
  • the camera device 300 includes a control unit 309.
  • the control unit 309 includes a microcomputer having a CPU 309a, a ROM 309b, a RAM 309c, an RTC 309d, and the like, and functions as a camera-side control unit that controls the entire camera device 300.
  • the control unit 309 controls the imaging timing by the imaging unit 308 having the lens 301 and the imaging element, the control for adjusting the imaging environment when imaging by the imaging lamp 302 (lighting control), and the image information by the communication module 306. Control for receiving and receiving a command, which will be described later, and control for determining and identifying the installation state by the detection unit 307.
  • the control unit 309 also performs image processing for correcting a captured image.
  • the output of the magnetic sensor 311 is on the negative side (not 0), it is installed at a position facing the magnet 405, that is, the camera device 300 is installed in the vegetable compartment 4. It can be detected.
  • the positive reference value is exceeded, it is determined that the room is the refrigerating room 3.
  • the vegetable room 4 is determined to be in the case of being below the negative reference value. If the output is near 0, it is determined that the shelf board 11 or the like is not provided with a magnet.
  • it may be added to the determination condition that it is in the storage chamber.
  • This blinking pattern is set in advance to notify the imaging timing to the camera device 300 that can be detached from the refrigerator 1. That is, the refrigerator 1 notifies the imaging instruction to the camera device 300 by blinking the interior lighting.
  • the imaging unit 308 imaging unit
  • the image information in the warehouse captured by the imaging unit 308 Is provided in the refrigerator 1
  • the communication module 306 communication means for transmitting the image to the external device such as the server 104, so that the image in the warehouse can be acquired by the communication terminal 103 at the outside location, etc. can do.
  • the control unit 309 of the apparatus 300 can reduce such a fear by controlling the timing at which the interior is imaged.
  • a magnet 206 or a magnet 405 is provided to detect the magnetism.
  • the camera device 300 is driven by the battery 305 (that is, when it is installed in the refrigerator 1, it is driven without external power supply). It is desirable to reduce consumption. Therefore, by making the communication module 306 communicate with the communication device 501, it is possible to reduce power consumption by wireless communication as compared with the case where the communication module 306 performs wireless communication with an external device.
  • the communication module 306 is configured to receive the command as in the embodiment. Need not be operated at all times, and the period until the battery runs out can be made longer.
  • the communication device 501 is configured so that power can be supplied from the refrigerator 1 side by a wired method such as USB, unnecessary power supply is not performed without the communication device 501 and the communication device 501 is provided. For example, it becomes possible to always operate.
  • the camera device 300 When the camera device 300 is detachable, it is possible to improve convenience by adopting wireless communication.
  • the communication device 501 receives a command as described above, it is transmitted to the camera device 300 by some method. Need to communicate. Therefore, an illuminance sensor 313 is provided in the camera device 300, and the imaging command is indirectly transmitted to the camera device 300 by blinking the interior lighting, so that the camera device 300 adopting wireless communication has an imaging timing. Can be notified.
  • the illuminance sensor 313 since the illuminance sensor 313 has only to be in the operating state on the camera device 300 side, power consumption can be reduced compared to the case where the communication module 306 is operated.
  • the camera device 300 and the communication module 306 are disposed in the refrigerator compartment 3 sealed by the right door 3b.
  • the camera device 300 and the communication module 306 are disposed in the refrigerator compartment 3 sealed by the right door 3b.
  • the holding unit 202 and the holding unit 401 are preliminarily formed so as to be vertically placed in the present embodiment in the case of the refrigerator compartment 3 and horizontally in the case of the vegetable compartment, so that the orientation according to the storage room
  • the camera device 300 is installed.
  • a field of view can be appropriately secured according to the storage room, and it is possible to determine in which direction the image should be rotated when performing image processing.
  • the direction of the camera device 300 can be determined from the direction of the acceleration detected by the acceleration sensor 312, and the installation location can also be determined based on the temperature detected by the temperature sensor 310.
  • the camera device 300 may cause a malfunction or the like.
  • the temperature sensor 310 by detecting the temperature with the temperature sensor 310, it is possible to make a notification as in the embodiment. The possibility of causing malfunctions can be reduced.
  • the wall portion 203 of the door pocket 200 of the embodiment is formed in a shape that avoids the holding portion 202 (attached portion), and thus does not block the field of view of the camera device 300.
  • maintenance part 202 is formed so that the visual field of the camera apparatus 300 may come to the center of a refrigerator compartment in the state hold
  • the installation location can be identified by the camera device 300 as described above.
  • the vegetable compartment 4 and the like are also provided, but the vegetable compartment 4 is not provided with a so-called door pocket and is formed in a box shape. There is a risk of being covered with vegetables. Therefore, the camera device 300 can be installed in the vegetable compartment 4 using the refrigerator holder 400 having the holding unit 401 that holds the camera device 300 like the refrigerator holder 400.
  • locking part 402 which latches the holding
  • the refrigerator holder 400 is also provided with the magnet 405, the camera device 300 can determine its own installation location as described above. Moreover, the effect which the household appliance network system 500 and the image display program in a warehouse show
  • the refrigerator 700 includes a control block 701 (control means), an imaging block 702 (imaging means), an illumination block 703 (illumination means), an opening detection block 704 (door opening detection means), and an opening detection block 705 (opening detection means).
  • Illuminance detection block 706 illumination detection means
  • communication block 707 communication means, notification means
  • the imaging block 702 images the interior of a storage, etc., and in the present embodiment, is fixedly provided on the door of the refrigerator 700 as in the camera device 18 (see FIG. 4) of the first embodiment. Is assumed. In this case, a configuration similar to that of the camera device 18 may be used, or a configuration in which the main control unit 30 directly performs imaging control without the control unit 50 on the camera device 18 side may be employed. Note that the camera device 300 (see FIG. 15) of the second embodiment may be employed, and the imaging block 702 may be configured to be detachable from the refrigerator 700.
  • the illumination block 703 illuminates the interior, and in this embodiment, the illumination block 703 is assumed to be equivalent to the ceiling light 13 (see FIG. 4) that is the interior illumination and the imaging light 19 dedicated to imaging (see FIG. 4). is doing. In addition, you may provide other interior lightings, such as the side light 36 (refer FIG. 4).
  • the opening detection block 705 detects the opening of the door. For example, in the case of a door that rotates around a hinge, such as the door 3a of the refrigerator compartment 3 shown in FIG. State is 0 degree). Moreover, in the case of the drawer-type door 4a etc. of the vegetable compartment 4, the drawer amount is detected.
  • the rotation angle may be detected by an angle detector (for example, a rotary encoder), and the pulling amount may be configured by a distance detector (for example, a laser distance meter).
  • the communication block 707 transmits captured image information to the outside, and includes the communication unit 52 (see FIG. 4) of the first embodiment, the communication module 306 and the communication device 501 (see FIG. 21) of the second embodiment, and the like.
  • the communication module 306 may be employed.
  • an example of imaging a storage 709 (for example, a refrigeration room) that is opened and closed with a single-opening (rotating) door
  • a storage 709 for example, a refrigeration room
  • an imaging block 702 is provided inside the door 710.
  • the imaging block 702 is provided on the open end side (the end side opposite to the hinge) of the door 710 of the storage 709 and is positioned substantially in front of the storage 709 when the door 710 is in a closed state. is doing.
  • an illumination block 703 for example, the ceiling light 13
  • an open detection block 704 an illuminance detection block 706, and the like are provided.
  • the open detection block 704 is turned off when the opening degree (in this case, the rotation angle) of the door 710 is less than a predetermined amount. For this reason, as shown in FIG. 31B, when the door 710 is slightly opened, the open detection block 704 is off. However, even in this state, since the rotation angle of the door 710 is detected by the opening degree detection block 705, the rotation angle of the door 710 is not 0 degrees in the opening degree detection block 705. Detecting that it is slightly open. That is, from the determination result of the opening degree detection block 705, it is determined that the imaging timing of the refrigerator 700 in the present embodiment has come.
  • the open detection block 704 is turned on when the opening degree of the door 710 exceeds a predetermined amount (rotation angle ⁇ 1), and the interior lighting is turned on accordingly. That is, the interior becomes brighter.
  • the purpose of imaging the interior is to grasp the inside of the warehouse, and it is not desirable to capture an unclear image that cannot grasp the inside of the warehouse (and to transmit it to the user).
  • the refrigerator 700 may be configured to take an image when the opening degree of the door 710 is less than 90 degrees.
  • an image containing a large amount of information in the cabinet can be taken.
  • the interior of the cabinet can be imaged even if the opening degree of the door 710 exceeds 90 degrees.
  • the image may be captured when the opening degree of the door 710 is within a range in which the inside of the warehouse can be imaged.
  • a dedicated camera for imaging the outside of the cabinet may be provided.
  • a part of the colored paint on the back surface of the glass may be made transparent so that the outside can be imaged through the transparent portion with a camera provided inside the door.
  • a position to be imaged when the door 710 is opened may be set in advance. For example, as shown in FIG. 32B, an image may be taken when the door 710 is opened to an angle at which the field of view of the imaging block 702 is approximately near the center of the refrigerator 700. That is, when the imaging block 702 is provided on the hinge side, a range in which the inside of the warehouse can be imaged (for example, a range in which the amount of information in the warehouse is larger than the amount of information outside the warehouse) is widened, and the imaging timing is increased. The degree of freedom can be improved.
  • the storage amount estimator 708 performs image processing (for example, color recognition, luminance difference extraction, etc.) on one image obtained by imaging the interior from the front side, so that the storage items occupy the entire interior.
  • image processing for example, color recognition, luminance difference extraction, etc.
  • the amount of storage such as the ratio of
  • FIG. 35 (A) when the egg case 722 is imaged from substantially the front, the eggs 723 are aligned and stored in the egg case 722. There is a possibility that it cannot be determined whether the egg 723 remains in the back row after being hidden. Therefore, as shown in FIG. 35 (B), the state of the rear row, that is, the actual remaining amount of the eggs 723 can be confirmed by also using images taken in different fields of view such as oblique directions.
  • it may be configured to take an image when the door 710 is opened, such as when the vibration to the door 710 is detected or when the opening degree starts to change in the opening degree detection block 705. If the door 710 is not opened and closed, there is no possibility that the storage amount will change. For example, during the closing of the door 710, the interior is periodically imaged, and the latest image before the door 710 is opened, A change in the storage amount may be detected or the storage amount may be estimated by comparing an image captured when the opened door 710 is subsequently closed.
  • the refrigerator 800 of the present embodiment has a configuration in which one storage 803 (for example, a refrigerator compartment) is opened and closed by a left door 801 and a right door 802 that are arranged adjacent to each other on the left and right. It has become.
  • the left door 801 and the right door 802 are each provided with an imaging block 702 on the open end side.
  • the imaging block 702 of the right door 802 is provided on the open end side and near the center of the refrigerator 800 in the left-right direction.
  • Each door is provided with one or more door pockets 804.
  • Example 5 since the inside is imaged from two directions on the left and right, one camera unit 1000 can image a portion blocked by food or the like from the other camera unit 1000. As a result, the entire interior can be imaged without being disturbed by food and the like, and the interior can be confirmed in more detail. Moreover, the inside of a store
  • a recess 600 is provided on the inner plate 14 of the door of the refrigerator 1 as a mark indicating the position where the camera device 300 is to be attached.
  • a magnet 601 for attachment may be provided. This is because, for example, the door such as the right door 3b has a structure in which a metal iron plate 602 is provided therein, so that the camera device 300 can be attached by magnetic force.
  • the recess 600 may be provided with an attachment structure other than the magnetic force (for example, a holding structure or an engagement structure).
  • you may provide the magnet 603 for a detection like the magnet 206 of 2nd Embodiment.
  • a magnet may be provided on the door side and a metal part may be provided on the camera device 300 side.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Combustion & Propulsion (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Thermal Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Warehouses Or Storage Devices (AREA)
  • Refrigerator Housings (AREA)

Abstract

 冷蔵庫は1、撮像カメラ18(撮像手段)と、当該撮像カメラ18で撮像した画像を外部の装置に送信するための通信部52(通信手段)と、を備える。

Description

冷蔵庫、カメラ装置、冷蔵庫用ドアポケット、通信端末、家電ネットワークシステム、庫内画像表示プログラム
 本発明の実施形態は、冷蔵庫、カメラ装置、冷蔵庫用ドアポケット、冷蔵庫用ホルダ、通信端末、家電ネットワークシステム、庫内画像表示プログラムに関する。
 従来、庫内を撮像して食材を認識することで食材を管理するシステムが提案されている(例えば、特許文献1参照)。
 しかしながら、容易に冷蔵庫の庫内を確認したいと考えるユーザが存在する。
特開2012-226748号公報
 本発明が解決しようとする課題は、容易に庫内等を確認することができる冷蔵庫、カメラ装置、冷蔵庫用ドアポケット、冷蔵庫用ホルダ、通信端末、家電ネットワークシステム、庫内画像表示プログラムを提供することである。
 実施形態による冷蔵庫は、撮像手段と、撮像手段で撮像し画像情報を外部の装置に送信するための通信手段と、を備える。
 実施形態によるカメラ装置は、冷蔵庫の庫内を撮像するための撮像手段と、外部の装置と通信するためのカメラ側通信手段と、を備える。
 実施形態による冷蔵庫用ドアポケットは、冷蔵庫の庫内を撮像するための撮像手段を取り付けるための被取り付け部を備える。
 実施形態による冷蔵庫用ホルダは、庫内を撮像するための撮像手段を保持するための保持部を備える。
 実施形態による通信端末は、貯蔵庫の庫内を撮像するための撮像手段が設けられた冷蔵庫に通信回線を介して通信可能であり、通信回線を介して取得した冷蔵庫の庫内の画像情報を表示する。
 実施形態による家電ネットワークシステムは、物品を貯蔵する貯蔵庫の庫内を撮像するための撮像手段と、撮像手段に通信回線を介して通信可能であり、当該貯蔵庫の庫内の画像情報を取得する通信手段、および通信手段で取得した画像情報を記憶する記憶手段を有するサーバと、サーバに通信回線を介して通信可能であり、当該サーバに記憶されている庫内の画像情報を取得して表示する端末側表示手段を有する通信端末と、を備える。
 実施形態による庫内画像表示プログラムは、物品を貯蔵する貯蔵庫の庫内を撮像するための撮像手段に通信回線を介して通信可能である通信端末を制御する端末側制御手段に、撮像手段で撮像した貯蔵庫の庫内の画像情報を取得する画像取得処理と、画像取得処理で取得した画像情報を表示する表示処理と、を実行させる。
第1実施形態の冷蔵庫を採用した家電ネットワークシステムの構成の概略を示す図 第1実施形態の冷蔵庫を模式的に示す図 第1実施形態の撮像カメラの取り付け態様を模式的に示す図 第1実施形態の冷蔵庫の電気的構成を模式的に示す図 第1実施形態の冷蔵庫の庫内の状態を模式的に示す図 第1実施形態の冷蔵庫による撮像処理の流れを示す図 第1実施形態の撮像カメラで撮像した画像の一例を示す図 第1実施形態の撮像カメラの結露の状態の変化を模式的に示す図 第1実施形態の撮像カメラによる撮像シーケンスを示す図 第1実施形態の通信端末による端末側処理の流れを示す図 第1実施形態の通信端末における画像表示態様の一例を示す図その1 第1実施形態の通信端末における画像表示態様の一例を示す図その2 第2実施形態の冷蔵庫用ドアポケットにカメラ装置を取り付けた態様を模式的に示す図 第2実施形態の冷蔵庫用ドアポケットを冷蔵庫に取り付けた態様を模式的に示す図 第2実施形態のカメラ装置の外観を模式的に示す図 第2実施形態のカメラ装置の外観および内部の部品配置を模式的に示す図 第2実施形態のカメラ装置を冷蔵庫用ドアポケットに取り付けた態様を模式的に示す図 第2実施形態の冷蔵庫用ホルダを取り付ける位置を模式的に示す図 第2実施形態の冷蔵庫用ホルダを模式的に示す図 第2実施形態の冷蔵庫用ホルダを取り付けた態様を模式的に示す図 第2実施形態のカメラ装置の電気的構成を模式的に示す図 第2実施形態のカメラ装置の検知部の検知態様を模式的に示す図 第2実施形態のカメラ装置の撮像タイミングの例を示す図 第2実施形態のカメラ装置により撮像した庫内の画像の例を示す図 第2実施形態の家電ネットワークシステムの構成の概略を示す図 その他の実施形態の撮像カメラの取り付け態様を模式的に示す図 その他の実施形態の冷蔵庫の構成を模式的に示す図 その他の実施形態の通信端末における画像表示態様の一例を示す図 その他の実施形態の取り付け部の一例を示す図 第3実施形態の冷蔵庫の電気的構成を示す機能ブロック図 第3実施形態において扉を開放する過程を模式的に示す図その1 第3実施形態において扉を開放する過程を模式的に示す図その2 第3実施形態において扉を開放する過程を模式的に示す図その3 第3実施形態における収納量推定の一例を示す図その1 第3実施形態における収納量推定の一例を示す図その2 第4実施形態において扉を開放する過程を模式的に示す図 第4実施形態における撮像手段の設置位置の一例を示す図 第4実施形態における冷蔵庫の構成の一例を模式的に示す図その1 第4実施形態における冷蔵庫の構成の一例を模式的に示す図その2 第5実施形態における冷蔵庫の構成の一例を模式的に示す図 第5実施形態における撮像手段の設置位置の一例を示す図その1 第5実施形態における撮像手段の設置位置の一例を示す図その2 第5実施形態における撮像手段の設置位置の一例を示す図その3 第6実施形態の冷蔵庫を模式的に示す図 第6実施形態のカメラユニットの構成を模式的に示す図 第6実施形態のレンズユニットを模式的に示す図 第6実施形態の具体例1の取り付け態様を模式的に示す図その1 第6実施形態の具体例2の取り付け態様を模式的に示す図その2 第6実施形態の具体例3の取り付け態様を模式的に示す図その3 第6実施形態の撮像結果および表示態様を模式的に示す図 第6実施形態の具体例4の縦仕切りの回動態様を模式的に示す図 第6実施形態の具体例4の取り付け態様を模式的に示す図その1 第6実施形態の具体例4の取り付け態様を模式的に示す図その2 第6実施形態の具体例5の取り付け態様を模式的に示す図 第6実施形態の具体例6のカメラユニットの構成を模式的に示す図 第7実施形態の冷蔵庫の構成を模式的に示す図 第7実施形態の冷蔵庫およびカメラモジュールの電気的構成を模式的に示す図 第7実施形態の具体例1のカメラユニットの取り付け状態を模式的に示す図その1 第7実施形態の具体例1のカメラユニットの取り付け状態を模式的に示す図その2 第7実施形態の具体例1のカメラユニットの取り付け状態を模式的に示す図その3 第7実施形態の具体例2のカメラユニットの取り付け状態を模式的に示す図その1 第7実施形態の具体例3のカメラユニットの取り付け状態を模式的に示す図 第7実施形態の具体例4のカメラユニットの取り付け状態を模式的に示す図 第7実施形態の具体例5のカメラユニットを模式的に示す図
 以下、複数の実施形態により、冷蔵庫、カメラ装置、冷蔵庫用ドアポケット、通信端末、家電ネットワークシステム、庫内画像表示プログラムについて説明する。なお、各実施形態にて実質的に共通する部位には共通する符号を付して、その詳細な説明は省略する。
   (第1実施形態)
 以下、第1実施形態について、図1から図12を参照しながら説明する。
 図1に示すように、本実施形態の冷蔵庫1を採用した家電ネットワークシステム100では、冷蔵庫1は、ルータ101を介して外部の通信回線102に通信可能に接続されている。このルータ101は、いわゆる無線アクセスポイントであり、無線通信方式にて冷蔵庫1と通信可能に接続されている。この冷蔵庫1は、通信回線102に接続されている通信端末103およびサーバ104(いずれも外部の装置に相当する)との間で各種の情報をやり取りする。なお、本実施形態の家電ネットワークシステム100では、後述するように、冷蔵庫1の庫内を撮像した画像情報はサーバ104にて記憶され、通信端末103は、サーバ104から庫内の画像を取得する構成となっている。ここで、画像情報とは、庫内の画像を示す情報(データ)であり、例えばビットマップ形式やJPEG形式或いはMPEG形式などの周知のフォーマットの画像データ(静止画、動画)、画像データを圧縮や暗号化あるいは第2実施形態のように画像処理することにより変換したデータ等、通信手段を介した送信が可能であって最終的に庫内の様子を確認できるものであれば、どのような形式のデータであってもよい。また、本実施形態では、通信端末103として、住宅105の外部に携帯可能ないわゆるスマートフォン(高機能携帯電話)やタブレット型パソコン、家電ネットワークシステム100に接続されているテレビ等を想定している。
 冷蔵庫1は、図2に示すように、本体2の上部から順に、食材を貯蔵するための貯蔵庫である冷蔵室3、野菜室4、製氷室5、上部冷凍室6、および下部冷凍室7が設けられている。冷蔵室3および野菜室4と、製氷室5および上部冷凍室6との間は、図示しない断熱仕切壁により仕切られている。冷蔵室3は、いわゆる両開き式の左扉3aおよび右扉3bによって開閉され、野菜室4、製氷室5、上部冷凍室6および下部冷凍室7は、引き出し式の扉4a、扉5a、扉6aおよび扉7aによってそれぞれ開閉されるようになっている。
 各扉には、その開閉状態を検知するためのセンサが設けられている(図4参照。ただし、図4では、左扉3a用の左ドアセンサ34、右扉3b用の右ドアセンサ35のみを図示している)。なお、図2に示す冷蔵庫1の構成は一例であり、各貯蔵庫の配置順が異なっていたり、例えば上部冷凍室6が冷蔵と冷凍とを切り替え可能な切替室であるような構成でもよい。
 冷蔵室3の左扉3aには、上段から順にドアポケット8a、ドアポケット9a、ドアポケット10aが設けられており、右扉3bには、上段から順にドアポケット8b、ドアポケット9b、ドアポケット10bが設けられている。また、冷蔵室3内には、例えばガラス等の透明性材料で形成されている複数の棚板11が設けられているとともに、最下段には、例えば卵室やチルド室のような特定目的室12が配置されている。また、冷蔵室3の上部には、照明手段としての天井ライト13が設けられている。なお、冷蔵室3内には、側面に設けられている側面ライト36(図4参照)も設けられている。このうち、天井ライト13は庫内の上部側、側面ライト36は庫内の中央部や下部等、庫内の特定の位置を照らすために設けられている。
 冷蔵室3の左扉3aおよび右扉3bは、その前面が絶縁性のガラス材料で形成されたガラス板3b1で覆われており、その内部には断熱材であるウレタンが充填剤として充填されており、その内側については、周知のように、非金属の樹脂製の内板14および縦板15を備えている。つまり、左扉3aおよび右扉3bの前面側は、電波を透過させる非金属製材料であるガラス板3b1により構成されている。上記したドアポケット8~10は、この内板14に設けられている。縦板15には、上下方向における中央付近であって左右方向における右扉3bの開放端部側(具体的には、後述する撮像カメラ18が設けられている付近)に、凹部16が形成されている。この凹部16は、後述するように、撮像カメラ18の視野を遮らないように設けられている。また、左扉3aには、右扉3bとの隙間を埋めるための回動式の縦仕切り17が設けられている。なお、野菜室4の扉4等も、右扉3bと同様にその前面がガラス板で覆われており、内部にはウレタンが断熱材として充填されている構成となっている。
 右扉3bの内板14(縦仕切りを有していない扉)には、図2に示すように、撮像カメラ18および撮像ライト19が設けられている。つまり、本実施形態では、内板14が被取り付け部に相当する。撮像カメラ18は、CCDあるいはCMOS等の撮像素子を有しており、庫内の画像を扉側から撮像する。この撮像カメラ18は、概ね120度程度の視野角を有する広角レンズを備えている。そして、撮像カメラ18は、中段のドアポケット9bに隣接した位置であって、ドアポケット9bよりも左扉3a側となる位置に設けられている。すなわち、撮像カメラ18は、冷蔵室3の上下方向の中央付近、且つ、冷蔵室3の左右方向の中央付近に設けられている。このため、右扉3bが閉鎖された状態において、撮像カメラ18は、その視野が、後述する図7に示すように冷蔵室3の庫内のほぼ全域、且つ、ドアポケット8~10の少なくとも一部を撮像可能となっている。なお、比較例として一般的なWebカメラの場合、その視野角は概ね55度程度である。
 撮像カメラ18に隣接するドアポケット9bは、図3に示すように、撮像カメラ18側が斜めに形成されている。すなわち、一般的には収容部が四角形(長方形)に形成されるドアポケット9bには、広角レンズを採用している撮像カメラ18の視野を確保するために、切り欠き部9b1が形成されている。なお、図3等は撮像カメラ18を模式的に示すものであり、撮像カメラ18の実際の大きさや形状とは異なっている。なお、撮像カメラ18は、本実施形態では冷蔵庫1に取り付けられた構造となっているが、後述する第2実施形態のように冷蔵庫1から着脱可能(例えば、冷蔵庫1の購入後に、オプション装置として取り付ける等)としてもよい。
 撮像ライト19は、例えば撮像カメラ18の上部側に設けられている。つまり、撮像ライト19は、その照射方向が撮像カメラ18の視野と同じ向きになるように配置されており、照射される光が撮像カメラ18に直接入ることがない位置(対向位置外の位置)、すなわち、撮像カメラ18にとって逆光になりにくい位置或いは逆光とならない位置に配置されている。撮像カメラ18は、特許請求の範囲に記載した撮像手段を構成し、撮像ライト19は、特許請求の範囲に記載した照明手段を構成する。
 この冷蔵庫1は、図4に示すように、主制御部30により制御されている。主制御部30は、CPU30a、ROM30bおよびRAM30cなどを有するマイクロコンピュータにより構成されており、例えばROM30bなどに記憶されているコンピュータプログラムを実行することで冷蔵庫1の全体を制御する。
 主制御部30は、周知の冷凍サイクル等で構成されている冷蔵用冷却機構31と冷凍用冷却機構32、冷蔵庫1に対する設定操作等を入力するための操作パネル33、左ドアセンサ34、右ドアセンサ35、天井ライト13および側面ライト等に接続されている。なお、冷蔵庫1は、冷蔵室3や下部冷凍室7等の温度を検出する図示しない庫内センサ等も備えている。
 操作パネル33は、表示器33a、スイッチ類33b、および庫外センサ33cを有している。表示器33aは、冷蔵庫1の運転状態等の各種の情報を表示する。スイッチ類33bは、冷蔵庫1に対するユーザの設定操作等が入力される。このスイッチ類33bには、ユーザが外出する際に冷蔵庫1の運転状態を切り替えるための外出スイッチも含まれている。この外出スイッチは、例えば、「節電」、「おでかけ」等が設定されており、いずれかが選択されると、該当する省電力モードに移行する。つまり、ユーザが外出すると冷蔵庫1を使用しない状態となるため、冷蔵庫1は、省電力モードに移行して消費電力を削減する。
 例えば、「節電」が選択されると、冷蔵庫1は、食材の貯蔵環境に影響が出ない範囲で庫内温度を調節するとともに、結露防止用のヒータの運転状態を制御することで、通常時よりも約10%程度の消費電力を削減するモードに移行する。あるいは、「おでかけ」が選択されると、冷蔵庫1は、自動製氷の回数を削減し、通常時に比べて消費電力を削減する省電力モードに移行する。より具体的には、冷蔵庫1は、自動製氷の回数を例えば8時間に1回とすることで、通常運転時に比べて約20%程度の消費電力を低減している。
 なお、本実施形態では冷蔵庫1に予め設けられている「節電」や「おでかけ」用のスイッチを外出スイッチとして兼用しているが、外出する旨を設定するための専用のスイッチを設けてもよい。
 庫外センサ33cは、温度センサや湿度センサにより形成されており、庫外の環境を取得する。庫外センサ33cは、特許請求の範囲に記載した庫外環境取得手段を構成する。
 主制御部30は、庫内センサにて取得した庫内の環境、および庫外センサ33cにて取得した庫外の環境に基づいて、また、操作パネル33からの設定に基づいて、冷蔵庫1の運転状態を制御する。また、主制御部30は、左ドアセンサ34や右ドアセンサ35とから、扉の開閉状態を取得する。この主制御部30は、制御部50と通信可能に接続されており、扉の開閉状態を制御部50に送信したり、天井ライト13や側面ライト36の点灯指示を制御部50から受信したりすることができる。
 制御部50は、CPU50a、ROM50b、RAM50c、および時刻を取得するためのリアルタイムクロック(以下、RTC50dと称する)を有するマイクロコンピュータで構成されている。この制御部50は、撮像カメラ18、撮像ライト19、レンズヒータ51および通信部52に接続されている。
 制御部50は、例えばROM50bなどに記憶されているコンピュータプログラムを実行することにより、撮像カメラ18により庫内を撮像するタイミング、および撮像カメラ18にて庫内を撮像するための撮像環境を制御する。具体的には、主制御部30から受信した扉の開閉状態等に基づいて撮像するタイミングを制御するとともに、撮像環境すなわち撮像のために必要な光源である天井ライト13や撮像ライト19等の点灯状態を制御する。制御部50は、特許請求の範囲に記載した制御手段を構成する。
 ここで、撮像するタイミングについて説明する。
 庫内を撮像する場合、撮像カメラ18を駆動するとともに、撮像ライト19等を点灯する必要がある。すなわち、庫内を撮像するためには、電力を消費する必要がある。このため、常に撮像可能な状態になっていると、不要な電力を消費してしまうことになる。そこで、冷蔵庫1では、庫内を撮像するタイミングを制御することで、また、そのタイミングに合わせて必要なときだけ撮像環境(つまり、撮像ライト19等の点灯)を制御することで、消費電力の削減を図っている。
 庫内を撮像するタイミングは例えば以下の撮像条件1~5のような条件が予め設定されており、制御部50は、いずれかの撮像条件が満たされると、庫内を撮像するタイミングになったと判定する。
 ・撮像条件1:冷蔵室3のいずれかの扉が一旦開放された後に閉鎖されたタイミング。すなわち、庫内の食材の貯蔵状況が変化した可能性があるタイミング。
 ・撮像条件2:冷蔵室3のいずれかの扉が開放されたタイミング。すなわち、庫内の食材の貯蔵状況が変化する可能性があるタイミング。
 ・撮像条件3:通信端末等の外部の装置から指令を受け付けたタイミング。
 ・撮像条件4:外出スイッチが操作された場合。外出スイッチが操作されたタイミングで撮像してもよいし、外出スイッチが操作されてから所定の待ち時間が経過したタイミングで撮像してもよい。また、いずれのタイミングを採用するかは予め設定しておけばよい。
 ・撮像条件5:一旦開放された扉が閉鎖された後であって、所定期間が経過したタイミング(本実施形態では、撮像カメラ18の広角レンズの結露が除去されるまでに要すると想定される遅延撮像時間が経過したタイミングを採用している)。すなわち、広角レンズの結露が除去されたタイミング。なお、遅延撮像時間は、予め固定値を設定してもよいし、庫外センサ33cで取得した庫外の湿度や温度に基づいてその都度設定してもよい。
 ・撮像条件6:一旦開放された扉が閉鎖された後であって、撮像カメラ18の広角レンズの結露がレンズヒータ51により除去されたタイミング。すなわち、広角レンズの結露が除去されたタイミング。
 なお、撮像条件としては、上記したもののうちいずれか1つを採用してもよいし、相反しない条件であれば複数を組み合わせて採用してもよい。本実施形態では、判定条件1、判定条件3、判定条件4、判定条件5を採用している。
 通信部52は、いわゆる無線LANやBluetooth(登録商標)などの無線通信方式により、ルータ101との間で通信を行う。具体的には、通信部52は、撮像された庫内の画像をルータ101および通信回線102を介してサーバ104にアップロードされる。なお、通信部52は、有線通信方式であってもよい。
 レンズヒータ51は、撮像カメラ18の広角レンズを加熱することで、後述する図8に示すようにレンズ面の結露の除去を行う(除去手段に相当する)。このレンズヒータ51は、電熱線等の通電により発熱する発熱部材により構成してもよいし、制御部50を構成するマイクロコンピュータの発熱またはその発熱を伝える伝熱部材により構成してもよい。この場合、マイクロコンピュータの発熱を利用するために、マイクロコンピュータを省電力モードから復帰させるとよい。また、除去手段としてファン等を採用してもよい。具体的には、ファンを駆動してレンズ面に冷気を送風し、結露が除去されると予想される所定時間が経過した後に、撮像すればよい。いずれにしろ、レンズ面の結露を除去することができればどのような構成であってもよい。
 通信端末103は、サーバ104にアクセスすることにより、サーバ104に記憶されている庫内の画像を取得して表示する。つまり、本実施形態では、通信端末103は、冷蔵庫1から直接画像を取得するのではなく、一旦サーバ104に記憶された画像を取得する。
 サーバ104は、いわゆるコンピュータシステムにより構成されており、アップロードされた画像を時系列且つ複数枚記憶する。また、サーバ104は、通信端末と冷蔵庫1とを対応付けしておくことで、画像を取得する通信端末に対して、該当する冷蔵庫1の画像を提供する。
 次に、上記した構成の作用について説明する。なお、以下に説明する処理は主制御部30や制御部50が協同して行っている処理であるが、説明の簡略化のため、冷蔵庫1を主体として説明する。
 冷蔵庫1の冷蔵室3には、図5に示すように各種の食材が貯蔵されている。冷蔵庫1は、図6に示す撮像処理を実行しており、撮像カメラ18にて庫内を撮像するための撮像条件が満たされたか否かを判定しており(A1)、上記した判定条件のいずれかが満たされたと判定すると(A1:YES)、すなわち、撮像するタイミングになったと判定すると、ライト(撮像ライト19)を点灯し(A2)、庫内を撮像する(A3)。これにより、図7に示すような庫内の画像が撮像される。
 この図7では、上記したように広角レンズにて庫内を撮像していることから、冷蔵室3内のほぼ全体が撮像されている。つまり、それぞれの棚板11に載置されている各種の食材と、ドアポケットに収納されている各種の食材が視認可能に撮像されている。また、棚板11が透明性材料で形成されていることから、例えば最上段の棚板11に載置されている食材S1についても、棚板11を透かして視認可能に撮像されている。
 また、撮像ライト19を点灯することで撮像していることから、逆光にならず、ここの食材が視認可能に撮像されている。なお、図示は省略するが、比較例として天井ライト13を点灯した状態で庫内を撮像した場合、天井ライト13からの光が逆光となり、食材S1や2段目の棚板11に載置されている食材は視認が困難な状態で撮像されることになる。つまり、冷蔵庫1は、撮像カメラ18に対して逆光とならない撮像ライト19を点灯することにより、庫内を視認可能に撮像するための撮像環境を整備している。
 そして、冷蔵庫1は、撮像した画像情報をサーバ104へ送信する(A4)。このとき、撮像した時刻も同時にサーバ104に送信される。これにより、サーバ104には、庫内の画像が時系列で、且つ複数枚記憶(蓄積)される。
 ところで、冷蔵室3の扉を開放した場合、右扉3bの内板14に設けられている撮像カメラ18は、広角レンズごと庫外の環境にさらされる。これは、右扉3bが開放された場合だけでなく、左扉3aが開放された場合も同様である。このため、扉が閉鎖された直後においては、庫外の環境にもよるものの、図8(a)に示すようにレンズ面が結露して曇る可能性がある。なお、図8ではレンズ面に生じた結露をハッチングにて模式的に示しており、図8(a)は結露した状態(扉を閉鎖した直後)を示し、図8(b)は徐々に結露が除去された状態(扉を閉鎖した後、しばらく時間が経過した状態)を示し、図8(c)は結露が除去された状態(遅延撮像時間が経過した状態)を示している。
 このように、扉を閉鎖した直後に庫内を撮像すると、結露により視認が困難になるおそれがある。そこで、冷蔵庫1は、上記した判定条件5を採用し、一旦開放された扉が閉鎖された後に遅延撮像時間が経過したタイミングでさらに庫内を撮像する。つまり、判定条件5が成立した場合(A1:YES)、ライトを点灯し(A2)、庫内を撮像し(A3)、撮像した画像情報をサーバ104に送信する(A4)。
 より詳細には、図9に示すように、扉が閉扉されており、時刻t1にて開扉され、時刻t2で閉扉されたとすると、時刻t2においてまず画像を撮像し、その後遅延撮像時間が経過した時刻t3において再度画像を撮像する。この場合、時刻t4で閉扉されて撮像した後、遅延撮像時間が経過する前の時刻t5にて再び開扉された場合には、閉扉された時刻t6で一旦撮像した後、遅延撮像時間が経過した時刻t7で再度撮像されることになる。これにより、広角レンズの結露が除去された状態、つまり、庫内を視認可能な画像を撮像することが可能となる。
 サーバ104に画像情報を送信すると、制御部50は、待機状態となる。この待機状態では、制御部50をいわゆるスリープモード等の省電力モード(例えば、製氷動作を停止する等)に移行してもよいし、撮像カメラ18等も含む制御部50側への通電を遮断して消費電力をゼロとしてもよい。そして、例えばドアセンサにより扉が開放された等を検知した際に主制御部30から制御部50に対して通常モードに移行する指令を出力したり、通電を開始したりすればよい。これにより、冷蔵庫1の総消費電力を削減することが可能となる。
 さて、サーバ104に記憶されている画像は、通信端末103にて表示することができる。通信端末103は、画像を取得するためのアプリケーションが起動されると、図10に示す端末側処理(庫内画像表示プログラムに相当する)を実行して、サーバ104から最新の画像(あるいは画像情報)を取得する(B1)。これにより、通信端末103の画面には、図11に示すような庫内の画像が撮像時刻とともに表示される。なお、通信端末103には、画面に対応したタッチパネルが設けられている。
 この画面には、現在の画像を取得するためのボタンM1、アプリケーションを終了するためのボタンM2、表示中の画像よりも過去の画像を表示するためにボタンM3、表示中の画像よりも新しい画像を表示するためのボタンM4等が設けられている。また、通信端末は、所望の領域を拡大して表示することも可能であり、図11に示す領域Rを拡大して図12に示すように表示することで、例えば卵が何個残っているのかをユーザが把握することができる。
 また、通信端末103は、ユーザがボタンM1をタッチ操作すると、つまり、最新の画像を取得するための操作が入力されると(B2:YES)、冷蔵庫1に対して庫内を撮像するための指令を送信し(B3)、サーバ104から画像を取得して(B4)、取得した画像を表示する(B5)。なお、ステップB3の後、冷蔵庫1側では、図6にて撮像条件3が成立したことから庫内を撮像し、撮像した画像情報がサーバ104に送信されている。
 このように、家電ネットワークシステム100では、冷蔵庫1が庫内を撮像した画像情報をサーバ104に送信し、サーバ104がその画像を記憶し、通信端末103がサーバ104から画像を取得して表示することで、庫内の様子を外出先等の遠隔地にて確認可能としている。
 以上説明した本実施形態によれば次のような効果を奏する。
 冷蔵庫1は、食品を貯蔵する冷蔵室3等の貯蔵庫の庫内を撮像する撮像カメラ18と、撮像カメラ18で撮像した庫内の画像情報を外部の装置に送信するための通信部52とを備えているので、例えば通信端末103のような外部の装置にて庫内の画像を取得することができる。これにより、外出先等の遠隔地で容易に冷蔵庫の庫内を確認することができる。
 この場合、本実施形態では庫内の画像を一旦サーバ104に記憶させているので、冷蔵庫1側には画像を記憶するための記憶手段を設ける必要が無く、製造コストの増加を抑えることができる。なお、冷蔵庫1に記憶部を設け、冷蔵庫1側で画像を記憶する構成としてもよい。
 また、制御部50は、サーバ104に画像情報を送信した後は待機状態となる。つまり、撮像時以外では、制御部50側(撮像カメラ18等も含む)の消費電力は、削減された状態あるいはゼロとなる。これにより、冷蔵庫1の総消費電力を削減することが可能となる。
 制御部50は、撮像カメラ18により庫内を撮像するタイミングを制御するとともに、そのタイミングに合わせて庫内を撮像するためのライトの点灯等の撮像環境を制御する。庫内を撮像するためには光源が必要であり、常に撮像可能な状態になっていると不要な電力を消費してしまうことになるが、庫内を撮像するタイミングに合わせて撮像するときだけ撮像ライト19等を点灯するように撮像環境を制御することで、不要な電力消費を削減することができる。なお、光源が無い状態でも撮像可能な暗視カメラ(例えば、赤外線カメラ)等を採用してライトが点灯しない状態で撮像してもよい。また、ライトを常時点灯させておいてもよい。
 冷蔵庫1は、冷蔵室3の扉が閉鎖された後のタイミングで、撮像カメラ18により庫内を撮像する。冷蔵庫の貯蔵状況が変わっていないにもかかわらず撮像すると、不要な画像が蓄積されるだけでなく、電力消費の増加も招くことになる。そのため、本実施形態では、冷蔵庫は、扉が一旦開放され、その扉が閉鎖された後のタイミングで庫内を撮像する。これにより、庫内の食材の貯蔵状態が変化する可能性のある状態(扉が一旦開放された状態)において、貯蔵状態が確定した状態(扉が閉鎖した後の状態)で庫内を撮像するにより、不要な撮像を抑制して電力消費が増加することを抑制できる。
 また、冷蔵庫1は、扉が閉鎖された後であって、撮像カメラ18の広角レンズの結露が除去されるまでに要する遅延撮像時間が経過したタイミングで庫内を撮像する。例えば夏期のように気温が高い場合や湿度が高い場合、扉が開放されて庫外の環境にさらされた撮像カメラは、扉が閉鎖されると、冷蔵室3内の温度が低いことからレンズ面に結露が生じる可能性がある。そこで、その結露が除去されると想定される遅延撮像時間が経過したタイミングで再度庫内を撮像することにより、レンズ面に曇りがない明りょうな画像を撮像することができる。したがって、庫内の様子をより確実に把握することができる。
 この場合、遅延撮像時間は、庫外センサ33cにより取得した温度や湿度等の庫外の環境に基づいて設定してもよい。これにより、温度や湿度が低い場合等には結露が生じない(或いは少ない)と想定されるため、遅延撮像時間を短くすることができ、消費電力を削減することができる。具体的には、例えば遅延撮像時間が経過するまで制御部50が待機するような構成の場合、待機時間が短くなることにより、その分の消費電力を削減することができる。
 また、撮像カメラ18の広角レンズの結露を除去する場合、レンズヒータ51のような除去手段を用いてもよい。この場合、冷蔵庫1は、レンズヒータ51によりレンズ面の結露を除去した後のタイミングで庫内を撮像することになる。このレンズヒータ51を用いることにより、遅延撮像時間をさらに短くすることができるので、消費電力を削減することができる。この場合、レンズヒータ51を制御部50の自己発熱を伝える伝熱部材で構成すれば、電力を余分に消費することなくレンズ面の結露を除去することができる。また、除去手段としてファンを採用した場合も、遅延撮像時間が短くなることで消費電力を削減することができる。
 冷蔵庫1は、例えば通信端末103から庫内を撮像するための指令を受け付けたタイミングで庫内を撮像する。例えば、ユーザが外出中であり、その留守中に家族が冷蔵庫1から食材を取り出した等により貯蔵状況が変化する可能性があるが、ユーザの指令によりその時点での画像を撮像することにより、最新すなわち現時点での冷蔵庫1の庫内の様子を把握することができる。
 冷蔵庫1は、外出スイッチが操作された場合に庫内を撮像するので、外出後に冷蔵庫1の中の様子を確認したいような状況に対応することができる。この場合、例えば一人暮らしのユーザが外出する場合、冷蔵庫1の貯蔵状況は、ユーザが外出した時点から変化しないと考えられるので、外出スイッチが操作された場合に撮像した画像を最新の庫内の画像として扱うことができる。
 なお、実施形態では採用していないが、撮像条件2を採用して庫内の食材の貯蔵状況が変化する可能性があるタイミングで撮像することにより、最新に近い庫内の画像を取得することができる。この場合、右扉3bの開放中には撮像カメラ18の視野がぶれる可能性はあるものの、例えば右扉3bが開放される瞬間に撮像することで、そのぶれを低減することができるとともに、扉が開放されれば庫内照明が点灯するので、照度を確保することができる。
 冷蔵庫1は、撮像カメラ18で庫内を撮像する際、庫内を照らすための撮像ライト19を点灯して撮像環境を制御(整備)する。これにより、扉が閉鎖された状態であっても光源を確保することができ、庫内を視認可能に撮像することができる。
 冷蔵庫1は、天井ライト13や撮像ライト19あるいは側面ライト36のように庫内に複数設けられている照明手段のうち、特定の位置(この場合は、特に撮像位置)を照らすための撮像ライト19を点灯する。撮像カメラ18で撮像する場合、庫内に設けられている照明手段との位置関係によっては照明が直接視野に入り込み逆光となる可能性があるが、照明手段の全てを点灯するのではなく、例えば撮像ライト19のように撮像する際に逆光とならない位置等の特定の位置を照らすための照明手段を点灯することにより、画像をより鮮明に撮像することができる。具体的には、例えば撮像カメラ18と対向する背面側に照明手段が設けられている場合は、少なくとも最も逆光となる照明手段を消灯し、他の照明手段(天井ライト13等)などを利用すること等が考えられる。
 撮像ライト19は、撮像カメラ18の対向位置外であって、且つ撮像カメラ18の視野と同じ向きを照らすように設けられているので、撮像ライト19からの光が逆光とならず、庫内の様子を詳細に把握することができる。
 庫内を撮像する際には撮像カメラ18の視野を確保するためにある程度の距離が必要となるが、撮像カメラ18を冷蔵室3の扉に設けているので、撮像カメラ18と、棚板11等に収納されている食材との距離を確保することができ、視野を大きくすることができる。
 撮像カメラ18を右扉3bの内板14に設けているので、扉が閉鎖された状態であっても、庫内を撮像することができる。
 この場合、撮像カメラ18を冷蔵室3の上下方向の中央付近、且つ、冷蔵室3の左右方向の中央付近に設けるとともに、広角レンズを採用しているので、撮像カメラ18は、冷蔵室3の庫内のほぼ全域を、庫内の中央部付近から画像(つまり、ユーザが通常冷蔵庫1内を見ている状態と近似した状態での画像)として撮像することができる。このとき、棚板11を透明性材料で形成していることから、例えば最上段の棚板11に載置されている食材についても、棚板11を透かして視認可能に撮像することができる。
 撮像カメラ18に隣接するドアポケット9bは、撮像カメラ18側の部位が撮像カメラ18を避ける方向に形成されているので、広角レンズを採用している撮像カメラ18の左右方向の視野を確保することができる。また、ドアポケット9bに隣接した位置に撮像カメラ18を設けているので、上下方向の視野がドアポケット9bにより遮られることも無い。
 撮像カメラ18をドアポケット8~10の少なくとも一部を撮像することが可能な位置に配置しているので、ドアポケット8~10に収納されている食材も撮像可能となり、庫内に貯蔵されている食材をより詳細に把握することができる。なお、撮像カメラ18に隣接して設けられている本実施形態のドアポケット9bについては、視野外であっても(撮像できなくても)よい。また、撮像カメラ18をドアポケットの間に設けてもよい。このような撮像カメラ18の設置位置は、後述する第2実施形態で説明する着脱可能なカメラ装置を利用する場合であっても、同様の効果を得ることができる。
 通信端末103は、画像を表示する表示部を有し、上記した冷蔵庫1で撮像された庫内の画像をサーバ104から取得して表示部に表示するので、外出先等の遠隔地から庫内の様子を把握することができる。
 上記した冷蔵庫1と、上記した通信端末103と、冷蔵庫1で撮像された庫内の画像を記憶する記憶手段を有するサーバ104と、により家電ネットワークシステム100によれば、通信端末103が通信回線102を介してサーバ104に接続し、当該サーバ104に記憶されている庫内の画像を取得して表示するので、外出先等の遠隔地から庫内の様子を把握することができる。この場合、画像の記憶をサーバ104にて行っているため、冷蔵庫1側には大容量の記憶部を設ける必要が無いので、冷蔵庫1のコストが増加することを防止できる。また、通信端末103は、サーバ104から画像を取得するので、冷蔵庫1の制御部50を通信可能なように待機させておく必要が無く、冷蔵庫1側の消費電力が増加することを抑制できる。
 また、撮像カメラ18で撮像した貯蔵庫の庫内の画像情報を取得する画像取得処理(図10のステップB1、B4)と、画像取得処理で取得した画像情報を表示する表示処理(図10のステップB5)と、庫内を撮像させるための指令を出力して撮像カメラ撮像手段に庫内を撮像させる撮像処理(ステップB2、B3)と、を実行させる庫内画像表示プログラムを通信端末103にて実行することで、遠隔地等から庫内を確認することができる。
   (第2実施形態)
 以下、第2実施形態について、図13から図25を参照しながら説明する。なお、冷蔵庫の構成は第1実施形態とほぼ共通するので、図2等も参照しながら説明する。
 図13(A)および(B)に示すように、本実施形態によるドアポケット200(冷蔵庫用ドアポケットに相当する)は、物品を収納する収納部201と、カメラ装置300を保持するための保持部202とを備えている。つまり、このドアポケット200は、特許請求の範囲に記載した冷蔵庫用ドアポケットと冷蔵庫用ホルダとの機能を備えている。なお、保持部202は、撮像手段を取り付けるための被取り付け部に相当するとも言える。また、収納部201に注目した場合、ドアポケット200は、保持部202に保持されたカメラ装置300(つまり、撮像手段)に隣接して設けられているとも言える。
 収納部201は、保持部202側の壁部203が、保持部202から離間する方向に斜めに形成されている。つまり、ドアポケット200は、保持部202にてカメラ装置300を保持した(取り付けた)場合、そのカメラ装置300の視野を妨げないように、視野の外縁に沿った形状に形成されている。
 保持部202は、本実施形態では、上部側(図3(A)の図示上方側)が開口した概ね箱状に形成されており、上部側の開口からカメラ装置300が出し入れ(着脱)される。また、保持部202の前面側(つまり、庫内に向かう側)の壁部204は、カメラ装置300を保持した状態でレンズ301および撮像ランプ302(図15等参照。カメラ側照明手段、照明手段に相当する)に対応する位置に切り込み205が形成されており、カメラ装置300の視野を妨げたり照明が反射したりすることが防止されている。
 また、保持部202には、磁石206が設けられている。この磁石206は、カメラ装置300の背面側に対向する側がN極またはS極の何れかとなるように配置されている。なお、磁石206の極性については、後述するカメラ装置300の構成にて詳細に説明する。
 このドアポケット200は、図14に示すように、右扉3bの内板14に取り付けられる。このため、右扉3bが閉鎖された状態では、カメラ装置300は、その視野が庫内(冷蔵室3)に対向する配置となる。このとき、保持部202に保持されるカメラ装置300は、そのレンズ301の中心が、冷蔵室3の左右方向の中心線CL1と、冷蔵室3の上下方向の中心線CL2とが交差する位置に対応して保持される。つまり、この状態におけるカメラ装置300は、冷蔵室3の中央部を中心とした視野となるように配置されている。具体的には、ドアポケット200の場合、ドアポケット200の取り付け位置とカメラ装置300の形状とに基づいて、収納部201の底部よりも保持部202の底部の方が若干下方に位置する形状とすることで、中心位置が最適となるような形状となっている。
 カメラ装置300は、図15および図16に示すように、概ね直方体の形状に形成された筐体303の表面にレンズ301および撮像ランプ302が露出するように設けられている。なお、レンズ301および撮像ランプ302が直接露出しているのではなく、その表面をカバー等で覆っていてもよい。また、本実施形態でも、レンズ301は広角レンズを採用している。
 以下、レンズ301および撮像ランプ302が設けられている側(図16の場合、図示右側)をカメラ装置300の正面とし、反対側を背面として説明する。また、図13に示したように、レンズ301と撮像ランプ302とが冷蔵庫1の上下方向に配置される向きを縦向きと称し、後述する図20のようにレンズ301と撮像ランプ302とが冷蔵庫1の左右方向に配置される向きを横向きと称する。
 このカメラ装置300は、図16に示すように、筐体303内に、制御基板304、電池305、通信モジュール306、検知部307が収容されている。制御基板304には、レンズ301や図示しない撮像素子を有する撮像部308(図21参照)、本実施形態では2個の撮像ランプ302、およびそれらを制御するための制御部309(図21参照)等が設けられている。撮像素子は、CCDやCMOS等の周知の撮像素子であり、その形状が長方形となっている。本実施形態の場合、撮像素子の長手方向が上下方向(つまり、筐体の縦方向)となるように配置されている。このため、一般的には縦長に形成されている冷蔵室3を撮像する際には、カメラ装置300を縦置きすることで、撮像素子を縦長の向きに配置することができる。一方、後述するように横長に形成されている野菜室4を撮像する際には、カメラ装置300を横置きすることで、撮像素子を横長の向きに配置することができる。また、撮像ランプ302として、本実施形態ではLEDを採用している。なお、図示は省略するが、カメラ装置300には電源スイッチも設けられている。
 電池305は、リチウム電池で構成されており、制御部309や通信モジュール306あるいは検知部307等に電力を供給する。この電池305は、筐体303の最下部側であって、筐体の前後方向(図示左右方向)の概ね全域を占有する配置となっている。筐体303に収納されている各部材のうち比較的重量が大きい電池205をそのような配置とすることで、カメラ装置300を設置した際のバランスがある程度確保されている。また、重心をカメラ装置300の下部(縦置きの場合)にしたことにより、カメラ装置300を右扉3bのドアポケット200に配置した場合において、扉開閉時の遠心力や振動等によりカメラ装置300がドアポケット200から飛び出ること等が防止される。また、リチウム電池を使用することで、冷蔵庫1内のように比較的低温の場所であっても優れた放電特性を示すことになる。
 さて、図25に示すように、本実施形態の家電ネットワークシステム500では、冷蔵庫1側に、カメラ装置300の通信モジュール306とは異なる別の通信装置501が設けられており、この通信装置501によって、冷蔵庫1は、外部の装置からの撮像指令を受信する。なお、この通信装置501は冷蔵庫1に取り付けられており、カメラ装置300は冷蔵室3内に配置されている。この通信装置501は、庫内を撮像するための指令(以下、撮像指令とも称する)を外部の装置から受信するための庫側通信手段を構成している。本実施形態では、通信装置501は無線通信用のアダプタとして形成されており、冷蔵庫1に対して着脱可能となっている。このため、冷蔵庫1を購入したユーザが、購入後にオプションとして設置することも可能となっている。この通信装置501は、図21に示すように、冷蔵庫1の主制御部30との間で無線通信方式や有線通信方式により通信可能となっている。そして、冷蔵庫1は、詳細は後述するが、撮像指令を受信すると、カメラ装置300に対して撮像指示(図23参照。本実施形態では光の点滅信号)を報知する。
 カメラ装置300の通信モジュール306は、ルータ101との間で通信可能に構成されており、通信端末103やサーバ104に画像情報を送信する。この通信モジュール306は、カメラ装置300で撮像した庫内の画像情報を通信端末103やサーバ104(図1参照)等の外部の装置に送信するためのカメラ側通信手段として機能する。なお、この通信モジュール306は、カメラ装置300の筐体303の背面側(最外縁側)の壁部に沿って設けられている。つまり、通信モジュール306は、内蔵する図示しないアンテナと筐体303との間に他の部品等が存在しないような内部配置とすることで、アンテナによる電波の送受信が阻害されること(通信障害が発生すること)が抑制されている。また、通信モジュール306は電池305に対して垂直向きに配置されており、アンテナと電池305とが対向しないような配置とされている。
 そして、冷蔵庫1の右扉3bの前面は上記したようにガラス材料で形成されていることから、庫内に配置されたカメラ装置300から発せられる無線通信用の電波は、金属板等を用いる場合に比べて、扉を透過し易くなっている。また、カメラ装置300は、ドアポケット200の保持部202(つまり、右扉3bの開放端部側)に配置されているので、特に本実施形態のように観音開きの場合には、各扉の隙間から電波を庫外に出すことができる。また、保持部202に配置することで、例えば扉の前面が金属材料で形成されている場合等であっても、カメラ装置300からの電波が庫外に出易くなる。また、扉の内部はウレタンによって充填されているので、電波を遮る可能性が少ない。
 ところで、冷蔵庫1には、断熱材として、ウレタンの代わり、あるいはウレタンとともに、真空断熱材が用いられることがある。この真空断熱材は、金属製の箔部材(例えばアルミ箔)と例えば合成樹脂製のフィルム部材とを貼り合わせた(ラミネート加工した)フィルムでガラス繊維等の芯材を包むことにより、例えば長方形の薄板状に形成されて断熱材となる。この真空断熱材は、冷蔵庫1の筐体や扉の内部部材として用いられるものの、例えばカメラ装置300をドアポケット200に配置する場合には保持部202に対応する位置を避けて真空断熱材を設ける等により、電波を外に出し易くすることができる。
 この場合、右扉3bについてはカメラ装置300の投影面(特に通信モジュール306の部位)を避けるように真空断熱材を配置したり、左扉3aや下部冷凍室7の扉7a等、カメラ装置300が配置されない扉についてはその全面に真空断熱材を配置したりすること等によって、冷蔵庫1の断熱性を低下させること無く電波を出し易くすることができる。また、上記したガラス板3b1を補強することや後述する図29のように磁石にてカメラ装置300を取り付けのための金属部材を扉に設けることも考えられるが、その場合も、真空断熱材の場合と同様に配置を工夫することで、電波を出し易くすることができる。
 このように庫内から電波を出し易くする構造は、本実施形態のように、カメラ装置300に通信モジュール306を設け、そのカメラ装置300を冷蔵庫1の庫内に配置し、撮像した画像情報をカメラ装置300から直接的に外部の装置に伝達する構成(つまり、冷蔵庫1の通信装置501を介さずにカメラ装置300が画像情報を送信する構成)において、特に有意になる。
 ここで、上記した磁石206の極性について説明する。
 磁石206は、図17に示すように、保持部202において、カメラ装置300の背面つまり検知部307に対応する位置に設けられている。このため、カメラ装置300が保持されている状態では、検知部307が磁石206と対向した状態、且つ、磁石206と接近した状態となる。この場合、磁石206は、カメラ装置300と対向する側がN極となるように配置されている。このため、検知部307は、N極からの磁界の強さを検知することになる。
 さて、磁石206の極性をこのような配置にする理由は、カメラ装置300を冷蔵室3以外の例えば野菜室4等に設置することを考慮しているためである。野菜室4は、図18に示すように、扉4aにレール部材4bが取り付けられており、そのレール部材4bに野菜室ボックス4cが取り付けられた構造となっている。このような野菜室4をカメラ装置300で撮像するために、本実施形態では、図19に示す冷蔵庫用ホルダ400を採用している。この冷蔵庫用ホルダ400は、カメラ装置300を保持する保持部401と、保持部401を野菜室ボックス4cに取り付けるための係止部402とを備えている。この保持部401は、カメラ装置300を横置きで保持可能な形状に形成されているとともに、前面側の前壁403は、レンズ301の視野を遮らない高さに形成されている。
 そして、保持部401の後壁404には、カメラ装置300の背面側の位置に、磁石405が設けられている。この磁石405は、カメラ装置300側がS極となるように配置されている。このため、図20に示すように冷蔵庫用ホルダ400を野菜室4に取り付け、カメラ装置300を保持部401に保持した状態では、カメラ装置300は、横置きの状態で保持されるとともに、検知部307が、図17と同様に磁石405に対向する。そして、検知部307は、S極からの磁界の強さを検知する。
 このように、磁石206および磁石405は、カメラ装置300に対向する側の極性が互いに逆になるように配置されている。このため、カメラ装置300は、冷蔵室3に設置された場合と野菜室4に設置された場合とで、異なる磁界の強さを検知部307で検知する。換言すると、カメラ装置300は、自身がいずれの貯蔵室に設置されたかを検知することが可能となる。また、カメラ装置300は、磁気を検知することで、設置された冷蔵庫1が自身の動作対象であるかを識別することができる。つまり、磁石206および磁石405は、特許請求の範囲に記載した被検知手段としても機能する。
 次に、このカメラ装置300の電気的構成等について説明する。
 図21に示すように、カメラ装置300は、制御部309を備えている。この制御部309は、CPU309a、ROM309b、RAM309cおよびRTC309d等を有するマイクロコンピュータで構成されており、カメラ装置300の全体を制御するカメラ側制御手段として機能する。具体的には、制御部309は、レンズ301や撮像素子を有する撮像部308による撮像タイミングの制御、撮像ランプ302による撮像する際の撮像環境を整える制御(点灯制御)、通信モジュール306による画像情報の送信および後述する指令の受信等のための制御、検知部307による設置状態を判断・識別するための制御を行う。また、制御部309は、本実施形態では、撮像した画像の補正等を行う画像処理も行っている。
 まず、検知部307による設置状態の判断・識別の制御について説明する。検知部307は、温度センサ310、磁気センサ311、加速度センサ312、および照度センサ313を有している。制御部309は、温度センサ310により外部の温度を検知することで、カメラ装置300がいずれ貯蔵庫に設置されているかの設置場所を判断する。以下、具体的な判断について説明する。
 温度センサ310は、カメラ装置300が設置された場所の温度を検知する。この温度センサ310は、図22(A)に示すように、温度に比例して出力が大きくなる。そして、一般的には冷蔵室3の温度と下部冷凍室7の温度とは十数℃程度の差があることから、基準となる基準温度を設定しておき、その基準温度より高ければ冷蔵室3に設置されていると判断する一方、基準温度よりも低ければ下部冷凍室7に設置されていると判断する。この場合、下部冷凍室7に設置されていると判断した場合、故障等の虞が懸念されるため、撮像ランプ302を点灯させたり、ブザー等の音声出力手段を設けておいて音声にて設置場所が想定外であることを報知したり、通信モジュール306を介して冷蔵庫1側にその旨を送信して冷蔵庫1の操作パネル33等にてユーザに報知したりする。このように、カメラ装置300は、温度センサ310で検知した温度に基づいて、設置場所を判断する。
 磁気センサ311は、上記したように磁石206や磁石405からの磁界を検知する。この磁気センサ311は、図22(B)に示すように、N極またはS極のいずれからの磁界であるかによって出力が正側(N極の場合)と負側(S極の場合)とに変化することから、その正負によって設置場所を判断することができる。つまり、磁気センサ311の出力が正側(0ではない)である場合には、本実施形態においては上記したように冷蔵室3のドアポケット200に設けられている磁石206に対向する位置に設置されたこと、すなわち、カメラ装置300が冷蔵室3に設置されたことを検知できる。
 尚、冷蔵室3と野菜室4とに温度差がある場合には、この温度センサ310の出力に基づいて冷蔵室3に設置されたか野菜室4に設置されたかを判断するようにしてもよい。いずれにしろ、温度センサ310の出力に基づいて、カメラ装置300が貯蔵室内に設置されたことを検知することができる。
 一方、磁気センサ311の出力が負側(0ではない)である場合には、上記した磁石405に対向する位置に設置されたこと、すなわち、カメラ装置300が野菜室4に設置されたことを検知できる。尚、カメラ装置300を例えば棚板11等に設置する場合(図24(B)参照)を考慮して、本実施形態では、正側基準値を超えた場合に冷蔵室3であると判定し、負側基準値を下回った場合に野菜室4であると判断する構成としている。そして、0付近の出力の場合には、磁石が設置されていない棚板11等であると判断する。尚、上記した温度センサ310と組み合わせて、貯蔵室内であることを判断条件に加えてもよい。
 加速度センサ312は、カメラ装置300に加わる加速度(重力加速度)を検知する。この加速度センサ312は、所謂三軸センサとしてX方向、Y方向およびZ方向(図15、図16参照)の三軸方向の加速度を検知する。このため、図22(C)に示すように、縦置きした場合と、縦置き(上下逆向き)した場合と、横置きした場合と、横置き(左右逆向き)した場合とにおいて、その出力が変化する。これにより、カメラ装置300が設置された向きを検知することができる。検知したカメラ装置300の向きは、後述する画像処理にて利用される。なお、設置場所の判断に用いてもよい。
 次に、撮像タイミングについて説明する。尚、撮像の流れは、第1実施形態の図6とほぼ共通するので、図6も参照しながら説明する。
 カメラ装置300は、予め定められている所定時間が経過した場合、および、外部の装置からの指令を受信した場合のいずれかを判定している。すなわち、撮像条件が満たされか否かを判定している(A1)。この場合、カメラ装置300は、RTC309dにより計時を行うことで、所定期間が経過したかを判定するとともに、指令を受信したか否かを、照度センサ313で検知した照度に基づいて判定する。
 検知部307を構成する照度センサ313は、カメラ装置300が設置された場所の照度を検知する。本実施形態の場合、照度センサ313は、庫内照明が点灯された程度の照度になると、その旨を制御部309に通知する。また、カメラ装置300が設置される本実施形態の冷蔵庫1は、外部の装置から撮像するための指令を受信すると、例えば天井ライト13のような庫内照明を所定の点滅パターンで点滅させる。なお、撮像指令は、例えば通信端末103の場合には、第1実施形態の図10の端末側処理のステップB2~B4と同様に行われる。
 この点滅パターンは、冷蔵庫1から着脱可能なカメラ装置300に対して撮像タイミングを報知するために予め設定されている。つまり、冷蔵庫1は、庫内照明を点滅させることで、カメラ装置300に対して撮像指示を報知する。これは、上記したように、冷蔵庫1が動作対象であるか(つまり、庫内照明の点滅が可能な冷蔵庫であるか)を判断可能とする構成や、カメラ装置300に動作対象であることを識別させるための構成を設けたことにより実現されている。すなわち、庫内照明を点滅可能であることが、カメラ装置300の動作対象である冷蔵庫1であることを示している。
 カメラ装置300は、図23の期間T1に示すように、通常は所謂スリープモード等の省電力状態となっている一方、照度センサは作動している。冷蔵庫1は、外部の装置から指令を受信すると、上記したように所定の点滅パターンにて庫内照明を点滅させる。このとき、庫内照明が点灯されたことから、照度センサ313から制御部309に対して通知(例えば割り込み信号の入力等)が行われ、制御部309が動作状態となる。つまり、庫内照明が所定の点滅パターンで点滅した場合、撮像条件が満たされたと判断する。点滅パターンは、例えば点灯と消灯の周期、その繰り返し回数等、任意に設定することができる。
 撮像条件が満たされたと判断すると(A1:YES)、カメラ装置300は、撮像ランプ302を点灯させ(A2)、庫内を撮像し(A3)、その画像情報をサーバ104等へ送信する(A4)。
 ところで、冷蔵庫1は、指令を受けた場合以外にも庫内照明が点灯することがある。例えば、図23の期間T2のように、ユーザにより扉が開放されたような場合には、点滅パターンではない態様(この場合、連続点灯)で庫内照明が点灯される。この場合、カメラ装置300は、庫内照明が点灯したことから一旦は動作状態となるものの、所定の点滅パターンではないので、つまり、撮像条件が満たされていないので、再び待機状態になる。
 また、カメラ装置300は、図23の期間T3のように、前回(期間T1)の撮像から予め設定されている撮像間隔設定期間が経過した等、所定期間が経過すると、撮像条件が満たされたと判定して(A1:YES)、動作状態となり、撮像ランプ302を点灯させ(A2)、その時点での庫内の画像を撮像し(A3)、画像情報を送信する(A4)。
 このように、カメラ装置300は、所定期間が経過したか、および、外部の装置からの指令(ユーザの意思)があったかに基づいて、庫内を撮像する。そして、ユーザは、図24(A)~(C)に示すように、カメラ装置300を設置した場所に応じて、庫内の様子を確認することができる。なお、カメラ装置300を冷蔵室3と野菜室4との双方に設ける等、複数のカメラ装置300を設けてもよい。
 さて、本実施形態の場合、カメラ装置300は、単に庫内を撮像するだけでなく、画像の変換等の画像処理も行っている。
 カメラ装置300は、上記したように縦置きまたは横置きすることができるが、その場合、画像は、90度(あるいは270度)回転した状態となっている。そのため、カメラ装置300は、サーバ104に送信する前に、画像の変換を行っている。これにより、図24(A)と、(B)又は(C)とに示すように、カメラ装置300の向きが異なっている場合であっても、上下方向が統一された画像、すなわち、ユーザが冷蔵庫1を直接確認するときと同様の状態の画像を通信端末103にて表示させることができる。
 また、レンズ301が広角レンズであることから、撮像した画像は、第1実施形態の図7に示したように中央付近が歪んだ画像となる。そのため、カメラ装置300は、その歪みを補正する画像処理を行うことにより、具体的には、中央付近と上下の端部との比率を一致させるような画像処理を行うことにより、図24(A)に示すように、歪みの少ない画像を表示可能としている。なお、画像とカメラ装置300の向きとを合わせて画像情報として送信し、サーバ104あるいは通信端末103にて画像処理を行う構成としてもよい。画像処理を外部の装置側で行うことにより、カメラ装置300の消費電力を削減することができる。これは、本実施形態のように外部からの給電手段を持たないカメラ装置300にとって有意である。
 以上説明した本実施形態によれば、第1実施形態で得られる効果に加えて(あるいは代わりに)、次のような効果を奏する。
 外出先等の遠隔地で冷蔵庫1の庫内を確認したいと考えるユーザが存在するが、庫内を撮像するための撮像部308(撮像手段)と、撮像部308で撮像した庫内の画像情報をサーバ104等の外部の装置に送信するための通信モジュール306(通信手段)と冷蔵庫1に設けているので、外出先等において、通信端末103により庫内の画像を取得でき、庫内を確認することができる。
 庫内の画像を撮像する際、むやみに撮像を繰り返すと電力消費が増加して電池切れを引き起こしたり、サーバ104に不要(同一の画像)が何枚も蓄積されたりする虞があるが、カメラ装置300の制御部309は、により庫内を撮像するタイミングを制御することにより、そのような虞を低減することができる。
 具体的には、実施形態のように、所定期間が経過した場合には例えば家族等が冷蔵庫1から食材を取り出す等の行為を行う可能性があるので、所定期間を経過したタイミング、すなわち、貯蔵状況が変化した可能性があるタイミングで庫内を撮像することで、不必要に撮像が繰り返されることを防止できる。
 また、ユーザからの指令を受信したタイミングで庫内を撮像することで、最新の貯蔵状況を把握することができる。この場合、上記した所定期間が経過したタイミングで撮像することを行わなければ、換言すると、ユーザの意思表示がされた際だけ撮像するようにすれば、不要な撮像が行われなくなるので、さらに消費電力を削減することができる。なお、実施形態でも説明したが、第1実施形態の各撮像条件と組み合わせることで、貯蔵状況が変化した際の画像を取得するようにしてもよい。
 冷蔵庫1の庫内を確認する必要が無いと考えるユーザも存在することが予想されるが、カメラ装置300は、庫内を撮像するための撮像部308と、撮像部308で撮像した庫内の画像情報をサーバ104等の外部の装置に送信するための通信モジュール306とを備え、冷蔵庫1に着脱可能な構成となっているので、確認を不要とするユーザは、カメラ装置300を取り外すことができる。また、購入時には不要と考えていたが、購入後に確認したいと考えるユーザも、カメラ装置300を追加することで、庫内を確認することができるようになる。
 この場合、通信装置501も着脱可能な構成としているので、カメラ装置300の場合と同様に、庫内の確認を不要とするユーザは取り外すことで消費電力を低減することができるとともに、後から付け足したいユーザにも対応することができる。
 撮像するためには光源が必要であるが、庫内を照らすための撮像ランプ302(カメラ側照明手段)をカメラ装置300に設けているので、カメラ装置300単体で庫内を撮像することができる。なお、冷蔵庫1と連携して、庫内照明を点灯する構成であってもよいことは勿論である。
 カメラ装置300を設置する場合、設置位置によっては視野が遮られる等により上手く庫内を撮像できない可能性もあるが、撮像するのに有利な場所もある。そこで、冷蔵庫1にカメラ装置300を取り付けるための被取り付け部(実施形態では、ドアポケット200の保持部202や、冷蔵庫用ホルダ400の保持部401等)を設けることで、例えば冷蔵室3の全域を撮像可能な場所にカメラ装置300を設置することができる。
 カメラ装置300の、上記したような庫内照明を点滅させることができないと外部の装置からの撮像指令を実行することができない虞があるが、磁石206や磁石405を設けてその磁気を検知部307にて検知する構成とすることにより、つまり、その冷蔵庫1がカメラ装置300による撮像が可能な(撮像が許可された)動作対象であることを検知させるための被検知手段備えることにより、そのような虞を低減することができる。
 この場合、通信モジュール306にて冷蔵庫1側と通信することで、つまり、通信モジュール306を検知手段(この場合、通信装置501が被検知手段となる)として用いてもよい。また、通信モジュール306を、カメラ装置300が該冷蔵庫1用に設計されたもの(例えば、庫内照明を点滅させることで撮像ができるもの)であるかを識別するための識別手段として用いてもよい。
 カメラ装置300は、実施形態の場合には電池305により駆動される(つまり、冷蔵庫1に設置されている際には外部からの電源供給が無い状態で駆動される)ことから、可能な限り電力消費を低減することが望ましい。そこで、通信モジュール306は通信装置501と通信するようにすることにより、通信モジュール306で外部の装置と無線通信を行う場合に比べて、無線通信による電力消費を低減することができる。
 また、外部の装置から指令を受ける場合、通信手段が常に動作して指令を待機する必要があるが、実施形態のように通信装置501にて指令を受信する構成としたことで、通信モジュール306を常時動作させておく必要が無くなり、電池切れとなるまでの期間をより長くすることができる。この場合、通信装置501には例えばUSB等の有線方式により冷蔵庫1側から給電可能な構成としておけば、通信装置501が無い場合には不要な給電が行われなくなるとともに、通信装置501が有る場合には例えば常時動作させることができるようになる。
 カメラ装置300を着脱可能とする場合、無線通信を採用したほうが利便性を向上させることができるものの、上記したような通信装置501にて指令を受信する場合、それを何らかの方法でカメラ装置300に伝達する必要がある。そこで、カメラ装置300に照度センサ313を設け、庫内照明を点滅させることで撮像指令を間接的にカメラ装置300に伝達する構成とすることで、無線通信を採用したカメラ装置300に、撮像タイミングを通知することができる。この場合、カメラ装置300側は照度センサ313を動作状態としておけばよいので、通信モジュール306を動作せる場合に比べて電力消費を削減することができる。
 また、カメラ装置300が設けられる右扉3bの前面は、非金属材料で形成されているので、右扉3bによって密閉された冷蔵室3内にカメラ装置300を通信モジュール306ごと配置する場合であっても、電波を庫外に出し易くすることができる。野菜室4にカメラ装置300を配置する場合も同様である。
 例えば冷蔵室3は一般的には縦長の形状であり、野菜室4は一般的には横長の形状であることを考慮すると、複数の貯蔵室が存在する場合、貯蔵室に応じてカメラ装置300の視野を切り替えることが望ましい。また、画像が横向きになるとユーザが違和感を覚える可能性もあるので、ユーザが冷蔵庫1を見た場合の状態、つまり、冷蔵庫の上下方向が統一された画像とすることが望ましい。そこで、上記した磁石206や磁石405を設けることにより、さらには、カメラ装置300に対向する側の極性が異なるような配置とすることにより、いずれの位置(この場合、メーカ等が予め設定した取り付け位置。保持部202または保持部401に対応する)に設置されているのかを把握することで、その位置におけるカメラ装置300の向きを判断可能としている。また、冷蔵室3の場合には本実施形態で縦置き、野菜室の場合には横置きとなるように保持部202や保持部401が予め形成されていることにより、貯蔵室に応じた向きでカメラ装置300が設置されるようにしている。これらにより、貯蔵室に応じて適切に視野を確保することができるとともに、画像処理を行う際にどの向きに回転させれば良いか等を判別できるようになる。
 この場合、加速度センサ312で検出した加速度の向きからカメラ装置300の向きを判断することもできるし、温度センサ310で検出した温度に基づいて設置場所を判断することもできる。
 カメラ装置300が例えば冷凍室に誤って設置されると、動作不良等を引き起こす可能性があるが、温度センサ310で温度を検知することで、また、実施形態のように報知可能とすることで、動作不良等を引き起こす虞を低減することができる。
 カメラ装置300で庫内を撮像するためには、庫内に対して正面から、且つ、視野を確保するためにある程度の距離を確保することが望ましいが、冷蔵庫1の場合、その正面側の取り付け位置は、扉により制限される。そこで、少しでも距離を確保するために扉の内板14に取り付けることが考えられるが、その場合、ドアポケットが視野に掛かる可能性がある。そこで、実施形態のドアポケット200は、その壁部203が、保持部202(被取り付け部)を避ける形状に形成されているので、カメラ装置300の視野を遮ることが無い。
 また、上記したように庫内を撮像するのに有利な場所が存在することから、その場所をユーザに知らせることが望ましい。そこで、ドアポケット200のように、カメラ装置300を保持する保持部202(取り付けるための被取り付け部)を設けることで、設置場所を明示することができる。また、保持部202に保持された状態では、カメラ装置300の視野が冷蔵室の中心に来るように保持部202が形成されているので、庫内のほぼ全域を撮像することができる。なお、保持部202に設置することでその中心位置が規定されることから、画像の歪みを補正する画像処理において、補正する際の中心位置と画像の中心位置とが一致し、その中心位置を中心として均等に歪み補正を行えばよいので、画像処理の演算負荷の低減を図ることもできる。
 また、このドアポケット200には、磁気センサ311の検知対象となる磁石206を設けているので、上記したように、設置場所をカメラ装置300に識別させることができる。
 冷蔵庫1場合、野菜室4等も設けられているが、野菜室4には所謂ドアポケットが設けられておらず、また箱状に形成されていることから、単にカメラ装置300を設置すると、収納される野菜等で覆われてしまう虞がある。そこで、冷蔵庫用ホルダ400のように、カメラ装置300を保持する保持部401を有する冷蔵庫用ホルダ400を用いてカメラ装置300を野菜室4に設置することができる。この場合、保持部401を野菜室ボックス4cの縁等に係止する係止部402を備えているので、野菜室4の上部側且つ扉4a側に設置することができ、野菜等に覆われることなく、野菜室を撮像可能とすることができる。また、係止部402にて係止しているので、不要な場合には容易に取り外すことができる。
 また、この冷蔵庫用ホルダ400にも磁石405を設けていることで、カメラ装置300は、自身の設置場所を上記したように判断することができる。
 また、家電ネットワークシステム500、庫内画像表示プログラムが奏する効果は、第1実施形態と共通する。
   (第3実施形態)
 以下、第3実施形態について、図30から図35を参照しながら説明する。なお、上記した第1実施形態や第2実施形態と実質的に共通する構成については、同一の符号を付して説明する。
 まず、図30を参照しながら、本実施形態の冷蔵庫700が備える機能について説明する。冷蔵庫700は、制御ブロック701(制御手段)、撮像ブロック702(撮像手段)、照明ブロック703(照明手段)、開検知ブロック704(扉開検知手段)、開度検知ブロック705(開度検知手段)、照度検知ブロック706(照度検知手段)、通信ブロック707(通信手段、報知手段)等を備えている。なお、各ブロックを機能名で示しているのは、以下に説明するように、その具体的な実現方法として種々の組み合わせが想定できることや、単一の構成要素を複数の機能ブロックに適用できること等によるためである。
 制御ブロック701は、CPU701a、ROM701b、RAM701c等を有するマイクロコンピュータで構成されている。また、制御ブロック701は、CPUで実行するコンピュータプログラムにより、収納量推定部708をソフトウェア的に実現している。収納量推定部708は、各ブロックで検知した情報に基づいて、庫内に貯蔵される収納物の収納量(食材の貯蔵量。物品の全体的な量だけでなく、専用ケースに収納されている卵の数やペットボトルの残量等も含む)を推定する。なお、本実施形態では、制御ブロック701として冷蔵庫700の主制御部30(図4参照)を想定しているが、カメラ装置18側の制御部50を採用してもよいし、双方で処理を分担して作動する構成としてもよい。
 撮像ブロック702は、貯蔵庫の庫内等を撮像するものであり、本実施形態では、第1実施形態のカメラ装置18(図4参照)と同様に冷蔵庫700の扉に固定的に設けられたものを想定している。この場合、カメラ装置18と同様の構成としてもよいし、カメラ装置18側の制御部50を省いて主制御部30により撮像制御を直接的に行う構成としてもよい。なお、第2実施形態のカメラ装置300(図15参照)を採用し、撮像ブロック702を冷蔵庫700から着脱式の構成としてもよい。
 照明ブロック703は、庫内を照らすものであり、本実施形態では、庫内照明である天井ライト13(図4参照)、および撮像専用の撮像ライト19(図4参照)と同等のものを想定している。なお、側面ライト36(図4参照)等の他の庫内照明を備えていてもよい。
 開検知ブロック704は、扉の開放を検知するものであり、本実施形態では、扉によって押圧されることで移動する可動片と、その可動片と連動して作動する接点とを有するスイッチにより構成されている。この開検知ブロック704は、扉が完全に閉まっている状態および扉が僅かに開放されている状態(扉の開放量が所定量未満であるとき)にはオフとなり、扉が所定量以上に開放されるとオンとなる。開検知ブロック704のオン/オフ状態は庫内照明を点灯するか否かの判断基準にもなっており、開検知ブロック704がオンであれば庫内照明が点灯され、開検知ブロック704がオフであれば庫内照明が消灯される。なお、オン/オフは扉の開閉状態を示しており、必ずしも接点の状態ではない。
 開度検知ブロック705は、扉の開度を検知するものであり、例えば図2に示す冷蔵室3の扉3aのようにヒンジを中心に回動する扉の場合には、その回転角度(閉鎖状態が0度とする)を検知する。また、野菜室4の引き出し式の扉4a等の場合には、その引き出し量を検知する。回転角度は角度検出器(例えばロータリエンコーダ等)により検出すればよいし、引き出し量は距離検出器(例えばレーザ距離計等)により構成することができる。また、実験により予め計測および記録した庫内の照度の変化を利用した照度ブロックにより、開度を検知してもよい。なお、開度検知ブロック705は、撮像ブロック702を設ける対象となる貯蔵庫に対して設ければよい。
 通信ブロック707は、撮像した画像情報を外部に送信するものであり、第1実施形態の通信部52(図4参照)、第2実施形態の通信モジュール306や通信装置501(図21参照)等、撮像ブロック702の構成に応じて適宜採用することができる。例えば、撮像ブロック702を冷蔵庫700の主制御部30が直接的に制御する場合、通信モジュール306を採用すればよい。
 次に、まず片開き式(回動式)の扉で開閉される貯蔵庫709(例えば冷蔵室)を撮像する例について説明する。
 図31(A)に示すように、貯蔵庫709は、扉710によって開閉され、その扉710の庫内側に撮像ブロック702が設けられている。この撮像ブロック702は、貯蔵庫709の扉710の開放端側(ヒンジと反対側の端部側)に位置して設けられており、扉710が閉鎖状態にあるとき、貯蔵庫709のほぼ正面に位置している。また、貯蔵庫709内には、照明ブロック703(例えば、天井ライト13)、開検知ブロック704、および照度検知ブロック706等が設けられている。
 本実施形態では、閉鎖状態にある扉710が開放される際、撮像ブロック702により撮像する。これにより、冷蔵庫700は、扉710が開放されるとき、すなわち、収納量が変化する可能性のあるときの庫内を撮像することができる。なお、撮像ブロック702は、扉710が開放された状態(扉710が静止した状態)だけでなく、開放中(扉710が動いている状態)であっても撮像可能である。つまり、撮像ブロック702は、扉710が閉鎖状態から開放され(開放される直前の閉鎖状態も含む)、その後再び閉鎖状態とされるまで(閉鎖状態となった直後も含む)間において、任意のタイミングで撮像することができる。なお、「貯蔵物の収納量が変化した」ことには、「新たに貯蔵物が追加された」ことも含まれる。
 さて、開検知ブロック704は、扉710の開度(この場合、回転角度)が所定量未満の場合にはオフされている。このため、図31(B)に示すように、扉710が若干開いた状態では、開検知ブロック704がオフとなっている。ただし、その状態であっても、開度検知ブロック705により扉710の回転角度を検知していることから、開度検知ブロック705では扉710の回転角度が0度ではなくなっており、実際には若干開いていることを検知している。すなわち、開度検知ブロック705の判定結果からは、本実施形態における冷蔵庫700の撮像タイミングになったと判定される。
 その場合、庫内照明がまだ点灯されないこと、また、扉710の開度が低いことから外部の光もそれほど入り込んでおらず、庫内が暗い(照度が低い)ことが想定される。そして、照度が低い場合、撮像した画像も暗くなってしまうことから、庫内の様子を把握することができなくなる。
 そこで、冷蔵庫700は、扉710が開放されるとき、その開度が所定量(図31の回転角度θ1)未満である場合には、照明ブロック703を点灯し、光量を確保する。これにより、撮像した画像から庫内の様子を把握できるようになる。このとき、点灯する照明ブロックは撮像ライト19を想定しているが、撮像ライト19に加えて、または、撮像ライト19の代わりに(撮像ライト19が設けられていない場合等)、庫内照明を点灯する構成としてもよい。
 また、開検知ブロック704は、図31(C)に示すように扉710の開度が所定量(回転角度θ1)以上になるとオンし、それに伴って庫内照明が点灯される。つまり、庫内が明るくなる。
 そこで、冷蔵庫700は、扉710が開放されるとき、その開度が所定量以上になると撮像する。これにより、庫内を明るく撮像することができる。
 なお、冷蔵庫700が省エネモードに設定されている場合には、庫内照明を点灯させる際の光量を通常の点灯時よりも少なくしてもよい。この場合、開検知ブロック704がオンするのは扉710がある程度開放された状態であるため、その状態であれば外部からの光がある程度庫内に入っていると考えることができる。そのため、開検知ブロック704がオンの状態で撮像することで外部の光も利用して撮像することができ、省エネモードに設定されている場合でも鮮明な画像を撮像することができる。
 ところで、庫内を撮像する目的は庫内の様子を把握することであり、庫内の様子を把握できない不鮮明な画像を撮像すること(および、それをユーザに送信すること)は望ましくない。
 そこで、照度検知ブロック706により庫内の照度を検知し、照度が所定の基準値を超えると撮像する構成としてもよい。この場合、所定の基準値を庫内の様子を把握できる程度の照度に設定することで、撮像した画像が不鮮明になることを防止することができる。また、照度検知ブロック706の検知結果と、上記した開検知ブロック704や開度検知ブロック705の検知結果とを組み合わせてもよい。例えば、開度が十分であっても庫内の照度が不足する可能性をも考慮し、扉710が開放されたこと、および、照度が十分であることを条件として撮像するようにしてもよい。さらには、開検知ブロック704がオフの状態(ただし、開度検知ブロック705では開放と判断されている状態)において、照度が十分であれば照明ブロックを点灯しないで撮像するようにしてもよい。
 さて、扉710がさらに開放された場合、例えば図31(D)に示すように扉710の開度が90度未満である状態では撮像ブロックの視野の半分程度は庫内が写っていると考えられる。一方、図31(E)に示すように扉710の開度が90度になると、撮像ブロックの視野の多くには庫外が写っていると想定される。その場合、庫内の様子を把握したいユーザに取って、不要な情報が多い画像が撮像されてしまうことになる。
 そこで、冷蔵庫700は、扉710の開度が90度未満のときに撮像する構成としてもよい。これにより、庫内の情報が多く含まれた画像を撮像することができる。ただし、例えば広角レンズで撮像する場合や、撮像ブロック702がヒンジ(回動中心)に近い位置に設けられている等、扉710の開度が90度を超えても庫内を撮像できるような場合には、扉710の開度が庫内を撮像可能な範囲であるときに撮像するようにしてもよい。
 あるいは、扉710はユーザにより開閉されるものであることから、図31(F)に示すように、扉710の開度が90度付近(あるいは90度を超えている状態)では、撮像ブロック702の視野にユーザが写っていると想定される。そのため、扉710が90度を超えるような状態でもあえて撮像する構成としてもよい。これにより、例えばユーザの様子(顔色等)や留守中の子供の様子等を把握できるようになり、遠隔地からの見守りシステム等への適用もできるようになる。すなわち、撮像手段としては、庫内だけでなく、庫外(冷蔵庫700の周辺)の様子を撮像できるものであってもよい。なお、90度を超えて撮像するか否かは、ユーザにより選択可能な構成にするとよく、所定角度であれば90度に限定されることはない。
 なお、照度検知ブロックは、例えば扉の庫外側に設けて、外部の光を検知できるようにしてもよい。そして、庫外の様子を撮像する場合に、部屋の照明が消えていないかを照度センサで検知して、消えている場合は照明ブロックを点灯するとよい。特に、扉の前面がガラス製である場合、扉の端部を構成するフレームに穴を開け、扉内部に配置した照度検知ブロックに光が入射するように構成するとよい。
  <撮像ブロックの配置例1>
 図32(A)に示すように、若干扉710が開放されている状態では、上記したように開度検知ブロック705にて開度を検知する構成であれば庫内照明や撮像ライトを点灯させる等の対策が行えるものの、開度検知ブロック705を備えていない場合等には、庫内照明が点灯されないことから庫内の明るさが撮像するには不足する可能性がある。
 そこで、撮像ブロック702を、上記したような扉710の中央付近ではなく、扉710の開放端側、つまり、外部の光がより早く入る側に設けてもよい。この場合、外部の光がより早く入る側とは、扉中央よりも開放端側、より好ましくは扉の左右方向において開放端から1/3の長さの範囲内、さらに好ましくは開放端から1/4の長さの範囲内に相当する。これにより、撮像ブロックの視野に外部からの光をいち早く入り込むことができ、光量を確保し易くなる。また、撮像ブロック702は扉710から庫内に向かう視野となるように配置されることから、扉710の隙間からの光は撮像ブロック702の後方側から庫内に入り込む。このため、逆光になるおそれが少なく、庫内を鮮明に撮像することができる。
 この場合、図32(B)に示すように扉710の開放角度が90度に近くなると画像には庫外の情報の方が多く含まれるようになるため、庫内を撮像することを主目的とするのであれば扉の開放角度が90度未満の際に撮像するようにすればよいし、上記した見守りシステム等への適用を考慮するのであれば、90度を超えて開放された場合にも撮像するようにしてもよい。
 なお、庫外を撮像するための専用のカメラを設けてもよい。その場合、扉前面がガラス板である場合、ガラス裏面の色付きの塗料の一部を透明とし、扉内部に設けたカメラでその透明部を通して外部を撮像できるようにすればよい。
  <撮像ブロックの配置例2>
 撮像ブロック702は、図33(A)に示すように、扉710のヒンジ側に設けてもよい。この場合、図33(B)、(C)に示すように、扉710の開放に伴って撮像ブロック702の視野が庫内を横断していき、ほぼ庫内の全域を撮像することができるようになる。
 また、扉710が開放される際に撮像する位置を予め設定してもよい。例えば、図32(B)に示すように撮像ブロック702の視野が冷蔵庫700のほぼ中央付近となる角度まで扉710が開放された際に撮像するようにしてもよい。つまり、撮像ブロック702をヒンジ側に設けた場合には、庫内を撮像できる範囲(例えば、画像中に庫内の情報量が庫外の情報量よりも多くなる範囲)が広くなり、撮像タイミングの自由度を向上させることができる。
 そのため、扉710の開放中に複数回、画像を撮像するようにしてもよい。つまり、視野の異なる画像を撮像するようにしてもよい。この場合、開度検知ブロック705にて回転角度を検知し、回転角度が所定値になった時点で撮像するようにしてもよいし、扉710の開放を検知してから回転角度が変化している間は所定時間毎に撮像するようにしてもよい。また、撮像ブロック702として動画の撮像が可能なものを採用し、扉710の開放中に動画を撮像し、その動画の中から複数の画像(静止画)を抽出するようにしてもよい。このように複数の画像を撮像することで、すなわち、庫内を異なった複数の視野から撮像することで、手前の物品に隠れている食材等を確認することができる。
 また、複数の画像を撮像することで、1つの画像では写っていない範囲を他の画像で補完することが可能となり、それらを合成して一枚の全体画像を合成することで、庫内の様子をより詳細に把握することができるようになる。また、視野の異なる画像を撮像することで、立体画像を合成することもできる。
 勿論、配置例1で示した開放端側と配置例2で示したヒンジ側との双方に撮像ブロック702を設け、互いに視野を補完する構成としてもよい。その場合、開放端側の撮像ブロック702は回転角度が大きくなると庫外を撮像するようになってしまうため、開放端側の撮像ブロック702とヒンジ側の撮像ブロック702とで撮像する角度範囲を異ならせるようにしてもよい。なお、扉710の開放中に2つの撮像ブロック702でそれぞれ1回ずつ撮像することも、複数回撮像することに含まれる。
  <収納量を推定する例>
 次に、収納物の収納量を推定する手法について説明する。
 例えば庫内を正面側から撮像した1つの画像に対して収納量推定部708にて画像処理等(例えば色認識や輝度差の抽出等の手法)を行うことで、庫内全体に占める収納物の割合等の収納量を推定することができる。
 このとき、複数の画像に基づいて収納量を推定することで、収納量(以下の例では、残量)をより正確に把握することができる。
 一例として、貯蔵庫709内の容器(例えばペットボトル720等)中の飲料等の残量を推定する場合、図34(A)に示すように撮像ブロック702のほぼ正面にペットボトル720が位置していると、正面(矢印Y1にて示す向き)から撮像した画像には、図34(B)に示すようにペットボトル720中に飲料(ハッチングにて模式的に示す)が多く写っており、残量が多いと推定されることになる。ただし、矢印Y2にて示す向きから見た図34(C)に示すように、実際には残量が少なくなっており、ペットボトル720が他の物品721に乗って傾いたために正面からの画像からでは残量が多くなっていたと誤推定される可能性がある。
 そこで、図34(D)に示すように扉710が開放された際に異なる視野(矢印Y3にて示す向き)からも撮像し、その画像を画像処理することで、図34(E)に示すような側方からの画像を得ることができ、その画像に基づいて残量を推定すれば、実際には残量が少なくなっていることを把握することができる。
 他の例として、図35(A)に示すように、卵ケース722をほぼ正面から撮像した場合、卵ケース722には卵723が整列されて収納されていることから、最前列の卵723に隠されて後列に卵723が残っているかを判断できない可能性がある。そこで、図35(B)に示すように斜め方向等の異なる視野で撮像された画像をも利用することで、後列の状態つまり実際の卵723の残量を確認することができる。
 このように、複数の画像を撮像することで、全体的な収納量だけでなく、個別の残量をも推定できるようになる。また、異なる角度から撮像することで、使用者が目視で残量も確認することができる。さらには、異なる角度から撮像することで、正面からでは目視できない部位も撮像でき、他の物品に隠れた位置等、使用者が正面から庫内を見た場合にはすぐには気付かないような位置の状態も把握することができる。なお、卵ケース722のようにその位置が基本的に固定されているようなものの場合、撮像ブロック702が卵ケース722を後列側が写る斜め方向から撮像できる回転角度となったときに撮像するように撮像タイミングを制御してもよいし、その回転角度に対応する画像を動画から抽出してもよい。
 また、扉710の閉鎖時にも撮像するようにしてもよい。これにより、食材の収納量が変化する可能性のある扉710の開放時にまず撮像し、扉710が閉鎖された時点でさらに撮像し、それらの画像を比較することで収納量の変化を検知することができる。したがって、収納量が変化したことを精度よく検知することができる。
 このとき、扉710への振動を検知した時点や開度検知ブロック705にて開度が変化し始めた時点等、扉710が開放されるそのときに撮像する構成としてもよいし、基本的には扉710が開閉されなければ収納量が変化する可能性もないため、扉710の閉鎖中に例えば定期的に庫内を撮像しておき、扉710が開放される前の最新の画像と、開放された扉710がその後閉鎖されたときに撮像した画像とを比較することで、収納量の変化を検知したり収納量を推定したりしてもよい。
 また、収納量が変化した旨を通信ブロック707を介してユーザに報知してもよい。この場合、送信する画像情報とともに収納量が変化した旨を示す付帯情報を添付して送付すること等が考えられる。報知先は、ユーザの所謂スマートホンやタブレットPC、ユーザ宅のTV等が考えられる。
 また、左右方向あるいは上下方向の異なる位置に複数の撮像ブロック702を設けてもよい。さらには、庫内に設置された例えばカメラ装置300と連携して撮像するような構成としてもよい。そして、異なる角度から撮像して収納物の残量などを確認する方法としては、異なる壁(例えば、扉と側壁)に複数のカメラ(撮像ブロック)を配置し、それぞれで撮像し、全体で複数回撮像することによっても可能である。
   (第4実施形態)
 以下、第4実施形態について、図36から図39を参照しながら説明する。第4実施形態では、1つの貯蔵庫を2との扉で開閉する例について説明する。なお、機能ブロックの基本的な構成は上記した第3実施形態と共通する。
 <複数扉の例1>
 図36(A)に示すように、本実施形態の冷蔵庫800は、左右に隣り合って配置された左扉801と右扉802とにより、1つの貯蔵庫803(例えば冷蔵室)が開閉される構成となっている。これら左扉801および右扉802には、それぞれ開放端側に撮像ブロック702が設けられている。また、右扉802の撮像ブロック702は、開放端側であって、且つ、冷蔵庫800の左右方向の中央付近に設けられている。各扉には、1または複数のドアポケット804がそれぞれ設けられている。
 まず、いずれか一方の扉に撮像ブロック702を設けたことによる効果は、第3実施形態と共通する。そのため、以下では、主としてそれぞれの扉に撮像ブロック702を設けたことにより得られる効果について説明する。
 図36(A)に示すように、各扉に撮像ブロック702を設けることにより、一方の撮像ブロック702の視野外を、他方の撮像ブロック702にて補うことが可能となる。これにより、一方の視野には入らない、あるいは、一方の視野では収納物に遮られて写らない場所を撮像することができ、より詳細に庫内の様子を把握することができる。
 そして、図36(B)に示すように例えば左扉801を開放する際に撮像することで、閉鎖状態では視野外になっている右扉802のドアポケット804に収納されている収納物を撮像することができる。この場合、右扉802の縦板(図2の縦板15参照)に第1実施形態のような凹部(図2の凹部16参照)を設けることで、右扉802のドアポケット804をより広く撮像することができる。勿論、左扉801の縦板に凹部を設ければ、右扉802の撮像ブロック702にて撮像するより広く撮像することができる。
 また、左扉801の撮像ブロック702で撮像するときに右扉802の撮像ブロック702でも同じタイミングで撮像する構成とすれば、第3実施形態で説明したような、正面からの画像と側方(あるいは斜め方向)からの画像等、視野の異なる画像を得ることができる。このとき、それぞれの撮像ブロック702の設置位置が元々離間しているので、単一の撮像ブロック702で撮像する場合よりもその見え方の差が大きくなり、上記した図34、35等で示した収納量の検知をより正確に行うことができる。
 また、図36(C)に示すように双方の扉が開放されている状態で撮像することで、庫内のほぼ全域を撮像することができる。
 このとき、図36(D)に示すように双方の扉がほほ90度開放された際に撮像することで、互いのドアポケット804を正面からそれぞれ撮像することができる。そして、庫内の画像と、ドアポケット804を撮像した画像とを用いることで、後述する図28に示すような冷蔵庫800を正面から視た状態、つまり、ユーザが一般的に見ている状態の画像を合成することができる。
 このように、貯蔵庫を開閉する各扉に撮像ブロック702を設けることで、一方の撮像ブロック702では撮像できない範囲を他方の撮像ブロック702で補うことができる。
 このとき、複数の撮像ブロック702にて撮像することから、それぞれの撮像ブロック702は必ずしもそれほど広角のレンズ系を採用する必要はなく、画像の歪みを小さくすることができる。また、画像の歪みが小さくなれば、歪み補正や画像合成あるいは収納量の推定等の処理の負荷を低減することができる。特に、画像処理を第2実施形態のようなカメラ装置300で行う場合、電池の消耗等を抑制することができる。
 なお、図37(A)に示すように、それぞれの撮像ブロック702をヒンジ部側からの距離L1(冷蔵庫800の側面からの距離)が同じになるように配置してもよい。つまり、扉が開放される際、開放角度が同じであれば、各撮像ブロック702の視野の中心が冷蔵庫800の中央にくるような配置としてもよい。これにより、それぞれの撮像ブロック702で同じ回転角度で撮像された画像を合成すれば、合成画像の中心位置と冷蔵庫800の中央とが一致するので、冷蔵庫800の正面から見た状態の立体視画像(つまり、ユーザが理解しやすい画像)を合成することができる。また、図37(B)に示すように、一方(例えば左扉801)の撮像ブロック702は開放端側に設け、他方(例えば右扉802)の撮像ブロック702はヒンジ側に設けてもよい。さらには、図37(C)に示すように、撮像ブロック702の視野が扉に対して傾くように配置してもよい。
 <複数扉の例2>
 この例2では、図38(A)に示すように、冷蔵庫810は、隣り合って配置された左扉811と右扉812とにより、仕切り板813により仕切られた独立した貯蔵庫814A~814Dをそれぞれ開閉する構成となっている。また、各扉は、複数の独立した貯蔵庫814A、Bと、貯蔵庫814C、Dとをそれぞれ開閉する。そして、それぞれの扉には、図38(B)にも示すように、それぞれの独立した貯蔵庫814を撮像するための撮像ブロック702が設けられている。また、貯蔵庫814Cは、その内部に棚板815が設けられており、この棚板815の上下を撮像するために、貯蔵庫814Cを開閉する右扉812には、対応する位置には2つの撮像ブロック702が設けられている。これにより、庫内をそれぞれ撮像することができる。また、庫内を撮像することにより得られる効果は第1実施形態と共通するとともに、扉の開放時に撮像することにより得られる効果は第3実施形態と共通する。
 また、図39に示すように、例えば左扉811が複数の独立した貯蔵庫814A、Bを開閉し、右扉812が1つの独立した貯蔵庫814Eを開閉する構成であってもよい。また、貯蔵庫814E内に収納容器816が設けられている場合には、図39(B)にも示すように、それぞれの収納容器816を撮像可能なように対応した数の撮像ブロック702を設けてもよい。このような構成の冷蔵庫810においても、庫内を撮像することにより、上記した例1と同様の効果を得ることができる。また、このような冷蔵庫810であっても、撮像ブロック702をヒンジ側に設けたり、開放端側に設けたりする等、第3実施形態と同様の構成を適用することができる。
   (第5実施形態)
 以下、第5実施形態について、図40から図42を参照しながら説明する。第5実施形態では、引き出し式の扉により開閉される貯蔵庫の例について説明する。なお、機能ブロックの基本的な構成は上記した第3実施形態と共通する。
 例えば図2に示したような冷蔵庫1には、野菜室4のような引き出し式の扉4aにより開閉される貯蔵庫が設けられている。このような野菜室4等は、庫内照明が設けられていないものもあり、撮像する際の光量が鮮明な画像を撮像するには不足することが考えられる。そこで、扉が開放される際に撮像することにより、収納量が変化する可能性があるタイミングで撮像できるとともに、扉が引き出されることで、外部からの光を利用して撮像することができる。
 <撮像ブロックの設置例1>
 図40に示すように、冷蔵庫900の貯蔵庫901には、引き出し式の扉902、その扉902と一体に引き出される収納容器903、基本的には位置が固定されている棚板903a、撮像ブロック702、照明ブロック703、および撮像ブロック702と一体に構成された照度検知ブロック706(図示省略)が設けられている。撮像ブロック702は、その視野の中心が扉902の引き出し方向から傾くように設置されている。また、本実施形態では、照明ブロック703は、撮像専用のものを想定している。
 このような構成において、図40(B)に示すように扉902が引き出されると、外部からの光が入り込み、庫内の照度が高くなる。そのため、光が入射したことを照度検知ブロック706で検知し、そのタイミングで撮像することで、庫内を把握可能な画像を得ることができる。
 また、図40(C)に示すように扉902が大きく引き出された状態では、収納容器903のほぼ全体が外部の光で照らされるため、より鮮明な画像を撮像することができる。そのため、照度検知ブロック706で検知した照度が所定の基準値を超えた際に撮像するようにしてもよい。また、照度が基準値を超えていない場合には、照明ブロック703を点灯するようにしてもよい。
 また、撮像ブロック702の視野が棚板903aに対して変化していくので、上記したような異なる視野で収納物を撮像することもできる。なお、棚板903aは、収納容器903が最前列まで引き出された場合にはその位置が移動するタイプのものであってもよい。また、棚板903aは、下容器の上に位置していて、下容器の左右側壁部の上端部を摺動して移動する上容器であってもよい。
 また、扉902の開度(本実施形態では引き出し量)を検知する開度検知ブロック705を設け、開度に基づいて、扉902の開度が所定量を超えた際に撮像するようにしてもよい。なお、夜間等で電気を付けないまま扉902が開放されることも想定されるため、開度検知ブロック705の検知結果と照度検知ブロック706の検知結果とを採用してもよい。また、収納量の変化を検知するために扉902が閉鎖状態で撮像する場合には、照明ブロック703を点灯すればよい。
 このように、引き出し式の扉902にて貯蔵庫901を開閉する場合であっても、上記した第3実施形態等と同様の効果を得ることができる。
 なお、照明ブロックは、撮像専用のもので無くてもよく、庫内灯として兼用してもよい。
 <撮像ブロック702の設置例2>
 設置例1では撮像ブロック702を引き出し式の扉902に設けたが、図41(A)に示すように、引き出し式の扉902の上方に位置する扉910の下面側であって、図41(B)に示すように引き出された収納容器903内を撮像可能な位置に、撮像ブロック702を設けてもよい。これにより、扉902が引き出された際には、外部からの光が入り込んで収納容器903内を照らすので撮像可能な状態となるとともに、光は撮像ブロック702の後方から入るので逆光になることもない。
 また、一般的には、引き出し式の貯蔵庫901に食材等を収納あるいは取り出す場合には、収納容器903を目的とする位置まで引き出すことが想定される。換言すると、収納容器903の上方に位置する扉910に設けられている撮像ブロック702の直下付近が食材等を収納あるいは取り出す位置となり、その位置で収納量が変化すると考えられる。そのため、上方の扉910に撮像ブロック702を設けることで、収納量の変化をより検知し易くなる。
 なお、図41において最下段となる引き出し式の貯蔵庫904に対しては、図42(A)に示すように、貯蔵庫901と貯蔵庫904との間に設けられている仕切り板905等に撮像ブロック702を下向きに設けてもよい。このとき、貯蔵庫904の引き出し口側(つまり、扉906側)に撮像ブロック702を設ければ、図41にて示した貯蔵庫901用の撮像ブロック702と同様に、光量を確保できるとともに、収納量の変化を検知しやすくなる。
 さらに、貯蔵庫901の扉902の場合、扉902が引き出されると扉902自体は冷蔵庫900本体から離間した状態となるため、撮像ブロック702を有線接続することが困難になる。そのため、仕切り板905に撮像ブロック702を設ければ、冷蔵庫900本体から離間することがないため、撮像ブロック702を有線接続することも可能となる。なお、上記した回動式の扉910の場合には、ヒンジ部を利用して操作パネル等への配線が行われているものもあるため、撮像ブロック702を有線接続することは比較的容易である。
 また、図43に示すように、調理機能を有する貯蔵庫930(以下、便宜的に調理室と称する)に撮像手段を設けてもよい。この調理室は、例えばマグネトロン931のような加熱手段(調理手段)を有し、所謂電子レンジ等のような調理機能を有している。このような調理室は、例えば引き出し式の扉や回動式の扉932によって収納容器や棚板(図示省略)ごと開閉される。そのため、その上部の仕切り板933に撮像ブロック702を設けることで、扉932を開ける際、庫内(収納容器や棚板に載置された調理品も含む)を撮像することができる。
 このような貯蔵庫930の場合、調理機能を使用している際のノイズ放射等を抑制するために、鉄板等により覆われた構造となっている。このため、撮像ブロックが無線通信により画像情報を送信するものであれば、調理中(マグネトロンの駆動中)には無線通信を行わない、ノイズによるエラーを考慮して複数回送信する、撮像した場合には調理後に送信する等の制御を行うとよい。なお、マグネトロンの駆動中には扉932を開けることはないが、調理状況を観察するために調理中に撮像したり、仕上がり等を記録しておくために調理後に扉932を開放する際に撮像したりすることは考えられる。
 また、貯蔵庫内とは別の位置のカメラの画像や冷蔵庫の扉開閉回数やエラー情報などを外部に送信する無線手段(例えば、Bluetooth(登録商標)やWiFi)などでは、マイクロ波と干渉して送信できない可能性があるため、マグネトロンの停止中に無線で送信するとよい。また、マグネトロン駆動中にカメラに撮像指示がある場合にも、マグネトロンの停止後に再受信したり再送信したりするとよい。また、無線手段は、鉄板等で囲われたマグネトロンのマイクロ波が照射される貯蔵庫(上記した調理室)の外側に配置することで、画像情報等を外部に容易に送信することができる。なお、重量センサの検知結果を有線または無線で外部や冷蔵庫の制御部に送信することも可能であるが、その時も同様である。
   (第6実施形態)
 以下、第6実施形態について、図44から図55を参照しながら説明する。なお、第1実施形態と共通する部位には同一の符号を付し、その詳細な説明は省略する。また、撮像タイミングについては、上記した各実施形態で例示したものを適宜採用すればよい。
 図44に示すように、本実施形態の冷蔵庫1は、撮像手段としてのカメラユニット1000を備えている。この冷蔵庫1は、第1実施形態と同様に、家電ネットワークシステム100(図1参照)に接続されている。この場合、冷蔵庫1は、第1実施形態のように無線通信方式にて家電ネットワークシステム100に接続してもよいし、有線通信方式にて家電ネットワークシステム100に接続してもよい。本実施形態では、有線通信方式として、冷蔵庫1への電力を供給する電力線を利用して通信を行う電力線通信(PLC:Power Line Communication)を採用している。以下、カメラユニット1000の取り付け位置についていくつかの具体例とともに説明する。
  <具体例1>
 具体例1のカメラユニット1000は、冷蔵庫1の扉に設けられている。このカメラユニット1000は、例えば冷蔵室3の庫内の中央を撮像可能な位置に設けられており、具体的には、撮像対象となる冷蔵室3(貯蔵庫)を開閉する右扉3bにおいて、当該冷蔵室3の上下方向および左右方向における略中央の位置に対応するように設けられている。このカメラユニット1000は、図45(A)、(B)に示すようにその外形が概ね直方体状に形成されており、カメラケース1001(保護ケースに相当する)と底板1002とで囲まれた空間にカメラモジュール1003(撮像モジュールに相当する)が収容された構成となっている。
 また、カメラユニット1000には、冷蔵庫1側との間を接続する接続ケーブル1004、およびカメラユニット1000を固定するためのフランジ部1005が設けられている。接続ケーブル1004は、冷蔵庫1側からの電源供給、カメラユニット1000に対する撮像指示の伝達、および撮像された画像データ取得に用いられる。このカメラユニット1000は、フランジ部1005によって扉3bの庫内側に取り付けられている。そのため、具体例1および後述する具体例2~4の場合、接続ケーブル1004は、扉3bの内部に配線され、扉のヒンジ部を経由して冷蔵庫1の主制御部30(図4参照)に接続されている。
 カメラモジュール1003は、図46に示すように、CCDセンサやCMOSセンサ等の撮像素子1010およびその周辺回路を構成する回路部品1011等が搭載された基板1012と、その基板1012に取り付けられているレンズユニット1013とから構成されている。本実施形態の撮像素子1010は、長方形に形成されており、その長手方向が、カメラユニット1000の長手方向(図45の図示上下方向)と一致している。この基板1012には、撮像素子1010に対応した位置にレンズホルダ1014が設けられており、そのレンズホルダ1014の内周面は雌ねじとなっている。一方、レンズユニット1013は、基板1012側の端部が雄ねじとなっており、レンズホルダ1014にねじ込まれることで、撮像素子1010までの距離が調整された状態で取り付けられている。
 このレンズユニット1013は、複数枚、例えば本実施形態では3枚のレンズ1015を備えており、各レンズ1015は、例えば樹脂材料等で形成された本体部内に保持されている。カメラユニット1000は、これら3枚のレンズ1015によっておよそ120度の視野角が確保されており、庫内を広角で撮像することが可能となっている。また、レンズユニット1013には赤外カットフィルタ1016が設けられており、撮像素子1010で検出する光を概ね可視光の範囲に限定している。このため、カメラユニット1000は、庫内をカラーで撮像する際、鮮明な色彩で撮像することができる。なお、レンズ1015の枚数等は一例であり、必要な視野角に応じて適宜選択すればよい。
 また、カメラユニット1000は、図44(B)に示すように、カメラケース1001内が例えばウレタン樹脂やエポキシ樹脂等のポッティング材1017によってカメラモジュール1003ごとポッティングされている。また、図46に示すように、レンズユニット1013にはその外周側にOリング1018が設けられており、そのOリング1018によってレンズユニット1013とカメラケース1001の内面との間が封止されている。なお、図46では、ポッティング材1017の図示を省略している。
 このため、レンズユニット1013の前面側から水や湿気がカメラケース1001内に浸入することが防止されている。また、カメラケース1001の底板1002側も、接続ケーブル1004が貫通している部位を含めて封止された状態となっている。つまり、カメラユニット1000は、全体として防水構造あるいは防滴構造となっているとともに、内部のカメラモジュール1003も結露等から保護されている。
 このカメラユニット1000は、図47(A)に示すように、右扉3bの内板14に取り付けられている。また、カメラユニット1000は、扉3bが閉鎖された状態における視野が庫内側となるように取り付けられている。このため、カメラユニット1000は、右扉3bが閉鎖された状態では、冷蔵室3を正面から、且つ、上下方向および左右方向のほぼ中央から撮像することが可能となっている。つまり、カメラユニット1000は、ユーザが冷蔵庫1を使用するときと同様の視野にて庫内を撮像することができる。このとき、カメラユニット1000に隣り合って配置されているドアポケット9bは、第一実施形態と同様に切り欠き部9b1が設けられており、カメラユニット1000の視野を大きく遮ることが無いようになっている。
 また、カメラユニット1000は、図47(B)に示すように、長手方向が上下となるように縦向きに取り付けられている。このため、カメラユニット1000内の撮像素子1010も、その長手方向が縦向きとなっている。これにより、上下方向と左右方向とにおいてその大きさが異なる略直方体状に形成され、縦長の空間となっている冷蔵室3を、縦長で撮像することができる。つまり、縦長に配置された撮像素子1010の撮像範囲を有効に活用しつつ、庫内を撮像することができる。
  <具体例2>
 具体例2の場合、カメラユニット1000は、図48に示すように、右扉3bの内板14側に設けられている凹部1020に取り付けられている。なお、具体例2でも、カメラユニット1000は縦向きに取り付けられている。この凹部1020は、カメラユニット1000全体を収容できる程度の大きさに形成されており、その凹部1020に収容されているカメラユニット1000は、内板14よりも庫内側に突出しないようになっている。このため、右扉3bの最下段のドアポケット10b(図44参照)にペットボトル等を出し入れする際、カメラユニット1000に接触することが防止される。
 また、カメラユニット1000全体が凹部1020に収容されているため、ユーザが手を触れる可能性が小さくなり、レンズ1015が汚れるおそれを低減することができる。
 また、カメラユニット1000は、その位置が上記した具体例1よりも庫外側、つまり、冷蔵庫1の前方側にずれている。このため、冷蔵室3内をより大きい視野で撮像することができる。
 この場合、凹部1020の開口側に、例えば内板14と面一となる位置に、例えばアクリル等の透明なカバー部材等を設けてもよい。これにより、レンズ1015等へ汚れが付着することや、凹部1020にほこり等が溜まること等を防止することができる。
  <具体例3>
 具体例3の場合、カメラユニット1000は、図49に示すように、右扉3bの内板14内に配置されている。なお、具体例3も、カメラユニット1000は縦向きに取り付けられている。この場合、カメラユニット1000は、そのレンズ面だけが冷蔵室3側に露出した状態となっている。このため、具体例2と同様に、ドアポケット10bにペットボトル等を出し入れする際にカメラユニット1000が邪魔になることが防止される。
 これら具体例1~3のようにカメラユニット1000を取り付けることで、図50(A)に示すようにユーザが冷蔵庫1を使用する際の視点と同様に冷蔵庫1の正面側から庫内を撮像することができ、家電ネットワークシステム100を介して通信端末103等にて撮像した画像を表示することで、遠隔地から庫内を確認することができる。
  <具体例4>
 具体例4の場合、カメラユニット1000は、左扉3aに設けられている縦仕切り17(図44参照)に取り付けられている。この縦仕切りは、図51(A)、(B)に示すように、左扉3aのヒンジ部3dと反対側の端部に設けられており、回動機構17aによって、図51(A)に示すように扉3aが開放されている状態と図51(B)に示すように扉3aが閉鎖されている状態とでその向きが変化する。この縦仕切りは、観音開きの扉(いわゆるフレンチドア)の左右方向のほぼ中央、つまりは、冷蔵室3のほぼ中央部に位置している。そして、左扉3aと右扉3bとが閉鎖された状態では、図52(A)に示すように、ガスケット1030によって庫内と庫外とが封止されている。
 カメラユニット1000は、図52(A)、(B)に示すように、断熱材1031が充填されている縦仕切り17の内部において、取り付け板1032に縦向きに取り付けられている。このカメラユニット1000は、縦仕切り17の上下方向の略中央に配置されている。このため、具体例4においても、カメラユニット1000は、冷蔵室3の上下方向および左右方向のほぼ中央から庫内を撮像可能となっている。そして、上記したように縦仕切り17が回動することから、左扉3aが開放された状態では、図51(A)に示すように、カメラユニット1000が左扉3aと平行となるように、且つ、開放された側と反対側となる。これにより、左扉3aが開放されたとき、ユーザがカメラユニット1000のレンズ面に触れることが防止されている。
 そして、左扉3aが閉鎖された状態では、図51(B)に示すように、カメラユニット1000が庫内側を向くので、図53に示すように、正面側且つほぼ中央付近から庫内を撮像することができる。この場合、ドアポケット9aがカメラユニット1000の視野を遮るようであれば、ドアポケット9bと同様の切り欠き部をドアポケット9aに設けてもよい。
 このような具体例4の場合でも、上記した具体例1~3と同様に、図50(A)に示したように庫内を撮像することができる。
  <具体例5>
 具体例5の場合、図54に示すように、カメラユニット1000は、冷蔵室3の側壁3cに設けられている凹部1040に取り付けられている。具体例5の場合、カメラユニット1000は、左右の側壁3cにそれぞれ取り付けられている。なお、一方の側壁3cにのみカメラユニット1000を取り付ける構成であってもよい。
 凹部1040は、側壁3cにおいて前方側つまり扉側に設けられており、カメラユニット1000を取り付けるための取り付け面1041が、側壁3cに対して傾斜した形状に形成されている。具体例5の場合、凹部1040は、断面視にて略三角形に形成されている。これにより、カメラユニット1000を取り付けた際、その視野が冷蔵室3のほぼ中央を向くようになる。
 そして、具体例5では左右の2方向から庫内を撮像するため、一方のカメラユニット1000では食材等により遮られた部分を、他方のカメラユニット1000から撮像することができる。これにより、食材等に邪魔されること無く庫内全体を撮像できるようになり、庫内をより詳細に確認することができる。また、2方向から撮像した画像を合成して立体画像を生成することで、庫内を立体的に表示させることもできる。
 また、側壁3cにカメラユニット1000を取り付けていることから、有線式のカメラユニット1000において、側壁3cを利用して接続ケーブル1004を配線することが可能となり、例えば冷蔵庫1の背面側に設けられている主制御部30(図4参照)まで容易に配線処理することができる。
  <具体例6>
 具体例6では、図55(A)に示すように、カメラユニット1000に照明手段としてのLEDライト1050が設けられている。このカメラユニット1000は、前面側が、少なくともLEDライト1050に対応する位置が透明となった保護カバー1051によって覆われている。また、カメラユニット1000は、具体例1~5のカメラユニット1000と同様に、カメラケース1001内がポッティング材1017によりポッティングされている。
 このカメラユニット1000は、本実施形態ではその前面に設けられている保護カバー1051と取付面1060とが面一となるように配置されている。この取付面1060は、例えば扉の内板14、縦仕切り17、側壁3c等に相当する。この状態において、レンズユニット1013の最前面は、取付面1060よりも前方に位置している。
 LEDライト1050は、図55(B)に示すように、カメラケース1001内において、撮像素子1010(図55参照)とは前後方向に異なる位置に配置されている。具体的には、LEDライト1050は、撮像素子1010よりも前方に配置されている。本実施形態の場合、基板1012に撮像素子1010を実装し、それよりも前方に配置されたLED基板1052にLEDライト1050を実行することで、その位置を異ならせている。
 このLEDライト1050は、カメラユニット1000の前面に近い位置に配置されており、LEDライト1050から照射された光がカメラケース1001内においてレンズユニット1013や撮像素子1010に直接的に入射することが防止されている。また、LEDライト1050は、前方に向かって拡大した開口壁1053に囲まれているとともに、レンズユニット1013の前面よりも後方に位置している。そして、レンズユニット1013の最前面が取付面1060よりも前方に位置していることから、LEDの前面を保護している保護カバー1051に光が反射したとしても、その光がレンズユニット1013に直接的に入射することがない。
 このような構成のカメラユニット1000は、具体例1~5で例示した位置に取り付けることで、庫内照明13等を点灯しなくてもLEDライト1050を点灯させることで庫内を撮像できる。
 なお、カメラユニット1000は、保護カバー1051が取付面1060よりも内側(後方)に位置するように配置されていてもよい。その場合、レンズユニット1013の最前面が取付面1060と面一となるように配置してもよいし、取付面1060よりも内側に位置するように配置してもよい。また、レンズユニット1013の最前面が保護カバー1051と面一となるように、カメラユニット1000内におけるレンズユニット1013の位置を調整してもよい。つまり、レンズユニット1013の本体部の先端が保護カバー1051と面一となるようにしてもよい。そのような配置にすれば、カメラユニット1000を例えば冷蔵室3の側壁3cや扉の内板14等に取り付ける際、庫内側に突出することがなく、食材の出し入れの邪魔になったりすることを防止できる。また、その場合には、取付面1060にカメラケース1001と同じ大きさの開口を設けてもよいし、レンズユニット1013とLEDライト1050に対応した丸穴の開口を設けてもよい。また、カメラケース1001を取付面1060よりも突出させ、結露によって水滴等が取付面1060をしたたり落ちた際に、その水がレンズ面に流れないようにしてもよい。
   (第7実施形態)
 以下、第7実施形態について、図56から図64を参照しながら説明する。第7実施形態では、撮像手段は、冷凍温度帯の庫内を撮像する。なお、第1実施形態と共通する部位には同一の符号を付し、その詳細な説明は省略する。
 本実施形態の場合、図56に示すように、冷蔵庫1の基本的な構成は第一実施形態と実質的に共通しており、冷蔵庫1の背面側に設けられている主制御部30によって制御されている。この主制御部30は、図57に簡略化して示すように、冷蔵室温度センサ1100、冷凍室温度センサ1101、冷蔵室扉スイッチ1102、冷凍室扉スイッチ1103、周囲温度センサ1104、および外部と通信するための通信部1105を備えている。なお、図57にはセンサおよびスイッチを1つずつ示しているが、冷蔵室3、野菜室4、製氷室5、上部冷凍室6および下部冷凍室7にそれぞれセンサおよびスイッチが設けられている。この主制御部30は、有線または無線の通信方式にて、撮像手段としてのカメラユニット1110に接続されている。なお、後述する具体例1~3では有線通信方式、具体例4では無線通信方式を採用している。
 カメラユニット1110は、カメラ制御部1111、および、カメラ制御部1111に接続されている撮像部1112、カメラ温度センサ1113およびLEDライト1114を備えている。撮像部1112は、CCDセンサやCMOSセンサ等の撮像素子やレンズ等を備えており、カメラ制御部1111からの指示に基づいて庫内を撮像する。このとき、カメラユニット1110は、LEDライト1114を点灯することで撮像時の光量を確保する。カメラ温度センサ1113は、カメラユニット1110の温度を検知する。なお、このカメラユニット1110も、第6実施形態のカメラユニット1000と同様に、防水構造あるいは防滴構造となっているとともに、広角での撮像が可能となっている。なお、第6実施形態の具体例6に示したカメラユニット1000と同じものを採用してもよい。
 このような構成の冷蔵庫1は、通信部1105により、カメラユニット1110にて撮影した画像を外部のサーバ104等に送信する。このとき、外部から通信端末103などを用いてサーバ104にアクセスすることで、外出先等の遠隔地から冷蔵庫1内を確認することができる。なお、冷蔵庫1本体にディスプレイを設け、扉を開けることなく冷凍温度帯の貯蔵庫内を確認可能なシステム構成としてもよい。
 本実施形態の場合、カメラユニット1110は、以下に説明する各具体例のように冷凍温度帯の庫内を撮像可能な位置に取り付けられている。
  <具体例1>
 具体例1の場合、カメラユニット1110は、図56に示す取り付け位置Aに取り付けられている。より詳細には、図58に示すように、カメラユニット1110は、冷凍温度帯の貯蔵庫を仕切る仕切り板1120の前面から突出する状態で取り付けられている。なお、図58では、扉の図示を省略している。このカメラユニット1110は、その視野がやや下向きとなるように仕切り板1120に取り付けられている。また、カメラユニット1110は、上部冷凍室6の扉6aと下部冷凍室7の扉7aとの間に位置するように、また、製氷室5と上部冷凍室6とを仕切る垂直仕切り板1121の下方に取り付けられている。このため、カメラユニット1110が突出していたとしても、扉5a、扉6aあるいは扉7aに設けられているガスケット(図示省略)と接触することがない。
 仕切り板1120には、図59に示すように、放熱パイプ1122が予め埋め込まれている、この放熱パイプ1122は、仕切り板1120の結露を防止するために設けられており、通電により放熱する。そして、カメラユニット1110は、この放熱パイプ1122に挟まれた状態で仕切り板1120の前面に取り付けられている。このため、放熱パイプ1122からの放熱によりカメラユニット1110の近傍、より具体的には、レンズ面の近傍の温度を上昇させることができる。つまり、放熱パイプ1122は、撮像手段を加熱する加熱手段として機能する。これにより、冷凍温度帯近傍に取り付けられることで霜がついたり結露したりする可能性があるカメラユニット1110に対して、レンズの近傍の温度を上昇させることで霜つきや結露を防止すること、および、発生した霜や結露を除去することができる。
 なお、放熱パイプ1122の代わりに通電により発熱するヒータをレンズの近傍に配置する構成としてもよい。その際、レンズ近傍にカメラ温度センサ1113を配置することで、温度を監視しながら必要に応じてヒータを通電し、霜取りしてから撮像するようにしてもよい。もちろん、カメラ温度センサ1113で検知した温度に基づいて放熱パイプ1122の動作状態を変更して霜取りする構成としてもよい。これらにより、鮮明な画像を撮像することができる。
 このような構成のカメラユニット1110は、下部冷凍室7の扉7aが開放されたことが冷凍室扉センサにより検知された際、主制御部30からの指示によって庫内を撮影する。つまり、カメラユニット1110は、扉が開閉されて食材等の出し入れが行われた可能性のあるとき、撮像する。このとき、カメラユニット1110は若干下方に向けて取り付けられているので、図60に示すように、下部冷凍室7の扉7aが開放されたとき、収納ケース7b内を撮像することができる。また、例えば複数回撮像することにより、収納ケース7bが引き出されるのに応じて引き出されるスライドケース7c内を撮像することもできる。
 また、仕切り板1120の前面から突出しているので、仮に垂直仕切り板1121が結露したとしても、水滴がカメラユニット1110のレンズ面に付着することが防止されている。
 このようなカメラユニット1110により、冷凍温度帯の貯蔵庫内を撮像することができる。
  <具体例2>
 具体例2の場合、カメラユニット1110は、図61(A)、(B)に示すように、仕切り板1120の前面側に設けられている凹部1130に収容された状態で、仕切り板1120の前面から突出しないように取り付けられている。このため、レンズ面の直ぐ近傍に放熱パイプ1122が配置された状態となり、レンズ面をより容易に加熱することができ、霜つきや結露を効果的に防止することができるとともに、仮に結露したとしても迅速に除去することができる。
 また、カメラユニット1110は、垂直仕切り板1121とは異なる位置に配置されているため、仮に結露した際に水滴が縦仕切りに沿って滴下したとしても、その水滴がレンズ面に付着することはない。
  <具体例3>
 具体例3では、カメラユニット1110は、図56に示す取り付け位置Bに取り付けられている。より詳細には、カメラユニット1110は、図62(A)に示すように、仕切り板1120の下面側に取り付けられている。つまり、カメラユニット1110は、貯蔵庫内に設置されている。また、カメラユニット1110は、図62(B)に示すように、仕切り板1120の内部に取り付けられている。
 このため、扉7aを引き出したり、食材等を出し入れしたりする際に、カメラユニット1110が邪魔になることがない。なお、仕切り板1120の内部ではなく、仕切り板1120に凹部1130を設け、その凹部1130にカメラユニット1110を収容する構成としてもよい。このカメラユニット1110の周囲にはヒータ1115が配置されており、レンズ面の近傍の温度を上昇させることができ、霜を除去した後に撮影することができる。
 また、具体例3でもカメラユニット1110は広角での撮像が可能となっており、閉扉状態ではスライドケース7cを撮像でき、開扉状態では収納ケース7b内およびスライドケース7cを撮像することができる。また、収納ケース7b内およびスライドケース7cを撮像することができる。つまり、具体例3の取り付け位置であれば、扉7aが開放されていない状態であっても庫内を撮像することができるとともに、上記した第1実施形態等で示したような通信端末103側からの指示によっても庫内を撮像することができる。なお、LEDライト1114が設けられているため、閉扉時にも撮像することができる。
 また、開扉時および閉扉時の双方で収納ケース7bとスライドケース7cの両方を撮像可能なことから、食材の貯蔵状態の変化を検知することができる等、単に庫内を確認するためだけで無く、食材の管理等にも応用することができる。
 また、広角のレンズ系を備えていることから、比較的近い位置からであっても収納ケース7bやスライドケース7cの全体を撮像することができる。
  <具体例4>
 具体例4では、カメラユニット1110は、図56に示す取り付け位置Cに取り付けられている。より詳細には、カメラユニット1110は、図63に示すように、冷蔵温度帯との貯蔵庫と冷凍温度帯の貯蔵庫との間、つまり、冷蔵室3と上部冷凍室6との間を仕切る断熱仕切り板1140の下面側に設けられている。換言すると、カメラユニット1110は、冷凍温度帯の貯蔵庫の天面に、下向きつまり庫内を撮像可能な向きに設けられている。また、カメラユニット1110は、広角で撮像することで、庫内のほぼ中央を撮像可能に設けられている。
 このカメラユニット1110は、LEDライト1114が設けられているため閉扉時にも撮像することができるが、具体例3と同様に、上部冷凍室6の扉6aが開放されたことが冷凍室扉スイッチ1103により検知されたときに庫内を撮影することもできる。また、レンズの近傍にカメラ温度センサ1113およびヒータを配置することで、レンズの近傍の温度を上昇させ、霜を除去した後に撮影することができる。
  <具体例5>
 具体例5のカメラユニット1200は、図64に示すように、カメラユニット1200内に通信部1201およびバッテリ1202を内蔵している。この通信部1201は、冷蔵庫1あるいはルータ101(図1参照)等と無線通信を行うことで、撮像した画像を外部に送信する。また、カメラユニット1200は、LEDライト1203、電源ボタン1204、設定ボタン1205が設けられており、単体で庫内を撮像可能となっている。このような構成とすることにより、配線ケーブル等をすることなく、設置場所をユーザが自由に設定できる。
 また、カメラユニット1200には、図示は省略するが、レンズの近傍に温度センサおよびヒータが設けられており、レンズの近傍の温度を上昇させ、霜を除去した後に撮影することができる。
 なお、このカメラユニット1200により庫内を撮像するタイミングは、冷蔵庫1と通信を行うことで冷蔵庫1側から撮像指示を受けてもよいし、上記した第1実施形態のようにカメラユニット1200内に照度センサを設け、庫内照明を点灯したことや扉が開放されて外部の光を検知したとき等に撮像するようにしてもよい。
   (その他の実施形態)
 本発明は、上記した実施形態にて例示したものに限定されることなく、次のように変形又は拡張することができる。また、上記した実施形態で例示したものおよび以下に示す変形例および拡張例で例示するものは、その一部または全部を任意に組み合わせることができる。
 第1実施形態では右扉3bに撮像カメラを設けた構成を例示したが、図26に示すように左扉3aに設けられている縦仕切り17に撮像カメラ18を設けてもよい。この縦仕切り17は、左扉3aの開閉状態に応じて回動するため、図26(a)に示すように左扉3aが閉鎖された状態では撮像カメラ18が庫内に向けられて庫内の画像を撮像することができる。一方、図26(b)に示すように左扉3aが開放された状態では、撮像カメラ18が内板側に向くので、ユーザが撮像カメラ18に触れることがなく、レンズ面の汚れを防止することができる。
 第1実施形態では撮像カメラ18および撮像ライト19を1つ設けた構成を例示したが、図27に示すように、複数の撮像手段(上部撮像カメラ60、下部撮像カメラ62、ドア撮像カメラ64)や、複数の照明手段(上部撮像ライト61、下部撮像ライト63)を設けてもよい。この場合、上部撮像カメラ60にて庫内の上部側を撮像し、下部撮像カメラ62にて庫内の下部側を撮像してもよい。すなわち、庫内の特定の位置を撮像する撮像手段を複数設けてもよい。この場合、それぞれの画像を合成すれば、例えば図7に示したような1枚の庫内画像を生成することができる。
 また、例えば庫内の上部側や下部側等の特定の位置を撮像できればよいので、広角レンズを採用しなくても庫内の全域を撮像することができる。また、1つの撮像カメラ18で広角に撮像する場合に比べれば上部撮像カメラ60や下部撮像カメラ62の視野を小さくできるので、換言すると、第1実施形態のようにドアポケット9bに切り欠き部9b1を設けなくても視野が遮られる可能性が小さくなるので、ドアポケットの収納量を維持したまま庫内を撮像することもできる。
 また、上部撮像カメラ60で撮像する場合には上部撮像ライト61を点灯し、下部撮像カメラ62で撮像する場合には下部撮像ライト63を点灯する等、撮像する位置に応じて適切な照明手段を点灯することで、撮像環境を制御するようにしてもよい。なお、上部側と下部側だけでなく、例えば棚板11ごとに撮像手段を設けてもよい。
 また、例えば庫内の上部側を撮像する際には天井ライト13の照度を低く、庫内の下部側を撮像する際には天井ライト13の照度を通常の状態となるように制御し、複数の画像を合成して1枚の庫内画像を生成してもよい。すなわち、撮像ライト19等は、必ずしも撮像専用のものを設ける必要は無い。
 第1実施形態では撮像ライト19を点灯することで撮像環境を制御したが、例えば天井ライト13や側面ライト36の照度を低くする等で撮像カメラ18に対する逆光が弱くなるように撮像環境を制御してもよい。
 また、ドア撮像カメラ64によりドアポケット側を撮像し、庫内画像と併せて図28に示すように冷蔵庫1の扉を開放した様子を示す合成画像を生成し、通信端末103にて表示するようにしてもよい。この場合、庫内にドア撮像カメラ64を設けてドアポケット側を撮像するようにしもてよいし、扉の内板14にそれぞれドア撮像カメラ64を設け、扉が解放された後のタイミングで他の扉のドアポケットをそれぞれ撮像し、扉が閉鎖された後のタイミングで画像を撮像し、複数の画像を合成して1枚の庫内画像を生成するようにしてもよい。
 各実施形態では、撮像した画像をサーバ104に記憶する構成を例示したが、通信端末103に直接送信する構成としてもよい。
 各実施形態では撮像した画像をそのままサーバ104に送信したが、広角レンズを用いたことにより生じる画像の歪みを補正した画像をサーバ104に送信してもよい。この場合、サーバ104にて画像の歪みを補正するようにしてもよい。
 各実施形態では、通信端末103から庫内を撮像するための指令を受け付けたタイミングで庫内を撮像する例を示したが、遅延撮像時間が経過した後の画像を最新の画像として撮像していれば、指令を受け付けた場合であっても庫内を撮像しない構成としてもよい。つまり、遅延撮像時間が経過した後の画像は冷蔵庫1の扉が閉鎖された後の最新の画像であることから、遅延撮像時間が経過した後の画像が撮像されている状態は、撮像時以降に扉が開放されていない状態(貯蔵状態が変化していない状態)であると言える。そのため、遅延撮像時間が経過した後の画像が最新の画像であれば、撮像しないことで無用な電力の消費を防ぐことができる。この場合、通信端末103がサーバ104から画像を取得する際に、最新の画像である旨を通知する構成としてもよい。
 第1実施形態では主制御部30とは別に制御部50を設けているが、主制御部30にて撮像カメラ18の制御等を行う構成としてもよい。これにより、部品点数を削減でき、コストを低減することができる。この場合、実施形態のように撮像した画像をそのままサーバ104に送信する構成とすれば、画像処理のような負荷の掛かる処理が不要であるため、主制御部30だけでも対応することができる。
 第1実施形態では撮像カメラ18側に通信手段を設けたが、第2実施形態のように冷蔵庫1側に通信手段を設け、撮像カメラ18側は冷蔵庫1側の通信手段との間で通信を行う構成としてもよい。この場合、冷蔵庫1側に設ける通信手段は、冷蔵庫1の主制御部30に設ける構成としてもよいが、第2実施形態の図25に示す通信装置501のように着脱可能(オプション品)な構成としてもよい。
 第1実施形態では貯蔵庫として冷蔵室3を例示したが、第2実施形態のように例えば野菜室4等の他の貯蔵庫を撮像するようにしてもよい。
 第1実施形態では撮像カメラ18を予め冷蔵庫1に設けた構成を示したが、撮像カメラ18は、冷蔵庫1から着脱可能な構成としてもよい。具体的には、冷蔵庫1を購入したユーザが、購入後に撮像カメラ18を取り付けることができる構成としてもよい。つまり、第2実施形態のカメラ装置300のように、撮像カメラ18を着脱可能とする構成としてもよい。
 この場合、撮像カメラ18と撮像ライト19とを一体にユニットケースに収納し、冷蔵庫1から着脱可能としてもよい。また、制御部50や通信部52をカメラ装置に一体に設けてもよいし、さらにレンズヒータ51も一体に設けてもよい。あるいは、制御部50や通信部52は冷蔵庫1に予め設けておき、制御部50や通信部52等と通信するための別の通信手段をカメラ装置側に設けてもよい。すなわち、カメラ装置は、少なくとも撮像カメラ18を備えていれば、どの様な構成としてもよい。
 このカメラ装置と冷蔵庫1との間は、有線方式にて接続するようにしてもよいし、無線方式にて接続するようにしてもよい。この場合、カメラ装置に対する電源も無線給電方式としてもよい。
 また、カメラ装置を着脱可能な構成とする場合、冷蔵庫1のドアポケット8~10、内板14、縦仕切り17あるいは棚板等に被取り付け部を設け、被取り付け部に取り付けるための取り付け部をカメラ装置に設けることで、着脱可能とすることができる。具体的には、取り付け部と被取り付け部とが係合する構成としてもよいし、カメラ装置にクリップを設け、異なる厚みのドアポケットを挟み込むような構成(つまり、任意の位置に撮像手段を取り付け可能な構成)としてもよい。
 また、無線方式を採用する場合には、図29に示すように、例えば冷蔵庫1の扉の内板14に、カメラ装置300を取り付ける位置を示す目印となる窪み600を設け、カメラ装置300側に取り付け用の磁石601を設けてもよい。例えば右扉3b等の扉はその内部に金属製の鉄板602が設けられた構造となっているため、磁力によってカメラ装置300を取り付けることができるためである。この窪み600には、磁力以外の取り付け構造(例えば保持構造や係合構造)を設けてもよい。また、第2実施形態の磁石206のような検知用の磁石603を設けてもよい。この場合、なお、扉側に磁石を設け、カメラ装置300側に金属部を設ける構成としてもよい。
 また、任意の位置にカメラ装置を取り付け可能な場合には、棚板やドアポケット等によって視野が遮られる可能性が小さい部位など、庫内を適切に撮像できる位置に取り付け位置を示す目印を設けてもよい。なお、カメラ装置を取り付ける位置が予め指定されている場合であっても、取り付け時にユーザが迷わないように目印を設けておいてもよい。
 また、ドアポケットにカメラ装置を収納するための専用の部位を形成しておき、その部位にカメラ装置を収納するようにしてもよい。
 冷蔵庫1の庫内の特定の場所に、カメラ装置の有無を検出するICチップ等の検知手段を設け、カメラ装置の有無に応じて例えば通信部52の動作を許可する構成としてもよい。この場合、特定の場所は、少なくとも冷蔵庫1の庫内を含んでいる。なお、操作パネル33からカメラ装置を取り付けたこと入力する構成としてもよい。
 また、冷蔵庫1にカメラ装置を識別するための識別手段を設け、特定のカメラ装置であると認識した場合のみカメラ装置の動作(通信部52等の動作も含む)を許可する構成としてもよい。これにより、信頼性のあるカメラ装置(例えばメーカ純正品や動作確認済みのカメラ装置)のみを作動させることができる。また、第2実施形態のように、既存の庫内照明を撮像タイミングの通知手段として用いることができ、追加部品等が不要となり、コストの低減を図ることもできる。
 また、カメラ装置側にその冷蔵庫1が動作対象であるか否かを検知する検知手段を設け、冷蔵庫1側に検知手段に検知させるための被検知手段を設けるとよい。これら検知手段および被検知手段は、例えばコネクタの形状が適合する等の物理的な手法により構成してもよいし、識別情報をやり取りする等の手法により構成してもよい。
 また、例えばカメラ装置300と通信を行うことで、そのカメラ装置300が冷蔵庫1用のものであるか否かを識別する構成としてもよい。この場合、冷蔵庫1の通信装置501が識別手段として機能し、通信モジュール306が、カメラ装置300が冷蔵庫1用のものであることを当該冷蔵庫1に識別させるための被識別手段として機能することになる。
 また、識別手段や被識別手段を、上記した検知手段や被検知手段と兼用してもよい。すなわち、例えばカメラ装置300が保持部202に収納可能であれば、そのカメラ装置300は、当該冷蔵庫1用のものであると識別することもできる。この場合、カメラ装置300にて保持部202に設けられている磁石206の極性を検出し、その結果を冷蔵庫1側に通知することで、カメラ装置300が保持部202に収容されたかを判定したり、冷蔵庫1側で庫内照明を点滅させ、それに対してカメラ装置300側から何らかの応答を返すようにしておくこと等により、識別することができるようになる。
 また冷蔵庫1の内板14にドアポケットを取り付けるポケット取り付け部を設け、ドアポケット9b(第2実施形態のドアポケット200も同様)そのものを着脱可能としてもよい。つまり、カメラ装置を着脱可能とする場合、カメラ装置を利用しないユーザはドアポケット8のような幅広なドアポケットを取り付けて収納量を増やすことができ、カメラ装置を利用するユーザは、幅狭になるもののドアポケット9b(あるはドアポケット200)を取り付けることで、カメラ装置の視野を遮ること無く、庫内を撮像させることができる。
 また、ポケット取り付け部に図3にて撮像カメラ18が取り付けられている部位を覆う幅広な(つまり、右扉3bの幅とほぼ等しい)ドアポケット(あるいは、ドアポケット9bの切り欠き部9b1を補う形状のドアポケット)を取り付け可能とし、カメラ装置を利用しない場合にはカメラ装置の取り付け部がドアポケットにより覆われる構成とすることで、ユーザが誤って取り付け部に触れてしまうこと等を防止できる。
 第2実施形態の制御部309による撮像タイミングの制御は、冷蔵庫1との間で通信を行って扉の開閉状態を取得することにより、第1実施形態と同様に撮像条件1~4等を判定する構成としてもよい。この場合、照度センサ313によるタイミングの検出と撮像条件1~4との双方を採用する構成としてもよいし、いずれか一方を採用する構成としてもよい。具体的には、第2実施形態ではユーザが扉を開放した場合には撮像しない構成としたが、庫内照明が連続点灯した時点を扉が開放された時点と判定し、その後、庫内照明が消灯した時点を扉が閉鎖された時点と判定し、庫内照明が消灯した時点で撮像することで、撮像条件1を判定することが可能となる。また、通信モジュール306を利用して、冷蔵庫1の主制御部30から通信により扉の開閉状態を取得する構成とすれば、撮像条件1~4を採用することができる。
 第2実施形態のカメラ装置300に、結露を除去するための除去手段を設けてもよい。
 第2実施形態の所定期間を、温度や湿度に基づいて結露が除去される期間(あるいは少なくともそれ以上の期間)に設定してもよい。勿論、例えば2時間等の固定期間を設定してもよい。
 第2実施形態のカメラ装置300には撮像ランプ302を設けない構成としてもよい。例えば、冷蔵室3であれば天井ライト13等が設けられているので、それらの庫内照明を利用して撮像する構成としてもよい。この場合、通信モジュールを介して冷蔵庫1側に点灯命令を送信すること等が考えられる。また、撮像時に、撮像ランプ302と庫内照明とを利用する構成としてもよい。
 各実施形態では庫内を撮像する例を示したが、例えば庫内に設けられている閉鎖空間部(例えば、蓋や引き出し構造で閉鎖あるいは覆われている卵室やチルド室の特定目的室12、密閉された状態となる低気圧保存室等が考えられる)の構造の一部に透明部材を用いて窓部を形成し、その窓部から閉鎖空間部の内部を撮像する構成としてもよい。
 カメラ装置300に対して冷蔵庫1側から有線あるは無線による給電を行ってもよい。これにより、電池切れ等が無くなり、利便性を向上させることができる。この場合、冷蔵庫1は基本的に常時給電されていることから、カメラ装置300に給電するための給電回路等を設けても、冷蔵庫1の運転に異常をきたすことは無いと考えられる。この場合、カメラ装置300のように冷蔵庫1からの着脱が可能な構成とすることで、不要な電力供給が行われることも防止できる。
 第2実施形態では、2箇所の保持部においてそれぞれカメラ装置300に対向する側の極性が異なるように磁石を配置したが、検知部307に対する相対的な位置関係が変化するように磁石を配置してもよい。この場合、磁石と近ければ磁気センサの出力が大きくなる一方、磁石から遠ければ出力が小さく(但し、磁界の正負は変わらない)なるので、3以上の保持部を設ける構成にも対応することができる。
 温度センサ310、磁気センサ311、加速度センサ312、照度センサ313は、必要なものを設ければよく、必ずしも全てのセンサを設ける必要は無い。例えば、磁気センサ311にてカメラの向きを検知する構成とすれば、加速度センサ312は必ずしも必須ではない。
 第3実施形態では扉が開放される際に撮像する例を示したが、勿論、第1、第2実施形態のように扉の閉鎖中に撮像するものと組み合わせてもよい。
 開度検知ブロックは、第3実施形態で例示したもの以外に、照度検知ブロックで検知した庫内の照度に基づいて開度を推定する構成としてもよい。また、撮像ブロックで撮像した画像を利用して、例えば庫内照明等の位置が固定されている目標物が画像のどの位置に写っているかに基づいて開度を推定する構成としてもよい。また、扉の振動を検知する振動検知手段を設け、振動を検知したときに扉が開放されたと判定する構成としてもよいし、第2実施形態のカメラ装置300のような加速度センサ312で回動状態や直線移動状態が検知されると、扉が開放されたと判定する構成としてもよい。
 照度検知ブロックは、開度検知ブロックで検知した開度に基づいて照度を推定する構成としてもよい。また、撮像ブロックで撮像した画像の輝度から照度を検知する構成としてもよい。
 第3実施形態では照明手段として庫内照明を例示したが、専用の撮像ライト19を設けてもよい。また、扉を開放した際の外部からの光(冷蔵庫が設置されている室内照明や太陽光)も照明手段に含まれる。さらには、撮像ブロックを扉ではなく庫内に設置し、扉が開放された際に撮像するようにしてもよい。
 扉が開放されると、冷えていたレンズが暖かい外気に触れること曇りや結露が生じることがある。そんため、庫内を撮像できる状態を、扉の回転角度の代わりにレンズが結露しない程度の時間等で設定する構成としてもよい。この場合、庫内温度と外気温とを加味することで、その時間を推測する構成としてもよい。
 また、結露を除去するための除去手段を設けてもよい。例えば、収納量推定手段により推定された収納物の収納量が所定の基準収納量を超えたとき、貯蔵庫内の水分が増加していると予想されることから、空気を循環させる循環ファンを、通常時よりも循環量が高くなる状態で駆動することが考えられる。
 また、撮像手段の近傍に、熱を発する発熱手段を設けてもよい。この場合、発熱手段としては、ヒータ等であってもよいし、マイクロコンピュータ等の発熱部品であってもよい。
 第3実施形態では庫内照明を照明ブロックに採用したが、専用の撮像ライトを設け、図31(B)のように光量が少ないと想定される場合や、省エネモードにある場合等には、光量を補うために撮像ライトを点灯させてもよい。
 第3実施形態では開度が所定量未満である際に庫内照明を点灯する構成としたが、しなくてもよい。その場合、扉の開度が所定量未満である場合には撮像しないという選択肢もある。
 第4実施形態で例示した凹部を、第3実施形態に適用してもよい。
 「扉が開放されている状態」には、扉が閉鎖されるときも含まれている。
 本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
 図面中、1は冷蔵庫、3は冷蔵室(貯蔵庫)、3aは左扉(扉)、3bは右扉(扉)、3dは側壁、4は野菜室(貯蔵庫)、4a~7aは扉、5は製氷室(貯蔵庫)、6は上部冷凍室(貯蔵庫)、7は下部冷凍室(貯蔵庫)、8~10はドアポケット、9b1は切り欠き部、13は天井ライト(照明手段)、14は内板(被取り付け部)、17は縦仕切り、18は撮像カメラ(撮像手段)、19は撮像ライト(照明手段)、30は制御部(制御手段)、33bはスイッチ類(外出スイッチ)、33cは庫外センサ(庫外環境取得手段)、36は側面ライト(照明手段)、50は制御部(制御手段)、51はレンズヒータ(除去手段)、52は通信部(通信手段)、60は上部撮像カメラ(撮像手段)、61は上部撮像ライト(照明手段)、62は下部撮像カメラ(撮像手段)、63は下部撮像ライト(照明手段)、64はドア撮像カメラ(撮像手段)、100は家電ネットワークシステム、102は通信回線、103は通信端末(外部の装置)、104はサーバ(外部の装置)、200はドアポケット(冷蔵庫用ドアポケット、冷蔵庫用ホルダ)、202は保持部(被取り付け部)、206は磁石(被検知手段)、300はカメラ装置(撮像手段)、302は撮像ランプ(照明手段、カメラ側照明手段)、306は通信モジュール(通信手段、カメラ側通信手段、被識別手段)、307は検知部(検知手段)、308は撮像部(撮像手段)、310は温度センサ、311は磁気センサ、312は加速度センサ、313は照度センサ、400は冷蔵庫用ホルダ、401は保持部、405は磁石(被検知手段)、500は家電ネットワークシステム、501は通信装置(通信手段、庫側通信手段、識別手段)、700は冷蔵庫、701は制御ブロック(制御手段)、702は撮像ブロック(撮像手段)、703は照明ブロック(照明手段)、704は開検知ブロック(扉開検知手段)、705は開度検知ブロック(開度検知手段)、706は照度検知ブロック(照度検知手段)、707は通信ブロック(通信手段)、708は収納量推定部(収納量推定手段)、710は扉(回動式の扉)、720はペットボトル(収納物)、723は卵(収納物)、800は冷蔵庫、801は左扉(回動式の扉)、802は右扉(回動式の扉)、810は冷蔵庫、811は左扉(回動式の扉)、812は右扉(回動式の扉)、814A~Eは貯蔵庫(独立した貯蔵庫)、815は棚板、816は収納容器、900は冷蔵庫、902は扉(引き出し式の扉)、904は貯蔵庫(引き出し式の貯蔵庫)、905は仕切り板、906は扉(引き出し式の扉)、910は扉、930は貯蔵庫、932は扉、933は仕切り板、1000はカメラユニット(撮像手段)、1001はカメラケース(保護ケース)、1003はカメラモジュール(撮像モジュール)、1010は撮像素子、1011は回路部品、1012は基板、1013はレンズユニット、1017はポッティング材、1018はOリング、1050はLEDライト(照明手段)、1105は通信部(通信手段)、1110はカメラユニット(撮像手段)、1113はカメラ温度センサ(温度検知手段)、1114はLEDライト(照明手段)、1115はヒータ(加熱手段、除去手段)、1120は仕切り板、1122は放熱パイプ(加熱手段、除去手段)、1140は断熱仕切り板(仕切り板)、1200はカメラユニット(撮像手段)、1201は通信部(通信手段)、1203はLEDライト(照明手段)を示す。

Claims (93)

  1.  庫内を撮像するための撮像手段と、
     前記撮像手段で撮像した庫内の画像情報を外部の装置に送信するための通信手段と、
     を備えたことを特徴とする冷蔵庫。
  2.  前記撮像手段を取り付けるための被取り付け部をさらに備え、
     前記通信手段は、前記被取り付け部に取り付けられた前記撮像手段によって撮像された庫内の画像情報を外部の装置に送信することを特徴とする請求項1記載の冷蔵庫。
  3.  前記撮像手段を設置する位置を示す目印が設けられていることを特徴とする請求項1または2記載の冷蔵庫。
  4.  前記撮像手段に対して、該冷蔵庫が、当該撮像手段による撮像した画像を外部の装置へ送信可能な通信手段を有する動作対象であることを検知させるための被検知手段をさらに備えることを特徴とする請求項1から3のいずれか一項記載の冷蔵庫。
  5.  前記撮像手段が、該冷蔵庫用のものであるかを識別するための識別手段をさらに備えることを特徴とする請求項1から4のいずれか一項記載の冷蔵庫。
  6.  前記撮像手段により庫内を撮像するタイミングを制御する制御手段をさらに備えることを特徴とする請求項1から5のいずれか一項記載の冷蔵庫。
  7.  前記制御手段は、扉が閉鎖された後のタイミングで前記撮像手段により庫内を撮像することを特徴とする請求項6記載の冷蔵庫。
  8.  前記制御手段は、扉が閉鎖された後に所定期間が経過したタイミングで、前記撮像手段により庫内を撮像することを特徴とする請求項6または7記載の冷蔵庫。
  9.  庫外の環境を取得する庫外環境取得手段をさらに備え、
     前記制御手段は、前記庫外環境取得手段により取得した庫外の環境に基づいて前記所定期間を設定することを特徴とする請求項8記載の冷蔵庫。
  10.  前記撮像手段のレンズ面の結露を除去するための除去手段をさらに備え、
     前記制御手段は、前記除去手段によりレンズ面の結露を除去した後のタイミングで、前記撮像手段により庫内を撮像することを特徴とする請求項6から9のいずれか一項記載の冷蔵庫。
  11.  前記制御手段は、扉が閉鎖された後のタイミング、および、扉が解放された後のタイミングで前記撮像手段により庫内の画像をそれぞれ撮像し、撮像された複数の画像を合成して庫内の画像を生成することを特徴とする請求項6から10のいずれか一項記載の冷蔵庫。
  12.  前記通信手段は、庫内を撮像するための指令を外部の装置から受信可能であり、
     前記制御手段は、外部の装置からの前記指令に基づいたタイミングで庫内を撮像することを特徴とする請求項6から11のいずれか一項記載の冷蔵庫。
  13.  前記撮像手段は、該冷蔵庫に着脱可能なカメラ装置であり、
     前記通信手段は、該冷蔵庫に設けられ、庫内を撮像するための指令を外部の装置から受信するための庫側通信手段、および、前記カメラ装置に設けられ、画像情報を外部の装置に送信するためのカメラ側通信手段により構成されており、
     前記カメラ装置は、庫内を撮像するための指令を受信した該冷蔵庫側から撮像指示が報知されると庫内を撮像し、撮像した画像情報をカメラ側通信手段から外部の装置に対して送信することを特徴とする請求項1から11のいずれか一項記載の冷蔵庫。
  14.  前記制御手段は、外出時に冷蔵庫の運転状態を省電力モードに移行するための外出スイッチが操作された場合に前記撮像手段により庫内を撮像することを特徴とする請求項6から13のいずれか一項記載の冷蔵庫。
  15.  前記制御手段は、庫内を撮像するタイミングに合わせて、庫内を撮像するための撮像環境を整えるための制御をさらに実行することを特徴とする請求項6から14のいずれか一項記載の冷蔵庫。
  16.  前記制御手段は、前記撮像手段で庫内を撮像する際、照明手段を点灯することで前記撮像環境を整えることを特徴とする請求項15記載の冷蔵庫。
  17.  前記照明手段は、庫内に複数設けられており、
     前記制御手段は、複数の前記照明手段のうち、庫内の特定の位置を照らすための前記照明手段を点灯することで前記撮像環境を整えることを特徴とする請求項16記載の冷蔵庫。
  18.  前記制御手段は、前記撮像手段で庫内を撮像する際、当該撮像手段に対して対向する位置に配置されている前記照明手段の照度を制御することで前記撮像環境を整えることを特徴とする請求項16または17記載の冷蔵庫。
  19.  前記制御手段は、複数の前記照明手段のうち、前記撮像手段の対向位置外であって、且つ前記撮像手段の視野と同じ向きを照らすように設けられている前記照明手段を点灯することで前記撮像環境を整えることを特徴とする請求項16から18のいずれか一項記載の冷蔵庫。
  20.  前記制御手段は、庫内の特定の位置を照らすための前記照明手段を点灯するごとに前記撮像手段で庫内を撮像し、撮像した複数の画像を合成して庫内の画像を生成することを特徴とする請求項16から19のいずれか一項記載の冷蔵庫。
  21.  前記撮像手段は、複数設けられており、
     前記制御手段は、複数の前記撮像手段で撮像された画像を合成して庫内の画像を生成することを特徴とする請求項5から20のいずれか一項記載の冷蔵庫。
  22.  前記被取り付け部は、扉に設けられており、
     前記撮像手段は、扉に取り付けられることを特徴とする請求項1から21のいずれか一項記載の冷蔵庫。
  23.  前記撮像手段は、扉に設けられている縦仕切りに設けられていることを特徴とする請求項1から22のいずれか一項記載の冷蔵庫。
  24.  前記撮像手段は、扉の内板に設けられていることを特徴とする請求項1から23のいずれか一項記載の冷蔵庫。
  25.  前記撮像手段は、扉に設けられているドアポケットに隣接して設けられており、
     前記撮像手段に隣接するドアポケットは、庫内を撮像するための当該撮像手段の視野の外縁に沿った形状に形成されている、または、当該撮像手段の視野の外側に配置されていることを特徴とする請求項1から24のいずれか一項記載の冷蔵庫。
  26.  前記撮像手段は、扉に設けられているドアポケットの少なくとも一部を撮像可能な位置に設けられていることを特徴とする請求項1から25のいずれか一項記載の冷蔵庫。
  27.  前記撮像手段は、広角レンズを用いて庫内を撮像することを特徴とする請求項1から26のいずれか一項記載の冷蔵庫。
  28.  前記通信手段は、広角レンズを用いたことにより生じる画像の歪みを補正した画像情報を外部の装置に送信することを特徴とする請求項27記載の冷蔵庫。
  29.  前記画像の歪みの補正は、前記制御手段により行われるものであり、
     前記通信手段は、前記制御手段により補正された後の画像情報を送信することを特徴とする請求項28記載の冷蔵庫。
  30.  扉の前面は、非金属材料で形成されていることを特徴とする請求項1から29のいずれか一項記載の冷蔵庫。
  31.  冷蔵庫の庫内を撮像するためのカメラ装置であって、
     前記冷蔵庫の庫内を撮像するための撮像手段と、
     外部の装置と通信するためのカメラ側通信手段と、
     を備えたことを特徴とするカメラ装置。
  32.  前記冷蔵庫の庫内を照らすためのカメラ側照明手段をさらに備え、
     前記撮像手段により庫内を撮像する際、前記カメラ側照明手段を点灯することを特徴とする請求項31記載のカメラ装置。
  33.  前記冷蔵庫に前記撮像手段を取り付けるために設けられている被取り付け部に、前記撮像手段を取り付けるための取り付け部をさらに備えることを特徴とする請求項31または32記載のカメラ装置。
  34.  前記撮像手段が設けられた前記冷蔵庫が、当該撮像手段による撮像が許可された動作対象であるか否かを検知するための検知手段をさらに備えることを特徴とする請求項31から33のいずれか一項記載のカメラ装置。
  35.  前記冷蔵庫には、外部の装置と通信するための通信手段が設けられており、
     前記カメラ側通信手段は、前記通信手段を介して庫内の画像情報を外部の装置に送信するものであり、
     前記検知手段は、前記通信手段と通信することにより、前記冷蔵庫が当該撮像手段の動作対象であるか否かを検知することを特徴とする請求項34記載のカメラ装置。
  36.  前記通信手段は、無線通信方式により、前記冷蔵庫に設けられている前記通信手段と通信することを特徴とする請求項35記載のカメラ装置。
  37.  前記冷蔵庫には、前記撮像手段を設置する部位に対応して磁石が予め設けられており、
     磁気を検出するための磁気センサをさらに備え、
     前記検知手段は、前記冷蔵庫に設けられている前記磁石からの磁気を検出することにより、当該冷蔵庫が動作対象であるかを検知することを特徴とする請求項34から36のいずれか一項記載のカメラ装置。
  38.  前記被取り付け部は、前記冷蔵庫に複数設けられており、
     複数の前記被取り付け部には、前記磁石が、前記撮像手段に対向する側の極性が異なる状態、又は、前記撮像手段が取り付けられた際に当該撮像手段と当該磁石との位置関係が前記取り付け部によって異なる状態に配置されており、
     前記検知手段は、前記磁石の極性または位置関係に基づいて、前記撮像手段が設置された設置位置および/または設置された向きをさらに検知することを特徴とする請求項34から37のいずれか一項記載のカメラ装置。
  39.  前記撮像手段に加わる加速度を検出するための加速度センサをさらに備え、
     前記検知手段は、前記加速度センサで検出した加速度に基づいて、前記撮像手段が設置された向きを検知することを特徴とする請求項34から38のいずれか一項記載のカメラ装置。
  40.  前記撮像手段が設置された環境の温度を検出するための温度センサをさらに備え、
     前記検知手段は、前記温度センサで検出した温度に基づいて、前記撮像手段が前記冷蔵庫の庫内に設置されていること、および/または、いずれの貯蔵庫に設置されているかを検知することを特徴とする請求項34から39のいずれか一項記載のカメラ装置。
  41.  前記撮像手段が設置された環境の照度を検出するための照度センサをさらに備え、
     前記照度センサで検出した照度に基づいて、前記撮像手段による撮像タイミングを制御することを特徴とする請求項34から40のいずれか一項記載のカメラ装置。
  42.  該カメラ装置が前記冷蔵庫用のものであることを当該冷蔵庫に識別させるための被識別手段をさらに備えることを特徴とする請求項31から40のいずれか一項記載のカメラ装置。
  43.  冷蔵庫の扉に設けられる冷蔵庫用ドアポケットであって、
     前記冷蔵庫の庫内を撮像するための撮像手段を取り付けるための被取り付け部を備えることを特徴とする冷蔵庫用ドアポケット。
  44.  冷蔵庫の扉に設けられる冷蔵庫用ドアポケットであって、
     前記冷蔵庫の庫内を撮像するための撮像手段を取り付けるための被取り付け部を避ける形状に形成されていることを特徴とする冷蔵庫用ドアポケット。
  45.  冷蔵庫の扉に設けられる冷蔵庫用ドアポケットであって、
     前記冷蔵庫の庫内を撮像するための撮像手段の視野を妨げる部位に切り欠き部が設けられていることを特徴とする冷蔵庫用ドアポケット。
  46.  前記撮像手段は、磁気を検出するための磁気センサと、当該磁気センサで検出した磁気に基づいて自身の設置位置を検知する検知手段とを備えるものであり、
     前記被取り付け部には、前記磁気センサで検出する磁気を発生させる被検知手段としての磁石が設けられていることを特徴とする請求項43から45のいずれか一項記載の冷蔵庫用ドアポケット。
  47.  冷蔵庫の庫内に設けられ、庫内を撮像するための撮像手段を保持するための保持部を備えることを特徴とする冷蔵庫用ホルダ。
  48.  前記撮像手段は、磁気を検出するための磁気センサと、当該磁気センサで検出した磁気に基づいて自身の設置位置を検知する検知手段とを備えるものであり、
     前記保持部には、前記磁気センサで検出する磁気を発生させるための被検知手段として磁石が設けられていることを特徴とする請求項47記載の冷蔵庫用ホルダ。
  49.  前記保持部は、冷蔵庫の扉に設けられる冷蔵庫用ドアポケットと一体に形成されていることを特徴とする請求項47または48記載の冷蔵庫用ホルダ。
  50.  庫内を撮像するための撮像手段が設けられた冷蔵庫に通信回線を介して通信可能であり、前記通信回線を介して取得した前記冷蔵庫の庫内の画像情報を表示することを特徴とする通信端末。
  51.  物品を貯蔵する貯蔵庫の庫内を撮像するための撮像手段と、
     前記撮像手段に通信回線を介して通信可能であり、当該貯蔵庫の庫内の画像情報を取得する通信手段、および前記通信手段で取得した画像情報を記憶する記憶手段を有するサーバと、
     前記サーバに通信回線を介して通信可能であり、当該サーバに記憶されている庫内の画像情報を取得して表示する端末側表示手段を有する通信端末と、
     を備えたことを特徴とする家電ネットワークシステム。
  52.  前記貯蔵庫は、冷蔵庫であることを特徴とする請求項51記載の家電ネットワークシステム。
  53.  物品を貯蔵する貯蔵庫の庫内を撮像するための撮像手段に通信回線を介して通信可能である通信端末を制御する端末側制御手段に、
     前記撮像手段で撮像した前記貯蔵庫の庫内の画像情報を取得する画像取得処理と、
     前記画像取得処理で取得した画像情報を表示する表示処理と、
     庫内を撮像させるための指令を出力して前記撮像手段に庫内を撮像させる撮像処理と、
    を実行させることを特徴とする庫内画像表示プログラム。
  54.  前記撮像手段により、扉が開放されている状態で撮像することを特徴とする請求項1から30のいずれか一項記載の冷蔵庫。
  55.  扉の開放を検知する扉開検知手段をさらに備え、
     前記扉開検知手段により扉の開放が検知されると撮像することを特徴とする請求項54記載の冷蔵庫。
  56.  扉の開放中に撮像する際、該冷蔵庫の内部を照らすための照明手段を点灯することを特徴とする請求項54または55記載の冷蔵庫。
  57.  前記扉開検知手段は、扉が所定量以上に開放されるとオンするスイッチを有しており、
     前記スイッチがオンされると撮像することを特徴とする請求項56記載の冷蔵庫。
  58.  前記扉開検知手段は、扉が所定量以上に開放されるとオンするスイッチを有しており、
     前記スイッチがオンする前は、該冷蔵庫の内部を照らすための照明手段を点灯して撮像することを特徴とする請求項56記載の冷蔵庫。
  59.  庫内の照度を検知する照度検知手段をさらに備え、
     前記照度検知手段により照度が所定の基準値を超えると撮像することを特徴とする請求項54から58のいずれか一項記載の冷蔵庫。
  60.  前記撮像手段は、少なくとも扉の開放側の端部に設けられていることを特徴とする請求項54から59のいずれか一項記載の冷蔵庫。
  61.  扉が閉鎖されるときにさらに撮像することを特徴とする請求項54から60のいずれか一項記載の冷蔵庫。
  62.  前記撮像手段は、少なくとも扉のヒンジ側の端部に設けられていることを特徴とする請求項54から61のいずれか一項記載の冷蔵庫。
  63.  扉が開放される際に複数回撮像することを特徴とする請求項54から62のいずれか一項記載の冷蔵庫。
  64.  前記前記撮像手段により撮像された画像に基づいて、庫内に収納される収納物の収納量を推定する収納量推定手段をさらに備えることを特徴とする請求項54から63のいずれか一項記載の冷蔵庫。
  65.  前記収納量推定手段により推定された収納物の収納量および収納量が変化したことの少なくとも一方を報知する報知手段をさらに備えることを特徴とする請求項54から64のいずれか一項記載の冷蔵庫。
  66.  前記収納量推定手段により推定された収納物の収納量が所定の基準収納量を超えたとき、貯蔵庫の空気を循環させる循環ファンを、通常時よりも循環量が高くなる状態で駆動することを特徴とする請求項54から65のいずれか一項記載の冷蔵庫。
  67.  前記撮像手段の近傍に、熱を発する発熱手段を設けたことを特徴とする請求項54から66のいずれか一項記載の冷蔵庫。
  68.  扉の開度を検知する開度検知手段さらに備え、
     前記開度検知手段は、回動式の扉の開放角度を検知するものであり、
     前記開放角度検知手段で検知した扉の開放角度が90度未満のとき撮像することを特徴とする請求項54から67のいずれか一項記載の冷蔵庫。
  69.  扉の開度を検知する開度検知手段さらに備え、
     前記開度検知手段で検知した開度が庫内を撮像可能な範囲であるとき撮像することを特徴とする請求項54から68のいずれか一項記載の冷蔵庫。
  70.  該冷蔵庫は、隣り合って配置された複数の扉により、1つの貯蔵庫を開閉するものであることを特徴とする請求項54から69のいずれか一項記載の冷蔵庫。
  71.  前記撮像手段は、少なくとも一方の扉に配置され、前記撮像手段が設けられた扉が開放される際、他方の扉に設けられているドアポケットが撮像視野内にあるときに撮像することを特徴とする請求項54から70のいずれか一項記載の冷蔵庫。
  72.  該冷蔵庫は、隣り合って配置された複数の扉により、独立した貯蔵庫をそれぞれ開閉するものであることを特徴とする請求項54から71のいずれか一項記載の冷蔵庫。
  73.  少なくとも1つの扉は、複数の独立した貯蔵庫を開閉するものであり、
     前記複数の独立した貯蔵庫をそれぞれ撮像することを特徴とする請求項72記載の冷蔵庫。
  74.  前記独立した貯蔵庫には、その内部を仕切るための棚板、および/または、収納容器が設けられており、
     棚板および/または収納容器内をそれぞれ撮像する前記撮像手段を備えることを特徴とする請求項72または73記載の冷蔵庫。
  75.  該冷蔵庫は、引き出し式の貯蔵庫を有するものであり、
     前記引き出し式の貯蔵庫が開放される際に撮像することを特徴とする請求項54から74のいずれか一項記載の冷蔵庫。
  76.  扉の開度を検知する開度検知手段さらに備え、
     前記開度検知手段は、引き出し式の扉の引き出し量を検知するものであり、
     前記引き出し式の貯蔵庫の開度が所定の基準値を超えると撮像することを特徴とする請求項75記載の冷蔵庫。
  77.  前記撮像手段は、前記引き出し式の貯蔵庫の引き出し方向に対して傾いて設けられていることを特徴とする請求項75または76記載の冷蔵庫。
  78.  前記引き出し式の貯蔵庫の上方には他の貯蔵庫が配置されており、
     前記引き出し式の貯蔵庫を撮像するための前記撮像手段を、上方に配置された他の貯蔵庫の扉に設けたことを特徴とする請求項75から77のいずれか一項記載の冷蔵庫。
  79.  前記引き出し式の貯蔵庫の上方には他の貯蔵庫が配置されており、
     前記引き出し式の貯蔵庫を撮像するための前記撮像手段を、当該引き出し式の貯蔵庫と上方に配置された他の貯蔵庫との間を仕切る仕切り板に設けたことを特徴とする請求項75から78のいずれか一項記載の冷蔵庫。
  80.  前記撮像手段は、庫内の中央を撮像可能な位置に設けられていることを特徴とする請求項1から30および請求項54から79のいずれか一項記載の冷蔵庫。
  81.  前記撮像手段は、撮像対象となる貯蔵庫を開閉する扉に、当該貯蔵庫の上下方向および左右方向における略中央の位置に対応するように設けられていることを特徴とする請求項80記載の冷蔵庫。
  82.  前記撮像手段は、撮像対象となる貯蔵庫を開閉する扉に設けられている縦仕切りの内部に、その上下方向の略中央の位置に設けられていることを特徴とする請求項80記載の冷蔵庫。
  83.  前記撮像手段は、撮像対象となる貯蔵庫内に設けられていることを特徴とする請求項80記載の冷蔵庫。
  84.  前記撮像手段は、撮像対象となる貯蔵庫の側壁に設けられていることを特徴とする請求項83記載の冷蔵庫。
  85.  前記撮像手段は、撮像対象となる貯蔵庫の左右の側壁にそれぞれ設けられていることを特徴とする請求項84記載の冷蔵庫。
  86.  撮像対象となる貯蔵庫は、上下方向と左右方向とにおいてその大きさが異なる略直方体状に形成されており、
     前記撮像手段は、長方形の撮像素子を備えており、当該撮像素子の長手方向と貯蔵庫の長手方向とが一致する向きに配置されていることを特徴とする請求項80から85のいずれか一項記載の冷蔵庫。
  87.  前記撮像手段は、防滴処理あるいは防水処理が施されていることを特徴とする請求項80から86のいずれか一項記載の冷蔵庫。
  88.  前記撮像手段は、回路部品を搭載した基板にレンズユニットが取り付けられた撮像モジュールが保護ケース内に収容された構造となっており、前記レンズユニットと前記保護ケースとの間がOリングにより封止されていることを特徴とする請求項80から87のいずれか一項記載の冷蔵庫。
  89.  前記撮像手段は、回路部品を搭載した基板にレンズユニットが取り付けられた撮像モジュールが保護ケース内に収容された構造となっており、当該保護ケース内がポッティング材でポッティングされていることを特徴とする請求項80から89のいずれか一項記載の冷蔵庫。
  90.  前記撮像手段は、冷凍温度帯の庫内を撮像するものであることを特徴とする請求項1から30および請求項54から89のいずれか一項記載の冷蔵庫。
  91.  前記撮像手段の近傍に、加熱手段を設けたことを特徴とする請求項90記載の冷蔵庫。
  92.  前記撮像手段は、貯蔵庫の間を仕切る仕切り板に設けられており、
     前記加熱手段は、前記仕切り板に予め設けられている放熱パイプであることを特徴とする請求項91記載の冷蔵庫。
  93.  前記撮像手段の温度を検知する温度検知手段を備えることを特徴とする請求項90から92のいずれか一項記載の冷蔵庫。
PCT/JP2014/056327 2013-03-12 2014-03-11 冷蔵庫、カメラ装置、冷蔵庫用ドアポケット、通信端末、家電ネットワークシステム、庫内画像表示プログラム WO2014142120A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020177011992A KR20170052705A (ko) 2013-03-12 2014-03-11 냉장고, 카메라 장치
CN201480014441.5A CN105074365A (zh) 2013-03-12 2014-03-11 冰箱、相机装置、冰箱用门上搁物架、通信终端、家电网络系统、箱内图像显示程序
EP14763567.6A EP2975342B1 (en) 2013-03-12 2014-03-11 Refrigerator, camera device, refrigerator door pocket, communication terminal, home appliance network system, and interior image display program
US14/776,733 US10951863B2 (en) 2013-03-12 2014-03-11 Refrigerator, camera device, refrigerator door pocket, and home appliance network system
KR1020157028150A KR20150128901A (ko) 2013-03-12 2014-03-11 냉장고, 카메라 장치, 냉장고용 도어 포켓, 통신단말, 가전 네트워크 시스템, 고내 화상 표시 프로그램

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
JP2013-049073 2013-03-12
JP2013049073 2013-03-12
JP2013147562 2013-07-16
JP2013-147562 2013-07-16
JP2013-225437 2013-10-30
JP2013225437 2013-10-30
JP2014-038461 2014-02-28
JP2014038461A JP6391943B2 (ja) 2013-03-12 2014-02-28 冷蔵庫、カメラ装置、庫内画像表示プログラム

Publications (1)

Publication Number Publication Date
WO2014142120A1 true WO2014142120A1 (ja) 2014-09-18

Family

ID=51536774

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/056327 WO2014142120A1 (ja) 2013-03-12 2014-03-11 冷蔵庫、カメラ装置、冷蔵庫用ドアポケット、通信端末、家電ネットワークシステム、庫内画像表示プログラム

Country Status (7)

Country Link
US (1) US10951863B2 (ja)
EP (1) EP2975342B1 (ja)
JP (1) JP6391943B2 (ja)
KR (2) KR20150128901A (ja)
CN (6) CN110118466B (ja)
TW (3) TWI710739B (ja)
WO (1) WO2014142120A1 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3048399A1 (en) * 2015-01-20 2016-07-27 LG Electronics Inc. Refrigerator and method for controlling the same
WO2016151814A1 (ja) * 2015-03-25 2016-09-29 三菱電機株式会社 冷蔵庫
WO2016162956A1 (ja) * 2015-04-07 2016-10-13 三菱電機株式会社 冷蔵庫
EP3128274A1 (en) * 2015-08-05 2017-02-08 Whirlpool Corporation Object recognition system for an appliance and method for managing household inventory of consumables
FR3044793A1 (fr) * 2015-12-03 2017-06-09 Agece Dispositif d'assistance au stockage de produits dans un refrigerateur
US20170211816A1 (en) * 2014-09-03 2017-07-27 Electrolux Appliances Aktiebolag Method For Data Communication With A Domestic Appliance By A Mobile Computer Device, Mobile Computer Device And Domestic Appliance
WO2018116390A1 (ja) * 2016-12-21 2018-06-28 三菱電機株式会社 冷蔵庫
EP3322971B1 (en) * 2015-07-15 2020-11-04 Samsung Electronics Co., Ltd. Object recognition for a storage structure
US11156970B2 (en) 2015-08-05 2021-10-26 Whirlpool Corporation Foodstuff sensing appliance
WO2022049970A1 (ja) * 2020-09-03 2022-03-10 パナソニックIpマネジメント株式会社 使用状況通知装置
EP4180755A4 (en) * 2020-08-24 2023-12-06 Qingdao Haier Refrigerator Co., Ltd. REFRIGERATOR AND FREEZER
EP4209735A4 (en) * 2020-09-03 2024-02-21 Panasonic Intellectual Property Management Co., Ltd. FOOD MANAGEMENT SYSTEM

Families Citing this family (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014174816A (ja) * 2013-03-11 2014-09-22 Toshiba Corp 家電機器
JP6391943B2 (ja) * 2013-03-12 2018-09-19 東芝ライフスタイル株式会社 冷蔵庫、カメラ装置、庫内画像表示プログラム
JP6114916B2 (ja) * 2013-03-29 2017-04-19 パナソニックIpマネジメント株式会社 冷蔵庫
JP6402353B2 (ja) * 2013-03-29 2018-10-10 パナソニックIpマネジメント株式会社 冷蔵庫及び冷蔵庫システム
JP6361014B2 (ja) * 2013-03-29 2018-07-25 パナソニックIpマネジメント株式会社 冷蔵庫及び冷蔵庫システム
JP6167328B2 (ja) * 2013-03-29 2017-07-26 パナソニックIpマネジメント株式会社 冷蔵庫
JP6485678B2 (ja) * 2013-03-29 2019-03-20 パナソニックIpマネジメント株式会社 冷蔵庫及び冷蔵庫システム
JP6167330B2 (ja) * 2013-03-29 2017-07-26 パナソニックIpマネジメント株式会社 冷蔵庫及び冷蔵庫システム
JP6167329B2 (ja) * 2013-03-29 2017-07-26 パナソニックIpマネジメント株式会社 冷蔵庫
JP6322803B2 (ja) * 2013-03-29 2018-05-16 パナソニックIpマネジメント株式会社 冷蔵庫及び冷蔵庫システム
JP6167331B2 (ja) * 2013-03-29 2017-07-26 パナソニックIpマネジメント株式会社 冷蔵庫及び冷蔵庫システム
JP6080655B2 (ja) * 2013-04-03 2017-02-15 三菱電機株式会社 冷蔵庫
EP3026378B1 (en) 2013-04-23 2020-08-12 LG Electronics Inc. Refrigerator and control method for the same
DE102013211097A1 (de) * 2013-06-14 2014-12-18 BSH Bosch und Siemens Hausgeräte GmbH Kältegerät mit einem Kameramodul
JP6334186B2 (ja) * 2014-02-05 2018-05-30 東芝ライフスタイル株式会社 冷蔵庫
JP6571407B2 (ja) * 2015-06-23 2019-09-04 シャープ株式会社 庫内撮影装置
JP6641109B2 (ja) * 2015-07-09 2020-02-05 三菱電機株式会社 冷蔵庫
US10027866B2 (en) 2015-08-05 2018-07-17 Whirlpool Corporation Refrigerators having internal content cameras, and methods of operating the same
JP6655908B2 (ja) * 2015-08-19 2020-03-04 三菱電機株式会社 冷蔵庫およびプログラム
KR20170027246A (ko) * 2015-09-01 2017-03-09 삼성전자주식회사 냉장고
JP6818407B2 (ja) * 2015-12-10 2021-01-20 三菱電機株式会社 冷蔵庫、冷蔵庫内画像管理システムおよびプログラム
KR102678825B1 (ko) 2016-03-07 2024-06-28 삼성전자주식회사 냉장고
JP2017161210A (ja) * 2016-03-07 2017-09-14 三星電子株式会社Samsung Electronics Co.,Ltd. 冷蔵庫
JP6683247B2 (ja) * 2016-03-29 2020-04-15 三菱電機株式会社 冷蔵庫
US10474137B2 (en) * 2016-05-20 2019-11-12 Cedalo AG Configuring or controlling a device via serialized event data
KR101868825B1 (ko) * 2016-05-25 2018-06-19 나정환 스마트 저장고
CN105972908B (zh) * 2016-05-26 2019-10-18 青岛海尔股份有限公司 具有摄像装置的双开门冰箱
CN106196850B (zh) * 2016-07-18 2019-04-09 信利光电股份有限公司 摄像头盖板的除雾设备、除雾方法及冷藏设备
JP6799958B2 (ja) * 2016-07-20 2020-12-16 三菱電機株式会社 冷蔵庫
WO2018016053A1 (ja) * 2016-07-21 2018-01-25 三菱電機株式会社 通信デバイスと通信可能な冷蔵庫
KR102118156B1 (ko) * 2016-07-28 2020-06-02 삼성전자주식회사 냉장고
JP6615361B2 (ja) * 2016-08-16 2019-12-04 三菱電機株式会社 冷蔵庫
US20180053140A1 (en) * 2016-08-18 2018-02-22 Intel Corporation Food storage method and apparatus with sensors
US11016634B2 (en) * 2016-09-01 2021-05-25 Samsung Electronics Co., Ltd. Refrigerator storage system having a display
JP2018050251A (ja) * 2016-09-23 2018-03-29 シャープ株式会社 監視システム
DE102017000058A1 (de) * 2016-10-07 2018-04-12 Liebherr-Hausgeräte Ochsenhausen GmbH Kühl- und/oder Gefriergerät
WO2018069986A1 (ja) * 2016-10-12 2018-04-19 三菱電機株式会社 冷蔵庫
EP3543630A4 (en) * 2016-11-21 2019-11-06 Mitsubishi Electric Corporation REFRIGERATOR SYSTEM
US10705703B2 (en) * 2017-01-11 2020-07-07 Universal Entertainment Corporation Controlling electronic devices by operating head mounted display
TWI616648B (zh) * 2017-01-24 2018-03-01 達辰智慧科技有限公司 具有智慧型溫溼度感測裝置的密閉槽體
GB201701593D0 (en) * 2017-01-31 2017-03-15 Smarter Applications Ltd Imaging apparatus
JP2017106715A (ja) * 2017-02-16 2017-06-15 パナソニックIpマネジメント株式会社 冷蔵庫
CN110337574A (zh) * 2017-03-03 2019-10-15 夏普株式会社 冰箱及冰箱门的制造方法
JP6500251B2 (ja) * 2017-04-18 2019-04-17 パナソニックIpマネジメント株式会社 冷蔵庫
US10684065B2 (en) * 2017-06-26 2020-06-16 Samsung Electronics Co., Ltd. Refrigerator
CN107449201A (zh) * 2017-07-31 2017-12-08 合肥美的智能科技有限公司 冰箱
DE102017213425A1 (de) * 2017-08-02 2019-02-07 BSH Hausgeräte GmbH Sensorvorrichtung für ein Haushaltskühlgerät
JP7012262B2 (ja) * 2017-10-06 2022-01-28 パナソニックIpマネジメント株式会社 冷蔵庫
JP7012263B2 (ja) * 2017-10-06 2022-01-28 パナソニックIpマネジメント株式会社 冷蔵庫
US9995528B1 (en) 2017-10-12 2018-06-12 Whirlpool Corporation Refrigerator having a camera selectively enclosed by a rotating mullion assembly
CN109688296A (zh) * 2017-10-18 2019-04-26 富泰华工业(深圳)有限公司 摄像机构及具有该摄像机构的冰箱
CN109683435A (zh) * 2017-10-18 2019-04-26 富泰华工业(深圳)有限公司 摄像头防雾装置及具有该摄像头防雾装置的冰箱
EP3719424B1 (en) * 2017-11-27 2023-09-20 Mitsubishi Electric Corporation Refrigerator and refrigerator system
CN108076274B (zh) * 2017-12-28 2020-12-08 浙江大华技术股份有限公司 一种摄像机抗冰雪沉积或除雾方法及一种摄像机
KR102508201B1 (ko) * 2018-03-09 2023-03-10 삼성전자주식회사 냉장고 및 그 제어방법
KR102217024B1 (ko) * 2018-03-13 2021-02-19 삼성전자주식회사 냉장고, 그 제어 방법 및 시스템
JP2019184167A (ja) 2018-04-11 2019-10-24 東芝ライフスタイル株式会社 家電機器、冷蔵庫
JP6671002B2 (ja) * 2018-04-16 2020-03-25 パナソニックIpマネジメント株式会社 冷蔵庫
CN108803413A (zh) * 2018-05-30 2018-11-13 云谷(固安)科技有限公司 智能收纳装置、智能收纳系统
US11500574B2 (en) 2018-05-30 2022-11-15 Yungu (Gu'an) Technology Co., Ltd. Storage detection method, storage detection device, and smart storage device
JP7191561B2 (ja) * 2018-06-29 2022-12-19 シャープ株式会社 冷蔵庫
JP7292019B2 (ja) * 2018-08-01 2023-06-16 三菱電機株式会社 制御装置、庫内撮影システム、物品保管庫、庫内撮影方法およびプログラム
JP7481797B2 (ja) * 2018-08-24 2024-05-13 東芝ライフスタイル株式会社 冷蔵庫、冷蔵庫設定システム
KR102663888B1 (ko) * 2018-09-18 2024-05-08 삼성전자주식회사 냉장고 및 그의 제어방법
KR102551358B1 (ko) * 2018-09-21 2023-07-04 삼성전자주식회사 냉장고 내 객체의 상태와 관련된 정보를 제공하는 방법 및 시스템
US11109705B2 (en) * 2018-09-26 2021-09-07 Securum Capsa, Inc. Medication receiver
US20200118078A1 (en) * 2018-10-10 2020-04-16 Adroit Worldwide Media, Inc. Systems, Method and Apparatus for Automated and Intelligent Inventory Stocking
JP7220058B2 (ja) * 2018-11-15 2023-02-09 東芝ライフスタイル株式会社 冷蔵庫の音声対話装置、および冷蔵庫
KR102697584B1 (ko) * 2018-12-06 2024-08-21 엘지전자 주식회사 냉장고
US10907892B2 (en) 2019-02-27 2021-02-02 Whirlpool Corporation Refrigerator with magnetic bin system
JP6664020B2 (ja) * 2019-03-18 2020-03-13 東芝ライフスタイル株式会社 冷蔵庫
JP7175382B2 (ja) * 2019-03-20 2022-11-18 三菱電機株式会社 冷蔵庫
WO2019135670A2 (ko) * 2019-04-10 2019-07-11 엘지전자 주식회사 냉장고 및 냉장고의 물품 관리 방법
JP2020180739A (ja) * 2019-04-25 2020-11-05 シャープ株式会社 物品トレイ、冷蔵庫、及び物品トレイシステム
JP7297563B2 (ja) * 2019-07-03 2023-06-26 シャープ株式会社 冷蔵庫
US11335010B2 (en) * 2019-08-15 2022-05-17 Haier Us Appliance Solutions, Inc. Methods for viewing and tracking stored items
DE102019128366A1 (de) * 2019-08-16 2021-02-18 Liebherr-Hausgeräte Ochsenhausen GmbH Kühl- und/oder Gefriergerät
US11098949B2 (en) * 2019-08-22 2021-08-24 Haier Us Appliance Solutions, Inc. Refrigerator appliance having USB features
US11656025B2 (en) 2019-12-30 2023-05-23 Whirlpool Corporation Resilient housing
CN113063261B (zh) * 2020-01-02 2022-12-13 佛山市云米电器科技有限公司 冰箱控制方法、冰箱及计算机可读存储介质
JP2020094801A (ja) * 2020-02-28 2020-06-18 パナソニックIpマネジメント株式会社 冷蔵庫
JP7014983B1 (ja) 2020-07-14 2022-02-15 ダイキン工業株式会社 撮像ユニット及び空気処理ユニット
DE102020210278A1 (de) * 2020-08-13 2022-02-17 BSH Hausgeräte GmbH Haushaltsgerät mit einer Kamera und einem damit verbundenen Hinterlegteil, sowie Verfahren
KR20220023599A (ko) * 2020-08-21 2022-03-02 주식회사 위니아전자 냉장고용 카메라 이슬맺힘 제거장치 및 그 제어방법
JP7182139B2 (ja) * 2020-09-03 2022-12-02 パナソニックIpマネジメント株式会社 食品検出装置、及び食品管理システム
CN113824864A (zh) * 2021-09-13 2021-12-21 海信视像科技股份有限公司 食材存储设备及图像处理方法
WO2023042504A1 (ja) * 2021-09-15 2023-03-23 日立グローバルライフソリューションズ株式会社 冷蔵庫
US11985448B2 (en) 2021-12-14 2024-05-14 Dell Products L.P. Camera with magnet attachment to display panel
US12069356B2 (en) 2021-12-14 2024-08-20 Dell Products L.P. Display backplate to facilitate camera magnet attachment to a display panel

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09222538A (ja) * 1996-02-16 1997-08-26 Nippon Telegr & Teleph Corp <Ntt> 光部品
JP2002243335A (ja) * 2001-02-21 2002-08-28 Toshiba Corp 食品保存庫、ホームネットワーク装置、携帯情報端末、食品情報提供サーバ、献立情報提供サーバ及び保存庫内収納情報提供サーバ
JP2002267337A (ja) * 2001-03-12 2002-09-18 Matsushita Refrig Co Ltd 冷蔵庫の食材管理装置
JP2002340471A (ja) * 2001-05-18 2002-11-27 Fujitsu General Ltd 冷蔵庫内部表示システム
JP2003004366A (ja) * 2001-06-20 2003-01-08 Hitachi Ltd 内部状態転送装置付冷蔵庫
JP2003042626A (ja) * 2001-07-26 2003-02-13 Toshiba Corp 冷蔵庫
JP2003207258A (ja) * 2002-01-16 2003-07-25 Toshiba Corp 冷蔵庫
JP2005265243A (ja) * 2004-03-17 2005-09-29 Matsushita Electric Ind Co Ltd 冷蔵庫
JP2007046833A (ja) * 2005-08-09 2007-02-22 Funai Electric Co Ltd 物品保存庫、物品保存庫監視システム及び冷蔵庫監視システム
JP2007113818A (ja) * 2005-10-19 2007-05-10 Funai Electric Co Ltd 物品保存庫及び冷蔵庫
JP2007132543A (ja) * 2005-11-08 2007-05-31 Toshiba Corp 冷蔵庫
JP2008075925A (ja) * 2006-09-20 2008-04-03 Sharp Corp 冷蔵庫
JP2008104077A (ja) * 2006-10-20 2008-05-01 Hitachi Kokusai Electric Inc テレビカメラ装置
JP2009147704A (ja) * 2007-12-14 2009-07-02 Canon Inc 画像表示制御装置、画像表示制御方法、および画像表示制御プログラム
JP2011021865A (ja) * 2009-07-13 2011-02-03 Masato Shiraishi 冷蔵庫用リモコンと冷蔵庫
JP2011226760A (ja) * 2010-03-29 2011-11-10 Panasonic Corp 冷蔵庫
JP2012078086A (ja) * 2009-08-12 2012-04-19 Hitachi Appliances Inc 冷蔵庫
JP2012220186A (ja) * 2011-04-12 2012-11-12 Lg Electronics Inc ディスプレイ装置及びこれを備える冷蔵庫
JP2012226748A (ja) 2011-04-15 2012-11-15 Lg Electronics Inc ネットワークシステム及びその制御方法
JP2012251724A (ja) * 2011-06-03 2012-12-20 Panasonic Corp 冷蔵庫

Family Cites Families (99)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3982801A (en) 1975-11-17 1976-09-28 General Motors Corporation Power-operating vertically adjustable cantilever shelves for appliance cabinets
JPH0244327A (ja) 1989-03-14 1990-02-14 Minolta Camera Co Ltd スチルビデオカメラ
US6498620B2 (en) * 1993-02-26 2002-12-24 Donnelly Corporation Vision system for a vehicle including an image capture device and a display system having a long focal length
JP3450907B2 (ja) 1994-08-08 2003-09-29 幸次 楠野 内部状態表示装置付冷蔵庫
GB9425031D0 (en) 1994-12-09 1995-02-08 Alpha Metals Ltd Printed circuit board manufacture
AU718733B2 (en) 1995-03-20 2000-04-20 Toto Ltd. Method for photocatalytically rendering a surface of a substrate superhydrophilic, a substrate with a superhydrophilic photocatalytic surface, and method of making thereof
ES2208771T3 (es) 1995-12-22 2004-06-16 Toto Ltd. Procedimiento fotocatalitico para hacer hidrofila una superficie y material compuesto con una superficie hidrofila fotocataliticamente.
TW313630B (en) 1996-03-21 1997-08-21 Toto Ltd The surface substrate with light catalyst and hydrophilicity and its manufacturing method
US5913584A (en) 1997-09-23 1999-06-22 White Consolidated Industries, Inc. Adjustable refrigerator shelf
JPH11177858A (ja) 1997-12-08 1999-07-02 Canon Inc 電子カメラ
JP4329131B2 (ja) 1998-05-21 2009-09-09 パナソニック株式会社 冷蔵庫の使い方比較システム、および、その制御方法
KR100397053B1 (ko) 1998-07-25 2004-03-30 현대중공업 주식회사 선박용 평블록의 높이 레벨 조정장치
JP2000131747A (ja) 1998-10-26 2000-05-12 Ricoh Co Ltd カメラハウジング
JP2000171874A (ja) * 1998-12-08 2000-06-23 Asahi Optical Co Ltd 結露検知機能付きカメラ
JP2001133119A (ja) 1999-10-29 2001-05-18 Matsushita Refrig Co Ltd 冷蔵庫
KR100351819B1 (ko) * 2000-03-30 2002-09-11 엘지전자주식회사 냉장고용 영상표시기기 장착구조
JP2001317858A (ja) 2000-05-09 2001-11-16 Matsushita Refrig Co Ltd 冷蔵庫
SE522000C2 (sv) 2000-08-18 2004-01-07 Rutger Roseen Förfarande och anordning för att hålla reda på lagringstiden för i ett utrymme förvarade varor
JP2002081818A (ja) * 2000-09-05 2002-03-22 Hitachi Ltd 冷蔵庫
JP2002156181A (ja) 2000-11-16 2002-05-31 Yozan Inc 冷蔵庫
CN1178037C (zh) * 2001-03-16 2004-12-01 Lg电子株式会社 因特网电冰箱及其操作方法
JP2002295962A (ja) 2001-03-29 2002-10-09 Sanyo Electric Co Ltd 冷蔵庫
CN2478043Y (zh) 2001-04-23 2002-02-20 青岛市家用电器研究所 一种智能网络冰箱
JP2002359761A (ja) * 2001-05-31 2002-12-13 Asahi Optical Co Ltd デジタルカメラ用クレードル
JP3819745B2 (ja) 2001-07-27 2006-09-13 三洋電機株式会社 冷蔵庫
JP2004183987A (ja) * 2002-12-04 2004-07-02 Hitachi Home & Life Solutions Inc 冷蔵庫
KR20040083784A (ko) 2003-03-25 2004-10-06 최철웅 냉장고의 보관물 관리 시스템 및 그 방법
CN2619441Y (zh) * 2003-04-11 2004-06-02 智基科技开发股份有限公司 移动电话用摄像头
JP2005030607A (ja) 2003-07-07 2005-02-03 Hitachi Ltd 充電器及び充電器を備えた冷蔵庫
ES2222812B1 (es) 2003-07-23 2006-03-16 Jose Ramon Conde Hinojosa Procedimiento y dispositivo de enfriamiento rapido de bebidas envasadas.
WO2005015510A1 (en) 2003-07-29 2005-02-17 Minibar Ag Computerised-sensing system for a mini bar
JP4179146B2 (ja) 2003-11-28 2008-11-12 松下電器産業株式会社 冷蔵庫の扉装置
CN100417897C (zh) * 2004-04-12 2008-09-10 乐金电子(天津)电器有限公司 用于内置于冰箱中的可分离式终端的充电装置
JP2005315479A (ja) 2004-04-28 2005-11-10 Hitachi Home & Life Solutions Inc 冷蔵庫
JP2006046771A (ja) 2004-08-04 2006-02-16 Hitachi Home & Life Solutions Inc 冷蔵庫
JP4196914B2 (ja) 2004-09-16 2008-12-17 三菱電機株式会社 冷蔵庫
US20060096303A1 (en) 2004-11-10 2006-05-11 Kavounas Gregory T Home refrigerator systems imaging their interior and methods
TWI265263B (en) 2004-11-19 2006-11-01 Chuen-Liang Shiu Intelligent refrigerator and the recognition and monitoring method thereof
US20070152076A1 (en) 2004-12-13 2007-07-05 Chiang Kuo C Monitoring system with a wireless transmitting/receiving module
US20060174641A1 (en) * 2004-12-13 2006-08-10 Liu Chi W Refrigerator with a display module
KR100697076B1 (ko) 2005-02-28 2007-03-20 엘지전자 주식회사 냉장고의 개스킷 밀착용 필러 가이드 장치
KR100677269B1 (ko) 2005-03-15 2007-02-02 엘지전자 주식회사 카메라가 구비된 냉장고
CN2811883Y (zh) 2005-04-01 2006-08-30 张鑫峰 智能型保鲜柜
US20060237427A1 (en) * 2005-04-07 2006-10-26 Logan James D Smart cabinets
JP2007046834A (ja) * 2005-08-09 2007-02-22 Funai Electric Co Ltd 物品保存庫、物品保存庫監視システム及び冷蔵庫監視システム
TWM287928U (en) * 2005-08-31 2006-02-21 Kinik Co Refrigerator with photography function
JP4936504B2 (ja) * 2005-09-26 2012-05-23 キヤノン株式会社 クレードル装置と操作端末とのそのプログラム、及びカメラシステム
EP1949010B1 (en) 2005-10-27 2017-08-23 LG Electronics Inc. Refrigerator
US8327657B2 (en) 2005-10-27 2012-12-11 Lg Electronics Inc. Refrigerator
US7853142B2 (en) 2005-11-14 2010-12-14 System Planning Corporation System and method for an imaging system for a container security system
JP4268170B2 (ja) * 2006-01-31 2009-05-27 富士通株式会社 記憶媒体収容装置外付けユニット
JP4890880B2 (ja) * 2006-02-16 2012-03-07 キヤノン株式会社 画像送信装置,画像送信方法,プログラム,および記憶媒体
JP2007295166A (ja) * 2006-04-24 2007-11-08 Fujifilm Corp デジタルカメラ
CN101074816A (zh) * 2006-05-17 2007-11-21 海尔集团公司 设有显示屏的冰箱
AU2006345796B2 (en) * 2006-07-04 2010-12-09 Lg Electronics, Inc. Refrigerator with wireless communication function
KR101023401B1 (ko) 2006-07-14 2011-03-21 유겐가이샤 세라짓쿠스 콘택트 렌즈용 액제 및 이것을 사용한 콘택트 렌즈의 친수화 처리 방법
US7870753B2 (en) * 2007-01-04 2011-01-18 Whirlpool Corporation Appliance door with a service interface
GB2460973B (en) 2007-04-26 2011-05-11 Panasonic Corp Refrigerator with means to provide mist into a storage compartment
AU2008310473B9 (en) 2007-10-09 2013-05-30 Panasonic Corporation Refrigerator
JP2009250602A (ja) * 2008-04-11 2009-10-29 Toshiba Corp 冷蔵庫
AU2009272418A1 (en) 2008-07-14 2010-01-21 Holicom Film Limited Method and system for filming
US9041508B2 (en) * 2008-08-08 2015-05-26 Snap-On Incorporated Image-based inventory control system and method
US20100170289A1 (en) * 2009-01-06 2010-07-08 Sony Corporation System and Method for Seamless Imaging of Appliance Interiors
KR101517083B1 (ko) 2009-05-11 2015-05-15 엘지전자 주식회사 냉장고를 제어하는 휴대 단말기 및 그 동작 방법
KR101100146B1 (ko) 2009-08-12 2011-12-29 히타치 어플라이언스 가부시키가이샤 냉장고
CN102003864A (zh) 2009-08-31 2011-04-06 松下电器产业株式会社 冰箱
JP5585029B2 (ja) 2009-08-31 2014-09-10 パナソニック株式会社 冷蔵庫
CN102032740B (zh) 2009-09-29 2013-06-05 爱国者电子科技有限公司 冰箱
CN102043241B (zh) * 2009-12-31 2012-07-25 中国检验检疫科学研究院 微结构显微成像增强方法
US20110233289A1 (en) 2010-03-24 2011-09-29 Whirlpool Corporation Systems and methods for ultrasound-based atomizer for humidity control in refrigerators
TWI481803B (zh) 2010-05-27 2015-04-21 Toshiba Kk 冰箱
JP5523968B2 (ja) 2010-07-28 2014-06-18 株式会社東芝 冷蔵庫
US8756942B2 (en) 2010-07-29 2014-06-24 Lg Electronics Inc. Refrigerator and method for controlling the same
CN201772873U (zh) * 2010-09-07 2011-03-23 珠海天峰光电有限公司 一种采用背光翻转lcd数显装置的激光测距仪
TW201217731A (en) * 2010-10-19 2012-05-01 Cheng-Tzong Lee Intellectual refrigerator combining with portable electric device and control method for the same
JP5714303B2 (ja) 2010-11-15 2015-05-07 株式会社東芝 冷蔵庫
KR101813030B1 (ko) 2010-12-29 2017-12-28 엘지전자 주식회사 냉장고
EP2489967B1 (en) 2011-02-18 2019-08-28 Electrolux Home Products Corporation N.V. Refrigerating appliance
JP2012193873A (ja) 2011-03-15 2012-10-11 Nikon Corp 収納装置
CN102183120A (zh) 2011-03-31 2011-09-14 四川长虹电器股份有限公司 基于视频技术的远程食品查询冰箱及其工作方法
JP2012220942A (ja) 2011-04-14 2012-11-12 Sharp Corp 3次元カメラモジュール、それを備えた携帯端末及び携帯電話機
JP5440644B2 (ja) 2011-05-09 2014-03-12 パナソニック株式会社 冷蔵庫
JP2012251722A (ja) 2011-06-03 2012-12-20 Panasonic Corp 冷蔵庫
JP5637951B2 (ja) 2011-07-25 2014-12-10 日立アプライアンス株式会社 冷蔵庫
JP6139837B2 (ja) 2012-09-25 2017-05-31 東芝ライフスタイル株式会社 冷蔵庫
JP6099921B2 (ja) 2012-09-27 2017-03-22 東芝ライフスタイル株式会社 冷蔵庫
JP6121802B2 (ja) 2012-10-12 2017-04-26 東芝ライフスタイル株式会社 冷蔵庫
TW201421987A (zh) 2012-11-19 2014-06-01 Hon Hai Prec Ind Co Ltd 影像感測器模組及取像模組
US20140137587A1 (en) 2012-11-20 2014-05-22 General Electric Company Method for storing food items within a refrigerator appliance
US20140192182A1 (en) * 2013-01-10 2014-07-10 General Electric Company Method for viewing virtual objects within an appliance
US9412086B2 (en) 2013-03-07 2016-08-09 Bradd A. Morse Apparatus and method for customized product data management
JP6411753B2 (ja) 2013-03-12 2018-10-24 東芝ライフスタイル株式会社 冷蔵庫、及びカメラ装置
JP6391943B2 (ja) * 2013-03-12 2018-09-19 東芝ライフスタイル株式会社 冷蔵庫、カメラ装置、庫内画像表示プログラム
KR102000448B1 (ko) 2013-03-27 2019-10-01 엘지전자 주식회사 냉장고
JP6402353B2 (ja) 2013-03-29 2018-10-10 パナソニックIpマネジメント株式会社 冷蔵庫及び冷蔵庫システム
JP6322803B2 (ja) 2013-03-29 2018-05-16 パナソニックIpマネジメント株式会社 冷蔵庫及び冷蔵庫システム
KR102026730B1 (ko) 2013-04-08 2019-09-30 엘지전자 주식회사 냉장고
KR102024595B1 (ko) * 2013-04-25 2019-09-24 엘지전자 주식회사 냉장고 및 그 제어방법
US20150059374A1 (en) 2013-09-04 2015-03-05 Logan Hebel System for Monitoring the Contents of a Refrigerator

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09222538A (ja) * 1996-02-16 1997-08-26 Nippon Telegr & Teleph Corp <Ntt> 光部品
JP2002243335A (ja) * 2001-02-21 2002-08-28 Toshiba Corp 食品保存庫、ホームネットワーク装置、携帯情報端末、食品情報提供サーバ、献立情報提供サーバ及び保存庫内収納情報提供サーバ
JP2002267337A (ja) * 2001-03-12 2002-09-18 Matsushita Refrig Co Ltd 冷蔵庫の食材管理装置
JP2002340471A (ja) * 2001-05-18 2002-11-27 Fujitsu General Ltd 冷蔵庫内部表示システム
JP2003004366A (ja) * 2001-06-20 2003-01-08 Hitachi Ltd 内部状態転送装置付冷蔵庫
JP2003042626A (ja) * 2001-07-26 2003-02-13 Toshiba Corp 冷蔵庫
JP2003207258A (ja) * 2002-01-16 2003-07-25 Toshiba Corp 冷蔵庫
JP2005265243A (ja) * 2004-03-17 2005-09-29 Matsushita Electric Ind Co Ltd 冷蔵庫
JP2007046833A (ja) * 2005-08-09 2007-02-22 Funai Electric Co Ltd 物品保存庫、物品保存庫監視システム及び冷蔵庫監視システム
JP2007113818A (ja) * 2005-10-19 2007-05-10 Funai Electric Co Ltd 物品保存庫及び冷蔵庫
JP2007132543A (ja) * 2005-11-08 2007-05-31 Toshiba Corp 冷蔵庫
JP2008075925A (ja) * 2006-09-20 2008-04-03 Sharp Corp 冷蔵庫
JP2008104077A (ja) * 2006-10-20 2008-05-01 Hitachi Kokusai Electric Inc テレビカメラ装置
JP2009147704A (ja) * 2007-12-14 2009-07-02 Canon Inc 画像表示制御装置、画像表示制御方法、および画像表示制御プログラム
JP2011021865A (ja) * 2009-07-13 2011-02-03 Masato Shiraishi 冷蔵庫用リモコンと冷蔵庫
JP2012078086A (ja) * 2009-08-12 2012-04-19 Hitachi Appliances Inc 冷蔵庫
JP2011226760A (ja) * 2010-03-29 2011-11-10 Panasonic Corp 冷蔵庫
JP2012220186A (ja) * 2011-04-12 2012-11-12 Lg Electronics Inc ディスプレイ装置及びこれを備える冷蔵庫
JP2012226748A (ja) 2011-04-15 2012-11-15 Lg Electronics Inc ネットワークシステム及びその制御方法
JP2012251724A (ja) * 2011-06-03 2012-12-20 Panasonic Corp 冷蔵庫

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11722330B2 (en) * 2014-09-03 2023-08-08 Electrolux Appliances Aktiebolag Method for data communication with a domestic appliance by a mobile computer device, mobile computer device and domestic appliance
US20170211816A1 (en) * 2014-09-03 2017-07-27 Electrolux Appliances Aktiebolag Method For Data Communication With A Domestic Appliance By A Mobile Computer Device, Mobile Computer Device And Domestic Appliance
US10670328B2 (en) 2015-01-20 2020-06-02 Lg Electronics Inc. Refrigerator and method for controlling the same
EP3048399A1 (en) * 2015-01-20 2016-07-27 LG Electronics Inc. Refrigerator and method for controlling the same
WO2016151814A1 (ja) * 2015-03-25 2016-09-29 三菱電機株式会社 冷蔵庫
JPWO2016151814A1 (ja) * 2015-03-25 2017-06-22 三菱電機株式会社 冷蔵庫
WO2016162956A1 (ja) * 2015-04-07 2016-10-13 三菱電機株式会社 冷蔵庫
JPWO2016162956A1 (ja) * 2015-04-07 2017-10-19 三菱電機株式会社 冷蔵庫
EP3322971B1 (en) * 2015-07-15 2020-11-04 Samsung Electronics Co., Ltd. Object recognition for a storage structure
EP3904803A1 (en) * 2015-08-05 2021-11-03 Whirlpool Corporation Object recognition system for an appliance and method for managing household inventory of consumables
US10474987B2 (en) 2015-08-05 2019-11-12 Whirlpool Corporation Object recognition system for an appliance and method for managing household inventory of consumables
EP3128274A1 (en) * 2015-08-05 2017-02-08 Whirlpool Corporation Object recognition system for an appliance and method for managing household inventory of consumables
US11556889B2 (en) 2015-08-05 2023-01-17 Whirlpool Corporation Object recognition system for an appliance and method for managing household inventory of consumables
US11156970B2 (en) 2015-08-05 2021-10-26 Whirlpool Corporation Foodstuff sensing appliance
FR3044793A1 (fr) * 2015-12-03 2017-06-09 Agece Dispositif d'assistance au stockage de produits dans un refrigerateur
JPWO2018116390A1 (ja) * 2016-12-21 2019-07-04 三菱電機株式会社 冷蔵庫
WO2018116390A1 (ja) * 2016-12-21 2018-06-28 三菱電機株式会社 冷蔵庫
EP4180755A4 (en) * 2020-08-24 2023-12-06 Qingdao Haier Refrigerator Co., Ltd. REFRIGERATOR AND FREEZER
US11906237B2 (en) 2020-08-24 2024-02-20 Qingdao Haier Refrigerator Co., Ltd. Refrigerating and freezing device
WO2022049970A1 (ja) * 2020-09-03 2022-03-10 パナソニックIpマネジメント株式会社 使用状況通知装置
JP2022042624A (ja) * 2020-09-03 2022-03-15 パナソニックIpマネジメント株式会社 使用状況通知装置
JP7178575B2 (ja) 2020-09-03 2022-11-28 パナソニックIpマネジメント株式会社 使用状況通知装置
EP4209735A4 (en) * 2020-09-03 2024-02-21 Panasonic Intellectual Property Management Co., Ltd. FOOD MANAGEMENT SYSTEM
JP7442104B2 (ja) 2020-09-03 2024-03-04 パナソニックIpマネジメント株式会社 ドア開閉認識装置

Also Published As

Publication number Publication date
US20160057394A1 (en) 2016-02-25
KR20170052705A (ko) 2017-05-12
TW201447204A (zh) 2014-12-16
JP6391943B2 (ja) 2018-09-19
EP2975342B1 (en) 2021-04-21
TW201833494A (zh) 2018-09-16
US10951863B2 (en) 2021-03-16
JP2015111026A (ja) 2015-06-18
CN110081660B (zh) 2021-08-27
CN110118466A (zh) 2019-08-13
CN110118466B (zh) 2021-09-21
TWI630362B (zh) 2018-07-21
TW201700932A (zh) 2017-01-01
EP2975342A4 (en) 2016-12-07
TWI553280B (zh) 2016-10-11
EP2975342A1 (en) 2016-01-20
CN110081662A (zh) 2019-08-02
CN110081660A (zh) 2019-08-02
CN110081661A (zh) 2019-08-02
CN105074365A (zh) 2015-11-18
KR20150128901A (ko) 2015-11-18
CN110081661B (zh) 2021-08-13
TWI710739B (zh) 2020-11-21
CN110081663A (zh) 2019-08-02

Similar Documents

Publication Publication Date Title
JP6391943B2 (ja) 冷蔵庫、カメラ装置、庫内画像表示プログラム
JP6498866B2 (ja) 冷蔵庫、カメラ装置
KR102233583B1 (ko) 냉장고, 카메라 장치, 냉장용 도어 포켓, 및 냉장고용 홀더
JP7223054B2 (ja) 冷蔵庫
JP6701281B2 (ja) 冷蔵庫、カメラ装置、冷蔵庫用ドアポケット、通信端末、家電ネットワークシステム、庫内画像表示プログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480014441.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14763567

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14776733

Country of ref document: US

ENP Entry into the national phase

Ref document number: 20157028150

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2014763567

Country of ref document: EP