WO2017012817A1 - Verfahren zur bildaufnahme, kamera und haushaltskühlgerät - Google Patents

Verfahren zur bildaufnahme, kamera und haushaltskühlgerät Download PDF

Info

Publication number
WO2017012817A1
WO2017012817A1 PCT/EP2016/064488 EP2016064488W WO2017012817A1 WO 2017012817 A1 WO2017012817 A1 WO 2017012817A1 EP 2016064488 W EP2016064488 W EP 2016064488W WO 2017012817 A1 WO2017012817 A1 WO 2017012817A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
shutter
image sensor
image
door
Prior art date
Application number
PCT/EP2016/064488
Other languages
English (en)
French (fr)
Inventor
Hans Peter Werner
Gerhard Wetzl
Original Assignee
BSH Hausgeräte GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BSH Hausgeräte GmbH filed Critical BSH Hausgeräte GmbH
Publication of WO2017012817A1 publication Critical patent/WO2017012817A1/de

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689—Motion occurring during a rolling shutter mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof

Definitions

  • the invention relates to a method for image recording.
  • the invention also relates to a camera with a rolling shutter image sensor and a shutter.
  • the invention is particularly advantageously applicable to image recordings of an interior of a household appliance, in particular a refrigerator (CiF, "Camera-in-Fridge").
  • the invention is particularly advantageous applicable to built in a door of the refrigerator cameras.
  • An image acquisition of an image sensor with several (eg 640 ⁇ 480) sensor cells or sensor elements is typically divided into four phases: (a) deletion ("reset") of the sensor elements, (b) exposure of the sensor elements, (c) charge transfer on the image sensor and ( d) line by line time-shifted reading of the data. During reading, the sensor elements must not be exposed any further.
  • Electronic shutter methods are used. Depending on the type of sensor, either the so-called “rolling shutter” method or the so-called “global shutter method” is used.
  • the erasing, the exposure, the charge transfer and the readout of the image sensor are usually slightly offset line by line. Since this results in a time offset between the exposure of successive sensor lines, the image of a moving object is displayed distorted.
  • Some rolling shutter image sensors can be operated in a so-called "global start mode" in which the deletion and the subsequent exposure of all sensor elements and thus also all sensor lines is started simultaneously, while the charge transfer and the read continue line by line offset happens. Therefore, it results from read line to the following read-out line, an extended exposure time.
  • a flash which lasts no longer than the exposure time of the first read-out line will be used with the beginning of the exposure commensurate with all lines. Outside the flash duration, however, no light should reach the image sensor. Consequently, the Global Start mode is particularly suitable for taking pictures in the dark (eg night scenes) using a flash.
  • low-cost cameras with a CMOS image sensor usually use the rolling shutter method.
  • the object is achieved according to the features of the independent claims. Preferred embodiments are in particular the dependent claims.
  • the object is achieved by a method for image recording, in which a rolling shutter image sensor is switched completely sensitive, a shutter is opened, then the shutter is closed and the image sensor is read line by line with the shutter closed.
  • This method has the advantage that all individual sensor elements or sensor cells of the image sensor are sensitive or can be exposed at the same time for light absorption by the complete sensitivity switching of the image sensor and by closing the shutter all individual sensor elements receive light for the same period of time can be exposed.
  • the image sensor is a rolling shutter image sensor comprises, in particular, that it operates or can be operated according to the rolling shutter method.
  • the charge transfer is performed by the sensor elements with a time delay, line by line.
  • the fact that the rolling shutter image sensor is switched completely sensitive means that all the sensor elements are switched at the same time sensitive.
  • all sensor elements are switched sensitive at the same time, for example by performing the reset or the erase for all sensor elements simultaneously. This may for example be the case when the image sensor is operable in the global start mode, but now no flash is needed.
  • the image sensor can therefore work or be operable according to the rolling shutter method with the global start mode.
  • the sensitive switching before, during or even after the opening of the closure can be performed.
  • the order of the method steps that the image sensor is switched completely sensitive and that the shutter is opened, so in principle is not fixed.
  • Under a closure in particular a light-tight, mechanically movable element is referred to, which lies in the camera in the beam path in front of the image sensor.
  • the shutter will open for the duration of the preset shutter speed at which the light hits the image sensor.
  • the closure can be actuated electrically, wherein it opens, for example, when it is energized and is closed when it is not energized (and thus in its idle state).
  • the rolling shutter image sensor is in particular a digital image sensor. It is an embodiment that the rolling shutter image sensor is a CMOS sensor.
  • a CMOS sensor is particularly inexpensive and also readable line by line.
  • the line-by-line reading can also be a column-by-column read-out.
  • the shutter is opened simultaneously with the sensitive switching of the image sensor (in particular rolling shutter image sensor with global start mode).
  • the image sensor in particular rolling shutter image sensor with global start mode.
  • the image sensor in particular rolling shutter image sensor with global-start mode
  • all of its individual sensor elements is directly (ie without deliberate delay) after opening the lock, be sensitive.
  • an opening movement of the shutter is not absorbed by the image sensor.
  • the sensor elements can also be switched sensitive before opening the shutter. Since no light reaches the sensor cells in the time between the sensitive switching and the opening of the shutter, this development is also suitable for providing sharp images of moving objects by means of a rolling shutter image sensor.
  • the rolling shutter image sensor can do without the global start mode. It is a further embodiment that the charge transfer and the readout of the image sensor are delayed with respect to a signal for closing the shutter. This ensures that a closing movement of the shutter is not absorbed by the image sensor.
  • the opening of the shutter and the sensitivity switching of the image sensor after a triggering or triggering of the method are specifically delayed, e.g. for 3 ms.
  • the beginning of the opening of the shutter and the sensitive switching can be set particularly accurately.
  • the field of application of the method is basically not limited and may be e.g. for image capturing interiors of household appliances, in particular refrigerators (e.g., a refrigerator and / or a freezer), in industrial facilities (e.g., for monitoring production lines), in vehicles, etc.
  • refrigerators e.g., a refrigerator and / or a freezer
  • industrial facilities e.g., for monitoring production lines
  • in vehicles etc.
  • the object is also achieved by a camera with a line-wise charge-transferring and readable image sensor ("rolling shutter image sensor”) and with a shutter, wherein the camera is designed to carry out the method as described above.
  • the camera can be formed analogously to the method, and vice versa, and gives the same advantages.
  • the camera has a shutterless, equipped with the rolling shutter image sensor camera module, which is housed in a provided with a light passage opening and otherwise light-tight housing, and that the closure is inserted into the light passage opening.
  • the camera module may have a so-called "imager" or be an imager.
  • the imager has, in addition to the actual image sensor, at least one electronic unit for operating the image sensor and a memory for storing at least one recorded image.
  • the electronics of the imager may e.g. Sensitize and read the sensor elements.
  • the camera module may further include a digital signal processor coupled to the imager and, for example, image processing the image generated by the imager. can perform data.
  • the digital signal processor can set certain modes and settings of the imager and control the imager.
  • the camera module may also have at least one interface for e.g. to connect to an external unit such as a central control unit, a trip device, a network, etc.
  • an external unit such as a central control unit, a trip device, a network, etc.
  • the camera module and the shutter are different components of the camera, especially independently installed components.
  • the camera can be provided for installation in a household appliance, in particular a cooling device (CiF), "camera-in-fridge".
  • the camera can be provided in particular for installation on a door of the household appliance with a view into a utility space and / or for installation on a body of the household appliance with an inside view of the door. If, for example, every time the door is opened and / or closed, at least one receptacle is made of the useful space of the household appliance and / or the inside of the door, the changes between different images or images that arise in the course of using the household appliance can be based on a change Setting of goods in the household appliance and on a corresponding removal of the goods are returned. This information can be further processed for different purposes.
  • the field of application of the camera is not limited thereto but may be used for industrial equipment, vehicles, etc.
  • the image or recording created by the camera can be transmitted to an image processing device.
  • the image processing device is located in the household appliance or outside the household appliance, for example in on an external server.
  • the object is further achieved by a household cooling device (eg a refrigerator and / or a freezer), comprising: at least one usable space closable by a door, at least one camera and a triggering device, which is adapted to at least one camera reaching at least one predetermined angular position of the door trigger.
  • the triggering device has a corresponding angle sensor (eg a Hall sensor) or is connected to an angle sensor which generates a signal when the at least one predetermined angular position is reached.
  • the triggering device can then output a trigger signal to the at least one camera for triggering the image acquisition (including, if necessary, for opening and closing the shutter).
  • the trigger signal causes, for example, that the sensor elements are deleted and thus are made sensitive or exposing or are.
  • the household refrigerator may have a screen on the door to display at least one image taken by the at least one camera.
  • FIG. 1 shows a sectional view in plan view of a refrigerator with a in a
  • FIG. 3 shows a diagram for the sequence of a method for image acquisition by the camera arranged in the door of the refrigerator.
  • 1 shows a sectional illustration in plan view of a household cooling device in the form of a refrigerator K with a working space N, whose front-side charging opening B can be closed by means of a pivotable door T.
  • a camera 1 is arranged, which may also be referred to as a CiF arrangement.
  • a camera can be arranged on the body, which is directed to the inside of the door T (o. Fig.).
  • the refrigerator K further comprises a serving as a triggering device control device W, which is adapted to trigger the camera 1 in an opening and / or closing operation of the door T with reaching a predetermined ("triggering") angular position ⁇ the door T.
  • the control device W can, for example, an angle sensor (not shown). or be connected to an angle sensor which outputs a signal upon reaching the tripping angular position ⁇ , for example a magnetic sensor such as a Hall sensor, a switch, etc.
  • the camera 1 is arranged in the door T so that it is in the tripping angular position ⁇ or even a short time later in the usable space N is addressed. Then the field of view of the camera 1 is directed in other words to the work space N. When the camera 1 is triggered, it can take at least one image of the useful space N or record at least one image of the usable space N.
  • Images taken by the camera 1 can be transmitted to the control device W, for example via a USB interface.
  • the controller W may transmit the images wirelessly or by wire to an image processing device (not shown), e.g. in a cloud or on a dedicated server.
  • the camera 1 shows the camera 1 in a sectional view.
  • the camera 1 has a housing 2, in which a shutterless camera module 3 is housed.
  • the camera module 3 has an imager 4 with a rolling shutter CMOS image sensor 5 and electronics 6.
  • the CMOS image sensor 5 can be read by the electronics 6 line by line.
  • the camera module 3 can be preceded by an optical system 7.
  • the camera module 3 is directed through a light passage opening 8 of the housing 2.
  • a shutter 9 is inserted. If the shutter 9 is closed, no light penetrates through the light passage opening 8 to the CMOS image sensor 5 of the camera module 3.
  • the camera 1 further has a controller 10 which controls the shutter 9 and the imager 4.
  • the controller 10 may be coupled to the controller W via an interface (not shown, such as a USB interface) of the camera 1, as shown.
  • the controller can also be functionally integrated into the electronics 6.
  • FIG. 3 shows a diagram of a possible sequence of a method for image acquisition by the camera 1.
  • the opening of the shutter 9 is effected by applying an electrical signal S1 (e.g., a voltage) to the shutter 9, which is closed in its rest position.
  • S1 e.g., a voltage
  • CMOS image sensor 5 or its individual sensor elements can be carried out by means of the electronics 6.
  • the time duration t1 - t0 can be predetermined by a switching inertia and / or be set specifically. It can e.g. three milliseconds.
  • the shutter 7 is closed again at a time t2> t1 by no longer applying the electrical signal S1 to the shutter 7. Therefore, for a ("exposure") time period t2-t1, all individual sensor elements of the CMOS image sensor 5 are exposed. From the time t2, the individual sensor elements may initially still be connected sensitively, but receive no light in the light-tight housing 2. Therefore, until their charge transfer and readout, they remain in the state given by the exposure time t2 - 11. At a time t3> t2, the electronics 6 begins to transfer the charge of the sensor elements of the rolling shutter CMOS image sensor 5 in a time-delayed manner and to read out line by line.
  • the present invention is not limited to the embodiment shown.
  • the camera 1 can record an image sequence upon reaching a predetermined trigger angle position ⁇ of the door T.
  • a number may include exactly the specified number as well as a usual tolerance range, as long as this is not explicitly excluded.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

Das Verfahren dient zur Bildaufnahme, wobei bei dem Verfahren ein Bildsensor (5) vollständig empfindlich geschaltet wird, ein Verschluss (9) geöffnet wird, dann der Verschluss (9) geschlossen wird und der Bildsensor (5) bei geschlossenem Verschluss (9) zeilenweise ausgelesen wird. Eine Kamera (1) mit einem zeilenweise auslesenden Bildsensor (5) und einem Verschluss (9), ist zum Durchführen des Verfahrens ausgebildet. Ein Haushaltskühlgerät (K) weist mindestens einen durch eine Tür (T) verschließbaren Nutzraum (N), eine in der Tür (T) angeordnete Kamera (1) und eine Auslösevorrichtung (W), die dazu eingerichtet ist, die Kamera (1) mit Erreichen mindestens einer vorgegebenen Winkelstellung (φ) der Tür (T) auszulösen auf. Die Erfindung ist besonders vorteilhaft anwendbar auf Bildaufnahmen eines Nutzraums eines Haushaltsgeräts, insbesondere eines Kühlschranks (CiF; "Camera-in-Fridge"). Die Erfindung ist besonders vorteilhaft anwendbar auf in einer Tür des Kühlschranks verbaute Kameras.

Description

Verfahren zur Bildaufnahme, Kamera und Haushaltskühlgerät
Die Erfindung betrifft ein Verfahren zur Bildaufnahme. Die Erfindung betrifft auch eine Kamera mit einem Rolling-Shutter-Bildsensor und einem Verschluss. Die Erfindung ist besonders vorteilhaft anwendbar auf Bildaufnahmen eines Innenraums eines Haushaltsgeräts, insbesondere eines Kühlschranks (CiF; "Camera-in-Fridge"). Die Erfindung ist besonders vorteilhaft anwendbar auf in einer Tür des Kühlschranks verbaute Kameras.
Eine Bildaufnahme eines Bildsensors mit mehreren (z.B. 640 x 480) Sensorzellen oder Sensorelementen gliedert sich typischerweise in vier Phasen: (a) Löschen ("Reset") der Sensorelemente, (b) Belichten der Sensorelemente, (c) Ladungstransfer auf dem Bildsensor und (d) zeilenweises zeitversetztes Auslesen der Daten. Während des Auslesens dürfen die Sensorelemente nicht weiter belichtet werden. Dabei kommen elektronische Shutter- Verfahren zum Einsatz. Je nach Sensortyp wird entweder das sog. "Rolling- Shutter- "Verfahren oder das sog. "Global-Shutter-'Verfahren eingesetzt.
Beim Global-Shutter-Verfahren erfolgt das Löschen und das daran anschließende Belichten bzw. Empfindlichstellen aller Sensorelemente gleichzeitig. Zum Ende der Belichtung wird für alle Sensorelemente gleichzeitig ein Ladungstransfer vollzogen, durch den die Belichtung für alle Sensorelemente gleichzeitig beendet wird. Das Auslesen der einzelnen Zeilen von Sensorelementen erfolgt dann separat, z.B. aufeinanderfolgend zeilenweise. Das gleichzeitige Belichten aller Sensorelemente und damit auch aller Zeilen hat den Vorteil, dass das Abbild eines bewegten Objektes verzerrungsfrei wiedergegeben wird. Bildsensoren, die mit dem Global-Shutter-Verfahren arbeiten, sind jedoch komplexer aufge- baut als Rolling-Shutter-Bildsensoren.
Beim Rolling-Shutter-Verfahren erfolgen das Löschen, das Belichten, der Ladungstransfer und das Auslesen des Bildsensors meist zeilenweise leicht versetzt. Da hierdurch zwischen der Belichtung aufeinanderfolgender Sensorzeilen ein Zeitversatz entsteht, wird das Abbild eines bewegten Objektes verzerrt dargestellt.
Manche Rolling-Shutter-Bildsensoren können in einem sog. "Global-Start-Modus" betrieben werden, bei dem das Löschen und das anschließende Belichten aller Sensorelemente und damit auch aller Sensorzeilen gleichzeitig gestartet wird, während der Ladungs- transfer und das Auslesen weiterhin zeilenweise versetzt geschieht. Daher ergibt sich von ausgelesener Zeile zu folgender ausgelesener Zeile eine verlängerte Belichtungszeit. Insbesondere um eine ungleichmäßige Verteilung der Bildhelligkeit, aber ggf. auch eine Bildverzerrung vermeiden, wird mit dem für alle Zeilen gleichen Beginn der Belichtung ein Blitz verwendet werden, der nicht länger dauert als die Belichtungsdauer der ersten aus- gelesenen Zeile. Außerhalb der Blitzdauer sollte hingegen kein Licht auf den Bildsensor gelangen. Folglich eignet sich der Global-Start-Modus insbesondere für Aufnahmen in der Dunkelheit (z.B. Nachtaufnahmen) unter Einsatz eines Blitzes.
Insbesondere preiswerte Kameras mit einem CMOS-Bildsensor nutzen üblicherweise das Rolling-Shutter-Verfahren.
Dies ist beispielsweise auch bei Kameras der Fall, die in einem Kühlschranks verbaut sind und in der Regel bei jedem Öffnungs- und/oder Schließvorgang der Tür ein Bild des Innenraums des Kühlschranks aufnehmen, z.B. von Lebensmitteln oder sonstigen Gegen- ständen, die sich gerade im Kühlschrank befinden. Der Innenraum kann der Nutzraum des Kühlschranks und/oder eine Innenseite der Tür sein. Durch die typisch erweise hohe Winkelgeschwindigkeit bei Öffnen der Tür kommt es dabei zu einer Bildverzerrung, die eine Nutzung des aufgenommenen Bilds z.B. für eine Objekterkennung erheblich erschwert.
Es ist die Aufgabe der vorliegenden Erfindung, die Nachteile des Standes der Technik zumindest teilweise zu überwinden und insbesondere eine preiswertere Möglichkeit zur scharfen Bildaufnahme von sich bewegenden Objekten mittels eines Rolling-Shutter- Bildsensors bereitzustellen, insbesondere für Kühlgeräte, insbesondere Kühlschränke, insbesondere Haushalts-Kühlgeräte.
Diese Aufgabe wird gemäß den Merkmalen der unabhängigen Ansprüche gelöst. Bevorzugte Ausführungsformen sind insbesondere den abhängigen Ansprüchen entnehmbar. Die Aufgabe wird gelöst durch ein Verfahren zur Bildaufnahme, bei dem ein Rolling- Shutter-Bildsensor vollständig empfindlich geschaltet wird, ein Verschluss geöffnet wird, dann der Verschluss geschlossen wird und der Bildsensor bei geschlossenem Verschluss zeilenweise ausgelesen wird. Dieses Verfahren ergibt den Vorteil, dass durch die vollständige Empfindlichschaltung des Bildsensors alle einzelnen Sensorelemente oder Sensorzellen des Bildsensors gleichzeitig für eine Lichtaufnahme empfindlich sind bzw. belichtet werden können und durch das Schließen des Verschlusses auch alle einzelnen Sensorelemente für die gleiche Zeitdau- er Licht empfangen bzw. belichtet werden können. Bei geschlossenem Verschluss kann zeilenweise zeitversetzt ein Ladungstransfer von den Sensorelementen durchgeführt werden und können diese dann auch zeilenweise zeitversetzt ausgelesen werden, ohne dass dies zu einem Lagefehler oder zu einer ungleichmäßigen Verteilung der Bildhelligkeit führt. Somit kann bei geringer Belichtungszeit ein scharfes Bild auch mit einem preiswer- ten Bildsensor, der nach dem Rolling-Shutter-Verfahren arbeitet, und mit einem preiswerten Verschluss erlangt werden.
Dass der Bildsensor ein Rolling-Shutter-Bildsensor ist, umfasst insbesondere, dass er nach dem Rolling-Shutter-Verfahren arbeitet oder betreibbar ist. Bei dem Rolling-Shutter- Bildsensor wird im Gegensatz zu einem Global-Shutter-Bildsensor der Ladungstransfer von den Sensorelementen zeilenweise zeitversetzt durchgeführt.
Dass der Rolling-Shutter-Bildsensor vollständig empfindlich geschaltet wird, umfasst insbesondere, dass alle Sensorelemente gleichzeitig empfindlich geschaltet sind. Dabei ist es grundsätzlich möglich, die Sensorelemente zeitversetzt - z.B. Zeile für Zeile - empfindlich zu schalten, solange dieses Empfindlichschalten nur zu einem vorgegebenen Zeitpunkt (z.B. vor oder mit mit dem Öffnen des Verschlusses) beendet ist und dann alle Sensorelemente gleichzeitig belichtet werden können. Es ist eine alternative Weiterbildung, dass alle Sensorelemente zu dem gleichen Zeitpunkt empfindlich geschaltet werden, beispielsweise indem der Reset bzw. das Löschen für alle Sensorelemente gleichzeitig durchgeführt wird. Dies kann beispielsweise der Fall sein, wenn der Bildsensor in dem Global-Start-Modus betreibbar ist, wobei nun jedoch kein Blitz benötigt wird. Der Bildsensor kann also nach dem Rolling-Shutter-Verfahren mit dem Global-Start-Modus arbeiten oder betreibbar sein. In dieser Weiterbildung kann das Empfindlichschalten vor, während oder auch nach dem Öffnen des Verschlusses durchgeführt werden. Die Reihenfolge der Verfahrensschritte, dass der Bildsensor vollständig empfindlich geschaltet wird und dass der Verschluss geöffnet wird, ist also grundsätzlich nicht festgelegt. Unter einem Verschluss wird insbesondere ein lichtdichtes, mechanisch bewegliches Element bezeichnet, das bei der Kamera im Strahlengang vor dem Bildsensor liegt. Während der Belichtungszeit wird der Verschluss für die Dauer der voreingestellten Verschlusszeit geöffnet, in der das Licht auf den Bildsensor trifft. Der Verschluss ist insbe- sondere elektrisch betätigbar, wobei er z.B. bei einer Bestromung öffnet und unbestromt (und damit in seinem Ruhezustand) geschlossen ist.
Der Rolling-Shutter-Bildsensor ist insbesondere ein digitaler Bildsensor. Es ist eine Ausgestaltung, dass der Rolling-Shutter-Bildsensor ein CMOS-Sensor ist. Ein CMOS-Sensor sich besonders preiswert und zudem zeilenweise auslesbar.
Das zeilenweise Auslesen kann auch ein spaltenweises Auslesen sein.
Es ist eine insbesondere für den Fall, dass alle Sensorelemente zu dem gleichen Zeit- punkt empfindlich geschaltet werden, vorteilhafte Ausgestaltung, dass der Verschluss gleichzeitig mit dem Empfindlichschalten des Bildsensors (insbesondere Rolling-Shutter- Bildsensors mit Global-Start-Modus) geöffnet wird. So lässt sich eine Zeitverzögerung zwischen einem Auslösen des Verfahrens und einer Bildaufnahme besonders kurz gestaltet.
Es ist noch eine insbesondere für den Fall, dass alle Sensorelemente zu dem gleichen Zeitpunkt empfindlich geschaltet werden, vorteilhafte Ausgestaltung, dass der Bildsensor (insbesondere Rolling-Shutter-Bildsensor mit Global-Start-Modus) bzw. alle seine einzelnen Sensorelemente unmittelbar (d.h., ohne gezielte Verzögerung) nach Öffnen des Ver- Schlusses empfindlich geschaltet werden. So kann sichergestellt werden, dass eine Öffnungsbewegung des Verschlusses nicht durch den Bildsensor aufgenommen wird.
Jedoch können die Sensorelemente auch vor dem Öffnen des Verschlusses empfindlich geschaltet werden. Da in der Zeit zwischen dem Empfindlichschalten und dem Öffnen des Verschlusses kein Licht zu den Sensorzellen gelangt, ist diese Weiterbildung auch dazu geeignet, mittels eines Rolling-Shutter-Bildsensors scharfe Bilder von sich bewegenden Objekten bereitzustellen. Der Rolling-Shutter-Bildsensor kann hierbei auf den Global- Start-Modus verzichten. Es ist eine weitere Ausgestaltung, dass der Ladungstransfer und das Auslesen des Bildsensors gegenüber einem Signal zum Schließen des Verschlusses verzögert werden. So kann sichergestellt werden, dass eine Schließbewegung des Verschlusses nicht durch den Bildsensor aufgenommen wird.
Es ist noch eine weitere Ausgestaltung, dass das Öffnen des Verschlusses und das Empfindlichschalten des Bildsensors nach einem Auslösen oder Triggern des Verfahrens gezielt verzögert werden, z.B. für 3 ms. So kann der Beginn des Öffnens des Verschlusses und des Empfindlichschaltens besonders genau eingestellt werden.
Das Anwendungsgebiet des Verfahrens ist grundsätzlich nicht beschränkt und kann z.B. zur Bildaufnahme von Innenräumen von Haushaltsgeräten, insbesondere Kühlgeräten (z.B. eines Kühlschranks und/oder einer Kühltruhe), in industriellen Anlagen (z.B. zur Überwachung von Fertigungslinien), in Fahrzeugen usw. verwendet werden.
Die Aufgabe wird auch gelöst durch eine Kamera mit einem zeilenweisen ladungstransfe- rierenden und auslesbaren Bildsensor ("Rolling-Shutter-Bildsensor") und mit einem Verschluss, wobei die Kamera zum Durchführen des Verfahrens wie oben beschrieben ausgebildet ist. Die Kamera kann analog zu dem Verfahren ausgebildet werden, und umge- kehrt, und ergibt die gleichen Vorteile.
Es eine Ausgestaltung davon, dass die Kamera ein verschlussloses, mit dem Rolling- Shutter-Bildsensor ausgestattetes Kameramodul aufweist, das in einem mit einer Lichtdurchtrittsöffnung versehenen und ansonsten lichtdichten Gehäuse untergebracht ist, und dass der Verschluss in die Lichtdurchtrittsöffnung eingesetzt ist.
Das Kameramodul kann einen sog. "Imager" aufweisen oder ein Imager sein. Der Imager weist neben dem eigentlichen Bildsensor zumindest eine Elektronik zum Betreiben des Bildsensors und einen Speicher zum Speichern mindestens eines aufgenommenen Bilds auf. Die Elektronik des Imagers kann z.B. die Sensorelemente empfindlichstellen und auslesen.
Das Kameramodul kann ferner einen digitalen Signalprozessor aufweisen, der mit dem Imager gekoppelt ist und z.B. eine Bildverarbeitung der von dem Imager erzeugten Bild- daten durchführen kann. Der digitale Signalprozessor kann z.B. bestimmte Modi und Einstellungen des Imagers einstellen und den Imager steuern.
Das Kameramodul kann zudem mindestens eine Schnittstelle aufweisen, um es z.B. mit einer externen Einheit wie einer zentralen Steuereinheit, einer Auslösevorrichtung, einem Netzwerk usw. zu verbinden.
Das Kameramodul und der Verschluss sind unterschiedliche Komponenten der Kamera, insbesondere eigenständig verbaute Komponenten.
Die Kamera kann zum Einbau in einem Haushaltsgerät, insbesondere Kühlgerät (CiF; "Camera-in-Fridge"), vorgesehen sein. Die Kamera kann insbesondere zum Einbau an eine Tür des Haushaltsgeräts mit Blick in einen Nutzraum und/oder zum Einbau an einem Korpus des Haushaltsgeräts mit Blick auf eine Innenseite der Tür vorgesehen sein. Wird dabei beispielsweise mit jedem Öffnen und/oder Schließen der Tür mindestens eine Aufnahme von dem Nutzraum des Haushaltsgeräts und/oder von der Türinnenseite gemacht, so kann anhand der Veränderungen zwischen unterschiedlichen Bildern oder Aufnahmen, die im Verlauf der Benutzung des Haushaltsgeräts entstehen, auf ein Einstellen von Waren in das Haushaltsgerät und auf ein entsprechendes Entnehmen der Waren rückge- schlössen werden. Diese Information kann für unterschiedliche Zwecke weiterverarbeitet werden.
Jedoch ist das Anwendungsgebiet der Kamera nicht darauf beschränkt, sondern kann auch für industrielle Anlagen, für Fahrzeuge usw. verwendet werden.
Das von der Kamera erstellte Bild bzw. Aufnahme kann an eine Bildverarbeitungseinrichtung übertragen werden. Die Bildverarbeitungseinrichtung sich in dem Haushaltsgerät oder außerhalb des Haushaltsgeräts befinden, z.B. in auf einem externen Server. Die Aufgabe wird ferner gelöst durch ein Haushaltskühlgerät (z.B. einen Kühlschrank und/oder eine Kühltruhe), das aufweist: mindestens einen durch eine Tür verschließbaren Nutzraum, mindestens eine Kamera und eine Auslösevorrichtung, die dazu eingerichtet ist, die mindestens eine Kamera mit Erreichen mindestens einer vorgegebenen Winkelstellung der Tür auszulösen. Es ist eine Ausgestaltung, dass die Auslösevorrichtung einen entsprechenden Winkelsensor (z.B. einen Hall-Sensor) aufweist oder mit einem Winkelsensor verbunden ist, der bei Erreichen der mindestens einen vorgegebenen Winkelstellung ein Signal erzeugt. Die Auslösevorrichtung kann daraufhin ein Triggersignal an die mindestens eine Kamera zum Auslösen der Bildaufnahme (ggf. einschließlich zum Öffnen und Schließen des Verschlusses) ausgeben.
Das Triggersignal bewirkt beispielsweise, dass die Sensorelemente gelöscht werden und damit auch empfindlich bzw. belichtend gestellt werden oder sind.
Das Haushaltskühlgerät kann an der Tür einen Bildschirm aufweisen, um mindestens ein von der mindestens einen Kamera aufgenommenes Bild darzustellen.
Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden schematischen Beschreibung eines Ausführungsbeispiels, das im Zusammenhang mit den Zeichnungen näher erläutert wird.
Fig.1 zeigt als Schnittdarstellung in Draufsicht einen Kühlschrank mit einer in einer
Tür angeordneten Kamera;
Fig.2 zeigt die Kamera in Schnittdarstellung; und
Fig.3 zeigt ein Diagramm zum Ablauf eines Verfahrens zur Bildaufnahme durch die in der Tür des Kühlschranks angeordnete Kamera. Fig.1 zeigt als Schnittdarstellung in Draufsicht ein Haushaltskühlgerät in Form eines Kühlschranks K mit einem Nutzraum N, dessen vorderseitige Beschickungsöffnung B mittels einer verschwenkbaren Tür T verschließbar ist. In der Tür T ist eine Kamera 1 angeordnet, was auch als eine CiF-Anordnung bezeichnet werden kann. Zusätzlich kann auch an dem Korpus eine Kamera angeordnet sein, die auf die Innenseite der Tür T gerichtet ist (o. Abb.).
Der Kühlschrank K weist ferner eine aus als Auslösevorrichtung dienenden Steuereinrichtung W auf, die dazu eingerichtet ist, die Kamera 1 bei einem Öffnungs- und/oder Schließvorgang der Tür T mit Erreichen einer vorgegebenen ("Auslöse-")Winkelstellung φ der Tür T auszulösen. Die Steuereinrichtung W kann z.B. einen Winkelsensor (o. Abb.) aufweisen oder mit einem Winkelsensor verbunden sein, der mit Erreichen der Auslöse- Winkelstellung φ ein Signal ausgibt, beispielsweise einen magnetischen Sensor wie einen Hallsensor, einen Schalter usw. Die Kamera 1 ist so in der Tür T angeordnet, dass sie in der Auslöse-Winkelstellung φ oder auch noch kurze Zeit später in den Nutzraum N gerichtet ist. Dann ist das Blickfeld der Kamera 1 in anderen Worten auf den Nutzraum N gerichtet. Mit Auslösen der Kamera 1 kann diese mindestens eine Bildaufnahme von dem Nutzraum N machen bzw. mindestens ein Bild von dem Nutzraum N aufnehmen.
Von der Kamera 1 aufgenommene Bilder können auf die Steuereinrichtung W übertragen werden, beispielsweise über eine USB-Schnittstelle. Die Steuereinrichtung W kann die Bilder drahtlos oder drahtgebunden an eine Bildverarbeitungseinrichtung (o. Abb.) übertragen, die sich z.B. in einer Cloud oder auf einem dedizierten Server befindet.
Fig.2 zeigt die Kamera 1 in Schnittdarstellung. Die Kamera 1 weist ein Gehäuse 2 auf, in dem ein verschlussloses Kameramodul 3 untergebracht ist. Das Kameramodul 3 weist einen Imager 4 mit einem Rolling-Shutter-CMOS-Bildsensor 5 und einer Elektronik 6 auf. Der CMOS-Bildsensor 5 ist mittels der Elektronik 6 zeilenweise auslesbar. Dem Kamera- modul 3 kann eine Optik 7 vorgeschaltet sein.
Das Kameramodul 3 ist durch eine Lichtdurchtrittsöffnung 8 des Gehäuses 2 gerichtet. In die Lichtdurchtrittsöffnung 8 ist ein Verschluss 9 eingesetzt. Ist der Verschluss 9 geschlossen, dringt kein Licht durch die Lichtdurchtrittsöffnung 8 auf den CMOS-Bildsensor 5 des Kameramoduls 3. Die Kamera 1 weist ferner eine Steuerung 10 auf, welche den Verschluss 9 und den Imager 4 steuert. Die Steuerung 10 kann über eine Schnittstelle (o. Abb., z.B. eine USB-Schnittstelle) der Kamera 1 wie gezeigt mit der Steuereinrichtung W gekoppelt sein. Die Steuerung kann aber auch funktional in die Elektronik 6 integriert sein.
Fig.3 zeigt ein Diagramm zu einem möglichen Ablauf eines Verfahrens zur Bildaufnahme durch die Kamera 1 . Öffnet ein Nutzer die Tür T (wobei die Tür T typischerweise in ca. einer Sekunde um 90° verschwenkt wird) und erreicht diese die Auslöse-Winkelstellung φ, wird mittels des Winkelsensors von der Steuereinrichtung W zum einem Zeitpunkt tO ein elektrisches Signal SO (das auch als Auslöse- oder Triggersignal SO bezeichnet werden kann) an die Steuerung 10 ausgegeben. Die Steuerung 10 öffnet daraufhin zu einem etwas späteren Zeitpunkt t1 praktisch gleichzeitig den Verschluss 7 und schaltet (nach einem Löschen oder "Resetten") zudem alle einzelnen Sensorelemente des CMOS- Bildsensors 5 zur Lichtaufnahme empfindlich. Vorteilhafterweise sind mit Öffnen des Ver- Schlusses 9 bereits alle Sensorelemente empfindlich geschaltet.
Das Öffnen des Verschlusses 9 wird durch ein Anlegen eines elektrischen Signals S1 (z.B. einer Spannung) an den Verschluss 9 bewirkt, der in seiner Ruhestellung geschlossen ist. Der Verschluss 9 lässt sich praktisch verzögerungsfrei öffnen.
Das Empfindlichschalten des CMOS-Bildsensors 5 bzw. seiner einzelnen Sensorelemente kann mittels der Elektronik 6 ausgeführt werden.
Die Zeitdauer t1 - tO kann durch eine Schaltträgheit vorgegeben sein und/oder gezielt eingestellt sein. Sie kann z.B. drei Millisekunden betragen.
Der Verschluss 7 wird zu einem Zeitpunkt t2 > t1 wieder geschlossen, indem das elektrische Signal S1 nicht mehr an den Verschluss 7 angelegt wird. Daher werden für eine ("Belichtungs-") Zeitdauer t2 - t1 alle einzelnen Sensorelemente der CMOS-Bildsensors 5 belichtet. Ab dem Zeitpunkt t2 können die einzelnen Sensorelemente zunächst immer noch empfindlich geschaltet sein, empfangen aber in dem lichtdichten Gehäuse 2 kein Licht mehr. Daher bleiben sie bis zu ihrem Ladungstransfer und Auslesen in dem Zustand, welcher durch die Belichtungszeitdauer t2 - 11 vorgegeben ist. Zu einem Zeitpunkt t3 > t2 beginnt die Elektronik 6, die Ladung der Sensorelemente des Rolling-Shutter-CMOS-Bildsensors 5 zeilenweise zeitversetzt zu transferieren und zeilenweise auszulesen. Da nach dem Schließen des Verschlusses 9 kein Licht mehr auf den CMOS-Bildsensor 5 fällt, treten auch keine aus der Bewegung der Tür T resultierenden Bildfehler auf. Das aufgenommene und ausgelesene Bild ist sehr scharf. Mit Abschluss des Auslesevorgangs zu einem Zeitpunkt t4 > t3 ist die Kamera 1 wieder einsatzbereit.
Selbstverständlich ist die vorliegende Erfindung nicht auf das gezeigte Ausführungsbeispiel beschränkt. So kann die Kamera 1 mit Erreichen einer vorgegebenen Auslöse-Winkelstellung φ der Tür T eine Bildfolge aufnehmen.
Allgemein kann unter "ein", "eine" usw. eine Einzahl oder eine Mehrzahl verstanden werden, insbesondere im Sinne von "mindestens ein" oder "ein oder mehrere" usw., solange dies nicht explizit ausgeschlossen ist, z.B. durch den Ausdruck "genau ein" usw.
Auch kann eine Zahlenangabe genau die angegebene Zahl als auch einen üblichen Toleranzbereich umfassen, solange dies nicht explizit ausgeschlossen ist.
Bezugszeichenliste
1 Kamera
2 Gehäuse
3 Kameramodul
4 Imager
5 CMOS-Bildsensor
6 Elektronik
7 Optik
8 Lichtdurchtrittsöffnung
9 Verschluss
10 Steuerung
B Beschickungsöffnung
K Kühlschrank
N Nutzraum
SO Triggersignal
S1 Elektrisches Signal an den Verschluss
S2 Auslesevorgang
T Tür
t0-t4 Zeitpunkt
W Steuereinrichtung
φ Auslöse- Winkelstellung

Claims

PATENTANSPRÜCHE
Verfahren zur Bildaufnahme, bei dem
ein Rolling-Shutter-Bildsensor (5) vollständig empfindlich geschaltet wird, ein Verschluss (9) geöffnet wird,
dann der Verschluss (9) geschlossen wird und
der Rolling-Shutter-Bildsensor (5) bei geschlossenem Verschluss (9) zeilenweise ausgelesen wird.
Verfahren nach Anspruch 1 , bei dem der Verschluss (9) gleichzeitig mit dem Empfindlichschalten des Bildsensors (5) geöffnet wird.
Verfahren nach Anspruch 1 , bei dem der Bildsensor (5) unmittelbar nach Öffnen des Verschlusses (9) empfindlich geschaltet wird.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem das Auslesen des Bildsensors (5) gegenüber einem Signal zum Schließen des Verschlusses verzögert wird.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem das Öffnen des Verschlusses (9) und das Empfindlichschalten des Bildsensors (5) nach einem Auslösen (SO) des Verfahrens verzögert werden.
Kamera (1 ) mit einem Rolling-Shutter-Bildsensor (5) und einem Verschluss (9), dadurch gekennzeichnet, dass die Kamera (1 ) zum Durchführen des Verfahrens nach einem der vorhergehenden Ansprüche ausgebildet ist.
Kamera (1 ) nach Anspruch 6, dadurch gekennzeichnet, dass
die Kamera (1 ) ein verschlussloses, mit dem Bildsensor (5) ausgestattetes Kameramodul (3) aufweist, das in einem mit einer Lichtdurchtrittsöffnung (8) versehenen und ansonsten lichtdichten Gehäuse (2) untergebracht ist, und dass
der Verschluss (9) in die Lichtdurchtrittsöffnung (8) eingesetzt ist. Kamera (1 ) nach einem der Ansprüche 6 oder 7, dadurch gekennzeichnet, dass der Bildsensor (5) ein CMOS-Sensor ist.
Haushaltskühlgerät (K) mit einer Tür (T), aufweisend
mindestens eine Kamera (1 ) nach einem der Ansprüche 7 oder 8 und eine Auslösevorrichtung (W), die dazu eingerichtet ist, die Kamera (1 ) mit Erreichen mindestens einer vorgegebenen Winkelstellung (φ) der Tür (T) auszulösen.
PCT/EP2016/064488 2015-07-22 2016-06-23 Verfahren zur bildaufnahme, kamera und haushaltskühlgerät WO2017012817A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015213779.1A DE102015213779A1 (de) 2015-07-22 2015-07-22 Verfahren zur Bildaufnahme, Kamera und Haushaltskühlgerät
DE102015213779.1 2015-07-22

Publications (1)

Publication Number Publication Date
WO2017012817A1 true WO2017012817A1 (de) 2017-01-26

Family

ID=56203372

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2016/064488 WO2017012817A1 (de) 2015-07-22 2016-06-23 Verfahren zur bildaufnahme, kamera und haushaltskühlgerät

Country Status (2)

Country Link
DE (1) DE102015213779A1 (de)
WO (1) WO2017012817A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021214690A1 (de) 2021-12-20 2023-06-22 BSH Hausgeräte GmbH Aufnehmen von Bildern aus einem Haushalts-Kältegerät

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1030521A1 (de) * 1999-02-19 2000-08-23 Aktiebolaget Electrolux (publ) Vorrichtung und Verfahren zur Anzeige des Inhalts eines Schranks
EP1677514A2 (de) * 2005-01-04 2006-07-05 Sony Corporation Bildaufnahmevorrichtung und Bildaufnahmeverfahren
US20080122969A1 (en) * 2006-11-27 2008-05-29 Nokia Corporation Determination of mechanical shutter exposure time
EP1995950A1 (de) * 2006-03-14 2008-11-26 Sony Corporation Bildgebungsvorrichtung
US20120218450A1 (en) * 2011-02-24 2012-08-30 Flextronics Ap, Llc Autofocus-Zoom Camera Module Integrating Liquid Crystal Device as High Speed Shutter
DE102013216764B3 (de) * 2013-08-23 2014-09-04 BSH Bosch und Siemens Hausgeräte GmbH Kältegerät mit einem Kameramodul

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1030521A1 (de) * 1999-02-19 2000-08-23 Aktiebolaget Electrolux (publ) Vorrichtung und Verfahren zur Anzeige des Inhalts eines Schranks
EP1677514A2 (de) * 2005-01-04 2006-07-05 Sony Corporation Bildaufnahmevorrichtung und Bildaufnahmeverfahren
EP1995950A1 (de) * 2006-03-14 2008-11-26 Sony Corporation Bildgebungsvorrichtung
US20080122969A1 (en) * 2006-11-27 2008-05-29 Nokia Corporation Determination of mechanical shutter exposure time
US20120218450A1 (en) * 2011-02-24 2012-08-30 Flextronics Ap, Llc Autofocus-Zoom Camera Module Integrating Liquid Crystal Device as High Speed Shutter
DE102013216764B3 (de) * 2013-08-23 2014-09-04 BSH Bosch und Siemens Hausgeräte GmbH Kältegerät mit einem Kameramodul

Also Published As

Publication number Publication date
DE102015213779A1 (de) 2017-01-26

Similar Documents

Publication Publication Date Title
DE3248419C2 (de)
DE3687877T2 (de) Kamera und verfahren zur bilderzeugung.
DE69922706T2 (de) 3d- bilderzeugungssystem
DE3855466T2 (de) Stehbildvideokamera
DE2366630C2 (de)
EP3325902B1 (de) Betreiben einer kamera eines haushaltsgeräts
DE2424120A1 (de) Belichtungssteuer- bzw. belichtungsregeleinrichtung fuer fotografische apparate
WO2015024735A1 (de) Kältegerät mit einem kameramodul
DE4005041A1 (de) Aktive af-kamera mit fernsteuerungsgeraet
DE10354372A1 (de) Lamellenbetätigungsvorrichtung zur Benutzung in Kameras
DE2623690C3 (de) Kinematografisches oder fotografisches Aufnahme- bzw. Wiedergabegerät
DE2813914C2 (de)
DE4117020A1 (de) Steuervorrichtung fuer einen bildsensor
DE112017003715T5 (de) Digitalkamera und steuerverfahren für eine digitalkamera
DE3225467C2 (de)
WO2017012817A1 (de) Verfahren zur bildaufnahme, kamera und haushaltskühlgerät
DE3441025C2 (de)
DE10210327A1 (de) Digitale Laufbildkamera
DE2030225B2 (de) Einrichtung zur abschirmung eines bildsuchers
DE2424030A1 (de) Belichtungssteuer- bzw. -regeleinrichtung
DE2641520C2 (de) Zusatzauslöseeinrichtung für eine Kamera
DE4026563C2 (de) Steuerungseinrichtung für eine einäugige Spiegelreflexkamera
DE3811176C2 (de)
DE10044746C1 (de) Steuerung für ein elektronisches Gerät zum Empfang elektromagnetischer Wellen, insbesondere Licht
DE3316445A1 (de) Bildaufnahme-einrichtung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16731877

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16731877

Country of ref document: EP

Kind code of ref document: A1