WO2018088238A1 - 画像処理装置および制御方法、並びにプログラム - Google Patents

画像処理装置および制御方法、並びにプログラム Download PDF

Info

Publication number
WO2018088238A1
WO2018088238A1 PCT/JP2017/038848 JP2017038848W WO2018088238A1 WO 2018088238 A1 WO2018088238 A1 WO 2018088238A1 JP 2017038848 W JP2017038848 W JP 2017038848W WO 2018088238 A1 WO2018088238 A1 WO 2018088238A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display
flip
setting
function
Prior art date
Application number
PCT/JP2017/038848
Other languages
English (en)
French (fr)
Inventor
修太郎 萬
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/342,667 priority Critical patent/US20200059608A1/en
Priority to JP2018550140A priority patent/JPWO2018088238A1/ja
Publication of WO2018088238A1 publication Critical patent/WO2018088238A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/18Signals indicating condition of a camera member or suitability of light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H04N5/607Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals for more than one sound signal, e.g. stereo, multilanguages

Definitions

  • the present technology relates to an image processing device, a control method, and a program, and more particularly, to an image processing device, a control method, and a program that can improve usability.
  • the landscape will flow in the same direction in two different fields of view in the half-wide image. It can be used for applications such as driving assistance.
  • the camera when shooting with a camera, depending on the purpose of use, the camera may be shot with your hand, or the camera may be fixed on a car or ceiling, etc. When shooting, the top and bottom of the image and the left and right channels of the audio are reversed.
  • This technology has been made in view of such a situation, and is intended to improve usability.
  • An image processing apparatus includes a setting unit that sets a flip function for turning an image up and down and displaying the display screen based on the setting of the flip function.
  • a control unit configured to control an operation related to the predetermined direction with reference to the display screen when an operation instruction related to the predetermined direction is received.
  • control unit can display the display screen by inverting it vertically.
  • control unit When the flip function is set to ON, the control unit displays the display screen that is inverted in the vertical direction when receiving an operation instruction regarding the upward direction from the external device. As a reference, control can be performed so that an upward operation is performed.
  • the control unit displays the display screen without being flipped in the vertical direction, and receives an operation instruction regarding the upward direction based on the external device from the external device. Then, it is possible to perform control so that an upward operation is performed on the basis of the display screen displayed without being inverted in the vertical direction.
  • the display screen can be a menu screen in which a plurality of menu items are arranged.
  • the control unit When the flip function is set to ON, the control unit displays the menu screen by inverting it vertically, and when receiving an operation instruction related to the predetermined direction from the external device, the control unit relates to the predetermined direction. Based on the operation instruction, the menu item on the menu screen can be selected based on the menu screen highlighted in the up-down direction.
  • control unit When the control unit receives an operation instruction not related to a direction from the external device, the control unit controls the operation not related to the direction to be performed regardless of the setting of the flip function. Can do.
  • the flip function When the flip function is set to ON, the image obtained by shooting is reversed in the vertical direction, the left and right channels of the collected sound obtained by collecting the sound are switched, the vertically inverted display of the display screen, and It is possible to perform at least one of the replacement of the assignment function between the operation units related to different directions.
  • a control method or program sets a flip function for displaying an image by inverting an image in the vertical direction on or off, displays a display screen based on the setting of the flip function, and displays a display screen in a predetermined direction from an external device.
  • the control unit includes a step of performing control so that the operation regarding the predetermined direction is performed on the basis of the display screen.
  • the flip function for inverting and displaying an image in the vertical direction is set on or off, a display screen is displayed based on the setting of the flip function, and an operation instruction regarding a predetermined direction is given from an external device. When received, control is performed so that an operation related to the predetermined direction is performed on the basis of the display screen.
  • FIG. 1 shows a front view of the appearance of the imaging apparatus.
  • the imaging device 11 is composed of a digital camera, for example, and a user who is a photographer can not only take a picture with the imaging device 11 by hand, but also shoot by fixing the imaging device 11 to a bicycle, a ceiling, a wall or the like. You can also do it.
  • a lens 21 that guides light from a subject to an image sensor (not shown) is provided in front of the image pickup apparatus 11. Further, in the drawing of the lens 21 in the front part of the image pickup apparatus 11, a sound collecting unit 22-1 and a sound collecting unit 22-2 each including a microphone that collects ambient sounds during moving image shooting are provided on the lower side. Yes. Basically, the sound collected by the sound collection unit 22-1 is the right channel sound, and the sound collected by the sound collection unit 22-2 is the left channel sound.
  • the sound collection unit 22-1 and the sound collection unit 22-2 are also simply referred to as the sound collection unit 22 when it is not necessary to distinguish between them.
  • a tally lamp 23 is provided at the upper left in the figure of the front portion of the imaging device 11.
  • the tally lamp 23 is turned on while a moving image is being captured by the imaging device 11, and is turned off when the moving image is not being captured.
  • shooting is performed with the upper surface indicated by the arrow A11 facing upward in the vertical direction, that is, with the bottom surface indicated by the arrow A12 facing the ground. Done.
  • a power button 41, a shutter button 42, an audio output unit 43, and the like are provided on the upper surface of the imaging device 11.
  • 2 shows a top view of the imaging device 11 as viewed from the upper side to the lower side in FIG.
  • the power button 41 is a button that is operated when the power of the imaging apparatus 11 is turned on or off, and the shutter button 42 is used to capture a moving image when capturing a still image or starting capturing a moving image. It is operated when stopping the operation. Further, the shutter button 42 functions as an enter key (decision button) for determining selection when a menu screen or the like is displayed on a display unit (not shown).
  • the audio output unit 43 includes a speaker, for example, and reproduces the audio of the moving image when reproducing the moving image.
  • buttons and the like are provided on the surface of the imaging device 11 opposite to the front surface shown in FIG. 1, that is, on the back surface of the imaging device 11, for example, as shown in FIG.
  • the upper side of the imaging device 11 in FIG. 3 is the upper surface side
  • the lower side of the imaging device 11 in FIG. 3 is the bottom surface side.
  • an LCD Liquid Crystal Display
  • a display unit 61 for displaying various images is provided.
  • a tally lamp 62 an upper button 63, a lower button 64, a left button 65, a right button 66, and a menu button 67 are provided around the display unit 61.
  • the tally lamp 62 is turned on while moving images are being shot, and is turned off when no moving images are being shot, similarly to the tally lamp 23 provided on the front surface of the imaging device 11.
  • the up button 63 is operated when an upward operation is performed on an image or a menu screen displayed on the display unit 61.
  • the up button 63 is used, for example, when moving a cursor or the like on the menu screen in the direction of the upper end of the menu screen, or when performing a scroll operation for displaying an area on the upper end direction side of the image obtained by shooting. To be operated.
  • the direction from the center of the image or menu screen to the upper end is also referred to as the screen upper direction, and similarly the direction from the center of the image or menu screen to the lower end, left end, or right end is displayed on the screen. Also referred to as a downward direction, a screen left direction, and a screen right direction.
  • the upward direction on the screen is based on the image or menu screen, that is, the upward direction on the image or menu screen.
  • an upward operation function a downward operation function
  • a left direction operation function a right direction operation function
  • the upper button 63 is used for operations related to the upper direction with reference to a display screen such as an image or a menu screen, that is, for moving the cursor or the like upward in the screen or for displaying an area on the upper side of the screen.
  • An upward operation function such as scroll operation is assigned.
  • the upper button 63 is also operated when switching the display of the display unit 61 during photographing or image reproduction. That is, when the upper button 63 is operated, a state in which only a few marks representing various settings are displayed, a state in which more marks representing various settings are displayed, and a histogram relating to an image are displayed.
  • the display of the display unit 61 is switched in accordance with an operation on the upper button 63 such as a state of being performed.
  • DISP function the function of switching the display of the display unit 61 at the time of shooting or image reproduction.
  • the upward operation function and the DISP function are assigned to the upper button 63.
  • a character “DISP” indicating the DISP function is printed on the upper side in the drawing of the upper button 63, that is, the portion indicated by the arrow W11. The user (user) sees this printing. It is possible to instantly grasp that the DISP function is assigned to the upper button 63.
  • a lower button 64 is disposed on the lower side, that is, the bottom surface side, and the lower button 64 is operated when an operation is performed in the downward direction on the screen. That is, a downward operation function is assigned to the lower button 64.
  • any one of a plurality of predetermined functions can be selectively assigned to the lower button 64.
  • a playback function is assigned to the lower button 64, and when the lower button 64 is operated, playback of the last photographed image is started.
  • the right button 66 is operated when performing an operation in the right direction on the screen or the image displayed on the display unit 61 or the menu screen. That is, the right button 66 is assigned a right direction operation function.
  • the right button 66 is used to move a cursor or the like on the menu screen in the right direction of the screen, or to perform a scroll operation for displaying an area on the right end side of the image obtained by shooting. Operated.
  • a function function for displaying a function setting screen (hereinafter referred to as Fn function) is also assigned to the right button 66. That is, for example, when the right button 66 is operated during photographing, a function setting screen is displayed on the display unit 61.
  • a character “Fn” indicating the Fn function is printed on the right side in the drawing of the right button 66 in the drawing of the right button 66, that is, the portion indicated by the arrow W 12. You can instantly know that the Fn function is assigned.
  • the characters “DISP”, “Fn”, etc. are printed near the button, indicating the function assigned in advance to the button. However, the symbol indicating the function is printed. You may make it do.
  • a left button 65 is arranged on the left side, and the left button 65 is operated when operating in the left direction of the screen. That is, the left button 65 is assigned a left direction operation function.
  • any one of a plurality of predetermined functions can be selectively assigned to the left button 65.
  • a WB (White Balance) setting function is assigned to the left button 65, and when the left button 65 is operated during shooting or the like, the display unit 61 is assumed to be used for white balance adjustment.
  • a WB setting screen for selecting a shooting environment is displayed.
  • the upper button 63, the lower button 64, the left button 65, and the right button 66 are related to the up, down, left, and right directions, respectively, and each button (key) is operated in the related direction. And a function independent of the direction are assigned. That is, to each button as the operation unit related to the direction, a function related to the direction and a function not related to the direction are assigned in advance.
  • each direction key is printed with a direction arrow associated with the direction key.
  • at least one function may be assigned to each direction key. That is, one or more functions may be assigned to the direction key.
  • a menu button 67 is arranged on the left side, and the menu button 67 is operated when displaying a menu screen on the display unit 61. That is, the menu button 67 is assigned a menu display function for displaying a menu screen.
  • a cover 68 is attached to the left side of the display unit 61 in the figure on the back surface of the image pickup device 11, and the cover 68 can be removed from the image pickup device 11 by operating a lock button 69.
  • FIG. 1 Various terminals and slots are provided on the lower side of the cover 68 in the main body of the imaging apparatus 11 as indicated by an arrow Q11.
  • the figure shown by the arrow Q11 shows a state in which the cover 68 on the left side of the back surface of the main body of the imaging device 11 is removed.
  • an HDMI (registered trademark) (High-Definition Multimedia Interface) terminal 70 and a USB (registered trademark) (Universal Serial) are provided as input / output terminals for connection to the outside under the cover 68 in the main body of the imaging apparatus 11.
  • Bus terminal 71 is provided.
  • a terminal 72 for attaching a microphone, a slot 73 that is an insertion port of a removable recording medium that can be attached to and detached from the imaging apparatus 11, an access to the removable recording medium, and the like are notified under the cover 68 of the main body of the imaging apparatus 11.
  • a media access lamp 74 is provided.
  • a socket 91 is provided as a fixing portion for fixing the imaging device 11 to a tripod or the like. If the image pickup apparatus 11 is fixed to a ceiling or a wall using the socket 91, it is possible to perform shooting or the like in a state where the image pickup apparatus 11 is turned upside down or rotated 90 degrees.
  • FIG. 5 is a diagram illustrating a functional configuration example of the imaging device 11.
  • the same reference numerals are given to portions corresponding to those in FIGS. 1 to 4, and description thereof is omitted as appropriate.
  • the imaging device 11 can be remotely operated by the remote controller 121, and a recorder with a display and an external device 122 such as a display are connected to the imaging device 11.
  • the external device 122 is a recorder with a display.
  • the external device 122 and the imaging device 11 can be remotely operated by the external device remote controller 123 dedicated to the external device 122.
  • the imaging device 11 includes an imaging unit 131, a sound collection unit 22, an operation unit 132, a control unit 133, a removable recording medium 134, an audio output unit 43, a display unit 61, a communication unit 135, and an input / output terminal 136. .
  • the imaging unit 131 includes the lens 21 and the imaging device shown in FIG. 1, receives light from the subject under the control of the control unit 133 and performs photoelectric conversion to capture an image, and image data of the obtained image Is supplied to the control unit 133.
  • an image obtained by the imaging unit 131 is particularly referred to as a captured image.
  • the sound collection unit 22 collects ambient sound according to the control of the control unit 133 and supplies the sound data of the collected sound obtained as a result to the control unit 133.
  • the operation unit 132 includes, for example, the power button 41 and the shutter button 42 illustrated in FIG. 2, the upper button 63 to the menu button 67 illustrated in FIG. 3, and a touch panel provided so as to overlap the display unit 61. Is supplied to the control unit 133.
  • the control unit 133 controls the operation of the entire imaging apparatus 11.
  • the control unit 133 includes a setting unit 151, an OSD (On Screen Display) image generation unit 152, a display control unit 153, and a recording control unit 154.
  • OSD On Screen Display
  • the setting unit 151 performs various settings according to the signal from the operation unit 132.
  • the OSD image generation unit 152 generates an OSD image.
  • the OSD image is an image that displays a mark or an image indicating various settings such as a mark indicating the shooting mode, an image indicating the remaining battery level, a mark indicating the white balance setting, a state related to the imaging device 11, or the like.
  • the display control unit 153 controls display of various images on the display unit 61 and the external device 122.
  • the recording control unit 154 controls recording of image data obtained by photographing and sound data obtained by sound collection onto the removable recording medium 134 and the external device 122.
  • the removable recording medium 134 is a recording medium that can be attached to and detached from the imaging apparatus 11, and is inserted into the imaging apparatus 11 when inserted into the slot 73 shown in FIG.
  • the removable recording medium 134 records the image data and sound data supplied from the control unit 133 and supplies the recorded image data and sound data to the control unit 133 as necessary.
  • the communication unit 135 receives a command transmitted from the remote controller 121 by wireless or wired communication and supplies the command to the control unit 133.
  • the remote controller 121 is a dedicated or general-purpose remote commander that transmits a command through wireless communication using infrared rays or the like, or wired communication through the terminal 71 or the like. It may be.
  • the input / output terminal 136 includes, for example, the terminal 70 and the terminal 71 illustrated in FIG. 3, and is an input / output unit for performing communication with the external device 122.
  • the input / output terminal 136 outputs image data and audio data supplied from the control unit 133 to the external device 122, and outputs a command and the like supplied from the external device 122 to the control unit 133.
  • the imaging device 11 may be used while being held in the user's hand, or may be used while being fixed to a ceiling, a wall, or the like.
  • the captured image is recorded upside down, and is recorded with the left and right channels of the collected sound being switched. It will end up.
  • the imaging device 11 is provided with a flip function for preventing the image from being inverted upside down even when the imaging device 11 is used upside down.
  • the flip function is a function for inverting the display direction of a captured image, an image to be played back, an image such as a menu screen in a predetermined direction, that is, the vertical direction here. Further, in this embodiment, the flip function can prevent the left and right channels of the sound from being switched even when the imaging device 11 is used upside down.
  • an image for checking the angle of view displayed on the display unit 61 during shooting is referred to as a through image, and is used for recording to record on the removable recording medium 134 or the like.
  • These images will be referred to as recording images.
  • the sound obtained by collecting sound by the sound collecting unit 22 is also referred to as collected sound
  • the recording sound for recording on the removable recording medium 134 or the like is also referred to as recording sound.
  • the imaging device 11 is not upside down, that is, the bottom surface of the imaging device 11 is directed vertically downward (ground side). It is supposed to be used.
  • the captured image and the collected sound are used as the recording image and the recording sound as they are.
  • the display screen such as the OSD image or the menu screen is also displayed so that the upper surface side of the photographing apparatus 11 is on the screen.
  • the display state in which the upper end of the display screen, that is, the end on the upper side of the screen is located on the upper surface side of the display unit 61 is referred to as a normal display state.
  • a character or the like is displayed straight on the display unit 61 for a user who uses the imaging device 11 with the upper surface of the imaging device 11 positioned on the upper side as viewed from the user.
  • the flip setting is turned on, that is, when the flip function is turned on, the captured image is inverted vertically, that is, the captured image is rotated 180 degrees to be a recording image, and the sound collection is performed.
  • the left and right channels of the audio are switched to obtain the recording audio.
  • the display screen such as the OSD image or the menu screen is displayed with the display screen inverted in the vertical direction so that the bottom side of the photographing apparatus 11 is on the screen.
  • the display direction of the display screen is reversed up and down.
  • the display state in which the upper end of the display screen, that is, the end on the upper side of the screen is located on the bottom side of the display unit 61 is referred to as a reverse display state.
  • a character or the like is displayed straight on the display unit 61 for a user who uses the imaging device 11 with the bottom surface of the imaging device 11 positioned on the upper side as viewed from the user.
  • a character or the like is displayed upside down on the display unit 61 for the user who uses the imaging device 11 with the upper surface of the imaging device 11 positioned on the upper side as viewed from the user.
  • the behavior of the direction key of the image pickup apparatus 11 also changes. That is, the function of assigning the direction keys is exchanged between the two direction keys related to different directions.
  • the flip function when the flip function is set to ON, the up and down direction of the captured image is reversed when the recording image is generated, the left and right channels of the collected sound are switched when the recording sound is generated, and the display screen is
  • the direction inversion display and the assignment function are changed between the direction keys, but at least one of them may be performed.
  • the image display direction is reversed in the vertical direction, such as at least the vertical reversal of the captured image and the vertical reversal display on the display screen when the recording image is generated. It can also be done.
  • the left and right channels of the collected sound at the time of recording sound generation or the assignment function between the direction keys may or may not be replaced.
  • the user can perform a setting operation for turning the flip setting on or off by causing the display unit 61 to display a menu screen by operating a menu button 67 provided on the back surface of the imaging device 11.
  • the display control unit 153 supplies the menu screen data to the display unit 61 in accordance with a signal supplied from the menu button 67 as the operation unit 132. Then, the menu screen shown in FIG. 6 is displayed.
  • a plurality of menu items including the menu item MA11 on which the character “Flip” is displayed are arranged (displayed) side by side on the menu screen.
  • the menu item MA11 is a menu item for performing flip setting, and the character “Off” displayed in the menu item MA11 indicates that the current flip setting is off. Therefore, in the example shown in FIG. 6, the display state of the menu screen is the normal display state.
  • the menu item MA11 is highlighted, that is, the display state is different from the other menu items, and the menu item MA11 is selected.
  • the display control unit 153 supplies the flip setting screen data to the display unit 61 according to the signal supplied from the shutter button 42 or the like as the operation unit 132, and displays the flip setting screen shown in FIG. 7, for example. .
  • the flip setting screen FC11 for performing the flip setting is superimposed on the menu screen shown in FIG. 6, and the flip setting is in an off state. Is also displayed in the normal display state.
  • the flip setting screen FC11 displays a setting item CA11-1 for setting the flip function on and a setting item CA11-2 for setting the flip function off.
  • the character “On” is displayed on the setting item CA11-1
  • the character “Off” is displayed on the setting item CA11-2.
  • the setting item CA11-1 and the setting item CA11-2 are also simply referred to as the setting item CA11 when it is not necessary to distinguish between them.
  • the user When the flip setting screen FC11 is displayed, the user operates the direction key, the shutter button 42, or the like to select the setting item CA11 or determine the selection of the setting item CA11 in the selected state.
  • the flip setting is done.
  • the setting item CA11-2 for turning off the flip setting is highlighted and selected.
  • the setting unit 151 turns off the flip setting based on the signal supplied from the operation unit 132, and records flip setting information indicating the setting result. To do.
  • the setting unit 151 records flip setting information, and when the selection of the setting item CA11-2 is determined, the recorded flip setting information includes information indicating that the flip function is off. By doing so, the flip setting information is updated.
  • the display control unit 153 When the flip setting is thus turned off, the display control unit 153 then returns the display of the display unit 61 to the menu screen shown in FIG. 6 or the state before the menu screen is displayed, for example, through Return the image to the displayed state.
  • the setting unit 151 is supplied from the operation unit 132.
  • the flip setting is turned on based on the received signal, and flip setting information indicating the setting result is recorded. That is, the flip setting information is updated to information indicating that the flip function is on.
  • the display control unit 153 controls the display unit 61 immediately after that to display a description screen, for example, a screen related to the flip setting shown in FIG. 8, that is, a screen related to the setting of the flip function.
  • the explanation screen is displayed in a reverse display state. That is, the explanation screen is displayed on the display unit 61 in a state where the explanation screen is inverted in the vertical direction so that the upper end of the explanation screen is on the bottom side of the imaging device 11.
  • the explanation about the flip function is displayed on this explanation screen. Specifically, on the explanation screen, the characters “Switches between the up button and down button function” indicating the behavior of the operation unit 132 when the flip setting is turned on, in particular, the behavior of the direction key as the operation unit 132 are displayed. . “And the letters” Switches between the left button and right button function. "
  • the explanation screen displays an explanation that the behaviors (functions) of the buttons related to the mutually opposite directions such as the upper button 63 and the lower button 64 of the direction keys are switched. Similarly, the explanation screen also displays an explanation that the behaviors (functions) of the buttons related to the opposite directions of the left button 65 and the right button 66 among the direction keys are switched.
  • the explanation screen A detailed description of the behavior of the direction key and the like by the flip setting will be described later. Further, here, as an example of the explanation screen, the case where the explanation of the behavior of the direction key is displayed has been described. However, an explanation of how the imaging device 11 including the display state behaves when the flip setting is turned on, such as an explanation that the display is flipped up and down and an explanation about the behavior of the remote controller. As long as is displayed, the explanation screen may be anything.
  • the explanation screen on which the explanation about the behavior of the imaging device 11 when the flip setting is turned on is displayed in a reverse display state.
  • the user can easily grasp that the display of the display unit 61 is reversed up and down.
  • buttons BT11 that is operated when the user confirms the explanation content of the explanation screen is also displayed, and the character “OK” is displayed on the button BT11.
  • the explanation screen also functions as a confirmation screen for confirming the flip setting for the user, that is, confirming the setting for the flip function.
  • the display of the display unit 61 is then returned to, for example, the menu screen shown in FIG. 6 or the state before the menu screen is displayed, for example, the through image is displayed. Or returned to
  • buttons BT11 which is an OK button for confirming that the flip setting has been turned on, is provided on the explanation screen.
  • a cancel button for canceling may also be provided.
  • the user operates the cancel button on the explanation screen by operating the direction key or the like as the operation unit 132, and invalidates the selection operation for turning on the flip setting performed by the user.
  • the setting unit 151 is based on the signal from the operation unit 132. Cancel the flip function setting that was made immediately before the explanation screen was displayed. Further, the display control unit 153 controls the display unit 61 to return the display on the display unit 61 to the flip setting screen FC11 shown in FIG. When a new flip setting is performed, the setting unit 151 records flip setting information indicating a new setting result.
  • step S11 the setting unit 151 determines whether or not to turn on the flip setting based on the signal from the operation unit 132.
  • the flip setting is turned on.
  • selection of the setting item CA11-2 on the flip setting screen FC11 it is determined that the flip setting is not turned on, that is, turned off.
  • step S11 If it is determined in step S11 that the flip setting is to be turned on, that is, if an instruction to turn on the flip function is accepted, in step S12, the setting unit 151 performs an operation for selecting and determining the setting item CA11-1 by the user. In response, the flip setting is turned on based on the signal supplied from the operation unit 132.
  • the setting unit 151 updates the recorded flip setting information to information indicating that the flip setting is on. In other words, the setting unit 151 generates and records flip setting information indicating that the flip setting is on.
  • step S13 the display control unit 153 supplies the explanation screen data to the display unit 61, and controls the display unit 61 based on the flip setting information recorded in the setting unit 151 that the flip setting is ON. Then, an explanation screen inverted up and down is displayed on the display unit 61. Thereby, for example, as illustrated in FIG. 8, the explanation screen is displayed on the display unit 61 in a reverse display state.
  • the flip setting process ends.
  • the display of the display unit 61 is returned to the menu screen or the display of the through image is returned.
  • step S14 the setting unit 151 operates the operation unit according to the user's operation for determining the selection of the setting item CA11-2. Based on the signal supplied from 132, the flip setting is turned off.
  • the setting unit 151 updates the recorded flip setting information to information indicating that the flip setting is off. In other words, the setting unit 151 generates and records flip setting information indicating that the flip setting is off.
  • the flip setting process is finished.
  • the display of the display unit 61 is returned to, for example, a menu screen or returned to a through image display.
  • the display control unit 153 does not display a screen related to the setting of the flip function such as the explanation screen shown in FIG.
  • the imaging device 11 records the flip setting information according to the user's operation on the flip setting screen, and when the flip setting is turned on, immediately after that, displays the explanation screen in a reverse display state. In this way, the user can easily grasp that the flip setting is turned on and what the behavior is when the flip setting is turned on, and the usability of the imaging device 11 is improved. Can be made.
  • the display unit 61 performs display in the normal display state.
  • an OSD image displayed on the display unit 61 or The through image is seen straight to the user.
  • the display is performed with the upper surface above the imaging device 11 when viewed from the user and the bottom surface below the imaging device 11 when viewed from the user.
  • the user when the user is using the imaging device 11 upside down (hereinafter also referred to as an inverted usage state), the user has a bottom surface on the upper side of the imaging device 11 as viewed from the user, and the imaging device 11 as viewed from the user. It is assumed that the display unit 61 is viewed with the upper surface on the lower side.
  • the OSD image or the through image can be seen straight by the user, so that the character on the OSD image does not turn upside down or lie down, and it is straight as if a normal person sees the character.
  • the recording image is the same as the user actually looking at the subject as indicated by the arrow Q22.
  • the right and left channels are recorded correctly for recording audio.
  • the flip setting when shooting is performed in the reverse use state as indicated by the arrow Q23, that is, with the imaging device 11 turned upside down, the user can actually see the through image.
  • the subject is displayed as if looking at the subject, but the OSD image is displayed upside down as seen by the user.
  • the recording image is as if the user was actually looking at the subject as indicated by the arrow Q24. Recording is performed upside down, and recording audio is also recorded with the actual sound and the left and right channels interchanged.
  • the normal use state becomes the correct use state
  • the reverse use state becomes the wrong use state. That is, when the flip setting is OFF, the use of the imaging device 11 in the normal use state is assumed, and the use in the reverse use state is not assumed.
  • a recording image is obtained by inverting the shot image up and down, and a recorded image in which the left and right channels of the collected sound are switched is recorded. It is used for voice. Further, the display 61 performs display in a reverse display state. However, the through image is not reversed and displayed in the normal display state.
  • the flip setting when the flip setting is turned on, for example, as shown by an arrow Q31 in FIG. 11, when the image pickup apparatus 11 performs shooting in a normal use state, the user sees the actual subject in the through image.
  • the subject is displayed in the same manner as the above, but the OSD image is displayed upside down as viewed from the user.
  • the recording image is upside down as the user actually viewed the subject as indicated by the arrow Q32.
  • the recording audio is also recorded with the actual sound and the left and right channels interchanged.
  • the flip setting when the flip setting is turned on, when the imaging device 11 performs shooting in the reverse use state as indicated by an arrow Q33, the OSD image or the through image displayed on the display unit 61 is displayed to the user. It becomes a state that can be seen straight.
  • the recording image is the same as the user actually looking at the subject as indicated by the arrow Q34.
  • the right and left channels are recorded correctly for recording audio.
  • step S41 the imaging unit 131 starts capturing a captured image. That is, the imaging unit 131 captures each frame of the captured image by receiving light incident from the subject and performing photoelectric conversion, and sequentially supplies the obtained image data to the control unit 133.
  • step S42 the sound collection unit 22 starts collecting surrounding sounds, and sequentially supplies the acquired sound data of the collected sounds to the control unit 133.
  • step S43 the control unit 133 determines whether or not the flip setting is ON. For example, when the flip setting information recorded in the setting unit 151 is information indicating that the flip setting is on, it is determined that the flip setting is on.
  • step S44 the display control unit 153 displays the OSD image that is vertically inverted on the through image in a superimposed manner.
  • the display control unit 153 supplies the image data of the captured image obtained by the imaging unit 131 as it is to the display unit 61 as image data of the through image, and causes the display unit 61 to display the through image.
  • the display control unit 153 displays the OSD image upside down based on the image data of the OSD image generated by the OSD image generation unit 152 according to various settings, that is, the OSD image is displayed in the inverted display state. Image data to be generated is used as final OSD image data. Then, the display control unit 153 supplies the generated OSD image image data to the display unit 61 to control the display unit 61 so that the OSD image in the reverse display state is superimposed on the through image.
  • step S45 the recording control unit 154 reverses the captured image in the vertical direction to obtain a recording image.
  • the recording control unit 154 displays, based on the image data of the captured image supplied from the imaging unit 131, a captured image that is displayed in an inverted display state, that is, an image that is displayed by inverting the captured image vertically.
  • Image data is generated as image data of a recording image.
  • step S46 the recording control unit 154 switches the left and right channels of the collected sound to make a recording sound.
  • the recording control unit 154 generates audio data in which the left and right channels of the audio data are switched based on the audio data of the collected audio supplied from the audio acquisition unit 22 and uses the audio data as audio for recording. .
  • the recording control unit 154 supplies the image data and the sound data to the removable recording medium 134 for recording, for example.
  • the image data of the recording image and the sound data of the recording sound may be supplied to the external device 122 via the input / output terminal 136 by the control unit 133.
  • step S43 determines whether the flip setting is on, that is, the flip setting is off. If it is determined in step S43 that the flip setting is not on, that is, the flip setting is off, the process proceeds to step S47.
  • step S47 the display control unit 153 superimposes and displays the OSD image on the through image.
  • the display control unit 153 supplies the image data of the captured image obtained by the imaging unit 131 as it is to the display unit 61 as image data of the through image, and causes the display unit 61 to display the through image.
  • the display control unit 153 supplies the image data of the OSD image generated by the OSD image generation unit 152 according to various settings to the display unit 61 as it is, and controls the display unit 61 to display the normal display state on the through image. Display the OSD image superimposed.
  • a through image and an OSD image as indicated by an arrow Q21 or an arrow Q23 in FIG. 10 are displayed on the display unit 61.
  • step S48 the recording control unit 154 directly uses the captured image as a recording image. That is, the recording control unit 154 directly uses the image data of the captured image supplied from the imaging unit 131 as the image data of the recording image.
  • step S49 the recording control unit 154 uses the collected sound as it is as recording sound.
  • the recording control unit 154 directly uses the sound data of the collected sound supplied from the sound collecting unit 22 as sound data of the recording sound.
  • the recording control unit 154 supplies the image data and the sound data to the removable recording medium 134 for recording, for example.
  • the image data of the recording image and the sound data of the recording sound may be supplied to the external device 122 via the input / output terminal 136 by the control unit 133.
  • the imaging device 11 generates a recording image and a recording sound depending on whether the flip setting is on or off.
  • the flip setting is on
  • the captured image is flipped up and down to make a recording image, and the left and right channels of the collected sound are switched to make a recording sound. It is possible to obtain a recording image and recording sound that are appropriately reproduced even when the recording is performed.
  • the imaging apparatus 11 when the OSD image or menu screen is displayed on the external device 122, the imaging apparatus 11 outputs the data such as the OSD image or menu screen to the external device 122 as it is and displays it in the normal display state. To. Further, the imaging device 11 outputs the image data of the recording image and the audio data of the recording sound as they are to the external device 122 so that the moving image is correctly reproduced.
  • the imaging device 11 is in a state where the OSD image and the through image are seen straight to the user.
  • the OSD image and the recording image can be seen straight to the user on the display unit 181 which is a display constituting the external device 122 as indicated by an arrow Q42. That is, in the recording image, the subject is displayed in the same manner as when the user looks at the actual subject.
  • the subject on the through image is displayed in the same manner as when the user looks at the actual subject, but the OSD image is displayed upside down when viewed from the user. Will be.
  • the OSD image is displayed on the display unit 181 of the external device 122 so as to be seen straight to the user, but the user actually sees the subject in the recording image.
  • the subject will be displayed upside down.
  • the subject on the through image is displayed in the same way as the user is viewing the actual subject, but the OSD image is displayed upside down as viewed from the user. Will be.
  • the display unit 181 of the external device 122 displays the OSD image so as to be seen straight to the user, but the user actually sees the subject in the recording image. The subject will be displayed upside down.
  • the display unit 181 of the external device 122 is in a state where the OSD image and the recording image can be seen straight to the user. That is, in the recording image, the subject is displayed in the same manner as when the user looks at the actual subject.
  • the recording image and the recording sound are output to the external device 122 in this way, when the imaging device 11 performs shooting in the correct use state, the OSD image and the recording image can be seen straight on the external device 122. It is displayed and the recording sound can be reproduced correctly.
  • the output process is performed while the moving image is captured by the imaging apparatus 11, that is, during the execution of the capturing process described with reference to FIG. 12, or after the capturing, the moving image recorded on the removable recording medium 134, that is, the recording image. This is performed when recording audio is played back by the external device 122.
  • step S81 the control unit 133 outputs the image data of the OSD image generated by the OSD image generation unit 152 to the external device 122 through the input / output terminal 136 as it is. As a result, the OSD image is displayed on the external device 122 so as to be seen straight.
  • step S82 the control unit 133 outputs the image data of the recording image and the sound data of the recording sound as they are to the external device 122 through the input / output terminal 136, and the output process ends.
  • step S82 the image data and recording sound of the recording image obtained by the processing in steps S45 and S46 in FIG. 12, or the processing in steps S48 and S49 in FIG. Audio data is output to the external device 122.
  • the image data of the recording image read from the removable recording medium 134 and the sound data of the recording sound are output to the external device 122.
  • the image data of the recording image and the audio data of the recording sound supplied to the external device 122 are recorded in the external device 122 or used for reproduction processing by the external device 122. Therefore, for example, when the recording image is displayed on the display unit 181, the flip setting and the example shown by the arrow Q 42 and the arrow Q 44 in FIG. 13 and the example shown by the arrow Q 52 and the arrow Q 54 in FIG. The direction of the subject changes according to the use state of the imaging device 11.
  • the imaging device 11 outputs the OSD image, the recording image, and the recording sound to the external device 122 as they are regardless of whether the flip setting is on or off.
  • the imaging device 11 when shooting is performed in the correct use state in the imaging device 11, for example, when the image of the subject is displayed on the display unit 181 of the external device 122 during shooting of a moving image to check the angle of view, etc. On the device 122, the OSD image and the recording image are displayed in a straight line, and the recording sound can be correctly reproduced. Thereby, usability can be improved.
  • the up button 63 is assigned with the upward operation function and the DISP function
  • the down button 64 is assigned with the down direction operation function and other selected functions. Yes.
  • a playback function is assigned to the lower button 64 as another selected function.
  • the upper button 63 is assigned with the downward operation function and the playback function
  • the lower button 64 is assigned with the upward operation function and the DISP function.
  • the character “DISP” is printed in the vicinity of the upper button 63, but when the upper button 63 is operated, processing for realizing the reproduction function is executed instead of the DISP function. Will be. That is, when the flip setting is on, even if the upper button 63 provided in the vicinity of the character “DISP” is operated, the control unit 133 performs the DISP function represented by the character “DISP”.
  • achieves the DISP function is performed without performing the process to implement
  • the left button 65 is assigned with the left direction operation function and other selected functions, and the right button 66 is assigned with the right direction operation function and the Fn function. Yes. In the following, it is assumed that the left button 65 is assigned a WB setting function as another selected function.
  • the left button 65 is assigned with the right operation function and the Fn function
  • the right button 66 is assigned with the left operation function and the WB setting function.
  • the character “Fn” is printed in the vicinity of the right button 66, but when the right button 66 is operated, processing for realizing the WB setting function instead of the Fn function is performed. Will be executed. That is, even when the right button 66 is operated, the process for realizing the Fn function is not performed.
  • the function related to the direction such as the upward operation function, that is, the function realizing the operation related to the direction, as well as the direction such as the DISP function, the Fn function, and the WB setting function. Assignments are also changed for functions that are not.
  • buttons keys
  • the assignment function for the buttons is the same regardless of whether the flip setting is on or off.
  • buttons (operation units) that are not related to directions are buttons (operation units) that are not related to directions, and these buttons are assigned functions regardless of whether the flip setting is on or off. Is not replaced. That is, the assignment function does not change in the operation unit that is not related to the direction of the menu button 67 or the like.
  • the menu display function is assigned to the menu button 67.
  • the behavior of the imaging device 11 when the direction key is operated changes as shown in FIGS. 16 and 17, for example, depending on whether the flip setting is on or off or the usage state of the imaging device 11.
  • FIGS. 16 and 17 the same reference numerals are given to the portions corresponding to those in FIG. 3, and the description thereof will be omitted as appropriate.
  • an arrow U, an arrow D, an arrow L, and an arrow R indicate the screen upper direction, the screen lower direction, the screen left direction, and the screen right direction, respectively.
  • the function is assigned to each direction key in the initial setting and viewed from the user. Operation in the direction of the street is performed.
  • the function assignment to each direction key in the initial setting refers to function assignment in a state where the flip setting is off.
  • the upward direction, the downward direction, the left direction, and the right direction in FIG. 16 are performed.
  • the upward direction, the downward direction, the left direction, and the right direction in the figure are the screen upward direction, the screen downward direction, the screen left direction, and the screen right direction, respectively.
  • the cursor moves upward in the figure, which is the direction of the arrow printed on the upper button 63.
  • the upper direction is the upper end direction of the screen displayed on the display unit 61, that is, the upper direction of the screen.
  • the flip setting when the flip setting is off, when the user operates the direction key in the reverse use state as indicated by an arrow Q62 in FIG. 16, the function is assigned to each direction key in the initial setting and the user The operation is performed in the direction as seen.
  • the upward direction, the downward direction, the left direction, and the right direction in the figure are the screen downward direction, the screen upward direction, the screen right direction, and the screen left direction, respectively.
  • the cursor moves downward in the figure, which is the direction of the arrow printed on the upper button 63.
  • the downward direction in the figure is the upper end direction of the screen displayed on the display unit 61, that is, the upward direction of the screen.
  • the upward direction, the downward direction, the left direction, and the right direction in FIG. 17 are the screen downward direction, the screen upward direction, the screen right direction, and the screen left direction, respectively.
  • the cursor moves upward in the figure, which is the direction of the arrow printed on the upper button 63.
  • the upper direction is the lower end direction of the screen displayed on the display unit 61, that is, the lower direction of the screen.
  • the up button 63 associated with the upward direction is associated with the downward direction, that is, the downward direction opposite to the upward direction with respect to the display screen, that is, the downward direction of the screen.
  • the operation function is assigned, and the function is assigned to the other direction keys in the same manner.
  • the function assignment to each direction key is the same as when the flip setting is off. Although it is different, the operation in the direction as seen from the user is performed.
  • the upward direction, the downward direction, the left direction, and the right direction in the figure are the screen upward direction, the screen downward direction, the screen left direction, and the screen right direction, respectively.
  • the cursor moves downward in the figure, which is the direction of the arrow printed on the upper button 63.
  • the downward direction in the figure is the lower end direction of the screen displayed on the display unit 61, that is, the downward direction of the screen.
  • the direction of the operation performed when the user operates the direction key is opposite to the direction related to the direction key when the screen such as the menu screen or the recording image is used as a reference. That is, for example, when the upper button 63 related to the upward direction is operated, an operation related to the downward direction, that is, the downward direction of the screen is performed with reference to the display screen.
  • the display screen is flipped up and down, that is, the display direction is flipped up and down, so when the user operates the direction key Then, an operation in the direction of the arrow printed on the direction key is performed. That is, the operation is performed in the direction as seen by the user.
  • the user can perform the operation with the same operation feeling as when the flip setting is off, and the usability of the imaging device 11 can be improved.
  • the user can perform the operation with the same operation feeling as when using the imaging device 11 in the normal use state with the flip setting turned off. Furthermore, usability can be improved.
  • the flip setting is off as in the example shown by the arrow Q61 in FIG. 16 and the camera is in a normal use state
  • the user sees it while shooting a moving image or playing a recording image.
  • the upper button 63 printed with an upward arrow is operated, the DISP function is executed.
  • an OSD image in which minimum information such as the shooting mode and the remaining battery level is displayed is displayed on the display unit 61.
  • the display unit 61 displays an OSD image in which more information is displayed as compared to the OSD image illustrated in FIG. 18, such as the photometry mode and white balance adjustment setting. It has become.
  • the display on the display unit 61 is switched from the display shown in FIG. 18 to the display shown in FIG. 19, for example, and further to the display shown in FIG. The display is switched, for example.
  • Direction keys (buttons) to which the DISP function is assigned differ depending on whether the flip setting is on or off. However, in any case, the user who uses the imaging device 11 in the usage state assumed for the flip setting operates the direction key on which the upward arrow is printed as viewed from the user. If so, the DISP function can be executed. That is, the operation can be performed with the same operation feeling regardless of the flip setting.
  • the user can operate the playback function with the same operation feeling regardless of whether the flip setting is on or off.
  • the user when the flip setting is off and the user is in the normal use state as in the example shown by the arrow Q61 in FIG. 16, the user operates the lower button 64 on which a downward arrow is printed as viewed from the user.
  • the execution of the playback function can be instructed.
  • the flip setting is off as in the example shown by the arrow Q61 in FIG. 16 and the camera is in the normal use state
  • the right button 66 is assigned.
  • the specified Fn function is executed.
  • the function setting screen shown in FIG. when the right button 66 is operated, for example, the function setting screen shown in FIG.
  • various settings such as a shooting mode, exposure, ISO sensitivity, photometry mode, and white balance adjustment can be performed on the function setting screen.
  • the flip setting when the flip setting is on as in the example shown by the arrow Q72 in FIG. 17 and in the reverse use state, the user operates the left button 65 to display the display unit 61 in FIG.
  • the function setting screen shown can be displayed. That is, the Fn function can be executed.
  • the user instructs the execution of the Fn function by operating a direction key (button) on which a right arrow is printed as viewed from the user. be able to.
  • the flip setting is off as in the example shown by the arrow Q61 in FIG. 16 and the camera is in the normal use state
  • the user operates the left button 65 during shooting of a moving image the left button 65 is displayed.
  • the assigned WB setting function is executed.
  • the display unit 61 displays the WB setting screen shown in FIG.
  • a shooting environment for white balance adjustment such as clear sky, fluorescent light, and automatic.
  • the user when the flip setting is on as in the example shown by the arrow Q72 in FIG. 17 and in the reverse use state, the user operates the right button 66 to display the display unit 61 in FIG.
  • the shown WB setting screen can be displayed. That is, the WB setting function can be executed.
  • the flip setting since the flip setting is on, the WB setting screen is displayed in a reverse display state.
  • the user instructs the execution of the WB setting function by operating the direction key (button) on which the left arrow is printed when viewed from the user. can do.
  • buttons that are not related to the direction such as the menu button 67
  • the assignment function is not changed even if the flip setting is turned on.
  • the user can perform various settings by performing operations such as selection and determination on the menu screen displayed in this way. For example, in the example shown in FIG. 23, the user can make settings relating to the quality of the recording image, settings relating to the size of the recording image, and the like.
  • This key operation process is started, for example, when the direction key of the imaging device 11 is operated by the user.
  • a direction key as the operation unit 132
  • a signal corresponding to the user's operation is supplied from the operation unit 132 to the control unit 133.
  • step S111 the control unit 133 determines whether or not the flip setting is ON based on the flip setting information recorded in the setting unit 151.
  • step S111 If it is determined in step S111 that the flip setting is on, the process proceeds to step S112.
  • step S112 the control unit 133 sets the direction key in the direction opposite to the direction of the operated direction key based on the signal according to the user operation supplied from the operation unit 132 and the determination result in step S111.
  • processing for realizing a function assigned in advance is performed.
  • the function assigned in advance is a function assigned in an initial setting state, that is, in a state where the flip setting is off.
  • step S112 the control unit 133 replaces the direction key assignment function in accordance with the determination result in step S111. Further, based on the signal supplied from the operation unit 132, the control unit 133 performs a process for realizing the function assigned after the assignment function is exchanged with respect to the direction key operated by the user.
  • the upper button 63 is operated by the user while the menu screen is displayed on the display unit 61.
  • control unit 133 specifies the lower button 64 associated with the downward direction that is opposite to the upward direction associated with the upper button 63 operated by the user, and the flip setting is off.
  • the process for realizing the downward operation function assigned to the lower button 64 is performed. That is, the display control unit 153 of the control unit 133 controls the display unit 61 to move the cursor displayed on the menu screen downward in the screen.
  • the flip setting When the flip setting is on, the function assigned to the direction key in the direction opposite to the direction of the operated direction key is processed while the flip setting is off, so that the flip setting is on. Function processing can be performed according to a certain assignment.
  • step S111 determines whether the flip setting is on, that is, the flip setting is off. If it is determined in step S111 that the flip setting is not on, that is, the flip setting is off, the process proceeds to step S113.
  • step S113 the control unit 133 realizes a function assigned in advance to the operated direction key based on a signal corresponding to the user's operation supplied from the operation unit 132 and the determination result in step S111.
  • the key operation process ends.
  • control unit 133 performs processing of the function assigned to the operated direction key in a state where the flip setting is OFF. Therefore, for example, if the user operates the upper button 63 while the menu screen is displayed on the display unit 61, the display control unit 153 of the control unit 133 controls the display unit 61 to display the menu screen. Move the cursor up on the screen.
  • the imaging device 11 performs processing according to the operation of the direction key based on the flip setting and the function assigned in advance to the direction key. That is, the imaging device 11 performs the function according to the operation of the direction key by changing the function of the direction key according to the flip setting. In this way, the user can be operated with the same operation feeling regardless of the flip setting, and usability of the imaging device 11 can be improved.
  • the imaging apparatus 11 is rotated 90 degrees clockwise or counterclockwise using the optical axis of the imaging apparatus 11 as a rotation axis, and the setting assuming such use is flip set. It may be possible to do this.
  • the function previously assigned to the right button 66 is assigned to the upper button 63 and assigned to the lower button 64 in advance.
  • a function may be assigned to the right button 66.
  • a function previously assigned to a direction key related to a predetermined direction is assigned to a direction key related to a direction that forms a predetermined angle such as 90 degrees with the predetermined direction. Also good. In this way, by switching the assignment function between the four direction keys, even when the imaging apparatus 11 is rotated 90 degrees, the operation can be performed with the same operation feeling as in the normal use state. .
  • a command corresponding to an operation on the remote controller 121 by the user is transmitted from the remote controller 121 to the imaging device 11, depending on whether the flip setting is on or off.
  • the command received from the remote controller 121 is executed as it is.
  • FIG. 25 shows an example of the external configuration of the remote controller 121.
  • the upper button 211 is a button to which an upward operation function and a DISP function are assigned, and corresponds to the upper button 63 of the imaging device 11.
  • the lower button 212 is a button to which a downward operation function and other selected functions are assigned, and corresponds to the lower button 64 of the imaging device 11.
  • a playback function is assigned to the lower button 212 as another selected function.
  • the left button 213 is a button to which a leftward operation function and other selected functions are assigned, and corresponds to the left button 65 of the imaging device 11.
  • a WB setting function is assigned to the left button 213 as another selected function.
  • the right button 214 is a button to which a right direction operation function and an Fn function are assigned, and corresponds to the right button 66 of the imaging device 11.
  • the upper button 211, the lower button 212, the left button 213, and the right button 214 are related to the upward direction, the downward direction, the left direction, and the right direction, respectively, similarly to the direction key of the imaging device 11.
  • Button direction key
  • the up button 211, the down button 212, the left button 213, and the right button 214 are arranged vertically and horizontally as viewed from the user, the direction of each button (direction key) from the arrangement position is determined. You can know intuitively whether it is related to.
  • the flip operation is off as indicated by an arrow Q61 in FIG. 16 and the user operates the direction key of the remote controller 121 when the use state of the imaging apparatus 11 is the normal use state.
  • the operation is performed in the direction as seen from the user as the function is assigned to the direction key.
  • the upward direction, the downward direction, the left direction, and the right direction in FIG. 16 are the screen upward direction, the screen downward direction, the screen left direction, and the screen right direction, respectively.
  • the upward direction, downward direction, left direction, and right direction in the figure are the screen downward direction, screen upward direction, screen right direction, and screen left direction, respectively.
  • the remote controller 121 receives the upward direction, downward direction, left direction, and right direction from the remote controller 121.
  • the direction key of the remote controller 121 when the flip setting is on as indicated by an arrow Q71 in FIG. 17 and the user uses the direction key of the remote controller 121 when the use state of the imaging apparatus 11 is the normal use state, the direction key The operation is performed in the opposite direction when viewed from the user.
  • the user when the flip setting is on as indicated by an arrow Q72 in FIG. 17 and the use state of the imaging device 11 is the reverse use state, the user operates the direction key of the remote controller 121. The operation is performed in the direction as seen from the user as the function is assigned to the direction key.
  • the operation in the upward direction, the downward direction, the left direction, and the right direction in FIG. 17 is performed.
  • the upward direction, downward direction, left direction, and right direction in the figure are the screen upward direction, screen downward direction, screen left direction, and screen right direction, respectively.
  • the processing is performed as it is seen and according to the operation on the remote controller 121.
  • the same operation is performed on the user regardless of the flip setting by not performing the function switching such as reversing the direction like the direction key of the main body of the imaging apparatus 11. Operation can be performed with a sense.
  • the imaging device 11 when the user who uses the imaging device 11 in the usage state assumed for the flip setting operates the direction key of the remote controller 121 regardless of whether the flip setting is on or off, the imaging device In 11, the operation in the direction of the direction key is performed. Therefore, it is possible to cause the user to perform an operation without a sense of incongruity and improve usability.
  • the imaging device 11 itself is assumed to be used in an inverted usage state when the flip setting is on, that is, since the imaging device 11 is assumed to be used upside down, they are mutually contradictory. It is more convenient to swap the assignment function between the direction keys.
  • the remote controller 121 does not use the remote controller 121 upside down regardless of whether the flip setting is on or off. It is easier to use without changing the assigned function.
  • the flip setting information in the image pickup apparatus 11 it is possible to specify the top, bottom, left, and right directions in the screen for the display of the menu screen, the recording image, and the like. Can be executed correctly.
  • the remote controller 121 side can perform the operation without worrying about the on / off of the flip setting.
  • the behavior of the imaging device 11 when the direction key of the remote controller 121 is operated has been described. However, even when the imaging device 11 is remotely controlled by the external device remote controller 123, the imaging device 11. This behavior is the same as when the remote controller 121 is operated.
  • a menu screen or a recording image supplied from the display control unit 153 of the imaging apparatus 11 via the input / output terminal 136 is displayed on the display unit 181 of the external device 122. Then, the user operates the direction keys of the external device remote controller 123 while looking at the display unit 181 on which the menu screen or the like is displayed.
  • a command corresponding to a user operation is transmitted from the external device remote controller 123, and this command is received by the external device 122.
  • the external device 122 supplies the command received from the external device remote controller 123 in this way to the control unit 133 via the input / output terminal 136, and the control unit 133 that has received the command executes the command. .
  • the menu screen or the like supplied from the display control unit 153 to the display unit 181 of the external device 122 via the input / output terminal 136 reflects the execution result of the command. .
  • command execution processing by the imaging apparatus 11 will be described with reference to the flowchart of FIG.
  • the display control unit 153 of the control unit 133 performs control so that the display screen is displayed in the normal display state or the reverse display state based on the flip setting information. It is in the state.
  • step S141 the control unit 133 acquires a command output from the remote controller 121 or the external device remote controller 123 which is an external device.
  • control unit 133 acquires a command transmitted from the remote controller 121 and received by the communication unit 135 from the communication unit 135.
  • control unit 133 acquires a command transmitted from the external device remote controller 123 from the external device 122 via the input / output terminal 136.
  • step S142 the control unit 133 executes the process indicated by the acquired command based on the flip setting information recorded in the setting unit 151, and the command execution process ends. That is, the control unit 133 executes a command output from the remote controller 121 or the external device remote controller 123 based on the setting of the flip function.
  • the control unit 133 performs control so that an operation related to the predetermined direction is performed using the display screen as a reference.
  • a command corresponding to the operation is acquired and flipped. It is assumed that information indicating that the flip setting is ON is recorded in the setting unit 151 as the setting information.
  • the display control unit 153 of the control unit 133 for example, if the menu screen is displayed in a reverse display state on the display unit 61, the cursor on the menu screen is directed upward on the screen with reference to the menu screen.
  • the process of selecting the menu item with the cursor is executed as the process indicated by the command.
  • the display control unit 153 can specify that the direction on the bottom surface side of the imaging device 11 is the screen upward direction by referring to the flip setting information, and therefore, the cursor is placed in the correct direction instructed by the command. Can be moved.
  • the display control unit 153 of the control unit 133 moves the cursor on the menu screen in the screen upward direction based on the menu screen.
  • the process of selecting the menu item with the cursor is executed as the process indicated by the command.
  • the display control unit 153 of the control unit 133 indicates a process for controlling the display unit 61 to realize the DISP function by a command, for example, when a moving image is being captured or a recording image is being reproduced.
  • a process to be executed Specifically, for example, the display switching process described with reference to FIGS. 18 to 20 is performed as a process for realizing the DISP function.
  • control unit 133 refers to the flip setting information and displays the display screen when a command instructing an operation related to a predetermined direction such as an upward operation function, that is, an operation related to the predetermined direction, is acquired. It is specified whether or not is displayed vertically inverted. Then, the control unit 133 executes the acquired command so that the operation in the predetermined direction is performed with reference to the display screen, that is, the operation in the predetermined direction is performed with reference to the display screen.
  • a command instructing an operation related to a predetermined direction such as an upward operation function, that is, an operation related to the predetermined direction
  • the control unit 133 determines the direction regardless of whether the flip setting is on or off. The command is executed as it is so that an operation not related to is performed. That is, control is performed so that an operation not related to the direction is performed.
  • the imaging device 11 acquires the command output from the remote controller 121 or the external device remote controller 123, and executes the command based on the flip setting information.
  • the remote controller 121 and the external device remote controller 123 can be operated without worrying about the flip setting ON / OFF. Can be improved.
  • the above-described series of processing can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing a computer incorporated in dedicated hardware and various programs.
  • FIG. 27 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 505 is further connected to the bus 504.
  • An input unit 506, an output unit 507, a recording unit 508, a communication unit 509, and a drive 510 are connected to the input / output interface 505.
  • the input unit 506 includes an input switch, a button, a microphone, an image sensor, and the like.
  • the output unit 507 includes a display, a speaker, and the like.
  • the recording unit 508 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 509 includes a network interface or the like.
  • the drive 510 drives a removable recording medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 501 loads the program recorded in the recording unit 508 to the RAM 503 via the input / output interface 505 and the bus 504 and executes the program, for example. Is performed.
  • the program executed by the computer (CPU 501) can be provided by being recorded in a removable recording medium 511 as a package medium, for example.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the recording unit 508 via the input / output interface 505 by attaching the removable recording medium 511 to the drive 510. Further, the program can be received by the communication unit 509 via a wired or wireless transmission medium and installed in the recording unit 508. In addition, the program can be installed in the ROM 502 or the recording unit 508 in advance.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the present technology can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be applied to an endoscopic surgery system.
  • FIG. 28 is a diagram illustrating an example of a schematic configuration of an endoscopic surgery system 5000 to which the technology according to the present disclosure can be applied.
  • FIG. 28 shows a state where an operator (physician) 5067 is performing an operation on a patient 5071 on a patient bed 5069 using an endoscopic operation system 5000.
  • an endoscopic surgery system 5000 includes an endoscope 5001, other surgical tools 5017, a support arm device 5027 that supports the endoscope 5001, and various devices for endoscopic surgery. And a cart 5037 on which is mounted.
  • trocars 5025a to 5025d are punctured into the abdominal wall.
  • the lens barrel 5003 of the endoscope 5001 and other surgical tools 5017 are inserted into the body cavity of the patient 5071 from the trocars 5025a to 5025d.
  • an insufflation tube 5019, an energy treatment tool 5021, and forceps 5023 are inserted into the body cavity of the patient 5071.
  • the energy treatment device 5021 is a treatment device that performs tissue incision and separation, blood vessel sealing, or the like by high-frequency current or ultrasonic vibration.
  • the illustrated surgical tool 5017 is merely an example, and as the surgical tool 5017, for example, various surgical tools generally used in endoscopic surgery such as a lever and a retractor may be used.
  • the image of the surgical site in the body cavity of the patient 5071 captured by the endoscope 5001 is displayed on the display device 5041.
  • the surgeon 5067 performs a treatment such as excision of the affected part, for example, using the energy treatment tool 5021 and the forceps 5023 while viewing the image of the surgical part displayed on the display device 5041 in real time.
  • the pneumoperitoneum tube 5019, the energy treatment tool 5021, and the forceps 5023 are supported by an operator 5067 or an assistant during surgery.
  • the support arm device 5027 includes an arm portion 5031 extending from the base portion 5029.
  • the arm portion 5031 includes joint portions 5033a, 5033b, and 5033c and links 5035a and 5035b, and is driven by control from the arm control device 5045.
  • the endoscope 5001 is supported by the arm unit 5031, and the position and posture thereof are controlled. Thereby, the stable position fixing of the endoscope 5001 can be realized.
  • the endoscope 5001 includes a lens barrel 5003 in which a region having a predetermined length from the distal end is inserted into the body cavity of the patient 5071, and a camera head 5005 connected to the proximal end of the lens barrel 5003.
  • a lens barrel 5003 in which a region having a predetermined length from the distal end is inserted into the body cavity of the patient 5071, and a camera head 5005 connected to the proximal end of the lens barrel 5003.
  • an endoscope 5001 configured as a so-called rigid mirror having a rigid lens barrel 5003 is illustrated, but the endoscope 5001 is configured as a so-called flexible mirror having a flexible lens barrel 5003. Also good.
  • An opening into which an objective lens is fitted is provided at the tip of the lens barrel 5003.
  • a light source device 5043 is connected to the endoscope 5001, and light generated by the light source device 5043 is guided to the tip of the lens barrel by a light guide extending inside the lens barrel 5003. Irradiation is performed toward the observation target in the body cavity of the patient 5071 through the lens.
  • the endoscope 5001 may be a direct endoscope, a perspective mirror, or a side endoscope.
  • An optical system and an image sensor are provided inside the camera head 5005, and reflected light (observation light) from the observation target is condensed on the image sensor by the optical system. Observation light is photoelectrically converted by the imaging element, and an electrical signal corresponding to the observation light, that is, an image signal corresponding to the observation image is generated.
  • the image signal is transmitted to a camera control unit (CCU) 5039 as RAW data.
  • CCU camera control unit
  • the camera head 5005 is equipped with a function of adjusting the magnification and the focal length by appropriately driving the optical system.
  • a plurality of imaging elements may be provided in the camera head 5005 in order to cope with, for example, stereoscopic viewing (3D display).
  • a plurality of relay optical systems are provided inside the lens barrel 5003 in order to guide observation light to each of the plurality of imaging elements.
  • the CCU 5039 is configured by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and the like, and comprehensively controls operations of the endoscope 5001 and the display device 5041. Specifically, the CCU 5039 performs various types of image processing for displaying an image based on the image signal, such as development processing (demosaic processing), for example, on the image signal received from the camera head 5005. The CCU 5039 provides the display device 5041 with the image signal subjected to the image processing. Further, the CCU 5039 transmits a control signal to the camera head 5005 to control the driving thereof.
  • the control signal can include information regarding imaging conditions such as magnification and focal length.
  • the display device 5041 displays an image based on an image signal subjected to image processing by the CCU 5039 under the control of the CCU 5039.
  • the endoscope 5001 is compatible with high-resolution imaging such as 4K (horizontal pixel number 3840 ⁇ vertical pixel number 2160) or 8K (horizontal pixel number 7680 ⁇ vertical pixel number 4320), and / or 3D display
  • the display device 5041 may be a display device capable of high-resolution display and / or 3D display.
  • 4K or 8K high-resolution imaging a more immersive feeling can be obtained by using a display device 5041 having a size of 55 inches or more.
  • a plurality of display devices 5041 having different resolutions and sizes may be provided depending on applications.
  • the light source device 5043 is composed of a light source such as an LED (light emitting diode), for example, and supplies irradiation light to the endoscope 5001 when photographing a surgical site.
  • a light source such as an LED (light emitting diode)
  • the arm control device 5045 is configured by a processor such as a CPU, for example, and operates according to a predetermined program to control driving of the arm portion 5031 of the support arm device 5027 according to a predetermined control method.
  • the input device 5047 is an input interface for the endoscopic surgery system 5000.
  • the user can input various information and instructions to the endoscopic surgery system 5000 via the input device 5047.
  • the user inputs various types of information related to the operation, such as the patient's physical information and information about the surgical technique, via the input device 5047.
  • the user instructs the arm unit 5031 to be driven via the input device 5047 or the instruction to change the imaging conditions (type of irradiation light, magnification, focal length, etc.) by the endoscope 5001. Then, an instruction to drive the energy treatment instrument 5021 is input.
  • the type of the input device 5047 is not limited, and the input device 5047 may be various known input devices.
  • the input device 5047 for example, a mouse, a keyboard, a touch panel, a switch, a foot switch 5057, and / or a lever can be applied.
  • the touch panel may be provided on the display surface of the display device 5041.
  • the input device 5047 is a device worn by the user, such as a glasses-type wearable device or an HMD (Head Mounted Display), and various types of input are performed according to the user's gesture and line of sight detected by these devices. Is done.
  • the input device 5047 includes a camera capable of detecting the user's movement, and various inputs are performed according to the user's gesture and line of sight detected from the video captured by the camera.
  • the input device 5047 includes a microphone that can pick up a user's voice, and various inputs are performed by voice through the microphone.
  • the input device 5047 is configured to be able to input various information without contact, so that a user belonging to a clean area (for example, an operator 5067) can operate a device belonging to an unclean area without contact. Is possible.
  • a user belonging to a clean area for example, an operator 5067
  • the user can operate the device without releasing his / her hand from the surgical tool he / she has, the convenience for the user is improved.
  • the treatment instrument control device 5049 controls the drive of the energy treatment instrument 5021 for tissue cauterization, incision, or blood vessel sealing.
  • the pneumoperitoneum device 5051 gas is introduced into the body cavity via the pneumoperitoneum tube 5019.
  • the recorder 5053 is an apparatus capable of recording various types of information related to surgery.
  • the printer 5055 is a device that can print various types of information related to surgery in various formats such as text, images, or graphs.
  • the support arm device 5027 includes a base portion 5029 as a base and an arm portion 5031 extending from the base portion 5029.
  • the arm portion 5031 includes a plurality of joint portions 5033a, 5033b, and 5033c and a plurality of links 5035a and 5035b connected by the joint portion 5033b.
  • FIG. The configuration of the arm portion 5031 is shown in a simplified manner. Actually, the shape, number and arrangement of the joint portions 5033a to 5033c and the links 5035a and 5035b, the direction of the rotation axis of the joint portions 5033a to 5033c, and the like are appropriately set so that the arm portion 5031 has a desired degree of freedom. obtain.
  • the arm portion 5031 can be preferably configured to have 6 degrees of freedom or more. Accordingly, the endoscope 5001 can be freely moved within the movable range of the arm portion 5031. Therefore, the barrel 5003 of the endoscope 5001 can be inserted into the body cavity of the patient 5071 from a desired direction. It becomes possible.
  • the joint portions 5033a to 5033c are provided with actuators, and the joint portions 5033a to 5033c are configured to be rotatable around a predetermined rotation axis by driving the actuators.
  • the arm control device 5045 By controlling the driving of the actuator by the arm control device 5045, the rotation angles of the joint portions 5033a to 5033c are controlled, and the driving of the arm portion 5031 is controlled. Thereby, control of the position and orientation of the endoscope 5001 can be realized.
  • the arm control device 5045 can control the driving of the arm unit 5031 by various known control methods such as force control or position control.
  • the arm control device 5045 appropriately controls the driving of the arm unit 5031 according to the operation input.
  • the position and posture of the endoscope 5001 may be controlled.
  • the endoscope 5001 at the tip of the arm portion 5031 can be moved from an arbitrary position to an arbitrary position, and then fixedly supported at the position after the movement.
  • the arm portion 5031 may be operated by a so-called master slave method.
  • the arm unit 5031 can be remotely operated by the user via the input device 5047 installed at a location away from the operating room.
  • the arm control device 5045 When force control is applied, the arm control device 5045 receives the external force from the user and moves the actuators of the joint portions 5033a to 5033c so that the arm portion 5031 moves smoothly according to the external force. You may perform what is called power assist control to drive. Accordingly, when the user moves the arm unit 5031 while directly touching the arm unit 5031, the arm unit 5031 can be moved with a relatively light force. Therefore, the endoscope 5001 can be moved more intuitively and with a simpler operation, and user convenience can be improved.
  • an endoscope 5001 is supported by a doctor called a scopist.
  • the position of the endoscope 5001 can be more reliably fixed without relying on human hands, so that an image of the surgical site can be stably obtained. It becomes possible to perform the operation smoothly.
  • the arm control device 5045 is not necessarily provided in the cart 5037. Further, the arm control device 5045 is not necessarily a single device. For example, the arm control device 5045 may be provided in each joint portion 5033a to 5033c of the arm portion 5031 of the support arm device 5027, and the plurality of arm control devices 5045 cooperate with each other to drive the arm portion 5031. Control may be realized.
  • the light source device 5043 supplies irradiation light to the endoscope 5001 when photographing a surgical site.
  • the light source device 5043 is composed of a white light source composed of, for example, an LED, a laser light source, or a combination thereof.
  • a white light source is configured by a combination of RGB laser light sources, the output intensity and output timing of each color (each wavelength) can be controlled with high accuracy. Adjustments can be made.
  • each RGB light source is controlled by irradiating the observation target with laser light from each of the RGB laser light sources in a time-sharing manner and controlling the driving of the image sensor of the camera head 5005 in synchronization with the irradiation timing. It is also possible to take the images that have been taken in time division. According to this method, a color image can be obtained without providing a color filter in the image sensor.
  • the driving of the light source device 5043 may be controlled so as to change the intensity of the output light every predetermined time.
  • the driving of the image sensor of the camera head 5005 is controlled to acquire images in a time-sharing manner, and the images are synthesized, so that high dynamics without so-called blackout and overexposure are obtained. A range image can be generated.
  • the light source device 5043 may be configured to be able to supply light of a predetermined wavelength band corresponding to special light observation.
  • special light observation for example, by utilizing the wavelength dependence of light absorption in body tissue, the surface of the mucous membrane is irradiated by irradiating light in a narrow band compared to irradiation light (ie, white light) during normal observation.
  • narrow band imaging is performed in which a predetermined tissue such as a blood vessel is imaged with high contrast.
  • fluorescence observation may be performed in which an image is obtained by fluorescence generated by irradiating excitation light.
  • the body tissue is irradiated with excitation light to observe fluorescence from the body tissue (autofluorescence observation), or a reagent such as indocyanine green (ICG) is locally administered to the body tissue and applied to the body tissue.
  • a reagent such as indocyanine green (ICG) is locally administered to the body tissue and applied to the body tissue.
  • ICG indocyanine green
  • the light source device 5043 can be configured to be able to supply narrowband light and / or excitation light corresponding to such special light observation.
  • FIG. 29 is a block diagram showing an example of the functional configuration of the camera head 5005 and the CCU 5039 shown in FIG.
  • the camera head 5005 has a lens unit 5007, an imaging unit 5009, a drive unit 5011, a communication unit 5013, and a camera head control unit 5015 as its functions.
  • the CCU 5039 includes a communication unit 5059, an image processing unit 5061, and a control unit 5063 as its functions.
  • the camera head 5005 and the CCU 5039 are connected to each other via a transmission cable 5065 so that they can communicate with each other.
  • the lens unit 5007 is an optical system provided at a connection portion with the lens barrel 5003. Observation light captured from the tip of the lens barrel 5003 is guided to the camera head 5005 and enters the lens unit 5007.
  • the lens unit 5007 is configured by combining a plurality of lenses including a zoom lens and a focus lens. The optical characteristics of the lens unit 5007 are adjusted so that the observation light is condensed on the light receiving surface of the image sensor of the imaging unit 5009. Further, the zoom lens and the focus lens are configured such that their positions on the optical axis are movable in order to adjust the magnification and focus of the captured image.
  • the imaging unit 5009 is configured by an imaging element, and is disposed in the subsequent stage of the lens unit 5007.
  • the observation light that has passed through the lens unit 5007 is collected on the light receiving surface of the image sensor, and an image signal corresponding to the observation image is generated by photoelectric conversion.
  • the image signal generated by the imaging unit 5009 is provided to the communication unit 5013.
  • CMOS Complementary Metal Oxide Semiconductor
  • the imaging element for example, an element capable of capturing a high-resolution image of 4K or more may be used.
  • the image sensor that configures the image capturing unit 5009 is configured to include a pair of image sensors for acquiring right-eye and left-eye image signals corresponding to 3D display. By performing the 3D display, the operator 5067 can more accurately grasp the depth of the living tissue in the surgical site.
  • the imaging unit 5009 is configured as a multi-plate type, a plurality of lens units 5007 are also provided corresponding to each imaging element.
  • the imaging unit 5009 is not necessarily provided in the camera head 5005.
  • the imaging unit 5009 may be provided inside the lens barrel 5003 immediately after the objective lens.
  • the driving unit 5011 includes an actuator, and moves the zoom lens and the focus lens of the lens unit 5007 by a predetermined distance along the optical axis under the control of the camera head control unit 5015. Thereby, the magnification and focus of the image captured by the imaging unit 5009 can be adjusted as appropriate.
  • the communication unit 5013 is configured by a communication device for transmitting and receiving various types of information to and from the CCU 5039.
  • the communication unit 5013 transmits the image signal obtained from the imaging unit 5009 as RAW data to the CCU 5039 via the transmission cable 5065.
  • the image signal is preferably transmitted by optical communication.
  • the surgeon 5067 performs the surgery while observing the state of the affected area with the captured image, so that a moving image of the surgical site is displayed in real time as much as possible for safer and more reliable surgery. Because it is required.
  • the communication unit 5013 is provided with a photoelectric conversion module that converts an electrical signal into an optical signal.
  • the image signal is converted into an optical signal by the photoelectric conversion module, and then transmitted to the CCU 5039 via the transmission cable 5065.
  • the communication unit 5013 receives a control signal for controlling driving of the camera head 5005 from the CCU 5039.
  • the control signal includes, for example, information for designating the frame rate of the captured image, information for designating the exposure value at the time of imaging, and / or information for designating the magnification and focus of the captured image. Contains information about the condition.
  • the communication unit 5013 provides the received control signal to the camera head control unit 5015.
  • the control signal from the CCU 5039 may also be transmitted by optical communication.
  • the communication unit 5013 is provided with a photoelectric conversion module that converts an optical signal into an electric signal.
  • the control signal is converted into an electric signal by the photoelectric conversion module, and then provided to the camera head control unit 5015.
  • the imaging conditions such as the frame rate, exposure value, magnification, and focus are automatically set by the control unit 5063 of the CCU 5039 based on the acquired image signal. That is, a so-called AE (Auto Exposure) function, AF (Auto Focus) function, and AWB (Auto White Balance) function are mounted on the endoscope 5001.
  • AE Auto Exposure
  • AF Automatic Focus
  • AWB Automatic White Balance
  • the camera head control unit 5015 controls driving of the camera head 5005 based on a control signal from the CCU 5039 received via the communication unit 5013. For example, the camera head control unit 5015 controls driving of the imaging element of the imaging unit 5009 based on information indicating that the frame rate of the captured image is specified and / or information indicating that the exposure at the time of imaging is specified. For example, the camera head control unit 5015 appropriately moves the zoom lens and the focus lens of the lens unit 5007 via the drive unit 5011 based on information indicating that the magnification and focus of the captured image are designated.
  • the camera head control unit 5015 may further have a function of storing information for identifying the lens barrel 5003 and the camera head 5005.
  • the camera head 5005 can be resistant to autoclave sterilization by arranging the lens unit 5007, the imaging unit 5009, and the like in a sealed structure with high airtightness and waterproofness.
  • the communication unit 5059 is configured by a communication device for transmitting and receiving various types of information to and from the camera head 5005.
  • the communication unit 5059 receives an image signal transmitted from the camera head 5005 via the transmission cable 5065.
  • the image signal can be suitably transmitted by optical communication.
  • the communication unit 5059 is provided with a photoelectric conversion module that converts an optical signal into an electric signal.
  • the communication unit 5059 provides the image processing unit 5061 with the image signal converted into the electrical signal.
  • the communication unit 5059 transmits a control signal for controlling the driving of the camera head 5005 to the camera head 5005.
  • the control signal may also be transmitted by optical communication.
  • the image processing unit 5061 performs various types of image processing on the image signal that is RAW data transmitted from the camera head 5005. Examples of the image processing include development processing, high image quality processing (band enhancement processing, super-resolution processing, NR (Noise reduction) processing and / or camera shake correction processing, etc.), and / or enlargement processing (electronic zoom processing). Various known signal processing is included.
  • the image processing unit 5061 performs detection processing on the image signal for performing AE, AF, and AWB.
  • the image processing unit 5061 is configured by a processor such as a CPU or a GPU, and the above-described image processing and detection processing can be performed by the processor operating according to a predetermined program.
  • the image processing unit 5061 is configured by a plurality of GPUs, the image processing unit 5061 appropriately divides information related to the image signal, and performs image processing in parallel by the plurality of GPUs.
  • the control unit 5063 performs various controls relating to imaging of the surgical site by the endoscope 5001 and display of the captured image. For example, the control unit 5063 generates a control signal for controlling driving of the camera head 5005. At this time, when the imaging condition is input by the user, the control unit 5063 generates a control signal based on the input by the user. Alternatively, when the endoscope 5001 is equipped with the AE function, the AF function, and the AWB function, the control unit 5063 determines the optimum exposure value, focal length, and the like according to the detection processing result by the image processing unit 5061. A white balance is appropriately calculated and a control signal is generated.
  • control unit 5063 causes the display device 5041 to display an image of the surgical site based on the image signal subjected to the image processing by the image processing unit 5061.
  • the control unit 5063 recognizes various objects in the surgical unit image using various image recognition techniques. For example, the control unit 5063 detects the shape and color of the edge of the object included in the surgical part image, thereby removing surgical tools such as forceps, specific biological parts, bleeding, mist when using the energy treatment tool 5021, and the like. Can be recognized.
  • the control unit 5063 displays various types of surgery support information on the image of the surgical site using the recognition result. Surgery support information is displayed in a superimposed manner and presented to the operator 5067, so that the surgery can be performed more safely and reliably.
  • the transmission cable 5065 for connecting the camera head 5005 and the CCU 5039 is an electric signal cable corresponding to electric signal communication, an optical fiber corresponding to optical communication, or a composite cable thereof.
  • communication is performed by wire using the transmission cable 5065, but communication between the camera head 5005 and the CCU 5039 may be performed wirelessly.
  • communication between the two is performed wirelessly, there is no need to install the transmission cable 5065 in the operating room, so that the situation where the movement of the medical staff in the operating room is hindered by the transmission cable 5065 can be eliminated.
  • the endoscopic surgery system 5000 to which the technology according to the present disclosure can be applied has been described.
  • the endoscopic surgery system 5000 has been described as an example, but a system to which the technology according to the present disclosure can be applied is not limited to such an example.
  • the technology according to the present disclosure may be applied to a testing flexible endoscope system or a microscope operation system.
  • the technology according to the present disclosure can be suitably applied to the display device 5041 among the configurations described above.
  • the arrangement of the display device 5041, the orientation of the endoscope 5001, and the like the image displayed on the display device 5041 should be displayed upside down or horizontally using the flip function. It may be suitable for the surgeon.
  • the display device 5041 when the flip function is on, the display device 5041 is used as a reference according to the direction of reversal when the direction instruction is input from the input device 5047.
  • the operation can be performed without worrying about whether the flip setting is on or off, and the usability of the endoscopic surgery system 5000 can be improved.
  • the present technology can be configured as follows.
  • a control unit configured to display a display screen based on the setting of the flip function, and to control an operation related to the predetermined direction based on the display screen when an operation instruction related to the predetermined direction is received from an external device. Processing equipment.
  • the control unit receives the operation instruction related to the upward direction based on the external device from the external device, and uses the display screen reversed in the vertical direction as a reference.
  • the control unit displays the display screen without inverting it in the vertical direction, and receives an operation instruction regarding the upward direction based on the external device from the external device.
  • the control unit displays the menu screen by inverting it vertically and receives an operation instruction related to the predetermined direction from the external device.
  • the image processing apparatus according to (5), wherein the menu item on the menu screen is selected on the basis of the menu screen that is highlighted in the up-down direction based on an instruction.
  • the control unit When receiving an operation instruction not related to a direction from the external device, the control unit performs control so that an operation not related to the direction is performed regardless of the setting of the flip function.
  • the image processing apparatus according to any one of (6) to (6).
  • the flip function is set to ON, the image obtained by shooting is reversed in the vertical direction, the left and right channels of the collected sound obtained by collecting the sound are switched, the vertically inverted display of the display screen, and
  • the image processing apparatus according to any one of (1) to (7), wherein at least one of the switching of the assignment function between the operation units related in different directions is performed.
  • a control method including a step of controlling a display screen to be displayed based on the setting of the flip function and performing an operation related to the predetermined direction on the basis of the display screen when an operation instruction related to the predetermined direction is received from an external device.
  • (10) Set the flip function to flip the image vertically and display it on or off,
  • a process including a step of controlling a display screen to be displayed based on the setting of the flip function and controlling the operation in the predetermined direction based on the display screen when an operation instruction in a predetermined direction is received from an external device.
  • imaging device 22 sound collection unit, 61 display unit, 63 up button, 64 down button, 65 left button, 66 right button, 131 imaging unit, 133 control unit, 135 communication unit, 136 input / output terminal, 151 setting unit, 152 OSD image generation unit, 153 display control unit, 154 recording control unit

Abstract

本技術は、使い勝手を向上させることができるようにする画像処理装置および制御方法、並びにプログラムに関する。 画像処理装置は、画像を上下方向に反転させて表示するフリップ機能をオンまたはオフに設定する設定部と、フリップ機能の設定に基づき表示画面を表示させ、外部機器から所定方向に関する操作指示を受信した場合、表示画面を基準として所定方向に関する操作が行われるように制御する制御部とを備える。本技術はデジタルカメラに適用することができる。

Description

画像処理装置および制御方法、並びにプログラム
 本技術は画像処理装置および制御方法、並びにプログラムに関し、特に、使い勝手を向上させることができるようにした画像処理装置および制御方法、並びにプログラムに関する。
 例えばカメラに関する技術として、広視野画像を展開して得られた画像から視野の異なる2つの画像を切り出して並べたハーフワイド画像を表示させるときに、一方の視野の画像を左右に反転させて表示させる技術が提案されている(例えば、特許文献1参照)。
 このような技術を適用したカメラを自動車に設置して撮影を行い、得られたハーフワイド画像を表示すれば、ハーフワイド画像における2つの異なる視野の領域において風景が同じ方向に流れるようになるので運転補助等の用途で用いることができる。
 また、カメラで撮影を行う場合、使用用途によってカメラを手で持って撮影を行ったり、カメラを自動車や天井などに固定して撮影を行ったりすることがあるが、カメラを逆さにして動画像を撮影すると画像の上下や音声の左右のチャンネルが逆になってしまう。
 そこで、カメラを逆さにして撮影を行うことを想定して記録用画像を上下に反転させたり、音声の左右のチャンネルを入れ替えたりする機能も提案されている。
特開2008-28778号公報
 しかしながら上述した技術では、カメラを逆さにして撮影を行うときなどにおいて撮影操作等が不便なことがあり、撮影した画像を上下に反転させるだけでは十分に使い勝手がよいとはいえなかった。
 本技術は、このような状況に鑑みてなされたものであり、使い勝手を向上させることができるようにするものである。
 本技術の一側面の画像処理装置は、画像を上下方向に反転させて表示するフリップ機能をオンまたはオフに設定する設定部と、前記フリップ機能の設定に基づき表示画面を表示させ、外部機器から所定方向に関する操作指示を受信した場合、前記表示画面を基準として前記所定方向に関する操作が行われるように制御する制御部とを備える。
 前記制御部には、前記フリップ機能がオンに設定されている場合、前記表示画面を上下方向に反転させて表示させることができる。
 前記制御部には、前記フリップ機能がオンに設定されている場合、前記外部機器を基準とする上方向に関する操作指示を前記外部機器から受信したとき、上下方向に反転表示された前記表示画面を基準として上方向への操作が行われるように制御させることができる。
 前記制御部には、前記フリップ機能がオフに設定されている場合、前記表示画面を上下方向に反転させずに表示させ、前記外部機器を基準とする上方向に関する操作指示を前記外部機器から受信したとき、上下方向に反転されずに表示された前記表示画面を基準として上方向への操作が行われるように制御させることができる。
 前記表示画面を、複数のメニュー項目が並べられて配置されたメニュー画面とすることができる。
 前記制御部には、前記フリップ機能がオンに設定されている場合、前記メニュー画面を上下方向に反転させて表示させ、前記外部機器から前記所定方向に関する操作指示を受信したとき、前記所定方向に関する操作指示に基づいて、上下方向に反転表示された前記メニュー画面を基準として前記メニュー画面上の前記メニュー項目を選択させることができる。
 前記制御部には、前記外部機器から方向に関係付けられていない操作指示を受信した場合、前記フリップ機能の設定によらず、前記方向に関係付けられていない操作が行われるように制御させることができる。
 前記フリップ機能がオンに設定された場合、撮影により得られた画像の上下方向の反転、収音により得られた収音音声の左右のチャンネルの入れ替え、前記表示画面の上下方向の反転表示、および互いに異なる方向に関係付けられた操作部間における割り当て機能の入れ替えのうちの少なくとも何れか1つが行われるようにすることができる。
 本技術の一側面の制御方法またはプログラムは、画像を上下方向に反転させて表示するフリップ機能をオンまたはオフに設定し、前記フリップ機能の設定に基づき表示画面を表示させ、外部機器から所定方向に関する操作指示を受信した場合、前記表示画面を基準として前記所定方向に関する操作が行われるように制御するステップを含む。
 本技術の一側面においては、画像を上下方向に反転させて表示するフリップ機能がオンまたはオフに設定され、前記フリップ機能の設定に基づき表示画面が表示され、外部機器から所定方向に関する操作指示を受信した場合、前記表示画面を基準として前記所定方向に関する操作が行われるように制御される。
 本技術の一側面によれば、使い勝手を向上させることができる。
 なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
撮像装置の外観の構成例を示す図である。 撮像装置の外観の構成例を示す図である。 撮像装置の外観の構成例を示す図である。 撮像装置の外観の構成例を示す図である。 撮像装置の機能的な構成例を示す図である。 フリップ設定について説明する図である。 フリップ設定について説明する図である。 フリップ設定について説明する図である。 フリップ設定処理を説明するフローチャートである。 フリップ設定と動画像の撮影について説明する図である。 フリップ設定と動画像の撮影について説明する図である。 撮影処理を説明するフローチャートである。 フリップ設定と画像出力について説明する図である。 フリップ設定と画像出力について説明する図である。 出力処理を説明するフローチャートである。 フリップ設定と方向キーの挙動について説明する図である。 フリップ設定と方向キーの挙動について説明する図である。 DISP機能に関する表示の切り替えについて説明する図である。 DISP機能に関する表示の切り替えについて説明する図である。 DISP機能に関する表示の切り替えについて説明する図である。 機能設定画面の表示例を示す図である。 WB設定画面の表示例を示す図である。 メニュー画面の表示例を示す図である。 キー操作処理を説明するフローチャートである。 遠隔操作器の外観の構成例を示す図である。 コマンド実行処理を説明するフローチャートである。 コンピュータの構成例を示す図である。 内視鏡手術システムの概略的な構成の一例を示す図である。 図28に示すカメラヘッド及びCCUの機能構成の一例を示すブロック図である。
 以下、図面を参照して、本技術を適用した実施の形態について説明する。
〈第1の実施の形態〉
〈撮像装置の外観構成例〉
 まず、図1乃至図4を参照して、本技術を適用した画像処理装置の一例である撮像装置の外観の構成例について説明する。
 図1は、撮像装置の外観の正面図を示している。
 撮像装置11は例えばデジタルカメラなどからなり、撮影者であるユーザが手で撮像装置11を持って撮影を行うことができるだけでなく、撮像装置11を自転車や天井、壁などに固定して撮影を行うこともできるようになされている。
 撮像装置11の正面には被写体からの光を図示せぬ撮像素子へと導くレンズ21が設けられている。また、撮像装置11の正面部分におけるレンズ21の図中、下側には動画像撮影時に周囲の音を収音するマイクロホンからなる収音部22-1および収音部22-2が設けられている。基本的には収音部22-1により収音された音が右チャンネルの音声とされ、収音部22-2により収音された音が左チャンネルの音声とされる。
 なお、以下、収音部22-1および収音部22-2を特に区別する必要のない場合、単に収音部22とも称する。
 撮像装置11の正面部分の図中、左上にはタリーランプ23が設けられている。このタリーランプ23は、撮像装置11による動画像の撮影中に点灯し、動画像の撮影が行われていない状態では消灯するようになされている。
 また、通常、撮像装置11により動画像や静止画像を撮影するときには、矢印A11に示す上面が鉛直方向上側に向けられた状態で、つまり矢印A12に示す底面が地面に向けられた状態で撮影が行われる。
 そのため、撮像装置11の上面には、例えば図2に示すように電源ボタン41やシャッタボタン42、音声出力部43などが設けられている。なお、図2は、撮像装置11を図1中、上側から下方向に見た上面図を示している。
 電源ボタン41は、撮像装置11の電源をオンまたはオフさせるときに操作されるボタンであり、シャッタボタン42は、静止画像を撮影するときや、動画像の撮影を開始するとき、動画像の撮影を停止するときなどに操作される。また、シャッタボタン42は、図示せぬ表示部にメニュー画面等が表示されている状態では、選択を決定させるためのエンターキー(決定ボタン)として機能する。
 音声出力部43は、例えばスピーカなどからなり、動画像の再生時に動画像の音声を再生する。
 また、撮像装置11における図1に示した正面とは反対側の面、すなわち撮像装置11の裏面には、例えば図3に示すように各種のボタン等が設けられている。なお、図3では、撮像装置11の図3中、上側が上面側となっており、撮像装置11の図3中、下側が底面側となっている。
 撮像装置11の裏面には、例えばLCD(Liquid Crystal Display)などからなり、各種の画像を表示する表示部61が設けられている。
 また、表示部61の周囲にはタリーランプ62、上ボタン63、下ボタン64、左ボタン65、右ボタン66、およびメニューボタン67が設けられている。
 タリーランプ62は、撮像装置11の正面に設けられたタリーランプ23と同様に、動画像の撮影中に点灯し、動画像の撮影が行われていない状態では消灯する。
 上ボタン63は、表示部61に表示されている画像やメニュー画面等に対する上方向への操作を行なうときに操作される。
 すなわち、上ボタン63は、例えばメニュー画面においてカーソル等をメニュー画面の上端の方向へと移動させるときや、撮影により得られた画像の上端方向側の領域を表示させるためのスクロール操作を行うときなどに操作される。
 以下では、特に画像やメニュー画面等の中心から上端へと向かう方向を画面上方向とも称することとし、同様に画像やメニュー画面等の中心から下端、左端、および右端のそれぞれへと向かう方向を画面下方向、画面左方向、および画面右方向とも称することとする。例えば画面上方向は、画像やメニュー画面等を基準とした、つまりそれらの画像やメニュー画面上における上方向である。
 また、以下、画像やメニュー画面等に対して画面上方向、画面下方向、画面左方向、および画面右方向のそれぞれに関係付けられた操作を行う機能を上方向操作機能、下方向操作機能、左方向操作機能、および右方向操作機能とも称することとする。
 したがって、上ボタン63には画像やメニュー画面等の表示画面を基準として上方向に関係付けられた操作、つまりカーソル等の画面上方向への移動や、画面上方向側の領域を表示させるためのスクロール操作などの上方向操作機能が割り当てられている。
 その他、上ボタン63は、撮影時や画像再生時において表示部61の表示を切り替えるときにも操作される。すなわち、上ボタン63が操作されると、各種の設定を表すマーク等が必要最低限だけ表示されている状態、各種の設定を表すマーク等がより多く表示されている状態、画像に関するヒストグラムが表示された状態など、上ボタン63に対する操作に応じて表示部61の表示が切り替えられていく。
 以下では、撮影時や画像再生時に表示部61の表示を切り替える機能をDISP機能と称することとする。
 このように上ボタン63には、上方向操作機能とDISP機能とが割り当てられている。
 撮像装置11の裏面には上ボタン63の図中、上側、すなわち矢印W11に示す部分にはDISP機能を示す文字「DISP」が印字されており、ユーザ(使用者)はこの印字を見ることで上ボタン63にDISP機能が割り当てられていることを瞬時に把握することができる。
 上ボタン63の図中、下側、つまり底面側には下ボタン64が配置されており、下ボタン64は、画面下方向への操作を行なうときに操作される。すなわち、下ボタン64には下方向操作機能が割り当てられている。
 また、下ボタン64には、下方向操作機能の他に予め定められた複数の機能のうちの任意の1つの機能を選択的に割り当てることが可能となっている。例えば初期設定では、下ボタン64には再生機能が割り当てられており、下ボタン64が操作されると最後に撮影された画像の再生が開始される。
 右ボタン66は、表示部61に表示されている画像やメニュー画面等に対する画面右方向への操作を行なうときに操作される。すなわち、右ボタン66には右方向操作機能が割り当てられている。
 具体的には、例えば右ボタン66はメニュー画面においてカーソル等を画面右方向へと移動させるときや、撮影により得られた画像の右端方向側の領域を表示させるためのスクロール操作を行うときなどに操作される。
 また、右ボタン66には右方向操作機能の他、機能設定画面を表示させるファンクション機能(以下、Fn機能と称する)も割り当てられている。すなわち、例えば撮影時等に右ボタン66が操作されると、表示部61には機能設定画面が表示される。
 撮像装置11の裏面には右ボタン66の図中、右側、すなわち矢印W12に示す部分にはFn機能を示す文字「Fn」が印字されており、ユーザはこの印字を見ることで右ボタン66にFn機能が割り当てられていることを瞬時に把握することができる。
 なお、ここでは文字「DISP」や「Fn」など、ボタン近傍に、そのボタンに対して予め割り当てられた機能を示す文字が印字されている例について説明するが、機能を示す記号などが印字されるようにしてもよい。
 右ボタン66の図中、左側には左ボタン65が配置されており、左ボタン65は画面左方向への操作を行なうときに操作される。すなわち、左ボタン65には、左方向操作機能が割り当てられている。
 また、左ボタン65には左方向操作機能の他に予め定められた複数の機能のうちの任意の1つの機能を選択的に割り当てることが可能となっている。例えば初期設定では、左ボタン65にはWB(White Balance)設定機能が割り当てられており、撮影時等に左ボタン65が操作されると、表示部61にはホワイトバランス調整を行う際の前提となる撮影環境を選択するためのWB設定画面が表示される。
 このように上ボタン63、下ボタン64、左ボタン65、および右ボタン66は、それぞれ上下左右という方向に関係付けられており、それらの各ボタン(キー)には関係付けられた方向への操作を行う機能と、方向とは無関係の機能とが割り当てられている。つまり、方向に関係付けられた操作部としての各ボタンには、それらの方向に関係付けられた機能と、方向に関係付けられていない機能とが予め割り当てられている。
 以下では上ボタン63、下ボタン64、左ボタン65、および右ボタン66を特に区別する必要のない場合には、それらのボタンを方向キーとも称することとする。図3に示す例では、各方向キーにはそれらの方向キーに関係付けられた方向の矢印が印字されている。また、各方向キーには少なくとも1以上の機能が割り当てられていればよい。つまり、方向キーには1または複数の機能が割り当てられていればよい。
 左ボタン65の図中、左側にはメニューボタン67が配置されており、メニューボタン67は表示部61にメニュー画面を表示させるときに操作される。すなわち、メニューボタン67には、メニュー画面を表示させるメニュー表示機能が割り当てられている。
 さらに撮像装置11の裏面における表示部61の図中、左側にはカバー68が取り付けられており、ロックボタン69を操作することでカバー68を撮像装置11から取り外すことができるようになされている。
 撮像装置11本体におけるカバー68下側には、矢印Q11に示すように各種の端子やスロットが設けられている。ここで、矢印Q11に示す図は撮像装置11本体の裏面左側部分のカバー68が取り外された状態を示している。
 この例では、撮像装置11本体におけるカバー68下には、外部との接続のための入出力端子としてHDMI(登録商標)(High-Definition Multimedia Interface)の端子70およびUSB(登録商標)(Universal Serial Bus)の端子71が設けられている。
 また、撮像装置11本体のカバー68下には、マイクロホンを取り付けるための端子72や、撮像装置11に着脱可能なリムーバブル記録媒体の挿入口であるスロット73、およびリムーバブル記録媒体に対するアクセス等を通知するためのメディアアクセスランプ74が設けられている。
 さらに撮像装置11の底面には、例えば図4に示すように撮像装置11を三脚等に固定するための固定部であるソケット91が設けられている。このソケット91を利用して撮像装置11を天井や壁などに固定すれば、撮像装置11を逆さにした状態や90度回転させた状態で撮影等を行うことができる。
〈撮像装置の機能的構成例〉
 次に、撮像装置11の機能的な構成例について説明する。
 図5は、撮像装置11の機能的な構成例を示す図である。なお、図5において図1乃至図4における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
 図5に示す例では、遠隔操作器121により撮像装置11の遠隔操作が可能となっており、撮像装置11にはディスプレイ付きのレコーダや、ディスプレイなどの外部機器122が接続されている。以下では、外部機器122がディスプレイ付きのレコーダであるものとして説明を続ける。また、外部機器122専用の外部機器用遠隔操作器123によって、外部機器122および撮像装置11を遠隔操作することが可能となっている。
 撮像装置11は、撮像部131、収音部22、操作部132、制御部133、リムーバブル記録媒体134、音声出力部43、表示部61、通信部135、および入出力端子136を有している。
 撮像部131は、図1に示したレンズ21や撮像素子などからなり、制御部133の制御に従って被写体からの光を受光して光電変換することにより画像を撮像し、得られた画像の画像データを制御部133に供給する。なお、以下では撮像部131で得られた画像を特に撮影画像とも称することとする。
 収音部22は、制御部133の制御に従って周囲の音声を収音し、その結果得られた収音音声の音声データを制御部133に供給する。
 操作部132は、例えば図2に示した電源ボタン41やシャッタボタン42、図3に示した上ボタン63乃至メニューボタン67、表示部61に重畳して設けられたタッチパネルなどからなり、ユーザの操作に応じた信号を制御部133に供給する。
 制御部133は、撮像装置11全体の動作を制御する。制御部133は設定部151、OSD(On Screen Display)画像生成部152、表示制御部153、および記録制御部154を有している。
 設定部151は操作部132からの信号に応じて各種の設定を行う。OSD画像生成部152はOSD画像を生成する。
 OSD画像は、例えば撮影モードを示すマークや、バッテリの残量を示す画像、ホワイトバランス設定を示すマークなどの各種の設定や撮像装置11に関する状態等を示すマークや画像を表示する画像である。
 表示制御部153は、表示部61や外部機器122における各種の画像の表示を制御する。記録制御部154は撮影により得られた画像データや、収音により得られた音声データのリムーバブル記録媒体134や外部機器122への記録を制御する。
 リムーバブル記録媒体134は、撮像装置11に着脱可能な記録媒体であり、図3に示したスロット73に挿入されると撮像装置11に装着された状態となる。リムーバブル記録媒体134は、制御部133から供給された画像データや音声データを記録するとともに、必要に応じて記録している画像データや音声データを制御部133に供給する。
 通信部135は、無線または有線の通信により遠隔操作器121から送信されてきたコマンドを受信して制御部133に供給する。
 例えば遠隔操作器121は、赤外線等による無線通信や端子71等を介した有線の通信によりコマンドを送信する、撮像装置11専用または汎用のリモートコマンダであるが、その他、スマートフォンなどにより実現されるようにしてもよい。
 入出力端子136は、例えば図3に示した端子70や端子71などからなり、外部機器122との間で通信を行うための入出力部である。
 例えば入出力端子136は、制御部133から供給された画像データや音声データを外部機器122に出力したり、外部機器122から供給されたコマンド等を制御部133に出力したりする。
〈フリップ設定について〉
 ところで、上述したように撮像装置11はユーザの手に持たれた状態で使用されることもあるし、天井や壁などに固定された状態で使用されることもある。
 例えば撮像装置11が逆さに固定されている状態で使用される場合には、撮影された画像が上下逆さまの状態で記録され、また収音された音声の左右のチャンネルが入れ替わった状態で記録されてしまうことになる。
 そこで、撮像装置11では、撮像装置11が逆さまの状態で使用されるときでも画像の上下が反転しないようにするためのフリップ機能が設けられている。フリップ機能とは、撮影された画像や再生される画像、メニュー画面などの画像の表示方向を所定方向、すなわちここでは上下方向に反転させる機能である。また、この実施の形態では、フリップ機能によって、撮像装置11が逆さまの状態で使用されるときでも音声の左右のチャンネルが入れ替わったりしないようにすることもできるようになされている。
 ここで、撮像部131で得られた撮影画像に対して、撮影中に表示部61に表示される画角確認用の画像をスルー画像と称し、リムーバブル記録媒体134等に記録するための記録用の画像を記録用画像と称することとする。また、収音部22での収音により得られた音声を収音音声とも称し、リムーバブル記録媒体134等に記録するための記録用の音声を記録用音声とも称することとする。
 例えばフリップ設定がオフとされている、つまりフリップ機能がオフに設定されている状態では、撮像装置11が逆さまでない状態、つまり撮像装置11の底面が鉛直方向下側(地面側)に向けられて使用されることが想定されている。
 そのため、フリップ設定がオフの状態では、撮影画像および収音音声がそのまま記録用画像および記録用音声とされる。
 また、詳細は後述するが、フリップ設定がオフの状態ではOSD画像やメニュー画面などの表示画面も撮影装置11の上面側が画面上方向となるように表示が行われる。
 なお、以下では、記録用画像やOSD画像、メニュー画面などの表示部61に表示される画像(画面)を特に区別する必要のない場合には、単に表示画面とも称することとする。但し、スルー画像は表示画面に含まれない(除外される)ものとする。
 また、以下では、表示部61に表示画面を表示させたときに、表示画面の上端、つまり画面上方向側の端が表示部61の上面側に位置する表示状態を通常表示状態と称することとする。通常表示状態では、撮像装置11の上面が自身から見て上側に位置する状態で使用しているユーザには、表示部61において文字等が真っすぐに表示された状態となる。
 これに対して、フリップ設定がオンとされている、つまりフリップ機能がオンの状態では、撮影画像が上下方向に反転されて、つまり撮影画像が180度回転されて記録用画像とされ、収音音声の左右のチャンネルが入れ替えられて記録用音声とされる。
 また、詳細は後述するが、フリップ設定がオンの状態ではOSD画像やメニュー画面などの表示画面も撮影装置11の底面側が画面上方向となるように、表示画面が上下方向に反転されて表示される。つまり、表示画面の表示方向が上下に反転される。
 なお、以下では表示部61に表示画面を表示させたときに、表示画面の上端、つまり画面上方向側の端が表示部61の底面側に位置する表示状態を反転表示状態と称することとする。
 反転表示状態では、撮像装置11の底面が自身から見て上側に位置する状態で使用しているユーザには、表示部61において文字等が真っすぐに表示された状態となる。換言すれば、反転表示状態では、撮像装置11の上面が自身から見て上側に位置する状態で使用しているユーザには、表示部61において文字等が上下逆さまに表示された状態となる。
 さらに、フリップ設定がオンの状態では撮像装置11の方向キーの挙動も変化する。すなわち、互いに異なる方向に関係付けられた2つの方向キー間で、それらの方向キーの割り当て機能の入れ替えが行われる。
 このようにフリップ機能がオンに設定されている場合には、記録用画像生成時における撮影画像の上下方向の反転、記録用音声生成時における収音音声の左右のチャンネルの入れ替え、表示画面の上下方向の反転表示、および方向キー間における割り当て機能の入れ替えが行われるが、それらのうちの少なくとも何れか1つが行われるようにしてもよい。例えば、フリップ機能がオンに設定されている場合には、少なくとも記録用画像生成時における撮影画像の上下方向の反転や表示画面の上下方向の反転表示といった画像の表示方向の上下方向への反転が行われるようにすることもできる。この場合、記録用音声生成時における収音音声の左右のチャンネルの入れ替えや、方向キー間における割り当て機能の入れ替えは行われるようにしてもよいし、行われないようにしてもよい。
〈フリップ設定時の操作について〉
 それでは以下、フリップ設定について、より詳細に説明する。
 まず、フリップ機能をオンまたはオフに設定するときの操作について説明する。
 ユーザは、撮像装置11の裏面に設けられたメニューボタン67を操作するなどして、表示部61にメニュー画面を表示させることでフリップ設定をオンまたはオフとする設定操作を行うことができる。
 例えばフリップ設定がオフである状態でメニューボタン67が操作されると、表示制御部153は操作部132としてのメニューボタン67から供給された信号に応じて、メニュー画面のデータを表示部61に供給し、図6に示すメニュー画面を表示させる。
 図6に示す例では、メニュー画面には文字「Flip」が表示されたメニュー項目MA11を含む複数のメニュー項目が並べられて配置(表示)されている。このメニュー項目MA11は、フリップ設定を行うためのメニュー項目であり、メニュー項目MA11に表示された文字「Off」は、現状のフリップ設定がオフとなっていることを表している。そのため、図6に示す例では、メニュー画面の表示状態は通常表示状態となっている。
 また、この例ではメニュー項目MA11がハイライトされており、つまり他のメニュー項目とは異なる表示状態とされており、メニュー項目MA11が選択された状態となっている。
 このような状態で、例えばユーザが撮像装置11の上面に設けられたシャッタボタン42等を操作し、メニュー項目MA11の選択の決定を指示したとする。
 すると、表示制御部153は、操作部132としてのシャッタボタン42等から供給された信号に応じて、フリップ設定画面のデータを表示部61に供給し、例えば図7に示すフリップ設定画面を表示させる。
 図7に示す例では、図6に示したメニュー画面上にフリップ設定を行うためのフリップ設定画面FC11が重畳表示されており、フリップ設定がオフである状態となっているため、フリップ設定画面FC11も通常表示状態での表示となっている。
 フリップ設定画面FC11には、フリップ機能をオンに設定するための設定項目CA11-1と、フリップ機能をオフに設定するための設定項目CA11-2とが表示されている。特に、設定項目CA11-1には文字「On」が表示されており、設定項目CA11-2には文字「Off」が表示されている。なお、以下、設定項目CA11-1および設定項目CA11-2を特に区別する必要のない場合、単に設定項目CA11とも称することとする。
 フリップ設定画面FC11が表示された状態となると、ユーザは方向キーやシャッタボタン42等を操作し、設定項目CA11を選択状態としたり、選択状態となっている設定項目CA11の選択を決定したりすることでフリップ設定を行う。
 図7に示す例では、フリップ設定をオフとするための設定項目CA11-2がハイライトされて選択状態となっている。この状態から設定項目CA11-2の選択を決定する操作が行われると、設定部151は操作部132から供給された信号に基づいてフリップ設定をオフとし、その設定結果を示すフリップ設定情報を記録する。
 なお、より詳細には設定部151はフリップ設定情報を記録しており、設定項目CA11-2の選択が決定されると、記録しているフリップ設定情報をフリップ機能がオフである旨の情報とすることで、フリップ設定情報を更新する。
 このようにフリップ設定がオフとされると、その後、表示制御部153は、例えば表示部61の表示を図6に示したメニュー画面に戻したり、メニュー画面が表示される前の状態、例えばスルー画像が表示された状態に戻したりする。
 一方、フリップ設定をオンにするための設定項目CA11-1が選択状態とされて、設定項目CA11-1の選択を決定する操作がユーザにより行われると、設定部151は操作部132から供給された信号に基づいてフリップ設定をオンとし、その設定結果を示すフリップ設定情報を記録する。すなわち、フリップ設定情報が、フリップ機能がオンである旨の情報に更新される。
 また、表示制御部153はフリップ設定がオンとされると、その直後に表示部61を制御して、例えば図8に示すフリップ設定に関する画面、すなわちフリップ機能の設定に関する画面である説明画面を表示させる。
 この例では、フリップ設定がオンになっているため、説明画面は反転表示状態での表示となっている。すなわち、説明画面の上端が撮像装置11の底面側となるように、説明画面が上下方向に反転された状態で表示部61に表示されている。
 この説明画面には、フリップ機能についての説明が表示されている。具体的には、説明画面には、フリップ設定がオンとされたときの操作部132の挙動、特に操作部132としての方向キーの挙動に関する説明を示す文字「Switches between the up button and down button function.」および文字「Switches between the left button and right button function.」が表示されている。
 すなわち、説明画面には方向キーのうちの上ボタン63および下ボタン64という、互いに相反する方向に関係付けられたボタンの挙動(機能)が入れ替わる旨の説明が表示される。同様に、説明画面には方向キーのうちの左ボタン65および右ボタン66という、互いに相反する方向に関係付けられたボタンの挙動(機能)が入れ替わる旨の説明も表示される。
 なお、フリップ設定による方向キー等の挙動についての詳細な説明は後述する。また、ここでは説明画面の一例として、方向キーの挙動の説明が表示される場合について説明した。しかし、表示が上下に反転する旨の説明や、遠隔操作器の挙動に関する説明など、フリップ設定がオンとされたときに、表示状態を含む撮像装置11等の挙動がどのようになるかの説明が表示されれば、説明画面はどのようなものであってもよい。
 以上のように撮像装置11では、フリップ設定がオンとされた直後に、フリップ設定がオンとなったときの撮像装置11の挙動に関する説明が表示された説明画面が反転表示状態で表示される。これにより、ユーザに対してフリップ設定がオンとされたことを通知できるだけでなく、その設定後の挙動も直感的かつ容易に把握させることができ、撮像装置11の使い勝手を向上させることができる。特に説明画面を反転表示状態で表示させることで、ユーザは表示部61の表示が上下に反転することを容易に把握することができる。
 また、図8に示す説明画面には、ユーザが説明画面の説明内容を確認したときに操作されるボタンBT11も表示されており、ボタンBT11には文字「OK」が表示されている。
 説明画面上にボタンBT11を設けることで、ユーザに対して、フリップ設定がオンとされたことの確認を促すことができる。したがって、この例では、説明画面はユーザに対してフリップ設定の確認、すなわちフリップ機能についての設定の確認を行うための確認画面としても機能している。
 ユーザによりボタンBT11が操作されると、その後、表示部61の表示は、例えば図6に示したメニュー画面に戻されたり、メニュー画面が表示される前の状態、例えばスルー画像が表示された状態に戻されたりする。
 さらに、ここでは説明画面には、フリップ設定をオンとしたことを確認するためのOKボタンであるボタンBT11が設けられる例について説明したが、ボタンBT11だけではなく、フリップ設定をオンとする操作をキャンセルするためのキャンセルボタンも設けられるようにしてもよい。
 そのような場合、ユーザは操作部132としての方向キー等を操作することで、説明画面上のキャンセルボタンを操作して、ユーザにより行われたフリップ設定をオンとする選択操作を無効とする。
 説明画面(確認画面)が表示されている状態でユーザによりキャンセルボタンが操作され、フリップ機能をオンとする設定のキャンセルが指示されると、設定部151は操作部132からの信号に基づいて、説明画面を表示する直前に行われたフリップ機能の設定をキャンセルする。また、表示制御部153は表示部61を制御して、表示部61における表示を図7に示したフリップ設定画面FC11に戻す。そして、新たにフリップ設定が行われると、設定部151は新たな設定結果を示すフリップ設定情報を記録する。
 このようにフリップ設定の説明画面において、直前にしたフリップ機能をオンとする設定をキャンセルできるようにすれば、さらに使い勝手を向上させることができる。
 次に、以上において説明したフリップ設定が行われるときの撮像装置11の具体的な動作について説明する。すなわち、以下、図9のフローチャートを参照して、撮像装置11により行われるフリップ設定処理について説明する。このフリップ設定処理は、表示部61に図7に示したフリップ設定画面FC11が表示されると開始される。
 ステップS11において、設定部151は操作部132からの信号に基づいて、フリップ設定をオンとするか否かを判定する。
 例えばユーザにより操作部132が操作されて、フリップ設定画面FC11上の設定項目CA11-1の選択が決定された場合、フリップ設定をオンとすると判定される。これに対して、フリップ設定画面FC11上の設定項目CA11-2の選択が決定された場合、フリップ設定をオンとしない、つまりオフとすると判定される。
 ステップS11においてフリップ設定をオンとすると判定された場合、すなわち、フリップ機能をオンとする指示が受け付けられた場合、ステップS12において設定部151は、ユーザによる設定項目CA11-1の選択決定の操作に応じて操作部132から供給された信号に基づいて、フリップ設定をオンとする。
 具体的には、設定部151は記録しているフリップ設定情報を、フリップ設定がオンである旨の情報に更新する。換言すれば、設定部151はフリップ設定がオンである旨のフリップ設定情報を生成し、記録する。
 ステップS13において、表示制御部153は説明画面のデータを表示部61に供給するとともに、設定部151に記録されている、フリップ設定がオンである旨のフリップ設定情報に基づいて表示部61を制御し、上下に反転された説明画面を表示部61に表示させる。これにより、例えば図8に示したように、説明画面が反転表示状態で表示部61に表示される。
 説明画面が表示されると、フリップ設定処理は終了する。この場合、ユーザによりボタンBT11が操作されると、表示部61の表示はメニュー画面に戻されたり、スルー画像の表示に戻されたりする。
 これに対して、ステップS11においてフリップ設定をオンとしない、つまりオフとすると判定された場合、ステップS14において、設定部151は、ユーザによる設定項目CA11-2の選択決定の操作に応じて操作部132から供給された信号に基づいて、フリップ設定をオフとする。
 具体的には、設定部151は記録しているフリップ設定情報を、フリップ設定がオフである旨の情報に更新する。換言すれば、設定部151はフリップ設定がオフである旨のフリップ設定情報を生成し、記録する。
 フリップ設定がオフとされると、その後、フリップ設定処理は終了する。この場合、表示部61の表示は、例えばメニュー画面に戻されたり、スルー画像の表示に戻されたりする。すなわち、フリップ設定がオフとされた場合には、表示制御部153は、例えば図8に示した説明画面等のフリップ機能の設定に関する画面を表示させない。
 以上のようにして撮像装置11は、フリップ設定画面に対するユーザの操作に応じてフリップ設定情報を記録するとともに、フリップ設定がオンとされると、その直後に説明画面を反転表示状態で表示させる。このようにすることで、フリップ設定がオンとなったことや、フリップ設定がオンとされるとどのような挙動となるかをユーザに簡単に把握させることができ、撮像装置11の使い勝手を向上させることができる。
〈動画像の撮影について〉
 次に、フリップ設定がオンであるときとオフであるときの撮影時の動作について説明する。
 例えばフリップ設定がオフとされている状態で動画像の撮影が行われると、撮影画像および収音音声がそのまま記録用画像および記録用音声とされる。また、表示部61では通常表示状態での表示が行われる。
 したがって、例えば図10の矢印Q21に示すように撮像装置11の底面が地面に向けられた状態(以下、通常使用状態とも称する)で撮影が行われると、表示部61に表示されたOSD画像やスルー画像はユーザに対して真っすぐに見える状態となる。
 なお、ユーザは、通常使用状態で撮像装置11を使用しているときには、ユーザから見て撮像装置11の上側に上面があり、ユーザから見て撮像装置11の下側に底面がある状態で表示部61を見ているとする。これは、以下の説明においても同様であるとする。
 また、ユーザは、撮像装置11を上下逆さにして使用している状態(以下、反転使用状態とも称する)では、ユーザから見て撮像装置11の上側に底面があり、ユーザから見て撮像装置11の下側に上面がある状態で表示部61を見ていることとする。
 さらに、ユーザにOSD画像やスルー画像が真っすぐに見えるとは、ユーザにはOSD画像上の文字が逆さになったり横になったりせずに、通常人が文字を見るときの状態のように真っすぐに見えており、スルー画像の被写体もユーザが実際の被写体を見た通りの状態で見えていることをいう。以下の説明においてユーザに真っすぐに見えるとは、このような状態でユーザに画像等が見えている状態であるとする。
 フリップ設定がオフとされているときに、矢印Q21に示すように通常使用状態で撮影が行われると、矢印Q22に示すように記録用画像もユーザが実際に被写体を見ていたのと同様の状態で記録され、記録用音声も左右のチャンネルが正しく記録される。
 また、例えばフリップ設定がオフとされているときに、矢印Q23に示すように反転使用状態で、つまり撮像装置11の上下を逆さまにした状態で撮影が行われると、スルー画像ではユーザが実際の被写体を見ているのと同じように被写体が表示されるが、OSD画像がユーザから見て上下逆さまに表示されることになる。
 さらに、フリップ設定がオフとされているときに、矢印Q23に示すように反転使用状態で撮影が行われると、矢印Q24に示すように記録用画像はユーザが実際に被写体を見ていたのと上下逆さまの状態で記録され、記録用音声も実際の音と左右のチャンネルが入れ替わった状態で記録される。
 このようにフリップ設定がオフのときには通常使用状態が正しい使用状態となり、反転使用状態は誤った使用状態となる。すなわち、フリップ設定がオフのときには通常使用状態での撮像装置11の使用が想定されており、反転使用状態での使用は想定されていない。
 一方、フリップ設定がオンとされている状態で動画像の撮影が行われると、撮影画像を上下に反転させたものが記録用画像とされ、収音音声の左右のチャンネルを入れ替えたものが記録用音声とされる。また、表示部61では反転表示状態での表示が行われる。但し、スルー画像については反転表示は行われず、通常表示状態での表示が行われる。
 したがって、フリップ設定がオンとされているときに、例えば図11の矢印Q31に示すように通常使用状態で撮像装置11により撮影が行われると、スルー画像ではユーザが実際の被写体を見ているのと同じように被写体が表示されるが、OSD画像がユーザから見て上下逆さまに表示されることになる。
 フリップ設定がオンとされているときに、矢印Q31に示すように通常使用状態で撮影が行われると、矢印Q32に示すように記録用画像はユーザが実際に被写体を見ていたのと上下逆さまの状態で記録され、記録用音声も実際の音と左右のチャンネルが入れ替わった状態で記録される。
 さらに、例えばフリップ設定がオンとされているときに、矢印Q33に示すように反転使用状態で撮像装置11により撮影が行われると、表示部61に表示されたOSD画像やスルー画像はユーザに対して真っすぐに見える状態となる。
 フリップ設定がオンとされているときに、矢印Q33に示すように反転使用状態で撮影が行われると、矢印Q34に示すように記録用画像はユーザが実際に被写体を見ていたのと同様の状態で記録され、記録用音声も左右のチャンネルが正しく記録される。
 このようにフリップ設定がオンのときには反転使用状態が正しい使用状態となり、通常使用状態は誤った使用状態となる。すなわち、フリップ設定がオンのときには反転使用状態での撮像装置11の使用が想定されており、通常使用状態での使用は想定されていない。
 ここで、以上において説明した動画像を撮影するときの撮像装置11の動作について説明する。すなわち、以下、図12のフローチャートを参照して、撮像装置11による撮影処理について説明する。
 ステップS41において、撮像部131は撮影画像の撮影を開始する。すなわち、撮像部131は、被写体から入射してきた光を受光して光電変換を行うことで撮影画像の各フレームを撮影し、得られた画像データを順次、制御部133に供給する。
 ステップS42において収音部22は周囲の音声の収音を開始して、得られた収音音声の音声データを順次、制御部133へと供給する。
 ステップS43において、制御部133はフリップ設定がオンであるか否かを判定する。例えば設定部151に記録されているフリップ設定情報が、フリップ設定がオンである旨の情報である場合、フリップ設定がオンであると判定される。
 ステップS43においてフリップ設定がオンであると判定された場合、ステップS44において、表示制御部153はスルー画像に上下反転させたOSD画像を重畳表示させる。
 すなわち、表示制御部153は、撮像部131で得られた撮影画像の画像データをそのままスルー画像の画像データとして表示部61に供給し、表示部61にスルー画像を表示させる。
 また、表示制御部153は、各種の設定に従ってOSD画像生成部152により生成されたOSD画像の画像データに基づいて、OSD画像が上下反転して表示される、つまりOSD画像が反転表示状態で表示される画像データを生成し、最終的なOSD画像の画像データとする。そして表示制御部153は、生成したOSD画像の画像データを表示部61に供給して表示部61を制御し、スルー画像上に反転表示状態のOSD画像を重畳表示させる。
 これにより、例えば図11の矢印Q31や矢印Q33に示したようなスルー画像とOSD画像が表示部61に表示される。
 ステップS45において、記録制御部154は、撮影画像を上下方向に反転させて記録用画像とする。
 すなわち、記録制御部154は、撮像部131から供給された撮影画像の画像データに基づいて、反転表示状態で表示される撮影画像、つまり撮影画像が上下に反転されて表示される画像を表示させるための画像データを、記録用画像の画像データとして生成する。
 ステップS46において、記録制御部154は、収音音声の左右のチャンネルを入れ替えて記録用音声とする。
 すなわち、記録制御部154は、収音部22から供給された収音音声の音声データに基づいて、その音声データの左右のチャンネルを入れ替えた音声データを生成し、記録用音声の音声データとする。
 以上の処理により、例えば図11の矢印Q32や矢印Q34に示したように動画像が再生される記録用画像の画像データおよび記録用音声の音声データが得られる。
 記録用画像の画像データと、記録用音声の音声データとが得られると、記録制御部154は、例えばそれらの画像データおよび音声データをリムーバブル記録媒体134に供給して記録させる。また、例えば記録用画像の画像データと、記録用音声の音声データは、制御部133によって入出力端子136を介して外部機器122に供給されてもよい。
 そして、適宜、記録用画像の画像データと記録用音声の音声データが記録されるなどすると、撮影処理は終了する。
 これに対して、ステップS43において、フリップ設定がオンでない、つまりフリップ設定がオフであると判定された場合、処理はステップS47へと進む。
 ステップS47において、表示制御部153はスルー画像にOSD画像を重畳表示させる。
 すなわち、表示制御部153は、撮像部131で得られた撮影画像の画像データをそのままスルー画像の画像データとして表示部61に供給し、表示部61にスルー画像を表示させる。
 また、表示制御部153は、各種の設定に従ってOSD画像生成部152により生成されたOSD画像の画像データをそのまま表示部61に供給して表示部61を制御し、スルー画像上に通常表示状態のOSD画像を重畳表示させる。
 これにより、例えば図10の矢印Q21や矢印Q23に示したようなスルー画像とOSD画像が表示部61に表示される。
 ステップS48において、記録制御部154は、撮影画像をそのまま記録用画像とする。すなわち、記録制御部154は、撮像部131から供給された撮影画像の画像データを、そのまま記録用画像の画像データとする。
 ステップS49において、記録制御部154は、収音音声をそのまま記録用音声とする。すなわち、記録制御部154は、収音部22から供給された収音音声の音声データを、そのまま記録用音声の音声データとする。
 以上の処理により、例えば図10の矢印Q22や矢印Q24に示したように動画像が再生される記録用画像の画像データおよび記録用音声の音声データが得られる。
 記録用画像の画像データと、記録用音声の音声データとが得られると、記録制御部154は、例えばそれらの画像データおよび音声データをリムーバブル記録媒体134に供給して記録させる。また、例えば記録用画像の画像データと、記録用音声の音声データは、制御部133によって入出力端子136を介して外部機器122に供給されてもよい。
 そして、適宜、記録用画像の画像データと記録用音声の音声データが記録されるなどすると、撮影処理は終了する。
 以上のようにして撮像装置11は、フリップ設定がオンであるかオフであるかに応じて、記録用画像と記録用音声を生成する。特に、フリップ設定がオンであるときに撮影画像を上下に反転させて記録用画像とし、収音音声の左右のチャンネルを入れ替えて記録用音声とすることで、撮像装置11が反転使用状態で使用されているときでも適切に再生される記録用画像および記録用音声を得ることができる。
〈外部への画像等の出力について〉
 また、撮像装置11で得られた画像や音声を外部機器122に出力する場合には、フリップ設定のオン、オフによらず、OSD画像等の各種の画像が通常表示状態で表示され、かつ音声も正しく再生されるように画像や音声の出力が制御される。これは、例えば外部機器122のディスプレイが上下逆さまにして使用されることは殆どないからである。
 そこで、撮像装置11は、OSD画像やメニュー画面を外部機器122に表示させる際には、それらのOSD画像やメニュー画面等のデータをそのまま外部機器122に出力して通常表示状態で表示されるようにする。また、撮像装置11は、記録用画像の画像データや記録用音声の音声データをそのまま外部機器122に出力して、正しく動画像が再生されるようにする。
 したがって、例えば図13の矢印Q41に示すようにフリップ設定がオフであるときに、通常使用状態で動画像の撮影を行い、得られた記録用画像および記録用音声とOSD画像とを外部機器122に出力して表示させるとする。
 この場合、矢印Q41に示すように撮像装置11では、OSD画像やスルー画像はユーザに対して真っすぐに見える状態となる。
 また、この場合、矢印Q42に示すように外部機器122を構成するディスプレイである表示部181では、OSD画像と記録用画像がユーザに対して真っすぐに見える状態となる。すなわち、記録用画像では、ユーザが実際の被写体を見ているのと同じように被写体が表示されることになる。
 これに対して、例えば矢印Q43に示すようにフリップ設定がオフであるときに反転使用状態で動画像の撮影を行い、得られた記録用画像および記録用音声とOSD画像とを外部機器122に出力して表示させるとする。
 この場合、矢印Q43に示すように撮像装置11では、スルー画像上の被写体はユーザが実際の被写体を見ているのと同じように表示されるが、OSD画像がユーザから見て上下逆さまに表示されることになる。
 また、この場合、矢印Q44に示すように外部機器122の表示部181では、OSD画像はユーザに対して真っすぐに見えるように表示されているが、記録用画像ではユーザが実際に被写体を見ていたのと上下逆さまの状態で被写体が表示されることになる。
 一方、例えば図14の矢印Q51に示すようにフリップ設定がオンであるときに、通常使用状態で動画像の撮影を行い、得られた記録用画像および記録用音声とOSD画像とを外部機器122に出力して表示させるとする。
 この場合、矢印Q51に示すように撮像装置11では、スルー画像上の被写体はユーザが実際の被写体を見ているのと同じように表示されるが、OSD画像がユーザから見て上下逆さまに表示されることになる。
 また、この場合、矢印Q52に示すように外部機器122の表示部181では、OSD画像はユーザに対して真っすぐに見えるように表示されているが、記録用画像ではユーザが実際に被写体を見ていたのと上下逆さまの状態で被写体が表示されることになる。
 これに対して、例えば矢印Q53に示すようにフリップ設定がオンであるときに反転使用状態で動画像の撮影を行い、得られた記録用画像および記録用音声とOSD画像とを外部機器122に出力して表示させるとする。
 この場合、矢印Q53に示すように撮像装置11では、OSD画像やスルー画像はユーザに対して真っすぐに見える状態となる。
 また、この場合、矢印Q54に示すように外部機器122の表示部181では、OSD画像と記録用画像がユーザに対して真っすぐに見える状態となる。すなわち、記録用画像では、ユーザが実際の被写体を見ているのと同じように被写体が表示されることになる。
 このように記録用画像や記録用音声を外部機器122に出力すれば、撮像装置11において正しい使用状態で撮影が行われたときには、外部機器122ではOSD画像や記録用画像が真っすぐに見える状態で表示され、記録用音声も正しく再生可能となる。
 ここで、以上において説明したように撮像装置11がOSD画像と、記録用画像および記録用音声とを外部機器122に出力する処理について説明する。すなわち、以下、図15のフローチャートを参照して、撮像装置11による出力処理について説明する。
 この出力処理は、例えば撮像装置11による動画像の撮影中、すなわち図12を参照して説明した撮影処理の実行中や、撮影後、リムーバブル記録媒体134に記録した動画像、すなわち記録用画像と記録用音声を外部機器122で再生するときなどに行われる。
 ステップS81において、制御部133は、OSD画像生成部152により生成されたOSD画像の画像データを、そのまま入出力端子136を介して外部機器122に出力する。これにより、外部機器122では、OSD画像が真っすぐに見えるように表示される。
 ステップS82において、制御部133は、記録用画像の画像データおよび記録用音声の音声データを、そのまま入出力端子136を介して外部機器122に出力し、出力処理は終了する。
 例えば動画像の撮影中であれば、ステップS82では図12のステップS45とステップS46の処理、または図12のステップS48とステップS49の処理で得られた記録用画像の画像データおよび記録用音声の音声データが外部機器122に出力される。
 また、例えば動画像の撮影中でなければ、リムーバブル記録媒体134から読み出された記録用画像の画像データおよび記録用音声の音声データが外部機器122に出力される。
 外部機器122に供給された記録用画像の画像データおよび記録用音声の音声データは、外部機器122に記録されたり、外部機器122で再生処理に用いられたりする。したがって、例えば記録用画像が表示部181に表示される場合には、図13の矢印Q42や矢印Q44に示した例、図14の矢印Q52や矢印Q54に示した例のように、フリップ設定と撮像装置11の使用状態に応じて被写体の向きが変わる。
 以上のようにして撮像装置11は、フリップ設定のオン、オフによらず、OSD画像、記録用画像、および記録用音声をそのまま外部機器122に出力する。
 したがって、撮像装置11において正しい使用状態で撮影が行われたときには、例えば動画像の撮影中に被写体の画像を外部機器122の表示部181に表示させて画角等を確認する場合などにおいて、外部機器122ではOSD画像や記録用画像が真っすぐに見える状態で表示され、記録用音声も正しく再生可能となる。これにより、使い勝手を向上させることができる。
〈方向キーの操作について〉
 また、撮像装置11では、フリップ設定のオン、オフによって操作部132としての方向キーの挙動が異なる。
 すなわち、フリップ設定がオフの状態では、上ボタン63には上方向操作機能とDISP機能とが割り当てられており、下ボタン64には下方向操作機能と他の選択された機能とが割り当てられている。なお、以下では下ボタン64には他の選択された機能として再生機能が割り当てられているものとする。
 これが、フリップ設定がオンの状態とされると、互いに相反する方向に関係付けられた上ボタン63と下ボタン64との割り当て機能が入れ替えられる。
 すなわち、フリップ設定がオンの状態では、上ボタン63には下方向操作機能と再生機能とが割り当てられた状態となり、下ボタン64には上方向操作機能とDISP機能とが割り当てられた状態となる。
 この場合、例えば図3に示したように上ボタン63の近傍には文字「DISP」が印字されているが、上ボタン63が操作されるとDISP機能ではなく、再生機能を実現する処理が実行されることになる。すなわち、フリップ設定がオンとされている場合には、文字「DISP」の近傍に設けられた上ボタン63が操作されても、制御部133は、その文字「DISP」により表されるDISP機能を実現する処理は行わず、DISP機能を実現する処理とは異なる再生機能を実現する処理を行う。
 また、フリップ設定がオフの状態では、左ボタン65には左方向操作機能と他の選択された機能とが割り当てられており、右ボタン66には右方向操作機能とFn機能とが割り当てられている。なお、以下では左ボタン65には他の選択された機能としてWB設定機能が割り当てられているものとする。
 これが、フリップ設定がオンの状態とされると、互いに相反する方向に関係付けられた左ボタン65と右ボタン66との割り当て機能が入れ替えられる。
 すなわち、フリップ設定がオンの状態では、左ボタン65には右方向操作機能とFn機能とが割り当てられた状態となり、右ボタン66には左方向操作機能とWB設定機能とが割り当てられた状態となる。
 この場合、例えば図3に示したように右ボタン66の近傍には文字「Fn」が印字されているが、右ボタン66が操作されるとFn機能ではなく、WB設定機能を実現する処理が実行されることになる。つまり、右ボタン66が操作されてもFn機能を実現する処理は行われない。
 このように方向に関係付けられた方向キーについては、フリップ設定がオンとされると互いに相反する方向に関係付けられた方向キー間で、つまり所定方向に関係付けられた方向キーと、所定方向とは反対方向に関係付けられた方向キーとの間で、それらの方向キーに割り当てられた機能が入れ替えられる。換言すれば、機能の割り当て先が変更される。
 このとき、例えば上方向操作機能など、方向に関係付けられた機能、つまり方向に関係付けられた操作を実現する機能だけでなく、DISP機能やFn機能、WB設定機能などの方向に関係付けられていない機能についても割り当ての入れ替えが行われる。
 さらに、方向と関係付けられていないボタン(キー)については、フリップ設定がオンであってもオフであっても、そのボタンに対する割り当て機能は同じとされる。
 例えばメニューボタン67や電源ボタン41、シャッタボタン42は方向に関係付けられていないボタン(操作部)であり、これらのボタンに関しては、フリップ設定がオンであるかオフであるかによらず割り当て機能の入れ替えは行われない。すなわち、メニューボタン67等の方向に関係付けられていない操作部では割り当て機能は変化しない。
 したがって、例えばフリップ設定のオン、オフに関わらず、メニューボタン67にはメニュー表示機能が割り当てられた状態となっている。
 以上のように、フリップ設定がオンの状態のときに互いに相反する方向の方向キーの割り当て機能を入れ替えることで、ユーザが反転使用状態で撮像装置11を使用するときに、通常使用状態で使用するときと同じ操作感覚でキー操作を行うことができる。これにより、撮像装置11の使い勝手を向上させることができる。
 したがってフリップ設定のオン、オフや、撮像装置11の使用状態によって、例えば図16および図17に示すように方向キーを操作したときの撮像装置11の挙動が変化する。
 なお、図16および図17において図3における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。また、図16および図17において、矢印U、矢印D、矢印L、および矢印Rは、それぞれ画面上方向、画面下方向、画面左方向、および画面右方向を示している。
 例えばフリップ設定がオフであるときに、図16の矢印Q61に示すようにユーザが通常使用状態で方向キーを操作すると、初期設定での各方向キーへの機能の割り当て通り、かつユーザから見た通りの方向への操作が行われる。ここで、初期設定での各方向キーへの機能の割り当てとは、フリップ設定がオフである状態での機能の割り当てをいう。
 上ボタン63、下ボタン64、左ボタン65、および右ボタン66のそれぞれが操作されると、図16中の上方向、下方向、左方向、および右方向への操作が行われる。そして、矢印Q61に示す例では図中の上方向、下方向、左方向、および右方向は、それぞれ画面上方向、画面下方向、画面左方向、および画面右方向となっている。
 したがって、例えば表示部61にカーソルが表示されている状態でユーザが上ボタン63を操作すると、そのカーソルが上ボタン63に印字された矢印の方向である図中、上方向へと移動する。そして、図中、上方向は表示部61に表示された画面の上端方向、つまり画面上方向となっている。
 また、例えばフリップ設定がオフであるときに、図16の矢印Q62に示すようにユーザが反転使用状態で方向キーを操作すると、初期設定での各方向キーへの機能の割り当て通り、かつユーザから見た通りの方向への操作が行われる。
 すなわち、上ボタン63、下ボタン64、左ボタン65、および右ボタン66のそれぞれが操作されると図16中の下方向、上方向、右方向、および左方向への操作が行われる。但し、矢印Q62に示す例では図中の上方向、下方向、左方向、および右方向は、それぞれ画面下方向、画面上方向、画面右方向、および画面左方向となっている。
 したがって、例えば表示部61にカーソルが表示されている状態でユーザが上ボタン63を操作すると、そのカーソルが上ボタン63に印字された矢印の方向である図中、下方向へと移動する。そして、矢印Q62に示す例では図中、下方向は表示部61に表示された画面の上端方向、つまり画面上方向となっている。
 また、フリップ設定がオンであるときには、上ボタン63と下ボタン64の割り当て機能、および左ボタン65と右ボタン66の割り当て機能が入れ替えられた状態となる。
 そのため、例えばフリップ設定がオンであるときに、図17の矢印Q71に示すようにユーザが通常使用状態で方向キーを操作すると、各方向キーへの機能の割り当てはフリップ設定がオフのときとは異なるが、ユーザから見た通りの方向への操作が行われる。
 すなわち、上ボタン63、下ボタン64、左ボタン65、および右ボタン66のそれぞれが操作されると、図17中の上方向、下方向、左方向、および右方向への操作が行われる。そして、矢印Q71に示す例では図中の上方向、下方向、左方向、および右方向は、それぞれ画面下方向、画面上方向、画面右方向、および画面左方向となっている。
 したがって、例えば表示部61にカーソルが表示されている状態でユーザが上ボタン63を操作すると、そのカーソルが上ボタン63に印字された矢印の方向である図中、上方向へと移動する。但し、図中、上方向は表示部61に表示された画面の下端方向、つまり画面下方向となっている。
 このようにフリップ設定がオンとされると、上方向に関係付けられた上ボタン63には、表示画面を基準として上方向とは反対方向である下方向、つまり画面下方向に関係付けられた操作の機能が割り当てられ、他の方向キーも同様にして機能の割り当てがなされる。
 また、例えばフリップ設定がオンであるときに、図17の矢印Q72に示すようにユーザが反転使用状態で方向キーを操作すると、各方向キーへの機能の割り当てはフリップ設定がオフのときとは異なるが、ユーザから見た通りの方向への操作が行われる。
 すなわち、上ボタン63、下ボタン64、左ボタン65、および右ボタン66のそれぞれが操作されると図17中の下方向、上方向、右方向、および左方向への操作が行われる。但し、矢印Q72に示す例では図中の上方向、下方向、左方向、および右方向は、それぞれ画面上方向、画面下方向、画面左方向、および画面右方向となっている。
 したがって、例えば表示部61にカーソルが表示されている状態でユーザが上ボタン63を操作すると、そのカーソルが上ボタン63に印字された矢印の方向である図中、下方向へと移動する。そして、矢印Q72に示す例では図中、下方向は表示部61に表示された画面の下端方向、つまり画面下方向となっている。
 このようにフリップ設定がオンとなっている状態では方向キーに割り当てられる機能が入れ替えられる。
 そのため、ユーザが方向キーを操作したときに行われる操作の方向は、メニュー画面や記録用画像等の画面を基準とすると、その方向キーに関係付けられた方向とは反対方向となる。すなわち、例えば上方向に関係付けられた上ボタン63を操作すると、表示画面を基準として下方向、つまり画面下方向に関する操作が行われることになる。
 しかし、フリップ設定がオンとされている場合には、表示画面は上下方向に反転されて表示されているため、つまり表示方向が上下に反転しているため、ユーザが方向キーを操作したときに、その方向キーに印字された矢印の方向への操作が行われることになる。つまり、ユーザが見た通りの方向へと操作が行われる。
 したがって、ユーザはフリップ設定がオフのときと同様の操作感覚で操作を行うことができ、撮像装置11の使い勝手を向上させることができる。
 また、フリップ設定がオンとなっている状態では、方向に関係付けられていない操作の機能についても、方向キー間で割り当て機能の入れ替えが行われる。
 そのため、ユーザはフリップ設定をオンとして反転使用状態で撮像装置11を使用したときでも、フリップ設定をオフとして通常使用状態で撮像装置11を使用するときと同じ操作感覚で操作を行うことができ、さらに使い勝手を向上させることができる。
 具体的には、例えば図16の矢印Q61に示した例のようにフリップ設定がオフであり、通常使用状態である場合、動画像の撮影中や記録用画像の再生中に、ユーザから見て上方向の矢印が印字された上ボタン63を操作するとDISP機能が実行される。
 すなわち、DISP機能が割り当てられた上ボタン63がユーザによって操作されると、撮像装置11の表示部61における表示は、図18乃至図20のように切り替えられる。
 例えば図18に示す例では、撮影モードやバッテリ残量などの必要最低限の情報が表示されるOSD画像が表示部61に表示された状態となっている。
 また、図19に示す例では、測光モードやホワイトバランス調整の設定など、図18に示したOSD画像と比較して、より多くの情報が表示されるOSD画像が表示部61に表示された状態となっている。
 さらに、図20に示す例では、図18に示したOSD画像と同様の必要最低限の情報に加えて、さらにスルー画像または記録用画像の輝度のヒストグラムを含むいくつかの情報が表示されるOSD画像が表示部61に表示された状態となっている。
 ユーザがDISP機能の割り当てられた上ボタン63を操作するたびに、表示部61の表示が例えば図18に示した表示から図19に示した表示へと切り替えられ、さらに図20に示した表示へと切り替えられるなど、表示の切り替えが行われる。
 このとき、DISP機能が割り当てられた上ボタン63近傍には文字「DISP」が印字されているため、ユーザは容易に表示の切り替えを行うことができる。
 これに対して、例えば図17の矢印Q72に示した例のようにフリップ設定がオンであり、反転使用状態である場合、動画像の撮影中や記録用画像の再生中に、ユーザから見て上方向の矢印が印字された下ボタン64を操作するとDISP機能が実行される。
 このようにフリップ設定がオンであるかオフであるかによって、DISP機能が割り当てられる方向キー(ボタン)は異なる。しかし、何れの場合であってもフリップ設定に対して想定された使用状態で撮像装置11を使用しているユーザからすれば、自身から見て上方向の矢印が印字された方向キーを操作すれば、DISP機能を実行させることができる。すなわち、フリップ設定によらず、同じ操作感覚で操作を行うことができる。
 DISP機能と同様に、再生機能についてもユーザはフリップ設定がオンであるかオフであるかによらず、同じ操作感覚で操作を行うことができる。
 すなわち、例えば図16の矢印Q61に示した例のようにフリップ設定がオフであり、通常使用状態である場合、ユーザは自身から見て下方向の矢印が印字された下ボタン64を操作することで、再生機能の実行を指示することができる。
 これに対して、例えば図17の矢印Q72に示した例のようにフリップ設定がオンであり、反転使用状態である場合、ユーザは自身から見て下方向の矢印が印字された上ボタン63を操作することで、再生機能の実行を指示することができる。
 また、上ボタン63と下ボタン64の操作だけでなく、左ボタン65と右ボタン66についても、フリップ設定によらずユーザは同様の操作感覚で操作を行うことができる。
 すなわち、例えば図16の矢印Q61に示した例のようにフリップ設定がオフであり、通常使用状態であるとき、動画像の撮影中にユーザが右ボタン66を操作すると、その右ボタン66に割り当てられたFn機能が実行される。
 具体的には右ボタン66が操作されると、例えば表示部61には図21に示す機能設定画面が表示される。この例では、機能設定画面において撮影モードや露出、ISO感度、測光モード、ホワイトバランス調整などの各種の設定を行うことができる。
 これに対して、例えば図17の矢印Q72に示した例のようにフリップ設定がオンであり、反転使用状態であるときには、ユーザは左ボタン65を操作することで、表示部61に図21に示した機能設定画面を表示させることができる。すなわち、Fn機能を実行させることができる。
 このようにフリップ設定がオンであるかオフであるかによらず、ユーザは自身から見て右方向の矢印が印字された方向キー(ボタン)を操作することで、Fn機能の実行を指示することができる。
 さらに、例えば図16の矢印Q61に示した例のようにフリップ設定がオフであり、通常使用状態であるとき、動画像の撮影中などにユーザが左ボタン65を操作すると、その左ボタン65に割り当てられたWB設定機能が実行される。
 具体的には左ボタン65が操作されると、例えば表示部61には図22に示すWB設定画面が表示される。この例では、WB設定画面において晴天や蛍光灯、自動など、ホワイトバランス調整を行う際の撮影環境を設定することができる。
 これに対して、例えば図17の矢印Q72に示した例のようにフリップ設定がオンであり、反転使用状態であるときには、ユーザは右ボタン66を操作することで、表示部61に図22に示したWB設定画面を表示させることができる。すなわち、WB設定機能を実行させることができる。但し、この場合にはフリップ設定がオンであるので、WB設定画面は反転表示状態で表示される。
 このようにフリップ設定がオンであるかオフであるかによらず、ユーザは自身から見て左方向の矢印が印字された方向キー(ボタン)を操作することで、WB設定機能の実行を指示することができる。
 さらに、上述したようにメニューボタン67等の方向に関係付けられていないボタンについては、フリップ設定をオンとしても割り当て機能の入れ替えは行われない。
 そのため、フリップ設定がオンであってもオフであっても、ユーザによりメニューボタン67が操作されると、表示部61には例えば図23に示すメニュー画面が表示される。
 ユーザは、このようにして表示されたメニュー画面に対して選択や決定等の操作を行うことで、各種の設定を行うことができる。例えば図23に示す例では、ユーザは記録用画像の品質に関する設定や、記録用画像のサイズに関する設定などを行うことができる。
 ここで、以上において説明したように方向キーが操作されたときに、撮像装置11がその操作に応じた処理を実行するキー操作処理について説明する。すなわち、以下、図24のフローチャートを参照して、撮像装置11によるキー操作処理について説明する。
 このキー操作処理は、例えばユーザにより撮像装置11の方向キーが操作されたときに開始される。ユーザにより操作部132としての方向キーが操作されると、操作部132から制御部133には、ユーザの操作に応じた信号が供給される。
 ステップS111において、制御部133は、設定部151に記録されているフリップ設定情報に基づいて、フリップ設定がオンであるか否かを判定する。
 ステップS111においてフリップ設定がオンであると判定された場合、処理はステップS112へと進む。
 ステップS112において、制御部133は、操作部132から供給されたユーザの操作に応じた信号と、ステップS111における判定結果とに基づいて、操作された方向キーの方向とは反対方向の方向キーに対して予め割り当てられた機能を実現する処理を行う。ここで、予め割り当てられた機能とは、初期設定の状態、つまりフリップ設定がオフである状態で割り当てられている機能である。
 換言すれば、制御部133はステップS112において、ステップS111における判定結果に応じて方向キーの割り当て機能の入れ替えを行う。さらに制御部133は、操作部132から供給された信号に基づいて、ユーザにより操作された方向キーに対して、割り当て機能の入れ替え後に割り当てられている機能を実現する処理を行う。
 したがって、例えば表示部61にメニュー画面が表示されている状態で、ユーザにより上ボタン63が操作されたとする。
 この場合、制御部133は、ユーザにより操作された上ボタン63に関係付けられた上方向とは反対方向である下方向に関係付けられた下ボタン64を特定し、フリップ設定がオフである状態で下ボタン64に対して割り当てられている下方向操作機能を実現する処理を行う。すなわち、制御部133の表示制御部153は表示部61を制御して、メニュー画面に表示されているカーソルを、画面下方向へと移動させる。
 フリップ設定がオンであるときには、操作された方向キーの方向とは反対方向の方向キーに対して、フリップ設定がオフである状態で割り当てられた機能の処理を行うことで、フリップ設定がオンであるときの割り当てに従った機能の処理を行うことができる。
 このようにして方向キーの操作に応じた処理が行われると、キー操作処理は終了する。
 一方、ステップS111においてフリップ設定がオンでない、つまりフリップ設定がオフであると判定された場合、処理はステップS113へと進む。
 ステップS113において、制御部133は、操作部132から供給されたユーザの操作に応じた信号と、ステップS111における判定結果とに基づいて、操作された方向キーに対して予め割り当てられた機能を実現する処理を行い、キー操作処理は終了する。
 この場合、制御部133は、操作された方向キーに対してフリップ設定がオフである状態で割り当てられている機能の処理を行う。したがって、例えば表示部61にメニュー画面が表示されている状態でユーザにより上ボタン63が操作されたとすると、制御部133の表示制御部153は、表示部61を制御して、メニュー画面に表示されているカーソルを画面上方向へと移動させる。
 以上のようにして、撮像装置11はフリップ設定と、方向キーに対して予め割り当てられた機能とに基づいて方向キーの操作に応じた処理を行う。すなわち、撮像装置11はフリップ設定に応じて方向キーの機能の入れ替えを行って、方向キーの操作に応じた処理を行う。このようにすることで、フリップ設定によらずユーザに対して同じ操作感覚で操作を行わせることができ、撮像装置11の使い勝手を向上させることができる。
 なお、以上においては、互いに相反する方向に関係付けられた方向キー同士で割り当てられた機能を入れ替える例について説明した。これは撮像装置11が反転使用状態で使用されることを想定しているからである。
 しかし、例えば撮像装置11の光軸を回転軸として、撮像装置11を時計回りまたは反時計回りに90度回転させて使用するようなことも考えられ、そのような使用を想定した設定をフリップ設定により行うことができるようにしてもよい。
 そのような場合、例えば撮像装置11を90度回転させて使用することを想定するときには、例えば右ボタン66に予め割り当てられていた機能を上ボタン63に割り当て、下ボタン64に予め割り当てられていた機能を右ボタン66に割り当てるなどしてもよい。つまり、所定方向に関係付けられた方向キーに対して予め割り当てられていた機能が、所定方向と90度等の所定の角度をなす方向に関係付けられた方向キーに対して割り当てられるようにしてもよい。このように4つの方向キー間で割り当て機能の入れ替えを行うことで、撮像装置11を90度回転させて使用する場合にも通常使用状態のときと同様の操作感覚で操作を行わせることができる。
〈遠隔操作器での操作について〉
 ところで、ユーザが外部の機器である遠隔操作器121で撮像装置11を遠隔操作する場合、ユーザは表示部61に表示されたメニュー画面等を見ながら遠隔操作器121を操作する。
 このとき、ユーザによる遠隔操作器121への操作に応じたコマンドが、遠隔操作器121から撮像装置11へと送信されるが、撮像装置11はフリップ設定がオンであるかオフであるかによらず、遠隔操作器121から受信したコマンドをそのまま実行する。
 例えば、図25に示すように遠隔操作器121に上ボタン211、下ボタン212、左ボタン213、および右ボタン214が設けられているとする。なお、図25は、遠隔操作器121の外観の構成例を示している。
 上ボタン211は、上方向操作機能とDISP機能が割り当てられたボタンであり、撮像装置11の上ボタン63に対応する。
 また、下ボタン212は、下方向操作機能と他の選択された機能が割り当てられたボタンであり、撮像装置11の下ボタン64に対応する。ここでは、下ボタン212には、他の選択された機能として再生機能が割り当てられているものとする。
 左ボタン213は、左方向操作機能と他の選択された機能が割り当てられたボタンであり、撮像装置11の左ボタン65に対応する。ここでは、左ボタン213には、他の選択された機能としてWB設定機能が割り当てられているものとする。
 右ボタン214は、右方向操作機能とFn機能が割り当てられたボタンであり、撮像装置11の右ボタン66に対応する。
 これらの上ボタン211、下ボタン212、左ボタン213、および右ボタン214は、撮像装置11の方向キーと同様に、それぞれ上方向、下方向、左方向、および右方向の各方向に関係付けられたボタン(方向キー)である。
 特に遠隔操作器121では、ユーザから見て上ボタン211、下ボタン212、左ボタン213、および右ボタン214が上下左右に配置されているので、その配置位置から各ボタン(方向キー)がどの方向に関係付けられているかを直感的に知ることができる。
 例えば図16の矢印Q61に示したようにフリップ設定がオフであり、撮像装置11の使用状態が通常使用状態であるときにユーザが遠隔操作器121の方向キーを操作したとする。この場合、方向キーへの機能の割り当て通りで、かつユーザから見た通りの方向への操作が行われる。
 すなわち、上ボタン211、下ボタン212、左ボタン213、および右ボタン214のそれぞれが操作されると、図16中の上方向、下方向、左方向、および右方向への操作が行われる。矢印Q61に示す例では図中の上方向、下方向、左方向、および右方向は、それぞれ画面上方向、画面下方向、画面左方向、および画面右方向となっている。
 また、例えば図16の矢印Q62に示したようにフリップ設定がオフであり、撮像装置11の使用状態が反転使用状態であるときにユーザが遠隔操作器121の方向キーを操作すると、方向キーへの機能の割り当て通りであるが、ユーザから見ると逆方向への操作が行われる。
 すなわち、上ボタン211、下ボタン212、左ボタン213、および右ボタン214のそれぞれが操作されると図16中の下方向、上方向、右方向、および左方向への操作が行われる。このように矢印Q62に示す例では、ユーザによる方向キーの操作に対してユーザから見て逆の方向への操作が行われているように見える。
 しかし、矢印Q62に示す例では図中の上方向、下方向、左方向、および右方向は、それぞれ画面下方向、画面上方向、画面右方向、および画面左方向となっているので、実際には遠隔操作器121に対する操作通りに処理が行われている。
 同様に、例えば図17の矢印Q71に示したようにフリップ設定がオンであり、撮像装置11の使用状態が通常使用状態であるときにユーザが遠隔操作器121の方向キーを操作すると、方向キーへの機能の割り当て通りであるが、ユーザから見ると逆方向への操作が行われる。
 すなわち、上ボタン211、下ボタン212、左ボタン213、および右ボタン214のそれぞれが操作されると図17中の下方向、上方向、右方向、および左方向への操作が行われる。
 これに対して、例えば図17の矢印Q72に示したようにフリップ設定がオンであり、撮像装置11の使用状態が反転使用状態であるときにユーザが遠隔操作器121の方向キーを操作すると、方向キーへの機能の割り当て通りで、かつユーザから見た通りの方向への操作が行われる。
 すなわち、上ボタン211、下ボタン212、左ボタン213、および右ボタン214のそれぞれが操作されると、図17中の上方向、下方向、左方向、および右方向への操作が行われる。矢印Q72に示す例では図中の上方向、下方向、左方向、および右方向は、それぞれ画面上方向、画面下方向、画面左方向、および画面右方向となっているので、実際にユーザから見た通りで、かつ遠隔操作器121に対する操作通りに処理が行われていることになる。
 なお、ここでは表示画面内の方向に関する操作について説明したが、遠隔操作器121の方向キーに割り当てられた他の機能についても、機能の入れ替えが行われることはない。したがって、例えば撮影中や再生中にユーザが上ボタン211を操作すると、撮像装置11においてフリップ設定がオンであるかオフであるかによらず、DISP機能を実現するための処理が行われることになる。
 以上のように遠隔操作器121に対する操作については、撮像装置11本体の方向キーのように方向の反転等の機能の入れ替えを行わないようにすることで、フリップ設定によらず、ユーザに同じ操作感覚で操作を行わせることができる。
 すなわち、フリップ設定に対して想定された使用状態で撮像装置11を使用しているユーザからすればフリップ設定のオン、オフによらず、遠隔操作器121の方向キーを操作したときに、撮像装置11ではその方向キーの方向への操作がなされる。したがって、ユーザに対して違和感なく操作を行わせることができ、使い勝手を向上させることができる。
 例えば撮像装置11自体については、フリップ設定がオンであるときには反転使用状態での使用が想定されているため、つまり撮像装置11の上下逆さの状態での使用が想定されているため、互いに相反する方向の方向キー間で割り当て機能を入れ替えた方が使い勝手がよい。
 これに対して遠隔操作器121については、フリップ設定がオンであってもオフであってもユーザが遠隔操作器121を上下逆さにして使用することはないため、遠隔操作器121の方向キーに割り当てられた機能を入れ替えない方が使い勝手がよい。
 しかも、この場合、撮像装置11においてフリップ設定情報を参照すれば、メニュー画面や記録用画像等の表示について画面内の上下左右の方向を特定することができるので、その特定結果から遠隔操作器121のコマンドを正しく実行することができる。
 このように撮像装置11側においてフリップ設定情報を参照してコマンドを実行することで、遠隔操作器121側ではフリップ設定のオン、オフを気にすることなく操作を行うことができる。
 なお、ここでは遠隔操作器121の方向キーを操作したときの撮像装置11の挙動について説明したが、外部機器用遠隔操作器123により撮像装置11を遠隔操作する場合であっても、撮像装置11の挙動は遠隔操作器121を操作する場合と同様である。
 このような場合、例えば外部機器122の表示部181に、撮像装置11の表示制御部153から入出力端子136を介して供給されたメニュー画面や記録用画像が表示される。そして、ユーザはメニュー画面等が表示された表示部181を見ながら外部機器用遠隔操作器123の方向キー等に対する操作を行う。
 すると、外部機器用遠隔操作器123からは、ユーザの操作に応じたコマンドが送信されて、このコマンドが外部機器122により受信される。外部機器122は、このようにして外部機器用遠隔操作器123から受信したコマンドを、入出力端子136を介して制御部133に供給し、コマンドの供給を受けた制御部133はコマンドを実行する。
 このようにしてコマンドが実行されると、表示制御部153から入出力端子136を介して外部機器122の表示部181に供給されるメニュー画面等は、コマンドの実行結果が反映されたものとなる。
 ここで、以上において説明したように撮像装置11が遠隔操作器121や外部機器用遠隔操作器123から受信したコマンドを実行するコマンド実行処理について説明する。すなわち、以下、図26のフローチャートを参照して、撮像装置11によるコマンド実行処理について説明する。なお、コマンド実行処理が行われる場合、撮像装置11では制御部133の表示制御部153によって、フリップ設定情報に基づいて表示画面が通常表示状態または反転表示状態で表示されるように制御が行われている状態となっている。
 ステップS141において、制御部133は、外部の機器である遠隔操作器121または外部機器用遠隔操作器123から出力されたコマンドを取得する。
 例えば制御部133は、遠隔操作器121により送信され、通信部135で受信されたコマンドを通信部135から取得する。また、例えば制御部133は、外部機器用遠隔操作器123から送信されたコマンドを、入出力端子136を介して外部機器122から取得する。
 ステップS142において、制御部133は、設定部151に記録されているフリップ設定情報に基づいて、取得したコマンドにより示される処理を実行し、コマンド実行処理は終了する。すなわち、制御部133は、フリップ機能の設定に基づいて、遠隔操作器121や外部機器用遠隔操作器123から出力されたコマンドを実行する。
 例えば上ボタン211等の遠隔操作器121を基準とする所定方向に関する操作指示のコマンドが受信された場合には、制御部133は、表示画面を基準としてその所定方向に関する操作が行われるように制御する。具体的には、例えばユーザが、遠隔操作器121を基準とする上方向に関する操作を指示するための遠隔操作器121の上ボタン211を操作して、その操作に応じたコマンドが取得され、フリップ設定情報としてフリップ設定がオンである旨の情報が設定部151に記録されているとする。
 この場合、制御部133の表示制御部153は、例えば表示部61にメニュー画面が反転表示状態で表示されている状態であれば、そのメニュー画面を基準として、メニュー画面上のカーソルを画面上方向に移動させて、カーソルによりメニュー項目を選択させる処理を、コマンドにより示される処理として実行する。このとき表示制御部153は、フリップ設定情報を参照することで、撮像装置11の底面側の方向が画面上方向であることを特定することができるので、コマンドにより指示された正しい方向にカーソルを移動させることができる。
 また、例えばユーザが遠隔操作器121の上ボタン211を操作して、その操作に応じたコマンドが取得され、フリップ設定情報としてフリップ設定がオフである旨の情報が設定部151に記録されているとする。
 この場合、制御部133の表示制御部153は、例えば表示部61にメニュー画面が通常表示状態で表示されている状態であれば、そのメニュー画面を基準として、メニュー画面上のカーソルを画面上方向に移動させて、カーソルによりメニュー項目を選択させる処理を、コマンドにより示される処理として実行する。
 メニュー画面が表示されている場合の他、例えば表示部61に再生中の画像などが表示されている状態で所定方向に関する操作指示のコマンドが受信されたときには、表示画面を基準としてスクロール操作等、その所定方向に関する操作が行われるように制御される。
 さらに、例えばユーザが遠隔操作器121の上ボタン211を操作して、その操作に応じたコマンドが取得されたとする。この場合、制御部133の表示制御部153は、例えば動画像の撮影中や記録用画像の再生中であれば、表示部61を制御してDISP機能を実現するための処理を、コマンドにより示される処理として実行する。具体的には、例えば図18乃至図20を参照して説明した表示を切り替える処理がDISP機能を実現するための処理として行われる。
 このように制御部133は、例えば上方向操作機能など、所定方向に関係付けられた操作、つまり所定方向に関する操作を指示するコマンドが取得された場合には、フリップ設定情報を参照して表示画面が上下方向に反転されて表示されているかなどを特定する。そして、制御部133は、表示画面を基準として、その所定方向に対する操作が行われるように、つまり表示画面を基準として所定方向に関する操作が行われるように、取得したコマンドを実行する。
 これに対し、制御部133は、例えばDISP機能など、方向に関係付けられていない操作を指示するコマンドが取得された場合には、フリップ設定がオンであるかオフであるかによらず、方向に関係付けられていない操作が行われるようにコマンドをそのまま実行する。すなわち、方向に関係付けられていない操作が行われるように制御が行われる。
 以上のように撮像装置11は、遠隔操作器121や外部機器用遠隔操作器123から出力されたコマンドを取得し、フリップ設定情報に基づいてコマンドを実行する。
 このようにフリップ設定情報に基づいてコマンドを実行することで、遠隔操作器121や外部機器用遠隔操作器123では、フリップ設定のオン、オフを気にすることなく操作を行うことができ、使い勝手を向上させることができる。
〈コンピュータの構成例〉
 ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
 図27は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
 コンピュータにおいて、CPU(Central Processing Unit)501,ROM(Read Only Memory)502,RAM(Random Access Memory)503は、バス504により相互に接続されている。
 バス504には、さらに、入出力インターフェース505が接続されている。入出力インターフェース505には、入力部506、出力部507、記録部508、通信部509、及びドライブ510が接続されている。
 入力部506は、入力スイッチ、ボタン、マイクロホン、撮像素子などよりなる。出力部507は、ディスプレイ、スピーカなどよりなる。記録部508は、ハードディスクや不揮発性のメモリなどよりなる。通信部509は、ネットワークインターフェースなどよりなる。ドライブ510は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体511を駆動する。
 以上のように構成されるコンピュータでは、CPU501が、例えば、記録部508に記録されているプログラムを、入出力インターフェース505及びバス504を介して、RAM503にロードして実行することにより、上述した一連の処理が行われる。
 コンピュータ(CPU501)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体511に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
 コンピュータでは、プログラムは、リムーバブル記録媒体511をドライブ510に装着することにより、入出力インターフェース505を介して、記録部508にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部509で受信し、記録部508にインストールすることができる。その他、プログラムは、ROM502や記録部508に、あらかじめインストールしておくことができる。
 なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
 また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
 例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
 また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
 さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
 <応用例>
 本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
 図28は、本開示に係る技術が適用され得る内視鏡手術システム5000の概略的な構成の一例を示す図である。図28では、術者(医師)5067が、内視鏡手術システム5000を用いて、患者ベッド5069上の患者5071に手術を行っている様子が図示されている。図示するように、内視鏡手術システム5000は、内視鏡5001と、その他の術具5017と、内視鏡5001を支持する支持アーム装置5027と、内視鏡下手術のための各種の装置が搭載されたカート5037と、から構成される。
 内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ5025a~5025dと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ5025a~5025dから、内視鏡5001の鏡筒5003や、その他の術具5017が患者5071の体腔内に挿入される。図示する例では、その他の術具5017として、気腹チューブ5019、エネルギー処置具5021及び鉗子5023が、患者5071の体腔内に挿入されている。また、エネルギー処置具5021は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具5017はあくまで一例であり、術具5017としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
 内視鏡5001によって撮影された患者5071の体腔内の術部の画像が、表示装置5041に表示される。術者5067は、表示装置5041に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具5021や鉗子5023を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ5019、エネルギー処置具5021及び鉗子5023は、手術中に、術者5067又は助手等によって支持される。
 (支持アーム装置)
 支持アーム装置5027は、ベース部5029から延伸するアーム部5031を備える。図示する例では、アーム部5031は、関節部5033a、5033b、5033c、及びリンク5035a、5035bから構成されており、アーム制御装置5045からの制御により駆動される。アーム部5031によって内視鏡5001が支持され、その位置及び姿勢が制御される。これにより、内視鏡5001の安定的な位置の固定が実現され得る。
 (内視鏡)
 内視鏡5001は、先端から所定の長さの領域が患者5071の体腔内に挿入される鏡筒5003と、鏡筒5003の基端に接続されるカメラヘッド5005と、から構成される。図示する例では、硬性の鏡筒5003を有するいわゆる硬性鏡として構成される内視鏡5001を図示しているが、内視鏡5001は、軟性の鏡筒5003を有するいわゆる軟性鏡として構成されてもよい。
 鏡筒5003の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡5001には光源装置5043が接続されており、当該光源装置5043によって生成された光が、鏡筒5003の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者5071の体腔内の観察対象に向かって照射される。なお、内視鏡5001は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
 カメラヘッド5005の内部には光学系及び撮像素子が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、RAWデータとしてカメラコントロールユニット(CCU:Camera Control Unit)5039に送信される。なお、カメラヘッド5005には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
 なお、例えば立体視(3D表示)等に対応するために、カメラヘッド5005には撮像素子が複数設けられてもよい。この場合、鏡筒5003の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
 (カートに搭載される各種の装置)
 CCU5039は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡5001及び表示装置5041の動作を統括的に制御する。具体的には、CCU5039は、カメラヘッド5005から受け取った画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。CCU5039は、当該画像処理を施した画像信号を表示装置5041に提供する。また、CCU5039は、カメラヘッド5005に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。
 表示装置5041は、CCU5039からの制御により、当該CCU5039によって画像処理が施された画像信号に基づく画像を表示する。内視鏡5001が例えば4K(水平画素数3840×垂直画素数2160)又は8K(水平画素数7680×垂直画素数4320)等の高解像度の撮影に対応したものである場合、及び/又は3D表示に対応したものである場合には、表示装置5041としては、それぞれに対応して、高解像度の表示が可能なもの、及び/又は3D表示可能なものが用いられ得る。4K又は8K等の高解像度の撮影に対応したものである場合、表示装置5041として55インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置5041が設けられてもよい。
 光源装置5043は、例えばLED(light emitting diode)等の光源から構成され、術部を撮影する際の照射光を内視鏡5001に供給する。
 アーム制御装置5045は、例えばCPU等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置5027のアーム部5031の駆動を制御する。
 入力装置5047は、内視鏡手術システム5000に対する入力インタフェースである。ユーザは、入力装置5047を介して、内視鏡手術システム5000に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置5047を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置5047を介して、アーム部5031を駆動させる旨の指示や、内視鏡5001による撮像条件(照射光の種類、倍率及び焦点距離等)を変更する旨の指示、エネルギー処置具5021を駆動させる旨の指示等を入力する。
 入力装置5047の種類は限定されず、入力装置5047は各種の公知の入力装置であってよい。入力装置5047としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ5057及び/又はレバー等が適用され得る。入力装置5047としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置5041の表示面上に設けられてもよい。
 あるいは、入力装置5047は、例えばメガネ型のウェアラブルデバイスやHMD(Head Mounted Display)等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置5047は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置5047は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置5047が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ(例えば術者5067)が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
 処置具制御装置5049は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具5021の駆動を制御する。気腹装置5051は、内視鏡5001による視野の確保及び術者の作業空間の確保の目的で、患者5071の体腔を膨らめるために、気腹チューブ5019を介して当該体腔内にガスを送り込む。レコーダ5053は、手術に関する各種の情報を記録可能な装置である。プリンタ5055は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
 以下、内視鏡手術システム5000において特に特徴的な構成について、更に詳細に説明する。
 (支持アーム装置)
 支持アーム装置5027は、基台であるベース部5029と、ベース部5029から延伸するアーム部5031と、を備える。図示する例では、アーム部5031は、複数の関節部5033a、5033b、5033cと、関節部5033bによって連結される複数のリンク5035a、5035bと、から構成されているが、図28では、簡単のため、アーム部5031の構成を簡略化して図示している。実際には、アーム部5031が所望の自由度を有するように、関節部5033a~5033c及びリンク5035a、5035bの形状、数及び配置、並びに関節部5033a~5033cの回転軸の方向等が適宜設定され得る。例えば、アーム部5031は、好適に、6自由度以上の自由度を有するように構成され得る。これにより、アーム部5031の可動範囲内において内視鏡5001を自由に移動させることが可能になるため、所望の方向から内視鏡5001の鏡筒5003を患者5071の体腔内に挿入することが可能になる。
 関節部5033a~5033cにはアクチュエータが設けられており、関節部5033a~5033cは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置5045によって制御されることにより、各関節部5033a~5033cの回転角度が制御され、アーム部5031の駆動が制御される。これにより、内視鏡5001の位置及び姿勢の制御が実現され得る。この際、アーム制御装置5045は、力制御又は位置制御等、各種の公知の制御方式によってアーム部5031の駆動を制御することができる。
 例えば、術者5067が、入力装置5047(フットスイッチ5057を含む)を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置5045によってアーム部5031の駆動が適宜制御され、内視鏡5001の位置及び姿勢が制御されてよい。当該制御により、アーム部5031の先端の内視鏡5001を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部5031は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部5031は、手術室から離れた場所に設置される入力装置5047を介してユーザによって遠隔操作され得る。
 また、力制御が適用される場合には、アーム制御装置5045は、ユーザからの外力を受け、その外力にならってスムーズにアーム部5031が移動するように、各関節部5033a~5033cのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部5031に触れながらアーム部5031を移動させる際に、比較的軽い力で当該アーム部5031を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡5001を移動させることが可能となり、ユーザの利便性を向上させることができる。
 ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡5001が支持されていた。これに対して、支持アーム装置5027を用いることにより、人手によらずに内視鏡5001の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
 なお、アーム制御装置5045は必ずしもカート5037に設けられなくてもよい。また、アーム制御装置5045は必ずしも1つの装置でなくてもよい。例えば、アーム制御装置5045は、支持アーム装置5027のアーム部5031の各関節部5033a~5033cにそれぞれ設けられてもよく、複数のアーム制御装置5045が互いに協働することにより、アーム部5031の駆動制御が実現されてもよい。
 (光源装置)
 光源装置5043は、内視鏡5001に術部を撮影する際の照射光を供給する。光源装置5043は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置5043において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド5005の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
 また、光源装置5043は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド5005の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
 また、光源装置5043は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの(自家蛍光観察)、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置5043は、このような特殊光観察に対応した狭帯域光及び/又は励起光を供給可能に構成され得る。
 (カメラヘッド及びCCU)
 図29を参照して、内視鏡5001のカメラヘッド5005及びCCU5039の機能についてより詳細に説明する。図29は、図28に示すカメラヘッド5005及びCCU5039の機能構成の一例を示すブロック図である。
 図29を参照すると、カメラヘッド5005は、その機能として、レンズユニット5007と、撮像部5009と、駆動部5011と、通信部5013と、カメラヘッド制御部5015と、を有する。また、CCU5039は、その機能として、通信部5059と、画像処理部5061と、制御部5063と、を有する。カメラヘッド5005とCCU5039とは、伝送ケーブル5065によって双方向に通信可能に接続されている。
 まず、カメラヘッド5005の機能構成について説明する。レンズユニット5007は、鏡筒5003との接続部に設けられる光学系である。鏡筒5003の先端から取り込まれた観察光は、カメラヘッド5005まで導光され、当該レンズユニット5007に入射する。レンズユニット5007は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット5007は、撮像部5009の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
 撮像部5009は撮像素子によって構成され、レンズユニット5007の後段に配置される。レンズユニット5007を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部5009によって生成された画像信号は、通信部5013に提供される。
 撮像部5009を構成する撮像素子としては、例えばCMOS(Complementary Metal Oxide Semiconductor)タイプのイメージセンサであり、Bayer配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば4K以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者5067は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
 また、撮像部5009を構成する撮像素子は、3D表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成される。3D表示が行われることにより、術者5067は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部5009が多板式で構成される場合には、各撮像素子に対応して、レンズユニット5007も複数系統設けられる。
 また、撮像部5009は、必ずしもカメラヘッド5005に設けられなくてもよい。例えば、撮像部5009は、鏡筒5003の内部に、対物レンズの直後に設けられてもよい。
 駆動部5011は、アクチュエータによって構成され、カメラヘッド制御部5015からの制御により、レンズユニット5007のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部5009による撮像画像の倍率及び焦点が適宜調整され得る。
 通信部5013は、CCU5039との間で各種の情報を送受信するための通信装置によって構成される。通信部5013は、撮像部5009から得た画像信号をRAWデータとして伝送ケーブル5065を介してCCU5039に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者5067が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部5013には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル5065を介してCCU5039に送信される。
 また、通信部5013は、CCU5039から、カメラヘッド5005の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに/又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部5013は、受信した制御信号をカメラヘッド制御部5015に提供する。なお、CCU5039からの制御信号も、光通信によって伝送されてもよい。この場合、通信部5013には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部5015に提供される。
 なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてCCU5039の制御部5063によって自動的に設定される。つまり、いわゆるAE(Auto Exposure)機能、AF(Auto Focus)機能及びAWB(Auto White Balance)機能が内視鏡5001に搭載される。
 カメラヘッド制御部5015は、通信部5013を介して受信したCCU5039からの制御信号に基づいて、カメラヘッド5005の駆動を制御する。例えば、カメラヘッド制御部5015は、撮像画像のフレームレートを指定する旨の情報及び/又は撮像時の露光を指定する旨の情報に基づいて、撮像部5009の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部5015は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部5011を介してレンズユニット5007のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部5015は、更に、鏡筒5003やカメラヘッド5005を識別するための情報を記憶する機能を備えてもよい。
 なお、レンズユニット5007や撮像部5009等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド5005について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
 次に、CCU5039の機能構成について説明する。通信部5059は、カメラヘッド5005との間で各種の情報を送受信するための通信装置によって構成される。通信部5059は、カメラヘッド5005から、伝送ケーブル5065を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部5059には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部5059は、電気信号に変換した画像信号を画像処理部5061に提供する。
 また、通信部5059は、カメラヘッド5005に対して、カメラヘッド5005の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
 画像処理部5061は、カメラヘッド5005から送信されたRAWデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理(帯域強調処理、超解像処理、NR(Noise reduction)処理及び/又は手ブレ補正処理等)、並びに/又は拡大処理(電子ズーム処理)等、各種の公知の信号処理が含まれる。また、画像処理部5061は、AE、AF及びAWBを行うための、画像信号に対する検波処理を行う。
 画像処理部5061は、CPUやGPU等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部5061が複数のGPUによって構成される場合には、画像処理部5061は、画像信号に係る情報を適宜分割し、これら複数のGPUによって並列的に画像処理を行う。
 制御部5063は、内視鏡5001による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部5063は、カメラヘッド5005の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部5063は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡5001にAE機能、AF機能及びAWB機能が搭載されている場合には、制御部5063は、画像処理部5061による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
 また、制御部5063は、画像処理部5061によって画像処理が施された画像信号に基づいて、術部の画像を表示装置5041に表示させる。この際、制御部5063は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部5063は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具5021使用時のミスト等を認識することができる。制御部5063は、表示装置5041に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者5067に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
 カメラヘッド5005及びCCU5039を接続する伝送ケーブル5065は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
 ここで、図示する例では、伝送ケーブル5065を用いて有線で通信が行われていたが、カメラヘッド5005とCCU5039との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル5065を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル5065によって妨げられる事態が解消され得る。
 以上、本開示に係る技術が適用され得る内視鏡手術システム5000の一例について説明した。なお、ここでは、一例として内視鏡手術システム5000について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。
 本開示に係る技術は、以上説明した構成のうち、表示装置5041に好適に適用され得る。表示装置5041に表示される画像は、術者5067の立ち位置、表示装置5041の配置、内視鏡5001の向き等によってはフリップ機能を用いて上下や左右を反転して画像を表示した方が術者にとって好適な場合がある。
 このような場合に本開示に係る技術を適用することにより、フリップ機能がオンの場合には入力装置5047からの方向指示入力がされた際に反転の方向に応じて、表示装置5041を基準として指示された方向に関する操作を行えるよう制御することで、フリップ設定のオン、オフを気にすることなく操作を行うことができ、内視鏡手術システム5000の使い勝手を向上させることができる。
 さらに、本技術は、以下の構成とすることも可能である。
(1)
 画像を上下方向に反転させて表示するフリップ機能をオンまたはオフに設定する設定部と、
 前記フリップ機能の設定に基づき表示画面を表示させ、外部機器から所定方向に関する操作指示を受信した場合、前記表示画面を基準として前記所定方向に関する操作が行われるように制御する制御部と
 を備える画像処理装置。
(2)
 前記制御部は、前記フリップ機能がオンに設定されている場合、前記表示画面を上下方向に反転させて表示させる
 (1)に記載の画像処理装置。
(3)
 前記制御部は、前記フリップ機能がオンに設定されている場合、前記外部機器を基準とする上方向に関する操作指示を前記外部機器から受信したとき、上下方向に反転表示された前記表示画面を基準として上方向への操作が行われるように制御する
 (2)に記載の画像処理装置。
(4)
 前記制御部は、前記フリップ機能がオフに設定されている場合、前記表示画面を上下方向に反転させずに表示させ、前記外部機器を基準とする上方向に関する操作指示を前記外部機器から受信したとき、上下方向に反転されずに表示された前記表示画面を基準として上方向への操作が行われるように制御する
 (2)または(3)に記載の画像処理装置。
(5)
 前記表示画面は、複数のメニュー項目が並べられて配置されたメニュー画面である
 (1)乃至(4)の何れか一項に記載の画像処理装置。
(6)
 前記制御部は、前記フリップ機能がオンに設定されている場合、前記メニュー画面を上下方向に反転させて表示させ、前記外部機器から前記所定方向に関する操作指示を受信したとき、前記所定方向に関する操作指示に基づいて、上下方向に反転表示された前記メニュー画面を基準として前記メニュー画面上の前記メニュー項目を選択する
 (5)に記載の画像処理装置。
(7)
 前記制御部は、前記外部機器から方向に関係付けられていない操作指示を受信した場合、前記フリップ機能の設定によらず、前記方向に関係付けられていない操作が行われるように制御する
 (1)乃至(6)の何れか一項に記載の画像処理装置。
(8)
 前記フリップ機能がオンに設定された場合、撮影により得られた画像の上下方向の反転、収音により得られた収音音声の左右のチャンネルの入れ替え、前記表示画面の上下方向の反転表示、および互いに異なる方向に関係付けられた操作部間における割り当て機能の入れ替えのうちの少なくとも何れか1つが行われる
 (1)乃至(7)の何れか一項に記載の画像処理装置。
(9)
 画像を上下方向に反転させて表示するフリップ機能をオンまたはオフに設定し、
 前記フリップ機能の設定に基づき表示画面を表示させ、外部機器から所定方向に関する操作指示を受信した場合、前記表示画面を基準として前記所定方向に関する操作が行われるように制御する
 ステップを含む制御方法。
(10)
 画像を上下方向に反転させて表示するフリップ機能をオンまたはオフに設定し、
 前記フリップ機能の設定に基づき表示画面を表示させ、外部機器から所定方向に関する操作指示を受信した場合、前記表示画面を基準として前記所定方向に関する操作が行われるように制御する
 ステップを含む処理をコンピュータに実行させるプログラム。
 11 撮像装置, 22 収音部, 61 表示部, 63 上ボタン, 64 下ボタン, 65 左ボタン, 66 右ボタン, 131 撮像部, 133 制御部, 135 通信部, 136 入出力端子, 151 設定部, 152 OSD画像生成部, 153 表示制御部, 154 記録制御部

Claims (10)

  1.  画像を上下方向に反転させて表示するフリップ機能をオンまたはオフに設定する設定部と、
     前記フリップ機能の設定に基づき表示画面を表示させ、外部機器から所定方向に関する操作指示を受信した場合、前記表示画面を基準として前記所定方向に関する操作が行われるように制御する制御部と
     を備える画像処理装置。
  2.  前記制御部は、前記フリップ機能がオンに設定されている場合、前記表示画面を上下方向に反転させて表示させる
     請求項1に記載の画像処理装置。
  3.  前記制御部は、前記フリップ機能がオンに設定されている場合、前記外部機器を基準とする上方向に関する操作指示を前記外部機器から受信したとき、上下方向に反転表示された前記表示画面を基準として上方向への操作が行われるように制御する
     請求項2に記載の画像処理装置。
  4.  前記制御部は、前記フリップ機能がオフに設定されている場合、前記表示画面を上下方向に反転させずに表示させ、前記外部機器を基準とする上方向に関する操作指示を前記外部機器から受信したとき、上下方向に反転されずに表示された前記表示画面を基準として上方向への操作が行われるように制御する
     請求項2に記載の画像処理装置。
  5.  前記表示画面は、複数のメニュー項目が並べられて配置されたメニュー画面である
     請求項1に記載の画像処理装置。
  6.  前記制御部は、前記フリップ機能がオンに設定されている場合、前記メニュー画面を上下方向に反転させて表示させ、前記外部機器から前記所定方向に関する操作指示を受信したとき、前記所定方向に関する操作指示に基づいて、上下方向に反転表示された前記メニュー画面を基準として前記メニュー画面上の前記メニュー項目を選択する
     請求項5に記載の画像処理装置。
  7.  前記制御部は、前記外部機器から方向に関係付けられていない操作指示を受信した場合、前記フリップ機能の設定によらず、前記方向に関係付けられていない操作が行われるように制御する
     請求項1に記載の画像処理装置。
  8.  前記フリップ機能がオンに設定された場合、撮影により得られた画像の上下方向の反転、収音により得られた収音音声の左右のチャンネルの入れ替え、前記表示画面の上下方向の反転表示、および互いに異なる方向に関係付けられた操作部間における割り当て機能の入れ替えのうちの少なくとも何れか1つが行われる
     請求項1に記載の画像処理装置。
  9.  画像を上下方向に反転させて表示するフリップ機能をオンまたはオフに設定し、
     前記フリップ機能の設定に基づき表示画面を表示させ、外部機器から所定方向に関する操作指示を受信した場合、前記表示画面を基準として前記所定方向に関する操作が行われるように制御する
     ステップを含む制御方法。
  10.  画像を上下方向に反転させて表示するフリップ機能をオンまたはオフに設定し、
     前記フリップ機能の設定に基づき表示画面を表示させ、外部機器から所定方向に関する操作指示を受信した場合、前記表示画面を基準として前記所定方向に関する操作が行われるように制御する
     ステップを含む処理をコンピュータに実行させるプログラム。
PCT/JP2017/038848 2016-11-10 2017-10-27 画像処理装置および制御方法、並びにプログラム WO2018088238A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/342,667 US20200059608A1 (en) 2016-11-10 2017-10-27 Image processing device, control method, and program
JP2018550140A JPWO2018088238A1 (ja) 2016-11-10 2017-10-27 画像処理装置および制御方法、並びにプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-219407 2016-11-10
JP2016219407 2016-11-10

Publications (1)

Publication Number Publication Date
WO2018088238A1 true WO2018088238A1 (ja) 2018-05-17

Family

ID=62109548

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/038848 WO2018088238A1 (ja) 2016-11-10 2017-10-27 画像処理装置および制御方法、並びにプログラム

Country Status (3)

Country Link
US (1) US20200059608A1 (ja)
JP (1) JPWO2018088238A1 (ja)
WO (1) WO2018088238A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018078463A (ja) * 2016-11-10 2018-05-17 ソニー株式会社 画像処理装置および設定方法、並びにプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000209575A (ja) * 1999-01-11 2000-07-28 Star Micronics Co Ltd 監視カメラ装置
JP2008153842A (ja) * 2006-12-15 2008-07-03 Hitachi Kokusai Electric Inc 監視システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6019269U (ja) * 1983-07-15 1985-02-09 オリンパス光学工業株式会社 ビデオカメラ
CN1217255C (zh) * 1999-12-28 2005-08-31 索尼株式会社 带显示功能的电子设备
US7520854B2 (en) * 2004-07-14 2009-04-21 Olympus Corporation Endoscope system allowing movement of a display image
KR20080084021A (ko) * 2007-03-14 2008-09-19 삼성테크윈 주식회사 회전형 표시장치를 장착한 디지털 영상 처리장치
JP5388806B2 (ja) * 2009-11-10 2014-01-15 キヤノン株式会社 撮像装置
JP5977497B2 (ja) * 2011-09-22 2016-08-24 オリンパス株式会社 内視鏡装置、作動方法およびプログラム
KR20150019795A (ko) * 2013-08-16 2015-02-25 엘지전자 주식회사 이동단말기 및 그 제어방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000209575A (ja) * 1999-01-11 2000-07-28 Star Micronics Co Ltd 監視カメラ装置
JP2008153842A (ja) * 2006-12-15 2008-07-03 Hitachi Kokusai Electric Inc 監視システム

Also Published As

Publication number Publication date
JPWO2018088238A1 (ja) 2019-09-26
US20200059608A1 (en) 2020-02-20

Similar Documents

Publication Publication Date Title
US11531151B2 (en) Imaging apparatus and image generating method that detects an orientation of an imaging section and generates an image corresponding to a polarization direction corresponding to the orientation the imaging section
WO2018079259A1 (ja) 信号処理装置および方法、並びにプログラム
JP7363767B2 (ja) 画像処理装置と画像処理方法およびプログラム
CN110945399B (zh) 信号处理设备、成像设备、信号处理方法和存储器
CN108353144B (zh) 多摄像机系统、摄像机、摄像机处理方法、确认设备和确认设备处理方法
WO2018221068A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
WO2018088237A1 (ja) 画像処理装置および設定方法、並びにプログラム
JP2019004978A (ja) 手術システムおよび手術用撮像装置
WO2018230510A1 (ja) 画像処理装置、画像処理方法および撮像システム
US11729493B2 (en) Image capture apparatus and image capture method
US20220217260A1 (en) Signal processing device, imaging device, and signal processing method
WO2018088238A1 (ja) 画像処理装置および制御方法、並びにプログラム
WO2018088236A1 (ja) 画像処理装置および方法、並びにプログラム
WO2018142993A1 (ja) 発光制御装置、発光制御方法、プログラム、発光装置、および撮像装置
WO2018168578A1 (ja) 撮像装置、映像信号処理装置および映像信号処理方法
WO2020203265A1 (ja) 映像信号処理装置、映像信号処理方法および撮像装置
WO2018043205A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
US11979670B2 (en) Image processing apparatus, imaging apparatus, image processing method, and program for blending plurality of image signals based on a peaking signal
JP7420141B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム
US11533419B2 (en) Imaging apparatus, image sensor unit, camera unit, and control method for determining and updating correction data
JP7444074B2 (ja) 撮像装置、撮像制御装置、撮像方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17870221

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018550140

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17870221

Country of ref document: EP

Kind code of ref document: A1