JP2024015828A

JP2024015828A - Imaging apparatus and control method for the same, program, and storage medium

Info

Publication number: JP2024015828A
Application number: JP2022118154A
Authority: JP
Inventors: 悠希岡田; Yuki Okada
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2022-07-25
Filing date: 2022-07-25
Publication date: 2024-02-06

Abstract

PROBLEM TO BE SOLVED: To provide an imaging apparatus capable of notifying a user whether a video input function or an audio input function is in a state of use.

SOLUTION: An imaging apparatus is capable of transmitting video data, audio data, or both to a host device. The imaging apparatus includes first transmission means for transmitting video data to the host device, second transmission means for transmitting audio data to the host device, and notification means for notifying a user of a status of transmission of the video data and the audio data to the host device.

SELECTED DRAWING: Figure 4

Description

本発明は、撮像装置において、データの送信状態をユーザーが判断可能に表示する技術に関する。 The present invention relates to a technique for displaying data transmission status in an imaging apparatus so that the user can judge the status.

オンラインコミュニケーションの技術分野において、音声入力機器から音声データが送信された際に、ホスト機器上でアイコン表示を行うシステムが知られている。 In the technical field of online communication, a system is known that displays an icon on a host device when audio data is transmitted from an audio input device.

特許文献１には、音声入力機器である撮像装置から入力された音声データが笑い声であった場合に、笑い声であったことがわかるアイコン表示を行うシステムが開示されている。 Patent Document 1 discloses a system that displays an icon indicating that when audio data input from an imaging device, which is an audio input device, is laughter, it is clear that the audio data is laughter.

特許文献２には、音声入力機器もしくはホスト機器上で動作しているアプリケーションから音声データが送信された際に、アイコン表示を行う技術が開示されている。 Patent Document 2 discloses a technique for displaying an icon when audio data is transmitted from an application running on an audio input device or a host device.

特開２０２０－６４４９３号公報JP2020-64493A 特開２０２０－１５３８１３号公報Japanese Patent Application Publication No. 2020-153813

しかしながら、上述の特許文献に開示された従来技術では、ホスト機器に複数の音声入力機器や映像入力機器が接続されている状況において、ユーザーが使用する撮像装置の音声入力機能や映像入力機能が使用されている状態であるか否かの判断が困難である。 However, in the conventional technology disclosed in the above-mentioned patent documents, in a situation where multiple audio input devices and video input devices are connected to the host device, the audio input function and video input function of the imaging device used by the user are not used. It is difficult to judge whether the situation is

本発明は、上述した課題に鑑みてなされたものであり、その目的は、映像入力機能や音声入力機能が使用状態であるか否かをユーザーに対して通知することが可能な撮像装置を提供することである。 The present invention has been made in view of the above-mentioned problems, and an object thereof is to provide an imaging device that can notify a user whether or not a video input function and an audio input function are in use. It is to be.

本発明に係わる撮像装置は、ホスト機器に対して、映像データ、音声データ、またはその両方のデータを送信可能な撮像装置であって、前記ホスト機器に映像データを送信する第１の送信手段と、前記ホスト機器に音声データを送信する第２の送信手段と、前記ホスト機器への、映像データと音声データの送信状態をユーザーに通知する通知手段と、を備えることを特徴とする。 An imaging device according to the present invention is an imaging device capable of transmitting video data, audio data, or both data to a host device, and includes a first transmitting means for transmitting video data to the host device. , a second transmitting means for transmitting audio data to the host device, and a notification means for notifying a user of the transmission status of video data and audio data to the host device.

映像入力機能や音声入力機能が使用状態であるか否かをユーザーに対して通知することが可能な撮像装置を提供することができる。 It is possible to provide an imaging device that can notify a user whether a video input function or an audio input function is in use.

第１の実施形態の撮像装置の構成を示すブロック図。FIG. 1 is a block diagram showing the configuration of an imaging device according to a first embodiment. 第１の実施形態のホスト機器の構成を示すブロック図。FIG. 2 is a block diagram showing the configuration of a host device according to the first embodiment. 撮像装置とホスト機器のオンラインコミュニケーションでの画面を示す図。FIG. 3 is a diagram showing a screen during online communication between an imaging device and a host device. 撮像装置とホスト機器のオンラインコミュニケーションでの画面を示す図。FIG. 3 is a diagram showing a screen during online communication between an imaging device and a host device. 撮像装置とホスト機器のオンラインコミュニケーションでの画面を示す図。FIG. 3 is a diagram showing a screen during online communication between an imaging device and a host device. 撮像装置とホスト機器のオンラインコミュニケーションでの画面を示す図。FIG. 3 is a diagram showing a screen during online communication between an imaging device and a host device. 撮像装置とホスト機器のオンラインコミュニケーションでの画面を示す図。FIG. 3 is a diagram showing a screen during online communication between an imaging device and a host device. 撮像装置とホスト機器のオンラインコミュニケーションでの画面を示す図。FIG. 3 is a diagram showing a screen during online communication between an imaging device and a host device. 撮像装置とホスト機器のオンラインコミュニケーションでの画面を示す図。FIG. 3 is a diagram showing a screen during online communication between an imaging device and a host device. データの送信状態をユーザーが判断可能とする動作を示すフローチャート。5 is a flowchart showing an operation that allows the user to determine the data transmission status. 撮像装置とホスト機器の動作シーケンス図。FIG. 3 is an operation sequence diagram of an imaging device and a host device. 撮像装置とホスト機器の動作シーケンス図。FIG. 3 is an operation sequence diagram of an imaging device and a host device. 撮像装置とホスト機器の動作シーケンス図。FIG. 3 is an operation sequence diagram of an imaging device and a host device. 撮像装置とホスト機器の動作シーケンス図。FIG. 3 is an operation sequence diagram of an imaging device and a host device. 警告表示をＯＮ／ＯＦＦする表示画面を示す図。The figure which shows the display screen which turns ON/OFF a warning display.

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。 Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. Note that the following embodiments do not limit the claimed invention. Although a plurality of features are described in the embodiments, not all of these features are essential to the invention, and the plurality of features may be arbitrarily combined. Furthermore, in the accompanying drawings, the same or similar components are designated by the same reference numerals, and redundant description will be omitted.

（第１の実施形態）
以下では、撮像装置１００とホスト機器２００が通信を行い、撮像装置１００がホスト機器２００から映像データや音声データ、もしくはその両方の送信要求を受けてデータを送信する際に、撮像装置の表示部にアイコン表示を行う処理について説明する。 (First embodiment)
In the following, when the imaging device 100 and the host device 200 communicate and the imaging device 100 receives a request to send video data, audio data, or both from the host device 200 and transmits the data, the display unit of the imaging device The process of displaying an icon on the screen will be explained.

＜撮像装置１００の構成＞
まず、図１を参照して、第１の実施形態の撮像装置１００の構成および機能について説明する。 <Configuration of imaging device 100>
First, with reference to FIG. 1, the configuration and functions of an imaging device 100 according to a first embodiment will be described.

なお、本実施形態では、クライアント装置の一例として静止画や動画などの映像（以下、画像）を撮影可能な撮像装置について説明する。しかし、本発明はこれに限定されず、カメラ機能付きのタブレットデバイスやパーソナルコンピュータなどの情報処理装置、監視カメラ、医療用カメラなどにも適用可能である。 Note that in this embodiment, an imaging device capable of capturing videos (hereinafter referred to as images) such as still images and moving images will be described as an example of a client device. However, the present invention is not limited thereto, and can also be applied to information processing apparatuses such as tablet devices and personal computers with camera functions, surveillance cameras, medical cameras, and the like.

図１（ａ）において、制御部１０１は、撮像装置１００の全体を統括して制御する演算処理装置（ＣＰＵ）であって、後述する不揮発性メモリ１０３に格納されたプログラムを実行することで、後述する通信処理および制御処理を実現する。なお、制御部１０１が装置全体を制御する代わりに、複数のハードウェアが処理を分担することで、装置全体を制御してもよい。 In FIG. 1A, a control unit 101 is a processing unit (CPU) that centrally controls the entire imaging apparatus 100, and executes a program stored in a non-volatile memory 103, which will be described later. It implements communication processing and control processing, which will be described later. Note that instead of the control unit 101 controlling the entire device, the entire device may be controlled by having multiple pieces of hardware share the processing.

撮像部１０２は、ズームレンズやフォーカスレンズを含むレンズ群、絞り機能を備えるシャッターを含む。また、撮像部１０２は、被写体像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子、撮像素子から出力されるアナログ画像信号をデジタル信号に変換するＡ／Ｄ変換器を有する。撮像部１０２は、制御部１０１の制御により、撮像部１０２に含まれるレンズにより結像された被写体像を、撮像素子により電気信号に変換し、ノイズ低減処理などを行って、デジタル信号からなる画像データを出力する。撮像部１０２から出力される画像データは、ＤＣＦ（ＤｅｓｉｇｎＲｕｌｅｆｏｒＣａｍｅｒａＦｉｌｅｓｙｓｔｅｍ）規格に従って記録媒体１０７に記録される。 The imaging unit 102 includes a lens group including a zoom lens and a focus lens, and a shutter with an aperture function. Further, the imaging unit 102 includes an imaging device including a CCD or CMOS device that converts a subject image into an electrical signal, and an A/D converter that converts an analog image signal output from the imaging device into a digital signal. Under the control of the control unit 101, the imaging unit 102 converts a subject image formed by a lens included in the imaging unit 102 into an electrical signal using an imaging element, performs noise reduction processing, etc., and generates an image consisting of a digital signal. Output data. Image data output from the imaging unit 102 is recorded on the recording medium 107 according to the DCF (Design Rule for Camera File system) standard.

不揮発性メモリ１０３は、電気的に消去及び記録が可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ１０３には、制御部１０１の動作用の定数、プログラム等が記録される。ここでいう、プログラムとは、本実施形態において後述する通信処理および制御処理を実行するためのプログラムのことである。 The nonvolatile memory 103 is a memory that can be electrically erased and recorded, and for example, an EEPROM or the like is used. Constants, programs, etc. for the operation of the control unit 101 are recorded in the nonvolatile memory 103. The program here refers to a program for executing communication processing and control processing, which will be described later in this embodiment.

作業用メモリ１０４は、制御部１０１の動作用の定数、変数、不揮発性メモリ１０３から読み出したプログラム等を展開する作業領域として使用される。また、作業用メモリ１０４は、撮像部１０２で撮像された画像データを一時的に保持するバッファメモリや、表示部１０６の画像表示用メモリとして使用される。 The working memory 104 is used as a working area for developing constants and variables for the operation of the control unit 101, programs read from the nonvolatile memory 103, and the like. Further, the working memory 104 is used as a buffer memory that temporarily holds image data captured by the imaging unit 102 and as a memory for displaying images on the display unit 106.

操作部１０５は、ユーザーからの各種操作を受け付ける各種スイッチ、ボタン、タッチパネル等の操作部材からなる。操作部１０５は、例えば、図１（ｂ）および図１（ｃ）に示すように、画像の撮影を行うシャッターボタン１０５ａ、撮影画像の再生を行う再生ボタン１０５ｂ、カメラの各種設定を行うための上下左右のボタンからなる４方向キー１０５ｃなどを含む。また、表示部１０６に一体的に形成されるタッチパネル１０５ｄも操作部１０５に含まれる。 The operation unit 105 includes operation members such as various switches, buttons, and a touch panel that accept various operations from the user. As shown in FIGS. 1(b) and 1(c), the operation unit 105 includes, for example, a shutter button 105a for photographing an image, a playback button 105b for reproducing the photographed image, and a button for performing various camera settings. It includes a four-directional key 105c consisting of up, down, left, and right buttons. Further, a touch panel 105d formed integrally with the display section 106 is also included in the operation section 105.

シャッターボタン１０５ａは操作途中、いわゆる半押し（撮影準備指示）で、第１シャッタースイッチがオンとなり、第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１を受けて、制御部１０１は撮像部１０２を制御することによりＡＦ（オートフォーカス）処理やＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を開始する。また、シャッターボタン１０５ａの操作完了、いわゆる全押し（撮影指示）で、第２シャッタースイッチがオンとなり、第２シャッタースイッチ信号ＳＷ２を発生する。制御部１０１は、第２シャッタースイッチ信号ＳＷ２を受けて、撮像部１０２からの信号読み出しから記録媒体１０７に画像データを書き込むまでの一連の撮影処理の動作を開始する。 During the operation of the shutter button 105a, when the shutter button 105a is pressed halfway (instruction for photographing preparation), the first shutter switch is turned on and the first shutter switch signal SW1 is generated. Upon receiving the first shutter switch signal SW1, the control unit 101 controls the imaging unit 102 to perform AF (autofocus) processing, AE (automatic exposure) processing, AWB (auto white balance) processing, and EF (flash pre-flash) processing. Start operations such as processing. Furthermore, upon completion of the operation of the shutter button 105a, so-called full press (photography instruction), the second shutter switch is turned on and a second shutter switch signal SW2 is generated. Upon receiving the second shutter switch signal SW2, the control unit 101 starts a series of photographic processing operations from reading out signals from the imaging unit 102 to writing image data on the recording medium 107.

表示部１０６は、撮影時のビューファインダー画像の表示、撮影した画像の表示、対話的な操作のための文字表示等を行う。表示部１０６は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ等の表示デバイスである。表示部１０６は、撮像装置１００と一体化された構成であっても、撮像装置１００に接続された外部装置であってもよい。撮像装置１００は、表示部１０６と接続することができ、表示部１０６の表示を制御する機能を有していればよい。また、表示部１０６は、本実施形態のように、撮像装置１００に接続された外部装置から受信した画面を表示することができる。 The display unit 106 displays a viewfinder image at the time of photographing, a photographed image, a character display for interactive operations, and the like. The display unit 106 is, for example, a display device such as a liquid crystal display or an organic EL display. The display unit 106 may be integrated with the imaging device 100 or may be an external device connected to the imaging device 100. The imaging device 100 only needs to be able to connect to the display unit 106 and have a function of controlling the display on the display unit 106. Further, the display unit 106 can display a screen received from an external device connected to the imaging device 100, as in the present embodiment.

記録媒体１０７には、撮像部１０２から出力された画像データが記録される。あるいは、記録媒体１０７から、制御部１０１により既に記録されている画像ファイルが読み出される。記録媒体１０７は、撮像装置１００に装着されるメモリカードやハードディスクドライブなどであってもよいし、撮像装置１００に内蔵されたフラッシュメモリやハードディスクドライブであってもよい。撮像装置１００は、少なくとも記録媒体１０７にアクセスする手段を有していればよい。 Image data output from the imaging unit 102 is recorded on the recording medium 107. Alternatively, an image file already recorded by the control unit 101 is read from the recording medium 107. The recording medium 107 may be a memory card, a hard disk drive, etc. that is attached to the imaging device 100, or may be a flash memory or a hard disk drive built into the imaging device 100. The imaging device 100 only needs to have at least means for accessing the recording medium 107.

接続部１０８は、撮像装置１００を、後述するホスト機器２００などの外部装置と通信可能（データ送信可能）に接続するためのインターフェースである。本実施形態の撮像装置１００は、接続部１０８を介して、外部装置とデータの授受を行うことができる。例えば、撮像装置１００は、撮像部１０２から出力された画像データを接続部１０８を介して外部装置に送信することができる。あるいは、接続部１０８を介して外部装置から画像データを受信することができる。なお、本実施形態では、接続部１０８は、外部装置とＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）の規格に従い、有線接続で通信するためのインターフェースを含むものとする。制御部１０１は、接続部１０８を制御することで外部装置との通信を実現する。 The connection unit 108 is an interface for connecting the imaging device 100 to an external device such as a host device 200, which will be described later, in a communicable manner (capable of data transmission). The imaging device 100 of this embodiment can exchange data with an external device via the connection unit 108. For example, the imaging device 100 can transmit image data output from the imaging unit 102 to an external device via the connection unit 108. Alternatively, image data can be received from an external device via the connection unit 108. Note that in this embodiment, the connection unit 108 includes an interface for communicating with an external device through a wired connection in accordance with the USB (Universal Serial Bus) standard. The control unit 101 realizes communication with an external device by controlling the connection unit 108.

音声入力部１０９では、外部からの音声を受信する。音声入力部１０９にはマイク等の外部装置を接続してもよい。例えば、本実施形態の撮像装置１００は、音声入力部１０９で受信した音声データを、制御部１０１を介して接続部１０８に送信する。接続部１０８は、ホスト機器２００と通信を行い、制御部１０１から受信した音声データをホスト機器２００に送信する。 The audio input unit 109 receives audio from the outside. An external device such as a microphone may be connected to the audio input section 109. For example, the imaging apparatus 100 of this embodiment transmits audio data received by the audio input unit 109 to the connection unit 108 via the control unit 101. The connection unit 108 communicates with the host device 200 and transmits the audio data received from the control unit 101 to the host device 200.

＜ホスト機器２００の構成＞
図２を参照して、本実施形態のホスト機器２００の構成および機能について説明する。なお、本実施形態では、ホスト機器２００の一例としてパーソナルコンピュータについて説明する。しかし、本発明はこれに限定されず、携帯電話の一種であるスマートフォン、タブレットデバイス、プリンタ、テレビ、腕時計型のスマートウォッチ、メガネ型のスマートグラス等のウェアラブルコンピュータなどであってもよい。
本実施形態のホスト機器２００は、制御部２０１、撮像部２０２、不揮発性メモリ２０３、作業用メモリ２０４、操作部２０５、表示部２０６、記録媒体２０７、接続部２０８、音声出力部２０９、音声入力部２１０、公衆網接続部２１１を備える。これらの要素のうち、撮像装置１００と同じ名称部分の基本的な構成及び機能は撮像装置１００と同様であり、詳細な説明は省略する。
また、不揮発性メモリ２０３には、制御部２０１が実行する基本的なソフトウェアであるＯＳ（オペレーティングシステム）や、このＯＳと協働して応用的な機能を実現するアプリケーションが記録されている。また、本実施形態では、不揮発性メモリ２０３には、撮像装置１００との間で通信処理や制御処理を実現するためのカメラアプリケーションが格納されている。
本実施形態の撮像装置１００との通信時や制御時におけるホスト機器２００の処理は、アプリケーションにより提供されるソフトウェアを読み込むことにより実現される。なお、アプリケーションはホスト機器２００にインストールされたＯＳの基本的な機能を利用するためのソフトウェアを有しているものとする。なお、ホスト機器２００のＯＳが本実施形態における処理を実現するためのソフトウェアを有していてもよい。
接続部２０８は、撮像装置１００などの外部装置と通信を行うためのＵＳＢ通信インターフェースを含む。制御部２０１は、接続部２０８を制御することで外部装置とのＵＳＢ通信を実現する。なお、接続部２０８は、撮像装置１００と直接接続されてもよいし、外部装置を介して接続されるように構成されていてもよい。データを通信するためのプロトコルとしては、例えばＵＳＢ規格の一種であるＵＶＣ（ＵＳＢＶｉｄｅｏＣｌａｓｓ）や、ＵＡＣ（ＵＳＢＡｕｄｉｏＣｌａｓｓ）を用いることができる。なお、接続部２０８は、ＵＳＢに限られるものではなく、例えば、赤外線通信インターフェース、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉｒｅｌｅｓｓＵＳＢなどの無線通信インターフェースを含むことができる。さらには、ＨＤＭＩ（登録商標）、ＩＥＥＥ１３９４などの有線接続手段を用いてもよい。 <Configuration of host device 200>
The configuration and functions of the host device 200 of this embodiment will be described with reference to FIG. 2. Note that in this embodiment, a personal computer will be described as an example of the host device 200. However, the present invention is not limited thereto, and may be applied to wearable computers such as smartphones, which are a type of mobile phone, tablet devices, printers, televisions, wristwatch-type smart watches, and glasses-type smart glasses.
The host device 200 of this embodiment includes a control section 201, an imaging section 202, a nonvolatile memory 203, a working memory 204, an operation section 205, a display section 206, a recording medium 207, a connection section 208, an audio output section 209, and an audio input section. 210 and a public network connection section 211. Among these elements, the basic configuration and function of the parts with the same names as those of the imaging device 100 are the same as those of the imaging device 100, and detailed explanations will be omitted.
Furthermore, the nonvolatile memory 203 stores an OS (operating system), which is basic software executed by the control unit 201, and applications that cooperate with the OS to realize advanced functions. Further, in this embodiment, the nonvolatile memory 203 stores a camera application for realizing communication processing and control processing with the imaging device 100.
Processing of the host device 200 during communication and control with the imaging device 100 of this embodiment is realized by reading software provided by an application. It is assumed that the application includes software for using the basic functions of the OS installed in the host device 200. Note that the OS of the host device 200 may include software for implementing the processing in this embodiment.
The connection unit 208 includes a USB communication interface for communicating with an external device such as the imaging device 100. The control unit 201 realizes USB communication with an external device by controlling the connection unit 208. Note that the connection unit 208 may be directly connected to the imaging device 100 or may be configured to be connected via an external device. As a protocol for communicating data, for example, UVC (USB Video Class), which is a type of USB standard, or UAC (USB Audio Class) can be used. Note that the connection unit 208 is not limited to USB, and can include, for example, a wireless communication interface such as an infrared communication interface, Bluetooth (registered trademark), or Wireless USB. Furthermore, wired connection means such as HDMI (registered trademark) and IEEE1394 may be used.

音声出力部２０９は、音声入力部２１０で入力された音声データを、制御部２０１を介して受信し、スピーカーなどの音声出力機器を介して外部へ出力することができる。音声入力部２１０は、マイクなどの音声入力機器と接続して音声を受信し、受信した音声データを制御部２０１に送信することができる。 The audio output unit 209 can receive the audio data input by the audio input unit 210 via the control unit 201, and output it to the outside via an audio output device such as a speaker. The audio input unit 210 can connect to an audio input device such as a microphone to receive audio, and can transmit the received audio data to the control unit 201.

公衆網接続部２１１は、３Ｇ／ＬＴＥ等の広域ネットワーク（ＷＡＮ）を介して無線通信を行う際に用いられるインターフェースである。ホスト機器２００は、公衆網接続部２１１を介して、他の機器と通話をしたり、データ通信をしたりすることができる。通話の際には、制御部２０１は音声入力部２１０および音声出力部２０９を介して音声信号の入力と出力を行う。本実施形態では、公衆網接続部２１１は３ＧやＬＴＥに限らず、ＷｉＭＡＸ、ＡＤＳＬ、ＦＴＴＨといった他の通信方式を用いてもよい。なお、接続部２０８および公衆網接続部２１１は、１つのアンテナで兼用することも可能である。なお、接続部２０８および公衆網接続部２１１は必ずしも独立したハードウェアで構成する必要はなく、例えば１つのアンテナで兼用することも可能である。
＜撮像装置とホスト機器における映像データ及び音声データの通信処理＞
次に、図３Ａ～図３Ｇを参照して、本実施形態の撮像装置とホスト機器における、オンラインコミュニケーションアプリケーションを使用した際の映像データ及び音声データの通信処理について説明する。 The public network connection unit 211 is an interface used when performing wireless communication via a wide area network (WAN) such as 3G/LTE. The host device 200 can make calls and data communications with other devices via the public network connection section 211. During a call, the control section 201 inputs and outputs audio signals via the audio input section 210 and the audio output section 209. In this embodiment, the public network connection unit 211 is not limited to 3G or LTE, and may use other communication methods such as WiMAX, ADSL, and FTTH. Note that it is also possible for one antenna to serve as both the connection unit 208 and the public network connection unit 211. Note that the connection unit 208 and the public network connection unit 211 do not necessarily need to be configured with independent hardware, and for example, a single antenna can also serve as both.
<Communication processing of video data and audio data between the imaging device and the host device>
Next, with reference to FIGS. 3A to 3G, communication processing of video data and audio data when an online communication application is used between the imaging device and the host device of this embodiment will be described.

図３Ａは、撮像装置１００とホスト機器２００を、ＵＳＢケーブル３０５を介して接続し、オンラインコミュニケーションアプリケーション３００を動作させ、通話を行う前の待機状態を示している。撮像装置１００の表示部１０６には、撮像装置１００で撮影されたユーザー３０７の映像が表示されている。オンラインコミュニケーションアプリケーション３００は、通話相手の映像を表示する画面３０４、撮像装置１００で撮影した映像を通話相手に配信するためのボタン３０１、ユーザー３０７の音声を配信するためのボタン３０２、通話を開始及び終了するためのボタン３０３を有して構成されている。 FIG. 3A shows a standby state in which the imaging apparatus 100 and the host device 200 are connected via a USB cable 305, the online communication application 300 is operated, and the communication application 300 is activated before making a call. On the display unit 106 of the imaging device 100, an image of the user 307 captured by the imaging device 100 is displayed. The online communication application 300 includes a screen 304 that displays the image of the other party, a button 301 for distributing the image captured by the imaging device 100 to the other party, a button 302 for distributing the voice of the user 307, a button 302 for starting a call, and a button 302 for distributing the voice of the user 307. It is configured with a button 303 for ending.

図３Ｂは、ユーザー３０７の通話相手３０８からオンラインコミュニケーションアプリケーション３００を介して通話がかかってきて、ユーザー３０７がそれに応じた状態を示している。ユーザー３０７は通話相手３０８から通話がかかってきた際に、通話開始及び終了ボタン３０３を押下することで通話に応じることができる。ユーザー３０７が通話に応じた場合、オンラインコミュニケーションアプリケーション３００の表示画面３０４に、通話相手３０８が表示される。その際、撮像装置１００の表示部１０６には、撮像装置１００がホスト機器２００に対して音声データ、あるいは映像データ、あるいはその両方を送信しているか否かを、ユーザー３０７が判断可能なアイコン３０９を表示する。 FIG. 3B shows a state in which a call party 308 of the user 307 makes a call via the online communication application 300, and the user 307 responds to the call. When the user 307 receives a call from the other party 308, the user 307 can accept the call by pressing the call start/end button 303. When the user 307 accepts the call, the other party 308 is displayed on the display screen 304 of the online communication application 300 . At this time, the display unit 106 of the imaging device 100 displays an icon 309 that allows the user 307 to determine whether the imaging device 100 is transmitting audio data, video data, or both to the host device 200. Display.

図３Ｂの状態では、撮像装置１００が、ホスト機器２００に対して音声データも映像データも送信していないため、映像アイコン３１０と音声アイコン３１１はグレーアウトされている。また、撮像装置１００が、ホスト機器２００に対して、映像データも音声データも送信していない状態なので、アイコン３０９は、待機状態であることをユーザー３０７に示す表示（ＳＴＢＹなどの文字の表示）を行う。 In the state of FIG. 3B, since the imaging device 100 is not transmitting either audio data or video data to the host device 200, the video icon 310 and the audio icon 311 are grayed out. Furthermore, since the imaging apparatus 100 is not transmitting any video data or audio data to the host device 200, the icon 309 is a display indicating to the user 307 that it is in a standby state (display of characters such as STBY). I do.

図３Ｃは、撮像装置１００が、ホスト機器２００に対して、映像データのみ送信している状態を示している。図３Ｃの状態において、撮像装置１００がホスト機器２００に対して映像データのみを送信している状態であるため、撮像装置１００の映像のみが配信状態であることが判断できるアイコン３０９を表示する。映像アイコン３１０は映像データの送信がアクティブであることが判断できる表示を行い、音声アイコン３１１は音声データを送信していないためグレーアウト表示を行う。 FIG. 3C shows a state in which the imaging device 100 is transmitting only video data to the host device 200. In the state of FIG. 3C, since the imaging device 100 is transmitting only video data to the host device 200, an icon 309 is displayed that allows it to be determined that only the video of the imaging device 100 is being distributed. The video icon 310 is displayed to indicate that video data transmission is active, and the audio icon 311 is grayed out because no audio data is being transmitted.

図３Ｄは、撮像装置１００が、ホスト機器２００に対して、音声データのみ送信している状態を示している。図３Ｄの状態において、撮像装置１００がホスト機器２００に対して音声データのみを送信している状態であるため、撮像装置１００の音声のみが配信状態であることが判断できるアイコン３０９を表示する。音声アイコン３１１は音声データの送信がアクティブであることが判断できる表示を行い、映像アイコン３１０は映像データを送信していないためグレーアウト表示を行う。 FIG. 3D shows a state in which the imaging device 100 is transmitting only audio data to the host device 200. In the state of FIG. 3D, the imaging device 100 is transmitting only audio data to the host device 200, so an icon 309 is displayed that allows it to be determined that only the audio of the imaging device 100 is being distributed. The audio icon 311 is displayed to indicate that audio data transmission is active, and the video icon 310 is grayed out because no video data is being transmitted.

図３Ｅは、撮像装置１００が、ホスト機器２００に対して、音声データと映像データの両方を送信している状態を示している。図３Ｅの状態において、撮像装置１００がホスト機器２００に対して音声データと映像データを送信している状態であるため、撮像装置１００の映像と音声が配信状態であることが判断できるアイコン３０９を表示する。音声アイコン３１１は音声データの送信がアクティブであることが判断できる表示を行い、映像アイコン３１０も同様に映像データの送信がアクティブであることが判断できる表示を行う。 FIG. 3E shows a state in which the imaging device 100 is transmitting both audio data and video data to the host device 200. In the state of FIG. 3E, the imaging device 100 is transmitting audio data and video data to the host device 200, so the icon 309 is displayed to indicate that the video and audio of the imaging device 100 are being distributed. indicate. The audio icon 311 displays a display that allows it to be determined that audio data transmission is active, and the video icon 310 similarly displays a display that allows it to be determined that video data transmission is active.

図３Ｆは、図３Ｃで説明した、撮像装置１００からホスト機器２００に対して映像データを送信している状態において、撮像装置１００の音声データがホスト機器２００に対して送信されていないことを、ユーザー３０７に通知する警告表示３１３を示している。また、警告表示３１３は表示部１０６に画面表示される。 FIG. 3F shows that in the state where the image capturing device 100 is transmitting video data to the host device 200 as described in FIG. 3C, the audio data of the image capturing device 100 is not being transmitted to the host device 200. A warning display 313 is shown to notify the user 307. Further, a warning display 313 is displayed on the display unit 106.

図３Ｇは、オンラインコミュニケーションアプリケーション３００の、音声入力機器の設定がヘッドセット３１５である状態を示している。この状態では、ユーザー３０７は、撮像装置１００が送信する音声データが、通話相手３０８に配信されているのか否か判断することが困難である。そのため、撮像装置１００からホスト機器２００に対して映像データを送信する際に、撮像装置１００の制御部１０１は、ホスト機器２００から、ＵＳＢケーブル３０５を介して、音声データの送信要求がされているか否かを判断する。そして、音声データの送信がされていなかった場合に警告表示３１３を行う。警告表示３１３をユーザー３０７が確認した後、ユーザー３０７が確認ボタン３１４を押下することで警告表示３１３は終了する。警告表示３１３の終了のタイミングについては、ユーザー３０７が確認ボタン３１４を押下したタイミングでもよいし、所定の時間が経過したことにより警告表示３１３を終了してもよい。 FIG. 3G shows a state in which the audio input device setting of the online communication application 300 is a headset 315. In this state, it is difficult for the user 307 to determine whether or not the audio data transmitted by the imaging device 100 is being delivered to the other party 308 . Therefore, when transmitting video data from the imaging device 100 to the host device 200, the control unit 101 of the imaging device 100 determines whether the host device 200 has made a request to transmit audio data via the USB cable 305. Decide whether or not. Then, if the audio data has not been transmitted, a warning display 313 is displayed. After the user 307 confirms the warning display 313, the user 307 presses the confirmation button 314, thereby ending the warning display 313. The timing for ending the warning display 313 may be the timing when the user 307 presses the confirmation button 314, or the warning display 313 may be ended when a predetermined period of time has elapsed.

＜撮像装置のアイコン表示及び警告表示の動作＞
図４は、図３Ａ～図３Ｇで説明した、撮像装置１００の、音声入力部１０９で取得した音声データと、撮像部１０２で撮影した映像データが、ホスト機器２００に対して送信されているか否かをユーザー３０７に表示する動作を示すフローチャートである。 <Operation of icon display and warning display of imaging device>
FIG. 4 shows whether or not the audio data acquired by the audio input unit 109 of the imaging device 100 and the video data captured by the imaging unit 102 described in FIGS. 3A to 3G are transmitted to the host device 200. 12 is a flowchart showing an operation for displaying information to a user 307.

ステップＳ４０１では、撮像装置１００とホスト機器２００が、ＵＳＢケーブル３０５を介して接続されている状態において、制御部２０１がホスト機器上で動作するオンラインコミュニケーションアプリケーションを起動し、通話を開始する。 In step S401, while the imaging apparatus 100 and the host device 200 are connected via the USB cable 305, the control unit 201 starts an online communication application running on the host device and starts a call.

ステップＳ４０２では、制御部１０１は、撮像装置１００が、図１の撮像部１０２で撮影した映像データを、接続部１０８からＵＳＢケーブル３０５を介して、ホスト機器２００に対して送信しているか否かを判定する。制御部１０１は、映像データをホスト機器２００に対して送信している場合はステップＳ４０３に処理を進め、そうでなければステップＳ４０７に処理を進める。 In step S402, the control unit 101 determines whether the imaging device 100 is transmitting video data captured by the imaging unit 102 in FIG. 1 to the host device 200 from the connection unit 108 via the USB cable 305. Determine. If the control unit 101 is transmitting video data to the host device 200, the process proceeds to step S403; otherwise, the process proceeds to step S407.

ステップＳ４０３では、制御部１０１は、撮像装置１００の音声入力部１０９で取得した音声データをホスト機器２００に対して送信しているか否かを判定する。具体的には、ホスト機器２００から、ＵＳＢケーブル３０５を介して、音声データの送信要求がされているか否かを判断する。制御部１０１は、音声データをホスト機器２００に対して送信している場合はステップＳ４０４に処理を進め、そうでなければステップＳ４０５に処理を進める。 In step S403, the control unit 101 determines whether the audio data acquired by the audio input unit 109 of the imaging device 100 is being transmitted to the host device 200. Specifically, it is determined whether or not there is a request from the host device 200 to transmit audio data via the USB cable 305. If the control unit 101 is transmitting audio data to the host device 200, the process proceeds to step S404; otherwise, the process proceeds to step S405.

ステップＳ４０４では、撮像装置１００が映像と音声の両方を送信しているので、制御部１０１は、図３Ｅのアイコン３０９と同等の表示を、表示部１０６で行う。 In step S404, since the imaging device 100 is transmitting both video and audio, the control unit 101 displays a display equivalent to the icon 309 in FIG. 3E on the display unit 106.

ステップＳ４０５では、撮像装置１００が映像を送信しているが音声を送信していないので、制御部１０１は、図３Ｆと同等の警告表示３１３を表示部１０６で行う。ステップＳ４０５で警告表示３１３が撮像装置１００の表示部１０６に表示された後に、確認ボタン（警告表示解除ボタン）３１４が押下されるか、所定の時間が経過すると、制御部１０１はステップＳ４０６に処理を進める。 In step S405, since the imaging device 100 is transmitting video but not audio, the control unit 101 displays a warning display 313 similar to that in FIG. 3F on the display unit 106. After the warning display 313 is displayed on the display unit 106 of the imaging device 100 in step S405, if the confirmation button (warning display cancel button) 314 is pressed or a predetermined period of time has elapsed, the control unit 101 proceeds to step S406. proceed.

ステップＳ４０６では、制御部１０１は、図３Ｃのアイコン３０９と同等の表示を、表示部１０６で行う。 In step S406, the control unit 101 displays a display equivalent to the icon 309 in FIG. 3C on the display unit 106.

ステップＳ４０７では、制御部１０１は、撮像装置１００の音声入力部１０９で取得した音声データをホスト機器２００に対して送信しているか否かを判定する。具体的には、ホスト機器２００から、ＵＳＢケーブル３０５を介して、音声データの送信要求がされているか否かを判断する。制御部１０１は、音声データをホスト機器２００に対して送信している場合はステップＳ４０８に処理を進め、そうでなければステップＳ４０９に処理を進める。 In step S407, the control unit 101 determines whether the audio data acquired by the audio input unit 109 of the imaging device 100 is being transmitted to the host device 200. Specifically, it is determined whether or not there is a request from the host device 200 to transmit audio data via the USB cable 305. If the control unit 101 is transmitting audio data to the host device 200, the process proceeds to step S408; otherwise, the process proceeds to step S409.

ステップＳ４０８では、撮像装置１００が音声を送信しているが映像を送信していないので、制御部１０１は、図３Ｄのアイコン３０９と同等の表示を、表示部１０６で行う。 In step S408, since the imaging device 100 is transmitting audio but not video, the control unit 101 displays a display equivalent to the icon 309 in FIG. 3D on the display unit 106.

ステップＳ４０９では、制御部１０１は、撮像装置１００が映像と音声のどちらも送信していないので、図３Ｂのアイコン表示３０９と同等の表示を、表示部１０６で行う。 In step S409, since the imaging apparatus 100 is not transmitting either video or audio, the control unit 101 displays a display equivalent to the icon display 309 in FIG. 3B on the display unit 106.

ステップＳ４０４、Ｓ４０６、Ｓ４０８、Ｓ４０９のアイコン表示ステップが終了すると、制御部１０１は、ステップＳ４０２に処理を戻し、通話状態において、ステップＳ４０２～ステップＳ４０９を繰り返す。 When the icon display steps of steps S404, S406, S408, and S409 are completed, the control unit 101 returns the process to step S402, and repeats steps S402 to S409 in the call state.

なお、フローチャート上の通話終了処理に関しては、図４のステップＳ４０１以降の全てのステップに割り込むことが可能であるため、通話終了の割り込みとともに通話を終了する。 Regarding the call termination process in the flowchart, since it is possible to interrupt all steps after step S401 in FIG. 4, the call is terminated at the same time as the call termination interrupt.

＜撮像装置のアイコン及び警告の表示の流れ＞
図５Ａ～図５Ｄは、図４で説明した撮像装置１００でアイコン表示と警告表示を行うシーケンスを示す図である。 <Flow of displaying the imaging device icon and warning>
5A to 5D are diagrams showing a sequence of icon display and warning display in the imaging device 100 described in FIG. 4.

図５Ａの動作は、ユーザー３０７が、ホスト機器２００の操作部２０５と制御部２０１を介して、オンラインコミュニケーションアプリケーション３００を起動することにより開始される。その後、撮像装置１００が、映像データを、接続部１０８からＵＳＢケーブル３０５を介してホスト機器２００に送信する。また撮像装置１００が、音声データを接続部１０８からＵＳＢケーブル３０５を介して、ホスト機器２００に送信する。 The operation in FIG. 5A is started when the user 307 starts the online communication application 300 via the operation unit 205 and control unit 201 of the host device 200. Thereafter, the imaging device 100 transmits the video data from the connection unit 108 to the host device 200 via the USB cable 305. The imaging device 100 also transmits audio data from the connection unit 108 to the host device 200 via the USB cable 305.

まず、ステップＳ５０１では、ユーザー３０７が、ホスト機器２００の、操作部２０５と制御部２０１を介して、オンラインコミュニケーションアプリケーション３００を起動する。 First, in step S501, the user 307 starts the online communication application 300 via the operation unit 205 and control unit 201 of the host device 200.

ステップＳ５０２では、ユーザー３０７が、オンラインコミュニケーションアプリケーション３００の、ユーザー３０７の音声を配信するためのボタン３０２を押下する。これにより、ホスト機器２００の制御部２０１が、ＵＳＢケーブル３０５を介して、撮像装置１００に対して、音声データの送信要求を行う。また、ユーザー３０７が、撮像装置１００で撮影した映像を通話相手に配信するためのボタン３０１を押下する。これにより、ホスト機器２００の制御部２０１が、ＵＳＢケーブル３０５を介して、撮像装置１００に映像データの送信要求を行う。 In step S502, the user 307 presses a button 302 of the online communication application 300 for distributing the user's 307 voice. As a result, the control unit 201 of the host device 200 requests the imaging device 100 to transmit audio data via the USB cable 305. Further, the user 307 presses a button 301 for distributing the video captured by the imaging device 100 to the other party. As a result, the control unit 201 of the host device 200 requests the imaging device 100 to transmit video data via the USB cable 305.

ステップＳ５０３では、撮像装置１００の制御部１０１が、ホスト機器２００から、ＵＳＢケーブル３０５を介して、音声データの送信要求と、映像データの送信要求を受信する。撮像装置１００の制御部１０１は、映像データを、接続部１０８からＵＳＢケーブル３０５を介して、ホスト機器２００に送信する。音声データに関しても、接続部１０８からＵＳＢケーブル３０５を介して、ホスト機器２００に送信する。その場合、ステップＳ５０４において、制御部１０１は、図３Ｅに示すアイコン３０９と同等の表示を、表示部１０６で行う。 In step S503, the control unit 101 of the imaging apparatus 100 receives an audio data transmission request and a video data transmission request from the host device 200 via the USB cable 305. The control unit 101 of the imaging device 100 transmits video data from the connection unit 108 to the host device 200 via the USB cable 305. Audio data is also transmitted from the connection unit 108 to the host device 200 via the USB cable 305. In that case, in step S504, the control unit 101 displays a display equivalent to the icon 309 shown in FIG. 3E on the display unit 106.

ステップＳ５０５では、ホスト機器２００の制御部２０１が、撮像装置１００から音声データと映像データを受信し、撮像装置１００に対して、ＵＳＢケーブル３０５を介して、受信完了通知を送信する。 In step S505, the control unit 201 of the host device 200 receives audio data and video data from the imaging device 100, and transmits a reception completion notification to the imaging device 100 via the USB cable 305.

図５Ｂの動作は、ユーザー３０７が、ホスト機器２００の操作部２０５と制御部２０１を介して、オンラインコミュニケーションアプリケーション３００を起動することにより開始される。その後、撮像装置１００が、音声データを、接続部１０８からＵＳＢケーブル３０５を介して、ホスト機器２００に対して送信する。 The operation in FIG. 5B is started when the user 307 starts the online communication application 300 via the operation unit 205 and control unit 201 of the host device 200. Thereafter, the imaging device 100 transmits the audio data from the connection unit 108 to the host device 200 via the USB cable 305.

まず、ステップＳ５０６では、ユーザー３０７が、ホスト機器２００の、操作部２０５と制御部２０１を介して、オンラインコミュニケーションアプリケーション３００を起動する。 First, in step S506, the user 307 starts the online communication application 300 via the operation unit 205 and control unit 201 of the host device 200.

ステップＳ５０７では、ユーザー３０７が、オンラインコミュニケーションアプリケーション３００の、ユーザー３０７の音声を配信するためのボタン３０２を押下する。これにより、ホスト機器２００の制御部２０１が、ＵＳＢケーブル３０５を介して、撮像装置１００に対して、音声データの送信要求を行う。 In step S507, the user 307 presses a button 302 of the online communication application 300 for distributing the user's 307 voice. As a result, the control unit 201 of the host device 200 requests the imaging device 100 to transmit audio data via the USB cable 305.

ステップＳ５０８では、撮像装置１００の制御部１０１は、音声データを、接続部１０８からＵＳＢケーブル３０５を介して、ホスト機器２００に送信する。その場合、ステップＳ５０９において、制御部１０１は、図３Ｄに示すアイコン３０９と同等の表示を、表示部１０６で行う。 In step S508, the control unit 101 of the imaging apparatus 100 transmits the audio data from the connection unit 108 to the host device 200 via the USB cable 305. In that case, in step S509, the control unit 101 displays a display equivalent to the icon 309 shown in FIG. 3D on the display unit 106.

ステップＳ５１０では、ホスト機器２００の制御部２０１が、撮像装置１００から音声データを受信し、撮像装置１００に対して、ＵＳＢケーブル３０５を介して、受信完了通知を送信する。 In step S510, the control unit 201 of the host device 200 receives audio data from the imaging device 100, and transmits a reception completion notification to the imaging device 100 via the USB cable 305.

図５Ｃの動作は、ユーザー３０７が、ホスト機器２００の操作部２０５と制御部２０１を介して、オンラインコミュニケーションアプリケーション３００を起動することにより開始される。その後、撮像装置１００が、映像データを、接続部１０８からＵＳＢケーブル３０５を介して、ホスト機器２００に対して送信する。 The operation in FIG. 5C is started when the user 307 starts the online communication application 300 via the operation unit 205 and control unit 201 of the host device 200. Thereafter, the imaging device 100 transmits the video data from the connection unit 108 to the host device 200 via the USB cable 305.

まず、ステップＳ５１１では、ユーザー３０７が、ホスト機器２００の、操作部２０５と制御部２０１を介して、オンラインコミュニケーションアプリケーション３００を起動する。 First, in step S511, the user 307 starts the online communication application 300 via the operation unit 205 and control unit 201 of the host device 200.

ステップＳ５１２では、ユーザー３０７が、オンラインコミュニケーションアプリケーション３００の、撮像装置１００で撮影した映像を通話相手に配信するためのボタン３０１を押下する。これにより、ホスト機器２００の制御部２０１が、ＵＳＢケーブル３０５を介して、撮像装置１００に対して、映像データの送信要求を行う。 In step S512, the user 307 presses a button 301 of the online communication application 300 for distributing the video shot by the imaging device 100 to the other party. As a result, the control unit 201 of the host device 200 requests the imaging device 100 to transmit video data via the USB cable 305.

ステップＳ５１３では、撮像装置１００の制御部１０１は、映像データを、接続部１０８からＵＳＢケーブル３０５を介して、ホスト機器２００に送信する。その場合、ステップＳ５１４において、制御部１０１は、図３Ｃに示すアイコン３０９と同等の表示を、表示部１０６で行う。 In step S513, the control unit 101 of the imaging device 100 transmits the video data from the connection unit 108 to the host device 200 via the USB cable 305. In that case, in step S514, the control unit 101 displays a display equivalent to the icon 309 shown in FIG. 3C on the display unit 106.

ステップＳ５１５では、ホスト機器２００の制御部２０１が、撮像装置１００から映像データを受信し、撮像装置１００に対して、ＵＳＢケーブル３０５を介して、受信完了通知を送信する。 In step S515, the control unit 201 of the host device 200 receives the video data from the imaging device 100, and transmits a reception completion notification to the imaging device 100 via the USB cable 305.

図５Ｄは、ホスト機器２００が、音声データに関しては、ヘッドセット３１５から受信し、映像データに関しては、撮像装置１００から受信する場合のシーケンスを示している。 FIG. 5D shows a sequence in which the host device 200 receives audio data from the headset 315 and video data from the imaging device 100.

ステップＳ５１６では、前提として、オンラインコミュニケーションアプリケーション３００の、音声入力部２１０に、図３Ｇで説明したヘッドセット３１５が接続されているものとする。また、オンラインコミュニケーションアプリケーション３００の、音声入力機器の設定が、ヘッドセット３１５に設定されているものとする。その状態において、ユーザー３０７がオンラインコミュニケーションアプリケーション３００を起動する。 In step S516, it is assumed that the headset 315 described in FIG. 3G is connected to the audio input unit 210 of the online communication application 300. Further, it is assumed that the audio input device setting of the online communication application 300 is set to the headset 315. In this state, user 307 starts online communication application 300.

まず、ステップＳ５１７では、ユーザー３０７が、オンラインコミュニケーションアプリケーション３００の、ユーザー３０７の音声を配信するためのボタン３０２を押下する。これにより、ホスト機器２００の制御部２０１が、ヘッドセット３１５に、音声データの要求を行う。 First, in step S517, the user 307 presses the button 302 of the online communication application 300 for distributing the user's 307 voice. As a result, the control unit 201 of the host device 200 requests the headset 315 for audio data.

ステップＳ５１８では、ヘッドセット３１５が、ホスト機器２００から音声データの送信要求を受信して、音声データをホスト機器２００に送信する。 In step S518, the headset 315 receives the audio data transmission request from the host device 200, and transmits the audio data to the host device 200.

ステップＳ５１９では、ホスト機器２００の制御部２０１が、ヘッドセット３１５から音声データを受信し、ヘッドセット３１５に対して、受信完了通知を送信する。 In step S519, the control unit 201 of the host device 200 receives the audio data from the headset 315, and transmits a reception completion notification to the headset 315.

ステップＳ５２０では、ユーザー３０７が、撮像装置１００で撮影した映像を通話相手に配信するためのボタン３０１を押下する。これにより、ホスト機器２００の制御部２０１が、ＵＳＢケーブル３０５を介して、撮像装置１００に対して、音声データの送信要求を行う。 In step S520, the user 307 presses the button 301 for distributing the video captured by the imaging device 100 to the other party. As a result, the control unit 201 of the host device 200 requests the imaging device 100 to transmit audio data via the USB cable 305.

ステップＳ５２１では、撮像装置１００の制御部１０１が、映像データを、接続部１０８からＵＳＢケーブル３０５を介して、ホスト機器２００に送信する。 In step S521, the control unit 101 of the imaging device 100 transmits video data from the connection unit 108 to the host device 200 via the USB cable 305.

ステップＳ５２２では、撮像装置１００が音声データを送信していなかった場合に、制御部１０１は、図３Ｃのアイコンと同等のアイコン３０９を表示部１０６で行なうか否かを判定する。ステップＳ５２２の状態の場合、オンラインコミュニケーションアプリケーション３００の、音声入力機器の設定はヘッドセット３１５になっており、撮像装置１００に対しては、映像データの送信要求しか送信されていない。そのため、図３Ｃのアイコン３０９と同等の表示を表示部１０６で行なう。 In step S522, if the imaging device 100 has not transmitted audio data, the control unit 101 determines whether or not an icon 309 equivalent to the icon in FIG. 3C is to be displayed on the display unit 106. In the state of step S522, the audio input device setting of the online communication application 300 is the headset 315, and only a request to send video data is sent to the imaging device 100. Therefore, a display equivalent to the icon 309 in FIG. 3C is displayed on the display unit 106.

ステップＳ５２３では、ステップＳ５２２で撮像装置１００から、ホスト機器２００に対して映像データのみを送信しているため、図３Ｆと同等の警告表示を行う。 In step S523, since only the video data is transmitted from the imaging device 100 to the host device 200 in step S522, a warning similar to that in FIG. 3F is displayed.

ステップＳ５２４では、ホスト機器２００が、撮像装置１００から映像データを受信し、撮像装置１００に対して、ＵＳＢケーブル３０５を介して受信完了通知を送信する。 In step S524, the host device 200 receives the video data from the imaging device 100, and transmits a reception completion notification to the imaging device 100 via the USB cable 305.

本実施形態では、撮像装置１００が、ホスト機器２００に音声、あるいは映像、あるいはその両方のデータを送信しているか否かをユーザー３０７が判断可能なアイコン表示を行い、映像データのみを送信している場合は警告表示を行う。そのため、ユーザーは、映像、音声、もしくはその両方のデータの送信状態を、容易に判断することが可能となる。 In this embodiment, the imaging apparatus 100 displays an icon that allows the user 307 to determine whether or not it is transmitting audio, video, or both data to the host device 200, and transmits only video data. If so, a warning will be displayed. Therefore, the user can easily determine the transmission status of video, audio, or both data.

（第２の実施形態）
次に、第２の実施形態について説明する。第２の実施形態では、第１の実施形態で、撮像装置１００がホスト機器２００に映像データのみを送信する際に行う、警告表示機能のＯＮ／ＯＦＦ設定について説明する。なお、撮像装置１００の構成と、ホスト機器２００の構成は、第１の実施形態の撮像装置１００の構成とホスト機器２００の構成と同様である。また、撮像装置１００とホスト機器２００との通信処理も第１の実施形態と同様である。 (Second embodiment)
Next, a second embodiment will be described. In the second embodiment, the ON/OFF setting of the warning display function, which is performed when the imaging device 100 transmits only video data to the host device 200 in the first embodiment, will be described. Note that the configuration of the imaging device 100 and the configuration of the host device 200 are similar to the configuration of the imaging device 100 and the configuration of the host device 200 of the first embodiment. Furthermore, the communication processing between the imaging device 100 and the host device 200 is also the same as in the first embodiment.

＜撮像装置での警告表示ＯＮ／ＯＦＦ設定＞
図６は、撮像装置１００の表示部１０６で、警告表示を行う設定のＯＮ／ＯＦＦを変更できる画面表示を示している。 <Warning display ON/OFF setting on imaging device>
FIG. 6 shows a screen display on the display unit 106 of the imaging device 100 that allows the setting for displaying a warning to be turned on or off.

なお、撮像装置１００の構成と、ホスト機器２００の構成は、第１の実施形態の撮像装置１００の構成とホスト機器２００の構成と同様である。また、撮像装置１００とホスト機器２００との通信処理も第１の実施形態と同様である。 Note that the configuration of the imaging device 100 and the configuration of the host device 200 are similar to the configuration of the imaging device 100 and the configuration of the host device 200 of the first embodiment. Furthermore, the communication processing between the imaging device 100 and the host device 200 is also the same as in the first embodiment.

図６において、表示６０１は、ユーザー３０７が、撮像装置１００の表示部１０６の画面上で、警告表示のＯＮ／ＯＦＦ設定を変更することを可能とする画面表示を示している。 In FIG. 6, a display 601 shows a screen display that allows the user 307 to change the ON/OFF setting of the warning display on the screen of the display unit 106 of the imaging apparatus 100.

表示６０２は、ユーザー３０７が、表示部１０６上で、警告表示のＯＮ／ＯＦＦ設定の「ＯＮ」の選択を可能とする画面表示を示している。 A display 602 shows a screen display that allows the user 307 to select "ON" as the warning display ON/OFF setting on the display unit 106.

ユーザー３０７が、「ＯＮ」状態を選択していた場合は、音声データが送信されていない場合に警告表示を行う。より具体的には、撮像装置１００が映像データをホスト機器２００に対して送信しており、かつ、撮像装置１００が音声データをホスト機器２００に対して送信していない状態において、図３Ｆと同等の警告表示３１３を表示部１０６で行う。 If the user 307 has selected the "ON" state, a warning is displayed if audio data is not being transmitted. More specifically, in a state where the imaging device 100 is transmitting video data to the host device 200 and the imaging device 100 is not transmitting audio data to the host device 200, a state similar to that in FIG. 3F is obtained. A warning display 313 is displayed on the display unit 106.

表示６０３は、ユーザー３０７が、表示部１０６上で、警告表示のＯＮ／ＯＦＦ設定の、「ＯＦＦ」の選択を可能とする画面表示を示している。ユーザーが、「ＯＦＦ」状態を選択していた場合は、音声データが送信されていない状態であったとしても、図３Ｆと同等の警告表示３１３を行わない。 A display 603 shows a screen display that allows the user 307 to select "OFF" for the ON/OFF setting of the warning display on the display unit 106. If the user has selected the "OFF" state, the warning display 313 equivalent to that in FIG. 3F is not displayed even if audio data is not being transmitted.

本実施形態によれば、撮像装置１００が、ホスト機器２００に対して、音声データの送信を行わず映像データのみを送信している場合に行う警告表示について、ユーザー３０７が意図的に警告表示を行わないように変更することが可能となる。 According to the present embodiment, the user 307 intentionally displays a warning when the imaging apparatus 100 transmits only video data without transmitting audio data to the host device 200. It is possible to change it so that it does not occur.

本明細書の開示は、以下の撮像装置、制御方法、プログラムおよび記憶媒体を含む。 The disclosure of this specification includes the following imaging device, control method, program, and storage medium.

（項目１）
ホスト機器に対して、映像データ、音声データ、またはその両方のデータを送信可能な撮像装置であって、
前記ホスト機器に映像データを送信する第１の送信手段と、
前記ホスト機器に音声データを送信する第２の送信手段と、
前記ホスト機器への、映像データと音声データの送信状態をユーザーに通知する通知手段と、
を備えることを特徴とする撮像装置。 (Item 1)
An imaging device capable of transmitting video data, audio data, or both data to a host device,
a first transmitting means for transmitting video data to the host device;
a second transmitting means for transmitting audio data to the host device;
notification means for notifying a user of the transmission status of video data and audio data to the host device;
An imaging device comprising:

（項目２）
前記第１の送信手段は、前記ホスト機器からの要求により、映像データを前記ホスト機器に送信することを特徴とする項目１に記載の撮像装置。 (Item 2)
The imaging device according to item 1, wherein the first transmitting means transmits video data to the host device in response to a request from the host device.

（項目３）
前記第２の送信手段は、前記ホスト機器からの要求により、音声データを前記ホスト機器に送信することを特徴とする項目１または２に記載の撮像装置。 (Item 3)
3. The imaging apparatus according to item 1 or 2, wherein the second transmitting means transmits audio data to the host device in response to a request from the host device.

（項目４）
前記通知手段は、前記ホスト機器に、映像データと音声データの両方を送信している場合に、映像データと音声データの両方を送信していることをユーザーに通知することを特徴とする項目１乃至３のいずれか１項目に記載の撮像装置。 (Item 4)
Item 1, wherein the notification means, when both video data and audio data are being transmitted to the host device, notifies the user that both video data and audio data are being transmitted. The imaging device according to any one of items 3 to 3.

（項目５）
前記通知手段は、前記ホスト機器に、映像データと音声データの両方を送信している場合に、映像データと音声データの両方を送信していることをユーザーに通知するアイコンを表示することを特徴とする項目４に記載の撮像装置。 (Item 5)
The notification means is characterized in that when both video data and audio data are being transmitted to the host device, the notification means displays an icon that notifies the user that both video data and audio data are being transmitted. The imaging device according to item 4.

（項目６）
前記通知手段は、前記ホスト機器に、音声データを送信し、映像データを送信していない場合に、音声データのみを送信していることをユーザーに通知することを特徴とする項目１乃至３のいずれか１項目に記載の撮像装置。 (Item 6)
Items 1 to 3, characterized in that the notification means notifies the user that only audio data is being transmitted when audio data is being transmitted to the host device and video data is not being transmitted. The imaging device according to any one item.

（項目７）
前記通知手段は、前記ホスト機器に、音声データを送信し、映像データを送信していない場合に、音声データのみを送信していることをユーザーに通知するアイコンを表示することを特徴とする項目６に記載の撮像装置。 (Item 7)
An item characterized in that the notification means displays an icon to notify the user that only audio data is being sent to the host device when audio data is being sent and video data is not being sent. 6. The imaging device according to 6.

（項目８）
前記通知手段は、前記ホスト機器に、映像データを送信し、音声データを送信していない場合に、映像データのみを送信していることをユーザーに通知することを特徴とする項目１乃至３のいずれか１項目に記載の撮像装置。 (Item 8)
Items 1 to 3, wherein the notification means notifies the user that only video data is being sent when video data is being sent to the host device and audio data is not being sent. The imaging device according to any one item.

（項目９）
前記通知手段は、前記ホスト機器に、映像データを送信し、音声データを送信していない場合に、映像データのみを送信していることをユーザーに通知するアイコンを表示することを特徴とする項目８に記載の撮像装置。 (Item 9)
An item characterized in that the notification means displays an icon to notify the user that only video data is being sent to the host device when video data is being sent and audio data is not being sent. 8. The imaging device according to 8.

（項目１０）
前記通知手段は、前記ホスト機器に、映像データを送信し、音声データを送信していない場合に、警告表示を行うことを特徴とする項目８または９に記載の撮像装置。 (Item 10)
10. The imaging device according to item 8 or 9, wherein the notification means displays a warning when video data is transmitted to the host device and audio data is not transmitted.

（項目１１）
前記警告表示を行う機能のＯＮ／ＯＦＦを切り替える切り替え手段をさらに備えることを特徴とする項目１０に記載の撮像装置。 (Item 11)
11. The imaging device according to item 10, further comprising a switching means for switching ON/OFF of the function for displaying the warning.

（項目１２）
前記通知手段が前記警告表示を行った後、前記警告表示を解除する解除手段をさらに備えることを特徴とする項目１０または１１に記載の撮像装置。 (Item 12)
The imaging device according to item 10 or 11, further comprising a canceling unit that cancels the warning display after the notification unit displays the warning.

（項目１３）
ホスト機器に対して、映像データ、音声データ、またはその両方のデータを送信可能な撮像装置を制御する方法であって、
前記ホスト機器に映像データを送信する第１の送信工程と、
前記ホスト機器に音声データを送信する第２の送信工程と、
前記ホスト機器への、映像データと音声データの送信状態をユーザーに通知する通知工程と、
を有することを特徴とする撮像装置の制御方法。 (Item 13)
A method for controlling an imaging device capable of transmitting video data, audio data, or both data to a host device, the method comprising:
a first transmission step of transmitting video data to the host device;
a second transmission step of transmitting audio data to the host device;
a notification step of notifying a user of the transmission status of video data and audio data to the host device;
A method for controlling an imaging device, comprising:

（項目１４）
コンピュータを、項目１乃至１２のいずれか１項目に記載の撮像装置の各手段として機能させるためのプログラム。 (Item 14)
A program for causing a computer to function as each means of the imaging device according to any one of items 1 to 12.

（項目１５）
コンピュータを、項目１乃至１２のいずれか１項目に記載の撮像装置の各手段として機能させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。 (Item 15)
A computer-readable storage medium storing a program for causing a computer to function as each means of the imaging device according to any one of items 1 to 12.

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。 (Other embodiments)
The present invention also provides a system or device with a program that implements one or more functions of the above-described embodiments via a network or a storage medium, and one or more processors in a computer of the system or device reads the program. This can also be achieved by executing a process. It can also be implemented by a circuit (eg, ASIC) that implements one or more functions.

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。 The invention is not limited to the embodiments described above, and various changes and modifications can be made without departing from the spirit and scope of the invention. Therefore, the following claims are hereby appended to disclose the scope of the invention.

１００：撮像装置、１０１，２０１：制御部、１０２，２０２：撮像部、１０６，２０６：表示部、１０８，２０８：接続部、２００：ホスト機器、２０９：音声出力部、２１０：音声入力部 100: Imaging device, 101, 201: Control unit, 102, 202: Imaging unit, 106, 206: Display unit, 108, 208: Connection unit, 200: Host device, 209: Audio output unit, 210: Audio input unit

Claims

An imaging device capable of transmitting video data, audio data, or both data to a host device,
a first transmitting means for transmitting video data to the host device;
a second transmitting means for transmitting audio data to the host device;
notification means for notifying a user of the transmission status of video data and audio data to the host device;
An imaging device comprising:

The imaging apparatus according to claim 1, wherein the first transmitting means transmits video data to the host device in response to a request from the host device.

The imaging apparatus according to claim 1, wherein the second transmitting means transmits audio data to the host device in response to a request from the host device.

2. The notification means, when both video data and audio data are being transmitted to the host device, notifies the user that both video data and audio data are being transmitted. 1. The imaging device according to 1.

The notification means is characterized in that when both video data and audio data are being transmitted to the host device, the notification means displays an icon that notifies the user that both video data and audio data are being transmitted. The imaging device according to claim 4.

2. The notification means sends audio data to the host device, and when video data is not sent, notifies the user that only audio data is being sent. imaging device.

Claim characterized in that, when the host device transmits audio data but does not transmit video data, the notification means displays an icon to notify the user that only audio data is being transmitted. Item 6. The imaging device according to item 6.

2. The notification means sends video data to the host device, and when audio data is not sent, notifies the user that only video data is being sent. imaging device.

Claim characterized in that the notification means displays an icon to notify the user that only video data is being sent to the host device when video data is being sent and audio data is not being sent. The imaging device according to item 8.

9. The imaging apparatus according to claim 8, wherein the notification means displays a warning when video data is transmitted to the host device but audio data is not transmitted.

11. The imaging apparatus according to claim 10, further comprising switching means for switching ON/OFF of the function for displaying the warning.

The imaging apparatus according to claim 10, further comprising a canceling unit that cancels the warning display after the notification unit displays the warning.

A method for controlling an imaging device capable of transmitting video data, audio data, or both data to a host device, the method comprising:
a first transmission step of transmitting video data to the host device;
a second transmission step of transmitting audio data to the host device;
a notification step of notifying a user of the transmission status of video data and audio data to the host device;
A method for controlling an imaging device, comprising:

A program for causing a computer to function as each means of the imaging device according to any one of claims 1 to 12.

A computer-readable storage medium storing a program for causing a computer to function as each means of the imaging device according to any one of claims 1 to 12.