JP5398359B2 - Information processing apparatus, imaging apparatus, and control method - Google Patents

Information processing apparatus, imaging apparatus, and control method Download PDF

Info

Publication number
JP5398359B2
JP5398359B2 JP2009131293A JP2009131293A JP5398359B2 JP 5398359 B2 JP5398359 B2 JP 5398359B2 JP 2009131293 A JP2009131293 A JP 2009131293A JP 2009131293 A JP2009131293 A JP 2009131293A JP 5398359 B2 JP5398359 B2 JP 5398359B2
Authority
JP
Japan
Prior art keywords
zoom
character
magnification
control
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009131293A
Other languages
Japanese (ja)
Other versions
JP2010278916A (en
Inventor
崇 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2009131293A priority Critical patent/JP5398359B2/en
Publication of JP2010278916A publication Critical patent/JP2010278916A/en
Application granted granted Critical
Publication of JP5398359B2 publication Critical patent/JP5398359B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Description

本発明は、情報処理装置、撮像装置、制御方法及びプログラムに関する。例えば、ホワイトボード、黒板あるいはスクリーン等を用いて行われるプレゼンテーションを撮像し、表示装置に表示する場合に用いられて好適である。   The present invention relates to an information processing device, an imaging device, a control method, and a program. For example, it is suitable to be used when a presentation made using a whiteboard, blackboard, screen, or the like is imaged and displayed on a display device.

従来から、会議や講義等の場面において、発表者が、ホワイトボードや黒板等を用いて、プレゼンテーションを行うことは一般的であった。近年では、発表者が、従前にパーソナルコンピュータを用いてプレゼンテーション資料を電子データとして作成し、スクリーンや大型テレビ等に表示して、発表することが一般化しつつある。   Conventionally, it has been common for a presenter to give a presentation using a whiteboard, a blackboard or the like in a meeting or a lecture. In recent years, it has become common for presenters to create presentation materials as electronic data using a personal computer and display them on a screen, a large television, or the like.

また、聴講者全員が視聴する一台の大型プロジェクタ又は大型テレビだけではなく、各聴講者の座席付近に夫々モニタ等を配置し、プレゼンテーション資料やカメラによって撮影された画像(以下、会議画像という)をモニタに配信することも多く行われている。更には、ある地点の会議を別の地点から聴講する、いわゆる遠隔会議においては、発表が行われる会議会場から会議画像を聴講者のいる地点に配信することで、遠隔会議を可能にしている。   Also, not only a single large projector or large TV that all audience members watch, but also a monitor etc. arranged near the seats of each audience, images taken with presentation materials and cameras (hereinafter referred to as conference images) Is often distributed to monitors. Furthermore, in a so-called remote conference in which a conference at a certain point is listened to from another point, a remote conference is enabled by distributing the conference image from the conference venue where the presentation is made to the point where the listener is present.

ところで、これらの会議や講義をカメラで撮影する場合、会議室全景を撮影し、且つホワイトボード等の板書を鮮明に読み取れるだけの解像度でデータを撮影、伝送、表示することは現実的ではない。しかしながら、細かい文字の板書がなされた場合には、該板書に記述された内容が重要であり、該記述が判別可能な程度に高精細な情報を取得する必要がある。
一方、ホワイトボード等に図形等が記述された場合には、図形全体が画角に入らなければ全体を見通すことはできない。そこで、一般的には会議の進行に応じてカメラの撮影条件、すなわちズーム量やパン、チルト方向を切り替えるのが一般的である。
By the way, when these meetings and lectures are photographed with a camera, it is not realistic to photograph a whole view of the conference room and to photograph, transmit, and display data with a resolution that can clearly read a board such as a whiteboard. However, when a small letter is written on the board, the contents described in the board are important, and it is necessary to acquire high-definition information to such an extent that the description can be discriminated.
On the other hand, when a figure or the like is described on a white board or the like, the whole figure cannot be seen unless the whole figure falls within the angle of view. Therefore, in general, the shooting conditions of the camera, that is, the zoom amount, pan, and tilt directions are generally switched according to the progress of the conference.

例えば、通信制の学校や学習塾等では、ある地点で行われている講義の内容を、カメラで撮影し、配信することで、複数の地点で同講義を受講できるような撮像システムがある。これらの講義では、カメラを操作する操作者が、講義の進行にしたがって、カメラのズーム量やパン、チルト方向を操作していることが多い。
また、特許文献1の文字画像撮影装置には、黒板等の被撮影体を撮影するための文字撮影モードを設け、該モードが選択された場合に、文字判別のために必要な解像度を推定し、該推定された解像度で撮影する技術が公開されている。
For example, there are communication systems such as communication schools and learning cram schools that allow students to take lectures at a plurality of locations by capturing and distributing the content of lectures held at a certain location with a camera. In these lectures, an operator who operates the camera often operates the zoom amount, pan and tilt directions of the camera as the lecture progresses.
Further, the character image photographing device of Patent Document 1 is provided with a character photographing mode for photographing an object to be photographed such as a blackboard, and when this mode is selected, the resolution required for character discrimination is estimated. A technique for photographing with the estimated resolution is disclosed.

特開平9−293121号公報JP-A-9-293121

しかしながら、上述したような撮像システムでは、以下の課題があった。
まず、第一に、会議や講義の例では、専門のカメラマンが必要となり、会議や講義を行うためのコストが増加してしまう。この場合、受信側でカメラを操作する方法も考えられるが、受信者は都度操作を行わねばならず、会議や講義中に不要な操作が発生する。また、1つのカメラに対して受信側が2つ以上存在する場合には、1つのカメラに対する操作に優先権が存在し、必然的に優先順位の低い操作は反映されない。
However, the imaging system as described above has the following problems.
First of all, in the case of a meeting or lecture, a specialized photographer is required, and the cost for conducting the meeting or lecture increases. In this case, a method of operating the camera on the receiving side is also conceivable, but the receiver must perform an operation each time, and an unnecessary operation occurs during a meeting or lecture. Further, when there are two or more receiving sides for one camera, priority is given to the operation for one camera, and an operation with a low priority is inevitably not reflected.

また、第二に、上述した特許文献1に開示されている技術では、静止画撮影においては効果が期待できるものの、ユーザがモードを選択しなければならないことから、特に時系列的に文字撮影モードと通常撮影モードとを切り替えることは現実的ではない。   Second, although the technique disclosed in Patent Document 1 described above can be expected to be effective in still image shooting, the user must select a mode. Switching between the normal shooting mode and the normal shooting mode is not realistic.

本発明は、上述したような課題を鑑みてなされたものであり、発表者等が撮影操作を行うことなく、被記述物に記述された内容を、より鮮明且つ違和感なく撮影することを目的とする。   The present invention has been made in view of the above-described problems, and aims at photographing the contents described in a description object more clearly and without a sense of incongruity without the presenter performing a photographing operation. To do.

本発明は、被記述物に対して記述している内容を撮像する撮像部と、ズーム機構と、パン機構とを具備する撮像装置を制御する情報処理装置であって、前記被記述物に連続的に文字が記述された場合に前記連続的に記述された文字の文字列に追従して撮影領域が調整されるように、前記パン機構の駆動を制御する第1の制御手段と、前記被記述物に連続的に文字が記述された場合、前記撮像部が撮像した画像を表示する表示装置に表示された前記文字が識別可能となるように前記ズーム機構のズーム倍率を前記パン機構の駆動が制御されている間維持する制御を行う第2の制御手段とを有する。 The present invention is an information processing apparatus that controls an imaging apparatus that includes an imaging unit that captures the contents described in a description object, a zoom mechanism, and a pan mechanism, and is continuous with the description object. manner as imaged region following the string of the continuously written character is adjusted when a character is written, a first control means for controlling the driving of the pan mechanism, the object When characters are continuously described in the description object, the zoom magnification of the zoom mechanism is driven so that the characters displayed on the display device that displays the image captured by the imaging unit can be identified. And a second control means for performing control to be maintained during the control.

本発明によれば、被記述物に記述された内容を、撮影する操作を行うことなく、より鮮明且つ違和感なく撮影することができる。   According to the present invention, it is possible to photograph the content described in the description object more clearly and without a sense of incongruity without performing an operation of photographing.

撮像システムの概略構成を示す図である。It is a figure which shows schematic structure of an imaging system. 撮像システムのハードウェア構成を示す図である。It is a figure which shows the hardware constitutions of an imaging system. 情報処理装置の機構構成を示す図である。It is a figure which shows the mechanism structure of information processing apparatus. 撮像システムの動作処理を示すフローチャートである。It is a flowchart which shows the operation processing of an imaging system. 撮像システムの動作処理により撮像領域の遷移の一例を示す図である。It is a figure showing an example of transition of an image pick-up field by operation processing of an image pick-up system.

以下、図面を参照して、本発明に係る実施形態について説明する。
まず、本実施形態に係る撮像システム100の概略構成について、図1を参照して説明する。なお、本実施形態では、会議の様子を撮像して表示する場合を例にあげて説明する。
図1に示すように、撮像システム100は、撮像装置20と、情報処理装置30と、表示装置40とを含んで構成されている。
Embodiments according to the present invention will be described below with reference to the drawings.
First, a schematic configuration of the imaging system 100 according to the present embodiment will be described with reference to FIG. In the present embodiment, a case where a state of a meeting is captured and displayed will be described as an example.
As illustrated in FIG. 1, the imaging system 100 includes an imaging device 20, an information processing device 30, and a display device 40.

まず、撮像装置20は、例えば会議会場内であって、図1に示すような被記述物としてのプレゼンテーション装置10全体を撮像することができる位置に設置されている。ここで、プレゼンテーション装置10とは、ホワイトボードや黒板等、物理的に記述ができるものであってもよく、電子白板やスクリーン等、電子情報を表示できるものであってもよい。また、撮像装置20は、典型的には、ディジタルビデオカメラであり、発表者又はプレゼンテーション装置10を動画像の形態で撮影する。   First, the imaging device 20 is installed, for example, in a conference hall and at a position where the entire presentation device 10 as a description object as shown in FIG. 1 can be imaged. Here, the presentation device 10 may be a device that can be physically described, such as a whiteboard or a blackboard, or may be a device that can display electronic information, such as an electronic white board or a screen. The imaging device 20 is typically a digital video camera, and photographs the presenter or the presentation device 10 in the form of a moving image.

情報処理装置30は、典型的には、パーソナルコンピュータやサーバ等であり、撮像装置20と通信可能に接続されている。情報処理装置30は、撮像装置20により撮像された画像に基づいて、後述する処理を行い撮像装置20の駆動を制御する。なお、情報処理装置30は、会議会場内或いは会議会場外等、何れの位置に設置されていてもよい。
表示装置40は、撮像装置20により撮像された画像を表示するディスプレイである。表示装置40は、例えば会議の聴講者に近接した位置に設置されている。なお、表示装置40は、講義会場外の遠隔地に設置されていてもよく、この場合、撮像装置20又は情報処理装置30とはネットワークを介して接続される。
The information processing apparatus 30 is typically a personal computer, a server, or the like, and is connected so as to be communicable with the imaging apparatus 20. The information processing device 30 controls the driving of the imaging device 20 by performing processing described later based on the image captured by the imaging device 20. Note that the information processing apparatus 30 may be installed at any position, such as inside the conference hall or outside the conference hall.
The display device 40 is a display that displays an image captured by the imaging device 20. The display device 40 is installed, for example, at a position close to the conference listener. The display device 40 may be installed at a remote location outside the lecture hall. In this case, the display device 40 is connected to the imaging device 20 or the information processing device 30 via a network.

次に、本実施形態に係る撮像システム100の各装置のハードウェア構成について図2を参照して説明する。
まず、撮像装置20は、撮像部201、ズーム機構202、パン機構203、チルト機構204、インターフェース205を含んで構成されている。撮像部201は、図示しないCCD等の撮像素子を含んで構成されている。ズーム機構202は、撮像部201の撮影領域(画角)を変更するために、図示しないフォーカスレンズ等を駆動する駆動部である。パン機構203は、撮影領域をパン方向に変更するために、図示しない雲台等を駆動する駆動部である。チルト機構204は、撮影領域をチルト方向に変更するために、図示しない雲台等を駆動する駆動部である。インターフェース205は、情報処理装置30及び表示装置40との間で信号の送受信を行うものである。
Next, the hardware configuration of each device of the imaging system 100 according to the present embodiment will be described with reference to FIG.
First, the imaging apparatus 20 includes an imaging unit 201, a zoom mechanism 202, a pan mechanism 203, a tilt mechanism 204, and an interface 205. The imaging unit 201 includes an imaging element such as a CCD (not shown). The zoom mechanism 202 is a drive unit that drives a focus lens or the like (not shown) in order to change the shooting region (view angle) of the imaging unit 201. The pan mechanism 203 is a drive unit that drives a pan head (not shown) or the like in order to change the shooting area in the pan direction. The tilt mechanism 204 is a drive unit that drives a head or the like (not shown) in order to change the photographing region in the tilt direction. The interface 205 transmits and receives signals between the information processing device 30 and the display device 40.

情報処理装置30は、CPU(中央演算処理装置)301、記憶部302、インターフェース303を含んで構成されている。CPU301は、情報処理装置30全体を制御する。また、CPU301は、記憶部302に格納されているプログラムを実行することにより、後述する図3に示す機能構成及び図4に示すフローチャートを実現することができる。記憶部302は、CPU301が実行するプログラムが格納されていたり、CPU301が一時的に情報を記憶したりする。インターフェース303は、撮像装置20との間で信号の送受信を行うためのものである。   The information processing apparatus 30 includes a CPU (Central Processing Unit) 301, a storage unit 302, and an interface 303. The CPU 301 controls the information processing apparatus 30 as a whole. Further, the CPU 301 can realize a functional configuration shown in FIG. 3 and a flowchart shown in FIG. 4 to be described later by executing a program stored in the storage unit 302. The storage unit 302 stores a program to be executed by the CPU 301, or the CPU 301 temporarily stores information. The interface 303 is for transmitting and receiving signals to and from the imaging device 20.

次に、本実施形態に係る情報処理装置30の機能構成について図3を参照して説明する。
図3に示す機能構成は、CPU301が記憶部302に格納されたプログラムを実行することにより実現する。
情報処理装置30は、記述検知部311、文字図形判定部312、識別可能倍率算出部313、最外縁検出部314、制御部315を含んで構成されている。また、制御部315は、ズーム倍率制御部316、パン制御部317、チルト制御部318を含んで構成されている。
Next, the functional configuration of the information processing apparatus 30 according to the present embodiment will be described with reference to FIG.
The functional configuration shown in FIG. 3 is realized by the CPU 301 executing a program stored in the storage unit 302.
The information processing apparatus 30 includes a description detection unit 311, a character / graphic determination unit 312, an identifiable magnification calculation unit 313, an outermost edge detection unit 314, and a control unit 315. The control unit 315 includes a zoom magnification control unit 316, a pan control unit 317, and a tilt control unit 318.

記述検知部311は、撮像装置20が撮像している会議画像からプレゼンテーション装置10に対する記述の有無を検知する。具体的には、記述検知部311は、会議画像中の複数フレーム間の差分から変化量を検出し、該差分が記述であるか、その他の物体(例えば、人物)の動きであるかを判定する。記述検知部311は、会議画像中に記述がなされたと判定した場合、会議画像中の記述領域アドレスを記憶する。なお、実際には、CPU301が、記述領域アドレスを記憶部302上の所定領域に書き込む。   The description detection unit 311 detects the presence / absence of a description for the presentation device 10 from the conference image captured by the imaging device 20. Specifically, the description detection unit 311 detects a change amount from a difference between a plurality of frames in the conference image, and determines whether the difference is a description or a motion of another object (for example, a person). To do. When the description detection unit 311 determines that the description is made in the conference image, the description detection unit 311 stores the description area address in the conference image. Actually, the CPU 301 writes the description area address in a predetermined area on the storage unit 302.

ここで、記述領域抽出の一例として、背景差分を用いるものについて説明する。記述検知部311は、例えば、時刻tにおいて、基準となる背景画像fを取得し、該背景画像からΔt1だけ経過した後のフレームft1と、Δt2だけ経過した後のフレームft2とを取得する。更に、記述検知部311は、背景画像fとft1及びft2の差分画像dt1、dt2とを取得する。差分の取得には微妙なカメラの輝度差を吸収すべく、輝度情報のビット深度を浅くする等の前処理を行うとよい。以上のように取得したdt1とdt2との論理積(dt2∩dt1)から得られる画像DAの画素値が一定以上であれば、その点は、tからt1までに変化がおき、且つその後t2に至るまで変化がない点である。したがって、この画素点は記述である可能性が高く、このような検出方法を用いてもよい。   Here, as an example of the description area extraction, a description will be given of using a background difference. For example, the description detection unit 311 acquires a reference background image f at time t, and acquires a frame ft1 after a lapse of Δt1 from the background image and a frame ft2 after a lapse of Δt2. Further, the description detection unit 311 acquires the background image f and the difference images dt1 and dt2 of the ft1 and ft2. In order to acquire the difference, it is preferable to perform preprocessing such as reducing the bit depth of the luminance information in order to absorb a subtle difference in luminance of the camera. If the pixel value of the image DA obtained from the logical product (dt2∩dt1) of dt1 and dt2 obtained as described above is a certain value or more, the point changes from t to t1, and then at t2. There is no change until now. Therefore, this pixel point is highly likely to be a description, and such a detection method may be used.

ここでは、記述検知部311が記述領域を抽出する一例を示したが、同様の効果が得られるものであれば、この方法に限るものではない。また、記述検出の精度を向上させるために、オプティカルフローを用いてもよいし、記述はストロークを持つことから線上の変化のみを検出するフィルタを差分画像取得の前処理として使用してもよい。また、記述検出を画像処理のみで行う場合に限られない。例えば、プレゼンテーション装置10が電子黒板であれば、出力情報を取り込み、判定に用いてもよい。   Here, an example in which the description detection unit 311 extracts a description area has been described, but the present invention is not limited to this method as long as the same effect can be obtained. Further, in order to improve the accuracy of description detection, an optical flow may be used, or the description has a stroke, so that a filter that detects only a change on the line may be used as a pre-process for acquiring a difference image. Further, the present invention is not limited to the case where description detection is performed only by image processing. For example, if the presentation device 10 is an electronic blackboard, output information may be captured and used for determination.

文字図形判定部312は、撮像装置20が撮像している会議画像中の記述が文字であるか図形であるかを判定する。文字の判定アルゴリズムとしては、例えば公知技術であるパターンマッチを用いればよい。すなわち、文字図形判定部312は、記述されている内容と記憶されている辞書データとの間の類似度を継続して判定する。例えば、類似度が高い場合、文字図形判定部312は、該記述を文字と判定する。また、類似度が低い場合、文字図形判定部312は、該記述を図形と判定する。   The character / graphic determination unit 312 determines whether the description in the conference image captured by the imaging device 20 is a character or a graphic. As a character determination algorithm, for example, pattern matching which is a known technique may be used. In other words, the character / graphic determination unit 312 continuously determines the similarity between the described contents and the stored dictionary data. For example, when the degree of similarity is high, the character / graphic determination unit 312 determines that the description is a character. When the similarity is low, the character / graphic determination unit 312 determines that the description is a graphic.

識別可能倍率算出部313は、撮像装置20が撮像している会議画像の解像度と、記述検知部311が抽出した記述領域中の空間周波数とから、後述するズーム倍率制御部316が設定し得る最低解像度を算出する。なお、識別可能倍率算出部313の識別可能倍率算出アルゴリズムについては後述する。   The identifiable magnification calculation unit 313 is a minimum that can be set by a zoom magnification control unit 316 described later from the resolution of the conference image captured by the imaging device 20 and the spatial frequency in the description area extracted by the description detection unit 311. Calculate the resolution. Note that the identifiable magnification calculation algorithm of the identifiable magnification calculator 313 will be described later.

最外縁検出部314は、記述検知部311が抽出した記述領域から、記述の最外縁を検出する。最外縁検出部314は、文字図形判定部312により記述された内容が図形であると判定された場合、その図形の最外縁を検出し、文字であると判定された場合、その文字の文字列の最外縁を検出する。最外縁検出部314は、記述検知部311によって抽出された記述領域を読み出し、記述領域情報内部に検出された記述画素をラベリングによって連結し、ひとつのオブジェクトとして認識して最外縁を検出する。ここで、図形の最外縁を検出する場合、最外縁検出部314は、撮像装置20が撮像している会議画像を複数の領域に分割する。この処理は、領域分割手段の一例に対応する。次に、最外縁検出部314は、記述検知部311により抽出された記述領域に基づいて、分割された領域から、現在、図形が記述されている領域を選択する。この処理は、領域選択手段の一例に対応する。そして、最外縁検出部314は、該選択された領域における図形の最外縁を検出する。なお、実際には、CPU301が、最外縁のアドレスを記憶部302に書き込む。   The outermost edge detection unit 314 detects the outermost edge of the description from the description area extracted by the description detection unit 311. When the content described by the character / graphic determination unit 312 is determined to be a graphic, the outermost edge detection unit 314 detects the outermost edge of the graphic, and when it is determined to be a character, the character string of the character Detect the outermost edge of. The outermost edge detection unit 314 reads the description area extracted by the description detection unit 311, connects the description pixels detected in the description area information by labeling, recognizes it as one object, and detects the outermost edge. Here, when detecting the outermost edge of a figure, the outermost edge detection part 314 divides | segments the conference image which the imaging device 20 is imaging into several area | regions. This process corresponds to an example of an area dividing unit. Next, the outermost edge detection unit 314 selects an area where a figure is currently described from the divided areas based on the description area extracted by the description detection unit 311. This process corresponds to an example of a region selection unit. Then, the outermost edge detection unit 314 detects the outermost edge of the graphic in the selected area. Actually, the CPU 301 writes the address of the outermost edge in the storage unit 302.

また、同時に、最外縁検出部314は、現在の撮影領域中に文字列又は図形の最外縁が存在しないことを制御部315に通知する。すなわち、ズーム倍率が大きく設定されすぎて、現在の撮像装置20の撮影領域に記述された文字列全体又は図形全体の全てが捕らえきれていない場合には、最外縁が存在しない。この場合、最外縁検出部314は、最外縁が存在しないことを制御部315に対して通知する。   At the same time, the outermost edge detection unit 314 notifies the control unit 315 that the outermost edge of the character string or figure does not exist in the current shooting area. That is, when the zoom magnification is set too high and the entire character string or the entire figure described in the current imaging region of the imaging device 20 is not captured, the outermost edge does not exist. In this case, the outermost edge detection unit 314 notifies the control unit 315 that there is no outermost edge.

制御部315は、撮像装置20の撮影条件(ズーム倍率、パン方向及びチルト方向の移動量)を制御する。制御部315は、識別可能倍率算出部313によって算出された最低解像度と、最外縁検出部314により算出された文字列又は図形の最外縁とに基づいてズーム倍率を決定する。ズーム倍率制御部316は、決定されたズーム倍率に基づいて、ズーム量の信号を撮像装置20のズーム機構202に送信する。
また、制御部315は、撮像部201により撮像されている画像に基づいて、又は記述検知部311による検知に基づいて、パン方向又はチルト方向の移動量や移動速度を決定する。パン制御部317は、決定したパン方向への移動量又は移動速度の信号を撮像装置20のパン機構203に送信する。また、チルト制御部318は、決定したチルト方向への移動量又は移動速度の信号を撮像装置20のチルト機構204に送信する。
The control unit 315 controls shooting conditions (zoom magnification, movement amount in the pan direction and tilt direction) of the imaging device 20. The control unit 315 determines the zoom magnification based on the lowest resolution calculated by the identifiable magnification calculation unit 313 and the outermost edge of the character string or figure calculated by the outermost edge detection unit 314. The zoom magnification control unit 316 transmits a zoom amount signal to the zoom mechanism 202 of the imaging device 20 based on the determined zoom magnification.
Further, the control unit 315 determines a movement amount and a movement speed in the pan direction or the tilt direction based on the image captured by the imaging unit 201 or based on the detection by the description detection unit 311. The pan control unit 317 transmits the determined movement amount or movement speed signal in the pan direction to the pan mechanism 203 of the imaging device 20. In addition, the tilt control unit 318 transmits a signal of the determined movement amount or movement speed in the tilt direction to the tilt mechanism 204 of the imaging device 20.

次に、識別可能倍率算出部313のアルゴリズムについて説明する。識別可能倍率算出部313は、撮像装置20が撮像している会議画像の記述領域を切り出す。そして、画像情報をYCbCrに変換し、輝度情報Yのみを抽出する。更に、輝度レベルを二値化する。以上の処理を行った画像P0について、以下の線幅抽出処理と空間周波数解析処理とを行う。   Next, the algorithm of the identifiable magnification calculation unit 313 will be described. The identifiable magnification calculator 313 cuts out a description area of the conference image captured by the imaging device 20. Then, the image information is converted into YCbCr, and only the luminance information Y is extracted. Further, the luminance level is binarized. The following line width extraction processing and spatial frequency analysis processing are performed on the image P0 subjected to the above processing.

まず、線幅抽出処理では、記述領域をハフ変換し、線要素を抽出する。抽出された線要素を元の画像P0とのマッピングをとり、線方向に直交する線幅を抽出する。この線幅抽出を複数の線要素について行い、その平均を線幅とする。この処理は、線幅取得手段の一例に対応する。
次に、空間周波数解析処理では、上述した画像P0を適度なブロックサイズ(例えば、8×8程度のブロック)に分割し、ブロックごとに離散フーリエ変換により空間周波数解析を行う。この部分については、JPEG圧縮等に用いられる離散コサイン変換を用いてもよい。上述した処理は、空間周波数取得手段の一例に対応する。
First, in the line width extraction process, the description area is Hough transformed to extract line elements. The extracted line element is mapped with the original image P0, and the line width orthogonal to the line direction is extracted. This line width extraction is performed on a plurality of line elements, and the average is defined as the line width. This process corresponds to an example of a line width acquisition unit.
Next, in the spatial frequency analysis process, the above-described image P0 is divided into appropriate block sizes (for example, blocks of about 8 × 8), and spatial frequency analysis is performed by discrete Fourier transform for each block. For this portion, discrete cosine transform used for JPEG compression or the like may be used. The above-described processing corresponds to an example of a spatial frequency acquisition unit.

次に、識別可能倍率算出部313は、識別可能倍率を推定する。上述した線幅抽出処理と空間周波数解析処理とによって、画像P0の平均的な線幅と該線幅で表現された記述領域の空間周波数とを取得することができる。識別可能倍率算出部313は、平均的な線幅が予め定められている閾値Wth以上であるか、又は空間周波数が閾値fth以下であるための識別可能倍率Xを算出する。上述した線幅抽出処理によって得られた線幅をW、上述した空間周波数解析処理によって得られた周波数をfとすると、識別可能倍率Xは以下のように算出することができる。   Next, the identifiable magnification calculator 313 estimates the identifiable magnification. By the above-described line width extraction processing and spatial frequency analysis processing, the average line width of the image P0 and the spatial frequency of the description area expressed by the line width can be acquired. The identifiable magnification calculation unit 313 calculates the identifiable magnification X for the average line width being equal to or greater than a predetermined threshold Wth or the spatial frequency being equal to or less than the threshold fth. When the line width obtained by the above-described line width extraction process is W and the frequency obtained by the above-described spatial frequency analysis process is f, the discriminable magnification X can be calculated as follows.

Xw=Wth/W
Xf=f/fth
Xw>Xfのとき X=Xw
上記以外のとき X=Xf
なお、識別可能倍率の算出の方法は、上述する同様の効果が得られるものであれば、この場合に限られない。
Xw = Wth / W
Xf = f / fth
When Xw> Xf, X = Xw
Other than the above X = Xf
Note that the method of calculating the identifiable magnification is not limited to this case as long as the same effect as described above can be obtained.

次に、撮像システムにおける動作処理について図4及び図5を参照して説明する。図4は、撮像システムの動作処理を示すフローチャートである。図4に示すフローチャートは、情報処理装置30のCPU301が記憶部302に格納されているプログラムを実行することにより実現される。図4に示すフローチャートは、会議の開始のタイミングで実行される。また、図5は、撮影領域の遷移の一例を示す図である。以下では、適宜、図5を参照して説明する。   Next, operation processing in the imaging system will be described with reference to FIGS. FIG. 4 is a flowchart showing an operation process of the imaging system. The flowchart illustrated in FIG. 4 is realized by the CPU 301 of the information processing device 30 executing a program stored in the storage unit 302. The flowchart shown in FIG. 4 is executed at the start timing of the conference. FIG. 5 is a diagram illustrating an example of transition of the imaging region. Hereinafter, description will be given with reference to FIG. 5 as appropriate.

まず、ステップS101において、記述検知部311は、初期化処理を行った後に、撮像装置20の撮像部201から会議画像を連続的に取得する。ここでは、例えば、図5(a)に示すように、プレゼンテーション装置10の全体を含む撮影領域401の会議画像が取得される。ここで、記述検知部311は、連続的に該会議画像を取得して、会議画像内に記述があるか否かを判定する。
記述検知部311は、会議画像の一部に記述領域と思われる領域を検知した場合、該記述領域の会議画像内における記述領域アドレスを記憶する。ここで、記述領域アドレスは典型的には、画像中におけるX,Y座標値でよい。次に、ステップS102に処理を進める。
First, in step S <b> 101, the description detection unit 311 continuously acquires conference images from the imaging unit 201 of the imaging device 20 after performing initialization processing. Here, for example, as shown in FIG. 5A, the conference image of the shooting area 401 including the entire presentation device 10 is acquired. Here, the description detection unit 311 continuously acquires the conference image and determines whether or not there is a description in the conference image.
When the description detection unit 311 detects a region that seems to be a description region in a part of the conference image, the description detection unit 311 stores the description region address in the conference image of the description region. Here, the description area address may typically be the X and Y coordinate values in the image. Next, the process proceeds to step S102.

ステップS102は、ステップS101において、記述検知部311が記憶した記述領域アドレスに基づいて、撮像装置20のズーム量、パン方向の移動量及びチルト方向の移動量を制御するステップであり、記述検知後に行われる。なお、過剰な撮影領域の変化を抑止するために該ステップS102を省略し、次のステップS103に処理を進めてもよい。   Step S102 is a step of controlling the zoom amount, pan direction movement amount, and tilt direction movement amount of the imaging device 20 based on the description area address stored in the description detection unit 311 in step S101. Done. Note that step S102 may be omitted and the process may proceed to the next step S103 in order to suppress an excessive change in the imaging region.

ステップS102は、記述検知部311と、識別可能倍率算出部313と、制御部315と、ズーム倍率制御部316と、パン制御部317と、チルト制御部318とによって実行される。識別可能倍率算出部313は、現在の会議画像の解像度と、表示装置40の解像度と、会議画像に占める記述領域の比率又は解像度とに基づき、また、該記述領域の空間周波数に基づいて、表示装置40において、記述領域が最低限識別可能な解像度を算出する。同時に、制御部315は、記述領域が撮影領域の中央になるように、撮像装置20のパン機構203又はチルト機構204を制御するためのパン方向又はチルト方向の移動量を算出する。そして、ズーム倍率制御部316、パン制御部317及びチルト制御部318は、算出された解像度、パン方向又はチルト方向の移動量に基づいて、撮像装置20に信号を送信する。その結果、撮像装置20は撮影領域を、図5(b)に示す撮影領域402に移動する。   Step S <b> 102 is executed by the description detection unit 311, the identifiable magnification calculation unit 313, the control unit 315, the zoom magnification control unit 316, the pan control unit 317, and the tilt control unit 318. The identifiable magnification calculation unit 313 displays the resolution based on the resolution of the current conference image, the resolution of the display device 40, the ratio or resolution of the description area in the conference image, and based on the spatial frequency of the description area. In the device 40, a resolution that can at least identify the description area is calculated. At the same time, the control unit 315 calculates the amount of movement in the panning or tilting direction for controlling the panning mechanism 203 or the tilting mechanism 204 of the imaging device 20 so that the description area is in the center of the shooting area. Then, the zoom magnification control unit 316, the pan control unit 317, and the tilt control unit 318 transmit signals to the imaging device 20 based on the calculated resolution and the movement amount in the pan direction or the tilt direction. As a result, the imaging apparatus 20 moves the shooting area to the shooting area 402 shown in FIG.

ステップS103は、記述されている内容が文字であるか図形であるかを判定するステップである。ステップS103は、文字図形判定部312によって実行される。文字図形判定部312は、記述検知部311が会議画像中に記述を検知した場合に、記述検知部311により該記述領域アドレスを受け取る。そして、文字図形判定部312は、取得した記述領域アドレスと、撮像装置20が撮像している会議画像とに基づいて、会議画像中における記述個所を特定し、該記述個所が文字であるか図形であるかを判定する。この処理は、文字図形判定手段の一例に対応する。文字図形判定部312は、判定結果を記憶する。なお、実際には、CPU301が判定結果の情報を記憶部302に記憶する。
ここで、文字図形判定部312により、記述されている内容が文字であると判定された場合、ステップS104に処理を進める。一方、記述されている内容が図形であると判定された場合、ステップS108に処理を進める。
Step S103 is a step of determining whether the described content is a character or a graphic. Step S <b> 103 is executed by the character / graphic determination unit 312. When the description detection unit 311 detects a description in the conference image, the character / graphic determination unit 312 receives the description area address from the description detection unit 311. Then, the character / graphic determination unit 312 identifies a description location in the conference image based on the acquired description area address and the conference image captured by the imaging device 20, and determines whether the description location is a character or not. It is determined whether it is. This process corresponds to an example of a character / graphic determination unit. The character / graphic determination unit 312 stores the determination result. In practice, the CPU 301 stores information on the determination result in the storage unit 302.
If the character / graphic determination unit 312 determines that the described content is a character, the process proceeds to step S104. On the other hand, if it is determined that the described content is a graphic, the process proceeds to step S108.

ステップS104は、識別可能倍率を算出するステップである。ステップS104は、識別可能倍率算出部313によって実行される。識別可能倍率算出部313は、記述領域アドレスから現在、記述されている文字が表示装置40で識別可能な最低限のズーム倍率(識別可能倍率)を算出する。識別可能倍率算出部313は、算出した識別可能倍率を記憶する。なお、実際には、CPU301が記憶部302に識別可能倍率を記憶する。   Step S104 is a step of calculating an identifiable magnification. Step S <b> 104 is executed by the identifiable magnification calculation unit 313. The identifiable magnification calculation unit 313 calculates the minimum zoom magnification (identifiable magnification) at which the currently described character can be identified by the display device 40 from the description area address. The identifiable magnification calculation unit 313 stores the calculated identifiable magnification. Actually, the CPU 301 stores the identifiable magnification in the storage unit 302.

ステップS105は、現在のズーム倍率とステップS104において算出した識別可能倍率とを比較するステップである。ステップS105は、制御部315により実行される。制御部315は、ズーム倍率制御部316で設定されている現在のズーム倍率Xと、ステップS104で算出した識別可能倍率XNとを比較する。ここで、制御部315により、X>XNの比較結果がTRUEと判定された場合、すなわち識別可能倍率XNが、現在のズーム倍率Xより下回っている場合、ステップS106に処理を進める。一方、X>XNの比較結果がFALSEと判定された場合、すなわち識別可能倍率XNが、現在のズーム倍率Xより上回っている場合、正確には、識別可能倍率XNが、現在のズーム倍率X以上の場合、ステップS107に処理を進める。   Step S105 is a step of comparing the current zoom magnification with the identifiable magnification calculated in step S104. Step S105 is executed by the control unit 315. The control unit 315 compares the current zoom magnification X set by the zoom magnification control unit 316 with the identifiable magnification XN calculated in step S104. If the control unit 315 determines that the comparison result of X> XN is TRUE, that is, if the identifiable magnification XN is lower than the current zoom magnification X, the process proceeds to step S106. On the other hand, when the comparison result of X> XN is determined to be FALSE, that is, when the identifiable magnification XN is higher than the current zoom magnification X, the identifiable magnification XN is more than the current zoom magnification X. In this case, the process proceeds to step S107.

ステップS106は、文字列全体を表示するために撮像装置20のズーム機構202によりズームアウトを行うステップである。ステップS106は、制御部315と、最外縁検出部314と、ズーム倍率制御部316とにより実行される。ステップS106は、X>XN、すなわち表示装置40において現在、記述している文字列が十分識別可能な状態であり且つ文字列全体が撮影領域内に収まっていない場合に、文字列全体を表示するために実行される。
ここで、最外縁検出部314が、撮影領域中に文字列の最外縁がないと判定した場合、制御部315は、ズーム倍率制御部316に対して、ズーム倍率を所定の量だけ連続して減少させるように指示する。ズーム倍率制御部316は、指示に基づいて、撮像装置20のズーム機構202にズーム量の信号を送信する。撮像装置20のズーム機構202では、ズーム倍率制御部316から送信されたズーム量に基づいて、ズームアウトを行う。また、ズーム機構202によるズームアウトにより、最外縁検出部314が、撮像した会議画像内に文字列の最外縁を検出した場合、制御部315に文字列の最外縁を検出したことを通知する。制御部315は、この通知に基づいて、ズーム倍率制御部316に対して、ズーム倍率を減少させる指示を停止する。すなわち、図5(c)に示すように、文字列「ABC」を含むような撮影領域403aから、文字列「ABCDEF」全体を含むような撮影領域403bにズームアウトが行われる。ここで、制御部315は、算出された識別可能倍率内でズーム倍率を減少させる。なお、ズーム倍率が識別可能倍率以下になる場合、次のステップS107に処理を進める。
Step S106 is a step of performing zoom-out by the zoom mechanism 202 of the imaging device 20 in order to display the entire character string. Step S <b> 106 is executed by the control unit 315, the outermost edge detection unit 314, and the zoom magnification control unit 316. Step S106 displays the entire character string when X> XN, that is, when the character string currently being described is sufficiently identifiable on the display device 40 and the entire character string does not fit within the imaging region. To be executed.
Here, when the outermost edge detection unit 314 determines that there is no outermost edge of the character string in the shooting region, the control unit 315 continuously sets the zoom magnification to the zoom magnification control unit 316 by a predetermined amount. Instruct to decrease. The zoom magnification control unit 316 transmits a zoom amount signal to the zoom mechanism 202 of the imaging device 20 based on the instruction. The zoom mechanism 202 of the imaging device 20 performs zoom-out based on the zoom amount transmitted from the zoom magnification control unit 316. Further, when the outermost edge detection unit 314 detects the outermost edge of the character string in the captured conference image by zooming out by the zoom mechanism 202, the control unit 315 is notified that the outermost edge of the character string has been detected. Based on this notification, the control unit 315 stops the instruction to decrease the zoom magnification to the zoom magnification control unit 316. That is, as shown in FIG. 5C, zoom-out is performed from the shooting area 403a including the character string “ABC” to the shooting area 403b including the entire character string “ABCDEF”. Here, the control unit 315 decreases the zoom magnification within the calculated identifiable magnification. If the zoom magnification is equal to or less than the identifiable magnification, the process proceeds to the next step S107.

一方、ステップS107は、文字を表示するために撮像装置20のパン機構203又はチルト機構204によりパン方向又はチルト方向に移動を行うステップである。ステップS107は、制御部315と、ズーム倍率制御部316と、パン制御部317と、チルト制御部318とにより実行される。以下では、パン方向に移動する場合について説明する。ステップS107は、X<=XN、すなわち現在、記述している文字が表示装置40において十分な解像度を得られない場合に実行される。具体的には、制御部315は、ズーム倍率制御部316に対して、ズーム倍率XNに設定するように指示する。また、制御部315は、現在、記述している文字が例えば撮影領域の中央になるようにパン方向の移動量を算出する。   On the other hand, step S107 is a step of moving in the pan direction or the tilt direction by the pan mechanism 203 or the tilt mechanism 204 of the imaging apparatus 20 in order to display characters. Step S <b> 107 is executed by the control unit 315, the zoom magnification control unit 316, the pan control unit 317, and the tilt control unit 318. Hereinafter, a case of moving in the pan direction will be described. Step S107 is executed when X <= XN, that is, when the currently described character cannot obtain a sufficient resolution in the display device 40. Specifically, the control unit 315 instructs the zoom magnification control unit 316 to set the zoom magnification XN. Further, the control unit 315 calculates the amount of movement in the pan direction so that the currently described character is, for example, the center of the shooting region.

また、記述が連続的に移動している場合は、制御部315は、撮像装置20が撮像している会議画像に基づいて、時系列的に記述が増加する方向を判定し、記述している文字を追従するようにパン方向の移動量又は移動速度を算出する。なお、制御部315は、記述検知部311による検知の情報に基づいて、記述が移動する方向を判定して、パン方向の移動量又は移動速度を算出してもよい。
ズーム倍率制御部316は、指示されたズーム倍率に基づいて、撮像装置20のズーム機構202にズーム量の信号を送信する。撮像装置20のズーム機構202では、ズーム倍率制御部316から送信されたズーム量に基づいて、ズームを行う。また、パン制御部317は、指示されたパン方向の移動量又は移動速度に基づいて、撮像装置20のパン機構203にパン方向の移動量又は移動速度の信号を送信する。撮像装置20のパン機構203では、パン制御部317から送信されたパン方向の移動量又は移動速度に基づいて、パン方向に撮影領域を移動する。すなわち、図5(d)に示すように、文字列「ABCDEF」等を含むような撮影領域404aから、現在、記述している文字「HI」等を含むようなパン方向に撮影領域404bを移動する。なお、チルト方向についても同様な処理により撮影領域が移動される。
In addition, when the description is continuously moving, the control unit 315 determines and describes the direction in which the description increases in time series based on the conference image captured by the imaging device 20. The movement amount or movement speed in the pan direction is calculated so as to follow the character. Note that the control unit 315 may determine the direction in which the description moves based on the information detected by the description detection unit 311 and calculate the movement amount or movement speed in the pan direction.
The zoom magnification control unit 316 transmits a zoom amount signal to the zoom mechanism 202 of the imaging device 20 based on the instructed zoom magnification. The zoom mechanism 202 of the imaging device 20 performs zooming based on the zoom amount transmitted from the zoom magnification control unit 316. In addition, the pan control unit 317 transmits a signal indicating the movement amount or movement speed in the pan direction to the pan mechanism 203 of the imaging device 20 based on the instructed movement amount or movement speed in the pan direction. The panning mechanism 203 of the imaging device 20 moves the imaging region in the panning direction based on the panning movement amount or moving speed transmitted from the pan control unit 317. That is, as shown in FIG. 5D, the shooting area 404b is moved from the shooting area 404a including the character string “ABCDEF” or the like in the pan direction including the currently described character “HI” or the like. To do. Note that the shooting area is also moved in the tilt direction by similar processing.

一方、ステップS108は、図形の最外縁を検出するステップである。ステップS108は、最外縁検出部314によって実行される。ステップS108は、ステップS103において、現在の記述内容が図形であると判定された場合に実行される。最外縁検出部314は、現在の記述領域を中心とした図形の最外縁を検出する。ここで、最外縁検出部314が、図形の最外縁がないと判定した場合は、次のステップS109のような処理を行う。   On the other hand, step S108 is a step of detecting the outermost edge of the figure. Step S <b> 108 is executed by the outermost edge detection unit 314. Step S108 is executed when it is determined in step S103 that the current description content is a figure. The outermost edge detection unit 314 detects the outermost edge of the graphic centered on the current description area. Here, when the outermost edge detection unit 314 determines that there is no outermost edge of the figure, processing such as the next step S109 is performed.

ステップS109は、図形の最外縁を包含する撮影領域にズーム量を設定するステップである。ステップS109は、制御部315と、最外縁検出部314と、ズーム倍率制御部316と、パン制御部317と、チルト制御部318とによって実行される。以下では、パン方向に移動する場合について説明する。ステップS108において、最外縁検出部314が、撮影領域中に図形の最外縁がないと判定した場合、制御部315は、ズーム倍率制御部316に対して、ズーム倍率を所定の量だけ連続して減少させるように指示する。ズーム倍率制御部316は、指示に基づいて、撮像装置20のズーム機構202にズーム量の信号を送信する。撮像装置20のズーム機構202では、ズーム倍率制御部316から送信されたズーム量に基づいて、ズームアウトを行う。すなわち、図5(e)に示すように、撮影領域405aから、現在、記述している図形の最外縁を含むような撮影領域405bに移動する。   Step S109 is a step of setting the zoom amount in the imaging region including the outermost edge of the figure. Step S <b> 109 is executed by the control unit 315, the outermost edge detection unit 314, the zoom magnification control unit 316, the pan control unit 317, and the tilt control unit 318. Hereinafter, a case of moving in the pan direction will be described. In step S108, when the outermost edge detection unit 314 determines that there is no outermost edge of the figure in the shooting area, the control unit 315 continuously sets the zoom magnification to the zoom magnification control unit 316 by a predetermined amount. Instruct to decrease. The zoom magnification control unit 316 transmits a zoom amount signal to the zoom mechanism 202 of the imaging device 20 based on the instruction. The zoom mechanism 202 of the imaging device 20 performs zoom-out based on the zoom amount transmitted from the zoom magnification control unit 316. That is, as shown in FIG. 5E, the shooting area 405a moves from the shooting area 405a to the shooting area 405b including the outermost edge of the currently described figure.

また、ズーム機構202によるズームアウトにより、最外縁検出部314が、撮像した会議画像内に図形の最外縁を検出した場合、制御部315に図形の最外縁を検出したことを通知する。制御部315は、この通知に基づいて、ズーム倍率制御部316に対して、ズーム倍率を減少させる指示を停止する。なお、制御部315は、撮影領域に図形の最外縁が入るように、パン制御部317に対して、パン機構203を駆動するように指示する。なお、このとき、チルト方向についても同様な処理により撮影領域が移動される。   Further, when the outermost edge detection unit 314 detects the outermost edge of the figure in the captured conference image by zooming out by the zoom mechanism 202, the control unit 315 is notified that the outermost edge of the figure has been detected. Based on this notification, the control unit 315 stops the instruction to decrease the zoom magnification to the zoom magnification control unit 316. Note that the control unit 315 instructs the pan control unit 317 to drive the pan mechanism 203 so that the outermost edge of the figure enters the imaging region. At this time, the imaging region is also moved by the same process in the tilt direction.

ステップS110は、上述したステップS103からステップS109までの処理を繰り返すステップである。ステップS110は、記述検知部311により実行される。ステップS110では、記述検知部311は、一定時間に記述の更新を検知したか否かを判定する。ここで、記述検知部311が、一定時間に記述の更新を検知しない場合、図4に示すフローチャートの処理を終了する。一方、一定時間に記述の更新を検知した場合、ステップS103に処理を戻す。したがって、例えば、発表者がプレゼンテーション装置10に記述が続ける限り、連続的に文字であるか図形であるかの判定が行われ、撮像装置20では、適切なズーム量に設定される。なお、ステップS109の判定には、撮像装置20の設定変更によるズーム量等の変化も、更新に含まれる。   Step S110 is a step in which the processing from step S103 to step S109 described above is repeated. Step S <b> 110 is executed by the description detection unit 311. In step S110, the description detection unit 311 determines whether or not a description update is detected in a certain time. Here, when the description detection unit 311 does not detect the update of the description within a certain time, the process of the flowchart shown in FIG. 4 is ended. On the other hand, if a description update is detected at a certain time, the process returns to step S103. Therefore, for example, as long as the presenter continues to describe in the presentation apparatus 10, it is determined whether the presenter is a character or a figure continuously, and the imaging apparatus 20 sets an appropriate zoom amount. Note that the determination in step S109 includes a change in the zoom amount or the like due to the setting change of the imaging device 20 in the update.

このように本実施形態によれば、プレゼンテーション装置10に記述された内容に応じて情報処理装置30の処理が異なる。すなわち、情報処理装置30は、文字が記述された場合、文字を識別できるズーム量で撮影を行い、更に、連続的に文字が記述された場合、文字列を追従して常に必要な解像度を維持しつつ撮影領域を調整する。一方で、図形が記述された場合、図形全体が見えるような撮影領域で撮影することが可能となる。このように本実施形態によれば、プレゼンテーション装置10に記述された内容に応じて、より鮮明且つ違和感なく撮影することができる。また、文字、図形に応じて撮影条件(ズーム倍率、パン方向及びチルト方向の移動量)を自動的に変更するので、会議等の進行をスムーズにすることができる。
したがって、例えば、発表者や聴講者等により、撮像装置20の操作を行う必要がなく、且つ特にプレゼンテーション装置10への記述等の進行に応じた撮影画像を提供することができる。
As described above, according to the present embodiment, the processing of the information processing apparatus 30 differs depending on the contents described in the presentation apparatus 10. That is, the information processing apparatus 30 performs shooting with a zoom amount that can identify the character when the character is described, and further maintains the necessary resolution by following the character string when the character is continuously described. While adjusting the shooting area. On the other hand, when a figure is described, it is possible to shoot in a shooting area where the entire figure can be seen. As described above, according to the present embodiment, it is possible to shoot more clearly and without a sense of discomfort according to the contents described in the presentation device 10. In addition, since shooting conditions (zoom magnification, movement amount in the pan direction and tilt direction) are automatically changed according to characters and figures, the progress of a meeting or the like can be made smooth.
Therefore, for example, it is not necessary to operate the imaging device 20 by a presenter, a listener, or the like, and it is possible to provide a photographed image according to the progress of the description to the presentation device 10 in particular.

なお、本実施形態では、撮像システム100として、撮像装置20と情報処理装置30とがそれぞれが通信可能に別体で構成される場合についてのみ説明したが、この場合に限られない。すなわち、撮像装置20と情報処理装置30とを一体にして、撮像装置として構成してもよい。   In the present embodiment, as the imaging system 100, only the case where the imaging device 20 and the information processing device 30 are configured separately so as to communicate with each other has been described. However, the present invention is not limited to this case. That is, the imaging device 20 and the information processing device 30 may be integrated to form an imaging device.

上述した実施形態における撮像システム100、情報処理装置30及び撮像装置20と情報処理装置30とを一体にした撮像装置を構成する各手段、並びに撮像方法の各ステップは、記憶部に記憶されたプログラムが動作することによって実現できる。このプログラム及びこのプログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。   The steps of the imaging system 100, the information processing apparatus 30, the imaging apparatus 20 that integrates the imaging apparatus 20 and the information processing apparatus 30, and the steps of the imaging method in the above-described embodiment are stored in the storage unit. Can be realized by operating. This program and a computer-readable recording medium on which this program is recorded are included in the present invention.

なお、本実施形態では、上述した実施形態の機能を実現するソフトウェアのプログラムを、システム又は装置に直接又は遠隔から供給してもよい。そして、そのシステム又は装置のコンピュータが上述のように供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。   In the present embodiment, a software program that implements the functions of the above-described embodiments may be directly or remotely supplied to the system or apparatus. And the case where it is achieved also by reading and executing the program code supplied as mentioned above by the computer of the system or apparatus is included.

100 撮像システム
10 プレゼンテーション装置
20 撮像装置
30 情報処理装置
40 表示装置
201 撮像部
202 ズーム機構
203 パン機構
204 チルト機構
205 インターフェース
301 CPU
302 記憶部
303 インターフェース
311 記述検知部
312 文字図形判定部
313 識別可能倍率算出部
314 最外縁検出部
315 制御部
316 ズーム倍率制御部
317 パン制御部
318 チルト制御部
DESCRIPTION OF SYMBOLS 100 Imaging system 10 Presentation apparatus 20 Imaging apparatus 30 Information processing apparatus 40 Display apparatus 201 Imaging part 202 Zoom mechanism 203 Pan mechanism 204 Tilt mechanism 205 Interface 301 CPU
302 Storage Unit 303 Interface 311 Description Detection Unit 312 Character / Graphic Determination Unit 313 Recognizable Magnification Calculation Unit 314 Outermost Edge Detection Unit 315 Control Unit 316 Zoom Magnification Control Unit 317 Pan Control Unit 318 Tilt Control Unit

Claims (15)

被記述物に対して記述している内容を撮像する撮像部と、ズーム機構と、パン機構とを具備する撮像装置を制御する情報処理装置であって、
前記被記述物に連続的に文字が記述された場合に前記連続的に記述された文字の文字列に追従して撮影領域が調整されるように、前記パン機構の駆動を制御する第1の制御手段と
前記被記述物に連続的に文字が記述された場合、前記撮像部が撮像した画像を表示する表示装置に表示された前記文字が識別可能となるように前記ズーム機構のズーム倍率を前記パン機構の駆動が制御されている間維持する制御を行う第2の制御手段とを有することを特徴とする情報処理装置。
An information processing apparatus that controls an imaging apparatus that includes an imaging unit that captures content described in a description object, a zoom mechanism, and a pan mechanism,
A first mechanism for controlling the driving of the pan mechanism so that when a character is continuously described in the object to be described, an imaging region is adjusted following the character string of the continuously described character ; Control means ;
When the character is continuously described in the object to be described, the zoom magnification of the zoom mechanism is set to the pan mechanism so that the character displayed on the display device that displays the image captured by the imaging unit can be identified. And second control means for performing control to be maintained while the driving of the apparatus is controlled .
前記撮像部により撮像されている画像から前記記述物に対して記述されている文字の線幅を取得する線幅取得手段と、
前記撮像部により撮像されている画像から空間周波数を取得する空間周波数取得手段とを更に有し、
前記第2の制御手段は、前記線幅取得手段により取得された線幅及び前記空間周波数取得手段により取得された空間周波数に基づいて、前記文字が識別可能となるように前記ズーム機構のズーム倍率を制御することを特徴とする請求項に記載の情報処理装置。
A line width acquisition means for acquiring a line width of a character described for the object to be described from an image captured by the imaging unit;
Spatial frequency acquisition means for acquiring a spatial frequency from the image captured by the imaging unit;
The second control means is configured such that a zoom magnification of the zoom mechanism is such that the characters can be identified based on the line width acquired by the line width acquisition means and the spatial frequency acquired by the spatial frequency acquisition means. the information processing apparatus according to claim 1, characterized that you control.
前記表示装置に表示された前記文字が識別可能となる前記ズーム機構の第1の倍率と前記ズーム機構の現在のズーム倍率である第2の倍率とを比較する比較手段を更に有し、
前記第2の制御手段は、前記比較手段による比較結果に応じて、前記ズーム機構のズーム倍率を制御することを特徴とする請求項又はに記載の情報処理装置。
A comparison means for comparing a first magnification of the zoom mechanism that enables the characters displayed on the display device to be identified and a second magnification that is a current zoom magnification of the zoom mechanism ;
It said second control means, in accordance with the comparison result by the comparing means, the information processing apparatus according to claim 1 or 2, characterized in that controlling the zoom magnification of the zoom mechanism.
前記記述物に対して記述されている文字の文字列の最外縁を検出する第1の検出手段を更に有し、
前記第2の制御手段は、前記比較手段により前記第1の倍率が前記第2の倍率より下回っていると判定されると共に、前記第1の検出手段により前記文字列の最外縁を検出できない場合は、前記記述物に対して記述されている文字の文字列全体を含むように前記ズーム機構のズーム倍率を制御することを特徴とする請求項に記載の情報処理装置。
Further comprising a first detecting means for detecting the outermost edge of the string of characters that are written to the object description thereof,
The second control means determines that the first magnification is lower than the second magnification by the comparison means and the first detection means cannot detect the outermost edge of the character string. the information processing apparatus according to claim 3, characterized in that controlling the zoom magnification of the zoom mechanism to include the entire string of characters that are written to the object description thereof.
前記記述物に対して記述されている図形の最外縁を検出する第2の検出手段を更に有し、
記被記述物に対して記述されている内容が図形である場合、前記第2の制御手段は、前記第2の検出手段により検出された図形の最外縁に基づいて、前記記述物に対して記述されている図形全体を含むように前記ズーム機構のズーム倍率を制御することを特徴とする請求項1に記載の情報処理装置。
A second detecting means for detecting an outermost edge of a figure described for the object to be described;
Before Stories written by which content is graphic der Ru if respect the description thereof, the second control means, based on the outermost edge of the detected figure by the second detecting means, the object description The information processing apparatus according to claim 1, wherein a zoom magnification of the zoom mechanism is controlled so as to include an entire figure described for an object.
前記撮像部により撮像されている画像を複数の領域に分割する分割手段と、
記分割手段により分割された複数の領域から現在、図形が記述されている領域を選択する選択手段とを更に有し、
前記第2の検出手段は、前記選択手段により選択された領域における図形の最外縁を検出することを特徴とする請求項に記載の情報処理装置。
A split means that to divide the image being captured in a plurality of regions by the imaging unit,
Before SL minute current from a plurality of areas divided by the split means further includes a to that selection means selecting an area shape is described,
The second detection means, before the information processing apparatus according to claim 5, characterized in that to detect the outermost edge of the graphic in the selected region by hexene-option means.
被記述物に対して記述している内容を撮像する撮像部と、ズーム機構と、パン機構とを具備する撮像装置であって、
前記被記述物に連続的に文字が記述された場合に前記連続的に記述された文字の文字列に追従して撮影領域が調整されるように、前記パン機構の駆動を制御する第1の制御手段と
前記被記述物に連続的に文字が記述された場合、前記撮像部が撮像した画像を表示する表示装置に表示された前記文字が識別可能となるように前記ズーム機構のズーム倍率を前記パン機構の駆動が制御されている間維持する制御を行う第2の制御手段とを有することを特徴とする撮像装置。
An imaging apparatus comprising an imaging unit that captures the content described for an object to be described, a zoom mechanism, and a pan mechanism,
A first mechanism for controlling the driving of the pan mechanism so that when a character is continuously described in the object to be described, an imaging region is adjusted following the character string of the continuously described character ; Control means ;
When the character is continuously described in the object to be described, the zoom magnification of the zoom mechanism is set to the pan mechanism so that the character displayed on the display device that displays the image captured by the imaging unit can be identified. An image pickup apparatus comprising: a second control unit configured to perform control that is maintained while the driving of the motor is controlled .
被記述物に対して記述している内容を撮像する撮像部と、ズーム機構と、パン機構とを具備する撮像装置を制御する制御方法であって、
前記被記述物に連続的に文字が記述された場合に前記連続的に記述された文字の文字列に追従して撮影領域が調整されるように、前記パン機構の駆動を制御する第1の制御ステップと
前記被記述物に連続的に文字が記述された場合、前記撮像部が撮像した画像を表示する表示装置に表示された前記文字が識別可能となるように前記ズーム機構のズーム倍率を前記パン機構の駆動が制御されている間維持する制御を行う第2の制御ステップとを有することを特徴とする制御方法。
A control method for controlling an image pickup apparatus including an image pickup unit for picking up the contents described for a description object, a zoom mechanism, and a pan mechanism,
A first mechanism for controlling the driving of the pan mechanism so that when a character is continuously described in the object to be described, an imaging region is adjusted following the character string of the continuously described character ; Control steps ;
When the character is continuously described in the object to be described, the zoom magnification of the zoom mechanism is set to the pan mechanism so that the character displayed on the display device that displays the image captured by the imaging unit can be identified. And a second control step for performing control to be maintained while the driving of the motor is controlled .
前記撮像部により撮像されている画像から前記被記述物に対して記述されている文字の線幅を取得する第1の取得ステップと、A first acquisition step of acquiring a line width of a character described for the object to be described from an image captured by the imaging unit;
前記撮像部により撮像されている画像から空間周波数を取得する第2の取得ステップとを更に有し、A second acquisition step of acquiring a spatial frequency from the image captured by the imaging unit;
前記第1の取得ステップにおいて取得された線幅及び前記第2の取得ステップにより取得された空間周波数に基づいて、前記文字が識別可能となるように、前記第2の制御ステップにおいて、前記ズーム機構のズーム倍率を制御することを特徴とする請求項8に記載の制御方法。In the second control step, the zoom mechanism is configured so that the character can be identified based on the line width acquired in the first acquisition step and the spatial frequency acquired in the second acquisition step. 9. The control method according to claim 8, wherein the zoom magnification is controlled.
前記表示装置に表示された前記文字が識別可能となる前記ズーム機構の第1の倍率と前記ズーム機構の現在のズーム倍率である第2の倍率とを比較する比較ステップを更に有し、A comparison step of comparing a first magnification of the zoom mechanism at which the character displayed on the display device is identifiable with a second magnification that is a current zoom magnification of the zoom mechanism;
前記比較ステップにおける比較結果に応じて、前記第2の制御ステップにおいて前記ズーム機構のズーム倍率を制御することを特徴とする請求項8又は9に記載の制御方法。The control method according to claim 8 or 9, wherein a zoom magnification of the zoom mechanism is controlled in the second control step according to a comparison result in the comparison step.
前記被記述物に対して記述されている文字の文字列の最外縁を検出する第1の検出ステップを更に有し、A first detection step of detecting an outermost edge of a character string of characters described with respect to the description object;
前記比較ステップにおいて前記第1の倍率が前記第2の倍率より下回っていると判定されると共に、前記第1の検出ステップにおいて前記文字列の最外縁を検出できない場合は、前記第2の制御ステップにおいて、前記被記述物に対して記述されている文字の文字列全体を含むように前記ズーム機構のズーム倍率を制御することを特徴とする請求項10に記載の制御方法。If it is determined in the comparison step that the first magnification is lower than the second magnification, and the outermost edge of the character string cannot be detected in the first detection step, the second control step The control method according to claim 10, further comprising: controlling a zoom magnification of the zoom mechanism so as to include an entire character string of characters described for the object to be described.
被記述物に対して記述している内容を撮像する撮像部と、ズーム機構と、パン機構とを具備する撮像装置を制御するためのプログラムであって、
前記被記述物に連続的に文字が記述された場合に前記連続的に記述された文字の文字列に追従して撮影領域が調整されるように、前記パン機構の駆動を制御する第1の制御手順と、
前記被記述物に連続的に文字が記述された場合、前記撮像部が撮像した画像を表示する表示装置に表示された前記文字が識別可能となるように前記ズーム機構のズーム倍率を前記パン機構の駆動が制御されている間維持する制御を行う第2の制御手順とをコンピュータに実行させるためのプログラム。
A program for controlling an imaging device including an imaging unit that captures the content described for a description object, a zoom mechanism, and a pan mechanism,
A first mechanism for controlling the driving of the pan mechanism so that when a character is continuously described in the object to be described, an imaging region is adjusted following the character string of the continuously described character ; Control procedures;
When the character is continuously described in the object to be described, the zoom magnification of the zoom mechanism is set to the pan mechanism so that the character displayed on the display device that displays the image captured by the imaging unit can be identified. A program for causing a computer to execute a second control procedure for performing control to be maintained while the driving of the motor is controlled .
前記コンピュータに、In the computer,
前記撮像部により撮像されている画像から前記被記述物に対して記述されている文字の線幅を取得する第1の取得手順と、A first acquisition procedure for acquiring a line width of a character described for the object to be described from an image captured by the imaging unit;
前記撮像部により撮像されている画像から空間周波数を取得する第2の取得手順とを実行させ、Executing a second acquisition procedure for acquiring a spatial frequency from an image captured by the imaging unit;
前記第1の取得手順において取得された線幅及び前記第2の取得手順により取得された空間周波数に基づいて、前記文字が識別可能となるように、前記第2の制御手順において、前記ズーム機構のズーム倍率を制御する処理を前記コンピュータに実行させるための請求項12に記載のプログラム。In the second control procedure, the zoom mechanism is configured so that the character can be identified based on the line width acquired in the first acquisition procedure and the spatial frequency acquired in the second acquisition procedure. The program according to claim 12, which causes the computer to execute processing for controlling a zoom magnification.
前記コンピュータに、In the computer,
前記表示装置に表示された前記文字が識別可能となる前記ズーム機構の第1の倍率と前記ズーム機構の現在のズーム倍率である第2の倍率とを比較する比較手順を実行させ、Executing a comparison procedure for comparing a first magnification of the zoom mechanism at which the characters displayed on the display device can be identified with a second magnification which is a current zoom magnification of the zoom mechanism;
前記比較手順における比較結果に応じて、前記第2の制御手順において前記ズーム機構のズーム倍率を制御する処理を前記コンピュータに実行させるための請求項12又は13に記載のプログラム。The program according to claim 12 or 13, for causing the computer to execute a process of controlling a zoom magnification of the zoom mechanism in the second control procedure according to a comparison result in the comparison procedure.
前記コンピュータに、In the computer,
前記被記述物に対して記述されている文字の文字列の最外縁を検出する第1の検出手順を実行させ、Executing a first detection procedure for detecting an outermost edge of a character string of characters described for the object to be described;
前記比較手順において前記第1の倍率が前記第2の倍率より下回っていると判定されると共に、前記第1の検出手順において前記文字列の最外縁を検出できない場合は、前記第2の制御手順において、前記被記述物に対して記述されている文字の文字列全体を含むように前記ズーム機構のズーム倍率を制御する処理を前記コンピュータに実行させるための請求項14に記載のプログラム。When it is determined in the comparison procedure that the first magnification is lower than the second magnification, and the outermost edge of the character string cannot be detected in the first detection procedure, the second control procedure 15. The program according to claim 14, for causing the computer to execute a process of controlling a zoom magnification of the zoom mechanism so as to include an entire character string of characters described for the object to be described.
JP2009131293A 2009-05-29 2009-05-29 Information processing apparatus, imaging apparatus, and control method Active JP5398359B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009131293A JP5398359B2 (en) 2009-05-29 2009-05-29 Information processing apparatus, imaging apparatus, and control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009131293A JP5398359B2 (en) 2009-05-29 2009-05-29 Information processing apparatus, imaging apparatus, and control method

Publications (2)

Publication Number Publication Date
JP2010278916A JP2010278916A (en) 2010-12-09
JP5398359B2 true JP5398359B2 (en) 2014-01-29

Family

ID=43425424

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009131293A Active JP5398359B2 (en) 2009-05-29 2009-05-29 Information processing apparatus, imaging apparatus, and control method

Country Status (1)

Country Link
JP (1) JP5398359B2 (en)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4254604B2 (en) * 2004-04-26 2009-04-15 カシオ計算機株式会社 Electronic camera and program
JP2006094082A (en) * 2004-09-24 2006-04-06 Casio Comput Co Ltd Image photographing device, and program

Also Published As

Publication number Publication date
JP2010278916A (en) 2010-12-09

Similar Documents

Publication Publication Date Title
US9692964B2 (en) Modification of post-viewing parameters for digital images using image region or feature information
US8957971B2 (en) Image processing device and method, image processing system, and image processing program
KR100814724B1 (en) Image distribution system and client terminal and control method thereof
US8345937B2 (en) Image processing apparatus and control method for same
US8810673B2 (en) Composition determination device, composition determination method, and program
JP2003219225A (en) Device for monitoring moving object image
US20050212913A1 (en) Method and arrangement for recording regions of interest of moving objects
US20090003708A1 (en) Modification of post-viewing parameters for digital images using image region or feature information
JP2007081754A (en) Camera platform apparatus
JP2006197505A (en) Camera controller, camera system, electronic conference system and camera control method
JP2016127571A (en) Camera system, display control device, display control method, and program
JP2006146323A (en) Face feature collating device, face feature collating method, and program
CN110944101A (en) Image pickup apparatus and image recording method
KR101613438B1 (en) System for augmented reality contents and method of the same
JP2005184776A (en) Imaging device and its method, monitoring system, program and recording medium
KR20190026625A (en) Image displaying method, Computer program and Recording medium storing computer program for the same
WO2021083150A1 (en) Zoom method and device, aircraft, flight system and storage medium
JP2005303493A (en) Obstacle-adaptive projection type display
KR101518696B1 (en) System for augmented reality contents and method of the same
JP2008182321A (en) Image display system
JP5398359B2 (en) Information processing apparatus, imaging apparatus, and control method
JP2004289779A (en) Mobile body imaging method and mobile body imaging system
WO2005022915A1 (en) Image capture and projection device and image capture and projection method
JP2011055291A (en) Video display device and program
CN101753830B (en) Real-time prompting method for combination degree of panoramic picture

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120528

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130509

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130514

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130712

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130924

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131022

R151 Written notification of patent or utility model registration

Ref document number: 5398359

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151