JP5398359B2 - Information processing apparatus, imaging apparatus, and control method - Google Patents
Information processing apparatus, imaging apparatus, and control method Download PDFInfo
- Publication number
- JP5398359B2 JP5398359B2 JP2009131293A JP2009131293A JP5398359B2 JP 5398359 B2 JP5398359 B2 JP 5398359B2 JP 2009131293 A JP2009131293 A JP 2009131293A JP 2009131293 A JP2009131293 A JP 2009131293A JP 5398359 B2 JP5398359 B2 JP 5398359B2
- Authority
- JP
- Japan
- Prior art keywords
- zoom
- character
- magnification
- control
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
Description
本発明は、情報処理装置、撮像装置、制御方法及びプログラムに関する。例えば、ホワイトボード、黒板あるいはスクリーン等を用いて行われるプレゼンテーションを撮像し、表示装置に表示する場合に用いられて好適である。 The present invention relates to an information processing device, an imaging device, a control method, and a program. For example, it is suitable to be used when a presentation made using a whiteboard, blackboard, screen, or the like is imaged and displayed on a display device.
従来から、会議や講義等の場面において、発表者が、ホワイトボードや黒板等を用いて、プレゼンテーションを行うことは一般的であった。近年では、発表者が、従前にパーソナルコンピュータを用いてプレゼンテーション資料を電子データとして作成し、スクリーンや大型テレビ等に表示して、発表することが一般化しつつある。 Conventionally, it has been common for a presenter to give a presentation using a whiteboard, a blackboard or the like in a meeting or a lecture. In recent years, it has become common for presenters to create presentation materials as electronic data using a personal computer and display them on a screen, a large television, or the like.
また、聴講者全員が視聴する一台の大型プロジェクタ又は大型テレビだけではなく、各聴講者の座席付近に夫々モニタ等を配置し、プレゼンテーション資料やカメラによって撮影された画像(以下、会議画像という)をモニタに配信することも多く行われている。更には、ある地点の会議を別の地点から聴講する、いわゆる遠隔会議においては、発表が行われる会議会場から会議画像を聴講者のいる地点に配信することで、遠隔会議を可能にしている。 Also, not only a single large projector or large TV that all audience members watch, but also a monitor etc. arranged near the seats of each audience, images taken with presentation materials and cameras (hereinafter referred to as conference images) Is often distributed to monitors. Furthermore, in a so-called remote conference in which a conference at a certain point is listened to from another point, a remote conference is enabled by distributing the conference image from the conference venue where the presentation is made to the point where the listener is present.
ところで、これらの会議や講義をカメラで撮影する場合、会議室全景を撮影し、且つホワイトボード等の板書を鮮明に読み取れるだけの解像度でデータを撮影、伝送、表示することは現実的ではない。しかしながら、細かい文字の板書がなされた場合には、該板書に記述された内容が重要であり、該記述が判別可能な程度に高精細な情報を取得する必要がある。
一方、ホワイトボード等に図形等が記述された場合には、図形全体が画角に入らなければ全体を見通すことはできない。そこで、一般的には会議の進行に応じてカメラの撮影条件、すなわちズーム量やパン、チルト方向を切り替えるのが一般的である。
By the way, when these meetings and lectures are photographed with a camera, it is not realistic to photograph a whole view of the conference room and to photograph, transmit, and display data with a resolution that can clearly read a board such as a whiteboard. However, when a small letter is written on the board, the contents described in the board are important, and it is necessary to acquire high-definition information to such an extent that the description can be discriminated.
On the other hand, when a figure or the like is described on a white board or the like, the whole figure cannot be seen unless the whole figure falls within the angle of view. Therefore, in general, the shooting conditions of the camera, that is, the zoom amount, pan, and tilt directions are generally switched according to the progress of the conference.
例えば、通信制の学校や学習塾等では、ある地点で行われている講義の内容を、カメラで撮影し、配信することで、複数の地点で同講義を受講できるような撮像システムがある。これらの講義では、カメラを操作する操作者が、講義の進行にしたがって、カメラのズーム量やパン、チルト方向を操作していることが多い。
また、特許文献1の文字画像撮影装置には、黒板等の被撮影体を撮影するための文字撮影モードを設け、該モードが選択された場合に、文字判別のために必要な解像度を推定し、該推定された解像度で撮影する技術が公開されている。
For example, there are communication systems such as communication schools and learning cram schools that allow students to take lectures at a plurality of locations by capturing and distributing the content of lectures held at a certain location with a camera. In these lectures, an operator who operates the camera often operates the zoom amount, pan and tilt directions of the camera as the lecture progresses.
Further, the character image photographing device of Patent Document 1 is provided with a character photographing mode for photographing an object to be photographed such as a blackboard, and when this mode is selected, the resolution required for character discrimination is estimated. A technique for photographing with the estimated resolution is disclosed.
しかしながら、上述したような撮像システムでは、以下の課題があった。
まず、第一に、会議や講義の例では、専門のカメラマンが必要となり、会議や講義を行うためのコストが増加してしまう。この場合、受信側でカメラを操作する方法も考えられるが、受信者は都度操作を行わねばならず、会議や講義中に不要な操作が発生する。また、1つのカメラに対して受信側が2つ以上存在する場合には、1つのカメラに対する操作に優先権が存在し、必然的に優先順位の低い操作は反映されない。
However, the imaging system as described above has the following problems.
First of all, in the case of a meeting or lecture, a specialized photographer is required, and the cost for conducting the meeting or lecture increases. In this case, a method of operating the camera on the receiving side is also conceivable, but the receiver must perform an operation each time, and an unnecessary operation occurs during a meeting or lecture. Further, when there are two or more receiving sides for one camera, priority is given to the operation for one camera, and an operation with a low priority is inevitably not reflected.
また、第二に、上述した特許文献1に開示されている技術では、静止画撮影においては効果が期待できるものの、ユーザがモードを選択しなければならないことから、特に時系列的に文字撮影モードと通常撮影モードとを切り替えることは現実的ではない。 Second, although the technique disclosed in Patent Document 1 described above can be expected to be effective in still image shooting, the user must select a mode. Switching between the normal shooting mode and the normal shooting mode is not realistic.
本発明は、上述したような課題を鑑みてなされたものであり、発表者等が撮影操作を行うことなく、被記述物に記述された内容を、より鮮明且つ違和感なく撮影することを目的とする。 The present invention has been made in view of the above-described problems, and aims at photographing the contents described in a description object more clearly and without a sense of incongruity without the presenter performing a photographing operation. To do.
本発明は、被記述物に対して記述している内容を撮像する撮像部と、ズーム機構と、パン機構とを具備する撮像装置を制御する情報処理装置であって、前記被記述物に連続的に文字が記述された場合に前記連続的に記述された文字の文字列に追従して撮影領域が調整されるように、前記パン機構の駆動を制御する第1の制御手段と、前記被記述物に連続的に文字が記述された場合、前記撮像部が撮像した画像を表示する表示装置に表示された前記文字が識別可能となるように前記ズーム機構のズーム倍率を前記パン機構の駆動が制御されている間維持する制御を行う第2の制御手段とを有する。 The present invention is an information processing apparatus that controls an imaging apparatus that includes an imaging unit that captures the contents described in a description object, a zoom mechanism, and a pan mechanism, and is continuous with the description object. manner as imaged region following the string of the continuously written character is adjusted when a character is written, a first control means for controlling the driving of the pan mechanism, the object When characters are continuously described in the description object, the zoom magnification of the zoom mechanism is driven so that the characters displayed on the display device that displays the image captured by the imaging unit can be identified. And a second control means for performing control to be maintained during the control.
本発明によれば、被記述物に記述された内容を、撮影する操作を行うことなく、より鮮明且つ違和感なく撮影することができる。 According to the present invention, it is possible to photograph the content described in the description object more clearly and without a sense of incongruity without performing an operation of photographing.
以下、図面を参照して、本発明に係る実施形態について説明する。
まず、本実施形態に係る撮像システム100の概略構成について、図1を参照して説明する。なお、本実施形態では、会議の様子を撮像して表示する場合を例にあげて説明する。
図1に示すように、撮像システム100は、撮像装置20と、情報処理装置30と、表示装置40とを含んで構成されている。
Embodiments according to the present invention will be described below with reference to the drawings.
First, a schematic configuration of the
As illustrated in FIG. 1, the
まず、撮像装置20は、例えば会議会場内であって、図1に示すような被記述物としてのプレゼンテーション装置10全体を撮像することができる位置に設置されている。ここで、プレゼンテーション装置10とは、ホワイトボードや黒板等、物理的に記述ができるものであってもよく、電子白板やスクリーン等、電子情報を表示できるものであってもよい。また、撮像装置20は、典型的には、ディジタルビデオカメラであり、発表者又はプレゼンテーション装置10を動画像の形態で撮影する。
First, the
情報処理装置30は、典型的には、パーソナルコンピュータやサーバ等であり、撮像装置20と通信可能に接続されている。情報処理装置30は、撮像装置20により撮像された画像に基づいて、後述する処理を行い撮像装置20の駆動を制御する。なお、情報処理装置30は、会議会場内或いは会議会場外等、何れの位置に設置されていてもよい。
表示装置40は、撮像装置20により撮像された画像を表示するディスプレイである。表示装置40は、例えば会議の聴講者に近接した位置に設置されている。なお、表示装置40は、講義会場外の遠隔地に設置されていてもよく、この場合、撮像装置20又は情報処理装置30とはネットワークを介して接続される。
The
The
次に、本実施形態に係る撮像システム100の各装置のハードウェア構成について図2を参照して説明する。
まず、撮像装置20は、撮像部201、ズーム機構202、パン機構203、チルト機構204、インターフェース205を含んで構成されている。撮像部201は、図示しないCCD等の撮像素子を含んで構成されている。ズーム機構202は、撮像部201の撮影領域(画角)を変更するために、図示しないフォーカスレンズ等を駆動する駆動部である。パン機構203は、撮影領域をパン方向に変更するために、図示しない雲台等を駆動する駆動部である。チルト機構204は、撮影領域をチルト方向に変更するために、図示しない雲台等を駆動する駆動部である。インターフェース205は、情報処理装置30及び表示装置40との間で信号の送受信を行うものである。
Next, the hardware configuration of each device of the
First, the
情報処理装置30は、CPU(中央演算処理装置)301、記憶部302、インターフェース303を含んで構成されている。CPU301は、情報処理装置30全体を制御する。また、CPU301は、記憶部302に格納されているプログラムを実行することにより、後述する図3に示す機能構成及び図4に示すフローチャートを実現することができる。記憶部302は、CPU301が実行するプログラムが格納されていたり、CPU301が一時的に情報を記憶したりする。インターフェース303は、撮像装置20との間で信号の送受信を行うためのものである。
The
次に、本実施形態に係る情報処理装置30の機能構成について図3を参照して説明する。
図3に示す機能構成は、CPU301が記憶部302に格納されたプログラムを実行することにより実現する。
情報処理装置30は、記述検知部311、文字図形判定部312、識別可能倍率算出部313、最外縁検出部314、制御部315を含んで構成されている。また、制御部315は、ズーム倍率制御部316、パン制御部317、チルト制御部318を含んで構成されている。
Next, the functional configuration of the
The functional configuration shown in FIG. 3 is realized by the
The
記述検知部311は、撮像装置20が撮像している会議画像からプレゼンテーション装置10に対する記述の有無を検知する。具体的には、記述検知部311は、会議画像中の複数フレーム間の差分から変化量を検出し、該差分が記述であるか、その他の物体(例えば、人物)の動きであるかを判定する。記述検知部311は、会議画像中に記述がなされたと判定した場合、会議画像中の記述領域アドレスを記憶する。なお、実際には、CPU301が、記述領域アドレスを記憶部302上の所定領域に書き込む。
The
ここで、記述領域抽出の一例として、背景差分を用いるものについて説明する。記述検知部311は、例えば、時刻tにおいて、基準となる背景画像fを取得し、該背景画像からΔt1だけ経過した後のフレームft1と、Δt2だけ経過した後のフレームft2とを取得する。更に、記述検知部311は、背景画像fとft1及びft2の差分画像dt1、dt2とを取得する。差分の取得には微妙なカメラの輝度差を吸収すべく、輝度情報のビット深度を浅くする等の前処理を行うとよい。以上のように取得したdt1とdt2との論理積(dt2∩dt1)から得られる画像DAの画素値が一定以上であれば、その点は、tからt1までに変化がおき、且つその後t2に至るまで変化がない点である。したがって、この画素点は記述である可能性が高く、このような検出方法を用いてもよい。
Here, as an example of the description area extraction, a description will be given of using a background difference. For example, the
ここでは、記述検知部311が記述領域を抽出する一例を示したが、同様の効果が得られるものであれば、この方法に限るものではない。また、記述検出の精度を向上させるために、オプティカルフローを用いてもよいし、記述はストロークを持つことから線上の変化のみを検出するフィルタを差分画像取得の前処理として使用してもよい。また、記述検出を画像処理のみで行う場合に限られない。例えば、プレゼンテーション装置10が電子黒板であれば、出力情報を取り込み、判定に用いてもよい。
Here, an example in which the
文字図形判定部312は、撮像装置20が撮像している会議画像中の記述が文字であるか図形であるかを判定する。文字の判定アルゴリズムとしては、例えば公知技術であるパターンマッチを用いればよい。すなわち、文字図形判定部312は、記述されている内容と記憶されている辞書データとの間の類似度を継続して判定する。例えば、類似度が高い場合、文字図形判定部312は、該記述を文字と判定する。また、類似度が低い場合、文字図形判定部312は、該記述を図形と判定する。
The character /
識別可能倍率算出部313は、撮像装置20が撮像している会議画像の解像度と、記述検知部311が抽出した記述領域中の空間周波数とから、後述するズーム倍率制御部316が設定し得る最低解像度を算出する。なお、識別可能倍率算出部313の識別可能倍率算出アルゴリズムについては後述する。
The identifiable
最外縁検出部314は、記述検知部311が抽出した記述領域から、記述の最外縁を検出する。最外縁検出部314は、文字図形判定部312により記述された内容が図形であると判定された場合、その図形の最外縁を検出し、文字であると判定された場合、その文字の文字列の最外縁を検出する。最外縁検出部314は、記述検知部311によって抽出された記述領域を読み出し、記述領域情報内部に検出された記述画素をラベリングによって連結し、ひとつのオブジェクトとして認識して最外縁を検出する。ここで、図形の最外縁を検出する場合、最外縁検出部314は、撮像装置20が撮像している会議画像を複数の領域に分割する。この処理は、領域分割手段の一例に対応する。次に、最外縁検出部314は、記述検知部311により抽出された記述領域に基づいて、分割された領域から、現在、図形が記述されている領域を選択する。この処理は、領域選択手段の一例に対応する。そして、最外縁検出部314は、該選択された領域における図形の最外縁を検出する。なお、実際には、CPU301が、最外縁のアドレスを記憶部302に書き込む。
The outermost
また、同時に、最外縁検出部314は、現在の撮影領域中に文字列又は図形の最外縁が存在しないことを制御部315に通知する。すなわち、ズーム倍率が大きく設定されすぎて、現在の撮像装置20の撮影領域に記述された文字列全体又は図形全体の全てが捕らえきれていない場合には、最外縁が存在しない。この場合、最外縁検出部314は、最外縁が存在しないことを制御部315に対して通知する。
At the same time, the outermost
制御部315は、撮像装置20の撮影条件(ズーム倍率、パン方向及びチルト方向の移動量)を制御する。制御部315は、識別可能倍率算出部313によって算出された最低解像度と、最外縁検出部314により算出された文字列又は図形の最外縁とに基づいてズーム倍率を決定する。ズーム倍率制御部316は、決定されたズーム倍率に基づいて、ズーム量の信号を撮像装置20のズーム機構202に送信する。
また、制御部315は、撮像部201により撮像されている画像に基づいて、又は記述検知部311による検知に基づいて、パン方向又はチルト方向の移動量や移動速度を決定する。パン制御部317は、決定したパン方向への移動量又は移動速度の信号を撮像装置20のパン機構203に送信する。また、チルト制御部318は、決定したチルト方向への移動量又は移動速度の信号を撮像装置20のチルト機構204に送信する。
The
Further, the
次に、識別可能倍率算出部313のアルゴリズムについて説明する。識別可能倍率算出部313は、撮像装置20が撮像している会議画像の記述領域を切り出す。そして、画像情報をYCbCrに変換し、輝度情報Yのみを抽出する。更に、輝度レベルを二値化する。以上の処理を行った画像P0について、以下の線幅抽出処理と空間周波数解析処理とを行う。
Next, the algorithm of the identifiable
まず、線幅抽出処理では、記述領域をハフ変換し、線要素を抽出する。抽出された線要素を元の画像P0とのマッピングをとり、線方向に直交する線幅を抽出する。この線幅抽出を複数の線要素について行い、その平均を線幅とする。この処理は、線幅取得手段の一例に対応する。
次に、空間周波数解析処理では、上述した画像P0を適度なブロックサイズ(例えば、8×8程度のブロック)に分割し、ブロックごとに離散フーリエ変換により空間周波数解析を行う。この部分については、JPEG圧縮等に用いられる離散コサイン変換を用いてもよい。上述した処理は、空間周波数取得手段の一例に対応する。
First, in the line width extraction process, the description area is Hough transformed to extract line elements. The extracted line element is mapped with the original image P0, and the line width orthogonal to the line direction is extracted. This line width extraction is performed on a plurality of line elements, and the average is defined as the line width. This process corresponds to an example of a line width acquisition unit.
Next, in the spatial frequency analysis process, the above-described image P0 is divided into appropriate block sizes (for example, blocks of about 8 × 8), and spatial frequency analysis is performed by discrete Fourier transform for each block. For this portion, discrete cosine transform used for JPEG compression or the like may be used. The above-described processing corresponds to an example of a spatial frequency acquisition unit.
次に、識別可能倍率算出部313は、識別可能倍率を推定する。上述した線幅抽出処理と空間周波数解析処理とによって、画像P0の平均的な線幅と該線幅で表現された記述領域の空間周波数とを取得することができる。識別可能倍率算出部313は、平均的な線幅が予め定められている閾値Wth以上であるか、又は空間周波数が閾値fth以下であるための識別可能倍率Xを算出する。上述した線幅抽出処理によって得られた線幅をW、上述した空間周波数解析処理によって得られた周波数をfとすると、識別可能倍率Xは以下のように算出することができる。
Next, the
Xw=Wth/W
Xf=f/fth
Xw>Xfのとき X=Xw
上記以外のとき X=Xf
なお、識別可能倍率の算出の方法は、上述する同様の効果が得られるものであれば、この場合に限られない。
Xw = Wth / W
Xf = f / fth
When Xw> Xf, X = Xw
Other than the above X = Xf
Note that the method of calculating the identifiable magnification is not limited to this case as long as the same effect as described above can be obtained.
次に、撮像システムにおける動作処理について図4及び図5を参照して説明する。図4は、撮像システムの動作処理を示すフローチャートである。図4に示すフローチャートは、情報処理装置30のCPU301が記憶部302に格納されているプログラムを実行することにより実現される。図4に示すフローチャートは、会議の開始のタイミングで実行される。また、図5は、撮影領域の遷移の一例を示す図である。以下では、適宜、図5を参照して説明する。
Next, operation processing in the imaging system will be described with reference to FIGS. FIG. 4 is a flowchart showing an operation process of the imaging system. The flowchart illustrated in FIG. 4 is realized by the
まず、ステップS101において、記述検知部311は、初期化処理を行った後に、撮像装置20の撮像部201から会議画像を連続的に取得する。ここでは、例えば、図5(a)に示すように、プレゼンテーション装置10の全体を含む撮影領域401の会議画像が取得される。ここで、記述検知部311は、連続的に該会議画像を取得して、会議画像内に記述があるか否かを判定する。
記述検知部311は、会議画像の一部に記述領域と思われる領域を検知した場合、該記述領域の会議画像内における記述領域アドレスを記憶する。ここで、記述領域アドレスは典型的には、画像中におけるX,Y座標値でよい。次に、ステップS102に処理を進める。
First, in step S <b> 101, the
When the
ステップS102は、ステップS101において、記述検知部311が記憶した記述領域アドレスに基づいて、撮像装置20のズーム量、パン方向の移動量及びチルト方向の移動量を制御するステップであり、記述検知後に行われる。なお、過剰な撮影領域の変化を抑止するために該ステップS102を省略し、次のステップS103に処理を進めてもよい。
Step S102 is a step of controlling the zoom amount, pan direction movement amount, and tilt direction movement amount of the
ステップS102は、記述検知部311と、識別可能倍率算出部313と、制御部315と、ズーム倍率制御部316と、パン制御部317と、チルト制御部318とによって実行される。識別可能倍率算出部313は、現在の会議画像の解像度と、表示装置40の解像度と、会議画像に占める記述領域の比率又は解像度とに基づき、また、該記述領域の空間周波数に基づいて、表示装置40において、記述領域が最低限識別可能な解像度を算出する。同時に、制御部315は、記述領域が撮影領域の中央になるように、撮像装置20のパン機構203又はチルト機構204を制御するためのパン方向又はチルト方向の移動量を算出する。そして、ズーム倍率制御部316、パン制御部317及びチルト制御部318は、算出された解像度、パン方向又はチルト方向の移動量に基づいて、撮像装置20に信号を送信する。その結果、撮像装置20は撮影領域を、図5(b)に示す撮影領域402に移動する。
Step S <b> 102 is executed by the
ステップS103は、記述されている内容が文字であるか図形であるかを判定するステップである。ステップS103は、文字図形判定部312によって実行される。文字図形判定部312は、記述検知部311が会議画像中に記述を検知した場合に、記述検知部311により該記述領域アドレスを受け取る。そして、文字図形判定部312は、取得した記述領域アドレスと、撮像装置20が撮像している会議画像とに基づいて、会議画像中における記述個所を特定し、該記述個所が文字であるか図形であるかを判定する。この処理は、文字図形判定手段の一例に対応する。文字図形判定部312は、判定結果を記憶する。なお、実際には、CPU301が判定結果の情報を記憶部302に記憶する。
ここで、文字図形判定部312により、記述されている内容が文字であると判定された場合、ステップS104に処理を進める。一方、記述されている内容が図形であると判定された場合、ステップS108に処理を進める。
Step S103 is a step of determining whether the described content is a character or a graphic. Step S <b> 103 is executed by the character /
If the character /
ステップS104は、識別可能倍率を算出するステップである。ステップS104は、識別可能倍率算出部313によって実行される。識別可能倍率算出部313は、記述領域アドレスから現在、記述されている文字が表示装置40で識別可能な最低限のズーム倍率(識別可能倍率)を算出する。識別可能倍率算出部313は、算出した識別可能倍率を記憶する。なお、実際には、CPU301が記憶部302に識別可能倍率を記憶する。
Step S104 is a step of calculating an identifiable magnification. Step S <b> 104 is executed by the identifiable
ステップS105は、現在のズーム倍率とステップS104において算出した識別可能倍率とを比較するステップである。ステップS105は、制御部315により実行される。制御部315は、ズーム倍率制御部316で設定されている現在のズーム倍率Xと、ステップS104で算出した識別可能倍率XNとを比較する。ここで、制御部315により、X>XNの比較結果がTRUEと判定された場合、すなわち識別可能倍率XNが、現在のズーム倍率Xより下回っている場合、ステップS106に処理を進める。一方、X>XNの比較結果がFALSEと判定された場合、すなわち識別可能倍率XNが、現在のズーム倍率Xより上回っている場合、正確には、識別可能倍率XNが、現在のズーム倍率X以上の場合、ステップS107に処理を進める。
Step S105 is a step of comparing the current zoom magnification with the identifiable magnification calculated in step S104. Step S105 is executed by the
ステップS106は、文字列全体を表示するために撮像装置20のズーム機構202によりズームアウトを行うステップである。ステップS106は、制御部315と、最外縁検出部314と、ズーム倍率制御部316とにより実行される。ステップS106は、X>XN、すなわち表示装置40において現在、記述している文字列が十分識別可能な状態であり且つ文字列全体が撮影領域内に収まっていない場合に、文字列全体を表示するために実行される。
ここで、最外縁検出部314が、撮影領域中に文字列の最外縁がないと判定した場合、制御部315は、ズーム倍率制御部316に対して、ズーム倍率を所定の量だけ連続して減少させるように指示する。ズーム倍率制御部316は、指示に基づいて、撮像装置20のズーム機構202にズーム量の信号を送信する。撮像装置20のズーム機構202では、ズーム倍率制御部316から送信されたズーム量に基づいて、ズームアウトを行う。また、ズーム機構202によるズームアウトにより、最外縁検出部314が、撮像した会議画像内に文字列の最外縁を検出した場合、制御部315に文字列の最外縁を検出したことを通知する。制御部315は、この通知に基づいて、ズーム倍率制御部316に対して、ズーム倍率を減少させる指示を停止する。すなわち、図5(c)に示すように、文字列「ABC」を含むような撮影領域403aから、文字列「ABCDEF」全体を含むような撮影領域403bにズームアウトが行われる。ここで、制御部315は、算出された識別可能倍率内でズーム倍率を減少させる。なお、ズーム倍率が識別可能倍率以下になる場合、次のステップS107に処理を進める。
Step S106 is a step of performing zoom-out by the
Here, when the outermost
一方、ステップS107は、文字を表示するために撮像装置20のパン機構203又はチルト機構204によりパン方向又はチルト方向に移動を行うステップである。ステップS107は、制御部315と、ズーム倍率制御部316と、パン制御部317と、チルト制御部318とにより実行される。以下では、パン方向に移動する場合について説明する。ステップS107は、X<=XN、すなわち現在、記述している文字が表示装置40において十分な解像度を得られない場合に実行される。具体的には、制御部315は、ズーム倍率制御部316に対して、ズーム倍率XNに設定するように指示する。また、制御部315は、現在、記述している文字が例えば撮影領域の中央になるようにパン方向の移動量を算出する。
On the other hand, step S107 is a step of moving in the pan direction or the tilt direction by the
また、記述が連続的に移動している場合は、制御部315は、撮像装置20が撮像している会議画像に基づいて、時系列的に記述が増加する方向を判定し、記述している文字を追従するようにパン方向の移動量又は移動速度を算出する。なお、制御部315は、記述検知部311による検知の情報に基づいて、記述が移動する方向を判定して、パン方向の移動量又は移動速度を算出してもよい。
ズーム倍率制御部316は、指示されたズーム倍率に基づいて、撮像装置20のズーム機構202にズーム量の信号を送信する。撮像装置20のズーム機構202では、ズーム倍率制御部316から送信されたズーム量に基づいて、ズームを行う。また、パン制御部317は、指示されたパン方向の移動量又は移動速度に基づいて、撮像装置20のパン機構203にパン方向の移動量又は移動速度の信号を送信する。撮像装置20のパン機構203では、パン制御部317から送信されたパン方向の移動量又は移動速度に基づいて、パン方向に撮影領域を移動する。すなわち、図5(d)に示すように、文字列「ABCDEF」等を含むような撮影領域404aから、現在、記述している文字「HI」等を含むようなパン方向に撮影領域404bを移動する。なお、チルト方向についても同様な処理により撮影領域が移動される。
In addition, when the description is continuously moving, the
The zoom
一方、ステップS108は、図形の最外縁を検出するステップである。ステップS108は、最外縁検出部314によって実行される。ステップS108は、ステップS103において、現在の記述内容が図形であると判定された場合に実行される。最外縁検出部314は、現在の記述領域を中心とした図形の最外縁を検出する。ここで、最外縁検出部314が、図形の最外縁がないと判定した場合は、次のステップS109のような処理を行う。
On the other hand, step S108 is a step of detecting the outermost edge of the figure. Step S <b> 108 is executed by the outermost
ステップS109は、図形の最外縁を包含する撮影領域にズーム量を設定するステップである。ステップS109は、制御部315と、最外縁検出部314と、ズーム倍率制御部316と、パン制御部317と、チルト制御部318とによって実行される。以下では、パン方向に移動する場合について説明する。ステップS108において、最外縁検出部314が、撮影領域中に図形の最外縁がないと判定した場合、制御部315は、ズーム倍率制御部316に対して、ズーム倍率を所定の量だけ連続して減少させるように指示する。ズーム倍率制御部316は、指示に基づいて、撮像装置20のズーム機構202にズーム量の信号を送信する。撮像装置20のズーム機構202では、ズーム倍率制御部316から送信されたズーム量に基づいて、ズームアウトを行う。すなわち、図5(e)に示すように、撮影領域405aから、現在、記述している図形の最外縁を含むような撮影領域405bに移動する。
Step S109 is a step of setting the zoom amount in the imaging region including the outermost edge of the figure. Step S <b> 109 is executed by the
また、ズーム機構202によるズームアウトにより、最外縁検出部314が、撮像した会議画像内に図形の最外縁を検出した場合、制御部315に図形の最外縁を検出したことを通知する。制御部315は、この通知に基づいて、ズーム倍率制御部316に対して、ズーム倍率を減少させる指示を停止する。なお、制御部315は、撮影領域に図形の最外縁が入るように、パン制御部317に対して、パン機構203を駆動するように指示する。なお、このとき、チルト方向についても同様な処理により撮影領域が移動される。
Further, when the outermost
ステップS110は、上述したステップS103からステップS109までの処理を繰り返すステップである。ステップS110は、記述検知部311により実行される。ステップS110では、記述検知部311は、一定時間に記述の更新を検知したか否かを判定する。ここで、記述検知部311が、一定時間に記述の更新を検知しない場合、図4に示すフローチャートの処理を終了する。一方、一定時間に記述の更新を検知した場合、ステップS103に処理を戻す。したがって、例えば、発表者がプレゼンテーション装置10に記述が続ける限り、連続的に文字であるか図形であるかの判定が行われ、撮像装置20では、適切なズーム量に設定される。なお、ステップS109の判定には、撮像装置20の設定変更によるズーム量等の変化も、更新に含まれる。
Step S110 is a step in which the processing from step S103 to step S109 described above is repeated. Step S <b> 110 is executed by the
このように本実施形態によれば、プレゼンテーション装置10に記述された内容に応じて情報処理装置30の処理が異なる。すなわち、情報処理装置30は、文字が記述された場合、文字を識別できるズーム量で撮影を行い、更に、連続的に文字が記述された場合、文字列を追従して常に必要な解像度を維持しつつ撮影領域を調整する。一方で、図形が記述された場合、図形全体が見えるような撮影領域で撮影することが可能となる。このように本実施形態によれば、プレゼンテーション装置10に記述された内容に応じて、より鮮明且つ違和感なく撮影することができる。また、文字、図形に応じて撮影条件(ズーム倍率、パン方向及びチルト方向の移動量)を自動的に変更するので、会議等の進行をスムーズにすることができる。
したがって、例えば、発表者や聴講者等により、撮像装置20の操作を行う必要がなく、且つ特にプレゼンテーション装置10への記述等の進行に応じた撮影画像を提供することができる。
As described above, according to the present embodiment, the processing of the
Therefore, for example, it is not necessary to operate the
なお、本実施形態では、撮像システム100として、撮像装置20と情報処理装置30とがそれぞれが通信可能に別体で構成される場合についてのみ説明したが、この場合に限られない。すなわち、撮像装置20と情報処理装置30とを一体にして、撮像装置として構成してもよい。
In the present embodiment, as the
上述した実施形態における撮像システム100、情報処理装置30及び撮像装置20と情報処理装置30とを一体にした撮像装置を構成する各手段、並びに撮像方法の各ステップは、記憶部に記憶されたプログラムが動作することによって実現できる。このプログラム及びこのプログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
The steps of the
なお、本実施形態では、上述した実施形態の機能を実現するソフトウェアのプログラムを、システム又は装置に直接又は遠隔から供給してもよい。そして、そのシステム又は装置のコンピュータが上述のように供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。 In the present embodiment, a software program that implements the functions of the above-described embodiments may be directly or remotely supplied to the system or apparatus. And the case where it is achieved also by reading and executing the program code supplied as mentioned above by the computer of the system or apparatus is included.
100 撮像システム
10 プレゼンテーション装置
20 撮像装置
30 情報処理装置
40 表示装置
201 撮像部
202 ズーム機構
203 パン機構
204 チルト機構
205 インターフェース
301 CPU
302 記憶部
303 インターフェース
311 記述検知部
312 文字図形判定部
313 識別可能倍率算出部
314 最外縁検出部
315 制御部
316 ズーム倍率制御部
317 パン制御部
318 チルト制御部
DESCRIPTION OF
302
Claims (15)
前記被記述物に連続的に文字が記述された場合に前記連続的に記述された文字の文字列に追従して撮影領域が調整されるように、前記パン機構の駆動を制御する第1の制御手段と、
前記被記述物に連続的に文字が記述された場合、前記撮像部が撮像した画像を表示する表示装置に表示された前記文字が識別可能となるように前記ズーム機構のズーム倍率を前記パン機構の駆動が制御されている間維持する制御を行う第2の制御手段とを有することを特徴とする情報処理装置。 An information processing apparatus that controls an imaging apparatus that includes an imaging unit that captures content described in a description object, a zoom mechanism, and a pan mechanism,
A first mechanism for controlling the driving of the pan mechanism so that when a character is continuously described in the object to be described, an imaging region is adjusted following the character string of the continuously described character ; Control means ;
When the character is continuously described in the object to be described, the zoom magnification of the zoom mechanism is set to the pan mechanism so that the character displayed on the display device that displays the image captured by the imaging unit can be identified. And second control means for performing control to be maintained while the driving of the apparatus is controlled .
前記撮像部により撮像されている画像から空間周波数を取得する空間周波数取得手段とを更に有し、
前記第2の制御手段は、前記線幅取得手段により取得された線幅及び前記空間周波数取得手段により取得された空間周波数に基づいて、前記文字が識別可能となるように前記ズーム機構のズーム倍率を制御することを特徴とする請求項1に記載の情報処理装置。 A line width acquisition means for acquiring a line width of a character described for the object to be described from an image captured by the imaging unit;
Spatial frequency acquisition means for acquiring a spatial frequency from the image captured by the imaging unit;
The second control means is configured such that a zoom magnification of the zoom mechanism is such that the characters can be identified based on the line width acquired by the line width acquisition means and the spatial frequency acquired by the spatial frequency acquisition means. the information processing apparatus according to claim 1, characterized that you control.
前記第2の制御手段は、前記比較手段による比較結果に応じて、前記ズーム機構のズーム倍率を制御することを特徴とする請求項1又は2に記載の情報処理装置。 A comparison means for comparing a first magnification of the zoom mechanism that enables the characters displayed on the display device to be identified and a second magnification that is a current zoom magnification of the zoom mechanism ;
It said second control means, in accordance with the comparison result by the comparing means, the information processing apparatus according to claim 1 or 2, characterized in that controlling the zoom magnification of the zoom mechanism.
前記第2の制御手段は、前記比較手段により前記第1の倍率が前記第2の倍率より下回っていると判定されると共に、前記第1の検出手段により前記文字列の最外縁を検出できない場合は、前記被記述物に対して記述されている文字の文字列全体を含むように前記ズーム機構のズーム倍率を制御することを特徴とする請求項3に記載の情報処理装置。 Further comprising a first detecting means for detecting the outermost edge of the string of characters that are written to the object description thereof,
The second control means determines that the first magnification is lower than the second magnification by the comparison means and the first detection means cannot detect the outermost edge of the character string. the information processing apparatus according to claim 3, characterized in that controlling the zoom magnification of the zoom mechanism to include the entire string of characters that are written to the object description thereof.
前記被記述物に対して記述されている内容が図形である場合、前記第2の制御手段は、前記第2の検出手段により検出された図形の最外縁に基づいて、前記被記述物に対して記述されている図形全体を含むように前記ズーム機構のズーム倍率を制御することを特徴とする請求項1に記載の情報処理装置。 A second detecting means for detecting an outermost edge of a figure described for the object to be described;
Before Stories written by which content is graphic der Ru if respect the description thereof, the second control means, based on the outermost edge of the detected figure by the second detecting means, the object description The information processing apparatus according to claim 1, wherein a zoom magnification of the zoom mechanism is controlled so as to include an entire figure described for an object.
前記分割手段により分割された複数の領域から現在、図形が記述されている領域を選択する選択手段とを更に有し、
前記第2の検出手段は、前記選択手段により選択された領域における図形の最外縁を検出することを特徴とする請求項5に記載の情報処理装置。 A split means that to divide the image being captured in a plurality of regions by the imaging unit,
Before SL minute current from a plurality of areas divided by the split means further includes a to that selection means selecting an area shape is described,
The second detection means, before the information processing apparatus according to claim 5, characterized in that to detect the outermost edge of the graphic in the selected region by hexene-option means.
前記被記述物に連続的に文字が記述された場合に前記連続的に記述された文字の文字列に追従して撮影領域が調整されるように、前記パン機構の駆動を制御する第1の制御手段と、
前記被記述物に連続的に文字が記述された場合、前記撮像部が撮像した画像を表示する表示装置に表示された前記文字が識別可能となるように前記ズーム機構のズーム倍率を前記パン機構の駆動が制御されている間維持する制御を行う第2の制御手段とを有することを特徴とする撮像装置。 An imaging apparatus comprising an imaging unit that captures the content described for an object to be described, a zoom mechanism, and a pan mechanism,
A first mechanism for controlling the driving of the pan mechanism so that when a character is continuously described in the object to be described, an imaging region is adjusted following the character string of the continuously described character ; Control means ;
When the character is continuously described in the object to be described, the zoom magnification of the zoom mechanism is set to the pan mechanism so that the character displayed on the display device that displays the image captured by the imaging unit can be identified. An image pickup apparatus comprising: a second control unit configured to perform control that is maintained while the driving of the motor is controlled .
前記被記述物に連続的に文字が記述された場合に前記連続的に記述された文字の文字列に追従して撮影領域が調整されるように、前記パン機構の駆動を制御する第1の制御ステップと、
前記被記述物に連続的に文字が記述された場合、前記撮像部が撮像した画像を表示する表示装置に表示された前記文字が識別可能となるように前記ズーム機構のズーム倍率を前記パン機構の駆動が制御されている間維持する制御を行う第2の制御ステップとを有することを特徴とする制御方法。 A control method for controlling an image pickup apparatus including an image pickup unit for picking up the contents described for a description object, a zoom mechanism, and a pan mechanism,
A first mechanism for controlling the driving of the pan mechanism so that when a character is continuously described in the object to be described, an imaging region is adjusted following the character string of the continuously described character ; Control steps ;
When the character is continuously described in the object to be described, the zoom magnification of the zoom mechanism is set to the pan mechanism so that the character displayed on the display device that displays the image captured by the imaging unit can be identified. And a second control step for performing control to be maintained while the driving of the motor is controlled .
前記撮像部により撮像されている画像から空間周波数を取得する第2の取得ステップとを更に有し、A second acquisition step of acquiring a spatial frequency from the image captured by the imaging unit;
前記第1の取得ステップにおいて取得された線幅及び前記第2の取得ステップにより取得された空間周波数に基づいて、前記文字が識別可能となるように、前記第2の制御ステップにおいて、前記ズーム機構のズーム倍率を制御することを特徴とする請求項8に記載の制御方法。In the second control step, the zoom mechanism is configured so that the character can be identified based on the line width acquired in the first acquisition step and the spatial frequency acquired in the second acquisition step. 9. The control method according to claim 8, wherein the zoom magnification is controlled.
前記比較ステップにおける比較結果に応じて、前記第2の制御ステップにおいて前記ズーム機構のズーム倍率を制御することを特徴とする請求項8又は9に記載の制御方法。The control method according to claim 8 or 9, wherein a zoom magnification of the zoom mechanism is controlled in the second control step according to a comparison result in the comparison step.
前記比較ステップにおいて前記第1の倍率が前記第2の倍率より下回っていると判定されると共に、前記第1の検出ステップにおいて前記文字列の最外縁を検出できない場合は、前記第2の制御ステップにおいて、前記被記述物に対して記述されている文字の文字列全体を含むように前記ズーム機構のズーム倍率を制御することを特徴とする請求項10に記載の制御方法。If it is determined in the comparison step that the first magnification is lower than the second magnification, and the outermost edge of the character string cannot be detected in the first detection step, the second control step The control method according to claim 10, further comprising: controlling a zoom magnification of the zoom mechanism so as to include an entire character string of characters described for the object to be described.
前記被記述物に連続的に文字が記述された場合に前記連続的に記述された文字の文字列に追従して撮影領域が調整されるように、前記パン機構の駆動を制御する第1の制御手順と、
前記被記述物に連続的に文字が記述された場合、前記撮像部が撮像した画像を表示する表示装置に表示された前記文字が識別可能となるように前記ズーム機構のズーム倍率を前記パン機構の駆動が制御されている間維持する制御を行う第2の制御手順とをコンピュータに実行させるためのプログラム。 A program for controlling an imaging device including an imaging unit that captures the content described for a description object, a zoom mechanism, and a pan mechanism,
A first mechanism for controlling the driving of the pan mechanism so that when a character is continuously described in the object to be described, an imaging region is adjusted following the character string of the continuously described character ; Control procedures;
When the character is continuously described in the object to be described, the zoom magnification of the zoom mechanism is set to the pan mechanism so that the character displayed on the display device that displays the image captured by the imaging unit can be identified. A program for causing a computer to execute a second control procedure for performing control to be maintained while the driving of the motor is controlled .
前記撮像部により撮像されている画像から前記被記述物に対して記述されている文字の線幅を取得する第1の取得手順と、A first acquisition procedure for acquiring a line width of a character described for the object to be described from an image captured by the imaging unit;
前記撮像部により撮像されている画像から空間周波数を取得する第2の取得手順とを実行させ、Executing a second acquisition procedure for acquiring a spatial frequency from an image captured by the imaging unit;
前記第1の取得手順において取得された線幅及び前記第2の取得手順により取得された空間周波数に基づいて、前記文字が識別可能となるように、前記第2の制御手順において、前記ズーム機構のズーム倍率を制御する処理を前記コンピュータに実行させるための請求項12に記載のプログラム。In the second control procedure, the zoom mechanism is configured so that the character can be identified based on the line width acquired in the first acquisition procedure and the spatial frequency acquired in the second acquisition procedure. The program according to claim 12, which causes the computer to execute processing for controlling a zoom magnification.
前記表示装置に表示された前記文字が識別可能となる前記ズーム機構の第1の倍率と前記ズーム機構の現在のズーム倍率である第2の倍率とを比較する比較手順を実行させ、Executing a comparison procedure for comparing a first magnification of the zoom mechanism at which the characters displayed on the display device can be identified with a second magnification which is a current zoom magnification of the zoom mechanism;
前記比較手順における比較結果に応じて、前記第2の制御手順において前記ズーム機構のズーム倍率を制御する処理を前記コンピュータに実行させるための請求項12又は13に記載のプログラム。The program according to claim 12 or 13, for causing the computer to execute a process of controlling a zoom magnification of the zoom mechanism in the second control procedure according to a comparison result in the comparison procedure.
前記被記述物に対して記述されている文字の文字列の最外縁を検出する第1の検出手順を実行させ、Executing a first detection procedure for detecting an outermost edge of a character string of characters described for the object to be described;
前記比較手順において前記第1の倍率が前記第2の倍率より下回っていると判定されると共に、前記第1の検出手順において前記文字列の最外縁を検出できない場合は、前記第2の制御手順において、前記被記述物に対して記述されている文字の文字列全体を含むように前記ズーム機構のズーム倍率を制御する処理を前記コンピュータに実行させるための請求項14に記載のプログラム。When it is determined in the comparison procedure that the first magnification is lower than the second magnification, and the outermost edge of the character string cannot be detected in the first detection procedure, the second control procedure 15. The program according to claim 14, for causing the computer to execute a process of controlling a zoom magnification of the zoom mechanism so as to include an entire character string of characters described for the object to be described.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009131293A JP5398359B2 (en) | 2009-05-29 | 2009-05-29 | Information processing apparatus, imaging apparatus, and control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009131293A JP5398359B2 (en) | 2009-05-29 | 2009-05-29 | Information processing apparatus, imaging apparatus, and control method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010278916A JP2010278916A (en) | 2010-12-09 |
JP5398359B2 true JP5398359B2 (en) | 2014-01-29 |
Family
ID=43425424
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009131293A Active JP5398359B2 (en) | 2009-05-29 | 2009-05-29 | Information processing apparatus, imaging apparatus, and control method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5398359B2 (en) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4254604B2 (en) * | 2004-04-26 | 2009-04-15 | カシオ計算機株式会社 | Electronic camera and program |
JP2006094082A (en) * | 2004-09-24 | 2006-04-06 | Casio Comput Co Ltd | Image photographing device, and program |
-
2009
- 2009-05-29 JP JP2009131293A patent/JP5398359B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2010278916A (en) | 2010-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9692964B2 (en) | Modification of post-viewing parameters for digital images using image region or feature information | |
US8957971B2 (en) | Image processing device and method, image processing system, and image processing program | |
KR100814724B1 (en) | Image distribution system and client terminal and control method thereof | |
US8345937B2 (en) | Image processing apparatus and control method for same | |
US8810673B2 (en) | Composition determination device, composition determination method, and program | |
JP2003219225A (en) | Device for monitoring moving object image | |
US20050212913A1 (en) | Method and arrangement for recording regions of interest of moving objects | |
US20090003708A1 (en) | Modification of post-viewing parameters for digital images using image region or feature information | |
JP2007081754A (en) | Camera platform apparatus | |
JP2006197505A (en) | Camera controller, camera system, electronic conference system and camera control method | |
JP2016127571A (en) | Camera system, display control device, display control method, and program | |
JP2006146323A (en) | Face feature collating device, face feature collating method, and program | |
CN110944101A (en) | Image pickup apparatus and image recording method | |
KR101613438B1 (en) | System for augmented reality contents and method of the same | |
JP2005184776A (en) | Imaging device and its method, monitoring system, program and recording medium | |
KR20190026625A (en) | Image displaying method, Computer program and Recording medium storing computer program for the same | |
WO2021083150A1 (en) | Zoom method and device, aircraft, flight system and storage medium | |
JP2005303493A (en) | Obstacle-adaptive projection type display | |
KR101518696B1 (en) | System for augmented reality contents and method of the same | |
JP2008182321A (en) | Image display system | |
JP5398359B2 (en) | Information processing apparatus, imaging apparatus, and control method | |
JP2004289779A (en) | Mobile body imaging method and mobile body imaging system | |
WO2005022915A1 (en) | Image capture and projection device and image capture and projection method | |
JP2011055291A (en) | Video display device and program | |
CN101753830B (en) | Real-time prompting method for combination degree of panoramic picture |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120528 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130509 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130514 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130712 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130924 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131022 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5398359 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |