JPWO2018163977A1 - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JPWO2018163977A1 JPWO2018163977A1 JP2019504531A JP2019504531A JPWO2018163977A1 JP WO2018163977 A1 JPWO2018163977 A1 JP WO2018163977A1 JP 2019504531 A JP2019504531 A JP 2019504531A JP 2019504531 A JP2019504531 A JP 2019504531A JP WO2018163977 A1 JPWO2018163977 A1 JP WO2018163977A1
- Authority
- JP
- Japan
- Prior art keywords
- description
- image data
- moving image
- processing unit
- display data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 176
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000003384 imaging method Methods 0.000 claims abstract description 39
- 238000011156 evaluation Methods 0.000 claims description 48
- 238000000034 method Methods 0.000 claims description 39
- 238000000605 extraction Methods 0.000 claims description 14
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 10
- 238000007906 compression Methods 0.000 description 8
- 230000006835 compression Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000004148 unit process Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013144 data compression Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000002730 additional effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
記述者によって隠される記述部上の記述の視認性を記述者と記述部上の記述との位置関係を保った状態で確保する。記述者が記述部に記述している状態を撮像して得られた動画像データを処理して記述部分を判断する。記述部分と判断された各部分を記述として表示する表示データを発生して動画像データに重畳する。例えば、現在のフレーム画像と基準フレーム画像との間で画素毎の差分値を抽出し、この差分値が閾値以上である画素が連続する纏まりを把握し、この纏まり毎に記述部分であるか否かを判断する。
Description
本技術は、画像処理装置および画像処理方法に関し、詳しくは、記述者が記述部に記述している状態を撮像して得られた動画像データを処理する画像処理装置などに関する。
従来から画像配信における画像の表示手法において、文字部分等の視認性を向上させる提案はいくつかなされている。例えば、特許文献1には、画像中の文字部分を抽出し、その部分だけ高解像度または文字認識したテキスト結果を重畳することにより視認性を高める手法が示されている。これは低ビットレートでの画像配信を想定したものであり、文字部分の情報は視認性を向上させる必要があることが述べられている。
また、特許文献2には、画像中の文字を認識し文字色や背景色を特定した上で、文字色や背景色を調整して表示する手法が示されている。これも文字の視認性を向上させる手法の一つといえる。
特許文献1、2に示される手法は、あくまでも、低ビットレートや背景と文字色の似た色など、画像上に常に映ってはいるものの視認性の低い部分に対する手法であって、本質的に文字部分等が隠れてしまうために視認性が低下する場合には有効ではない。
本技術の目的は、記述者によって隠される記述部上の記述の視認性を記述者と記述部上の記述との位置関係を保った状態で確保することにある。
本技術の概念は、
記述者が記述部に記述している状態を撮像して得られた動画像データを処理して記述部分を判断する記述判断処理部と、
上記記述部分と判断された各部分を記述として表示する表示データを発生して上記動画像データに重畳する記述重畳処理部を備える
画像処理装置にある。
記述者が記述部に記述している状態を撮像して得られた動画像データを処理して記述部分を判断する記述判断処理部と、
上記記述部分と判断された各部分を記述として表示する表示データを発生して上記動画像データに重畳する記述重畳処理部を備える
画像処理装置にある。
本技術において、記述判断処理部により、記述者が記述部に記述している状態を撮像して得られた動画像データが処理されて、記述部分が判断される。例えば、記述判断処理部は、現在のフレーム画像と基準フレーム画像との間で画素毎の差分値を抽出し、この差分値が閾値以上である画素が連続する纏まりを把握し、この纏まり毎に記述部分であるか否かを判断する、ようにされてもよい。
この場合、例えば、記述判断処理部は、纏まり毎に、形状評価値、抽出時間評価値および静止時間評価値を用いて記述部分であるか否かを判断し、記述判断処理部は、形状評価値を、纏まりを包含する最小四角形と上記纏まりの内部に包含される最大四角形の縦横比に基づいて求め、抽出時間評価値を、纏まりに含まれる画素についての現在のフレームおよび現在より前の複数のフレームにおける基準フレーム画像との間の差分値に基づいて求め、静止時間評価値を、纏まりに含まれる画素についての現在のフレームおよび現在より前の複数のフレームにおける1フレーム前のフレーム画像との間の差分値に基づいて求める、ようにされてもよい。
記述重畳処理部により、記述部分と判断された各部分を記述として表示する表示データが発生されて動画像データに重畳される。例えば、記述重畳処理部は、表示データを動画像データに重畳する際に、記述の視認性を高めるための処理をする、ようにされてもよい。
この場合、例えば、記述重畳処理部は、動画像データの解像度を低下させる処理を行った後に、この動画像データに表示データを重畳する、ようにされてもよい。また、この場合、例えば、記述重畳処理部は、記述部分と判断された各部分が縁取りされて表示されるように表示データを処理した後に、この表示データを動画像データに重畳する、ようにされてもよい。また、この場合、例えば、記述重畳処理部は、記述部分と判断された各部分の色が背景画像の色と異なるように動画像データの色情報に基づいて表示データを処理した後に、この表示データを動画像データに重畳する、ようにされてもよい。
このように本技術においては、記述部分と判断された各部分を記述として表示する表示データを発生して動画像データに重畳するものである。そのため、記述者によって隠される記述部上の記述の視認性を記述者と記述部上の記述との位置関係を保った状態で確保することが可能となる。
なお、本技術において、動画像データに基づいて記述者の顔が正面を向いている状態が検知されるとき、動画像データに表示データを重畳しないように記述重畳処理部を制御する記述重畳制御部をさらに備える、ようにされてもよい。記述者が手を止めて口頭による説明や解説を始めた場合、情報として重要になるのは記述よりも記述者の表情や身振り手振りの様子であると考えられるが、それを記述の重畳表示に邪魔されずに表示することが可能となる。
また、本技術において、例えば、記述者が記述部に記述している状態を撮像する撮像部と、この撮像部で得られた撮像信号を処理して動画像データを得る撮像信号処理部をさらに備える、ようにされてもよい。また、本技術において、例えば、記述重畳処理部で得られた動画像データを外部機器に送信する送信部をさらに備える、ようにされてもよい。
本技術によれば、記述者によって隠される記述部上の記述の視認性を記述者と記述との位置関係を保った状態で確保することが可能となる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明を以下の順序で行う。
1.実施の形態
2.変形例
1.実施の形態
2.変形例
<1.実施の形態>
[画像処理システムの構成例]
図1は、実施の形態としての画像処理システム10の構成例を示している。この画像処理システム10は、カメラ101と、画像処理装置102と、所定数の表示装置103-1〜103-Nを有している。
[画像処理システムの構成例]
図1は、実施の形態としての画像処理システム10の構成例を示している。この画像処理システム10は、カメラ101と、画像処理装置102と、所定数の表示装置103-1〜103-Nを有している。
カメラ101は、記述者201が記述部202に記述203を加えながら説明している状態を撮像して動画像データを得る。図2は、カメラ101によるあるフレームの撮像画像の一例を示している。この撮像画像においては、記述部202の上に記述203が存在し、その前側に記述者201が存在している。記述者201が移動や身振りや手振りをすることで、このフレームでは記述者201で隠されている記述203の部分も、この後のフレームにおいてカメラ101で撮像できる。
記述者201としては、例えば、大学の講義室で学生に講義を行う教授などの講義者、会社の会議室で他の社員にプレゼンテーションを行う社員などが想定される。記述部202は、ホワイトボードや黒板などの記述可能な部分であり、講義室や会議室の記述可能な壁部であってもよい。
画像処理装置102は、カメラ101で得られた動画像データを処理して記述部分を判断し、記述部分と判断された各部分を記述として表示する表示データを発生し、この表示データを動画像データに重畳し、表示データが重畳された動画像データを、表示装置103-1〜103-Nに配信する。配信は、無線あるいは有線により行われる。
表示装置103-1〜103-Nは、画像処理装置102から上述の表示データが重畳された動画像データを受け取り、当該動画像データに基づいて画像表示をする。この場合、ディスプレイに表示される画像は、記述が重畳されたものとなる。そのため、記述者201によって隠される記述部202上の記述203の視認性が、記述者201と記述203との位置関係を保った状態で確保される。
表示装置103-1〜103-Nの配置位置としては、記述者201が今説明を行っている講義室や会議室などの室内、あるいは他の講義室や会議室、さらには遠隔地などであってもよい。表示装置103-1〜103-Nの配置位置が画像処理装置102から比較的近い場合にはWi−Fiなどの無線LANを使用できる。一方、表示装置103-1〜103-Nの配置位置が遠隔地である場合には、インターネットによる配信などが考えられる。
画像処理装置102から表示装置103-1〜103-Nへの動画像データの配信は必ずしもライブで行われる必要はない。例えば、画像処理装置102で得られた動画像データを記録部に記録保存しておき、適宜なタイミングで再生して表示装置103-1〜103-Nに配信することも考えられる。
画像処理装置102の詳細を説明する。画像処理装置102は、現在のフレーム画像と基準フレーム画像との間で画素毎の差分値を抽出し、この差分値が閾値以上である画素が連続する纏まりを把握し、この纏まり毎に記述部分であるか否かを判断する。具体的には、画像処理装置102は、纏まり毎に、形状評価値、抽出時間評価値および静止時間評価値を用いて記述部分であるか否かを判断する。
画像処理装置102は、形状評価値を、纏まりを包含する最小四角形と纏まりの内部に包含される最大四角形の縦横比の関係性から求める。また、画像処理装置102は、抽出時間評価値を、纏まりに含まれる画素についての現在のフレームおよび現在より前の複数のフレームにおける基準フレーム画像との間の差分値に基づいて求める。また、画像処理装置102は、静止時間評価値を、纏まりに含まれる画素についての現在のフレームおよび現在より前の複数のフレームにおける1フレーム前のフレーム画像との間の差分値に基づいて求める。
また、画像処理装置102は、表示データを動画像データに重畳する際に、記述の視認性を高めるための処理をする。例えば、画像処理装置102は、動画像データの解像度を低下させる処理を行った後に、この動画像データに表示データを重畳する。また、例えば、画像処理装置102は、記述部分と判断された各部分が縁取りされて表示されるように表示データを処理した後に、この表示データを動画像データに重畳する。また、例えば、画像処理装置102は、記述部分と判断された各部分の色が背景画像の色と異なるように動画像データの色情報に基づいて表示データを処理した後に、この表示データを動画像データに重畳する。
図3は、画像処理装置102の構成例を示している。この画像処理装置102は、制御部121と、画像データ入力部122と、記述判断処理部123と、表示データ発生部124と、重畳部125と、画像圧縮処理部126と、ネットワークインタフェース127と、記録部128を有している。
制御部121は、画像処理装置102の各部の動作を制御する。画像データ入力部122は、カメラ101で得られた動画像データを入力する部分である。例えば、この画像データ入力部122は、カメラ101との間を接続するケーブルコネクト部であってもよい。また、例えば、この画像データ入力部122は、カメラ101との間を通信で接続する場合には、無線あるいは有線の通信インタフェースであってもよい。
記述判断処理部123は、画像データ入力部122に入力された動画像データを処理して記述部分を判断する。この記述判断処理部123は、フレーム毎に、図4のフローチャートのスタートからエンドまでの処理を、例えばプログラムに基づいてソフトウェアで実行する。
まず、記述判断処理部123は、ステップST1において、あるフレームで、そのフレームの画像と基準フレーム画像(最初は記述部202に記述が行われる前の状態のフレーム画像)との間で画素毎の差分を抽出し、その差分抽出結果から、画素値差分の大きな画素、つまり基準フレーム画像の状態から変化が生じた画素を抽出し、そのような画素が連続する纏まり(所定数)を把握する。
このようにステップST1で把握される纏まりには、記述203の部分が含まれるが、その他に記述者201等の部分も含まれる。以下のステップでは、纏まり毎に、記述203の部分であるか否かを判断する。この判断には、形状評価、抽出時間評価および静止時間評価の値を用いる。
次に、記述判断処理部123は、ステップST2において、形状評価の値αを求める。記述判断処理部123は、この値αを、纏まりを包含する最小四角形(外部四角形)と纏まりの内部に包含される最大四角形(内部四角形)の縦横比の関係性に基づいて求める。図5(a)は、記述203の部分に対応した纏まりの一例を示しており、矢印Poで示す四角形が外部四角形であり、矢印Piで示す四角形が内部四角形である。また、図5(b)は、記述者201の部分に対応した纏まりの一例を示しており、矢印Qoで示す四角形が外部四角形であり、矢印Qiで示す四角形が内部四角形である。
記述203の部分に対応した纏まりの場合、外部四角形(Po)に比べて内部四角形(Pi)は小さくなることから、形状評価の値αは高くなる。一方、記述者201の部分に対応した纏まりの場合、記述203の部分に対応した纏まりに比べて大きな纏まりとなることから、外部四角形(Qo)に比べて内部四角形(Qi)も一定の大きさを持つ。そのため、形状評価の値αは低くなる。
次に、記述判断処理部123は、ステップST3において、抽出時間評価の値βを求める。記述判断処理部123は、この値βを、纏まりに含まれる画素についての現在のフレームおよび現在より前の複数のフレームにおける基準フレーム画像との間の差分値に基づいて求めるものであり、差分値が大きなフレームが多くあるほどその値は高くなる。
例えば、記述判断処理部123は、纏まりに含まれる画素(全部の画素あるいは一部の画素)について、基準フレーム画像からの差分が大きかったフレーム(差分抽出フレーム)か否かの結果を蓄積していき、連続した差分抽出フレーム数(この評価が複数画素で行われるときは例えば平均値)を評価値βとする。
記述203の部分のような場合、記述された後に大きな差分が抽出され続けるので、評価値βは高くなる。一方、移動している記述者201の部分のような場合、記述者201が通過しきると大きな差分の抽出が途切れるので、評価値βは低くなる。ただし、記述者201が移動せずに止まる場合、記述者201の部分であるにも関わらず評価値βが高くなることがある。
次に、記述判断処理部123は、ステップST4において、静止状態評価の値γを求める。記述判断処理部123は、この値γを、纏まりに含まれる画素についての現在のフレームおよび現在より前の複数のフレームにおける1フレーム前のフレーム画像との間の差分値に基づいて求めるものであり、差分値が大きなフレームが多くあるほどその値は低くなる。
例えば、記述判断処理部123は、纏まりに含まれる画素(全部の画素あるいは一部の画素)について、1フレーム前との画素差分を蓄積していき、その差分値の大きさの逆数(この評価が複数画素で行われるときは例えば平均値)を評価値γとする。
記述203の部分のような場合、1フレーム前の画像との間の画素差分値はゼロとなるか、あるいは小さいため、評価値γは高くなる。一方、移動や身振り手振りする記述者201の部分のような場合、1フレーム前の画像との間の画素差分値が大きくなるため、評価値γは低くなる。
次に、記述判断処理部123は、ステップST5において、ステップST2からステップST4で求めた各評価の値α、β、γを評価関数E(α、β、γ)に代入して、記述か否かを判断するための評価値を得る。そして、記述判断処理部123は、このステップST5において、さらに、評価値が閾値THrより大きいとき、纏まりは、記述部分(記述203の部分)であると判断する。
次に、記述判断処理部123は、ステップST6において、ステップST5で記述部分と判断された纏まりに含まれる各画素に関しては、基本的には、記述部分の画素として追加保持する。しかし、このように記述部分と判断された纏まりに含まれる各画素が、以前に記述部分として保持されている画素であるときは、それはその後に消去された部分に当たるので、記述部分の画素としての保持から削除する。
ここで、保持するとは、例えば、記述部分と判断された纏まりに含まれる各画素の値をフレームメモリの対応画素位置に書き込んで保持しておくことである。なお、記述部分と判断された纏まりに含まれる各画素の値そのものをフレームメモリの対応画素位置に書き込んでおく代わりに、記述部分と判断された纏まりに含まれる各画素の画素位置の情報のみを保持しておく構成であってもよい。
次に、記述判断処理部123は、ステップST7において、ステップST6での保持または削除の結果に基づいて、現時点で記述部分として保持されている各画素の値を記述203に対応した値としたフレーム画像を生成し、当該フレーム画像を新たな基準フレーム画像とする。次のフレームにおける記述判断処理では、このように更新された基準フレーム画像が用いられることとなる。
図3に戻って、表示データ発生部124は、各フレームにおいて、記述判断処理部123で保持や削除の処理がされて更新された記述部分の画素情報に基づいて、各画素を記述部分として表示する表示データを発生する。
重畳部125は、画像データ入力部122に入力された動画像データに、表示データ発生部124で発生された表示データを重畳する。これにより、記述部202の上に記述された記述203を動画像データによる画像の上に重畳して表示することが可能となる。
この場合、重畳部125は、画像上に重畳表示される記述203の視認性を高めるために、例えば以下の処理の一部あるいは全部をする。
例えば、重畳部125は、動画像データの解像度を低下させる処理、例えば空間的なローパスフィルタを使用した高周波成分除去処理などを行った後に、この動画像データに表示データを重畳する。これにより、動画像データによる画像はぼけた状態となり、当該画像に重畳表示される記述203の視認性を高めることができる。
また、例えば、重畳部125は、記述部分と判断された各部分が縁取りされて表示されるように表示データを処理した後に、この表示データを動画像データに重畳する。なお、この縁取りの処理は、表示データ発生部124で行ってもよい。
例えば、記述部分の元々の色が黒色であれば白色による縁取り処理がされ、逆に記述部分の元々の色が白色であれば黒色による縁取り処理がされる。縁取りの色については、これに限定されるものではない。このように縁取りがされることで、例えば、記述部分の元々の色が記述者201の洋服の色に似通っていた場合に、動画像データによる画像に重畳表示される記述203の視認性を高めることができる。
また、例えば、重畳部125は、記述部分と判断された各部分の色が背景画像(動画像データによる画像)の色と異なるように動画像データの色情報に基づいて表示データの色変更処理をした後に、この表示データを動画像データに重畳する。なお、この色変更処理は、表示データ発生部124で行ってもよい。このように表示データの色変更処理がされることで、例えば、記述部分の元々の色が記述者201の洋服の色に似通っていた場合に、動画像データによる画像に重畳表示される記述203の視認性を高めることができる。
画像圧縮処理部126は、重畳部125で表示データが重畳された動画像データに対して、例えば、MPEG方式によりデータ圧縮符号化処理を行って、符号化画像データを生成する。ネットワークインタフェース127は、画像圧縮処理部126で生成された符号化画像データを、無線あるいは有線のネットワークを介して、表示装置103-1〜103-Nに送信する。なお、画像圧縮処理部126で生成された符号化画像データを記録部128に一時的に記録しておき、ネットワークインタフェース127は、適宜なタイミングで記録部128から符号化画像データを読み出し、表示装置103-1〜103-Nに送信することも可能とされる。
図1に示す画像処理システム10の動作を簡単に説明する。カメラ101では、記述者201が記述部202に記述203を加えながら説明している状態が撮像されて、動画像データが得られる。この動画像データは、画像処理装置102に供給される。
画像処理装置102では、カメラ101からの動画像データが処理されて記述部分が判断され、記述部分と判断された各部分を記述として表示する表示データが発生され、この表示データが動画像データに重畳される。そして、画像処理装置102から表示装置103-1〜103-Nに、無線あるいは有線のネットワークを通じて、表示データが重畳された動画像データ(符号化画像データ)が配信される。
表示装置103-1〜103-Nでは、画像処理装置102から受信された動画像データに基づいて、画像表示が行われる。この場合、ディスプレイに表示される画像は、動画像データによる画像の上に記述が重畳表示されたものとなる。
次に、図3に示す画像処理装置102の動作を簡単に説明する。画像データ入力部122に、カメラ101で撮像して得られた動画像データが入力される。この動画像データは、重畳部125および記述判断処理部123に供給される。
記述判断部123では、動画像データが処理され、フレーム毎に記述部分が判断されて、記述部分の画素として保持されていく。記述部分か否かの判断は、現在のフレーム画像と基準フレーム画像との間で画素毎の差分値が抽出され、この差分値が閾値以上である画素が連続する纏まり毎に、形状評価、抽出時間評価および静止時間評価の値を用いて行われる。
この場合、ある期間では記述者201で隠れている状態の記述203の部分も、記述者201が移動や身振りや手振りをすることで、他の期間では記述者201で隠れていない状態となるので、ある程度の時間経過により、記述部202に記述された記述203の部分のほとんどが記述部分の画素として保持されることとなる。
記述判断処理部123でフレーム毎に更新される記述部分の画素情報は表示データ発生部124に送られる。表示データ発生部124では、各フレームにおいて、当該記述部分の画素情報に基づいて、各画素を記述部分として表示する表示データが発生される。この表示データは、重畳部125に供給される。
重畳部125では、画像データ入力部122に入力された動画像データに、表示データ発生部124で発生された表示データが重畳される。この場合、重畳部125では、画像上に重畳表示される記述203の視認性を高めるための処理、例えば、動画像データの解像度を低下させる処理、記述部分と判断された各部分が縁取りされて表示されるように表示データを処理する処理、記述部分と判断された各部分の色が背景画像(動画像データによる画像)の色と異なるように表示データの色変更をする処理などが行われる。
表示データが重畳された動画像データは、重畳部125から画像圧縮処理部126に供給される。画像圧縮処理部126では、表示データが重畳された動画像データに対して、例えば、MPEG方式によりデータ圧縮符号化処理が行われ、符号化画像データが生成される。
この符号化画像データは、ネットワークインタフェース127に直接供給されるか、あるいは一旦記録部128に記録され、適宜なタイミングで再生されてネットワークインタフェース127に供給される。ネットワークインタフェース127により、符号化画像データが、無線あるいは有線のネットワークを通じて、表示装置103-1〜103-Nに送信される。
図6は、表示装置103-1〜103-Nのディスプレイに表示される表示画像の一例を示している。この表示画像においては、記述部202の前側に記述者201が存在する動画像データによる画像の上に、表示データによる記述203が重畳表示されている。また、この例においては、記述203の部分が縁取りされて示されている。そのため、記述者201で隠される記述部202上の記述203の視認性が、記述者201と記述部202上の記述203との位置関係を保った状態で確保されている。
上述したように、図1に示す画像処理システム10において、画像処理装置102では、記述部分と判断された各部分を記述として表示する表示データを発生して動画像データに重畳している。そのため、記述者201によって隠される記述部202上の記述203の視認性を記述者201と記述部202上の記述203との位置関係を保った状態で確保することができる。
また、図1に示す画像処理システム10において、画像処理装置102では、動画像データに表示データを重畳する際に、画像上に重畳表示される記述203の視認性を高めるための処理、例えば、動画像データの解像度を低下させる処理、記述部分と判断された各部分が縁取りされて表示されるように表示データを処理する処理、記述部分と判断された各部分の色が背景画像(動画像データによる画像)の色と異なるように表示データの色変更をする処理などを行っている。そのため、画像上に重畳表示される記述203の視認性を高めことができる。
<2.変形例>
なお、上述実施の形態においては、記述者201の状態によらず、常に動画像データによる画像上に記述203を重畳表示する例を示した。しかし、記述者201が例えば正面を向いて話し始めた状態では、講義出席者や会議主席者は、当該記述者201の一挙手一投足に注目すべきものとも考えられ、その場合には動画像データによる画像上に記述203が重畳表示されないようにしてもよい。
なお、上述実施の形態においては、記述者201の状態によらず、常に動画像データによる画像上に記述203を重畳表示する例を示した。しかし、記述者201が例えば正面を向いて話し始めた状態では、講義出席者や会議主席者は、当該記述者201の一挙手一投足に注目すべきものとも考えられ、その場合には動画像データによる画像上に記述203が重畳表示されないようにしてもよい。
図7は、その場合における画像処理装置102の構成例を示している。この図7において、図3と対応する部分には同一符号を付し、その詳細説明は省略する。顔認識処理部129は、画像データ入力部122に入力された動画像データを処理して記述者201の顔を認識し、記述者201が正面を向いている状態にあるか否かを検知し、その検知結果を制御部121に送る。
制御部121は、記述者201が正面を向いている状態にないときは、上述実施例におけると同様に、記述判断処理部123、表示データ発生部124および重畳部125を動作させる。一方、制御部121は、記述者201が正面を向いている状態にあるときは、記述判断処理部123および表示データ発生部124の動作を一時的に停止させ、重畳部125では、画像データ入力部122に入力された動画像データをそのまま出力とさせる。なお、記述者201が正面を向いている状態にあっても、記述判断処理部123の動作は継続されていてもよい。
図7に示す画像処理装置102のその他の構成および動作は、上述した図3に示す画像処理装置102と同様である。
図8は、記述者201が正面を向いている状態にあるときに表示装置103-1〜103-Nのディスプレイに表示される表示画像の一例を示している。この表示画像においては、記述部202の前側に記述者201が存在する動画像データによる画像の上に、表示データによる記述203は重畳表示されていない。これにより、講義出席者や会議主席者は、ディスプレイ画面を通じて記述者201の一挙手一投足により注目することが可能となる。
なお、動画像データによる画像上に記述203が重畳表示されないようにすることは、記述者201が正面を向いている状態にあるときに限定されるものではなく、その他の場合であってもよい。また、図7の画像処理装置102では記述者201が正面を向いている状態にあるか否かを顔認識処理部129で検知し、その検知結果に基づいて画像データによる画像上に記述203が重畳表示されないようにしている。しかし、動画像データによる画像上に記述203を重畳表示するか否かの判断を人為的に行うことも考えられる。
また、上述実施の形態においては、画像処理装置102は、カメラ101とは別個に設けられている。しかし、カメラ101の内部に、画像処理装置102の機能を備える構成も考えられる。
図9は、その場合におけるカメラ101の構成例を示している。このカメラ101は、制御部111と、撮像部112と、撮像信号処理部113と、画像データ出力部114を有している。制御部111は、カメラ101の各部の動作を制御する。撮像部112は、図示しない撮像レンズおよび撮像素子を有しており、画像を撮像し、撮像信号を出力する。撮像素子は、CCD(Charged Coupled Device)、CMOS(Complementary Metal-Oxide Semiconductor)等の撮像素子である。
撮像信号処理部113は、撮像部112から出力される撮像信号(アナログ信号)に対して、サンプルホールドおよび利得制御、アナログ信号からデジタル信号への変換、さらにホワイトバランス調整、ガンマ補正等を行って、動画像データ(撮像画像データ)を生成する。画像データ出力部114は、撮像信号処理部113で生成された動画像データを外部機器に出力する、例えば、この画像データ出力部114は、例えば外部機器と接続するためのケーブルを接続するコネクタである。また、例えば、この画像データ出力部114は、動画像データを外部機器に有線または無線のネットワークで送信するネットワークインタフェースである。
また、このカメラ101は、さらに、記述判断処理部123と、表示データ発生部124と、重畳部125と、画像圧縮処理部126と、ネットワークインタフェース127と、記録部128を有している。これらについては、上述の画像処理装置102(図3参照)で説明した通りであるので、ここではその説明を省略する。
また、上述実施の形態においては、記述者201が記述部202、例えばホワイトボード、黒板などに記述203を加えながら説明している状態を撮像して得られた動画像データを処理するものであったが、その他の同様の動画像データを処理することもできる。例えば、記述者が机上で紙に記述を加えながら説明している状態を撮像して得られた動画像データを同様に処理して、記述の視認性を高めることも可能である。
また、記述部202上の記述は、文字だけに限定されるものではなく、図形やマークであってもよく、また、筆記によるものだけでなく、記述部202上に掲示されたものであってもよい。
また、本技術は、以下のような構成を取ることもできる。
(1)記述者が記述部に記述している状態を撮像して得られた動画像データを処理して記述部分を判断する記述判断処理部と、
上記記述部分と判断された各部分を記述として表示する表示データを発生して上記動画像データに重畳する記述重畳処理部を備える
画像処理装置。
(2)上記記述判断処理部は、
現在のフレーム画像と基準フレーム画像との間で画素毎の差分値を抽出し、該差分値が閾値以上である画素が連続する纏まりを把握し、該纏まり毎に上記記述部分であるか否かを判断する
前記(1)に記載の画像処理装置。
(3)上記記述判断処理部は、
上記纏まり毎に、形状評価値、抽出時間評価値および静止時間評価値を用いて上記記述部分であるか否かを判断し、
上記記述判断処理部は、
上記形状評価値を、上記纏まりを包含する最小四角形と上記纏まりの内部に包含される最大四角形の縦横比の関係性から求め、
上記抽出時間評価値を、上記纏まりに含まれる画素についての現在のフレームおよび現在より前の複数のフレームにおける上記基準フレーム画像との間の差分値に基づいて求め、
上記静止時間評価値を、上記纏まりに含まれる画素についての現在のフレームおよび現在より前の複数のフレームにおける1フレーム前のフレーム画像との間の差分値に基づいて求める
前記(2)に記載の画像処理装置。
(4)上記記述重畳処理部は、上記表示データを上記動画像データに重畳する際に、記述の視認性を高めるための処理をする
前記(1)から(3)のいずれかに記載の画像処理装置。
(5)上記記述重畳処理部は、
上記動画像データの解像度を低下させる処理を行った後に、該動画像データに上記表示データを重畳する
前記(4)に記載の画像処理装置。
(6)上記記述重畳処理部は、
上記記述部分と判断された各部分が縁取りされて表示されるように上記表示データを処理した後に、該表示データを上記動画像データに重畳する
前記(4)または(5)に記載の画像処理装置。
(7)上記記述重畳処理部は、
上記記述部分と判断された各部分の色が背景画像の色と異なるように上記動画像データの色情報に基づいて上記表示データを処理した後に、該表示データを上記動画像データに重畳する
前記(4)から(6)のいずれかに記載の画像処理装置。
(8)上記動画像データに基づいて上記記述者の顔が正面を向いている状態が検知されるとき、上記動画像データに上記表示データを重畳しないように上記記述重畳処理部を制御する記述重畳制御部をさらに備える
前記(1)から(7)のいずれかに記載の画像処理装置。
(9)上記記述者が記述部に記述している状態を撮像する撮像部と、
上記撮像部で得られた撮像信号を処理して上記動画像データを得る撮像信号処理部をさらに備える
前記(1)から(8)のいずれかに記載の画像処理装置。
(10)上記記述重畳処理部で得られた動画像データを外部機器に送信する送信部をさらに備える
前記(1)から(9)のいずれかに記載の画像処理装置。
(11)記述判断処理部が、記述者が記述部に記述している状態を撮像して得られた動画像データを処理して記述部分を判断する記述判断処理ステップと、
記述重畳処理部が、上記記述部分と判断された各部分を記述として表示する表示データを発生して上記動画像データに重畳する記述重畳処理ステップを有する
画像処理方法。
(1)記述者が記述部に記述している状態を撮像して得られた動画像データを処理して記述部分を判断する記述判断処理部と、
上記記述部分と判断された各部分を記述として表示する表示データを発生して上記動画像データに重畳する記述重畳処理部を備える
画像処理装置。
(2)上記記述判断処理部は、
現在のフレーム画像と基準フレーム画像との間で画素毎の差分値を抽出し、該差分値が閾値以上である画素が連続する纏まりを把握し、該纏まり毎に上記記述部分であるか否かを判断する
前記(1)に記載の画像処理装置。
(3)上記記述判断処理部は、
上記纏まり毎に、形状評価値、抽出時間評価値および静止時間評価値を用いて上記記述部分であるか否かを判断し、
上記記述判断処理部は、
上記形状評価値を、上記纏まりを包含する最小四角形と上記纏まりの内部に包含される最大四角形の縦横比の関係性から求め、
上記抽出時間評価値を、上記纏まりに含まれる画素についての現在のフレームおよび現在より前の複数のフレームにおける上記基準フレーム画像との間の差分値に基づいて求め、
上記静止時間評価値を、上記纏まりに含まれる画素についての現在のフレームおよび現在より前の複数のフレームにおける1フレーム前のフレーム画像との間の差分値に基づいて求める
前記(2)に記載の画像処理装置。
(4)上記記述重畳処理部は、上記表示データを上記動画像データに重畳する際に、記述の視認性を高めるための処理をする
前記(1)から(3)のいずれかに記載の画像処理装置。
(5)上記記述重畳処理部は、
上記動画像データの解像度を低下させる処理を行った後に、該動画像データに上記表示データを重畳する
前記(4)に記載の画像処理装置。
(6)上記記述重畳処理部は、
上記記述部分と判断された各部分が縁取りされて表示されるように上記表示データを処理した後に、該表示データを上記動画像データに重畳する
前記(4)または(5)に記載の画像処理装置。
(7)上記記述重畳処理部は、
上記記述部分と判断された各部分の色が背景画像の色と異なるように上記動画像データの色情報に基づいて上記表示データを処理した後に、該表示データを上記動画像データに重畳する
前記(4)から(6)のいずれかに記載の画像処理装置。
(8)上記動画像データに基づいて上記記述者の顔が正面を向いている状態が検知されるとき、上記動画像データに上記表示データを重畳しないように上記記述重畳処理部を制御する記述重畳制御部をさらに備える
前記(1)から(7)のいずれかに記載の画像処理装置。
(9)上記記述者が記述部に記述している状態を撮像する撮像部と、
上記撮像部で得られた撮像信号を処理して上記動画像データを得る撮像信号処理部をさらに備える
前記(1)から(8)のいずれかに記載の画像処理装置。
(10)上記記述重畳処理部で得られた動画像データを外部機器に送信する送信部をさらに備える
前記(1)から(9)のいずれかに記載の画像処理装置。
(11)記述判断処理部が、記述者が記述部に記述している状態を撮像して得られた動画像データを処理して記述部分を判断する記述判断処理ステップと、
記述重畳処理部が、上記記述部分と判断された各部分を記述として表示する表示データを発生して上記動画像データに重畳する記述重畳処理ステップを有する
画像処理方法。
10・・・画像処理システム
101・・・カメラ
102・・・画像処理装置
103-1〜103-N・・・表示装置
111・・・制御部
112・・・撮像部
113・・・撮像信号処理部
114・・・画像データ出力部
121・・・制御部
122・・・画像データ入力部
123・・・記述判断処理部
124・・・表示データ発生部
125・・・重畳部
126・・・画像圧縮処理部
127・・・ネットワークインタフェース
128・・・記録部
129・・・顔認識処理部
201・・・記述者
202・・・記述部
203・・・記述
101・・・カメラ
102・・・画像処理装置
103-1〜103-N・・・表示装置
111・・・制御部
112・・・撮像部
113・・・撮像信号処理部
114・・・画像データ出力部
121・・・制御部
122・・・画像データ入力部
123・・・記述判断処理部
124・・・表示データ発生部
125・・・重畳部
126・・・画像圧縮処理部
127・・・ネットワークインタフェース
128・・・記録部
129・・・顔認識処理部
201・・・記述者
202・・・記述部
203・・・記述
Claims (11)
- 記述者が記述部に記述している状態を撮像して得られた動画像データを処理して記述部分を判断する記述判断処理部と、
上記記述部分と判断された各部分を記述として表示する表示データを発生して上記動画像データに重畳する記述重畳処理部を備える
画像処理装置。 - 上記記述判断処理部は、
現在のフレーム画像と基準フレーム画像との間で画素毎の差分値を抽出し、該差分値が閾値以上である画素が連続する纏まりを把握し、該纏まり毎に上記記述部分であるか否かを判断する
請求項1に記載の画像処理装置。 - 上記記述判断処理部は、
上記纏まり毎に、形状評価値、抽出時間評価値および静止時間評価値を用いて上記記述部分であるか否かを判断し、
上記記述判断処理部は、
上記形状評価値を、上記纏まりを包含する最小四角形と上記纏まりの内部に包含される最大四角形の縦横比の関係性から求め、
上記抽出時間評価値を、上記纏まりに含まれる画素についての現在のフレームおよび現在より前の複数のフレームにおける上記基準フレーム画像との間の差分値に基づいて求め、
上記静止時間評価値を、上記纏まりに含まれる画素についての現在のフレームおよび現在より前の複数のフレームにおける1フレーム前のフレーム画像との間の差分値に基づいて求める
請求項2に記載の画像処理装置。 - 上記記述重畳処理部は、上記表示データを上記動画像データに重畳する際に、記述の視認性を高めるための処理をする
請求項1に記載の画像処理装置。 - 上記記述重畳処理部は、
上記動画像データの解像度を低下させる処理を行った後に、該動画像データに上記表示データを重畳する
請求項4に記載の画像処理装置。 - 上記記述重畳処理部は、
上記記述部分と判断された各部分が縁取りされて表示されるように上記表示データを処理した後に、該表示データを上記動画像データに重畳する
請求項4に記載の画像処理装置。 - 上記記述重畳処理部は、
上記記述部分と判断された各部分の色が背景画像の色と異なるように上記動画像データの色情報に基づいて上記表示データを処理した後に、該表示データを上記動画像データに重畳する
請求項4に記載の画像処理装置。 - 上記動画像データに基づいて上記記述者の顔が正面を向いている状態が検知されるとき、上記動画像データに上記表示データを重畳しないように上記記述重畳処理部を制御する記述重畳制御部をさらに備える
請求項1に記載の画像処理装置。 - 上記記述者が記述部に記述している状態を撮像する撮像部と、
上記撮像部で得られた撮像信号を処理して上記動画像データを得る撮像信号処理部をさらに備える
請求項1に記載の画像処理装置。 - 上記記述重畳処理部で得られた動画像データを外部機器に送信する送信部をさらに備える
請求項1に記載の画像処理装置。 - 記述判断処理部が、記述者が記述部に記述している状態を撮像して得られた動画像データを処理して記述部分を判断する記述判断処理ステップと、
記述重畳処理部が、上記記述部分と判断された各部分を記述として表示する表示データを発生して上記動画像データに重畳する記述重畳処理ステップを有する
画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021189810A JP7218786B2 (ja) | 2017-03-08 | 2021-11-24 | 画像処理装置、画像処理方法およびプログラム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017043471 | 2017-03-08 | ||
JP2017043471 | 2017-03-08 | ||
PCT/JP2018/007905 WO2018163977A1 (ja) | 2017-03-08 | 2018-03-01 | 画像処理装置および画像処理方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021189810A Division JP7218786B2 (ja) | 2017-03-08 | 2021-11-24 | 画像処理装置、画像処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018163977A1 true JPWO2018163977A1 (ja) | 2020-01-09 |
JP6984648B2 JP6984648B2 (ja) | 2021-12-22 |
Family
ID=63448953
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019504531A Active JP6984648B2 (ja) | 2017-03-08 | 2018-03-01 | 画像処理装置および画像処理方法 |
JP2021189810A Active JP7218786B2 (ja) | 2017-03-08 | 2021-11-24 | 画像処理装置、画像処理方法およびプログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021189810A Active JP7218786B2 (ja) | 2017-03-08 | 2021-11-24 | 画像処理装置、画像処理方法およびプログラム |
Country Status (6)
Country | Link |
---|---|
US (2) | US11102425B2 (ja) |
EP (1) | EP3595289A4 (ja) |
JP (2) | JP6984648B2 (ja) |
KR (1) | KR102435737B1 (ja) |
CN (2) | CN110366849B (ja) |
WO (1) | WO2018163977A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10873709B2 (en) | 2018-07-10 | 2020-12-22 | Fuji Xerox Co., Ltd. | Systems and methods for automatic detection and insetting of digital streams into a 360-degree video |
US20230154011A1 (en) * | 2020-05-15 | 2023-05-18 | Sony Group Corporation | Image processing device, image processing method, and program |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011044061A (ja) * | 2009-08-24 | 2011-03-03 | Tokyo Univ Of Agriculture & Technology | 画像表示装置、入力装置、及び画像表示方法 |
JP2012064214A (ja) * | 2010-09-15 | 2012-03-29 | Sharp Corp | 画像表示方法、共有ボードシステム |
JP2014010781A (ja) * | 2012-07-02 | 2014-01-20 | Sharp Corp | 表示装置、表示方法、制御プログラム、および、記録媒体 |
JP2014153419A (ja) * | 2013-02-05 | 2014-08-25 | Kobunshoin Co Ltd | 書写教則教材、および書写教則教材の作成方法 |
JP2016119567A (ja) * | 2014-12-19 | 2016-06-30 | シャープ株式会社 | 画像処理装置、画像処理方法、電子機器、及び画像処理プログラム |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4000844B2 (ja) | 2001-12-11 | 2007-10-31 | 日本電気株式会社 | コンテンツ配信システム、コンテンツ配信システムの配信サーバ及び表示端末、コンテンツ配信プログラム |
JP2004212895A (ja) * | 2003-01-08 | 2004-07-29 | Nec Corp | 教育支援システム及び方法並びに教育支援用プログラム |
US7224847B2 (en) * | 2003-02-24 | 2007-05-29 | Microsoft Corp. | System and method for real-time whiteboard streaming |
US7880719B2 (en) * | 2006-03-23 | 2011-02-01 | International Business Machines Corporation | Recognition and capture of whiteboard markups in relation to a projected image |
US8639032B1 (en) * | 2008-08-29 | 2014-01-28 | Freedom Scientific, Inc. | Whiteboard archiving and presentation method |
CN101370115A (zh) * | 2008-10-20 | 2009-02-18 | 深圳华为通信技术有限公司 | 会议终端、会议服务器、会议系统及数据处理方法 |
JP5493709B2 (ja) * | 2009-03-13 | 2014-05-14 | 株式会社リコー | 映像編集装置 |
US20110145725A1 (en) * | 2009-12-11 | 2011-06-16 | Richard John Campbell | Methods and Systems for Attaching Semantics to a Collaborative Writing Surface |
JP5598232B2 (ja) * | 2010-10-04 | 2014-10-01 | ソニー株式会社 | 情報処理装置、情報処理システムおよび情報処理方法 |
CN102651810A (zh) * | 2011-02-25 | 2012-08-29 | 株式会社理光 | 白板共享系统和白板共享方法 |
JP6102215B2 (ja) * | 2011-12-21 | 2017-03-29 | 株式会社リコー | 画像処理装置、画像処理方法およびプログラム |
US9542958B2 (en) * | 2012-12-18 | 2017-01-10 | Seiko Epson Corporation | Display device, head-mount type display device, method of controlling display device, and method of controlling head-mount type display device |
JP6261198B2 (ja) * | 2013-06-18 | 2018-01-17 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
US9830060B2 (en) * | 2013-08-28 | 2017-11-28 | Microsoft Technology Licensing, Llc | Manipulation of content on a surface |
JP2015069234A (ja) | 2013-09-26 | 2015-04-13 | シャープ株式会社 | 表示処理装置、並びにその制御方法および制御プログラム |
EP3120494B1 (en) * | 2014-03-18 | 2020-07-29 | Getgo, Inc. | Sharing physical whiteboard content in electronic conference |
CN104980475B (zh) * | 2014-04-04 | 2019-12-10 | 北京百度网讯科技有限公司 | 显示内容的同步呈现方法和装置 |
JP2016009266A (ja) * | 2014-06-23 | 2016-01-18 | コニカミノルタ株式会社 | 撮影システム、撮影の方法、およびコンピュータープログラム |
CN104575120B (zh) * | 2015-01-09 | 2017-02-22 | 代四广 | 一种用于辅助教学的展示系统 |
JP6672592B2 (ja) * | 2015-02-19 | 2020-03-25 | 富士通株式会社 | 発表者選択支援プログラム、発表者選択支援方法、および情報処理装置 |
US10061467B2 (en) * | 2015-04-16 | 2018-08-28 | Microsoft Technology Licensing, Llc | Presenting a message in a communication session |
KR101702535B1 (ko) * | 2015-08-06 | 2017-02-22 | 주식회사 미디어와사람들 | 결함내성 설계반영의 멀티데이터 녹취시스템 및 안전성 향상 방법 |
KR101904817B1 (ko) * | 2017-12-21 | 2018-10-05 | (주) 미스터멘션 | 통화 내용 음성-텍스트 변환 녹취록 생성 시스템 |
US10547768B2 (en) * | 2018-05-04 | 2020-01-28 | International Business Machines Corporation | Physical obstruction correction based virtual display generation |
KR102100178B1 (ko) * | 2019-01-21 | 2020-05-15 | 퓨렌스 주식회사 | 블록 체인 기반의 녹취 정보 위변조 확인 시스템 및 그 방법 |
-
2018
- 2018-03-01 KR KR1020197025736A patent/KR102435737B1/ko active IP Right Grant
- 2018-03-01 JP JP2019504531A patent/JP6984648B2/ja active Active
- 2018-03-01 CN CN201880014912.0A patent/CN110366849B/zh active Active
- 2018-03-01 US US16/482,877 patent/US11102425B2/en active Active
- 2018-03-01 WO PCT/JP2018/007905 patent/WO2018163977A1/ja unknown
- 2018-03-01 CN CN202210019049.6A patent/CN114257773A/zh active Pending
- 2018-03-01 EP EP18764182.4A patent/EP3595289A4/en not_active Withdrawn
-
2021
- 2021-07-23 US US17/384,261 patent/US11659134B2/en active Active
- 2021-11-24 JP JP2021189810A patent/JP7218786B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011044061A (ja) * | 2009-08-24 | 2011-03-03 | Tokyo Univ Of Agriculture & Technology | 画像表示装置、入力装置、及び画像表示方法 |
JP2012064214A (ja) * | 2010-09-15 | 2012-03-29 | Sharp Corp | 画像表示方法、共有ボードシステム |
JP2014010781A (ja) * | 2012-07-02 | 2014-01-20 | Sharp Corp | 表示装置、表示方法、制御プログラム、および、記録媒体 |
JP2014153419A (ja) * | 2013-02-05 | 2014-08-25 | Kobunshoin Co Ltd | 書写教則教材、および書写教則教材の作成方法 |
JP2016119567A (ja) * | 2014-12-19 | 2016-06-30 | シャープ株式会社 | 画像処理装置、画像処理方法、電子機器、及び画像処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
EP3595289A4 (en) | 2020-03-04 |
US11659134B2 (en) | 2023-05-23 |
JP6984648B2 (ja) | 2021-12-22 |
US20190364225A1 (en) | 2019-11-28 |
KR20190122692A (ko) | 2019-10-30 |
JP7218786B2 (ja) | 2023-02-07 |
CN114257773A (zh) | 2022-03-29 |
US11102425B2 (en) | 2021-08-24 |
WO2018163977A1 (ja) | 2018-09-13 |
KR102435737B1 (ko) | 2022-08-23 |
CN110366849A (zh) | 2019-10-22 |
CN110366849B (zh) | 2022-02-11 |
EP3595289A1 (en) | 2020-01-15 |
JP2022036991A (ja) | 2022-03-08 |
US20210352223A1 (en) | 2021-11-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9270941B1 (en) | Smart video conferencing system | |
US20130242127A1 (en) | Image creating device and image creating method | |
JP6421754B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP7218786B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2008511258A (ja) | リアルタイム画像安定化 | |
CN108010037A (zh) | 图像处理方法、装置及存储介质 | |
JP5317630B2 (ja) | 画像配信装置、方法及びプログラム | |
CN103916597A (zh) | 一种模拟场景的拍摄方法 | |
KR102343325B1 (ko) | 영상 압축 방법 및 영상 복원 방법 | |
US10986401B2 (en) | Image processing apparatus, image processing system, and image processing method | |
WO2019234953A1 (en) | Information processing apparatus, information processing method, and program | |
US20230300475A1 (en) | Image processing method and apparatus, and electronic device | |
JP7334470B2 (ja) | 映像処理装置、ビデオ会議システム、映像処理方法、およびプログラム | |
KR102372711B1 (ko) | 영상 촬영 장치 및 이의 제어 방법 | |
CN113810725A (zh) | 视频处理方法、装置、存储介质及视频通讯终端 | |
JP5742305B2 (ja) | 描画画像処理装置 | |
JP2021005798A (ja) | 撮像装置、撮像装置の制御方法およびプログラム | |
JP7370769B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
CN109145831A (zh) | 一种用于视频融合中的人脸检测方法和装置 | |
US20220050583A1 (en) | Image processing apparatus, image processing method, and program | |
JP6254862B2 (ja) | 撮像装置およびその制御方法、システム、並びにプログラム | |
JP2019114889A (ja) | 投影装置および投影装置の較正方法 | |
JP2015115857A (ja) | 装置、システム、方法、及びプログラム | |
JP2019057858A (ja) | 投影装置およびその制御方法 | |
JP2016071035A (ja) | 表示装置、端末装置、情報処理装置、表示方法、表示システム及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210120 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211026 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211108 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6984648 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |