JP7250101B1 - Image processing device, information processing device, video conference server, and video conference system - Google Patents
Image processing device, information processing device, video conference server, and video conference system Download PDFInfo
- Publication number
- JP7250101B1 JP7250101B1 JP2021196770A JP2021196770A JP7250101B1 JP 7250101 B1 JP7250101 B1 JP 7250101B1 JP 2021196770 A JP2021196770 A JP 2021196770A JP 2021196770 A JP2021196770 A JP 2021196770A JP 7250101 B1 JP7250101 B1 JP 7250101B1
- Authority
- JP
- Japan
- Prior art keywords
- image data
- reference value
- width
- image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 79
- 230000010365 information processing Effects 0.000 title claims description 66
- 238000013459 approach Methods 0.000 claims abstract description 13
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 21
- 230000015654 memory Effects 0.000 claims description 18
- 230000002194 synthesizing effect Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000001815 facial effect Effects 0.000 claims description 4
- 238000000034 method Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 17
- 238000004891 communication Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 11
- 210000003128 head Anatomy 0.000 description 7
- 230000008859 change Effects 0.000 description 4
- 239000002131 composite material Substances 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000746998 Tragus Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Analysis (AREA)
Abstract
【課題】共通の背景に配置される参加者の顔の大きさのばらつきを低減すること。【解決手段】画像処理部20は、画像データを取得する画像取得部21と、画像データに含まれる人物の顔領域を特定する顔領域特定部22と、特定された顔領域の所定高さ位置における横幅の寸法を横幅寸法として検出する寸法検出部23と、年齢と顔領域の横幅基準値とが関連付けられた基準情報から人物の年齢に対応する横幅基準値を特定する基準値特定部27と、特定された横幅基準値に横幅寸法を近づけるように画像データを調整する画像調整部28と、調整後の画像データを出力する出力部29とを備える。【選択図】図4An object of the present invention is to reduce variation in face sizes of participants placed on a common background. An image processing unit (20) includes an image acquisition unit (21) for acquiring image data, a face region specifying unit (22) for specifying a face region of a person included in the image data, and a predetermined height position of the specified face region. a dimension detection unit 23 for detecting the width dimension as the width dimension; and a reference value identification unit 27 for identifying the width reference value corresponding to the age of the person from the reference information in which the age and the width reference value of the face area are associated. , an image adjustment unit 28 for adjusting image data so that the width dimension approaches the specified width reference value, and an output unit 29 for outputting the adjusted image data. [Selection drawing] Fig. 4
Description
本発明は、画像処理装置、情報処理装置、ビデオ会議サーバ、及びビデオ会議システムに関するものである。 The present invention relates to an image processing device, an information processing device, a videoconference server, and a videoconference system.
近年、ビデオ会議が頻繁に行われるようになり、これに伴いビデオ会議に関する様々なアプリケーションツールが提案されている。その中の一つに、ビデオ会議に参加している参加者を共通の背景下に配置することにより、参加者があたかも共通の空間に集まってミーティングやセミナーの傍聴を行っているような感覚を参加者に与えることのできる技術が提案されている。例えば、ズーム ビデオ コミュニケーションズ インコーポレイテッド社が提供する「イマーシブビュー(immersive view)」では、ホストが予め準備された複数の背景の中から好みの背景を選択でき、選択した背景の中に参加者の画像を手動で配置することができる。 In recent years, video conferences have become more frequent, and along with this, various application tools related to video conferences have been proposed. One of them is that by placing the participants in the video conference under a common background, participants can feel as if they are gathering in a common space and listening to the meeting or seminar. Techniques are proposed that can be given to participants. For example, in the "immersive view" provided by Zoom Video Communications, Inc., the host can select a favorite background from among multiple prepared backgrounds, and the participant's image is displayed in the selected background. can be placed manually.
しかしながら、ビデオ会議の各参加者から送信される画像内における各参加者の顔を含む体の大きさ、顔の大きさ、顔の高さ位置は、さまざまである。このため、各参加者から受信した画像データをそのまま配置しようとすると、図14に例示するように、参加者間で顔の位置や高さが不揃いとなり、全体として違和感のある画像となる可能性があった。 However, the size of the body including the face of each participant, the size of the face, and the height position of the face in the image transmitted from each participant of the video conference vary. Therefore, if the image data received from each participant is arranged as it is, as shown in FIG. 14, the positions and heights of the faces of the participants may become uneven, and the image as a whole may appear unnatural. was there.
本発明は、このような事情に鑑みてなされたものであって、共通の背景に配置される参加者の顔の大きさのばらつきを低減することのできる画像処理装置、情報処理装置、ビデオ会議サーバ、及びビデオ会議システムを提供することを目的とする。 The present invention has been made in view of such circumstances, and provides an image processing device, an information processing device, and a video conference that can reduce variations in face size of participants placed on a common background. The purpose is to provide a server and a video conference system.
本発明の第一態様は、プロセッサと、前記プロセッサによって実行されるように構成されたプログラムを記憶するメモリと、を備え、前記プログラムは、画像データを取得し、前記画像データに含まれる人物の顔領域を特定し、特定した顔領域の所定高さ位置における横幅の寸法を横幅寸法として検出し、年齢と顔領域の横幅基準値とが関連付けられた基準情報から前記人物の年齢に対応する横幅基準値を特定し、特定された前記横幅基準値に前記横幅寸法を近づけるように前記画像データを調整し、調整後の前記画像を出力するための命令を含む画像処理装置である。 A first aspect of the present invention comprises a processor and a memory storing a program configured to be executed by the processor, the program acquiring image data and displaying images of a person included in the image data. A face area is identified, a width dimension at a predetermined height position of the identified face area is detected as a width dimension, and a width corresponding to the age of the person is obtained from reference information in which the age and the width reference value of the face area are associated. The image processing apparatus includes instructions for specifying a reference value, adjusting the image data so that the width dimension approaches the specified width reference value, and outputting the adjusted image.
本発明の第二態様は、画像データを取得する画像取得部と、前記画像データに含まれる人物の顔領域を特定する顔領域特定部と、特定された顔領域の所定高さ位置における横幅の寸法を横幅寸法として検出する寸法検出部と、年齢と顔領域の横幅基準値とが関連付けられた基準情報から前記人物の年齢に対応する横幅基準値を特定する基準値特定部と、特定された横幅基準値に前記横幅寸法を近づけるように前記画像データを調整する画像調整部と、調整後の前記画像データを出力する出力部とを具備する画像処理装置である。 A second aspect of the present invention includes an image acquisition unit that acquires image data, a face region specifying unit that specifies a face region of a person included in the image data, and a width of the specified face region at a predetermined height position. a dimension detection unit that detects the dimension as a width dimension; a reference value identification unit that identifies a width reference value corresponding to the age of the person from reference information in which the age and the width reference value of the face area are associated; The image processing apparatus includes an image adjustment unit that adjusts the image data so that the width dimension approaches a width reference value, and an output unit that outputs the adjusted image data.
本発明の第三態様は、コンピュータを上記画像処理装置として機能させるためのプログラムである。 A third aspect of the present invention is a program for causing a computer to function as the image processing apparatus.
本発明の第四態様は、上記画像処理装置を備える情報処理装置である。 A fourth aspect of the present invention is an information processing apparatus including the above image processing apparatus.
本発明の第五態様は、画像データを取得する工程と、前記画像データに含まれる人物の顔領域を特定する工程と、特定された顔領域の所定高さ位置における横幅の寸法を横幅寸法として検出する工程と、年齢と顔領域の横幅基準値とが関連付けられた基準情報から前記人物の年齢に対応する横幅基準値を特定する工程と、特定された横幅基準値に前記横幅寸法を近づけるように前記画像データを調整する工程と、調整後の前記画像データを出力する工程とをコンピュータが実行する画像処理方法である。 A fifth aspect of the present invention comprises a step of obtaining image data, a step of identifying a face region of a person included in the image data, and a width dimension at a predetermined height position of the identified face region as a width dimension. identifying a width reference value corresponding to the age of the person from reference information in which the age and the width reference value of the face area are associated; and bringing the width dimension closer to the identified width reference value. and a step of outputting the adjusted image data.
本発明の第六態様は、複数の情報処理装置と、複数の前記情報処理装置から調整後の前記画像データを受信するビデオ会議サーバとを備え、各前記情報処理装置は、上記記載の画像処理装置を備え、前記ビデオ会議サーバは、各前記情報処理装置から受信した前記画像データを共通の背景下に配置する画像合成部を備えるビデオ会議システムである。 A sixth aspect of the present invention includes a plurality of information processing devices, and a video conference server that receives the adjusted image data from the plurality of information processing devices, each of the information processing devices performing the image processing described above. device, wherein the videoconference server is a videoconferencing system comprising an image synthesizing unit that arranges the image data received from each of the information processing devices under a common background.
本発明の第七態様は、ビデオ会議の複数の参加者の画像データを受信する受信部と、各前記画像データに含まれる参加者の顔領域を特定する顔領域特定部と、特定された顔領域の所定高さ位置における横幅の寸法を横幅寸法として検出する寸法検出部と、各前記画像データにおいて検出された複数の横幅寸法を統計的に処理することにより、基準となる横幅基準値を演算し、各前記画像データにおける各前記横幅寸法を前記横幅基準値に近づけるように、各前記画像データを調整する画像調整部と、各前記画像データを共通のバーチャル背景に配置する画像合成部とを備えるビデオ会議サーバである。 A seventh aspect of the present invention is a receiving unit for receiving image data of a plurality of participants in a video conference, a face area specifying unit for specifying face areas of the participants included in each of the image data, and the specified faces. A dimension detection unit that detects a width dimension at a predetermined height position of an area as a width dimension, and a width reference value that serves as a reference is calculated by statistically processing a plurality of width dimensions detected in each of the image data. and an image adjustment unit for adjusting each of the image data so that each of the width dimensions of each of the image data approaches the width reference value, and an image synthesizing unit for arranging each of the image data on a common virtual background. video conferencing server.
本発明によれば、共通の背景に配置される参加者の顔の大きさのばらつきを低減することができるという効果を奏する。 ADVANTAGE OF THE INVENTION According to this invention, it is effective in the ability to reduce the dispersion|variation in the size of the face of the participant arranged on a common background.
〔第1実施形態〕
以下に、本発明に係る画像処理装置、情報処理装置、ビデオ会議サーバ、及びビデオ会議システムの第1実施形態について、図面を参照して説明する。
[First Embodiment]
A first embodiment of an image processing apparatus, an information processing apparatus, a videoconference server, and a videoconference system according to the present invention will be described below with reference to the drawings.
図1は、本発明の第1実施形態に係るビデオ会議システム1のシステム構成を概略的に示したシステム構成図である。図1に示すように、ネットワーク8には、複数の情報処理装置10及びビデオ会議サーバ50が接続されている。情報処理装置10の一例として、ノートPC、タブレット端末、スマートフォンなどが挙げられる。以下説明の便宜上、情報処理装置10としてノートPCを例示して説明する。
なお、図1に示した例では、3台の情報処理装置10が図示されているが、情報処理装置の接続台数はこれに限られない。
FIG. 1 is a system configuration diagram schematically showing the system configuration of a
Although three
図2は、本発明の第1実施形態に係る情報処理装置10の一例としての概略外観図である。図2に示すように、情報処理装置10は、いずれも略直方体である本体側筐体2及びディスプレイ側筐体3を備える。本体側筐体2は、入力デバイス4を備える。入力デバイス4は、使用者が入力操作を行うための使用者インターフェースであり、文字、コマンド等を入力する各種キーより構成されるキーボードや、画面上のカーソルを移動させたり、各種メニューを選択するタッチパッド等を備えている。
FIG. 2 is a schematic external view as an example of the
ディスプレイ側筐体3は、画像を表示するディスプレイ5を備える。本実施形態において、ディスプレイ5は、LCD(Liquid Crystal Display)を例示するが、LCDに限らず有機EL(Electroluminescence)ディスプレイ等の他の表示機器、又はタッチパネルとされてもよい。LCDは、入力される表示データをビデオ信号に変換し、変換したビデオ信号に応じた各種情報を表示画面に表示する。
The display-
本体側筐体2及びディスプレイ側筐体3は、それぞれの端部で一対の連結部6によって連結されている。連結部6は、ヒンジであり、本体側筐体2及びディスプレイ側筐体3を開閉可能に支持している。
The body-
また、ディスプレイ側筐体3は、画像を取得するためのカメラ7を備える。カメラ7は、例えば、ディスプレイ側筐体3に設けられた表示画面の上方(連結部6で連結された側部と反対側の側部)の中央部に配置され、前方の人物(例えば、利用者の顔)を撮像可能とされている。
The display-
図3は、本実施形態に係る情報処理装置10のハードウェア構成の一例を示した概略構成図である。図3に示すように、情報処理装置10は、上述した入力デバイス4、ディスプレイ5、カメラ7に加えて、CPU(プロセッサ)11、メインメモリ12、記憶部13、外部インターフェース14、通信インターフェース15、スピーカ16、及びマイク17などを備えている。これら各部は直接的にまたはバスを介して間接的に相互に接続されており互いに連携して各種処理を実行する。
FIG. 3 is a schematic configuration diagram showing an example of the hardware configuration of the
CPU11は、例えば、バスを介して接続された記憶部13に格納されたOS(Operating System)により情報処理装置10全体の制御を行うとともに、記憶部13に格納された各種プログラムを実行することにより各種処理を実行する。CPU11は、複数設けられており、互いに協働して処理を実現させてもよい。
The
メインメモリ12は、キャッシュメモリ、RAM(Random Access Memory)等の書き込み可能なメモリで構成され、CPU11の実行プログラムの読み出し、実行プログラムによる処理データの書き込み等を行う作業領域として利用される。
The
記憶部13は、非一時的な記録媒体(non-transitory computer readable storage medium)である。記憶部13の一例として、ROM(Read Only Memory)、HDD(Hard Disk Drive)、フラッシュメモリなどが挙げられる。記憶部13は、例えば、Windows(登録商標)、iOS(登録商標)、Android(登録商標)等の情報処理装置10全体の制御を行うためのOS、BIOS(Basic Input/Output System)、周辺機器類をハードウェア操作するための各種デバイスドライバ、各種アプリケーションソフトウェア、及び各種データやファイル等を格納する。また、記憶部13には、各種処理を実現するためのプログラムや、各種処理を実現するために必要とされる各種データが格納されている。記憶部13は、複数設けられていてもよく、各記憶部13に上述したようなデータが分割されて格納されていてもよい。
The
外部インターフェース14は、外部機器と接続するためのインターフェースである。外部機器の一例として、外部モニタ、USBメモリ、外付けHDD、外付けカメラ等が挙げられる。なお、図1に示した例では、外部インターフェースは、1つしか図示されていないが、複数の外部インターフェースを備えていてもよい。
The
通信インターフェース15は、ネットワークに接続して他の装置と通信を行い、情報の送受信を行うためのインターフェースとして機能する。例えば、通信インターフェース15は、有線又は無線により他の装置と通信を行う。無線通信として、Bluetooth(登録商標)、Wi-Fi、3G、4G、5G、LTE、無線LANなどの回線を通じた通信が挙げられる。有線通信の一例として、有線LAN(Local Area Network)などの回線を通じた通信が挙げられる。
The
スピーカ16及びマイク17については周知の構成であるため、ここでの詳細な説明は省略する。
Since the
ビデオ会議サーバ50は、いわゆるコンピュータであり、上述した情報処理装置10と同様に、CPU、メインメモリ、記憶部、通信インターフェースなどを備えている。なお、ビデオ会議サーバ50についての詳細は後述する。
The
次に、本実施形態に係る情報処理装置10が有する機能の一例について図を参照して説明する。図4は、本実施形態に係る情報処理装置10が備える画像処理機能の一例を示した機能ブロック図である。
Next, an example of the functions of the
後述する各種機能を実現するための一連の処理は、一例として、プログラムの形式で各情報処理装置10が備える記憶部13などに記憶されており、このプログラムをCPU(プロセッサ)11がメインメモリ12に読み出して、情報の加工・演算処理を実行することにより、各種機能が実現される。なお、プログラムは、記憶部13に予めインストールされている形態や、他のコンピュータ読み取り可能な記憶媒体に記憶された状態で提供される形態、有線又は無線による通信手段を介して配信される形態等が適用されてもよい。コンピュータ読み取り可能な記憶媒体とは、磁気ディスク、光磁気ディスク、CD-ROM、DVD-ROM、半導体メモリ等である。
A series of processes for realizing various functions to be described later are stored in the
図4に示すように、情報処理装置10の画像処理部(画像処理装置)20は、画像取得部21、顔領域特定部22、寸法検出部23、属性推定部24、パラメータ記憶部25、基準情報記憶部26、基準値特定部27、画像調整部28、及び出力部29を備えている。
As shown in FIG. 4, the image processing unit (image processing device) 20 of the
画像取得部21は、例えば、カメラ7によって撮像された画像データを取得する。具体的には、画像取得部21は、カメラ7によって所定のフレームレートで撮像された画像データを次々と取得する。
The
顔領域特定部22は、入力された画像データに含まれる人物(例えば、ビデオ会議の参加者)の顔領域を特定する。人物の顔領域の特定は、公知の技術を適宜採用することにより実現可能である。例えば、画像内における顔の特徴量を抽出することで顔領域を特定する。また、この顔領域特定部22は、顔領域における眉毛、目、鼻、口などについても特定することができるように構成されていてもよい。
The face
寸法検出部23は、例えば、図5に示すように、顔領域特定部22によって特定された顔領域の所定高さ位置における横幅の寸法を横幅寸法L1として検出する。例えば、本実施形態では、図5に示すように、所定高さ位置として、耳の所定の部位(例えば、耳珠(trugs))の位置を採用するが、この例に限定されない。例えば、耳の位置、眉毛、瞳孔の位置などを高さ位置として採用してもよい。
For example, as shown in FIG. 5, the
また、寸法検出部23は、図5に示すように、顔領域特定部22によって特定された顔領域の情報に基づいて、人物の高さの寸法を高さ寸法L2として検出する。例えば、本実施形態では、所定高さ位置として、耳の所定の部位(例えば、耳珠(trugs))の位置を採用するが、この例に限定されない。例えば、耳の位置、眉毛、瞳孔の位置などを高さ位置として採用してもよい。
5, the
ここで、顔の横幅や頭囲は、体の他の部位に比べて年齢や性別によるばらつきが小さいことが学術論文などにおいて発表されている。例えば、”Static adult human physical characteristics of the adult head, from pages 72-75 of Poston, Alan. (April 2000) Department of Defense Human Factors Engineering Technical Advisory Group (DOD HFE TAG)” (https://de.wikipedia.org/wiki/Datei:HeadAnthropometry.JPG)には、ある統計の結果、男性の顔の横幅の平均値は14.5cm、女性の顔の横幅の平均値は13.3cmであり、男女比で0.8cm程度しか変わらないことが開示されている。また、実践女子大学 生活科学部 生活環境学科の「第20回 こどもの成長と衣服 高部恵子」「https://www.jissen.ac.jp/kankyo/lib-lec20.html」に開示されている工技院資料の百分率成長曲線(男、1978-81)には、身長、腸骨棘高、右足長、頭囲のそれぞれについての1歳から20歳までの成長曲線が開示されている(例えば、図6参照)。 Here, it has been published in academic papers and the like that the width of the face and the circumference of the head show less variation depending on age and sex than other parts of the body. For example, ”Static adult human physical characteristics of the adult head, from pages 72-75 of Poston, Alan. (April 2000) Department of Defense Human Factors Engineering Technical Advisory Group (DOD HFE TAG)” (https://de.wikipedia .org/wiki/Datei:HeadAnthropometry.JPG), as a result of a certain statistic, the average face width for men is 14.5 cm, and the average face width for women is 13.3 cm. It is disclosed that the difference is only about 0.8 cm. Also, Jissen Women's University, Faculty of Life Science, Department of Life Environment, "20th Child Growth and Clothing Keiko Takabe" "https://www.jissen.ac.jp/kankyo/lib-lec20.html" The Percentage Growth Curves (Male, 1978-81) of Kogyo Giken data shows growth curves for height, iliac spine height, right leg length, and head circumference from 1 to 20 years of age ( For example, see FIG. 6).
上述した統計結果から、顔の横幅や頭囲については年齢及び性別によるばらつきが他の部位に比べて極めて小さいことがわかる。すなわち、図6に示した成長曲線によれば、すでに1歳において成人の頭囲の約80%に相当する値を示しており、また、13歳以降は、年齢による値の違いがほとんどないことがわかる。発明者らは、このような新たな知見から、カメラ7から入力された画像データにおいて、顔の横幅を年齢に応じた値に調整すれば、ビデオ会議に参加している参加者間の顔の大きさを自然な大きさに調整できるとの着想を得た。
From the statistical results described above, it can be seen that variations in the width of the face and head circumference due to age and gender are extremely small compared to other parts. That is, according to the growth curve shown in FIG. 6, the head circumference already shows a value corresponding to about 80% of the head circumference of an adult at the age of 1, and after the age of 13, there is almost no difference in the value depending on the age. I understand. Based on such new findings, the inventors found that if the width of the face in the image data input from the
属性推定部24は、顔領域特定部22によって特定された顔領域の画像に基づいて人物の年齢及び性別を推定する。人物の年齢及び性別を推定する手法については公知の手法を適宜採用することが可能である。例えば、顔画像の特徴量を抽出し、さらに、予め登録されている年齢(年代)および性別を識別するための特徴量とから類似度を計算し、類似度の値に基づいて、年齢及び性別を推定する。年齢及び性別を推定する手法の一例として、例えば、特許第5287333号公報に記載されている技術を採用することが可能である。
The
パラメータ記憶部25は、同じ画像データにおいて検出された横幅寸法及び推定された年齢及び性別を1つのデータセットとして記憶する。例えば、パラメータ記憶部25は、新しい順に所定数(所定数≧2)のデータセットを格納するバッファメモリである。パラメータ記憶部25は、一例として、FIFO(First In First Out)メモリによって実現される。これにより、パラメータ記憶部25には、直近に検出された所定数のデータセットが格納されることとなる。
The
基準情報記憶部26には、年齢と顔領域の横幅基準値L1_refと人物の高さ基準値L2_refとが関連付けられた基準情報が格納されている。この基準情報は、性別に応じてそれぞれ設けられている。年齢は、10代、20代、30代などのように年代別に区分されていてもよく、年代毎に横幅基準値及び高さ基準値が関連付けられていてもよい。
The reference
基準値特定部27は、パラメータ記憶部25に格納されている所定数のデータセットから年齢の情報を取得し、これらを統計的に処理することにより、代表的な年齢を特定する。換言すると、基準値特定部27は、時系列の複数の画像データにおいて推定された複数の年齢を統計的に処理することにより代表的な年齢を演算する。代表的な年齢の一例として、平均年齢、年齢分布のパーセンタイル50%の年齢などが挙げられる。
The reference
また、基準値特定部27は、パラメータ記憶部25に格納されている所定数のデータセットから性別の情報を取得し、これらを統計的に処理することにより、代表的な性別を特定する。例えば、基準値特定部27は、パラメータ記憶部25から読みだした所定数の性別のうち、数の多い性別を代表的な性別として特定する。
基準値特定部27は、特定した性別に対応する基準情報を用いて、代表的な年齢に対応する横幅基準値L1_ref及び高さ基準値L2_refを特定する。
Further, the reference
The reference
画像調整部28は、画像データの横幅寸法L1が基準値特定部27によって特定された横幅基準値L1_refに近づくように、画像データを調整する。
例えば、画像調整部28は、パラメータ記憶部25に格納されている所定数のデータセットから横幅寸法を取得する。換言すると、画像調整部28は、時系列の複数の画像データにおいて検出された複数の横幅寸法を統計的に処理することにより代表的な横幅寸法を演算する。代表的な横幅寸法の一例として、平均値、横幅寸法のパーセンタイル50%の値などが挙げられる。そして、画像調整部28は、代表的な横幅寸法が横幅基準値となるような調整比率(拡大縮小比率)を演算し、演算した調整比率を用いて画像データを縮小又は拡大する。このように、直近に検出された所定数の横幅寸法を用いて調整比率を演算することにより、調整比率の変化を滑らかにすることができる。
The image adjusting unit 28 adjusts the image data so that the horizontal width dimension L1 of the image data approaches the horizontal width reference value L1_ref specified by the reference
For example, the image adjustment unit 28 acquires the width dimension from a predetermined number of data sets stored in the
更に、画像調整部28は、画像データにおける人物の高さ寸法L2が基準値特定部27によって特定された高さ基準値L2_refに近づくように、画像データにおける人物の高さ位置を調整する。例えば、画像調整部28は、画像データにおける人物の高さ寸法L2が高さ基準値L2_refと一致するようにクリッピングする。
これにより、例えば、図5に示した画像データは、図7に示すように、人物の横幅寸法が横幅基準値L1_refになるように調整されるとともに、人物の高さ寸法が高さ基準値L2_refになるように高さ位置が調整される。
Further, the image adjusting unit 28 adjusts the height position of the person in the image data so that the height L2 of the person in the image data approaches the height reference value L2_ref specified by the reference
As a result, for example, in the image data shown in FIG. 5, as shown in FIG. 7, the width of the person is adjusted to the width reference value L1_ref, and the height of the person is adjusted to the height reference value L2_ref. The height position is adjusted so that
また、画像調整部28は、図7に示すように、人物の高さ位置を調整することにより、調整後の画像データにおいて、高さ方向に不足する画素Pxが生じた場合には、不足した画素Pxを周囲の画素情報から推測して補充する。 Further, as shown in FIG. 7, the image adjustment unit 28 adjusts the height position of the person, and if there is a shortage of pixels Px in the height direction in the image data after adjustment, the lack of pixels Px occurs. The pixel Px is estimated from surrounding pixel information and supplemented.
出力部29は、画像調整部28によって調整された画像データを出力する。出力部29は、例えば、調整後の画像データをネットワーク8を介してビデオ会議サーバ50に送信する。
The
次に、情報処理装置10によって実行される画像処理方法について図8を参照して説明する。図8は、画像処理方法の処理手順の一例を示したフローチャートである。以下の一連の処理は、記憶部13に記憶されているプログラムをCPU(プロセッサ)11がメインメモリ12に読み出して、情報の加工・演算処理を実行することにより実行される。
Next, an image processing method executed by the
例えば、情報処理装置10がネットワーク8を介してビデオ会議サーバ50と接続し、カメラ機能がオンにされると、カメラ7によって画像データが取得され、取得された画像データが随時出力される。
画像処理部(画像処理装置)20は、カメラ7から出力された画像データを取得すると(SA1)、取得した画像データに含まれる人物の顔領域を特定する(SA2)。続いて、特定した顔領域の所定高さ位置、例えば、耳珠(trugs)の位置における横幅の寸法を横幅寸法L1として検出するとともに、画像データに含まれる人物の高さ寸法L2を検出する(SA3)。
For example, when the
When the image processing unit (image processing device) 20 acquires the image data output from the camera 7 (SA1), the image processing unit (image processing device) 20 specifies a person's face area included in the acquired image data (SA2). Subsequently, the width dimension at a predetermined height position of the specified face region, for example, the position of the trugs, is detected as the width dimension L1, and the height dimension L2 of the person included in the image data is detected ( SA3).
続いて、画像データの人物の顔領域の特徴量に基づいて人物の年齢(年代)及び性別を推定する(SA4)。続いて、ステップSA3で検出した横幅寸法L1及び高さ寸法L2並びにステップSA4で検出した人物の年齢及び性別を一つのデータセットとして、パラメータ記憶部25に格納する(SA5)。これにより、すでにパラメータ記憶部25に格納されていた一番古いデータセットが消去されるとともに、上述した最新のデータセットがパラメータ記憶部25に格納されることとなる。
Subsequently, the age (generation) and sex of the person are estimated based on the feature amount of the person's face area in the image data (SA4). Subsequently, the width dimension L1 and height dimension L2 detected in step SA3 and the age and sex of the person detected in step SA4 are stored as one data set in the parameter storage unit 25 (SA5). As a result, the oldest data set already stored in the
次に、パラメータ記憶部25に格納されている所定数のデータセットから年齢の情報を取得し、これらを統計的に処理することにより、代表的な年齢を特定する。また、同様に、パラメータ記憶部25に格納されている所定数のデータセットから性別の情報を取得し、これらを統計的に処理することにより、代表的な性別を特定する(SA6)。
Next, age information is acquired from a predetermined number of data sets stored in the
続いて、代表的な性別に対応する基準情報を用いて、代表的な年齢に対応する横幅基準値L1_ref及び高さ基準値L2_refを特定する(SA7)。 Subsequently, the width reference value L1_ref and the height reference value L2_ref corresponding to the representative age are specified using the reference information corresponding to the representative sex (SA7).
次に、パラメータ記憶部25に格納されている所定数のデータセットから横幅寸法L1を取得し、これらを統計的に処理することにより代表的な横幅寸法を演算する。同様に、パラメータ記憶部25に格納されている所定数のデータセットから高さ寸法L2を取得し、これらを統計的に処理することにより代表的な高さ寸法を演算する(SA8)。
Next, the width dimension L1 is acquired from a predetermined number of data sets stored in the
続いて、代表的な横幅寸法が横幅基準値L1_refとなるような調整比率(拡大縮小比率)を算出し(SA9)、算出した調整比率及び高さ基準値L2_refに基づいてステップSA1で入力された画像データを調整する(SA10)。具体的には、算出した調整比率に基づいて当該画像データを拡大又は縮小するとともに、当該画像データにおける人物の高さが高さ基準値L2_refに近づくように、人物の高さ位置を調整する。これにより、例えば、図5に示した画像データは、図7に示すように、人物の顔の横幅寸法L1が横幅基準値L1_refとなるように拡大又は縮小されるとともに、人物の高さ寸法L2が高さ基準値L2_refとなるように高さ位置が調整される。また、図7に示すように、調整後の画像データにおいて、高さ方向に不足する画素Pxが生じた場合には、不足した画素Pxを周囲の画素情報から推測して補充する。 Subsequently, an adjustment ratio (enlargement/reduction ratio) is calculated so that the representative width dimension becomes the width reference value L1_ref (SA9), and based on the calculated adjustment ratio and the height reference value L2_ref, which was input in step SA1 Image data is adjusted (SA10). Specifically, the image data is enlarged or reduced based on the calculated adjustment ratio, and the height position of the person in the image data is adjusted so that the height of the person in the image data approaches the height reference value L2_ref. As a result, for example, the image data shown in FIG. 5 is enlarged or reduced so that the width dimension L1 of the person's face becomes the width reference value L1_ref as shown in FIG. is the height reference value L2_ref. Further, as shown in FIG. 7, if there is a missing pixel Px in the height direction in the adjusted image data, the missing pixel Px is estimated from surrounding pixel information and supplemented.
このようにして画像の調整が完了すると、調整後の画像データを出力する(SA11)。調整後の画像データは、ビデオ会議サーバ50(図1参照)へ送信される。
そして、上記の如き処理を画像データを取得するたびに行うことにより、人物の大きさ及び高さ位置が調整された画像データが継続的にビデオ会議サーバ50に送信されることとなる。
When image adjustment is completed in this way, the image data after adjustment is output (SA11). The adjusted image data is sent to the videoconference server 50 (see FIG. 1).
By performing the above-described processing each time image data is acquired, image data in which the size and height position of the person are adjusted are continuously transmitted to the
ビデオ会議サーバ50(図1参照)は、各情報処理装置10から画像データを受信すると、受信した画像データを共通のバーチャル背景下に配置する。ここで、各情報処理装置10から受信する画像データは、それぞれ人物(参加者)の顔の横幅や高さ位置が調整された画像とされているので、共通の背景に配置した際に、統一感が生まれ、違和感のない合成画像を作成することが可能となる。
When the videoconference server 50 (see FIG. 1) receives image data from each
以下、ビデオ会議サーバ50について図面を参照して説明する。
図9は、本実施形態に係るビデオ会議サーバ50のハードウェア構成の一例を示した概略構成図である。図9に示すように、ビデオ会議サーバ50は、コンピュータであり、CPU(プロセッサ)51、メインメモリ52、記憶部53、外部インターフェース54、通信インターフェース55などを備えている。また、ビデオ会議サーバ50は、入力デバイス、ディスプレイを備えていてもよい。
上述した各部は直接的にまたはバスを介して間接的に相互に接続されており互いに連携して各種処理を実行する。これら各構成については、上述した情報処理装置10と同様であるため、ここでの詳細な説明は省略する。
The
FIG. 9 is a schematic configuration diagram showing an example of the hardware configuration of the
The units described above are connected to each other directly or indirectly via a bus, and cooperate with each other to perform various processes. Since each of these configurations is the same as that of the
図10は、ビデオ会議サーバ50が備える機能の一例を示した機能ブロック図である。後述する各種機能を実現するための一連の処理は、一例として、プログラムの形式でビデオ会議サーバ50が備える記憶部53などに記憶されており、このプログラムをCPU(プロセッサ)51がメインメモリ52に読み出して、情報の加工・演算処理を実行することにより、各種機能が実現される。なお、プログラムは、記憶部53に予めインストールされている形態や、他のコンピュータ読み取り可能な記憶媒体に記憶された状態で提供される形態、有線又は無線による通信手段を介して配信される形態等が適用されてもよい。コンピュータ読み取り可能な記憶媒体とは、磁気ディスク、光磁気ディスク、CD-ROM、DVD-ROM、半導体メモリ等である。
FIG. 10 is a functional block diagram showing an example of the functions of the
図10に示すように、ビデオ会議サーバ50は、受信部61、輝度演算部62、輝度調整部63、画像合成部64、及び送信部65を備えている。
As shown in FIG. 10 , the
受信部61は、各情報処理装置10から送信された画像データを受信する。
輝度演算部62は、各情報処理装置10から受信した各画像データについて輝度ヒストグラムを演算する。
輝度調整部63は、複数の画像データの輝度ヒストグラムのばらつきが小さくなるように、各画像データの輝度を調整する。例えば、各画像データの輝度ヒストグラムのパーセンタイル50%の輝度が一致するように、各画像データの輝度を調整する。これにより、画像データ間の輝度のばらつきを軽減することができる。
The receiving
The
The
画像合成部64は、輝度調整後の各画像データを共通のバーチャル背景下に配置し、合成画像を作成する。共通のバーチャル背景に画像データを配置させる処理は、所定のアルゴリズムに従って自動的に行われてもよいし、ビデオ会議のホスト(いずれか1つの情報処理装置10)からの入力指令に基づいて配置することとしてもよい。
送信部65は、合成画像を各情報処理装置10に送信する。
The
The
次に、本実施形態におけるビデオ会議システム1の動作について簡単に説明する。
例えば、各情報処理装置10の入力デバイス4を各ユーザ(参加者)が操作することにより、ビデオ会議が開始され、カメラ機能がオンにされると、カメラ7によりユーザの画像データが取得され、画像処理部20に入力される。画像処理部20は、カメラ7から入力される画像データに対して上述した画像処理を実行する。これにより、ユーザの年齢に応じて画像データにおける顔の横幅寸法及び高さ寸法が調整され、調整後の画像データがビデオ会議サーバ50に送信される。
Next, the operation of the
For example, when each user (participant) operates the
ビデオ会議サーバ50は、各情報処理装置10から画像データをそれぞれ受信すると、受信したこれら画像データの輝度調整を行い、輝度調整後の画像データを共通のバーチャル背景に配置することにより、合成画像を作成する。そして、作成した合成画像を各情報処理装置10に送信する。これにより、各情報処理装置10のディスプレイ5には、例えば、図11に示すように、共通のバーチャル背景に各参加者が配置された画像が表示されることとなる。このとき、各参加者の顔の大きさは、年齢に応じた横幅に調整され、また、各参加者の画像の輝度は、ばらつきが低減されるように調整されている。これにより、全体として統一感のあるイマーシブビューを各参加者に提供することができる。
When the
以上説明してきたように、本実施形態に係る画像処理部(画像処理装置)20、情報処理装置10、ビデオ会議サーバ50、及びビデオ会議システム1によれば、以下の作用効果を奏する。
As described above, the image processing unit (image processing device) 20, the
画像処理部20は、カメラ7によって撮像された画像データに含まれる人物の顔領域を特定し、特定した顔領域の所定高さ位置における横幅寸法L1及び人物の高さ寸法L2を検出し、年齢に応じた横幅基準値L1_ref及び高さ基準値L2_refを取得し、取得した横幅基準値L1_ref及び高さ基準値L2_refに横幅寸法及び高さ寸法が近づくように画像データを調整する。また、調整後の画像データに不足画素が生じていた場合には、不足した画素を周囲の画素情報から推測して補充する。これにより、顔の大きさや人物の高さが年齢に応じて規格化された画像を出力することができる。
The
また、画像を調整する際には、今回検出された横幅寸法だけでなく、直近に検出された所定数の横幅寸法を統計的に処理することにより、代表的な横幅寸法を演算し、代表的な横幅寸法が横幅基準値になるような調整比率を演算し、演算した調整比率を用いて画像データを拡大又は縮小させる。このように、直近に検出された複数の横幅寸法も加味して調整比率を算出することにより、調整比率の変化を滑らかにすることが可能となり、時間軸上における画像の変化を抑制することが可能となる。上記統計的処理の一例として、平均化処理、正規化処理などが挙げられる。 In addition, when adjusting the image, not only the width dimension detected this time, but also a predetermined number of recently detected width dimensions are statistically processed to calculate a representative width dimension, The adjustment ratio is calculated so that the width dimension becomes the width reference value, and the image data is enlarged or reduced using the calculated adjustment ratio. In this way, by calculating the adjustment ratio in consideration of the most recently detected width dimensions, it is possible to smooth the change in the adjustment ratio and suppress the change in the image on the time axis. It becomes possible. Examples of the statistical processing include averaging processing and normalization processing.
また、人物の年齢を画像データから推定し、推定した年齢に基づいて横幅基準値及び高さ基準値を特定するので、ユーザが年齢を入力する手間を省略することが可能となる。 In addition, since the age of the person is estimated from the image data and the width reference value and height reference value are specified based on the estimated age, it is possible to save the user from having to input the age.
また、今回推定された年齢と直近に推定された所定数の年齢を統計的に処理することにより代表的な年齢を演算し、代表的な年齢に対応する横幅基準値及び高さ基準値を基準情報から特定する。これにより、横幅基準値の変化を滑らかにすることが可能となる。 In addition, by statistically processing the age estimated this time and the specified number of ages most recently estimated, the representative age is calculated, and the width standard value and height standard value corresponding to the representative age are used as standards. Identify from information. This makes it possible to smoothly change the width reference value.
基準情報は、性別に応じてそれぞれ設けられているので、性別も加味した自然な人物の大きさになるように画像データを調整することが可能となる。 Since the reference information is provided for each gender, it is possible to adjust the image data so that the size of the person is natural considering the gender.
なお、上述した実施形態では、顔の横幅と人物の高さの両方を調整することとしたがこれに限られない。例えば、顔の横幅のみを調整することとし、人物の高さ位置については調整しないような構成としてもよい。 In addition, in the embodiment described above, both the width of the face and the height of the person are adjusted, but the present invention is not limited to this. For example, only the width of the face may be adjusted, and the height position of the person may not be adjusted.
本実施形態では、所定数の横幅寸法L1を統計的に処理することにより代表的な横幅寸法を演算し、演算した横幅寸法と横幅基準値L1_refとを用いて調整比率を算出していたが、この例に限定されない。例えば、パラメータ記憶部25には、1つのデータセットのみが格納されるような構成とし、最新の横幅寸法L1と横幅基準値L1_refとを用いて調整比率を算出することとしてもよい。
In this embodiment, a representative width dimension is calculated by statistically processing a predetermined number of width dimensions L1, and an adjustment ratio is calculated using the calculated width dimension and the width reference value L1_ref. It is not limited to this example. For example, the
人物の高さ寸法L2についても同様に、最新の高さ寸法L2と高さ基準値L2_refを用いて画像データを調整することとしてもよい。
本実施形態では、所定数の年齢を統計的に処理することにより代表的な年齢を演算し、演算した年齢から横幅基準値及び高さ基準値を特定していたがこの例に限定されない。例えば、最新の年齢に基づいて横幅基準値及び高さ基準値を特定することとしてもよい。
Similarly, for the height L2 of the person, the image data may be adjusted using the latest height L2 and the height reference value L2_ref.
In this embodiment, a representative age is calculated by statistically processing a predetermined number of ages, and the width reference value and height reference value are specified from the calculated age, but the present invention is not limited to this example. For example, the width reference value and height reference value may be specified based on the latest age.
本実施形態では、属性推定部24が画像データから人物の年齢及び性別を推定していたがこの例に限定されない。例えば、年齢及び性別については、画像データから推定するのではなく、情報処理装置10が備える記憶部13にユーザ情報として登録されているユーザの年齢情報及び性別情報を取得することとしてもよい。
In this embodiment, the
本実施形態では、性別に応じて基準情報を設けていたがこの例に限定されない。例えば、基準情報は性別に応じて設けられておらず、性別にかかわらずに共通の基準情報を用いて横幅基準値などを特定することとしてもよい。 In this embodiment, reference information is provided according to gender, but the present invention is not limited to this example. For example, the reference information is not provided according to gender, and the width reference value and the like may be specified using common reference information regardless of gender.
本実施形態において、画像処理部20は、カメラ7と一体化されていてもよく、カメラ7と画像処理部20とが一体化されたカメラモジュールとして提供されてもよい。この場合、カメラモジュールから出力された画像データは、その画像データに含まれる人物の大きさがすでに規格化されているため、情報処理装置10は、カメラモジュールから出力される画像データをビデオ会議サーバ50に送信することとなる。
In this embodiment, the
〔第2実施形態〕
次に、本発明の第2実施形態に係る画像処理装置、情報処理装置、ビデオ会議サーバ50a、及びビデオ会議システムについて説明する。
上述した実施形態では、各情報処理装置10が画像処理部20を備えていたが、本実施形態では、情報処理装置ではなく、ビデオ会議サーバが画像処理部20を備えている点が上述した第1実施形態と異なる。以下、上述した第1実施形態と共通する構成については同一の符号を付して説明を省略し、異なる点について主に説明する。
[Second embodiment]
Next, an image processing device, an information processing device, a
In the above-described embodiment, each
図12は、本実施形態に係るビデオ会議サーバ50aが備える機能の一例を示した機能ブロック図である。図12に示すように、ビデオ会議サーバ50aは、受信部61によって受信された各情報処理装置10からの画像データにおける人物の大きさ及び位置を調整するための画像処理部20を備えている。この画像処理部20の詳細な機能や処理手順の一例は、上述した実施形態で述べた通りである。
FIG. 12 is a functional block diagram showing an example of the functions of the
画像処理部20による調整後の画像データは、輝度演算部62に出力され、輝度調整のための処理が更に行われる。ここで、輝度調整とサイズ調整とはどちらを先に行ってもよい。例えば、輝度調整部63によって輝度が調整された後の各画像データを画像処理部20に入力することとしてもよい。
The image data after adjustment by the
また、輝度調整は省略することとしてもよい。この場合、図12において、輝度演算部62及び輝度調整部63が省略された構成とされる。これにより、画像処理部20によって調整された画像データが画像合成部64に入力されることとなり、入力された画像データが共通の背景に配置されることとなる。
Also, the brightness adjustment may be omitted. In this case, in FIG. 12, the configuration is such that the
〔第3実施形態〕
次に、本発明の第3実施形態に係る画像処理装置、情報処理装置、ビデオ会議サーバ50b、及びビデオ会議システムについて説明する。
上述した第2実施形態では、ビデオ会議サーバ50bが基準情報を用いて各情報処理装置から受信した画像データの人物の大きさ及び高さ位置を規格化することとしたが、本実施形態に係るビデオ会議サーバ50bは、画像データの調整方法が上述した第2実施形態と異なる。具体的には、本実施形態では、ビデオ会議サーバ50bが各情報処理装置からの画像データを取得することができることを利用し、各情報処理装置から受信した複数の画像データに基づいて横幅基準値を導出する。
以下、上述した第2実施形態と共通する構成については同一の符号を付して説明を省略し、異なる点について主に説明する。
[Third Embodiment]
Next, an image processing device, an information processing device, a
In the second embodiment described above, the
In the following, the same reference numerals are given to the configurations that are common to the above-described second embodiment, and the description thereof will be omitted, and the different points will be mainly described.
図13は、本実施形態に係るビデオ会議サーバ50bが備える機能の一例を示した機能ブロック図である。図13に示すように、ビデオ会議サーバ50bは、受信部61、顔領域特定部71、寸法検出部72、画像調整部73、輝度演算部62、輝度調整部63、画像合成部64、及び送信部65を備えている。
FIG. 13 is a functional block diagram showing an example of the functions of the
受信部61は、各情報処理装置10から送信される画像データを受信する。
顔領域特定部71は、各画像データに含まれる人物(参加者)の顔領域を特定する。なお、顔領域特定部71は、上述した顔領域特定部22と同様の機能であるため、詳細は省略する。
寸法検出部72は、特定された顔領域の所定高さ位置における横幅の寸法を横幅寸法として検出する。これにより、各画像データにおける顔の横幅寸法が検出される。
The receiving
The face
The
画像調整部73は、各画像データにおいて検出された複数の横幅寸法を統計的に処理することにより、基準となる横幅基準値を取得する。例えば、画像調整部73は、横幅寸法の平均値を横幅基準値として取得する。また、画像調整部73は、横幅寸法の分布(ばらつき)の所定のパーセンタイル(例えば、50%)の値を横幅基準値として取得してもよいし、横幅寸法の最大値を横幅基準値として取得してもよい。
The
続いて、画像調整部73は、各画像データにおける各横幅寸法を横幅基準値に近づけるように、各画像データを調整する。すなわち、各画像データにおける人物(参加者)の横幅寸法と横幅基準値とから調整比率を演算し、演算した調整比率に基づいて画像データを拡大縮小させる。これにより、各情報処理装置10から受信した各画像データにおける人物の顔の大きさのばらつきを低減させることが可能となる。
Subsequently, the
調整後の画像データは、輝度演算部62及び輝度調整部63によって輝度調整された後に、画像合成部64によって共通のバーチャル背景下に配置される。合成画像は、送信部65によって各情報処理装置10に送信される。
The adjusted image data is arranged under a common virtual background by the
なお、上記説明では、顔の横幅寸法を調整する場合について説明したが、顔の横幅だけでなく、人物の高さ寸法についても同様の手法によって調整することとしてもよい。すなわち、各画像データにおける人物の高さ寸法を検出し、検出した複数の高さ寸法を統計的に処理することにより、基準となる高さ基準値を取得する。例えば、高さ寸法の平均値を高さ基準値として取得する。また、高さ寸法の分布(ばらつき)の所定のパーセンタイル(例えば、50%)の値を高さ基準値として取得してもよいし、高さ寸法の最大値を高さ基準値として取得してもよい。 In the above description, the case of adjusting the width of the face has been described, but not only the width of the face but also the height of the person may be adjusted by a similar method. That is, the height reference value that serves as a reference is acquired by detecting the height dimension of the person in each image data and statistically processing the detected height dimensions. For example, the average height dimension is acquired as the height reference value. Alternatively, a predetermined percentile (for example, 50%) value of the height dimension distribution (variation) may be obtained as the height reference value, or the maximum value of the height dimension may be obtained as the height reference value. good too.
そして、各画像データにおける各高さ寸法を高さ基準値に近づけるように、各画像データを調整する。具体的には、各画像データにおける人物(参加者)の高さ寸法が高さ基準値と一致するように、画像データにおける人物の高さ位置を調整する。これにより、各情報処理装置10から受信した各画像データにおける人物の高さ位置のばらつきを低減させることができる。
Then, each image data is adjusted so that each height dimension in each image data approaches the height reference value. Specifically, the height position of the person in the image data is adjusted so that the height dimension of the person (participant) in each image data matches the height reference value. This makes it possible to reduce variation in the height position of the person in each image data received from each
なお、第3実施形態に係るビデオ会議サーバ50bは、上述した第1実施形態に係る情報処理装置10と組み合わせて利用することが可能である。この場合、各情報処理装置10からはすでに規格化された画像データを受信することとなる。そして、更にビデオ会議サーバ50bにおいて、上述した画像調整を行うことにより、各画像データにおける人物の横幅や高さ位置を統一させることが可能となる。
Note that the
以上、本発明について実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更又は改良を加えることができ、該変更又は改良を加えた形態も本発明の技術的範囲に含まれる。
また、上記実施形態で説明した処理の流れも一例であり、本発明の主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。
Although the present invention has been described above using the embodiments, the technical scope of the present invention is not limited to the scope described in the above embodiments. Various changes or improvements can be made to the above-described embodiments without departing from the gist of the invention, and forms with such changes or improvements are also included in the technical scope of the present invention.
Further, the flow of processing described in the above embodiment is also an example, and unnecessary steps may be deleted, new steps added, or the processing order changed without departing from the scope of the present invention. good.
例えば、上述した各実施形態では、ビデオ会議サーバを設けていたが、ビデオ会議サーバの機能の全部又は一部をビデオ会議のホストとなる情報処理装置10が備えていてもよい。
For example, in each of the above-described embodiments, a videoconference server is provided, but all or part of the functions of the videoconference server may be provided in the
1 :ビデオ会議システム
4 :入力デバイス
5 :ディスプレイ
7 :カメラ
8 :ネットワーク
10 :情報処理装置
11 :CPU
12 :メインメモリ
13 :記憶部
14 :外部インターフェース
15 :通信インターフェース
16 :スピーカ
17 :マイク
20 :画像処理部
21 :画像取得部
22 :顔領域特定部
23 :寸法検出部
24 :属性推定部
25 :パラメータ記憶部
26 :基準情報記憶部
27 :基準値特定部
28 :画像調整部
29 :出力部
50 :ビデオ会議サーバ
50a :ビデオ会議サーバ
50b :ビデオ会議サーバ
51 :CPU
52 :メインメモリ
53 :記憶部
54 :外部インターフェース
55 :通信インターフェース
61 :受信部
62 :輝度演算部
63 :輝度調整部
64 :画像合成部
65 :送信部
71 :顔領域特定部
72 :寸法検出部
73 :画像調整部
L1 :横幅寸法
L1_ref :横幅基準値
L2 :高さ寸法
L2_ref :高さ基準値
1: video conference system 4: input device 5: display 7: camera 8: network 10: information processing device 11: CPU
12: main memory 13: storage unit 14: external interface 15: communication interface 16: speaker 17: microphone 20: image processing unit 21: image acquisition unit 22: face area identification unit 23: dimension detection unit 24: attribute estimation unit 25: Parameter storage unit 26 : Reference information storage unit 27 : Reference value identification unit 28 : Image adjustment unit 29 : Output unit 50 :
52 : Main memory 53 : Storage unit 54 : External interface 55 : Communication interface 61 : Reception unit 62 : Luminance calculation unit 63 : Luminance adjustment unit 64 : Image composition unit 65 : Transmission unit 71 : Face area identification unit 72 : Dimension detection unit 73: Image adjustment unit L1: Width dimension L1_ref: Width reference value L2: Height dimension L2_ref: Height reference value
Claims (15)
前記プロセッサによって実行されるように構成されたプログラムを記憶するメモリと、
を備え、
前記プログラムは、
画像データを取得し、
前記画像データに含まれる人物の顔領域を特定し、
特定した顔領域の所定高さ位置における横幅の寸法を横幅寸法として検出し、
年齢と顔領域の横幅基準値とが関連付けられた基準情報から前記人物の年齢に対応する横幅基準値を特定し、
特定された前記横幅基準値に前記横幅寸法を近づけるように前記画像データを調整し、
調整後の前記画像データを出力するための命令を含む画像処理装置。 a processor;
a memory storing a program configured to be executed by the processor;
with
Said program
get the image data,
identifying a person's face area included in the image data;
Detecting a width dimension at a predetermined height position of the identified face area as a width dimension,
specifying a width reference value corresponding to the age of the person from reference information in which the age and the width reference value of the face area are associated;
adjusting the image data so that the width dimension approaches the specified width reference value;
An image processing device including instructions for outputting the adjusted image data.
前記画像データに含まれる人物の顔領域を特定する顔領域特定部と、
特定された顔領域の所定高さ位置における横幅の寸法を横幅寸法として検出する寸法検出部と、
年齢と顔領域の横幅基準値とが関連付けられた基準情報から前記人物の年齢に対応する横幅基準値を特定する基準値特定部と、
特定された横幅基準値に前記横幅寸法を近づけるように前記画像データを調整する画像調整部と、
調整後の前記画像データを出力する出力部と
を具備する画像処理装置。 an image acquisition unit that acquires image data;
a face area identification unit that identifies a person's face area included in the image data;
a dimension detection unit that detects the width dimension at a predetermined height position of the identified face area as the width dimension;
a reference value identification unit that identifies a width reference value corresponding to the age of the person from reference information in which the age and the width reference value of the face area are associated;
an image adjustment unit that adjusts the image data so that the width dimension approaches the specified width reference value;
and an output unit that outputs the adjusted image data.
前記基準値特定部は、推定された前記年齢に対応する前記横幅基準値を前記基準情報から特定する請求項2又は3に記載の画像処理装置。 An attribute estimation unit that estimates the age of the person from the image data,
4. The image processing apparatus according to claim 2, wherein the reference value specifying unit specifies the width reference value corresponding to the estimated age from the reference information.
前記基準値特定部は、推定された年齢及び性別に対応する前記横幅基準値を前記基準情報から特定する請求項6に記載の画像処理装置。 An attribute estimation unit that estimates the age and gender of the person from the image data,
7. The image processing apparatus according to claim 6, wherein the reference value specifying unit specifies the width reference value corresponding to the estimated age and sex from the reference information.
前記基準情報は、年齢と横幅基準値と人物の高さ基準値とが関連付けられており、
前記基準値特定部は、前記基準情報から前記人物の年齢に対応する横幅基準値と高さ基準値とを特定し、
前記画像調整部は、前記高さ寸法が特定された前記高さ基準値に近づくように前記画像データを調整する請求項2から7のいずれかに記載の画像処理装置。 The dimension detection unit detects a height dimension of a person in the image data as a height dimension,
The reference information is associated with an age, a width reference value, and a person's height reference value,
The reference value specifying unit specifies a width reference value and a height reference value corresponding to the age of the person from the reference information,
The image processing apparatus according to any one of claims 2 to 7, wherein the image adjustment unit adjusts the image data so that the height dimension approaches the specified height reference value.
前記画像データに含まれる人物の顔領域を特定する工程と、
特定された顔領域の所定高さ位置における横幅の寸法を横幅寸法として検出する工程と、
年齢と顔領域の横幅基準値とが関連付けられた基準情報から前記人物の年齢に対応する横幅基準値を特定する工程と、
特定された横幅基準値に前記横幅寸法を近づけるように前記画像データを調整する工程と、
調整後の前記画像データを出力する工程と
をコンピュータが実行する画像処理方法。 obtaining image data;
identifying a person's face area included in the image data;
a step of detecting a width dimension at a predetermined height position of the identified face area as the width dimension;
identifying a width reference value corresponding to the age of the person from reference information in which the age and the width reference value of the face area are associated;
adjusting the image data so that the width dimension approaches the specified width reference value;
and outputting the adjusted image data.
複数の前記情報処理装置から調整後の前記画像データを受信するビデオ会議サーバと
を備え、
各前記情報処理装置は、請求項1から9のいずれかに記載の画像処理装置を備え、
前記ビデオ会議サーバは、各前記情報処理装置から受信した前記画像データを共通の背景下に配置する画像合成部を備えるビデオ会議システム。 a plurality of information processing devices;
a video conference server that receives the adjusted image data from the plurality of information processing devices;
Each information processing device comprises the image processing device according to any one of claims 1 to 9,
A video conference system in which the video conference server includes an image synthesizing unit that arranges the image data received from each of the information processing devices under a common background.
各前記画像データに含まれる参加者の顔領域を特定する顔領域特定部と、
特定された顔領域の所定高さ位置における横幅の寸法を横幅寸法として検出する寸法検出部と、
各前記画像データにおいて検出された複数の横幅寸法を統計的に処理することにより、基準となる横幅基準値を演算し、各前記画像データにおける各前記横幅寸法を前記横幅基準値に近づけるように、各前記画像データを調整する画像調整部と、
各前記画像データを共通のバーチャル背景に配置する画像合成部と
を備えるビデオ会議サーバ。 a receiver for receiving image data of a plurality of participants in a video conference;
a facial area identifying unit that identifies the facial area of the participant included in each of the image data;
a dimension detection unit that detects the width dimension at a predetermined height position of the identified face area as the width dimension;
By statistically processing a plurality of width dimensions detected in each of the image data, a width reference value that serves as a reference is calculated, and each of the width dimensions in each of the image data is brought closer to the width reference value, an image adjusting unit that adjusts each of the image data;
an image synthesizer for placing each of said image data on a common virtual background.
複数の前記画像データ間の輝度ヒストグラムのばらつきが小さくなるように、各前記画像データの輝度を調整する輝度調整部と
を備え、
前記画像合成部は、輝度調整後の各前記画像データを前記共通の背景下に配置する請求項14に記載のビデオ会議サーバ。 a luminance calculation unit for calculating a luminance histogram of each image data;
a luminance adjustment unit that adjusts the luminance of each of the image data so that variations in the luminance histogram between the plurality of image data are reduced;
15. The videoconference server according to claim 14, wherein the image synthesizing unit arranges each of the image data after brightness adjustment under the common background.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021196770A JP7250101B1 (en) | 2021-12-03 | 2021-12-03 | Image processing device, information processing device, video conference server, and video conference system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021196770A JP7250101B1 (en) | 2021-12-03 | 2021-12-03 | Image processing device, information processing device, video conference server, and video conference system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7250101B1 true JP7250101B1 (en) | 2023-03-31 |
JP2023082816A JP2023082816A (en) | 2023-06-15 |
Family
ID=85772958
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021196770A Active JP7250101B1 (en) | 2021-12-03 | 2021-12-03 | Image processing device, information processing device, video conference server, and video conference system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7250101B1 (en) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002277933A (en) | 2001-03-22 | 2002-09-25 | Konica Corp | Photographing device |
JP2005094696A (en) | 2003-09-19 | 2005-04-07 | Victor Co Of Japan Ltd | Video telephone set |
JP2008005122A (en) | 2006-06-21 | 2008-01-10 | Konica Minolta Holdings Inc | System and method for two-way communication, and control program |
WO2010070820A1 (en) | 2008-12-17 | 2010-06-24 | パナソニック株式会社 | Image communication device and image communication method |
US20150042748A1 (en) | 2012-09-04 | 2015-02-12 | Cisco Technology, Inc. | Generating and Rendering Synthesized Views with Multiple Video Streams in Telepresence Video Conference Sessions |
JP2015046090A (en) | 2013-08-29 | 2015-03-12 | 株式会社ニコン | Display control device and control program |
US20180289334A1 (en) | 2017-04-05 | 2018-10-11 | doc.ai incorporated | Image-based system and method for predicting physiological parameters |
CN113206971A (en) | 2021-04-13 | 2021-08-03 | 聚好看科技股份有限公司 | Image processing method and display device |
US11165992B1 (en) | 2021-01-15 | 2021-11-02 | Dell Products L.P. | System and method for generating a composited video layout of facial images in a video conference |
-
2021
- 2021-12-03 JP JP2021196770A patent/JP7250101B1/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002277933A (en) | 2001-03-22 | 2002-09-25 | Konica Corp | Photographing device |
JP2005094696A (en) | 2003-09-19 | 2005-04-07 | Victor Co Of Japan Ltd | Video telephone set |
JP2008005122A (en) | 2006-06-21 | 2008-01-10 | Konica Minolta Holdings Inc | System and method for two-way communication, and control program |
WO2010070820A1 (en) | 2008-12-17 | 2010-06-24 | パナソニック株式会社 | Image communication device and image communication method |
US20150042748A1 (en) | 2012-09-04 | 2015-02-12 | Cisco Technology, Inc. | Generating and Rendering Synthesized Views with Multiple Video Streams in Telepresence Video Conference Sessions |
JP2015046090A (en) | 2013-08-29 | 2015-03-12 | 株式会社ニコン | Display control device and control program |
US20180289334A1 (en) | 2017-04-05 | 2018-10-11 | doc.ai incorporated | Image-based system and method for predicting physiological parameters |
US11165992B1 (en) | 2021-01-15 | 2021-11-02 | Dell Products L.P. | System and method for generating a composited video layout of facial images in a video conference |
CN113206971A (en) | 2021-04-13 | 2021-08-03 | 聚好看科技股份有限公司 | Image processing method and display device |
Also Published As
Publication number | Publication date |
---|---|
JP2023082816A (en) | 2023-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110189340B (en) | Image segmentation method and device, electronic equipment and storage medium | |
WO2020134891A1 (en) | Photo previewing method for electronic device, graphical user interface and electronic device | |
US10075653B2 (en) | Method and electronic device for image processing | |
CN107767333B (en) | Method and equipment for beautifying and photographing and computer storage medium | |
CN106682632B (en) | Method and device for processing face image | |
WO2016157677A1 (en) | Information processing device, information processing method, and program | |
WO2021057277A1 (en) | Photographing method in dark light and electronic device | |
KR20150136440A (en) | Method for controlling display and electronic device supporting the same | |
CN107798654B (en) | Image buffing method and device and storage medium | |
CN105096353B (en) | Image processing method and device | |
JP2011228964A (en) | Image processing apparatus and image processing method | |
KR20120070985A (en) | Virtual experience system based on facial feature and method therefore | |
CN114175113A (en) | Electronic device for providing head portrait and operation method thereof | |
US20140028782A1 (en) | Transmitting device, receiving device, data transmission method | |
JP2015126451A (en) | Recording method for image, electronic equipment and computer program | |
JP7250101B1 (en) | Image processing device, information processing device, video conference server, and video conference system | |
CN108227925A (en) | A kind of method, apparatus, equipment and the storage medium of sitting posture adjustment | |
US20150172541A1 (en) | Camera Array Analysis Mechanism | |
US20130076792A1 (en) | Image processing device, image processing method, and computer readable medium | |
JP2014197802A (en) | Work support system and program | |
WO2020044916A1 (en) | Information processing device, information processing method, and program | |
KR20150107259A (en) | Image Processing Method and Electronic Device supporting the same | |
KR20130142315A (en) | Character service system and character service providing method thereof | |
WO2023010796A1 (en) | Image processing method and related apparatus | |
KR101738896B1 (en) | Fitting virtual system using pattern copy and method therefor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211203 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20220823 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20220823 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230221 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230320 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7250101 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |