RU2756156C1 - Способ определения смещения срединных структур головного мозга по изображениям компьютерной томографии - Google Patents
Способ определения смещения срединных структур головного мозга по изображениям компьютерной томографии Download PDFInfo
- Publication number
- RU2756156C1 RU2756156C1 RU2020125203A RU2020125203A RU2756156C1 RU 2756156 C1 RU2756156 C1 RU 2756156C1 RU 2020125203 A RU2020125203 A RU 2020125203A RU 2020125203 A RU2020125203 A RU 2020125203A RU 2756156 C1 RU2756156 C1 RU 2756156C1
- Authority
- RU
- Russia
- Prior art keywords
- probability
- midline
- estimate
- slice
- passing
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000006073 displacement reaction Methods 0.000 title claims abstract description 15
- 210000004556 brain Anatomy 0.000 title claims abstract description 9
- 238000002591 computed tomography Methods 0.000 title claims abstract description 9
- 238000013528 artificial neural network Methods 0.000 claims abstract description 17
- 238000009826 distribution Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims abstract description 6
- 210000004907 gland Anatomy 0.000 claims description 3
- 210000004560 pineal gland Anatomy 0.000 claims description 3
- 238000007670 refining Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000000694 effects Effects 0.000 abstract 1
- 239000000126 substance Substances 0.000 abstract 1
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 206010069551 Brain midline shift Diseases 0.000 description 1
- 241001025261 Neoraja caerulea Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Engineering & Computer Science (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- High Energy & Nuclear Physics (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
Настоящее изобретение относится к области вычислительной техник. Предложен способ определения смещения срединных структур головного мозга по изображениям компьютерной томографии (далее - КТ). Предлагаемый способ содержит этапы, на которых: на вычислительном устройстве получают КТ-изображение; осуществляют обучение нейронной сети, причем на вход нейронной сети подают бинаризированное КТ-изображение; причем обучение нейронной сети включает: построение по меньшей мере одной карты вероятности прохождения срединной линии через конкретный пиксель по меньшей мере одного среза; построение оценки срединной линии по полученной на предыдущем этапе по меньшей мере одной карте вероятности прохождения срединной линии через конкретный пиксель по меньшей мере одного среза с применением математического ожидания; определяют три анатомических уровня и область определения срединных структур по меньшей мере на одном срезе; уточняют построенные карты вероятности посредством определения распределения вероятности прохождения срединной линии на соседних срезах и повторно строят оценку срединной линии по полученной на предыдущем этапе по меньшей мере одной карте вероятности прохождения срединной линии через конкретный пиксель по меньшей мере одного среза с применением математического ожидания; оценивают максимальное смещение построенной оценки срединных структур на трех анатомических уровнях, на основе уточненных карт вероятностей и оценки расположения трех анатомических уровней; выводят полученный результат. Изобретение обеспечивает смещение срединных структур головного мозга на трех анатомических уровнях. 1 з.п. ф-лы, 3 ил.
Description
ОБЛАСТЬ ТЕХНИКИ
Настоящее техническое решение относится к области вычислительной техники, в частности, к способу определения смещения срединных структур головного мозга по изображениям компьютерной томографии (далее - КТ).
УРОВЕНЬ ТЕХНИКИ
Наиболее близким аналогом является работа Pisov, M., Goncharov, M., Kurochkina, N., Morozov, S., Gombolevskiy, V., Chernina, V., Vladzymyrskyy, A., Zamyatina, K., Chesnokova, A., Pronin, I. and Shifrin, M., 2019. Incorporating Task-Specific Structural Knowledge into CNNs for Brain Midline Shift Detection. In Interpretability of Machine Intelligence in Medical Image Computing and Multimodal Learning for Clinical Decision Support (pp. 30-38). Springer, Cham.
Указанный в статье способ обрабатывает каждый из срезов, поданных на вход изображения магнитной резонансной томографии для решения двух задач:
- определение границ для построения оценки срединной линии (в том числе ответ может быть, то на данном срезе строить оценку не надо);
- построения карты вероятностей того, что через конкретный пиксель проходит срединная линия.
Предлагаемое решение отличается от известного из уровня техники тем, что предлагаемый способ выделяет смещение на самых важных анатомических уровнях, необходимых для принятия решения; учитывает информацию с соседних срезов, предлагаемый способ работает с изображения КТ, в то время как способ-аналог предназначен для работы с магнитной резонансной томографией, в то время как основной клинический интерес представляет работа с компьютерной томографией.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Технической проблемой, на решение которой направлено заявленное техническое решение, является создание способа определения смещения срединных структур головного мозга по изображениям компьютерной томографии, который охарактеризован в независимом пункте формулы. Дополнительные варианты реализации настоящего изобретения представлены в зависимых пунктах изобретения. Другой технической проблемой является расширение арсенала технических средств - пользовательских носимых устройств для связи с промышленными объектами.
Технический результат заключается в определении смещения срединных структур головного мозга на трех анатомических уровнях.
Заявленный результат достигается за счет осуществления компьютерно-реализуемого способа определения смещения срединных структур головного мозга по изображениям КТ содержащего этапы на которых:
на вычислительном устройстве получают КТ изображения;
осуществляют обучение нейронной сети, причем на вход нейронной сети подают бинаризированное КТ изображение;
причем обучение нейронной сети включает:
построение по меньшей мере одной карты вероятности прохождения срединной линии через конкретный пиксель по меньшей мере одного среза;
построение оценки срединной линии по полученной на предыдущем этапе по меньшей мере одной карте вероятности прохождения срединной линии через конкретный пиксель по меньшей мере одного среза с применением математического ожидания;
определяют три анатомических уровня и по меньшей мере одну область определения срединных структур по меньшей мере на одном срезе;
уточняют построенные карты вероятности посредством определения распределение вероятности прохождения срединной линии на соседних срезах и повторно строят оценку срединной линии по полученной на предыдущем этапе по меньшей мере одной карте вероятности прохождения срединной линии через конкретный пиксель по меньшей мере одного среза с применением математического ожидания;
оценивают максимальное смещение построенной оценки срединных структур на трех анатомических уровнях, на основе уточненных карт вероятностей и оценки расположения трех анатомических уровней.
В частном варианте реализации определяют три анатомических уровня, а именно: начало и конец прозрачной перегородки; левое и правое межжелудочковое отверстие; шишковидную железу, срез с наибольшей площадью железы.
ОПИСАНИЕ ЧЕРТЕЖЕЙ
Реализация изобретения будет описана в дальнейшем в соответствии с прилагаемыми чертежами, которые представлены для пояснения сути изобретения и никоим образом не ограничивают область изобретения. К заявке прилагаются следующие чертежи:
Фиг. 1 иллюстрирует архитектуру нейронной сети.
Фиг. 3 иллюстрирует пример расположения анатомических уровней.
Фиг. 3 иллюстрирует пример общей схемы вычислительного устройства.
ДЕТАЛЬНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ
В приведенном ниже подробном описании реализации изобретения приведены многочисленные детали реализации, призванные обеспечить отчетливое понимание настоящего изобретения. Однако, квалифицированному в предметной области специалисту, будет очевидно каким образом можно использовать настоящее изобретение, как с данными деталями реализации, так и без них. В других случаях хорошо известные методы, процедуры и компоненты не были описаны подробно, чтобы не затруднять излишне понимание особенностей настоящего изобретения.
Кроме того, из приведенного изложения будет ясно, что изобретение не ограничивается приведенной реализацией. Многочисленные возможные модификации, изменения, вариации и замены, сохраняющие суть и форму настоящего изобретения, будут очевидными для квалифицированных в предметной области специалистов.
Предлагаемое решение осуществляется на вычислительном устройстве. На вычислительное устройство подают КТ изображения и осуществляют предварительную обработку изображений.
Осуществляют обучение нейронной сети, для предсказания трех анатомических уровней и построение карты вероятностей прохождения срединной линии через конкретный пиксель изображения, причем на вход нейронной сети подают бинаризированное КТ изображение.
Обучение нейронной сети осуществляется в два этапа.
На первом этапе каждый аксиальный срез КТ изображения обрабатывается с помощью нейронной сети для предсказания карты вероятностей и оценки анатомических уровней.
Интенсивности входных КТ изображений скалируются в интервал [0, 1] - этап бинаризации.
Каждый бинаризированный срез изображения обрабатывается сверточной нейронной сетью с двумя выходными ветвями, как указано на Фиг. 1
Первая ветвь предназначена для построения карт вероятностей прохождения срединной линии через конкретный пиксель среза с помощью метода мягкой максимальной апостериорной оценки.
И для построения оценки средней линии по полученным картам вероятности прохождения срединной линии через конкретный пиксель среза, с помощью математического ожидания. Оценка средней линии - это математическое ожидание, подсчитанное по карте вероятностей.
Вторая ветвь предназначена для определения анатомических уровней и области определения срединных структур на каждом отдельном срезе (для исключения областей изображения вне мозга). Определяют три анатомических уровня в соответствии с рекомендациями Американского колледжа радиологии, проиллюстрированные на Фиг. 2:
(1) начала (1a) и конца (1б) прозрачной перегородки;
(2) левое и правое межжелудочковое отверстие;
(3) для шишковидной железы, срез с наибольшей площадью железы.
Поиск анатомических уровней происходит следующим образом: на основе описания, построенного с помощью сверточных слоев сети, для каждого среза оценивается вероятность принадлежности среза к каждому из трех выбранных. Для этого оценивается вероятность, что срез является целевым уровнем для каждого из них с помощью полносвязного слоя нейронной сети, завершающегося операцией softmax от всех срезов. Затем выбирается срез с максимальной оцененной вероятностью в качестве целевого анатомического уровня (для каждого из уровней). Обучение происходит на основании экспертной разметки, которая представляет собой бинарные метки, которые устанавливает пользователь, отмечающие нужный срез для каждого из типов анатомического уровня.
Одновременно с классификацией среза вторая ветвь также оценивает область определения срединных линий, делая это следующим образом: для каждой y-координаты среза строится вероятность того, что срединная линия определена. Затем принимается бинарное решение с порогом 0.7 (70%) и строится выпуклая оболочка полученного набора координат для оценки области определения срединной линии на срезе.
На втором этапе обучаются параметры условных случайных полей. Для обучения используются карты вероятностей на всех срезах, предсказанные первой ветвью нейронной сети.
Оценивают максимальное смещение построенной оценки срединных структур на трех анатомических уровнях, на основе уточненных карт вероятностей и оценки расположения трех анатомических уровней с помощью математического ожидания. При этом анатомические уровни используются для подсчета смещения (отклонения оцененной линии от прямой) на срезах КТ изображений.
Основная задача второго этапа - учесть распределение вероятностей на соседних срезах для разрешения неопределенностей (например, двухмодульные распределения вероятностей). Результат работы второго этапа - уточненные карты вероятностей распределения на соседних срезах и оценка срединных структур с помощью математического ожидания по уточненным картам. На их основе с учетом предсказаний второй ветви нейронной сети формируется итоговый ответ: оцениваются максимальные смещения построенной оценки срединной структур на срезах, выбранных второй ветвью.
Уточняют построенные карты вероятности посредством определения распределение вероятности прохождения срединной линии на соседних срезах и повторно строят оценку срединной линии по полученной на предыдущем этапе по меньшей мере одной карте вероятности прохождения срединной линии через конкретный пиксель по меньшей мере одного среза с применением математического ожидания и выводят полученный результат.
Обучаемые условные случайные поля - это одна из разновидностей случайных марковских полей, которая используется в задачах анализа текстов и изображений. В разработанном алгоритме это шаг используется для совместного анализа карт вероятностей прохождения срединных структур на соседних срезах, для чего алгоритм используется для анализа всего трехмерного массива карт вероятностей, построенных с помощью сверточных нейронных сетей на предыдущем этапе.
На Фиг. 3 далее будет представлена общая схема вычислительного устройства (300), обеспечивающего обработку данных, необходимую для реализации заявленного решения.
В общем случае устройство (300) содержит такие компоненты, как: один или более процессоров (301), по меньшей мере одну память (302), средство хранения данных (303), интерфейсы ввода/вывода (304), средство В/В (305), средства сетевого взаимодействия (306).
Процессор (301) устройства выполняет основные вычислительные операции, необходимые для функционирования устройства (300) или функциональности одного или более его компонентов. Процессор (301) исполняет необходимые машиночитаемые команды, содержащиеся в оперативной памяти (302).
Память (302), как правило, выполнена в виде ОЗУ и содержит необходимую программную логику, обеспечивающую требуемый функционал.
Средство хранения данных (303) может выполняться в виде HDD, SSD дисков, рейд массива, сетевого хранилища, флэш-памяти, оптических накопителей информации (CD, DVD, MD, Blue-Ray дисков) и т.п. Средство (303) позволяет выполнять долгосрочное хранение различного вида информации, например, вышеупомянутых файлов с наборами данных пользователей, базы данных, содержащих записи измеренных для каждого пользователя временных интервалов, идентификаторов пользователей и т.п.
Интерфейсы (304) представляют собой стандартные средства для подключения и работы с серверной частью, например, USB, RS232, RJ45, LPT, COM, HDMI, PS/2, Lightning, FireWire и т.п.
Выбор интерфейсов (304) зависит от конкретного исполнения устройства (300), которое может представлять собой персональный компьютер, мейнфрейм, серверный кластер, тонкий клиент, смартфон, ноутбук и т.п.
В качестве средств В/В данных (305) в любом воплощении системы, реализующей описываемый способ, должна использоваться клавиатура. Аппаратное исполнение клавиатуры может быть любым известным: это может быть, как встроенная клавиатура, используемая на ноутбуке или нетбуке, так и обособленное устройство, подключенное к настольному компьютеру, серверу или иному компьютерному устройству. Подключение при этом может быть, как проводным, при котором соединительный кабель клавиатуры подключен к порту PS/2 или USB, расположенному на системном блоке настольного компьютера, так и беспроводным, при котором клавиатура осуществляет обмен данными по каналу беспроводной связи, например, радиоканалу, с базовой станцией, которая, в свою очередь, непосредственно подключена к системному блоку, например, к одному из USB-портов. Помимо клавиатуры, в составе средств В/В данных также может использоваться: джойстик, дисплей (сенсорный дисплей), проектор, тачпад, манипулятор мышь, трекбол, световое перо, динамики, микрофон и т.п.
Средства сетевого взаимодействия (306) выбираются из устройства, обеспечивающий сетевой прием и передачу данных, например, Ethernet карту, WLAN/Wi-Fi модуль, Bluetooth модуль, BLE модуль, NFC модуль, IrDa, RFID модуль, GSM модем и т.п. С помощью средств (305) обеспечивается организация обмена данными по проводному или беспроводному каналу передачи данных, например, WAN, PAN, ЛВС (LAN), Интранет, Интернет, WLAN, WMAN или GSM.
Компоненты устройства (300) сопряжены посредством общей шины передачи данных (310).
В настоящих материалах заявки было представлено предпочтительное раскрытие осуществление заявленного технического решения, которое не должно использоваться как ограничивающее иные, частные воплощения его реализации, которые не выходят за рамки испрашиваемого объема правовой охраны и являются очевидными для специалистов в соответствующей области техники.
Claims (11)
1. Компьютерно-реализуемый способ определения смещения срединных структур головного мозга по изображениям компьютерной томографии (КТ), выполняющийся на вычислительном устройстве, содержащем процессор и память, хранящую инструкции, исполняемые процессором, и включающий этапы, на которых:
на вычислительное устройство получают КТ-изображение;
осуществляют обучение нейронной сети, причем на вход нейронной сети подают бинаризированное КТ-изображение;
причем обучение нейронной сети включает:
построение по меньшей мере одной карты вероятности прохождения срединной линии через конкретный пиксель по меньшей мере одного среза;
построение оценки срединной линии по полученной на предыдущем этапе по меньшей мере одной карте вероятности прохождения срединной линии через конкретный пиксель по меньшей мере одного среза с применением математического ожидания;
определяют три анатомических уровня и область определения срединных структур по меньшей мере на одном срезе;
уточняют построенные карты вероятности посредством определения распределения вероятности прохождения срединной линии на соседних срезах и повторно строят оценку срединной линии по полученной на предыдущем этапе по меньшей мере одной карте вероятности прохождения срединной линии через конкретный пиксель по меньшей мере одного среза с применением математического ожидания;
оценивают максимальное смещение построенной оценки срединных структур на трех анатомических уровнях, на основе уточненных карт вероятностей и оценки расположения трех анатомических уровней;
выводят полученный результат.
2. Способ по п.1, отличающийся тем, что определяют три анатомических уровня, а именно: начало и конец прозрачной перегородки; левое и правое межжелудочковое отверстие; шишковидную железу, срез с наибольшей площадью железы.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2020125203A RU2756156C1 (ru) | 2020-07-29 | 2020-07-29 | Способ определения смещения срединных структур головного мозга по изображениям компьютерной томографии |
| PCT/RU2021/050217 WO2022025801A1 (ru) | 2020-07-29 | 2021-07-15 | Способ определения смещения срединных структур головного мозга |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2020125203A RU2756156C1 (ru) | 2020-07-29 | 2020-07-29 | Способ определения смещения срединных структур головного мозга по изображениям компьютерной томографии |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2756156C1 true RU2756156C1 (ru) | 2021-09-28 |
Family
ID=77999836
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2020125203A RU2756156C1 (ru) | 2020-07-29 | 2020-07-29 | Способ определения смещения срединных структур головного мозга по изображениям компьютерной томографии |
Country Status (2)
| Country | Link |
|---|---|
| RU (1) | RU2756156C1 (ru) |
| WO (1) | WO2022025801A1 (ru) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1344491A1 (en) * | 2000-11-27 | 2003-09-17 | Taiju Matsuzawa | Method and apparatus for taking cerebral laminograms for working up limbic system |
| RU2508047C1 (ru) * | 2012-12-24 | 2014-02-27 | Владимир Владимирович Щедренок | Способ определения степени ущемления ствола головного мозга в большом затылочном отверстии |
-
2020
- 2020-07-29 RU RU2020125203A patent/RU2756156C1/ru active
-
2021
- 2021-07-15 WO PCT/RU2021/050217 patent/WO2022025801A1/ru active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1344491A1 (en) * | 2000-11-27 | 2003-09-17 | Taiju Matsuzawa | Method and apparatus for taking cerebral laminograms for working up limbic system |
| RU2508047C1 (ru) * | 2012-12-24 | 2014-02-27 | Владимир Владимирович Щедренок | Способ определения степени ущемления ствола головного мозга в большом затылочном отверстии |
Non-Patent Citations (2)
| Title |
|---|
| Pisov, M. et al. Incorporating Task-Specific Structural Knowledge into CNNs for Brain Midline Shift Detection. In Interpretability of Machine Intelligence in Medical Image Computing and Multimodal Learning for Clinical Decision Support (pp. 30-38). Springer, Cham, 2019. * |
| Клиническое руководство по черепномозговой травме. / Под ред. А.Н. Коновалова. - М.: Антидор, т.1, 1990, с.472-494. * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022025801A1 (ru) | 2022-02-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Graziani et al. | Concept attribution: Explaining CNN decisions to physicians | |
| Ushio et al. | Fluctuating interaction network and time-varying stability of a natural fish community | |
| Krause et al. | Using visual analytics to interpret predictive machine learning models | |
| Rahaman et al. | An efficient multilevel thresholding based satellite image segmentation approach using a new adaptive cuckoo search algorithm | |
| US11037684B2 (en) | Generating drug repositioning hypotheses based on integrating multiple aspects of drug similarity and disease similarity | |
| US11972567B2 (en) | System and method for analyzing medical images to detect and classify a medical condition using machine-learning and a case pertinent radiology atlas | |
| Št et al. | Connected component labeling in CUDA | |
| WO2021257395A1 (en) | Systems and methods for machine learning model interpretation | |
| US10400583B1 (en) | Methods and systems for spatial change indicator analysis | |
| Willis et al. | Uncertainty in phylogenetic tree estimates | |
| Devezer et al. | Rigorous exploration in a model-centric science via epistemic iteration. | |
| Shibue et al. | Deconvolution of calcium imaging data using marked point processes | |
| Nayebi et al. | WindowSHAP: An efficient framework for explaining time-series classifiers based on Shapley values | |
| de Sousa et al. | Evolved explainable classifications for lymph node metastases | |
| CN117788933A (zh) | 基于结构张量分解神经网络的多模态医学图像分类方法 | |
| Dhaliwal | AUTOMATING ANALYSIS WORKFLOWS WITH AI: TOOLS FOR STREAMLINED DATA UPLOAD AND REVIEW IN CLINICAL SYSTEMS | |
| RU2756156C1 (ru) | Способ определения смещения срединных структур головного мозга по изображениям компьютерной томографии | |
| Pukkala | Can Kohonen networks delineate forest stands? | |
| Liang et al. | CAF-AHGCN: context-aware attention fusion adaptive hypergraph convolutional network for human-interpretable prediction of gigapixel whole-slide image | |
| Shim et al. | Fast and accurate interpretation of workload classification model | |
| Saha et al. | A newly proposed object detection method using faster R-CNN inception with ResNet based on Tensorflow | |
| WO2022247448A1 (zh) | 数据处理方法、装置、计算设备和计算机可读存储介质 | |
| Berikov et al. | On a weakly supervised classification problem | |
| Maslennikov et al. | An intuitive risk factors search algorithm: usage of the Bayesian network technique in personalized medicine | |
| Fazekas et al. | Testing the Consistency of Performance Scores Reported for Binary Classification Problems |