Разработка 3D симулятора для предоперационного бесконтактного подбора клапана на основе индивидуальных данных пациента
Аннотация
В настоящее время эффективность закрытия легочных полостей (каверн) с использованием наиболее успешных методов приблизительно оценивается в 70-80%. Симулятор, позволяющий имитировать лечение легочных полостей, может повысить процент успеха операций по закрытию легочных полостей.
Актуальность работы заключается в необходимости разработки такого симулятора, для предоперационного бесконтактного подбора клапана на основе индивидуальных данных пациента. Научная новизна заключается в алгоритме построения модели легких пациента, с учетом найденных поражений, а также возможности измерения диаметра бронха. Данный функционал интегрирован в приложение-симулятор, который позволит бронхологу подбирать эндобронхиальный клапан нужного размера.
Объект исследования - снимки компьютерной томографии легких пациентов. Предмет исследования - каверны в легких, при фиброзно-кавернозном туберкулезе, на снимках компьютерной томографии.
Целью ВКР является разработка симулятора, строящего на основании снимков КТ пациента модель его лёгких с учётом всех найденных поражений, а также определять диаметр бронхов. При этом необходимо выполнить следующие задачи:
а) провести анализ предметной области и понять, как отличить каверну от другой патологии и бронха;
б) под надзором экспертов выделить нужные объекты на снимках;
в) используя полученные данные, самостоятельно выделить каверны, на предоставленных снимках;
г) обучить сегментирующую модель;
д) выбрать оптимальный набор алгоритмов по сегментации легких и построению модели легких
е) реализовать алгоритмы с построением модели легких
ж) реализовать метод измерения расстояния на снимке легкого
з) реализовать математическую модель вероятности схлопывания легкого
Результатом анализа предметной области и полученных от УНИИФ данных является размеченный набор данных для обучения нейронных сетей. Корректность размеченного набора данных была подтверждена экспертами из УНИИФ. Также исполнителем получены навыки начального уровня по поиску патологических полостей в лёгких.
Для реализации размеченных данных в обучении был проведён анализ архитектур для сегментации и классификации изображений. Для задачи сегментирования каверн была выбрана и реализована архитектура YOLO. В результате, обученная нейронная сеть, на тестовом наборе данных выдала метрику mAP = 0.73 при IoU = 0.70.
В рамках работы был реализован алгоритм построения модели легких по срезам снимка компьютерного томографа, для визуального анализа легких пациента. Алгоритм, на каждом изображении среза снимка легких пациента, выделяет легочные структуры, содержание воздух, а затем, используя алгоритм компьютерной графики для построения изоповерхностей, строится модель легких.
В рамках работы был реализован алгоритм измерения расстояния на срезах легких, используя данные о расстояниях между пикселями, полученные из метаданных файлов формата .dcm, являющийся форматом для хранения медицинских данных.
В рамках работы реализовано приложение симулятор для работы бронхолога, для подбора клапана. Созданное приложение-симулятор включает в себя следующий функционал:
- возможность просматривать изображения срезов легких пациента в аксиальной, сагиттальной и фронтальной проекциях;
- возможность просматривать (и вращать) интерактивную модель легких пациента, построенную с учетом найденных поражений, для визуального анализа каверн;
- возможность измерять расстояние на снимке среза легких (в аксиальной, сагиттальной или фронтальной проекции);
- возможность просмотра информации о пациенте и сканировании (пол, вес, возраст, место компьютерной томографии, дата и т.д.), полученной из метаданных файлов срезов пациента.
Модель легких пациента, построенная алгоритмом, реализованным в ходе выполнения данной работы, может быть сохранена в формате .obj, для открытия в приложениях, для просмотра трехмерных объектов.
Предположение, о том, что поражение легких можно измерять простым подсчетом отношения количества легочной ткани к площади легочных мешков, не подтвердилось.
Актуальность работы заключается в необходимости разработки такого симулятора, для предоперационного бесконтактного подбора клапана на основе индивидуальных данных пациента. Научная новизна заключается в алгоритме построения модели легких пациента, с учетом найденных поражений, а также возможности измерения диаметра бронха. Данный функционал интегрирован в приложение-симулятор, который позволит бронхологу подбирать эндобронхиальный клапан нужного размера.
Объект исследования - снимки компьютерной томографии легких пациентов. Предмет исследования - каверны в легких, при фиброзно-кавернозном туберкулезе, на снимках компьютерной томографии.
Целью ВКР является разработка симулятора, строящего на основании снимков КТ пациента модель его лёгких с учётом всех найденных поражений, а также определять диаметр бронхов. При этом необходимо выполнить следующие задачи:
а) провести анализ предметной области и понять, как отличить каверну от другой патологии и бронха;
б) под надзором экспертов выделить нужные объекты на снимках;
в) используя полученные данные, самостоятельно выделить каверны, на предоставленных снимках;
г) обучить сегментирующую модель;
д) выбрать оптимальный набор алгоритмов по сегментации легких и построению модели легких
е) реализовать алгоритмы с построением модели легких
ж) реализовать метод измерения расстояния на снимке легкого
з) реализовать математическую модель вероятности схлопывания легкого
Результатом анализа предметной области и полученных от УНИИФ данных является размеченный набор данных для обучения нейронных сетей. Корректность размеченного набора данных была подтверждена экспертами из УНИИФ. Также исполнителем получены навыки начального уровня по поиску патологических полостей в лёгких.
Для реализации размеченных данных в обучении был проведён анализ архитектур для сегментации и классификации изображений. Для задачи сегментирования каверн была выбрана и реализована архитектура YOLO. В результате, обученная нейронная сеть, на тестовом наборе данных выдала метрику mAP = 0.73 при IoU = 0.70.
В рамках работы был реализован алгоритм построения модели легких по срезам снимка компьютерного томографа, для визуального анализа легких пациента. Алгоритм, на каждом изображении среза снимка легких пациента, выделяет легочные структуры, содержание воздух, а затем, используя алгоритм компьютерной графики для построения изоповерхностей, строится модель легких.
В рамках работы был реализован алгоритм измерения расстояния на срезах легких, используя данные о расстояниях между пикселями, полученные из метаданных файлов формата .dcm, являющийся форматом для хранения медицинских данных.
В рамках работы реализовано приложение симулятор для работы бронхолога, для подбора клапана. Созданное приложение-симулятор включает в себя следующий функционал:
- возможность просматривать изображения срезов легких пациента в аксиальной, сагиттальной и фронтальной проекциях;
- возможность просматривать (и вращать) интерактивную модель легких пациента, построенную с учетом найденных поражений, для визуального анализа каверн;
- возможность измерять расстояние на снимке среза легких (в аксиальной, сагиттальной или фронтальной проекции);
- возможность просмотра информации о пациенте и сканировании (пол, вес, возраст, место компьютерной томографии, дата и т.д.), полученной из метаданных файлов срезов пациента.
Модель легких пациента, построенная алгоритмом, реализованным в ходе выполнения данной работы, может быть сохранена в формате .obj, для открытия в приложениях, для просмотра трехмерных объектов.
Предположение, о том, что поражение легких можно измерять простым подсчетом отношения количества легочной ткани к площади легочных мешков, не подтвердилось.