Заказчик
Самарская областная клиническая офтальмологическая больница имени Т.И. Ерошевского
Мобильное приложение для диагностики заболеваний глаз на основе нейронных сетей и алгоритмов обработки изображения.
Самарская областная клиническая офтальмологическая больница имени Т.И. Ерошевского
Разработать мобильное приложение для диагностики различных глазных болезней. На первом этапе разработать функционал для реализации методики диагностики косоглазия по Гиршбергу, предоставленной заказчиком.
Для решения задачи было решено выполнять фотографирование пациента с помощью камеры мобильного телефона, а затем выполнять обработку изображения при помощи нескольких нейронных сетей.
Наши ML-специалисты провели анализ имеющихся нейронных сетей для сегментации лица, глаз и деталей глаза. Кроме того они сделали сотни и тысячи пробных фото для проверки гипотез того или иного подхода.
В результате исследований мы смогли определить следующие требования. Диагностика должна проводиться в слегка затемненном помещении. Для проведения диагностики медицинский работник запускает мобильное приложение и наводит камеру на пациента и делает фото для диагностики. Изображение должно иметь размер в пикселях не менее 1500px по горизонтали и не менее 2000px по вертикали. Лицо на фото должно иметь размер не менее 50% по горизонтали и 50% по вертикали. Лицо пациента расположено по центру фото, глаза расположены на одной горизонтали, хорошо раскрыты. Глаза на фото изображены четко: хорошо видна граница радужки, граница зрачка.
Полученное фото передается в модуль диагностики, который выполняет анализ изображения с поочередным применением нейронных сетей S3FD (Single Shot Scale-invariant Face Detector), 2DFAN-4 и GazeML на базе алгоритмов ELG (Eye region Landmarks based Gaze Estimation). На отдельных этапах также применяем OpenCV для обработки и анализа изображения. Более подробное описание алгоритма мы, к сожалению, привести не можем, т.к. это является коммерческой тайной.
Разработано мобильное приложение, которое выполняет диагностику заболеваний глаз по фото с применением специализированных алгоритмов машинного обучения. Преимущество метода в том, что диагностика может быть проведена при помощи обычного смартфона под управлением операционной системы Android, без применения специализированных приборов.
Полученное приложение решает такие задачи, как:
Ранняя диагностика глазных болезней пациентами (пациент самостоятельно выполняет проверку и своевременно обращается к врачу).
Предварительная диагностика глазных болезней непрофильными специалистами (особенно актуально в поликлиниках удаленных населенных пунктов).
Самые важные особенности приложения: