Материал: Физико-математическое моделирование систем. материалы XX Международного семинара. Батаронов И.Л., Шунин Г.Е

Предлагаемый метод

Для проведения идентификации дефектов на изображениях дорожного покрытия, нужно определить, что является дефектом, а что нет. Другими словами, нужно провести сегментацию изображения и выделить соответствующие классы. Данный тип задач, в последнее время, эффективно решается с помощью специально разработанных архитектур сверточных нейронных сетей, та-

ких, например, как SegNet [1], U-Net [2].

Изображения дорожного покрытия имеют свою специфику. Она заключается в небольшом диапазоне серого цвета и небольшой разнице между фоном и целевым объектом изображения. Помимо этого, на изображениях могут присутствовать большое количество шумов и посторонних объектов. Изображения могут содержать различные типы дефектов, разного размера и формы.

На данный момент, существует большое количество наборов данных, на основе которых, можно провести обучение нейронной сети [3, 4]. Эти наборы данных включают в себя оригинальные изображения дорожного покрытия и соответствующие им изображения-маски, показывающие наличие или отсутствие дефектов. Так как изображения с дефектами на дорожном покрытии имеют свою специфику, авторы предлагают собственную упрощенную модель глубокой сверточной нейронной сети. Для сегментации изображения предлагается

Fully convolutional neural network [5] со структурой Encoder-Decoder. На вход системы подается изображение дорожного покрытия, а на выходе получается бинарное изображение. Таким образом, в качестве результата, получается сегментированное изображение, показывающее наличие и отсутствие дефектов.

Архитектура

На рис. 1 показана архитектура предлагаемой глубокой сверточной нейронной сети. Нейронная сеть стоит из двух частей – сверточной и разверточной. Сверточная часть выполняет функцию извлечения признаков. Она преобразует входное изображение в многомерное представление признаков. Разверточная сеть играет роль генератора, который создает сегментированное изображение на основе признаков, полученных от сверточной сети. Последний сверточный слой сети с сигмовидной активационной функцией генерирует сегментированное изображение, другими словами, карту вероятностей присутствия дефекта того же размера, что и входное изображение.

Первая часть сеть состоит из 5 сверточных слоев с наборами фильтров

(256, 128, 64, 64, 64). Применяется инструмент batch normalization (BN) [6]. В

качестве активационных функций применяется «выпрямитель» rectified linear unit (ReLU). Далее следуют слои субдискретизации (Pooling) с окном 2x2, таким образом происходит уменьшение изображения в 2 раза после его прохождения через этот слой. Вторая часть сети является зеркальным отражением первой части. Для того чтобы восстановить размер изображения до исходного и сформировать карту вероятностей, на основе признаков входного изображения, применяются upsampling слои в комбинации со сверточными слоями. Предложенная нейронная сеть имеет 10 сверточных слоев и 929 665 обучаемых параметров.

30

Рис. 1. Архитектура предложенной сети

Подготовка набора данных

Для обучения построенной модели используется набор данных CrackForest [4]. Проводится его аугментация (искусственное увеличение набора данных), так как обучение и работа нейронной сети основана на Path-based подходе. Каждый фрагмент изображения подвергается вращению, отражению и деформации. Он разделяется на обучающую, тестовую и валидационную выборки. Для каждого изображения из обучающей и тестовой выборки случайно выбираются фрагменты размером 64x64. Исследования показали, что в рамках поставленной задачи, гамма-коррекция изображений способствует увеличению качества работы нейронной сети. На рис. 2 показаны изображения, полученные в результате аугментации данных, и соответствующие им маски, применяемые для обучения нейронной сети.

Рис. 2. Изображения и соответствующие им бинарные маски, полученные в результате аугментации данных

31

Обучение нейронной сети

В связи со спецификой исследуемой области, для обучения и оценки работы нейронной сети применяются метрики intersection over union (IoU, коэффициент Жаккара) и эквивалентная ей бинарная мера схожести dice (мера Сёренсена). В качестве функции потерь используется функция 1 − .

Инициализация весов в слоях нейронной сети осуществляется методом Glorot. Выполняется batch normalization [6] для уменьшения внутреннего ковариационного сдвига путем нормализации входных распределений каждого слоя.

Для обучения используется алгоритм оптимизации Adam (Method for Stochastic Optimization) [7].

Обучение нейронной сети проходит в несколько этапов. На первом этапе сеть обучается на небольшом объеме данных (30% от основного набора), 5 эпох. На втором этапе сеть обучается на полном объеме данных необходимое количество эпох.

Для реализации разработанной архитектуры ГСНН используются фрейм-

ворки Keras и Tensorflow.

Результаты

После обучения нейронной сети, производится валидация на тестовых данных. Каждый фрагмент изображения подается на вход нейронной сети, а на выходе получается сгенерированная карта вероятностей наличия дефекта. Полученное предположение сети сравнивается с истинным значением. В связи со специфическим соотношением площади дефекта к площади всего изображения, а также двоичной (однобитовой) маски и действительного (4-байтового) генерируемого изображения, значения метрик IoU и Dice имеют характерные значения. Качество, подготовленного набора данных, оказывает большое влияние на обучение и результат работы нейронной сети. В некоторых случаях, в результате работы нейронной сети, наблюдается наличие дефектов, хотя на истинных изображения дефект отсутствует (ошибка разметки) или наоборот. Что сказывается на общей оценке качества работы представленной модели. В целом, оценка точности работы нейронной сети, предложенными метриками, может иметь субъективный характер. Поэтому не стоит воспринимать приведенные значения как абсолютные.

В рамках данной работы, была проведена оценка некоторых моделей FCN-нейронных сетей. Результаты приведены в таблице. В скобках указано количество фильтров на первой части сети. Количество фильтров на второй части сети зеркально отражено на рис. 1.

Для обработки изображений высокого разрешения применяется метод скользящего окна с заданным шагом, регулирующим скорость обработки и де-

32

тализацию. Несколько изображений из валидационного набора и результат обработки их нейронной сетью представлены на рис. 3.

Точность работы некоторых моделей нейронных сетей

Рис. 3. Валидационные изображения, обработанные обученной нейронной

сетью

Заключение

Разработана модель сверточной искусственной нейронной сети, способная решать задачу сегментации дефектов на изображениях дорожного покрытия. Данная модель нацелена на возможное применение в различных областях в рамках решения задач сегментации и идентификации. Предлагается метод построения обучающей выборки с учетом небольшого объема исходного набора данных. Проведена тонкая настройка разработанной нейронной сети с учетом

33

специфики решаемой задачи. Разработанная система может проводить автономную обработку большого объема данных, содержащих изображения дорожного покрытия. В результате, согласно используемым метрикам, FCN показы-

вает следующие результаты: IoU – 0.3488, Dice – 0.7381.

Работа выполнена при поддержке гранта РФФИ №18-31-00024.

Литература

1.V. Badrinarayanan, A. Kendall and R. Cipolla, "SegNet: A Deep Convolutional EncoderDecoder Architecture for Image Segmentation," in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 39, no. 12, pp. 2481-2495, Dec. 1 2017.

2.Ronneberger O., Fischer P., Brox T. (2015) U-Net: Convolutional Networks for Biomedical Image Segmentation. In: Navab N., Hornegger J., Wells W., Frangi A. (eds) Medical Image Computing and Computer-Assisted Intervention – MICCAI 2015. MICCAI 2015. Lecture Notes in Computer Science, vol 9351. Springer, Cham.

3.Eisenbach, M., Stricker, R., Seichter, D., Amende, K., Debes, K., Sesselmann, M., Ebersbach, D., Stöckert, U., Gross, H.-M. How to Get Pavement Distress Detection Ready for Deep Learning? A Systematic Approach. in: Int. Joint Conf. on Neural Networks (IJCNN), Anchorage, USA, pp. 2039-2047, IEEE 2017.

4.Y. Shi, L. Cui, Z. Qi, F. Meng and Z. Chen, "Automatic Road Crack Detection Using Random Structured Forests," in IEEE Transactions on Intelligent Transportation Systems, vol. 17, no. 12, pp. 3434-3445, Dec. 2016.

5.E. Shelhamer, J. Long and T. Darrell, "Fully Convolutional Networks for Semantic Segmentation," in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 39, no. 4, pp. 640-651, April 1 2017.

6.S. Ioffe and C. Szegedy, “Batch normalization: Accelerating deep network training by reducing internal covariate shift,” CoRR, vol. abs/1502.03167, 2015.

7.Kingma, Diederik & Ba, Jimmy. (2014). Adam: A Method for Stochastic Optimization. International Conference on Learning Representations.

VISION MODEL FOR IDENTIFYING DEFECTS IN ASPHALT IMAGES

P. V. Vasilev, A. V. Senichev, M. V. Stupina, A. O. Golovinov, O. S. Khristich

Don State Technical University, Rostov-on-Don

The authors of this paper propose an approach that implements the identification of defects in images of asphalt. To solve the problem, a neural network approach is used. A model of a convolutional neural network has been built, taking into account the characteristics of the problem being solved. The model imposes low requirements on the size of the training sample, data augmentation is applied, and the model is fine-tuned as part of the task. The proposed model has a high degree of repeatability and can be used in various segmentation problems.

Keywords: defect identification, machine learning, convolutional neural networks, pavement.

34