Лечим flaky тесты в режиме blackbox
Доклад отклонён
Целевая аудитория
Тезисы
Бекэнд Яндекс Вертикалей живёт в Bazel-монорепе. В ней четыре миллиона строк кода, за которые ответственны 15 команд, и эти числа постоянно растут.
Flaky тесты — наша болезнь роста. С ней концепция 100% зелёных тестов становится проблематичной, т.к. юнит-тесты всё время флакают и краснят билд.
Мы, как команда монорепы, эффективно решили проблему с flaky тестами всех наших команд, не разбираясь детально с каждым проблемным тестом — в режиме blackbox. Мы пришли от кошмарных >= 5% фейлов сборок от flaky — к приятным <= 1%.
Слушатели узнают про эффективные способы борьбы с flaky тестами — в первую очередь, карантин. И поймут на нашем опыте, какие у этих способов есть подводные камни, и как их обходить.
Разберём, как работать вместе с другими командами над внедрением подхода, при котором флаки тесты, фактически, выключаются.
Речь пойдёт про борьбу с флаками изолированных тестов — т.е. тестов, которые должны быть зелёными 100% времени, т.к. не ходят никуда по сети, и т.д.
Руководит командой монорепозитория бэкенда в Яндекс Вертикалях. Делают Bazel-монорепу для сотни Scala-разработчиков. Помогают разработчикам быстрее:
* собирать код;
* выкатывать сервисы в тестинг и прод;
* обеспечивать наблюдаемость работы сервисов.
Евгений является Scala-амбассадором Вертикалей. Представляет компанию в русскоязычном Scala-сообществе, а также организует Scala-митапы и частенько выступает.
Яндекс Вертикали
Видео
Другие доклады секции
TechLeadConf: Инженерные практики