Конференция, полностью посвященная инженерным процессам и практикам

Лечим flaky тесты в режиме blackbox

TechLeadConf: Инженерные практики

Доклад отклонён

Целевая аудитория

Разработчики и тестировщики, желающие починить flaky в своём проекте, и снизить в разы % сборок, упавших от flaky. Техлиды и тимлиды, желающие поучиться на чужом опыте, как внедрить инфраструктурное обновление, от которого у других команд может бомбить.

Тезисы

Бекэнд Яндекс Вертикалей живёт в Bazel-монорепе. В ней четыре миллиона строк кода, за которые ответственны 15 команд, и эти числа постоянно растут.

Flaky тесты — наша болезнь роста. С ней концепция 100% зелёных тестов становится проблематичной, т.к. юнит-тесты всё время флакают и краснят билд.

Мы, как команда монорепы, эффективно решили проблему с flaky тестами всех наших команд, не разбираясь детально с каждым проблемным тестом — в режиме blackbox. Мы пришли от кошмарных >= 5% фейлов сборок от flaky — к приятным <= 1%.

Слушатели узнают про эффективные способы борьбы с flaky тестами — в первую очередь, карантин. И поймут на нашем опыте, какие у этих способов есть подводные камни, и как их обходить.

Разберём, как работать вместе с другими командами над внедрением подхода, при котором флаки тесты, фактически, выключаются.

Речь пойдёт про борьбу с флаками изолированных тестов — т.е. тестов, которые должны быть зелёными 100% времени, т.к. не ходят никуда по сети, и т.д.

Евгений Веретенников

Яндекс Вертикали

Руководит командой монорепозитория бэкенда в Яндекс Вертикалях. Делают Bazel-монорепу для сотни Scala-разработчиков. Помогают разработчикам быстрее:
* собирать код;
* выкатывать сервисы в тестинг и прод;
* обеспечивать наблюдаемость работы сервисов.

Евгений является Scala-амбассадором Вертикалей. Представляет компанию в русскоязычном Scala-сообществе, а также организует Scala-митапы и частенько выступает.

Яндекс Вертикали

Часть Яндекса, которая занимается сервисами объявлений. Сейчас это: Авто.ру, Недвижимость, Аренда, Путешествия и Услуги. Все вместе это: * тысяча человек, * сотни сервисов, * миллионы пользователей, * десятки тысяч RPS.

Видео