Stateful infrastructure - надо бы доучить
Log Analytics - надо бы тоже разобраться (AWS?)
Schema
Они используют внутреннее решение Scribe - Аналог Kafka на C++ и PHP (Hack), схема по сути как у кафки
- Identify the problem
- Verify it
- Talk to customers & identify use cases
- Design long-term solution and MVP
- Gather feedback
- Implement MVP
- Cover everything with tests and monitoring
- Roll-out
- Analysis
3 дня хранения данных было чисто человеческим фактором, чтобы на выходные (2 дня) человек мог отдыхнуть и после мог продолжить разрабатывать
Как создается команда? Сеньор ведет разработку от начала до конца
В реально больших проектах TDD не работает, но когда очень большой скейл то со временем ты будешь работать по системе Lean по сути и начать понимать и накоплять знания того что требуется и как надо сделать конечное решение.
Решения придуманные со временем:
- Read Side Throttling - плохое решение потому что все правильно делали что много читали
- Smart Data Placement - не очень решение, потому что так и так люди читали
- Close-to-Source Filtering - много трафика пожирает, но уже лучше. Если фильтр добавить ближе к клиенту, то кол-во передачи данных уменшится в разы
- Close-to-Destination Caching - Кешируется данные ближе к исходнику, поэтому это и есть stateful infrastructure.
Четвертое решение и стало решением. Клиенты решили что последнее решение лучшее
Стратегия кеширования
Look-Aside Caching
На деле это мало работало, потому что ридер не знает какой сообщение читать. Предугадать было сложно. Ридеры начинает гнаться друг за другом (Race condition). И таким образом это могло испортить кеш. Есть большой риск что они будут промахиваться.
Category Collocation
тоже не совсем работает
Log-level Caching
Implementation
Нужно быть развитые софт скиллы. Ты берешь ответственность за свои решения.
Создание MVP
Они прям до названии переменных делали. Надо понимать людей с которыми ты работаешь и уметь настраивать их под себя.
Баги могут быть и в тестах
tg: @cto_diary
Q&A
Больше кайфа от самого кодинга это в инфрах, стартапы тоже кайф
Лучше в большую организацию, там работа в инфрах интереснее.
В стартапе ты всю инфру делаешь с нуля и глубоко не лезешь
Как обучиться инфре?
- Не бояться. Нужно понимать хорошо математику и инженерии.
- Знать плюсы и многие языки
Твиттер против фейсбук: разница большая. В твиттере была полная халява.
- В твиттере было слишком большая завязка на integrity: work-life balance. Никого не обидеть, можно откладывать дедлайны. В фейсбуке все на achievement and progress, немного hostile.
- В твиттере люди не выгорали и хотели работать. В твиттере многое опен сорсное.
В будущем будет раст, го, питон, джс (нода), пхп
Чатгпт: как ассистент супер