cheatsnake/backend-cheats
1
1
Fork 0
mirror of https://github.com/cheatsnake/backend-cheats.git synced 2024-11-27 09:27:36 +03:00
Code Issues Projects Releases Wiki Activity
🔰 Шпаргалка по бэкенду с картинками и не только / Backend cheatsheet with pictures and more
338 Commits 2 Branches 0 Tags 11 MiB
Markdown 100%
c363371c01
Go to file
cheatsnake c363371c01 updated topic about IP
2022-11-18 16:50:03 +03:00
files updated image 2022-11-01 20:44:51 +03:00
future.md added future list 2022-11-16 17:48:59 +03:00
LICENSE Create LICENSE 2022-03-02 19:50:35 +03:00
README.md updated topic about IP 2022-11-18 16:50:03 +03:00

README.md

Logo

Данный репозиторий представляет собой наглядную шпаргалку по основным темам в области Backend-разработки. Весь материал разбит на темы и подтемы. Структура материала состоит из трех частей:

  • Визуальная часть - различные изображения/таблицы/шпаргалки для лучшего понимания (может отсутствовать). Все рисунки и таблицы сделаны с нуля, специально для этого репозитория.
  • Краткое описание - очень краткая выжимка информации с перечнем основных терминов и понятий. На термины навешиваются гиперссылки ведущие на соответсвующий раздел в Википедии или подобном справочном ресурсе.
  • Ссылки на источники - ресурсы, где можно найти полную информацию по конкретному вопросу. По возможности, указываются максимально авторитетные источники, либо же те, которые предоставляют информацию максимально простым и понятным языком.

🛠 Репозиторий находится в стадии активной разработки, поэтому постоянно обновляется и дополняется (см. список будущих нововведений/изменений)

🤝 Если вы хотите помочь проекту, не стесняйтесь присылать свои пулл реквесты

📝 The translation into English will be start after all the main topics have been completed

Содержание

1. Сеть и интернет
2. Устройство ПК
3. Основы Linux
4. Общие знания
5. Язык программирования
6. Базы данных
7. Разработка API
8. Программное обеспечение
9. Безопасность
10. Тестирование
11. Оптимизация
12. Документирование
13. Построение архитектуры

Сеть и интернет

Интернет - это всемирная система объединяющая компьютерные сети со всего мира в единую сеть для хранения/передачи информации. Изначально Интернет разрабатывался для военных. Но вскоре он стал внедряться в учреждения образования (университеты), а затем его смогли использовать частные компании, которые начали организовывать сети провайдеров, предоставляющие услуги доступа в Интернет обычным гражданам. К началу 2020 года количество пользователей в сети Интернет перевалило за 4.5 млрд человек.

  • Как устроен Интернет

    Internet

    Ваш компьютер никогда не был связан с Интернетом напрямую. Поскольку он способен видеть только свою локальную сеть, в которую проводным (Ethernet) или беспроводным (Wi-Fi, Bluetooth) путем подключены другие устройства. Для связи с Интернетом в вашей локальной сети находиться специальный мини-компьютер – маршрутизатор. Далее он связывает вас с интернет-провайдером, который в свою очередь связан с другими провайдерами более высокого уровня. Таким образом, ваше сообщение, проходит транзитом через сеть нескольких провайдеров, прежде чем достигнет сеть назначения.

    Интернет – это всего лишь длинный провод, к которому напрямую присоединены небольшое количество провайдеров первого уровня. Провайдеры уровня ниже просто арендуют доступ.

    • Хост

      (host - принимающий) любое устройство, которое находится в какой-либо сети.

    • Сервер

      (serve - обслуживать) специальный компьютер в сети, который обслуживает запросы поступающие от других компьютеров.

🔗 Ссылки на материалы
  1. 📄 Как работает Интернет – MDN (mozilla.org)
  2. 📺 Основы программирования. Как работают сети? – YouTube
  3. 📄 Кому принадлежит сеть Интернет?
  4. 📄 Что такое сервер и как он работает
  5. 📄 Хост — что это такое и как он работает

  • Что такое доменное имя

    Domain

    Доменные имена - это человеко-читаемые адреса веб-серверов, доступных в Интернете. Они состоят из частей (уровней) разделенных между собой точкой. Каждая из этих частей предоставляет специфическую информацию о доменном имени. Например страну, название сервиса, локализацию и т.д.

    • Кто владеем доменными именами

      Корпорация ICANN является основателем распределённой системы регистрации доменов. Она выдаёт аккредитации компаниям, которые хотят заниматься продажей доменов. Таким образом формируется конкурентный доменный рынок.

    • Как купить доменное имя

      Доменное имя нельзя купить навсегда. Оно выдается в аренду на определенный срок. Покупать домены лучше у аккредитованных регистраторов (найти их можно почти в любой стране).

🔗 Ссылки на материалы
  1. 📄 Что такое доменные имена – MDN (mozilla.org)
  2. 📄 Как работают домены
  3. 📄 Доменное имя в призме закона – habr.com

  • IP-адрес

    IPv4-IPv6

    IP-адрес – уникальный числовой адрес, который используется для распознавания того или иного устройства в сети.

    • Уровни видимости
      • Внешний и доступный всем IP-адрес, который принадлежит Вашему провайдеру и используется для выхода в интернет сотен других пользователей.
      • IP-адрес вашего роутера в локальной сети провайдера, той самой, с IP-адресом которой вы выходите в интернет.
      • IP-адрес вашего компьютера в локальной (домашней) сети, созданной роутером, к которой вы можете подключать свои устройства. Как правило, имеет вид 192.168.XXX.XXX.
      • Внутренний IP-адрес компьютера, недоступный извне и используемый только для общения между запущенными процессами. У всех он одинаковый – 127.0.0.1 или просто localhost.
    • Порт

      На одном устройстве (компьютере) может работать множество приложений, которые используют сеть. Для того, чтобы правильно распознать, куда и какие данные, пришедшие по сети, нужно доставить (в какое из приложений) используется специальный числовой номер – порт. То есть, каждый запущенный процесс на компьютере, который использует сетевое подключение, имеет свой личный порт.

    • IPv4

      4 версия IP-протокола. Разработана в 1981 году и ограничивает адресное пространство около 4.3 млрд (2^32) возможными уникальными адресами.

    • IPv6

      Со временем распределение адресного пространства стало происходить значительно более быстрыми темпами, что вынудило создание новой версии IP-протокола для хранения большего количества адресов. IPv6 способен выдать 2^128 уникальных адресов.

🔗 Ссылки на материалы
  1. 📄 IP адрес
  2. 📄 Всё об IP адресах и о том, как с ними работать – habr.com
  3. 📄 Как узнать IP-адрес в Linux
  4. 📺 Порты и перенаправление\открытие портов. Инструкция и объяснения на пальцах – YouTube
  5. 📄 Список зарезервированных портов TCP и UDP – Википедия
  6. 📄 Протоколы IPv4 и IPv6. В чем разница и что лучше?
  7. 📺 Адреса IPv6 | Компьютерные сети. Продвинутые темы – YouTube
  8. 📄 IPv6: как организовать миграцию и в чем преимущества перехода
  9. 📺 IPv6 - от слов к делу – YouTube

  • Что такое DNS

    DNS

    DNS (Domain Name System) - это децентрализованная система именования адресов в Интернете, которая позволяет создавать удобные для человека буквеные наименования (доменные имена) соответствующие числовым IP-адресам, которые используются компьютерами.

🔗 Ссылки на материалы
  1. 📄 Что такое DNS-сервер простыми словами
  2. 📺 Система доменных имен DNS — YouTube
  3. 📄 Как это работает: Пара слов о DNS – habr.com

  • Устройство веб-приложений

    Современные веб-приложения состоят из двух частей: клиентской (frontend) и серверной (backend). Тем самым реализуя клиент-серверную архитектуру.

    Задачами клиентской части являются:

    • Реализация пользовательского интерфейса (внешний вид приложения)

      Для создания веб-страниц использются специальный язык разметки – HTML
      Для стилизации шрифтов, расположения содержимого и т.д. используется язык стилей – CSS
      Для добавления динамики и интерактивности – язык программирования JavaScript
      Как правило в чистом виде эти инструменты используются редко, поскольку для более удобной и быстрой разработки существуют так называемые фреймворки и препроцессоры.

    • Cоздание функционала для формирования запросов к серверу

      Как правило это различного вида формы ввода, с которыми можно удобно взаимодействовать.

    • Примем данных от сервера и их последующая обработка для вывода на клиент

    Задачи серверной части:

    • Обработка клиентских запросов

      Проверка на наличие прав и доступа, разного рода валидации и т.д.

    • Выполнение бизнес логики

      Здесь может подразумеватся широкий спектр задач: работа с базами данных, обработка информации, вычисления и т.д. Это, так сказать, самое сердце мира Backend. Здесь и происходит все самое важное и интересное.

    • Формирование ответа и отправка его на клиент
🔗 Ссылки на материалы
  1. 📄 Как работают веб-приложения – habr.com
  2. 📺 Как устроены веб-приложения? (Frontend/Backend) – YouTube
  3. 📄 Что такое HTML за 7 минут
  4. 📄 Базовый курс по фронтенду – (MDN) mozilla.org
  5. 📄 Frontend Developer roadmap
  6. 📄 Нативные, гибридные и web-приложения в сравнении – medium.com

  • Браузеры и как они работают

    Browser

    Браузер – клиент, с помощью которого можно отправлять запросы на сервер для получения файлов, которые впоследствии используются для отрисовки web-страниц. Если совсем упрощенно, то браузер можно воспринимать как программу для просмотра HTML-файлов, которая так же может искать и скачивать их из интернета.

🔗 Ссылки на материалы
  1. 📄 Как работают браузеры — MDN (mozilla.org)
  2. 📄 Как работают браузеры — введение в безопасность веб-приложений – habr.com
  3. 📄 Важные аспекты работы браузера для разработчиков – habr.com
  4. 📄 Что на самом деле происходит, когда пользователь вбивает в браузер адрес google.com – habr.com
  5. 📄 Принципы работы современных веб-браузеров
  6. 📄 Подробное объяснение того, как работает браузер (под капотом)

  • VPN и Proxy

    Proxy & VPN

    Использование VPN и Proxy довольно распространенноё явление в последние годы. С помощью этих технологий пользователи могут получить базовую анонимность при серфинге в сети, а также обходить различные региональные блокировки.

    • VPN (Virtual Private Network)

      Технология позволяющая стать участником приватной сети (подобной вашей локальной), где запросы всех участников проходят через единый публичный IP-адрес. Это позволяет Вам смешаться в общей массе запросов от других участников.

      • Простая процедура подключения и использования.
      • Надежное шифрование трафика.
      • Нет гарантии 100% анонимности, поскольку владелец сети знает IP-адреса всех участников.
      • VPN бесполезны для работы с мультиаккаунтами и некоторыми программами, поскольку все аккаунты, работающие с одного VPN легко обнаруживаются и блокируются.
      • Бесплатные VPN, как правило, имеют большую нагруженность, что приводит к нестабильной работе и снижению скорости загрузки данных.
    • Proxy (прокси-сервер)

      Прокси это специальный сервер в сети, который выполняет роль посредника между Вами и конечным сервером к которому Вы намереваетесь обратиться. Когда Вы подключены к прокси-серверу все Ваши запросы будут выполняться от имени этого сервера, то есть IP-адрес и местоположение будут подменены.

      • Возможность использовать индивидуальный IP-адрес, что позволяет работать с мультиаккаунтами.
      • Стабильность соединения из-за отсутствия высоких нагрузок.
      • Подключение через прокси предусмотрено в самой ОС и браузере, поэтому доп. ПО не требуется.
      • Существуют разновидности прокси, которые обеспечивают высокий уровень анонимности.
      • Ненадежность бесплатных решений, поскольку прокси-сервер может видеть и контролировать всё, что вы делаете в интернете.
🔗 Ссылки на материалы
  1. 📄 Чем отличается VPN от прокси и что выбрать?
  2. 📺 Что такое прокси-сервер за 7 минут – YouTube
  3. 📺 Какая разница между Прокси и VPN – YouTube
  4. 📄 Защищённые прокси — практичная альтернатива VPN – habr.com

  • Хостинг

    Hosting

    Хостинг (hosting) - специальная услуга, предоставляемая хостинг-провайдерами, которая позволяет арендовать пространство на сервере (который круглосуточно подключён к сети Интернет), где могут храниться ваши данные и файлы. Существуют различные варианты хостинга, где вы можете использовать не только дисковое пространство сервера, но и так же процессорную мощность для работы ваших сетевых приложений.

    Основные виды:

    • Виртуальный хостинг

      Один физический сервер, который распределяет свои ресурсы на нескольких арендаторов.

    • VPS/VDS

      Виртуальные серверы, эмулирующие работу отдельного физического сервера и предоставляемые в аренду клиенту с максимальными привилегиями.

    • Выделенный сервер

      Аренда полноценного физического сервера с полным доступом ко всем ресурсам. Как правило, это самая дорогая услуга.

    • Облачный хостинг

      Услуга которая использует ресурсы нескольких серверов. При аренде пользователь платит только за используемые по факту ресурсы.

    • Колокация

      Услуга предоставляющая клиенту возможность установить свое оборудование на территории провайдера.

🔗 Ссылки на материалы
  1. 📺 Что такое хостинг, домен и как устроен интернет на понятном языке – YouTube
  2. 📄 Что такое хостинг и домен сайта простыми словами
  3. 📄 Хостинг: что это, зачем и как выбрать
  4. 📄 Хостинг: варианты, сравнения, пользовательская статистика — habr.com
  5. 📄 VPS-хостинг и облачный хостинг: что выбрать и в чем разница? – habr.com
  6. 📄 Колокейшн: как, зачем и почему – habr.com

  • Сетевая модель OSI

    № Уровень Используемые протоколы
    7 Прикладной уровень HTTP, DNS, FTP, POP3
    6 Уровень представления SSL, SSH, IMAP, JPEG
    5 Сеансовый уровень APIs Sockets
    4 Транспортный уровень TCP, UDP
    3 Сетевой уровень IP, ICMP, IGMP
    2 Канальный уровень Ethernet, MAC, HDLC
    1 Физический уровень RS-232, RJ45, DSL

    OSI (The Open Systems Interconnection model) – это набор правил, который описивает то, как должны взамиодействовать друг с другом различные сетевые устройства. Модель разделяется на 7 уровней, каждый из которых отвечает за выполнение определенной функции. Все это нужно для того, чтобы процесс обмена информацией в сети происходил по единому шаблону и все устройства, будь-то умный холодильник и смартфон, могли без проблем понять друг друга.

    • Физический уровень

      На этом уровне происходит кодирование битов (единиц/нулей) в физические сигналы (ток, свет, радиоволны) и их дальнейшая передача проводным (Ethernet) или беспроводным (Wi-Fi) способом.

    • Канальный уровень

      Физические сигналы с первого уровня раскодируются обратно в единицы и нули, исправляются ошибки и дефекты, извлекаются MAC-адреса отправителя и получателя.

    • Сетевой уровень

      Происходит маршрутизация трафика, заросы к DNS и формирование IP-пакетов.

    • Транспортный уровень

      Уровнь ответсвенный за передачу данных. Здесь существуют 2 важнейших протокола:

      • TCP - обеспечивающий надежную передачу данных. TCP гарантирует доставку данных и сохранение порядка следования сообщений. Это сказывается на скорости передачи. Данный протокол используется там, где потеря информации недопустима, например при отправки почты или загрузке веб-страниц.
      • UDP – простой протокол с быстрой передачей данных. Он не использует механизмов для гарантирования доставки и порядка следования данных. Используется, например в онлайн-играх, где частичная потеря пакетов не критична, но скорость передачи данных имеет гораздо более важное значение. Так же, запросы к DNS-серверам происходят через UDP протокол.
    • Сеансовый уровень

      Отвечает за открытие и закрытие связи (сеансов) между двумя устройствами. Гарантирует, что сеанс будет оставаться открытым достаточно долго для передачи всех необходимых данных, а затем быстро закроется, чтобы избежать траты ресурсов.

    • Уровень представления

      Трансляция, шифрование/расшифровка и сжатие данных. Именно здесь данные, которые приходят в виде нулей и единиц преобразуются в нужные форматы (PNG, MP3, PDF и т.д.)

    • Прикладной уровень

      Уровень работы с приложениями. Разрешает приложениям пользователя иметь доступ к сетевым службам, таким как обработчик запросов к базам данных, доступ к файлам, пересылке электронной почты.

🔗 Ссылки на материалы
  1. 📺 Модель OSI | 7 уровней за 7 минут – YouTube
  2. 📺 Модель OSI | Курс "Компьютерные сети" – YouTube
  3. 📄 Простое пособие по сетевой модели OSI для начинающих – selectel.ru
  4. 📄 Физика Ethernet для самых маленьких – habr.com
  5. 📄 Как работает Wi-fi. История беспроводных сетей – habr.com
  6. 📄 Wi-Fi или витая пара — что лучше? – habr.com
  7. 📄 Всё, что вы хотели знать о МАС адресе — habr.com
  8. 📺 Протокол IP: маршрутизация | Курс "Компьютерные сети" — YouTube
  9. 📺 Протокол TCP — YouTube
  10. 📺 Протокол UDP — YouTube
  11. 📺 Прикладной уровень | Курс "Компьютерные сети" — YouTube

  • Протокол HTTP

    HTTP (HyperText Transport Protocol) - cамый важный протокол интернета. Используется для передачи данных любого формата. Сам по себе протокол работает по простому принципу: запрос –> ответ.

    HTTP

    • Заголовки

      Дополнительная служебная информация которая отправляется вместе с запросом/ответом.
      Основные: Host, User-Agent, If-Modified-Since, Cookie, Referer, Authorization, Cache-Control, Content-Type, Content-Length, Last-Modified, Set-Cookie, Content-Encoding.

    • Методы запросов

      GET - запрос на получение данных
      POST - запрос с передачей данных для создания новой записи
      PUT - запрос с передачей данных для изменения записи
      DELETE - запрос на удаление записи
      Другие: HEAD, CONNECT, OPTIONS, TRACE, PATCH.

    • Коды состояния

      Каждый ответ от сервера имеет специальный числовой код, который характеризует состояние отправленного запроса. Эти коды делятся на 5 основных классов:

      • 1хх - служебная информация
      • 2хх - успешный запрос
      • 3хх - перенаправление на другой адрес
      • 4хх - ошибка на стороне клиента
      • 5хх - ошибка на стороне сервера
    • HTTPS

      Тот же HTTP, но с поддержкой шифрования

    • Cookie

      Поскольку протокол HTTP не позволяет сохранять никакой информации о состояниях предыдущих запросов/ответов, возникает необходимость в использовании cookie. Куки позволяют серверу хранить различную информацию на стороне клиента, которую впоследующем клиент может отсылать обратно на сервер. В частности куки могут использоваться для авторизации или для сохранения различных параметров/настроек.

    • CORS (Cross origin resource sharing)

      Технология, которая позволяет одному домену получать данные от другого.

    • CSP (Content Security Policy)

      Специальный заголовок позволяющий распознавать и устранять определённые типы уязвимостей веб-приложения.

    • HTTP/1.0 vs HTTP/1.1 vs HTTP/2

      Главным нововведением в вeрсии 1.1 является режим "постоянного соединения", который позволяет посылать несколько запросов за одно подключение. Во второй версии протокол стал бинарным, появилась возможность передачи данных нескольких потоков по одному каналу.

🔗 Ссылки на материалы
  1. 📄 Протокол HTTP – MDN (mozilla.org)
  2. 📺 Протокол HTTP | Курс компьютерные сети – YouTube
  3. 📄 Простым языком об HTTP – habr.com
  4. 📄 HTTP-запросы: структура, методы, строка статуса и коды состояния – selectel.ru
  5. 📄 Что такое протокол HTTPS, и как он защищает вас в интернете
  6. 📄 В чем разница протоколов HTTP и HTTPS – selectel.ru
  7. 📺 Как работает HTTPS? – YouTube
  8. 📺 Что такое cookies браузера – YouTube
  9. 📄 Что такое cookie в браузере и почему на многих сайтах предупреждают об их использовании?
  10. 📄 CORS для чайников: история возникновения, как устроен и оптимальные методы работы – habr.com
  11. 📄 Улучшение сетевой безопасности с помощью Content Security Policy – habr.com
  12. 📄 Путь к HTTP/2 – habr.com
  13. 📄 Evolution of HTTP – MDN (mozilla.org)

  • Cтек протоколов TCP/IP

    TCP/IP

    По сравнению с моделью OSI стек TCP/IP имеет более простую архитектуру. Он получил широкое распространение и использовался сначала в качестве основы для создания глобальной сети, а после для описания работы интернета.

🔗 Ссылки на материалы
  1. 📺 Что такое TCP/IP: Объясняем на пальцах – YouTube
  2. 📄 Руководство по стеку протоколов TCP/IP для начинающих – selectel.ru
  3. 📺 Модель и стек протоколов TCP/IP — YouTube
  4. 📺 В чем разница между OSI и TCP/IP? Зачем существуют одновременно две сетевые модели? – YouTube

  • Проблемы сети

    Problems

    Качество работы сетей, и тем более интернета, далеко от идеала. Это обусловлено сложной и рассредоточенной по разным устройствам структурой сети. Поэтому на функционирование сети влияет огромное количеств факторов. Например: стабильность соединения между устройством клиента и его роутером, качество услуг провайдера, мощность и производительность сервера, физическое расстояние между клиентом и сервером и т.д.

    • Latency (задержка)

      Время которое требуется, чтобы пакет данных дошёл от отправителя к получателю. В большей степени зависит от физического расстояния.

    • Packet loss (потеря пакетов)

      Не все пакеты, путешествуя по сети, могут добраться до места назначения. Чаще всего такое происоходит при использовании беспроводных сетей или из-за перегрузок сети.

    • Round Trip Time (RTT)

      Время, за которое пакет данных доходит до пункта назначения + время на ответ о том, что пакет был получен успешно.

    • Jitter

      Колебания задержки (нестабильный ping, например, то 50ms, то 120ms, то 35ms...).

    • Packet reordering

      Протокол IP не гарантирует, что пакеты будут доставляются в том порядке, в котором они были отправлены.

🔗 Ссылки на материалы
  1. 📄 Лаги, джиттер и потеря пакетов: откуда берутся проблемы с неткодом и как их решать – habr.com
  2. 📄 Внутренние механизмы ТСР, влияющие на скорость загрузки: часть 1 – habr.com
  3. 📄 Внутренние механизмы ТСР, влияющие на скорость загрузки: часть 2 – habr.com

  • Диагностика сети

    Traceroute

    • Трассировка сетевого маршрута

      Процедура, позволяющая отследить по каким узлам, с какими IP адресами, передаётся отправленный вами пакет прежде чем он достигнет точки назначения. Трассировка может применяться для выявления связанных с работой компьютерной сети проблем, а также для исследования/анализа сети.

    • Ping-сканирование

      Самый простой способ проверить сервер на работоспособность.

    • Проверка на потерю пакетов
    • Wireshark

      Мощная программа с графическим интерфейсом для анализа всего трафика, проходящего по сети, в режиме реального времени.

🔗 Ссылки на материалы
  1. 📄 Как находить проблемы с интернетом и кто виноват: часть 1 – habr.com
  2. 📄 Как находить проблемы с интернетом и кто виноват: часть 2 – habr.com
  3. 📄 Прочитай и сделай: проводим сканирование сети самостоятельно – habr.com
  4. 📺 Основы компьютерных сетей. Диагностика и устранение основных проблем – YouTube
  5. 📄 Трассировка сетевого маршрута — hackware.ru
  6. 📄 Wireshark — приручение акулы – habr.com
  7. 📺 Протокол HTTPS в WireShark – YouTube

Устройство ПК

  • Основные компоненты (железо)

    • Материнская плата

      Самый важный компонент ПК к которому подключаются все остальные элементы.

      • Чипсет - набор микросхем, который отвечает за коммуникацию всех элементов материнской платы.
      • Сокет - разъем для установки процессора.
      • VRM (Voltage Regulator Module) - модуль который преобразовывает поступающие напряжение (как правило 12 В) в более низкое для работы процессора, встроенной графики и оперативной памяти.
      • Слоты для оперативной памяти.
      • Слоты расширения PCI-Express - предназначены для подключения видеокарт, внешних сетевых/звуковых карт.
      • Слоты М.2 / SATA - предназначены для подключения жёстких дисков и SSD.
    • Процессор (ЦП / CPU)

      Важнейшее устройство, которое исполняет инструкции (код программы). Процессоры работают только с 1 и 0, поэтому все программы в конечном виде представляют из себя набор двоичного кода.

      • Регистры - самая быстрая память в ПК, имеет крайне малый объем, встроена в процессор и предназначена для временного хранения обрабатываемых данных.
      • Кэш (Cache) - чуть менее быстрая память, которая так же встроена в процессор и используемая для хранения копии данных из часто используемых ячеек основной памяти.
      • Процессоры могут иметь разные архитектуры. В настоящее время наиболее распространена архитектура х86 (настольные ПК и ноутбуки) и ARM (мобильные девайсы, а также компьютеры фирмы Apple).
    • Оперативная память (ОЗУ / RAM)

      Быстрая память небольшого объема (4-16GB), предназначенная для временного хранения кода программы, а также входных, выходных и промежуточных данных, обрабатываемых процессором.

    • Постоянная память

      Память большого объема (256GB-1TB), предназначенная для долговременного хранения файлов и установленных программ.

    • Видеокарта (GPU)

      Отдельная плата, занимающаяся переводом и обработкой данных в изображения для вывода их на экран монитора. Такое устройство ещё называют дискретной видеокартой. Обычно нужны для тех, кто занимается 3D моделированием или играет в игры.
      Встроенная видеокарта – это видеокарта встроенная в процессор. Подходит для повседневной работы.

    • Сетевая карта

      Устройство, которое обеспечивает приём и передачу данных от других устройств подключённых к одной сети.

    • Звуковая карта

      Устройство позволяющее обрабатывать звук, выводить его на другие устройства, записывать с помощью микрофона и т.д.

    • Блок питания

      Устройство, предназначенное для преобразования напряжения переменного тока от сети в напряжение постоянного тока.

🔗 Ссылки на материалы
  1. 📺 Устройство Компьютера для чайников – YouTube
  2. 📺 Материнская плата. Из чего она состоит? – YouTube
  3. 📄 Внутри материнской платы: анализ технологий, лежащих в основе компонентов ПК – habr.com
  4. 📺 Как работает процессор – YouTube
  5. 📄 Как работает CPU: интерактивный урок – habr.com
  6. 📺 Как работает кэш процессора – YouTube
  7. 📺 Различия компьютерных архитектур – YouTube
  8. 📺 ПРОЦЕССОРЫ ARM vs x86: ОБЪЯСНЯЕМ – YouTube
  9. 📄 Чем архитектура ARM отличается от x86
  10. 📺 Как работает память компьютера – YouTube
  11. 📄 Анатомия оперативной памяти – habr.com
  12. 📺 Сетевая карта – YouTube
  13. 📄 О работе ПК на примере Windows 10 и клавиатуры – habr.com

  • Устройство операционной системы

    OS

    Операционная система (ОС) – это комплексная программная система, которая предназначена для управления ресурсами компьютера. Благодаря операционным системам людям не приходится иметь дело непосредственно с процессором, оперативной памятью или другими составляющими ПК.

    То есть, ОС можно представить как слой абстракции, который управляет железом (hardware) компьютера, тем самым предоставляя простую и удобную среду для работы пользовательского софта (software).

    • Основные функции
      • Управление оперативной памятью (выделение пространства для отдельных программ)
      • Загрузка программ в оперативную память и их выполнение
      • Выполнение запросов поступающих от пользовательских программ (ввод и вывод данных, запуск и остановка других программ, высвобождение памяти или выделение дополнительной...)
      • Взаимодействие с устройствами ввода и вывода (мышь, клавиатура, монитор...)
      • Взаимодействие с носителями информации (жесткие диски, SSD...)
      • Предоставление пользовательского интерфейса (консольная оболочка или графичекий интерфейс)
      • Введение журнала об программных ошибках (сохранение логов)
    • Дополнительные функции (могуть быть не во всех ОС)
      • Огранизация многозадачности (одновременное выполнение нескольких программ)
      • Разграничивание доступа к ресурсам для каждого процесса
      • Взаимодействие между процессами (обмен данными, синхронизация)
      • Организация защиты самой ОС от других программ и действий самого пользователя
      • Предоставление многопользовательского режима и разграничение прав между разными пользователями ОС (админ, гость...)
    • Ядро ОС

      Центральная часть ОС, которая используется наиболее интенсивно. Ядро постоянно находится в памяти, в то время как другие части ОС загружаются в память и выгружаются из неё по мере надобности.

    • Загрузчик ОС

      Системный софт, который обеспечивает подготовку окружения для запуска ОС (приводит аппарутуру в нужное состояние, подготавливет память, загружает туда ядро ОС и передает ему (ядру) управление).

    • Драйверы

      Специальное ПО, которое позволяет ОС работать с тем или иным оборудованием.

🔗 Ссылки на материалы
  1. 📺 Что такое операционная система и как она работает – YouTube
  2. 📺 Плейлист по операционным системам – YouTube
  3. 📄 Что такое операционная система и как она работает? – GitHub
  4. 📺 Что такое ядро операционной системы? Назначение и виды ядер – YouTube
  5. 📺 Ввод-вывод внутри компьютера – YouTube

  • Процессы и потоки

    Process

    • Процесс

      Cвоего рода контейнер, в котором находятся все необходимые ресурсы для работы той или иной программы. Как правило в состав процесса входят:

      • Исполняемый код программы
      • Входные и выходные данные
      • Стек вызовов (порядок инструкций для выполнения)
      • Куча (структура для хранения промежуточных данных, создаваемых во время работы процесса)
      • Дескриптор сегмента
      • Файловые дескрипторы
      • Информация о наборе допустимых полномочий
      • Информация о состоянии процессора
    • Поток

      Cущность, в которой выполняются последовательности действий (процедуры) программы. Потоки находятся внутри процесса и используют то же адресное пространство. В одном процессе может быть несколько потоков, что обеспечивает возможность выполнения нескольких задач. Эти задачи, благодаря потокам, могут обмениваться данными, использовать общие данные или результаты других задач.

🔗 Ссылки на материалы
  1. 📺 Процессы и потоки в операционной системе – YouTube
  2. 📄 Процессы и потоки
  3. 📺 Что такое поток? – YouTube

  • Конкурентность и параллелизм

    Concurrency-parallelism

    • Параллелизм (Parallelism)

      Способность выполнять несколько задач одновременно используя несколько ядер процессора, где на каждом отдельном ядре выполняется отдельно взятая задача.

    • Конкурентность (Concurrency)

      Способность выполнять несколько задач, но используя одно ядро процессора. Это достигается путем разделения задач на отдельные блоки команд, которые выполняются по очереди, но переключение между этими блоками происходит настолько быстро, что для пользователей создается впечатление, будто эти процессы выполняются одновременно.

🔗 Ссылки на материалы
  1. 📺 Чем отличаются Concurrency и Parallelism – YouTube
  2. 📄 Отличие между конкурентностью, параллелизмом и многопоточностью – GitHub
  3. 📄 Parallelism vs Concurrency: правильно подбираем инструменты – habr.com
  4. 📄 Параллелизм против многопоточности против асинхронного программирования: разъяснение – habr.com

  • Межпроцессорное взаимодействие

    Механизм позволяющий организовать обмен данными между потоками одного или разных процессов. Причем, процессы могут быть запущены как на одном и том же компьютере, так и на разных, соединенных сетью. Межпроцессорные взаимодействия бывают разных типов.

    • Файл

      Самый простой способ организовать обмен данными. Один процесс записывает данные в определенный файл, другой процесс читает этот же файл и тем самым получает данные от первого процесса.

    • Сигнал

      Асинхронное уведомление одного процесса о событии произошедшем в другом процессе.

    • Сокет

      В частности для взаимодействия между компьютерами с помощью стека протоколов TCP/IP используются IP-адреса и порты. Эта пара определяет сокет («гнездо», соответствующее адресу и порту).

    • Семафор

      Счетчик над которым можно проводить только 2 операции: увеличение и уменьшение (причем для 0 операция уменьшения блокируется).

    • Сообщения и очереди сообщений
    • Каналы (akа конвейеры, pipes)

      Перенаправление выходных данных одного процесса на вход другого процесса (подобие трубы).

🔗 Ссылки на материалы
  1. 📺 Архитектура ЭВМ. Межпроцессное взаимодействие – YouTube
  2. 📺 Основы программирования. Межпроцессное взаимодействие – YouTube
  3. 📄 IPC: основы межпроцессного взаимодействия
  4. 📺 Интерфейс сокетов | Курс "Компьютерные сети" – YouTube
  5. 📺 Порты, сокеты, статика (для самых маленьких программистов) – YouTube
  6. 📺 Разделяемая память. Семафоры – YouTube

Основы Linux

Операционные системы на базе ядра Linux это стандарт в мире серверной разработки, поскольку большинство серверов работают именно на таких ОС. Использовать Linux на серверах выгодно, ведь он распространяется бесплатно.

Существует огромное количество дистрибутивов (сборок с набором предустановленного ПО) Linux на любой вкус и цвет. Одним из самых популярных является Ubuntu. Именно с него можно начать своё погружение в серверную разработку.

Установить Ubuntu можно на отдельный ПК или ноутбук. Если такой возможности нет, можно воспользоваться специальной программой Virtual Box, в которой можно запускать другие ОС поверх основной. Так же можно запустить Docker контейнер с образом Ubuntu (Docker - это отдельная тема, которая рассматривается в этом репозитории).

После этого можно быстро пройти вводный курс по Linux и Bash.

  • Работа с терминалом

    Терминал (или консоль) - программа в которой для управления компьютером используются специальные текстовые команды. Как правило на серверах отсутствуют графические оболочки, поэтому вам обязательно понадобятся навыки работы с терминалом.

    • Основные команды для навигации по файловой системе 
      ls # просмотр содержимого директории
cd <путь> # переход в указанный каталог
cd .. # переход на уровень выше (в родительский каталог)
touch <файл> # создание файла
cat > <файл> # ввод текста в файл из консоли (перезапись)
cat >> <файл> # ввод текста в конец файла (добавление)
cat/more/less <файл> # просмотр содержимого файла
head/tail <файл> # просмотр первых/последних строк файла
pwd # путь к текущей директории
mkdir <имя> # создать директорию
rmdir <имя> # удалить директорию
cp <файл> <путь> # копировать файл или директорию
mv <файл> <путь># перемещение или переименование
rm <файл> # удаление файла или директории
find <строка># поиск в файловой системе
du <файл># вывод размера файла или каталога
    • Команды для получения справочной информации 
      man <название_команды> # позволяет посмотреть руководство по любой команде.
apropos <слово> # поиск команды с описанием имеющим указанное слово
man -k <слово> # аналогично команде выше
whatis <название_команды> # краткое описание команды
    • Права суперпользователя

      Аналог запуска от имени администратора в Windows.

      sudo <команда> # выполняет команду с правами суперпользователя
    • Текстовый редактор

      Изучите любой для того чтобы свободно читать и радактировать файлы через терминал.
      Самый простой – nano.
      Самый продвинутый – Vim.

🔗 Ссылки на материалы
  1. 📺 Linux для Начинающих (Плейлист) – YouTube
  2. 📄 Основные linux-команды для новичка – habr.com
  3. 📄 44 команды Linux которые вы должны знать – losst.ru
  4. 📄 Основные команды Linux: (почти) полное руководство с примерами – selectel.ru
  5. 📄 Шпаргалка для редактора Nano
  6. 📄 Основы редактора Vim (Плейлист) – YouTube
  7. 📄 Изучение терминала через прохождение челленджей

  • Менеджер пакетов

    Менеджер пакетов – это утилита позволяющая устанавливать/обновлять пакеты (это обычные программы и утилиты) с помощью команд в терминале.

    Linux дистрибутивы можно разделить на несколько групп, в зависимости от того, какой в них используется менеджер пакетов: apt (в дистрибутивах на основе Debian), RPM (система управления пакетами Red Hat) и Pacman (менеджер пакетов в Arch-подобных дистрибутивах)

    Ubuntu основан на Debian, поэтому там используется менеджер пакетов apt (advanced packaging tool).

    • Базовые команды 
      apt install <имя_пакета> # установить пакет
apt remove <имя_пакета> # удалить пакет, но оставить конфигурацию
apt purge <имя_пакета> # удалить пакет вместе с конфигурацией
apt update # обновление информации о новых версиях пакетов
apt upgrade # обновление пакетов, установленных в системе
apt list --installed # список установленных в системе пакетов
apt list --upgradable # список пакетов, которые требуют обновления
apt search <имя> # поиск пакетов по имени в сети
apt show <имя_пакета> # информация о пакете
🔗 Ссылки на материалы
  1. 📄 Как пользоваться apt – losst.ru
  2. 📄 Использование APT. Команды apt и apt-get – pingvinus.ru

  • Скрипты Bash

    С помощью скриптов (сценариев) можно автоматизировать последовательный ввод любого количества команд. В Bash можно создавать различные условия (разветвления), циклы, таймеры и т.д. для выполнения всевозможных действий связанных с вводом в консоль.

    • Основы Bash скриптов

      Самые базовые и часто используемые возможности такие как: переменные, ввод/вывод, циклы, условия и т.д.

    • Практика

      Решайте задания на таких сайтах как HackerRank и Codewars.
      Начните использовать Bash для автоматизации рутинных действий на своем компьютере. Если вы уже занимаетесь программированием, создавайте скрипты для удобной сборки вашего проекта, для установки настроек и так далее.

    • ShellCheck инструмент для анализа скриптов

      Укажет Вам на возможные ошибки и научит лучшим практикам написания действительно качественных скриптов.

    • Дополнительные ресурсы

      В таких репозиториях, как awesome bash и awesome shell собраны целые коллекции полезных ресурсов и инструментов, которые помогут развить ещё больше навыков работы с Bash и терминалом в общем.

🔗 Ссылки на материалы
  1. 📺 Основы работы с Bash – YouTube
  2. 📄 Интерактивный онлайн-тренажёр по основам Bash
  3. 📄 Bash-скрипты: начало – habr.com
  4. 📄 Шпаргалка по Bash – Learn X in Y minutes
  5. 📄 Шпаргалка оп Bash – quickref.me
  6. 📄 Страница Bash на Reddit – reddit.com
  7. 📄 Лучшие практики Bash скриптов – habr.com
  8. 📄 Как работает bash: разбираемся в деталях – VK Cloud

  • Пользователи

    ОС на базе Linux являются многопользовательскими. Это означает, что несколько людей могут запускать множество различных приложений одновременно на одном и том же компьютере. Чтобы система Linux смогла «узнать» пользователя, он должен войти в систему, соответственно каждый пользователь должен иметь уникальное имя и секретный пароль.

    • Работа с пользователями 
      useradd <имя> [ключи] # создать нового пользователя
passwd <имя> # установить пароль пользователю
usermod <имя> [ключи] # редактировать пользователя
usermod -L <имя> # заблокировать пользователя
usermod -U <имя> # разблокировать пользователя
userdel <имя> [ключи] # удалить пользователя
    • Работа с группами 
      groupadd <группа> [ключи] # создать группу
groupmod <группа> [опции] # редактировать группу
groupdel <группа> [опции] # удалить группу
usermod -a -G <группы(через запятую)> <пользователь> # добавить пользователя в группы
gpasswd --delete <пользователь> <группы(через запятую)> # удалить пользователя из групп
    • Системные файлы 
      /etc/passwd # файл паролей, содержащий основную информацию о пользователях
/etc/shadow # файл теневых шифрованных паролей, содержащий зашифрованные пароли
/etc/group # файл групп, содержащий основную информацию о группах
/etc/gshadow # файл теневых групп, содержащий шифрованные пароли групп
🔗 Ссылки на материалы
  1. 📄 Пользователи в Linux: добавление, изменение, удаление
  2. 📄 Группы и пользователи в Linux

  • Права доступа

    chmod

    Так как под одной ОС могут работать несколько разных пользователей, то соответственно у каждого такого пользователя будет своё личное файловое пространство. Отсюда вытекает, что у любого файла в Linux должны быть специальные атрибуты – права на доступ. Эти атрибуты должны сообщать, кто имеет право работать c тем или иным файлом.

🔗 Ссылки на материалы
  1. 📄 Права доступа в Linux – younglinux.info
  2. 📄 Управление доступом в Linux
  3. 📄 Команда chmod – изменение прав доступа – younglinux.info

  • Работа с процессами

    Процессы в Linux можно описать как контейнеры, в которых хранится вся информация о состоянии выполняемой программы. Если программа работает хорошо, то все нормально, но если она зависла и вам нужно восстановить её работу, тогда вам понадобиться навыки работы по управлению процессами.

    • Базовые команды 
      ps # вывести 'снимок' процессов всех пользователей
top # диспетчер задач в реальном времени
<команда> & # запуск процесса в фоновом режиме, то есть не занимая консоль
jobs # список запущенных в фоновом режиме процессов
fg <номер> # вернуть процесс обратно в активный режим по его номеру
bg <номер> # запуск остановленного процесса в фоновый режим
kill <id процесса> # завершить процесс по id
killall <программа> # завершить все процессы связанные с одной программой
🔗 Ссылки на материалы
  1. 📺 Работа с процессами в Linux – YouTube
  2. 📄 Шпаргалка по работе процессами в Linux

  • Работа с SSH

    Служба SSH Позволяет получить удаленный доступ к терминалу другого компьютера. В случае с персональным компьютером, это может понадобиться для срочного решения какой-либо проблемы, а в случае с сервером это вообще очень распространенная практика.

    • Базовые команды 
      apt install openssh-server # установка SSH (хотя он почти везде идёт из коробки)
service ssh start # запуск SSH
service ssh stop # остановка SSH
ssh -p <Порт> user@remotehost # подключение к удаленному ПК через SSH
ssh-keygen -t rsa # генерация RSA-ключа для беспарольного входа
ssh-copy-id -i ~/.ssh/id_rsa user@remotehost # копирование ключа на удаленную машину
🔗 Ссылки на материалы
  1. 📄 Что такое протокол SSH
  2. 📄 Как пользоваться SSH – losst.ru
  3. 📺 Настраиваем аутентификацию SSH по ключу в Linux – YouTube
  4. 📄 Почему SSH-ключ — безопасная альтернатива паролю – selectel.ru
  5. 📄 SSH-туннели: практические примеры использования и важные функции – selectel.ru

  • Планировщик задач

    cron

    Благодаря планировщикам можно гибко управлять отложенным запуском команд и скриптов. В Linux есть встроенный планировщик cron, с помощью которого можно легко выполнять необходимые действия через определенные интервалы времени.

🔗 Ссылки на материалы
  1. 📄 Использование Cron для автоматизации задач – Digital Ocean
  2. 📺 Crontab: запуск задач по расписанию – YouTube
  3. 📄 Удобный онлайн-редактор для crontab

  • Системные логи

    Файлы журнала (логи) - cпециальные текстовые файлы, в которые заносится вся информация о работе компьютера, программы или пользователя. Они особенно полезны при возникновении багов и ошибок в работе программы или сервера. Рекомендуется периодически просматривать логи, даже если ничего подозрительного не происходит.

    • Основные лог файлы 
      /var/log/syslog или /var/log/messages # информация о ядре, различных службах, обнаруженных
# устройствах, сетевых интерфейсах и т.д. 
/var/log/auth.log или /var/log/secure # информация об авторизации пользователей
/var/log/faillog # неудачные попытки входа в систему
/var/log/dmesg # информация о драйверах устройств
/var/log/boot.log # информация о загрузке операционной системы
/var/log/cron # отчёт о работе планировщика задач cron
    • Утилита lnav

      Предназначена для удобного просмотра лог файлов (подсветка, чтение разных форматов, поиск и т.д.)

    • Ротация логов с помощью logrotate

      Позволяет настроить автоматическое удаление (чистку) лог-файлов, чтобы не забивать память.

    • Демон journald

      Cобирает данные из всех доступных источников и сохраняет их в двоичном формате для удобного и динамичного управления

🔗 Ссылки на материалы
  1. 📄 Что такое логирование
  2. 📄 Как посмотреть логи в Linux – losst.ru
  3. 📄 Лог файлы Linux по порядку – habr.com
  4. 📄 Что такое «управление конфигурацией»
  5. 📄 Туториал по системным логам Linux
  6. 📄 Логи Linux. Всё о логах и журналировании
  7. 📄 Документация по lnav на русском
  8. 📄 Ротация логов в Linux с помощью logrotate
  9. 📄 Использование journalctl для просмотра и анализа логов: подробный гайд – habr.com

  • Проблемы в Linux

    • Проблемы с командами в терминале

      Возникают из-за ошибочных действий пользователя. Часто связано с опечатками, отсутствием прав, неправильно указанными опциями и т.д.

    • Проблемы с драйверами и ядром

      Kernel panic может возникать из-за ошибки при монтировании корневой файловой системы.
      Тут лучше всего поможет навык чтения логов для выявления проблем (команда dmesg).

    • Ошибка сегментации (segmentation fault)

      Возникает когда процесс обращается к недействительным участкам памяти.

    • Проблемы с диском и файловой системой

      Могут возникать из-за отсутствия свободного места.

🔗 Ссылки на материалы
  1. 📄 Исправление ошибок в Linux – losst.ru
  2. 📄 Segmentation Fault (распределение памяти компьютера) – habr.com

Общие знания

  • Системы счисления

    Система счисления (СС) представляет собой совокупность символов и правил для обозначения чисел. В информатике принято выделять четыре основных системы счисления: двоичная, восьмеричная, десятичная, шестнадцатеричная. Связано это, в первую очередь, с их использованием в различных отраслях программирования.

    • Двоичная СС

      Самая важная СС для вычислительной техники. Её использование обосновано тем, что логика работы процессора построена на основе всего двух состояний (включено/выключено, открыто/закрыто, высокий/низкий, истина/ложь, да/нет, больше/меньше).

    Binary

    • Восьмеричная СС

      Используется, например, в Linux-системах для выдачи прав доступа.

    Octal

    • Десятичная СС

      СС которая удобная для восприятия большинству людей.

    • Шестнадцатеричная СС

      Для записи используются дополнительно буквы: A, B, C, D, E, F. Широко используется в низкоуровневом программировании и компьютерной документации из-за, того что минимальной адресуемой единицей памяти является 8-битный байт, значения которого удобно записывать двумя шестнадцатеричными цифрами.

    Hex

    • Перевод из одной СС в другую

      Для лучшего понимания можно попробовать онлайн конвертер


🔗 Ссылки на материалы
  1. 📄 Системы счисления: полный гайд
  2. 📺 Двоичная система счисления. Самое простое объяснение – YouTube
  3. 📺 Системы счисления с нуля | Основы программирования – YouTube
  4. 📺 Перевод чисел между системами счисления – YouTube
🔗 Ссылки на материалы
  1. 📺 Конъюнкция, дизъюнкция, импликация, эквиваленция, отрицание. На примерах из жизни – YouTube
  2. 📄 Логические основы алгоритмизации – GitHub

  • Структуры данных

    Структуры данных (СД) – это контейнеры в которых данные хранятся по определенным правилам. В зависимости от этих правил структура данных будет эффективна в одних задачах и неэффективна в других. Поэтому необходимо понимать, когда и где использовать ту или иную структуру.

    • Массив

      СД, которая позволяет хранить данные одинакового типа, где каждому элементу присваивается свой порядковый номер.

    Array

    • Связный список

      СД где все элементы, помимо данных, содержат ссылки на последующий и/или предыдущий элемент. Существуют 3 разновидности:

      • Односвязный список – СД, где каждый элемент хранит ссылку только на следующий (одно направление).
      • Двусвязный список – СД, где элементы содержат ссылки, как на следующий элемент, так и на предыдущий (два направления).
      • Кольцевой список – разновидность двусвязного списка, где последний элемент кольцевого списка содержит указатель на первый, а первый — на последний.

    Linked list

    • Стек

      СД где хранение данных работает по принципу "последним пришел – первым вышел".

    Stack

    • Очередь

      СД где хранение данных происходит по принципу "первым пришел – первым вышел".

    Queue

    • Хеш-таблица

      По другому ассоциативный массив. Здесь для обращения к каждому из элементов используется соответствующее ключевое значение, которое вычисляется с помощью хеш-функции по определенному алгоритму.

    Hash Table

    • Дерево

      СД с иерархической моделью, в виде набора связанных между собой элементов, как правило, никак не упорядоченных.

    Tree

    • Куча

      Аналогична дереву, но в куче, элементы с наибольшим ключом, является корневым узлом (max-куча). Но может быть и наоборот, тогда это min-кучи.

    Heap

    • Граф

      Структура, которая предназначена для работы с большим количеством связей.

    Graph

🔗 Ссылки на материалы
  1. 📄 8 структур данных, которые должен знать каждый программист
  2. 📄 Структуры данных для самых маленьких – habr.com
  3. 📄 Обзор наиболее часто используемых структур данных – habr.com
  4. 📺 Как работает стек – YouTube
  5. 📺 Хэш-таблицы за 10 минут – YouTube

  • Базовые алгоритмы

    Алгоритмы подразумевают под собой наборы последовательных инструкций (шагов), которые приводят к решению поставленной задачи. За всю человеческую историю было придумано огромное количество алгоритмов, которые позволяют решать определенные задачи максимально эффективным способом. Соответственно правильный выбор алгоритмов в программировании позволит создавать максимально быстрые и ресурсоемкие решения.

    Существует очень хорошая книжка по алгоритмам – Грокаем алгоритмы. С ней можно параллельно начать изучение языка программирования.


    • Двоичный поиск

      Максимально эффективный алгоритм поиска для отсортированных списков.

    • Сортировка выбором

      На каждом шаге алгоритма происходит поиск минимального элемента и затем он меняется местами с текущим элементом итерации.

    • Рекурсия

      Когда функция может вызывать сама себя и так до бесконечности. С одной стороны решения на основе рекурсии выглядят очень элегантно, а с другой стороны такой подход очень быстро приводит к переполнению стека и его рекомендуют избегать.

    • Сортировка пузырьком

      На каждой итерации последовательно сравниваются соседние элементы, и, если порядок в паре неверный, то элементы меняют местами.

    • Быстрая сортировка

      Усовершенствованный метод пузырьковой сортировки.

    • Поиск в ширину

      Позволяет находить все кратчайшие пути от заданной вершины графа.

    • Алгоритм Дейкстры

      Находит кратчайшие пути между всеми вершинами графа и их длину.

    • Жадный алгоритм

      Алгоритм, который на каждом шагу делает локально наилучший выбор в надежде, что итоговое решение будет оптимальным.


🔗 Ссылки на материалы
  1. 📺 Алгоритмы и структуры данных. Подготовительный курс (плейлист) – YouTube
  2. 📺 Алгоритмы и структуры данных на JavaScript – YouTube
  3. 📄 Сортировки выбором – habr.com
  4. 📺 Сортировка выбором – YouTube
  5. 📄 Рекурсия. Занимательные задачки – habr.com
  6. 📄 Пузырьковая сортировка и все-все-все – habr.com
  7. 📄 Алгоритм Дейкстры – habr.com
  8. 📄 Жадные алгоритмы – habr.com
  9. 📄 Визуализация алгоритмов сортировки
  10. 📄 Сайт с алгоритмами и структурами данных
  11. 📄 Большая коллекция алгоритмов – GitHub
  12. 📘 Алгоритмы. Руководство по разработке – Скиена Стивен С., 2011
  13. 📘 Спортивное программирование – Халим С., 2020

  • Оценка сложности алгоритмов

    В мире программирования существует специальная единица измерения Big О (Большое О или О-нотация). Она описывает как сложность алгоритма растёт с увеличением количества входных данных. Дело в том, что один и тот же алгоритм запущенный на разных устройствах выполняется за разное время (зависит от производительности устройства). Поэтому такая оценка не может быть релевантной. Вместо этого в Big O алгоритм оценивается по тому, сколько действий (шагов/итераций) необходимо совершить для его выполнения, при этом всегда показывая худший вариант развития событий.

    BigO

    • Основные разновидности сложности алгоритмов
      • Константная - O(1)
      • Линейная - O(n)
      • Логарифмическая - O(log n)
      • Линеарифметическая - O(n * log n)
      • Квадратичная - O(n^2)
      • Степенная - О(2^n)
      • Факториальная - O(!n)
🔗 Ссылки на материалы
  1. 📄 Сложность алгоритмов. Big O. Основы
  2. 📄 Шпаргалка по Big O
  3. 📄 Шпаргалка по Big O – Learn X in Y minutes

  • Форматы хранения данных

    Для хранения и передачи данных по сети могут использоваться файлы разных форматов. Текстовые файлы удобны для чтения человеку, поэтому они используются, например, для файлов конфигурации. Но передавать данные в текстовых форматах по сети не всегда рационально, поскольку они весят больше, чем соответствующие им бинарные файлы.

    • Текстовые форматы

      • JSON (JavaScript Object Notation)

        Представляет из себя объект, в котом данные хранятся в виде пар ключ-значение.

      • YAML (Yet Another Markup Language)

        Формат близкий к языкам разметки по типу HTML. Минималистичный, поскольку не имеет открывающих и закрывающих тегов. Удобный для редактирования.

      • XML (eXtensible Markup Language)

        Формат более близкий к HTML. Здесь данные оборачиваются в открывающие и закрывающие теги.

    • Бинарные форматы

      • Message Pack

        Бинарный аналог JSON. Позволяет упаковывать данные на 15-20% эффективнее.

      • BSON (Binary JavaScript Object Notation)

        Является надмножеством JSON, включая дополнительно регулярные выражения, двоичные данные и даты.

      • ProtoBuf (Protocol Buffers)

        Бинарная альтернатива текстовому формату XML. Проще, компактнее и быстрее.

🔗 Ссылки на материалы
  1. 📄 Форматы сериализации данных – habr.com
  2. 📄 Введение в JSON – medium.org
  3. 📄 Работа с JSON – (MDN) mozilla.org
  4. 📄 Шпаргалка по JSON – Learn X in Y Minutes
  5. 📄 Шпаргалка по YAML – Learn X in Y Minutes
  6. 📄 Шпаргалка по XML – Learn X in Y Minutes
  7. 📄 Краткое руководство по XML
  8. 📄 YAML за 5 минут: синтаксис и основные возможности – tproger.ru
  9. 📄 Universal Binary JSON — ещё один бинарный JSON – habr.com

  • Кодировки текста

    Компьютеры работают только с числами, а если точнее только с 0 и 1. Как преобразовывать числа из разных систем счисления в двоичную, уже понятно. Но с текстом производить такие преобразования не получится. Именно поэтому были придуманы специальные таблицы, называемые кодировками, в которых текстовым символам присваиваются числовые эквиваленты.

    • ASCII (American standard code for information interchange)

      Самая простая кодировка, созданная специально для американского алфавита. Состоит из 128 символов.

    • Unicode

      Это международная таблица символов, которая помимо английского алфавита, содержит алфавиты почти всех стран. Способна вместить в себя более миллиона различных символов (на данный момент таблица заполнена на полностью).

    • UTF-8

      Unicode-кодировка переменной длинны, с помощью которой можно представить любой символ unicode.

    • UTF-16

      Главное ее отличие от UTF-8 состоит в том что структурной единицей в ней является не один а два байта. То есть в кодировке UTF-16 любой символ юникода может быть закодирован либо двумя, либо четырьмя байтами.

🔗 Ссылки на материалы
  1. 📄 Что такое кодировки
  2. 📄 Как работают кодировки текста. Откуда появляются «кракозябры» – habr.com
  3. 📄 Что нужно знать каждому разработчику о кодировках и наборах символов для работы с текстом – habr.com
  4. 📄 Символы Unicode: о чём должен знать каждый разработчик – habr.com

Язык программирования

На этом этапе Вам предстоит выбрать для изучения один из языков программирования. В открытом доступе полно информации по различным языкам, (книги, курсы, тематические сайты и т.д.) поэтому у Вас не должно возникнуть проблем.

Ниже приведен список конкретных языков, которые лично по моему мнению хорошо подходят для backend-разработки (⚠️ может не совпадать с мнением других людей, в том числе более компетентных в этом вопросе).

  • Python

    Очень популярный язык с широким спектром применений. Лёгкий в изучении, благодаря простому синтаксису.

  • JavaScript

    Не менее популярный и практический единственный язык для полноценной Web-разработки. Благодаря платформе Node.js последнее несколько лет набирает популярность и в области backend-разработки.

  • Go

    Язык созданный внутри компании Google. Создавался специально для высоконагруженной серверной разработки. Минималистичный синтаксис, высокая производительность и богатая стандартная библиотека.

  • Kotlin

    Этакая современная версия Java. Более простой и лаконичный синтаксис, лучшая типобезопасность, наличие встроенных инструментов для многопоточности. Один из лучших выборов для разработки под Android.

Найти хорошую книгу или онлайн-учебник на русском можно в этом репозитории. Там собрана большая коллекция под разные ЯП и фреймворки.

Поищите специальный awesome-репозиторий – ресурс в котором собрано огромное количество полезных ссылок на материалы под Ваш ЯП (библиотеки, шпаргалки, блоги и другие различные ресурсы).

В будущем планируется создание шпаргалки по одному из вышеупомянутых языков.

  • Классификация языков программирования

    Языков программирования много. Все они созданы не просто так. Некоторые языки могут быть совсем специфическими и использоваться только для определенных целей. Также, разные языки могут использовать разные подходы к написанию программ. А могут вообще по разному исполняться на компьютере. В общем существует множество различных классификаций, в которых было бы полезно разобраться.

🔗 Ссылки на материалы
  1. 📺 Языки программирования: что нужно знать – YouTube
  2. 📺 Языки программирования: критерии выбора – YouTube
  3. 📺 Компиляция и интерпретация за 10 минут – YouTube
  4. 📄 Что такое компилятор
  5. 📄 Что такое интерпретатор
  6. 📄 Методы программирования – GitHub

  • Основы языка

    Под основами подразумеваются некоторые фундаментальные идеи, присутствующие в каждом ЯП.

    • Переменные и константы
    • Типы данных

      Строки, целые числа, дробные числа, boolean и т.д.

    • Операторы

      Математические операторы, операторы сравнения, побитовые операторы.

    • Функции

      Работа с аргументами и возвращаемыми данными.
      Понимание области видимости переменных.

    • Управление потоком

      Циклы for, условия if else, switch-case.

    • Структуры данных

      Массивы, объекты, классы и т.д.

    • Стандартная библиотека

      Здесь имеется ввиду встроенные возможности языка для манипуляции со строками, числами, массивами и т.д.

    • Регулярные выражения

      Мощный инструмент для работы со строками. Обязательно ознакомьтесь с этим в своем ЯП, хотя бы на базовом уровне.

    • Пакетный менеджер

      Рано или поздно, возникнет желание воспользоваться сторонними библиотеками.

    После освоения минимальной базы для написания простейших программ нет особого смысла продолжать изучение без наличия конкретных целей (без практики все забудется). Вам необходимо придумать/найти что-то, что вы хотели бы создать самостоятельно (игра, чат-бот, сайт, мобильное/десктопное приложение, что угодно). Для вдохновения посмотрите эти репозитории: Build your own x и Project based learning.

    На этом моменте начинается самая продуктивная часть обучения: Вы просто ищите всевозможную информацию для реализации вашего проекта. Вашими лучшими друзьями становиться Google, YouTube и Stack Overflow.

🔗 Ссылки на материалы
  1. 📄 Metanit – русскоязычный учебный ресурс по основам разных ЯП
  2. 📄 Руководство по языку Python на русском – pydocs.ru
  3. 📄 Шпаргалка по основам Python – Learn X in Y minutes
  4. 📄 Шпаргалка по основам Python – quickref.me
  5. 📄 Современный учебник JavaScript на русском – learn.javascript.ru
  6. 📄 Шпаргалка по основам JavaScript – Learn X in Y minutes
  7. 📄 Шпаргалка по основам JavaScript – quickref.me
  8. 📄 Руководство по Go на русском – golangify.com
  9. 📄 Шпаргалка по основам Go – Learn X in Y minutes
  10. 📄 Шпаргалка по основам Go – quickref.me
  11. 📄 Изучение Go на примерах
  12. 📄 Руководство по языку Kotlin на русском – kotlinlang.ru
  13. 📄 Шпаргалка по основам Kotlin – Learn X in Y minutes
  14. 📄 Шпаргалка по основам Kotlin – devhints.io
  15. 📄 Интерактивный курс по регулярным выражениям

  • Разработка серверов

    • Создание и запуск локального HTTP-сервера
    • Раздача статических файлов

      Поднятие HTML-страничек; хостинг картинок, PDF-файлов и т.д.

    • Маршрутизация

      Создание эндпоинтов (URL-адресов) при обращении к которым на сервере будет вызывается соответствующий обработчик.

    • Обработка запросов

      Как правило в HTTP-обработчиках имеется специальный объект в который приходит вся информация о запросе пользователя (заголовки, метод, тело-запроса, полный url с параметрами и т.д.)

    • Обработка ответов

      Отправка соответствующего сообщения на поступивший запрос (HTTP-статус и код, тело-ответа, заголовки и т.д.)

    • Обработка ошибок

      Всегда нужно предусматривать варианты когда пользователь может отправить некорректные данные, база данных не выполнила операцию или просто в приложении произошла непредвиденная ошибка, чтобы сервер не падал, а отвечал ответом с информацией об ошибке.

    • Отправка запросов

      Часто внутри одного приложения вам придется обращаться по сети к другому. Поэтому важно уметь отправлять HTTP-запросы используя встроенные возможности ЯП.

    • Шаблонизатор

      Представляет собой специальный модуль, использующий более удобный синтаксис для формирования HTML на основе динамических данных.

🔗 Ссылки на материалы
  1. 📄 Руководство по веб-фреймворку Django (Python) – metanit.com
  2. 📺 Node JS фундаментальный курс от А до Я – YouTube
  3. 📄 Руководство по Node.js (JavaScript) – metanit.com
  4. 📄 Документация Node.js на русском
  5. 📄 Руководство по веб-фреймворку Express (JavaScript)
  6. 📄 Создание веб-приложения на Go – golangify.com
  7. 📄 Разработка веб-серверов на Golang — от простого к сложному – habr.com
  8. 📄 Разработка серверных приложений на Kotlin – kotlinlang.ru

  • Многопоточность

    Сегодня компьютеры имеют процессоры с несколькими физическими и виртуальными ядрами, а если взять в расчет серверные машины, то там их количество может доходить до сотен. Все эти имеющиеся ресурсы хорошо бы задействовать по полной, для максимальной производительности приложения. Поэтому современная серверная разработка не обходится без реализации многопоточности и распараллеливания.

    • Race conditions и data races

      Основные проблемы которые возникают при использовании многопоточности.

    • Создание процессов
    • Создание потоков
    • Сопрограммы (сorutines)

      Легковесные потоки исполнения кода, которые организуются поверх аппаратных (системных) потоков. Могут существовать как отдельные библиотеки или быть уже встроенными в ЯП.

    • Атомарные операции

      Операции которые выполняются полностью, либо не выполняются вообще.

    • Блокировки

      Использование семафоров и мьютексов для синхронизации данных.

🔗 Ссылки на материалы
  1. 📄 Race condition в веб-приложениях – habr.com
  2. 📄 Знакомство с уровнями распараллеливания –
  3. 📄 Атомарные и неатомарные операции – habr.com
  4. 📄 Многопоточность, общие данные и мьютексы – habr.com

  • Продвинутые темы

    • Сборщик мусора (garbage collector)

      Процесс благодаря которому сильно популяризировались языки высокого уровня – позволяет программисту не заботится о выделении и очистке памяти. Обязательно ознакомьтесь с тонкостями его работы в своем ЯП.

    • Отладчик кода (debuger)

      Удобный инструмент для анализа работы кода программы и выявления ошибок.

🔗 Ссылки на материалы
  1. 📺 Python Memory Management на пальцах – YouTube
  2. 📺 Управление памятью в python – YouTube
  3. 📺 Утечки памяти в Node.js и JavaScript, сборка мусора и профилирование – YouTube
  4. 📺 Примеры утечек памяти в JavaScript – YouTube
  5. 📺 Как устроена сборка мусора в Go – YouTube
  6. 📺 Потребление оперативной памяти в языке Go: проблемы и пути решения – YouTube
🔗 Ссылки на материалы
  1. 📄 Практика хорошего кода – habr.com
  2. 📄 Принципы для разработки: KISS, DRY, YAGNI... – habr.com
  3. 📺 SOLID принципы простым языком (много примеров) – YouTube
  4. 📄 Простое объяснение принципов SOLID – habr.com
  5. 📄 Принципы SOLID, о которых должен знать каждый разработчик – medium.com
  6. 📄 GRASP паттерны проектирования – habr.com

Базы данных

База данных (БД) – набор данных, которые организованы по определённым правилам. Например, библиотека является базой данных для книг.

Система управления базой данных (СУБД) – программное обеспечение, которое позволяет создать БД и удобно ей манипулировать (выполнять различные операции над данными). Примером СУБД может являться библиотекарь. Он может легко и эффективно работать с книгами в библиотеке: выдавать запрашиваемые книги, принимать их обратно, добавлять новые и т.д.

  • Классификация баз данных

    БД могут существенно отличаться друг от друга и соответственно иметь разные области применения. Для понимания какая БД подойдёт для той или иной задачи, необходимо разобраться с классификацией.

    • Реляционные БД (relation – отношение, связь)

      Представляют из себя хранилища, где данные организованны в виде набора таблиц (со строками и столбцами). Взаимодействия между данными организуются на основе связей между этими таблицами. БД такого типа обеспечивает быстрый и эффективный доступ к структурированной информации.

    • Объектно-ориентированные БД

      Здесь данные представляются в виде объектов с набором атрибутов и методов. Подходят для тех случаев, когда требуется высокопроизводительная обработка данных, имеющих сложную структуру.

    • Распределенные

      Состоят из нескольких частей, расположенных на разных компьютерах (серверах). Такие БД могут полностью исключать дублирование информации, либо полностью её дублировать в каждой распределенной копии (например, как блокчейн)

    • Не реляционные (NoSQL)

      Хранят и обрабатывают неструктурированные или слабоструктурированные данные. Этот тип БД подразделяется на подтипы:

🔗 Ссылки на материалы
  1. 📄 Зачем нужны базы данных
  2. 📄 Виды баз данных – selectel.ru
  3. 📄 Выбираем базу данных – medium.com
  4. 📄 Базы данных: большой обзор типов и подходов – habr.com
  5. 📺 Курс: Использование баз данных (плейлист) – YouTube
  6. 📺 Курс: Базы данных (плейлист) – YouTube
  7. 📺 Базы данных для программиста – YouTube

  • Реляционная база данных

    Наиболее популярные реляционные БД: MySQL, PostgreSQL, MariaDB, Oracle.

    SQL (Structured Query Language) – специальный язык для работы с реляционными базами данных. Он довольно простой и интуитивно понятный.

    Удобная документация по SQL на русском языке здесь.

    • Основы SQL

      Изучите основной цикл операций по созданию/получению/обновлению/удалению данных. Всё остальное по мере надобности.

    • Объединение таблиц
      • Запрос данных из нескольких таблиц

        Оператор JOIN; Комбинации с другими операторами; типы JOIN: (внешние/внутренние, левое/правое, перекресные, полные)

      • Связи между таблицами

        Ссылки из одной таблицы на другую; внешние ключи (FOREIGN KEY)

    • Подзапросы

      Запрос внутри другого запроса SQL

    • Индексы

      Структура данных, позволяющая быстро определить положение интересующих данных в базе.

    • Транзакции

      Последовательности команд, которые должны быть выполнены полностью, либо не выполнены вообще.

      • Команда START TRANSACTION
      • Команды COMMIT и ROLLBACK
    • Работа с языком программирования

      Для этого необходимо установить специальный драйвер под ваш ЯП. Для более удобной работы существуют ORM-библиотеки, которые позволяют выполнять SQL-запросы, как если бы вы просто вызывали методы у объекта.

    • Оптимизация и производительность
🔗 Ссылки на материалы
  1. 📺 Базы данных SQL уроки для начинающих – YouTube
  2. 📺 Что такое SQL и реляционные базы данных – YouTube
  3. 📺 Базы данных (плейлист) – YouTube
  4. 📺 Основы SQL (плейлист) – YouTube
  5. 📘 Изучаем SQL – Алан Бьюли, 2017
  6. 📺 Практика SQL (плейлист) – YouTube
  7. 📄 Онлайн-тренажёр по SQL
  8. 📘 SQL Сборник рецептов – Энтони Молинаро, 2009
  9. 📺 Расширенные возможности SQL (плейлист) – YouTube
  10. 📄 8 книг по PostgreSQL для новичков и профессионалов – selectel.ru
  11. 📄 Индексы в PostgreSQL – habr.com
  12. 📺 PostgreSQL. Индексы: то, что вы всегда хотели узнать, но боялись спросить – YouTube
  13. 📺 Вся правда об индексах в PostgreSQL – YouTube

  • MongoDB

    MongoDB – документо-ориентированная БД (является классическим примером NoSQL баз данных), не требующая описания схемы таблиц. Использует JSON-подобные документы и схему БД.

    • Основные команды
      • Подготовка БД
      show dbs // показать список всех БД
use db_name // подключиться/создать БД с именем db_name
db // вывести имя текущей базы данных
db.createCollection("users") // создать коллекцию "notes"
show collections // показать список коллекций в текущей БД
db.dropDatabase() // удалить текущую БД
      • Добавление элементов
      // Добавить один элемент
db.users.insertOne({
    name: "Alex",
    age: 27,
    isMarried: false,
    city: "NewYork"
})

// Добавить несколько элементов
db.users.insertMany([{...}, {...}])
      • Получение элементов
      // Получить все элементы из коллекции
db.users.find() 
// Получить элементы по указанному критерию
db.user.find({age: 27})
// Получить один элемент
db.users.findOne({name: "Alex"})
// Получить отсортированный список элементов
// 1 - по возрастанию; -1 - по убыванию
db.users.find().sort({age: 1}) 
// Получить количество элементов
db.users.find().count()
// Лимит количества получаемых элементов
db.users.find().limit(10)
// Выборка с помощью операторов сравнения
db.users.find({age: {$gt: 20}})  // > 20
db.users.find({age: {$gte: 20}}) // >= 20
db.users.find({age: {$lt: 50}})  // < 50
db.users.find({age: {$lte: 50}}) // <= 50
db.users.find({age: {$ne: 35}})  // != 35
      • Изменение элементов
      // Полное изменение элемента (первый аргумент - критерий поиска)
db.users.updateOne({name: "Alex"}, {новые_данные})
// Изменение определенных полей элемента
db.users.updateOne({name: "Alex"}, {$set: {age: 28, isMarried: true}})
// Переименовать поле у нескольких элементов
db.users.updateMany({name: "Alex"}, {&rename: {city: "town"}})
// Удаление элемента/элементов
db.users.deleteOne({name: "Alex"})
db.users.deleteMany({name: "Alex"})
    • Агрегации

      Группировка значений из нескольких документов.
      Три способа выполнения агрегации: pipeline, Map-Reduce и одноцелевые методы агрегирования.

    • Работа с индексами
    • Работа с языком программирования

      Для этого необходимо установить драйвер MongoDB под ваш ЯП.

🔗 Ссылки на материалы
  1. 📺 Что такое NoSQL за 6 минут – YouTube
  2. 📺 Основы Mongo DB за 20 минут – YouTube
  3. 📄 Руководство по MongoDB – metanit.com
  4. 📄 Большой курс по MongoDB: Агрегация – medium.com
  5. 📄 Большой курс по MongoDB: Индексация – medium.com
  6. 📘 MongoDB полное руководство – Ш. Брэдшоу, 2020

  • Redis

    Redis – быстрое хранилище данных работающее со структурами типа ключ-значение. Может использоваться в качестве базы данных, кэша, брокера сообщений или очереди.

    • Типы данных

      Строки / Списки / Множества (sets) / Хэш-таблицы (hashes) / Упорядоченные множества (sorted sets)

    • Базовые операции 
      SET key "value" # установка ключа key со значение "value"
GET key # получить значение по указанному ключу
SETNX key "data" # создание ключа и установщика значения, если ключ еще не существует
MSET key1 "1" key2 "2" key3 "3" # установка нескольких ключей
MGET key1 key2 key3 # получение значений сразу по нескольким ключам
DEL key # удалить пару ключ-значение
INCR someNumber # увеличение числового значения по ключу на 1
DECR someNumber # уменьшение числового значения по ключу на 1
EXPIRE key 1000 # установить таймер жизни ключа 1000 секунд
TTL key # получить информацию о времени жизни пары ключ-значение
    # -1 ключ существует, но не имеет срока действия
    # -2 ключ не существует
    # <другое число> время жизни ключа в секундах
SETEX key 1000 "value" # объединение команды SET и EXPIRE
    • Транзакции

      MULTI — начать запись команд для транзакции.
      EXEC — выполнить записанные команды.
      DISCARD — удалить все записанные команды.
      WATCH — команда, обеспечивающая выполнение только в случае, если другие клиенты не изменили значение переменной. Иначе EXEC не выполнит записанные команды.

🔗 Ссылки на материалы
  1. 📄 Что такое Redis – Amazon
  2. 📺 Redis - основы и практическое использование – YouTube
  3. 📄 Структуры данных, используемые в Redis – harb.com
  4. 📺 Базы данных. NoSQL. Redis – YouTube
  5. 📺 HighLoad: Успехи и провалы с Redis – YouTube
  6. 📄 Опыт использования Redis в качестве главного хранилища – habr.com

  • Требования ACID

    ACID – это аббревиатура состоящая из названий четырёх основных свойств, которые гарантируют надежность транзакций в БД.

    • Atomicity (атомарность)

      Гарантирует, что транзакция будет выполнена полностью, либо не выполнена вообще.

    • Consistency (согласованность)

      Гарантирует, что каждая успешная транзакция фиксирует только допустимые результаты (какие-либо несоответствия исключены).

    • Isolation (изолированность)

      Гарантирует, что одна транзакция никак не может повлиять на другую.

    • Durability (стойкость)

      Гарантирует сохранение изменений внесённые транзакцией.

🔗 Ссылки на материалы
  1. 📺 Что такое ACID за 9 минут – YouTube
  2. 📄 Как бы я сейчас объяснил молодому себе… зачем существуют требования ACID для баз данных? – habr.com
  3. 📺 Что такое ACID? | Самый частый вопрос бэкендеру – YouTube
  4. 📺 Использование баз данных. ACID. | Технострим – YouTube

  • Проектирование баз данных

    Проектирование баз данных очень важная тема, которая часто упускается из виду. Грамотно спроектированная БД обеспечит долговременную масштабируемость и простоту обслуживания данных. Можно выделить несколько основных этапов при проектировании:

    • Концептуальная схема

      Наиболее абстрактное видение всей системы – описание основных сущностей (таблиц) и связей между ними без ориентации на конкретную СУБД.

    • Логическая схема

      Работа с моделями данных будущей БД, обозначение необходимых полей с указанием типов, определение отношений и связей с указанием первичных и внешних ключей.

    • Физическая реализация

      Это уже непосредственная работа с СУБД, организация конкретных таблиц, реализация связей, создание индексов и так далее.

🔗 Ссылки на материалы
  1. 📄 Основы проектирования баз данных. – GitHub
  2. 📄 Руководство по проектированию реляционных баз данных – metanit.com
  3. 📺 Базы данных. Проектирование – YouTube
  4. 📺 Лекция по проектированию схем базы данных – YouTube
  5. 📺 Проектирование баз данных за 40 минут. Практика – YouTube
  6. 📄 Руководство по проектированию реляционных баз данных – habr.com
  7. 📄 Основы современных баз данных

Разработка API

API (Application Programming Interface) – программный интерфейс, который описывает определенный набор правил, по которым различные программы (приложения, боты, сайты...) могут взаимодействовать друг с другом. С помощью вызовов API можно выполнить определённые функции программы не зная, как она работает.

При разработке серверных приложений могут использоваться разные форматы API, в зависимости от поставленных задач и требований.

  • REST API

    REST (Representational State Transfer) – архитектурный подход, который описывает набор правил того, как программисту организовать написание кода серверного приложения, чтобы все системы легко обменивались данными и приложение можно было легко масштабировать. При построении REST API широко используются методы HTTP-протокола.

    Основные правила написания хорошего REST API:

    • Каждый URL-эндпоинт должен быть существительным

      Для выполнения разных операций (получение/создание/изменение/удаление) этот эндпоинт должен реализовывать обработчики на соответствующие HTTP-методы (GET/POST/PUT/DELETE).

    • Использование множественных названий

      Например эндпоинт на получение одной записи по id выглядит так: /task/42, а на получение всех записей так: /tasks

    • Использование версионности

      Подробная инструкция описана здесь.

    • Отправка соответствующих HTTP-кодов ответа

      Самые часто используемые: 200, 201, 204, 304, 400, 401, 403, 404, 405, 410, 415, 422, 429.

🔗 Ссылки на материалы
  1. 📄 Что такое API
  2. 📄 Что такое REST API
  3. 📺 Что такое REST API – YouTube
  4. 📺 Что такое CRUD за 6 минут – YouTube
  5. 📄 Введение в REST API
  6. 📄 Используем API как разработчики
  7. 📄 Основы REST: теория и практика – tproger.ru
  8. 📄 Глоссарий API и источники
  9. 📄 REST API Best Practices – habr.com
  10. 📄 Версионирование API или единая кодовая база для всех версий – habr.com
  11. 📄 JSON API – работаем по спецификации – habr.com

  • GraphQL

    GraphQL – это язык запросов, который описывает как запрашивать данные, и, в основном, используется клиентом для загрузки данных с сервера. Имеет три основных особенности:

    • Позволяет клиенту точно указать, какие данные ему нужны, тем самым уменьшая потребление трафика от ненужных данных.
    • Облегчает агрегацию данных из нескольких источников.
    • Использует систему типов для описания данных.

    Основные моменты:

    • Система типов

      Типы в GraphQL это кастомные объекты с определенным набором полей.

    • Запросы (queries)

      Объекты которые описывают способ получения данных.

    • Изменения (mutation)

      Описывают способы модификации данных на сервере.

    • Подписки (subscription)

      С помощью подписок поддерживается постоянная связь между клиентами и сервером.

🔗 Ссылки на материалы
  1. 📄 Что же такое этот GraphQL? – habr.com
  2. 📄 Что такое GraphQL: с основ до первых запросов
  3. 📺 GraphQL vs REST - кто круче? – YouTube
  4. 📺 [ENG] GraphQL + Python туториал. CRUD приложение – YouTube
  5. 📺 [ENG] Все о GraphQL на Node.js за 40 минут – YouTube
  6. 📺 [ENG] GraphQL на Go – быстрый старт – YouTube

  • WebSockets

    Веб-сокеты это продвинутая технология, позволяющая открыть постоянное двунаправленное сетевое соединение между клиентом и сервером. С помощью его API вы можете отправить сообщение на сервер и получить ответ без выполнения HTTP-запроса, тем самым реализуя real-time взаимодействие.

    Основная идея в том, что вам ненужно посылать запросы на сервер для получения новой информации. Когда соединение установлено, сервер сам будет отправлять новую порцию данных подключенным клиентам, как только эти данные появятся. Веб-сокеты широко используются для создания чатов, онлайн-игр, трейдерских приложений и т.д.

    • Открытие веб-сокета

      Отправка HTTP-запроса с определенным набором заголовков: Connection: Upgrade, Upgrade: websocket, Sec-WebSocket-Key, Sec-WebSocket-Version.

    • Состояния соединения

      CONNECTING, OPEN, CLOSING, CLOSED.

    • События

      Open, Message, Error, Close.

    • Коды закрытия соединения

      1000, 1001, 1006, 1009, 1011 и т.д.

🔗 Ссылки на материалы
  1. 📺 Что такое веб-сокеты за 4 минуты – YouTube
  2. 📺 Что такое Websocket? Websockets простыми словами – YouTube
  3. 📺 Web сокеты | Компьютерные сети. Продвинутые темы – YouTube
  4. 📄 Использование WebSockets в браузере – learn.javascript.ru
  5. 📺 Пример использования WebSocket на Python – YouTube
  6. 📺 [ENG] Все об WebSocket на Node.js за 30 минут – YouTube
  7. 📺 [ENG] Приложение с WebSocket на Go – YouTube
  8. 📄 WebSocket и HTTP/2+SSE. Что выбрать? – habr.com

  • RPC и gRPC

    RPC (remote procedure call) – технология удаленного вызова процедур. Фактически, это просто вызов функции на сервере с набором определенных аргументов, который ответом отдает результат вызова этой функции.

    Основные RPC-протоколы:

    • SOAP

      Протокол работающий с использованием языка XML. Разработан в 1998 году. Из-за сложности XML и большого потребления трафика не рекомендуется к использованию.

    • JSON-RPC

      Протокол с очень простой спецификацией. Все вызовы и ответы это записи в формате JSON.

    • gRPC

      Бинарный протокол созданный Google и использующий язык Protobuf.

🔗 Ссылки на материалы
  1. 📺 Что такое gRPC за 10 минут – YouTube
  2. 📄 RPC и REST — в чём разница? Часть 1: RPC – habr.com
  3. 📄 Введение в основы RPC: принципы и простые примеры
  4. 📄 Сравнение архитектурных стилей API: SOAP vs REST vs GraphQL vs RPC – medium.com

  • WebRTC

    WebRTC – open-source проект для организации передачи потоковых данных (видео, звука) в браузере. Работа WebRTC основана на peer to peer соединении, однако существуют реализации позволяющие организовывать сложные групповые сеансы. Например, сервис видео-звонков Google Meet широко использует WebRTC.

🔗 Ссылки на материалы
  1. 📄 WebRTC для всех и каждого – habr.com
  2. 📄 WebRTC API – MDN (mozilla.org)
  3. 📄 Оффициальный GitHub-репозиторий WebRTC – GitHub

Программное обеспечение

  • Система контроля версий Git

    Git - специальная система для управления историей изменения исходного кода. Любые изменения которые вносятся в Git могут быть сохранены, что позволяет откатываться (возвращаться) на ранее сохраненную копию проекта. На данный момент Git является стандартом для разработки.

    • Основные команды 
      git init # инициализация Git в текущей папке
git add [файл] # добавить файл в Git
git add . # добавить все файлы в папке в Git
git reset [файл] # отменить добавление указанного файла
git reset # отменить добавление всех файлов
git commit -m "ваш текст" # создать коммит (сохранение)
git status # показывает статус добавленных файлов
git push # отправить текущие коммиты в удаленный репозиторий
git pull # загрузить изменения с удаленного репозитория
git clone [ссылка] # склонировать указанный репозиторий к себе на ПК
    • Работа с ветками

      Ветвление позволяет отклонятся от основной линии разработки и продолжать работу независимо.

      git branch # показать список текущих веток
git branch [имя] # создать новую ветку от текущего коммита
git checkout [имя] # переключиться на указанную ветку
git merge [имя] # слияние указанной ветки в текущую ветку
git branch -d [имя] # удалить указанную ветку
    • Отмена коммитов 
      git revert HEAD --no-edit # создать новый коммит который отменяет изменения предыдущего
git revert [хэш_коммита] --no-edit # то же действие, но с указанным коммитом
    • История изменений 
      git log [ветка] # показать коммиты указанной ветки
git log -3 # показать 3 последних коммита текущей ветки
git log [файл] # показать историю коммитов указанного файла
🔗 Ссылки на материалы
  1. 📄 Что такое Git и для чего он нужен
  2. 📺 Основы Git, GitHub и GitHub Actions – YouTube
  3. 📺 Git. Большой практический выпуск – YouTube
  4. 📄 Шпаргалка по консольным командам Git – GitHub
  5. 📄 Полная книга про Git на русском

  • Docker

    Docker - специальная программа, которая позволяет запускать изолированные песочницы (контейнеры) с различным предустановленным окружением (будь то определенная операционная система, база данных и т.д.). Технология контейнеризации, которую предоставляет Docker, схожа с виртуальными машинами, но в отличие от виртуальных машин, контейнеры используют ядро хостовой ОС, что требует гораздо меньших ресурсов.

    • Образ (image)

      Специальный фиксированный шаблон, в котором содержится описание среды для запуска приложения (ОС, исходный код, библиотеки, переменные окружения, файлы конфигурации и т.д.). Образы можно скачивать с официального сайта и на их основе создавать свои.

    • Контейнер (container)

      Изолированная среда, созданная на основе какого-либо образа. По сути это является запущенным процессом на компьютере, который внутри содержит то окружение, которое описано в образе.

    • Основные команды 
      docker pull [имя_образа] # Загрузить образ из сети
docker images  # Список доступных образов 
docker run [id_образа] # Запуск контейнера на основе выбранного образа
    # Некоторые флаги для команды run:
    -d # Запуск с возвратом в консоль
    --name [имя] # Задать имя контейнеру
    --rm # Удалить контейнер после остановки
    -p [локальный_порт][порт_внутри_контейнера] # Проброс портов
docker build [путь_к_Dockerfile] # Создание образа на основе Dockerfile
docker ps # Список запущенных контейнеров
docker ps -a # Список всех контейнеров
docker stop [id/имя_контейнера] # Остановить контейнер
docker start [id/имя_контейнера] # Запустить существующий контейнер
docker attach [id/имя_контейнера] # Подключится к консоли контейнера
docker logs [id/имя_контейнера] # Вывести логи контейнера
docker rm [id/имя_контейнера] # Удалить контейнер
docker container prune # Удалить все контейнеры
docker rmi [id_образа] # Удалить образ
    • Инструкции Dockerfile

      Dockerfile представляет собой файл с набором инструкций и аргументов для создания образов.

      FROM [имя_образа] # Задание базового образа
WORKDIR [путь] # Задание корневой директории внутри контейнера
COPY [путь_относительно_Dockefile] [путь_в_контейнере] # Копирование файлов
ADD [путь] [путь] # Аналогично команде выше
RUN [команда] # Команда которая запускается только при инициализации образа
CMD ["команда"] # Команда которая отрабатывает каждый раз при запуске контейнера
ENV КЛЮЧ="ЗНАЧЕНИЕ" # Установка переменных окружения
ARG ИМЯ=ЗНАЧЕНИЕ # Задание переменных для передачи Docker во время сборки образа
ENTRYPOINT ["команда"] # Команда которая запускается во время работы контейнера
EXPOSE порт/протокол # Указывает на необходимость открыть порт
VOLUME ["путь"] # Создаёт точку монтирования для работы с постоянным хранилищем
    • Docker-compose

      Специальный инструмент позволяющий одновременно запускать несколько контейнеров с разной инфраструктурой. В каком-то смысле это Dockerfile на максималках.

🔗 Ссылки на материалы
  1. 📄 Что такое виртуализация и для чего она нужна
  2. 📄 Что такое Docker: для чего он нужен и где используется – selectel.ru
  3. 📄 Как и для чего использовать Docker
  4. 📺 Docker для Начинающих. Полный Курс – YouTube
  5. 📄 Полное практическое руководство по Docker – habr.com
  6. 📄 Изучаем Docker: файлы Dockerfile – habr.com
  7. 📄 Руководство по Docker Compose для начинающих – habr.com
  8. 📄 Установка и настройка PostgreSQL в Docker – selectel.ru

  • Postman/Insomnia

    При создании серверной части приложения, возникает необходимость в тестировании его работоспособности. Это можно сделать разными способами. Один из самых простых – это воспользоваться консольной утилитой curl. Но такой способ годится если ваше приложение не большое и имеет всего несколько эндпоинтов. Намного эффективнее использовать специальное ПО для тестирования, которое имеют удобный интерфейс и весь необходимый функционал для автоматизации.

    • Postman

      Очень популярная и многофункциональная программа. Здесь точно есть всё, что Вам может пригодиться и даже больше: начиная от банального создания коллекций до поднятия mock-серверов. Основной функционал приложения предоставляется бесплатно.

    • Insomnia

      Не такой популярный, но очень приятный инструмент. Интерфейс в Insomnia, минималистичный и понятный. Здесь поменьше функционала, но все самое необходимое есть: коллекции, переменные, автоматические тесты и т.д. Имеется возможность установки сторонних плагинов.

🔗 Ссылки на материалы
  1. 📺 Уроки по тестированию в Postman (плейлист) – YouTube
  2. 📺 Insomnia. Инструмент для API тестирования – YouTube
  3. 📄 Insomnia docs на русском

  • Веб-сервера

    Главной задачей любого веб-сервера является обработка клиентских запросов и отправка ответов по протоколу HTTP (HTTPS). Помимо этого веб-сервера могут вести журналы ошибок (логи), производить аунтефикацию и авторизацию, хранить правила на обработку файлов и т.д.

🔗 Ссылки на материалы
  1. 📺 Что такое веб сервер и для чего он нужен? – YouTube
  2. 📄 Что такое Nginx
  3. 📺 Основы Nginx (плейлист) – YouTube
  4. 📄 NGINX изнутри: рожден для производительности и масштабирования – habr.com
  5. 📄 Что такое Apache
  6. 📄 Apache vs Nginx: практический взгляд – habr.com
  7. 📺 Установка web-сервера Apache на Linux Ubuntu и публикация web-сайта – YouTube
  8. 📺 Web-технологии. Web сервера | Технострим – YouTube
  9. 📺 Веб-сервер на Ubuntu 18 с нуля: nginx, HTTP/2, Brotli и HTTPS – YouTube

  • Брокеры сообщений

    Message queue

    При создании масштабной backend-системы может возникать проблема коммуникации между большим количеством микросервисов. Чтобы не усложнять уже имеющиеся сервисы (налаживать надёжную систему коммуникации, распределять нагрузку, предусматривать различные ошибки и т.д.) можно использовать отдельный сервис, который называется брокером сообщений (очередью сообщений).

    Брокер берет на себя ответственность создания надежной и отказоустойчивой системы коммуникации между сервисами (выполняет балансировку, гарантирует доставки, мониторит получателей, ведёт логи, буферизацию и т.д.)

    Под сообщением понимается обычный HTTP запрос/ответ с данными определенного формата.

🔗 Ссылки на материалы
  1. 📺 Системы доставки сообщений, для чего они нужны? – YouTube
  2. 📄 Что такое очередь сообщений? – Amazon)
  3. 📄 Понимание брокеров сообщений. Изучение механики обмена сообщениями – habr.com
  4. 📺 Микросервисы: Коммуникации через очередь сообщений – YouTube
  5. 📺 RabbitMQ Tutorial на русском (плейлист) – YouTube
  6. 📄 Что такое Apache Kafka за 5 минут – YouTube
  7. 📄 Apache Kafka: основы технологии – habr.com
  8. 📺 Про Kafka (основы) – YouTube
  9. 📺 Брокер сообщений Kafka в условиях повышенной нагрузки – YouTube
  10. 📄 Выбор MQ для высоконагруженного проекта – habr.com

Безопасность

  • Уязвимости веб-приложений

    • Межсайтовый скриптинг (XSS)

      Атака, которая позволяют злоумышленнику внедрять вредоносный код через веб-сайт в браузеры других пользователей.

    • SQL-инъекций

      Атака может быть возможна если, пользовательский ввод, который передаётся в SQL-запрос, способен изменить смысл оператора или добавить туда другой запрос.

    • Подделка межсайтовых запросов (CSRF)

      Когда на сайте для выполнения какой-либо операции используется POST-запрос, злоумышленник может подделать форму, например в электронном письме и отправить его жертве. Затем жертва, являющаяся авторизованным пользователем, взаимодействую с этим письмом, не зная того, может отправить запрос на сайт с данными, которые задал злоумышленник.

    • Кликджекинг (Clickjacking)

      Принцип основан на том, что поверх видимой веб-страницы располагается невидимый слой, в который и загружается нужная злоумышленнику страница, при этом элемент управления (кнопка, ссылка), необходимый для осуществления требуемого действия, совмещается с видимой ссылкой или кнопкой, нажатие на которую ожидается от пользователя.

    • DoS-атака (Denial of Service)

      Хакерская атака, которая приводит к перегрузке сервера, на котором работает веб-приложение, за счет отправки огромного количества запросов.

    • Man-in-the-Middle (человек посередине)

      Тип атаки при которой злоумышленник попадает в цепь между двумя (или более) общающимися сторонами, чтобы перехватить разговор или передачу данных.

    • Неверная конфигурация безопасности

      Использование параметров конфигурации по умолчанию может быть опасным, поскольку это общеизвестная информация. К примеру, частой уязвимостью является то, что сетевые администраторы оставляют стандартные логины и пароли admin:admin.

🔗 Ссылки на материалы
  1. 📄 Веб-безопасность – (MDN) mozilla.org
  2. 📄 Безопасность веб-приложений: от уязвимостей до мониторинга – habr.com
  3. 📺 Безопасность: уязвимости вашего приложения – YouTube
  4. 📄 Как защитить веб-приложение: основные советы, инструменты, полезные ссылки – tproger.ru
  5. 📄 Что такое XSS-уязвимость и как тестировщику не пропустить ее – habr.com
  6. 📄 DDoS-атаки: что это, происхождение, виды и способы защиты – selectel.ru
  7. 📄 DDoS-атаки: нападение и защита – habr.com
  8. 📄 Man-in-the-Middle: советы по обнаружению и предотвращению
  9. 📺 Безопасность Web-приложений (плейлист) – YouTube
  10. 📺 Безопасность интернет-приложений (плейлист) – YouTube
  11. 📄 Аналитика уязвимостей и угроз веб-приложений за 2019 год

  • Переменные окружения

    Часто в ваших приложениях могут использоваться различные токены (например для доступа к стороннему платному API), логины и пароли (для подключения к базе данных), различные секретные ключи для подписей и так далее. Все эти данные не должны быть известны и доступны посторонним людям, соответственно оставлять их в коде программы ни в коем случае нельзя. Для решения этой проблемы существуют переменные окружения.

🔗 Ссылки на материалы
  1. 📺 Как хранить пароли и ключи в коде проектов? Всё о переменных окружения – YouTube
  2. 📄 Переменные окружения для Python проектов – habr.com
  3. 📄 Использование переменных окружения в Node.js – habr.com
  4. 📺 Изучаем Go. Переменные окружения в Golang – YouTube

  • Хеширование

    Hashing

    Для обеспечения безопасности в сети широко используется криптографические алгоритмы на основе хеш-функций.

    Основные понятия:

    • Хеширование

      Процесс преобразования массива информации (от одной буквы и хоть до целого литературного произведения) в некую уникальную короткую строку символов (называемую хэшем), которая присуща только этому массиву информации. Причем если в этом массиве информации изменить хоть один символ, то новый хэш будет отличатся кардинально.
      Хеширование является необратимым процессом, то есть по полученному хэшу невозможно восстановить изначальные данные.

    • Контрольные суммы

      Хэши могут использоваться как контрольные суммы, которые служат доказательством целостности данных.

    • Коллизии

      Cлучаи когда хеширование разного набора информации приводит к одинаковым хэшам.

    • Соль (в криптографии)

      Случайная строка данных, которая добавляется к входным данным перед хешированием, для вычисления хэша. Это необходимо для усложнения взлома методом перебора.

    Основные алгоритмы шифрования:

    • Семейство SHA (Secure Hash Algorithm)

      SHA-256 наиболее популярный алгоритм шифрования. Используется, например, в Bitcoin.

    • Семейство MD (Message Digest)

      Наиболее популярный алгоритм семейства – MD5. Сейчас считается очень уязвимым к коллизиям (существуют даже генераторы коллизий для MD5).

    • CRC (Cyclic redundancy check)

      Алгоритм нахождения контрольной суммы, предназначенный для проверки целостности данных.

🔗 Ссылки на материалы
  1. 📄 Хеш-функция, что это такое? – habr.com
  2. 📺 Что такое ХЭШ функция? | Хеширование – YouTube
  3. 📺 Hash/Хеш - просто о сложном – YouTube
  4. 📺 Как работает SHA256 – YouTube
  5. 📄 «Привет, мир»: разбираем каждый шаг хэш-алгоритма SHA-256 – habr.com
  6. 📄 Все методы взлома MD5
  7. 📄 CRC: как защитить программу
  8. 📄 Простой расчет контрольной суммы – habr.com

  • Аунтификация и авторизация

    Важно понимать отличие между двумя этими понятиями.

    Аунтификация – процедура проверки подлинности пользователя. Как правило выполняется путем сравнения введенного пользователем пароля с паролем, сохраненным в базе данных. Так же, в это понятие часто включают и идентификацию – процедуру выявления пользователя по его уникальному идентификатору (как правило это обычный логин или email). Это нужно, чтобы точно знать для какого пользователя выполняется проверка подлинности.

    Авторизация – процедура выдачи прав доступа определенному пользователю на выполнение определенных операций. Например обычные пользователи интернет-магазина могут просматривать товары, добавлять их в корзину. А вот добавлять новые товары или удалять уже имеющиеся могут только администраторы.

    • Basic Authentication

      Наиболее простая схема аунтификации, при которой username и password пользователя передаются в заголовке Authorization в незашифрованном виде (base64-encoded). При использовании HTTPS является относительно безопасным.

    • SSO (Single Sign-On)

      Технология реализующая возможность перехода из одного сервиса в другой (не связанный с первым), без повторной аунтификации.

    • OAuth / OAuth 2.0

      Протокол авторизации благодаря которому можно зарегистрироваться в различных приложениях с помощью популярных сервисов (Google, Facebook, GitHub и т.д.)

    • OpenID

      Открытый стандарт, позволяющий создавать единую учётную запись для аутентификации на множестве не связанных друг с другом сервисов.

    • JWT (Json Web Token)

      Стандарт аунтификации работающий на основе токенов доступа. Токены создаются сервером, подписываются секретным ключом и передаются клиенту, который в дальнейшем использует данный токен для подтверждения своей личности.

🔗 Ссылки на материалы
  1. 📄 Аутентификация и авторизация в микросервисных приложениях – habr.com
  2. 📄 Обзор способов и протоколов аутентификации в веб-приложениях – habr.com
  3. 📄 Как работает single sign-on (технология единого входа)? – habr.com
  4. 📄 OAuth 2: введение в протокол авторизации – selectel.ru
  5. 📺 Как работает OAuth 2 - введение (просто и понятно) – YouTube
  6. 📄 OAuth 2.0 простым и понятным языком – habr.com
  7. 📺 OpenID Connect. Теория – YouTube
  8. 📄 OpenID Connect простыми словами – habr.com
  9. 📄 Пять простых шагов для понимания JSON Web Tokens (JWT) – habr.com
  10. 📺 Виды авторизации: сессии, JWT-токены. Для чего нужны сессии? Как работает JWT? – YouTube
  11. 📺 JWT. Часть 1. Теория – YouTube

  • SSL/TLS

    SSL (Secure Socket Layer) и TLS (Transport Layer Security) – это криптографические протоколы, которые обеспечивают защищённую передачу данных между двумя компьютерами в сети. По сути эти протоколы работают одинаково и отличий у них нет. SSL считается устаревшим, хотя все еще используется для поддержки старых устройств.

🔗 Ссылки на материалы
  1. 📺 Протоколы TLS/SSL | Защищенные сетевые протоколы – YouTube
  2. 📄 Как это работает: знакомство с SSL/TLS – habr.com
  3. 📺 TLS/SSL сертификаты и с чем их едят – YouTube
  4. 📄 Как HTTPS обеспечивает безопасность соединения – habr.com
  5. 📺 Шифрование в TLS/SSL | Защищенные сетевые протоколы – YouTube
  6. 📺 Как получить и настроить LetsEncrypt SSL сертификат для сайта? – YouTube

Тестирование

Тестирование позволяет проверить созданный программный продукт на то, что он работает именно так, как Вы задумали. Покрытие продукта должным количеством тестов, позволяет в дальнейшем проводить быстрые проверки на то, не сломалось ли что-нибудь в приложении, после добавления нового функционала.

Важно понимать: успешное прохождение тестов не даёт 100% гарантии, что Ваше приложение будет работать всегда без багов и ошибок. Тесты пишутся людьми и они физически не могут учесть все возможные варианты использования программы. Поэтому успешные результаты тестов подтверждают лишь должную работу базового функционала.

  • Unit-тесты

    Самый простой вид тестов. Как правило, около 70-80% от всех тестов занимают именно unit-тесты. «Unit» означает, что тестируется не вся система в целом, а небольшие и отдельные её части (функции, методы, компоненты и т.д.) в изоляции от других. Всё зависимое внешнее окружение, как правило, покрывается моками (mocks).

🔗 Ссылки на материалы
  1. 📄 Юнит-тестирование для чайников – habr.com
  2. 📺 Unit tests - модульное тестирование – YouTube
  3. 📄 Когда использовать mocks в юнит-тестировании – habr.com

  • Интеграционные тесты

    Интеграционное тестирование подразумевает тестирование отдельных модулей (компонентов) в связке с другими (то есть, в интеграции).

🔗 Ссылки на материалы
  1. 📄 Для чего нужно интеграционное тестирование? – habr.com
  2. 📄 Интеграционное тестирование: полный обзор
  3. 📺 Доклад: Интеграционное тестирование – YouTube

  • E2E тесты

    End-to-end тесты подразумевают тестирование работы всей системы в целом. При этом виде тестирования, реализуется среда максимально близкая к реальным условиям. Проводятся как для API, так и для Frontend-части через браузер.

🔗 Ссылки на материалы
  1. 📄 Сквозное тестирование (end-to-end): что, зачем, почему – habr.com
  2. 📄 Про пользу E2E тестирования – habr.com
  3. 📺 Доклад: End to End – the right way! – YouTube

  • Нагрузочное тестирование

    Когда вы создаете большое приложение, которое должно обслуживать большое количество запросов, возникает необходимость в тестировании этой самой возможности выдерживать большие нагрузки. Для создания искусственной нагруженности существует множество утилит.

    • JMeter

      Удобный интерфейс, кроссплатформенность, поддержка многопоточности, расширяемость, отличные возможности по созданию отчётов, поддержка многих протоколов для запросов.

    • LoadRunner

      Имеет интересную функцию виртуальных пользователей, которые параллельно что-то делают с тестируемым приложением. Это позволяет понять как влияет работа одних пользователей, активно что-то делающих с сервисом, на работу других.

    • Gatling

      Очень мощный инструмент ориентированный уже не более опытных пользователей. Для описания сценариев используется Scala.

    • Taurus

      Целый фреймворк для более удобной работы над JMeter, Gatling и так далее. Для описания тестов используется JSON или YAML.

🔗 Ссылки на материалы
  1. 📄 Поговорим о нагрузочном тестировании – habr.com
  2. 📺 Использование непрерывного нагрузочного тестирования для оценки ёмкости и ресурсов – YouTube
  3. 📄 Обзор инструментария для нагрузочного и перформанс-тестирования – habr.com
  4. 📄 Приручаем JMeter – habr.com
  5. 📄 Нагрузочное тестирование на Gatling — Полное руководство – habr.com

  • Регрессионное тестирование

    Представим, что у нас уже есть приложение с некоторым работающим и протестированным функционалом. Теперь мы добавляем новую фичу. Естественно мы тоже её тестируем. И вроде бы все хорошо, но не совсем, поскольку мы не знаем, а не сломала ли эта новая фича старый функционал. Так вот для этого и существует регрессионное тестирование (это особенно важно на проектах, над которыми работает большая команда).

🔗 Ссылки на материалы
  1. 📺 Регрессионное тестирование – YouTube
  2. 📄 Что нужно знать о регрессионном тестировании

Оптимизация

  • Профилирование

    Профилирование кода это попытка найти узкие места в вашем коде. Профилирование позволяет проанализировать ваш код и найти его самые долго выполняющиеся участки. Инструмент, используемый для анализа работы, называют профилировщиком или профайлером.

🔗 Ссылки на материалы
  1. 📄 Профилирование кода к Python
  2. 📄 Профилировщики Python
  3. 📺 Утечки памяти в Node.js и JavaScript, сборка мусора и профилирование – YouTube
  4. 📺 Профилирование JS: увидеть самое важное и не утонуть в море чисел – YouTube
  5. 📄 Простое профилирование Node.js приложений
  6. 📄 Профилирование и оптимизация программ на Go
  7. 📄 Профилирование в Go
  8. 📄 Kotlin performance on Android

  • Кэширование

    Кэширование является одним из самых действенных решений по оптимизации работы веб-приложений. Благодаря кэшированию можно повторно использовать ранее полученные ресурсы (статические файлы), тем самым сокращая задержку, снижая сетевой трафик и уменьшая время, необходимое для полной загрузки контента.

    CDN

    • CDN (Content Delivery Network) – система серверов расположенная по всему миру. Такие сервера позволяют хранить дубликаты статического контента и доставлять его намного быстрее тем пользователям, которые находятся в непосредственной географической близости. Так же при использовании CDN снижается нагрузка на главный сервер.
    • Браузерное (клиентское) кэширование основано на загрузке страниц и других статических данных из локального кэша. Для этого браузеру (клиенту) отдается специальные заголовоки: 304 Not Modified, Expires, Strict-Transport-Security.
    • Memcached – программа-демон которая реализует высокопроизводительное кэширование в оперативной памяти на основе пар ключ-значение. В отличие от Redis не может являться надёжным и долговременным хранилищем, поэтому подходит только для кэша.
🔗 Ссылки на материалы
  1. 📄 Что такое CDN и как это работает? – habr.com
  2. 📄 CDN: что такое и как это работает – selectel.ru
  3. 📄 Что такое CDN и как работает данная технология
  4. 📺 CDN своими руками – YouTube
  5. 📄 Учебное пособие по кэшированию – habr.com
  6. 📄 Кэширование и производительность веб-приложений – habr.com
  7. 📄 Основы кеширования веб-приложений
  8. 📄 HTTP-кеширование – (MDN) mozilla.org
  9. 📄 Четыре уровня кэширования в сети: клиентский, сетевой, серверный и уровень приложения – tproger.ru
  10. 📄 «HTTP Strict-Transport-Security» или как обезопасить себя от атак «man-in-the-middle» и заставить браузер всегда использовать HTTPS – habr.com
  11. 📄 Что такое Memcached? – Amazon
  12. 📺 Сравниваем Redis и Memcached, плюсы и минусы этих решений – YouTube

Документирование

  • Markdown

    Стандарт в мире разработки. Невероятно простой, но в тоже время мощный язык разметки для описания Ваших проектов. Собственно говоря, ресурс, который Вы сейчас читаете, написан с помощью Markdown.

    • Markdown cheatsheet

      Шпаргалка по всем синтаксически возможностям языка.

    • Awesome Markdown

      Сборник различных ресурсов для работы с Markdown.

    • Awesome README

      Сборник красивых README.md файлов (это главный файл любого репозитория на GitHub, использующий Markdown).

    • Конспекты и заметки

      Markdown используются не только для написания документации. Этот невероятный инструмент отлично подходит для обучения – создания электронных конспектов и различных заметок. Лично я использую редактор Obsidian для конспектирования нового материала.

🔗 Ссылки на материалы
  1. 📺 Markdown - Обзор языка разметки – YouTube
  2. 📄 Шпаргалка по Markdown – Learn X in Y Minutes
  3. 📺 README – документирование проекта на GitHub – YouTube
  4. 📄 Оформляем README-файл профиля на GitHub – habr.com
  5. 📺 Курс по Obsidian – YouTube

  • Документация внутри кода

    Для каждого современного языка программирования существуют специальные инструменты которые позволяют писать документацию прямо в коде программы. Благодаря этому Вы можете читать описание методов, функций, структур и так далее прямо внутри вашей IDE. Как правило, такого рода документация выполняется в виде обычных комментариев с учётом некоторых синтаксических особенностей.

    Вы можете легко найти такой инструмент для своего языка введя в поиске docs generator for <ваш язык>.

    Например: Docstring для Python, JSDoc для JavaScript, godoc для Go, KDoc и Dokka для Kotlin, Javadoc для Java.

🔗 Ссылки на материалы
  1. 📄 Документирование кодовой базы. Зачем и как? – habr.com
  2. 📄 Документация кода

  • Документирование API

    Удобная и понятная документация позволит другим пользователям быстрее разобраться и начать использовать ваш продукт. Писать документацию с нуля – это утомительный процесс. Для решения этой проблемы существуют общепринятые спецификации и инструменты автогенерации.

    • OpenAPI

      Спецификация, которая описывает, то как необходимо документировать API, чтобы он был читаем как для людей, так и для машин.

    • Swagger

      Набор инструментов который позволяет создавать удобную документацию API на основе той самой спецификации OpenAPI.

    • Swagger UI

      Инструмент позволяющий автоматически генерировать интерактивную документацию, которую можно не только читать, но и активно с ней взаимодействовать (отправлять HTTP-запросы).

    • Swagger editor

      Этакий playground в котором можно писать документацию и сразу видеть результат сгенерированной странички. Для этого используется файл YAML или JSON формата.

    • Swagger codegen

      Позволяет автоматически создавать клиентские библиотеки API, заглушки сервера и документацию.

🔗 Ссылки на материалы
  1. 📄 Документирование конечных точек
  2. 📺 Что такое Swagger и OpenAPI за 3 минуты – YouTube
  3. 📄 Swagger – умная документация вашего RESTful web-API – habr.com
  4. 📄 В чем польза формальных спецификаций вроде OpenAPI? – habr.com
  5. 📄 Спецификация OpenAPI и Swagger
  6. 📺 API + Swagger. Доклад Яндекса – YouTube
  7. 📄 Итак, вам нужно документировать API...
  8. 📄📺 Специфицируй это. Доклад Яндекса – habr.com
  9. 📄 Тестирование документации

  • Генераторы статики

    Со временем, когда Ваш проект разрастается и у него появляется множество модулей, одной странички README на GitHub может быть не достаточно. Уместно будет создать отдельный сайт для документации вашего проекта. Для этого совсем не обязательно учиться верстать, поскольку существует множество сайтов-генераторов для создания красивой и удобной документации.

    • GitBook

      Наверное самый популярный генератор документации с использованием GitHub/Git и Markdown.

    • Docusaurus

      Open-source генератор от компании Facebook (Meta).

    • MkDocs

      Простой и широко кастомизируемый генератор документации в формате Markdown.

    • Slate

      Минималистичный генератор документации для REST API.

    • Docsify

      Ещё один простой, легкий и минималистичный генератор статики.

    • Astro

      Генератор с современным и продвинутым дизайном.

    • mdBook

      Статический генератор от разработчиков языка Rust.

    • И другие...
🔗 Ссылки на материалы
  1. 📺 GitBook для документации, портфолио и личных записей – YouTube
  2. 📄 Пошаговая инструкция как использовать MkDocs для создания сайта с документацией продукта – habr.com
  3. 📄 Как писать хорошую документацию – habr.com
  4. 📄 Публикация документации

Построение архитектуры

🔗 Ссылки на материалы
  1. 📺 Архитектура ПО. Что это и зачем? – YouTube
  2. 📺 Что такое MVC за 4 минуты – YouTube
  3. 📺 MVC, MVVM Архитектура. Наглядная теория и примеры – YouTube
  4. 📄 Самые важные архитектурные шаблоны, которые нужно знать – habr.com
  5. 📄 Архитектурные шаблоны – github.com
  6. 📄 Чистая архитектура – habr.com
  7. 📄 Что можно узнать о Domain Driven Design за 10 минут? – habr.com
  8. 📺 Доклад про Domain Driven Design – YouTube
🔗 Ссылки на материалы
  1. 📄 Паттерны ООП в метафорах – habr.com
  2. 📄 Шпаргалка по шаблонам проектирования – habr.com
  3. 📄 Паттерны проектирования – metanit.com

  • Монолитная и микросервисная архитектура

    Монолит – полноценное серверное приложение, которое содержит единую кодовую базу (написана на одном языке и храниться в одном репозитории) и имеет единую точку входа (для запуска всего приложения). По сути это самый распространенный подход для создания приложения в одиночку или небольшой командой.

    • Достоинства
      • Простота разработки (все в одном стиле и в одном месте).
      • Простота развертывания.
      • Легко масштабируется на начальном этапе.
    • Недостатки
      • Нарастающая сложность (с ростом проекта увеличивается порог входа для новых разработчиков).
      • Растет время на сборку и запуск.
      • Усложняется добавление нового функционала, который затрагивает старый.
      • Сложно (или невозможно) применение новых технологий.

    Микросервис – по сути это тот же монолит, то есть полноценное отдельное приложение с единой кодовой базой. Но такое приложение отвечает лишь за одну функциональную единицу. То есть это маленький сервис, который решает одну задачу, но хорошо. За одним микросервисом может стоять один разрботчик.

    • Достоинства
      • Распределенность (каждый отдельный микросервис может иметь свой стек технологий и разрабатываться не зависимо).
      • Легко добавлять новый функционал (просто создайте новый микросервис).
      • Каждый отдельный микросервис легче понять и проверить.
      • Малые затраты времени на сборку и запуск.
    • Недостатки
      • Сложность реализации взаимодействия между всеми микросервисами.
      • Сложнее в эксплуатации, чем несколько экземпляров монолита.
      • Сложность выполнения транзакций.
      • Изменения, затрагивающие несколько микросервисов, должны координироваться.
🔗 Ссылки на материалы
  1. 📄 Сравнение микросервисной и монолитной архитектур
  2. 📺 Архитектура приложений. Монолит VS Микросервисы – YouTube
  3. 📺 Что такое микросервисы. Основные принципы и паттерны – YouTube
  4. 📄 Модули, монолиты и микросервисы – habr.com

  • Горизонтальное и вертикальное масштабирование

    Со временем, когда нагрузка на Ваше приложение начинает расти (приходит больше пользователей, появляется новый функционал и, как следствие, задействуется больше процессорного времени), становится необходимым увеличивать мощность сервера. Для этого есть 2 основных подхода:

    • Вертикальное масштабирование

      Подразумевает увеличение мощности уже существующего сервера. К примеру, сюда можно отнести увеличение размера оперативной памяти, установка более быстрого накопителя или увеличение его объема, а также покупка нового процессора с большой тактовой частотой и/или большим количеством ядер и потоков. Вертикальное масштабирование имеет свой предел, поскольку мы не можем долго наращивать мощности одного сервера.

    • Горизонтальное масштабирование

      Процесс развертывания новых серверов. Данный подход требует построения надёжной и масштабируемой архитектуры, которая позволит разнести логику работы всего приложения (или уже правильнее сказать сервиса) на несколько физических машин.

🔗 Ссылки на материалы
  1. 📺 Собираем масштабируемую архитектуру веб-приложения. Горизонтальное и вертикальное масштабирование – YouTube
  2. 📄 Вертикальное и горизонтальное масштабирование – microsoft.com
  3. 📺 Как горизонтально масштабироваться и не взрывать продакшн – YouTube
  4. 📄 Как масштабировать WebSocket?

Дополнительные и похожие ресурсы

Made with ♥
LICENSE 2022