Навальный сбор подписей на президента. Команда навального провалила сбор подписей и готовит провокации
При сборе подписей в Новосибирске мы каждый лист помещали в мультифору (прозрачный «файл»), на которой маркером записывались ID листа и все служебные пометки. Это подошло для четырех тысяч листов, но не сработает для сотен тысяч. В этот раз мы посчитали использование мультифор ненадежным и неудобным решением.
Юристы изобрели способ, который позволил нам идентифицировать каждый лист и не нарушить форму подписного листа. В законе ничего не сказано о физическом размере подписного листа. Это позволило нам спроектировать лист так, чтобы идентификационные коды наносились на его верхнюю часть, а перед подачей в избирком просто обрезались.
Код листа состоит из 6 символов. Можно использовать цифры и буквы латиницы, имеющие графические аналоги в кириллице (в формах можно писать в любой раскладке). Для удобства добавили разделители: 91−X7−BA.
Этот же идентификатор печатается в виде QR-кода для автоматического распознавания на различных этапах работы. QR-коды победили по надежности и скорости распознавания все другие виды штрихкодов.
Жизнь штабов полна трудностей, поэтому QR-коды тщательно тестировали в различных стрессовых для листов ситуациях…
… и решили, что трех кодов будет достаточно, чтобы обработать любой живой лист.
Юристы и дизайнеры серьезно поработали, чтобы верстка соответствовала одновременно и закону, и здравому смыслу. Отдельно тестировали количество подписей на листе. Мало подписей - слишком много листов, много лишней писанины (данные сборщика и доверенного лица), больше ошибок в заверительной надписи. Много подписей - неудобно вносить данные избирателя, больше ошибок в строках подписей. После экспериментов с прототипами остановились на пяти подписях.
Каждый лист (точнее, идентификатор листа) создается в базе, после чего его можно распечатать на бумаге формата A4. Но нельзя просто взять и напечатать лист на ближайшем принтере. По закону изготовление подписных листов должно быть оплачено с избирательного счета кандидата. Обычно их изготавливает внешний подрядчик. Поэтому мы сделали техническую сторону максимально дружественной и гибкой. Листы или печатаются прямо из браузера, или предварительно сохраняются в многостраничный PDF-файл, который можно передать подрядчику любым удобным способом.
Сыч: подготовка к сбору подписей
Сбор физических подписей в подписные листы можно начинать лишь после выдвижения кандидата и открытия специального избирательного счета. Закон отводит на это крайне мало времени. Нам важно было как можно больше операций проделать заранее, чтобы отладить все процессы и после официального объявления выборов максимально ускорить работу. Для предварительной проверки данных наших сторонников, для тренировки штабов и тестирования механики сбора мы запустили процедуру верификации.Верификация - это бета-версия сбора подписей: в настоящих штабах, с тем же оборудованием, с теми же строгими проверками документов, но без внесения подписи в бумажный лист. Для работы с данными верифицируемых людей было разработано приложение Сыч.
Состав Сыча
Бэкенд с RESTful API: Python 3.6, aiohttp, aiohttp_admin, SQLAlchemy.Базы данных: PostgreSQL, Redis.
Демон уведомлений.
Демон распознавания номеров паспорта.
Демон для сборки аналитики.
Сервис проверки паспорта по его номеру.
Коробочная версия Кладр-API для работы с адресами (PHP 5.6 + MongoDB).
Мы решили сделать для Сыча отдельный бэкенд с RESTful API, потому что планировалось интегрировать его с несколькими сервисами, включая сайт «Навальный 20!8». В качестве хранилища использовали отдельную базу PostgreSQL и Redis - для кэширования. Для управления пользователями подошла библиотека aiohttp_admin, которую мы модифицировали под свои нужды.
Внутренний интерфейс оператора - это пошаговая форма сканирования паспорта и заполнения персональных данных. Из-за большого количества возможных состояний эту форму написали на React.
Взаимодействие с сайтом «Навальный 20!8» велось через API, который защищен токеном и доступен только по локальной сети между виртуальными машинами.
Запись на верификацию
Чтобы равномерно распределить по времени нагрузку на штабы, придумали запись на верификацию. После регистрации на сайте человек получал доступ к интерфейсу записи, где он выбирал удобный штаб и время.
Для контроля загруженности, управления записями и расписанием мы разработали отдельный интерфейс, доступный региональному менеджеру и координатору штаба:
Если у штаба возникает ЧП, координатор может массово отменить будущие записи на верификацию. Однако самостоятельно он этого сделать не может - надо запросить код подтверждения отмены у регионального менеджера. Нам пришлось неоднократно пользоваться этой опцией.
Уведомления
В Сыче была реализована ветвистая система уведомлений. Подписант должен был получать уведомления по почте, когда записался на верификацию, пропустил запись, через неделю после отмены записи, после успешной верификации, после отмены записи штабом и еще в нескольких случаях.
SMS-уведомления отправлялись для напоминания о записи за три часа и для информирования о том, что штаб отменил запись. Очередь уведомлений была сделана по тому же принципу, что и на сайте «Навальный 20!8»: таблицы в БД с сообщениями, которые отправлялись группами через почтовые и SMS-шлюзы.
Распознавание паспортных данных
Чтобы оценить работу операторов и определить процент ошибок при вводе данных, хотелось иметь дополнительное распознавание сканов. Надежное автоматическое распознавание сделать было невозможно из-за вариативности паспортов, поэтому рассматривалось два варианта: отсылать сканы в Яндекс.Толоку, чтобы их распознавали ее пользователи, или взять группу волонтеров, которые занимались бы этим в офисе. Но вопрос безопасности персональных данных пресек оба варианта, и мы оставили автоматическое распознавание только для номера паспорта.Аналитика Сыча
Во время верификации мы не только уточняли и проверяли нашу базу сторонников, но и тестировали работу штабов, инфраструктуру, оборудование и механику сбора подписей. Чтобы наблюдать за процессом и корректировать его, мы сделали Простенькую аналитику.Так как в штабе есть три уровня управления процессами - координаторы штабов (отвечают за работу одного штаба), региональные менеджеры (следят за группой штабов в нескольких регионах) и менеджмент федерального штаба (следит за всем и всеми), - система группировала данные по-разному для каждой категории пользователей.
Больше всего деталей мы показывали координатору штаба. Он видел статистику всех операторов и динамику ключевых показателей и мог принимать на их основе управленческие решения: выставить больше или меньше операторов, усилить оповещение, изменить график работы в выходные, уволить или перевоспитать сотрудников, которые часто ошибаются, и т. д.
Регионального менеджера мы избавили от лишних подробностей, и на первом экране он видел только самые важные вещи по своей группе штабов: ключевые показатели, рейтинги и проблемные штабы (обозначены тревожным красным). К «проблемным» мы относили штабы с показателями на N% ниже среднего значения, хронически недогруженные (им требовалось дополнительное оповещение) и перегруженные по количеству записей (это означало, что не все люди могут записаться и нужно увеличить количество операторов).
Чтобы лучше разобраться с обнаруженной проблемой, региональный менеджер легко мог посмотреть детальную статистику по каждому штабу и увидеть все данные, которые доступны координатору.
Федеральному штабу важно было сразу видеть полную картину, поэтому мы собрали на один экран ключевые метрики кампании и сделали сводную таблицу по всем городам, где идет верификация. В таблице можно выбрать интересующий штаб, чтобы посмотреть полный набор данных по нему.
Всего в аналитике выводилось более 50 показателей. Гибкости SQLAlchemy хватило, чтобы ни разу не перейти на чистый SQL и чтобы код оставался читабельным. Для наиболее трудозатратных показателей сначала сделали кэширование в Redis, но оказалось проще периодически обсчитывать их в бэкграунде и при запросах брать из файла.
Жнец-2018: система для сбора подписей
Параллельно с ходом верификации разрабатывалась система для сбора подписей. За основу была взята архитектура системы, использованной в Новосибирске и умеющей работать с физическими объектами - листами и подписями.Со стороны бэкенда Жнец-2018 - наследник старого Жнеца, но интерфейс оператора он получил от системы верификации. Некоторые экраны были доработаны после анализа отзывов о работе Сыча. Кроме того, были добавлены интерфейсы для нескольких уровней проверки данных и для управления движением листов.
Интерфейс оператора
В процессе получения подписи оператор должен отсканировать паспорт избирателя, заполнить анкету (учитывая, что адрес, указанный в штампе о регистрации, может быть записан совсем не в нужном формате) и внести в подписной лист данные, следуя указаниям системы. Но сначала мы должны проверить, соответствует ли избиратель трем ключевым условиям:1. На момент выборов он должен быть старше 18 лет.
2. Если избирателю 20 или 45 лет, у него должен быть новый паспорт.
3. Паспорт не должен числиться в списке недействительных.
Проверка по базе недействительных паспортов - простая операция, но и в ней есть свои тонкости. Базу раздает МВД на своем сайте. Раньше перед выборами они зачем-то выключали возможность выгрузки этой базы, поэтому мы заранее начали ежедневно скачивать актуальную версию базы (не забыть бы это выключить).
Сейчас в базе более 110 миллионов записей (серии и номера паспортов). Для быстрого поиска при небольшом объеме базы и индексов была придумана такая схема: в PostgreSQL создается таблица с миллионом записей, первичным ключом в которой является номер паспорта (от 0 до 999999), а во втором поле записаны все серии недействительных паспортов для этого номера. Для уменьшения объема серии переведены в бинарный формат (по два байта) и сжаты с использованием zlib (просто захотелось). Исходно база занимает около 1 Гб без учета индексов. После обработки получается 260 Мб вместе с индексом. Одна запись проверяется в среднем за 15 мс.
0,6% паспортов людей, проходивших верификацию, нашлись в базе недействительных паспортов. Это значит, что без такой проверки мы бы потратили 12% от лимита недействительных подписей только на данный вид ошибок.0,88% паспортов нам не подошли, поскольку гражданину исполнилось 20 или 45 лет, но он еще не заменил паспорт. И это еще 18% от лимита недействительных подписей.
В подписном листе 4 колонки, заполняемые оператором: ФИО, год рождения, номер паспорта и адрес постоянной регистрации. Все эти данные проходили через Жнеца для проверки и коррекции возможных ошибок. Например, в полях для имени и отчества работает поиск опечаток:
Для подсказок по именам в API есть метод, который сравнивает значение с большим списком и возвращает три варианта ответа:
Все OK, есть такое имя;
- есть похожее имя (такое-то);
- неизвестное имя (редкое имя или серьезные ошибки в написании).
Отдельная история - буква «ё». Существуют паспорта, в которых она используется, но в большинстве случаев она заменяется на «е», поэтому мы выводим предупреждение, если в каком-то поле паспортных данных есть «ё».
Система ничего не исправляет сама, только информирует. Оператор и проверяющие должны обратить внимание на такие случаи и принять верное решение.
Сканирование документов
Для получения изображений документов мы используем сканеры собственного производства, а в качестве операторской станции - Raspberry Pi. Подробно это описано во второй главе .
Данное изображение не является сканом паспорта, а собрано в графическом редакторе из случайных данных.
Изображение получается на клиентской стороне из HTML 5 Canvas API и отправляется на сервер в виде строки base64, в которой лежит JPEG. С точки зрения фронтенда сканеры могут работать в двух режимах: USB web-камера и стриминг видеопотока с компьютера в локальной подсети. Сыч работает только с USB-камерами, а Жнец-2018 позволяет переключаться между режимами. Оператор сам выбирает, какой сканер использовать.
С выбором видеопотока соседних компьютеров возникла небольшая проблема: столы и сканеры можно двигать, а операторы могут пересаживаться. Мы не знаем, какой сканер окажется рядом с оператором в следующий раз. Пришлось перебирать штабную подсеть и дать оператору возможность выбрать любой из живых сканеров. Но оказалось, что сервер видеотрансляции сканера, хоть и ставят корректные CORS-заголовки (Access-Control-Allow-Origin: *), не отвечают на OPTIONS-запросы. Браузер запрещал ajax-запросы на соседние хосты, из-за чего для поиска не получалось использовать обычный jQuery.ajax(). JSONP-запросы тоже не помогли, поскольку их не получалось отменить программно, а несколько десятков ожидающих запросов полностью блокировали страницу. Решить проблему помогли картинки. Мы добавляли в DOM теги и прописывали им src видеопотока. Если картинка меняла размеры в соответствии с размерами потока, то поток считался живым и показывался оператору.
Отображение видеопотока в браузере заметно нагружает скромные процессоры Raspberry Pi, поэтому нам пришлось сделать «скринсейвер»: после 5 минут бездействия браузер ставит трансляцию на паузу.
Нам важно выбрать актуальную информацию о месте регистрации. На развороте паспорта может быть 6 штампов, но нужен только один. Интерфейс предлагает выбрать его с помощью стрелок на клавиатуре или кликом по нужному штампу на превью.
Еще регистрации может и не быть. Таких избирателей записывают в отдельный подписной лист с пустым регионом и адресом, а сканирование регистрации пропускается.
Обработка адресов
Самая сложная часть в заполнении подписного листа - адрес избирателя. Больше половины ошибок, из-за которых подпись признается недействительной, связаны с адресом.К адресу регистрации есть большой список юридических требований. Например:
Это должен быть адрес по базе ФИАС (федеральная информационная адресная система);
- для переименованных улиц нужно указывать новые названия, даже если в паспорте было старое;
- законом устанавливается определенный формат иерархии адресных объектов, которые нужно записать (например, нельзя указывать городской район).
Это только базовые пункты, но есть и множество мелочей, список которых пополнялся при каждом взаимодействии с избирательной комиссией. Несоблюдение даже незначительных требований - повод для избиркома не принять подпись.
На сборе подписей в Новосибирске из-за претензий к полю «адрес» были признаны недействительными около 3,5% подписей. И это 70% от лимита, который установлен для подписей за выдвижение кандидата в президенты.
Чтобы выполнить все требования, мы вынуждены каждый адрес прогонять через компьютер, чтобы сформировать правильный формат и указать сборщику с точностью до символа, что он должен вписать в подписной лист.
Мы стараемся, когда это возможно, не использовать API сторонних сервисов, чтобы не отдавать данные о наших пользователях и чтобы не оказаться в ситуации, когда API внезапно выключат в самый ответственный момент. Работа с адресами - критическая для сбора подписей функция, поэтому нам пришлось сделать свой API к базе ФИАС.
В базе ФИАС пока еще нет достаточно качественных и полных сведений о домах и квартирах, поэтому мы остановились на уровне улиц. В таком виде база со всеми дополнительными построениями весит около 2 ГБ и вполне комфортно живет в виде PostgreSQL. Для импорта использовались модифицированные скрипты из репозитория fias2pgsql .
Для универсальной всероссийской формы ввода адреса нельзя просто сделать поля «город», «улица», «дом», т. к. существует множество разных форматов адресов и типов адресных объектов. Известный пример непривычного формата - Зеленоград, в котором есть дома без названия улицы. Но, поверьте, в масштабах всей страны это довольно тривиальный случай.
После серии экспериментов мы остановились на форме из трех полей:
Субъект РФ - он есть всегда, это самое понятное поле;
- адрес по ФИАС - поле с автодополнением по адресам данного региона внутри ФИАС;
- дом/корпус/квартира - строка, куда данные переписываются точно в соответствии со штампом о постоянной регистрации.
Юристы составили таблицу преобразований адресов, при помощи которой мы приводили адреса ФИАС в формат, соответствующий законодательству о выборах. Чаще всего нужно было исключить один из элементов адреса. Какие-то адреса исключали целиком (гаражные кооперативы, дворовые территории и другие подобные объекты). IT-отдел получал таблицу с правилами, а юридический отдел в ответ получал по 10 примеров на каждый из 44 типов адресов.
После нескольких таких итераций база была готова к работе.
Техническая часть задачи заключалась в организации удобного и быстрого поиска с автодополнением, который выдержит нагрузку в 1 миллион запросов за день. В качестве поискового движка использовали Sphinx. Запрос очищается от лишних символов и передается в Sphinx, а он возвращает полные адреса объектов, ранжируя их по заданным правилам.
Sphinx индексирует поле адреса, записанное в формате XML. Такой формат хранения оказался удобен тем, что все метаданные можно спрятать в XML-атрибуты, которые Sphinx не использует для поиска, но держит в памяти и возвращает в результатах без дополнительного обращения к базе данных. Где-то на фронтенде эти атрибуты используются для формирования красивой строки адреса.
Решение получилось удобным и быстрым. Один запрос к suggest API выполняется за 15–20 мс, бэкенд спокойно обрабатывает 300 одновременных соединений на не самой мощной виртуалке.
Заполнение подписного листа
Подписи должны вноситься в листы того субъекта российской федерации, к которому принадлежит адрес постоянной регистрации гражданина (или в специальные листы без региона, если регистрации нет). Жнец сообщает оператору, лист какого региона нужно взять, и не дает внести подпись на лист другого региона.Представьте, что вы хотите решить такую задачу без компьютера, собирая подписи на вокзале, где будет много людей из различных регионов и не будет картотечного хранилища с пустыми листами, отсортированными по региону. Примерно в трети паспортов штамп о регистрации не содержит название региона, а случайные прохожие не знают правила игры и легко могут что-то перепутать. Это выглядит как источник большого количества ошибок, что недопустимо при установленном законом лимите в 5%.
Заполнение подписного листа - сложная и ответственная процедура. На листе есть строки подписей, заверительная надпись сборщика и подпись доверенного лица. Все эти блоки должны быть заполнены в соответствии со строгими формальными требованиями. На каждом этапе заполнения возможны ошибки, которые могут сделать весь лист или часть подписей недействительными.
Мы разработали такие сценарии работы оператора, которые уменьшают вероятность возникновения типичных ошибок. Заверительные надписи листов «домашнего» региона (около 80% подписей будут из региона, в котором находится штаб) заполняются сборщиком заранее, в спокойной обстановке. Для всех блоков листа Жнец показывает, как именно они должны быть заполнены.
Интерфейс заполнения имитирует реальный подписной лист, который в данный момент лежит на столе перед оператором. Показаны занятые строки, колонки для заполнения, номер листа, крупно - данные для внесения.
Для заполненной строки оператор должен указать ее статус (не всегда строку получается заполнить успешно с первого раза). Каждому исправлению и вычеркиванию должна соответствовать пометка от сборщика на листе и соответствующий статус в базе данных.
После заполнения всего листа на нем проставляется дата и подпись сборщика. Лист передается на проверку.
Проверка подписей, работа с листами в штабе
В конце каждого рабочего дня все листы с подписями попадают на проверку, которая происходит поздним вечером или ночью (штабы у нас небольшие, вести все процессы параллельно просто негде). Проверяющий (он же - доверенное лицо кандидата) просматривает каждый лист и каждую подпись, сравнивает с фрагментами отсканированных страниц паспорта, проверяет по чек-листу все значимые элементы. Если обнаруживаются ошибки, это отмечается в специальном интерфейсе.Отдельно проверяется заверительная запись. Ошибки при заверении особенно опасны, поскольку затрагивают сразу весь лист. Такими ошибками обусловлено происхождение примерно 9% всех недействительных подписей.
Некоторые ошибки можно исправить, но вносить исправления в строки подписей может только сборщик, а его вечером/ночью в штабе нет, поэтому вся необходимая для исправления информация передается в электронном виде. Для понимания контекста необходимо видеть все, что происходило со строкой ранее. Так появился «чат» между проверяющим, оператором и юристом.
Все имена и другие данные на изображении являются выдуманными
Если ошибки кажутся фатальными или есть какие-то сомнения, лист отправляется к юристу. Если подписи не содержат ошибок или все исправления уже сделаны, проверяющий ставит подпись доверенного лица и передает лист на отправку в центральный штаб.
Смайлики и нейрофизиология счастья
Для быстрого и безошибочного выбора статуса проверяемой строки мы использовали кнопки в виде смайликов. У этого есть глубокие нейрофизиологические причины. В зрительной системе мозга есть древние низкоуровневые механизмы, которые реагируют на определенные образы. Быстрее всего зрительная система реагирует на отрезки прямых линий разных ориентаций, поскольку линии легко детектируются первичной зрительной корой. Во вторичной зрительной коре распознаются простые геометрические фигуры (этому нужно учиться) и схема лица. Причем распознается не просто лицо, а основные мимические выражения. То есть, смайлики. Как и распознавание прямых линий, это врожденная способность. Благодаря такой низкоуровневой системе смайлики узнаются значительно быстрее и точнее, чем текст.
Иконки в виде смайликов хорошо соответствуют смыслу статусов, которые проверяющий может присвоить подписи: «хорошая», «есть проблемы», «плохая». Были некоторые сомнения со смайликом «показать юристу», но мы с этим справились.
Еще есть мнение, что смайлики очеловечивают интерфейс и тем самым немного улучшают жизнь оператора. Это важно, т.к. операторы должны были проводить долгие часы за работой с нашей системой и не терять бдительность.
Отправка листов
Готовые листы каждый день отправляются в центральный штаб. Листов может быть много, несколько сотен. Мы хотим точно знать, какие листы готовы и уехали из штаба, но ручная их регистрация - это долго и ненадежно. Для учета отправляемых листов написано мобильное приложение.
У него есть режим, который позволяет быстро просканировать коды сотен листов и сообщает, если какой-то лист пытаются отправить по ошибке, когда он еще не прошел все этапы обработки в штабе. На сканирование одного листа уходит 1-2 секунды.
После сканирования листы упаковывают и отправляют в Москву.
Детали форм
Все паспортные данные вводятся и отображаются моноширинным шрифтом Source Code Pro Regular. В нем ноль легко отличить от буквы «О», а символы достаточно похожи на те, что обычно используются в современных паспортах.Все формы сделаны так, чтобы между полями и основными кнопками можно было переключаться табуляцией. Фокус ввода находится в нужном поле не только при загрузке страницы, но и после закрытия сообщения об ошибке. Модальные диалоги захватывают фокус, чтобы переключение происходило только между их элементами управления.
Все кнопки, при нажатии которых происходит что-то продолжительное, показывают это всем своим видом. Поля ввода на время отправки данных выключаются. При ошибках появляются подробные пояснения.
Логистика и физическое хранение листов
Перекладывание бумажек - один из видов деятельности, в котором человечество достигло невероятных успехов. Казалось бы, можно пойти в магазин канцтоваров, купить набор для сбора подписей «Федеральный» и не думать о подробностях. Но есть проблема: все офисные решения стоят слишком дорого. Мы не можем поставить в каждый штаб сканеры документов за несколько десятков тысяч рублей и шкафы с подвесными папками за сто тысяч, поэтому на каждом этапе приходилось что-то изобретать и создавать из подручных материалов.Немного фактов о физике процесса
Нам нужно сдать 315 тысяч подписей. Для этого, с учетом региональных квот и запаса на различные ошибки, нужно собрать и обработать около 1 миллиона подписей. На каждом листе может быть максимум пять подписей, но в реальности будет где-то 3-4. Это дает нам, грубо говоря, 300 тысяч листов.Лист бумаги формата А4 имеет площадь 1/16 м².
Плотность обычной офисной бумаги - 80 г/м², каждый лист весит 5 г.
Высота пачки из 500 листов - 4,5 см для чистых листов, более 6 см для заполненных.
Получается, все собранные листы будут весить 1,5 тонны, а сложенные в одну пачку они будут около 36 метров в высоту.
Как все это хранить?
Подписные листы печатаются, заполняются подписями, проверяются, заверяются и ежедневно отправляются в центральный штаб. Один штаб отправляет в день несколько сотен листов, поэтому на данном этапе проблемы быть не должно.Самое интересное начинается в центральном штабе. Там нужно организовать такую систему хранения, которая позволит легко принимать листы из региональных штабов и работать с ними до конца сбора. После завершения сбора листы должны быть сгруппированы по регионам и сшиты в папки для избиркома.
Мы не можем просто складывать листы в бесконечные пачки, поскольку юристы в любой момент могут захотеть изъять часть листов по определенной выборке. Нужно знать, где конкретно находится каждый лист, уметь быстро достать его и вернуть обратно.
Для быстрого доступа была придумана система индексации физической базы листов. Индекс состоит из нескольких уровней: штаб (ящик), коробка, папка. Адрес папки в архиве выглядит так: 77−1−15. Внутри каждой папки лежит 25 листов (в произвольном порядке).
На левой верхней картинке - коробка на 500 подписных листов в бумажных папках.
На правой картинке - ящик на 2000 листов в подвесных папках.
Получение и сортировка листов
Все листы, приезжающие из регионов, сканируются автоматическим двухсторонним сканером (он уже был в офисе, поэтому не пришлось собирать его самим из LEGO и Arduino). Этот аппарат умеет заливать результат на сервер по SFTP. Там сканы прогоняются через python-скрипт, который ищет QR-коды в стандартных местах, распознает их и привязывает сканы к общей базе данных. Скрипт надежно обрабатывает даже мятые листы.
После сканирования листы идут на сортировку. Каждый лист сканируется при помощи мобильного приложения (режим сортировки). Оно находит лист в системе, меняет статус на «приехал в центральный штаб» и показывает координаты папки, в которую лист нужно положить. Оператор подтверждает, что положил лист в указанную папку (закрывает транзакцию).
Листы одного региона размещаются в папке последовательно, пока в ней есть место, поэтому весь процесс происходит очень быстро.
Бэкенд
Жнец-2018 сделан на Django со стандартным шаблонизатором и ORM. В качестве базы данных используется PostgreSQL. Служебные части системы - ФИАС, проверка паспортов, работа с данными предварительной регистрации - вынесены в отдельные модули (django app) со своими базами данных.Физический мир подписей представлен в виде нескольких классов объектов: подписной лист, строка в листе, подпись. У объектов этих классов есть атрибуты, отражающие состояние объекта в реальном мире. Для управления состояниями использован шаблон «конечный автомат» (машина состояний, finite state machine) и библиотека django-fsm. Все переходы между состояниями прописаны в виде FSM-транзакций, внутри которых проводятся необходимые проверки и дополнительные действия с объектом.
Схема состояний выглядит примерно так:
Положение листа в пространстве определяется состоянием строк, которые в нем содержатся. Если есть строки, которые должен проверить юрист, лист получает статус «к юристу». Как только юрист взял лист и ввел его код в интерфейсе проверки, лист получает статус «у юриста». Таким образом мы всегда знаем точное положение всех листов и понимаем их ближайшую судьбу.
Тестирование
У системы сбора подписей слишком много различных состояний и переходов между ними, чтобы проверять это вручную. Для автоматизации проверок все сценарии, связанные с работой операторов и проверяющих, покрыты тестами на стороне django.Бесполезно смотреть на систему сбора миллиона подписей, когда в ней нет этих подписей. Для наполнения базы были написаны скрипты, которые инициализируют типичное состояние базы в процессе сбора, чтобы можно было посмотреть на систему, наполненную чем-то похожим на реальные данные.
Сбор подписей сильно ограничен по времени, а значительная часть этого времени приходится в этот раз на новогодние праздники. Мы ожидали, что нагрузка на штабы и систему сбора будет неравномерной. Важно было, чтобы система легко справлялась с любым реалистичным потоком подписей. В пиковые моменты ожидалось до 10 тысяч подписей за час. Для обычного веб-сайта это выглядит несерьезно, но в нашем случае такой порядок «посетителей» может создать большую нагрузку на сервер. Это не просто посещения или регистрации: получение каждой подписи предполагает около 50 запросов к серверу и обработку нескольких изображений высокого разрешения.
Нагрузочное тестирование проводилось при помощи Locust . Это простой инструмент, доступный через PyPI. Сценарии описываются в виде кода на питоне, примерно как юнит-тесты в Django:
Тесты можно запускать через веб-интерфейс, в котором выводятся графики скорости запросов, количества клиентов и времени ответа сервера.
Развертывание проекта организовано так же, как для сайта «Навальный 20!8».
Доступ к веб-приложениям Жнеца возможен только через штабную VPN-сеть.
Мониторинг
Мы используем различные инструменты для мониторинга серверов и приложений, задействованных в системе сбора подписей.Zabbix отслеживает состояние всех виртуальных машин проекта.
Elasticsearch собирает логи nginx со всех виртуалок, Kibana показывает это в виде графиков.
В Sentry валятся все ошибки из приложений и с фронтендов. Фронтенды вынесены в отдельную «организацию», чтобы не портили статистику по ошибкам бэкенда. Удобная штука, но заставить Sentry работать при нашей нагрузке было довольно сложно.
Гусь
Это функциональный мониторинг, чем-то похожий на uptime.com , только самодельный. Бэкенд построен на django, очереди сделаны на celery с бэкендом в redis.В Гуся добавляются домены проектов. Для каждого домена указываются адреса, которые нужно мониторить, интервал проверки и тип проверки. Можно проверять сертификат, контент, HTTP-заголовки, редиректы и еще что-то полезное.
Если что-то пошло не так, Гусь умеет отправлять письма и SMS или звонить среди ночи и человеческим голосом объяснять ситуацию (для звонков и синтеза речи используется сервис Twillio).
В веб-интерфейсе всегда видно, на каких доменах есть ошибки и как дела у очереди проверок. Каждую минуту делается по 20-25 проверок. Добавить метки
Санкт-Петербург, Марсово поле, 17 декабря 2017 года: за выдвижение Навального кандидатом в президенты РФ в Северной столице проголосовали 1797 человек Фото: Twitter / @teamnavalny
Сбор подписей за выдвижение Алексея Навального в президенты прошел в Санкт-Петербурге, на Марсовом поле. Невзирая на штормовой ветер с Невы, в течение полутора часов около двух тысяч человек, терпеливо отстояв в очередях, проголосовали за оппозиционного политика. По закону достаточно было бы всего 500 подписей, так что норма была перевыполнена почти в четыре раза.
В центре Марсова поля собрались неизменные спутники всех оппозиционных акций в Питере - бодрые нодовцы развернули свои черно-оранжевые полосатые полотнища и включили через усилители патриотические песни. Под грохот «Вставай, страна огромная…» к расставленным по полю столам тянулись сторонники Навального.
Возле самого Вечного огня собирались замерзшие граждане и обсуждали происходящее. Кто-то достал распечатку с предвыборными обещаниями Путина в 2000 году и громко зачитывал пункты об удаленности власти от бизнеса, о свободе прессы… «Он что - забыл, что обещал?» - голос наивной барышни буквально потонул в общем хохоте.
«Почему-то мы тут не видим нотариуса! - удивленно прокомментировал корреспонденту NT события на Марсовом поле Олег Зацепа, член городской избирательной комиссии с правом решающего голоса. - Организаторы утверждают, что он позже проведет свои действия по факту, но это же еще не факт!»
«Нотариус может потом утвердить списки по видео, - разъяснил ситуацию Денис Михайлов, руководитель штаба Навального в Питере. - По закону не требуется, чтобы нотариус присутствовал здесь, он может удостоверить по протокольному видео, которое мы делаем. Регистрационные листы мы тоже заверим у нотариуса и отправим в ЦИК. А чтобы привезти сюда нотариуса - (нужно) полтора миллиона (рублей), у нас нет таких средств».
Уже к полудню, когда прозвучал выстрел пушки Петропавловской крепости, желающих поставить свою подпись за Навального оказалось столько, что к столам с бумагами протянулись длинные очереди.
«Мне кажется, если бы Навального хоть на месяц пустили на телевидение, Путину было бы его не догнать. Потому что мы президенту не доверяем!»
«Здесь взрослых очень много, не только молодежь, просто молодые более шустрые, - объяснила свое участие в акции 54-летняя Шахназ. - Ну, придет Путин, еще 6 лет - а что будет после него? Не повезет тому президенту, который придет после него, - все разрушено! У меня дочка учится в колледже, она рассказывает, как их в колледже агитируют против Навального, она говорит - мама, мы все равно все понимаем! Мне кажется, если бы Навального хоть на месяц пустили на телевидение, Путину было бы его не догнать. Потому что мы президенту не доверяем!»
Всех записавшихся организовали в 50 колонн примерно по 40 человек и выстроили перед мемориальным комплексом для подсчета голосов.
«Господа, поднимите карточки, если вы «за» выдвижение Алексея Навального в кандидаты в президенты!» - обратился к собравшимся Михайлов. Над полем взметнулся лес красных листков. «Против» есть?» - на окраине толпы показалась одна красная карточка. «Воздержались?» За Навального проголосовали 1797 человек, позже сообщила Фонтанка.ру.
«Итак, Навальный набрал нужное количество голосов!» - констатировал глава штаба и закрыл собрание. Полиция, которая всю акцию жалась к обочинам Марсова поля, побрела к своим машинам.
Екатеринбург: стукачи против Навального, студенты - за
Екатеринбург, 24 декабря 2017 года Фото: Twitter / @teamnavalny_ekb
Уже за полчаса до начала собрания на площадке около памятника отцам-основателям Екатеринбурга в центре города скопилось довольно много народа. Люди средних лет, пенсионеры, но все больше молодежь втекают в огороженное небольшими заборчиками пространство через полицейский досмотр на входе. «А в этот раз полиции не так много, - замечает один из присутствующих. - В прошлый раз намного больше нагнали, а ведь человек сто всего в митинге участвовали».
Действительно, стражей порядка относительно немного и настроены они вполне дружелюбно. Как и участники собрания. Только один старичок, когда его по ошибке пытаются досмотреть повторно, начинает ругаться, грозить полицейским кулаком и грозно вопрошать: «Что? Лычку новую получить захотел?» Вскоре революционный пыл мужчины гаснет в дружеской атмосфере собрания - многие здесь встретились со знакомыми и друзьями, кто-то пришел с семьей.
Некоторые екатеринбуржцы не побоялись привести на собрание детей. И это после октября, когда на митинге за Навального три десятка человек. Впрочем, тогда действо не было одобрено властями, сейчас же за ним наблюдают не только полицейские, но и сотрудники Свердловской областной избирательной комиссии. Они пересчитывают прибывающих и позже будут следить за тем, чтобы процедура проходила без нарушений.
«У нас в РГППУ старшекурсник составил список всех студентов, которые за Навального, и отнес в деканат. Настоящий 1937-й!»
Люди все прибывают. Поддержать своего кандидата пришли городской депутат-либерал Дмитрий Головин, член общественной наблюдательной комиссии Свердловской области Вячеслав Башков и «серый кардинал» уральской оппозиции, политолог Федор Крашенинников. Волонтеры раздают листы регистрации, в которых нужно указать паспортные данные и поставить подпись, а также мандаты - красные прямоугольники, необходимые для голосования.
Под памятником отцам-основателям старичок рассказывает двум молодым людям поучительную историю, как за два дня до выборов мэра Екатеринбурга он решил не голосовать за Ройзмана, потому что он «все равно не пройдет». И когда «народный кандидат» и борец с наркоторговлей неожиданно для всех победил, пересмотрел свою позицию - и теперь считает, что у Навального тоже есть шанс. В ответ студенты делятся собственной историей: «У нас в РГППУ старшекурсник составил список всех студентов, которые за Навального, и отнес в деканат. Настоящий 1937-й!»
Наконец, листы заполнены, и мандаты розданы. Организаторы на всякий случай принесли не 500, а 1 тыс. карточек для голосования - разобрали все, так что опоздавшим пришлось отказать. На повестке четыре вопроса: считать ли собрание открытым, объявить о создании инициативной группы по выдвижению Навального, выдвинуть ли его кандидатуру, закрыть ли, наконец, собрание?
На вопросы положительно отвечают взмахом красных карточек свыше 950 человек (видимо, часть публики отсеялась из-за холода). Организатор собрания Бармин уже собирается объявить результат, но потом спохватывается: может, кто-то против? Кто воздержался? Таковых нет. Четверо ответили «против» только на последний вопрос - о закрытии собрания.
Через час после официального начала народ начинает расходиться. Замечаний от ЦИКа не прозвучало, мероприятие прошло и завершилось мирно, без стычек и провокаций. Участники собрания ожидают, что их снова пригласят оставить свои паспортные данные и подписи, когда штаб Навального начнет избирательную кампанию.
Владивосток, 24 декабря 2018 года Фото: 2018.navalny.com / Антон Лаврусюк
Пермь, 24 декабря 2018 года Фото: 2018.navalny.com / Валерий Авраменко
Тюмень, 24 декабря 2018 года Фото: 2018.navalny.com / Сергей Сысоев
Челябинск, 24 декабря 2018 года Фото: 2018.navalny.com / Андрей Абрамов
Ростов-на-Дону, 24 декабря 2018 года Фото: 2018.navalny.com / Владислав Кульчицкий
Волгоград, 24 декабря 2018 года Фото: 2018.navalny.com / Алексей Копаев
Кампания +1. Собираем 1 000 000 подписей
На то, чтобы собрать 300 000 подписей, необходимых для выдвижения кандидата на президентских выборах в 2018 году, нам потребовалось 4 месяца. Наша новая цель - миллион, и мы запускаем кампанию «+1».
По законам Российской Федерации для регистрации кандидатом в президенты претендент должен предоставить в Центральную избирательную комиссию 300 000 подтвержденных подписей, собрать которые необходимо в очень короткий срок. На сбор отводится всего 40 дней, а в нашем случае - еще меньше, потому что эти 40 дней приходятся на новогодние праздники. По сути, это еще одно искусственное препятствие, созданное властью. Кроме того, подписи должны быть собраны в 40 регионах страны - не более 7500 от каждого субъекта РФ.
Фото: Евгений Фельдман
Чтобы вовремя подать в ЦИК необходимые 300 000, мы должны знать, что во всех регионах, где будут открыты наши штабы, мы можем рассчитывать на 7500 подписей. И что собраны они будут точно в срок и с полным соблюдением процедуры.
У тех кандидатов, которых Кремль хочет видеть на выборах, и бумагу нарезанную возьмут как подписи, мы такое не раз наблюдали. Наши же подписи будут смотреть под микроскопом
Алексей Навальный
Фото: Евгений Фельдман
Скорее всего, подписи, поданные штабом Навального, ЦИК будет изучать особенно тщательно - поэтому мы должны максимально застраховаться и собрать намного больше, чем предписано протоколом. Мы собираем не только электронные адреса, но и номера телефонов и краткие анкеты всех, кто готов поддержать выдвижение Алексея Навального. Это делается для того, чтобы мы точно знали, в каких регионах есть наши сторонники и сколько их.
Желающих поддержать независимого оппозиционного кандидата вокруг вас - море. Хотя бы из соображений конкуренции на выборах. Даже запутинцы поддерживают конкуренцию, хотят видеть независимых кандидатов в бюллетенях
Алексей Навальный
Следующая наша цель - миллион подписей, которые гарантируют нам необходимые 300 000 в конце года. Для этого мы запускаем кампанию «+1» и призываем всех, кто уже поставил подпись на сайте, убедить зарегистрироваться еще хотя бы одного человека. А лучше двоих или пятерых - и тогда нужный миллион будет достигнут уже к лету.
Сейчас нам очень нужна ваша помощь. Потратьте, пожалуйста, 10-15 минут своего времени и сагитируйте кого-нибудь из своих друзей, родственников или коллег по работе поставить подпись.
Фото: Евгений Фельдман
Напишите нескольким знакомым письмо или сообщение в социальной сети:
«Привет. Я поставил свою подпись за выдвижение Навального кандидатом. Не мог бы ты тоже поставить? Это будет правильно»Алексей Навальный
Уже подписавшиеся 385 531 человек - страшная сила. Давайте использовать ее с максимальной пользой. Присоединяйтесь к кампании «+1».
«Пока это история для пиара»
Оппозиционер Алексей , что собрал 300 тысяч подписей, необходимых для регистрации своей кандидатуры на выборах президента РФ в 2018 году. Допустят ли его теперь до участия в выборах?
Согласно закону «О выборах Президента РФ» (№19 - ФЗ от 10.01.2003), кандидат - самовыдвиженец (т.е. тот кандидат, который выдвигается не от политической партии) должен предоставить в Центральную избирательную комиссию не менее 300 тысяч подписей избирателей, причем на каждый регион должно приходиться не более 7500 из них. Технологически Навальный задачу выполнил - он заявил о том, что собрал уже 335 782 подписей не менее, чем в 40 регионах страны. Однако юридической силы они не имеют.
«Подписи, собранные до выдвижения и до открытия избирательного счета не действительны», - сказал нам эксперт в области избирательного законодательства Андрей Бузин. Поясняем. По тому же закону «О выборах президента», выдвижение кандидата происходит не позднее, чем через 20 дней со дня официальной публикации решения о назначении выборов. Пока они намечены на годовщину присоединения Крыма, 18 марта 2018.
Однако, согласно Конституции, официально выборы президента будут назначены Советом Федерации не ранее, чем за 100 дней и не позднее, чем за 90 дней до дня голосования, то есть в декабре этого года. Соответственно, официально выдвинуть свою кандидатуру на выборах президента и начать сбор подписей Алексей Навальный сможет только в декабре. Если политик подаст документы на выдвижение в тот же день, когда Совет Федерации назначит выборы, то на сбор подписей у него останется от 55 до 45 дней. Если он в этот срок соберет нужное количество, ЦИК проверит их на подлинность и примет решение о регистрации в качестве кандидата.
То, что подписи, собранные сейчас, нельзя будет использовать при подаче документов в ЦИК, осознает и сам Навальный. На своем сайте он написал, что , чтобы «в час Х собрать нужное количество быстро и качественно», каждая подпись - это e-mail, номер телефона и краткая анкета потенциального избирателя.
Однако говорить о регистрации Навального в качестве кандидата еще рано. По-прежнему не решен вопрос о том, сможет ли он вообще выдвинуть свою кандидатуру на выборах президента. После приговора на повторном рассмотрении процесса по делу «Кировлеса» оппозиционер попал в юридическую вилку. С одной стороны? он осужден к лишению свободы, а значит, по закону не имеет права участвовать в выборах. С другой стороны, у него еще остается возможность оспорить это положение закона в Конституционном суде.
Руководитель Центра экономических и политических реформ Николай Миронов считает, что Навальный собрал подписи для того, чтобы показать, свой политический вес, и что он способен это сделать в будущем.
«Это способ давления, - сказал политолог «МК». - Думаю, что это сигнал разным социальным группам чтоб они его поддержали, и разным спонсорам. Но мы ничего не знаем о качестве этих подписей». Эксперт отметил, что раскрученный политик может собрать 300 тысяч подписей, но это очень сложно. «Пока эта история вне избирательного процесса, она для пиара, - говорит политолог. - Когда будет производиться сбор реальных подписей, все будет зависеть от избирательных комиссий. На каком-то этапе его могут отсечь, но, насколько я понимаю, никакого готового сценария по участию Навального в выборах нет».