Содержание

что это такое, применение, что дает чистка – МЕДСИ

Оглавление

Прибор Air Flow — это устройство, которое используется для профессионального бережного очищения зубов от налета и различных отложений (поддесневого и зубного камня и др.).

Основы метода

Гигиеническая чистка зубов Air Flow представляет собой процедуру, при которой аппарат распыляет на зубы смесь из воды, воздуха и кристаллов соды под давлением. Степень такого давления регулирует врач-стоматолог. При помощи данного прибора различные типы отложений удаляются не только с поверхности зуба, но и из межзубных промежутков.

Это безопасный и безболезненный способ профессиональной чистки, не повреждающий эмаль. После его применения зубы становятся светлее на 1-2 тона. Для большего комфорта пациента перед нанесением средства в его водную составляющую может быть добавлен фруктовый ароматизатор.

Когда нужна чистка Air Flow?

Чистка полости рта Air Flow необходима в тех ситуациях, когда нужно почистить труднодоступные места челюстей, десен и зубов, а также перед разными типами лечебного вмешательства.

Поэтому снятие зубных отложений методом Air Flow необходимо в таких случаях, как:

  • Возникновение необходимости установки или снятия коронок, имплантатов или брекетов

  • Появились проблемы с деснами — первые признаки пародонтоза

  • Налет начал перерождаться в зубной камень

  • Необходимо качественно почистить установленные имплантаты, брекеты и др.

  • Пожелтение эмали из-за напитков и иных веществ (чай, кофе, сигареты и др.)

  • Зубы расположены очень плотно, имеется скручивание

В результате удается не только полностью очистить имплантаты или брекеты, но и избежать развития заболеваний ротовой полости, таких, как: кариес, пародонтит, пародонтоз, периостит, гингивит и другие.

Как выполняется чистка системой Air Flow

Поскольку при помощи Air Flow — снятие зубных отложений методом распыления водно-воздушно-содовой смеси под давлением — невозможно убрать чрезвычайно твердые частицы старого зубного камня, его используют в комплексе с другими методиками очищения и полировки зубов. Все они входят в перечень процедур, применяемых для профессиональной чистки врачом-стоматологом.

Стандартная комплексная процедура проходит таким образом:

  • Перед чисткой пациент должен обязательно почистить зубы щеткой

  • В начале сеанса врач оценивает состояние челюсти, десен и ротовой полости пациента

  • Затем он удаляет твердый налет и камень не только с зубов, но и из-под десен при помощи ультразвукового аппарата — скейлера; эта часть процедуры может оказаться болезненной для пациента, поэтому ему может быть предложено применить местную анестезию

  • Третий этап чистки — удаление размягченного камня, налета и пигментных пятен, образовавшихся от употребления пищи, напитков при помощи системы Air Flow

  • После этого врач обязательно очищает межзубные промежутки при помощи нити

  • В конце процедуры поверхность зубов полируется специальными щетками, также на них наносятся специальные фторсодержащие составы для укрепления эмали и снижения чувствительности

После проведения профессиональной чистки жевательного аппарата пациента при помощи системы Air Flow стоматологи МЕДСИ выдают рекомендации по уходу за деснами, начиная от выбора щетки и ирригаторов и заканчивая индивидуальным подбором пасты. Врачи советуют повторять процедуру не реже 1–2 раз в год.

Достоинства и недостатки Air Flow

Плюсы метода очистки зубов при помощи данного прибора:

  • Протезы, брекеты и другие ортодонтические конструкции полностью очищаются, чего невозможно добиться обычными методами

  • Аппарат позволяет максимально очистить труднодоступные поддесневые и наддесневые участки от камня и налета

  • Процедура занимает порядка получаса

  • Применение Air Flow не доставляет дискомфорта и боли

  • Эмаль осветляется на 1–2 тона, пигментные пятна от напитков убираются

  • При полировке верхний слой насыщается фтором и другими полезными веществами

  • Такая чистка помогает убрать неприятный запах изо рта (если он не вызван иными заболеваниями)

Минусы:

  • Аппарат Air Flow не в состоянии самостоятельно удалить застарелый плотный зубной камень

  • Некоторым типам пациентов нельзя проводить такую процедуру из-за наличия противопоказаний

Противопоказания к процедуре

Гигиеническую чистку зубов посредством Air Flow нельзя проводить в таких случаях, как:

  • Пациент страдает серьезными заболеваниями:

    • Сахарный диабет

    • Нарушение сердечного ритма

    • Гепатит

    • Бронхиальная астма и иные заболевания дыхательных путей

    • Аллергия на соду или компоненты полирующих смесей

    • Простуда, грипп и другие вирусные заболевания

    • Туберкулез

    • ВИЧ
  • Нарушения в строении или структуре тканей зубов

    • Нарушение прикуса

    • Повышенная чувствительность зубов

    • Зоны деминерализации
  • В теле пациента имеются имплантаты определенных типов:

    • Кардиостимулятор

    • Титановые имплантаты

Также процедуру не назначают в период беременности или кормления грудью.

Преимущества проведения процедуры в МЕДСИ

  • Клиники МЕДСИ используют для профессиональной чистки зубов инновационные методики и новейшее оборудование

  • Прием ведут врачи высоких квалификационных категорий, которые постоянно повышают свою квалификацию не только в российских медицинских учреждениях, но и в зарубежных

  • Клиники оснащены собственной анестезиологической службой, стационаром и лабораторией

  • Записаться на консультацию стоматолога в удобное для вас время можно по телефону 8 (495) 7-800-500

  • Клиники МЕДСИ расположены во всех районах Москвы в шаговой доступности от станций метро

medsi.ru

подробное описание методики, ее преимущества, этапы проведения

Все мы знаем, что для того, чтобы наши зубы были здоровыми и красивыми – им требуется регулярный уход.

Зубы нужно ежедневно чистить пастой, применять специальные ершики и зубные нити для удаления остатков пищи из межзубных промежутков, использовать ополаскиватели, укрепляющие десна и освещающие дыхание.

Однако даже этого комплекса мер недостаточно для качественного удаления, образующегося на зубных поверхностях налета. Поэтому стоматологи советуют всем своим пациентам время от времени проходить процедуру профессиональной чистки зубов. Она может проводиться разными методами, но самой современной технологией чистки является Air Flow.

Что это такое — чистка Air Flow, как она проводится, какие преимущества от нее может получить пациент? Получить ответы на все эти вопросы вам поможет подготовленный нами материал.

Бесплатная консультация по стоимости лечения в нашей стоматологии

Оставьте заявку и администратор клиники свяжется с вами в течении 15 минут!

Особенности и преимущества Air Flow

Технология Air Flow подразумевает использование особенного пескоструйного аппарата, который подает на поверхности зубов водно-воздушную смесь с мелкими абразивными частичками. Так как раствор подается под сильным напором, он быстро разрушает зубные отложения и шлифует зубную эмаль, возвращая ей привлекательный цвет и блеск. При этом аппарат Air Flow способен очищать не только зубные поверхности, но и труднодоступные места ротовой полости: межзубные промежутки, наддесневные и поддесневые карманы.

Технология чистки Air Flow гарантирует качественную обработку зуба со всех сторон, и такое высокое качество имеет принципиальное значение для пациентов, носящих брекеты, коронки, иные виды зубных протезов.


К преимуществам Air Flow можно отнести:

1. Безопасность процедуры. Чистка поверхностей зубов по методике Air Flow не разрушает целостность структуры зубной эмали, не вызывает появления на ней дефектов и трещин. После Air Flow нет необходимости в курсе реминерализации эмали;

2. В абразивном порошке, который подается вместе с раствором воды на зубы, отсутствуют едкие химические компоненты и вещества, способные спровоцировать аллергические реакции;

3. Регулярное проведение чистки Air Flow позволяет своевременно выявлять и лечить кариес и иные стоматологические заболевания. На зубных поверхностях, качественно очищенных от налета будут хорошо видны дефекты эмали и первичные признаки кариеса.

Технология Air Flow безопасна не только для зубов. Она не причинит вреда деснам и тканям пародонта.

Проведение чистки Air Flow не доставляет болезненных ощущений, и сама процедура проводится всего за 30-40 минут.

Есть ли у технологии минусы и противопоказания?

Как таковых, минусов у системы чистки зубов Air Flow нет. Но нужно учитывать, что эта процедура — это не отбеливание зубов. Конечно, после нее зубы станут светлее на 1-2 тона, но кардинального результата отбеливания Air Flow не даст.

Если вас интересует идеально белая улыбка, то сначала стоит провести Air Flow, а затем дополнительно отбелить зубы по технологиям Зум или Бейонд.

Перед тем, как обращаться в клинику за услугой профессиональной чистки зубов по системе Air Flow, стоит учесть, что данная метода имеет целый спектр противопоказаний. Отложить процедуру стоит в периоды беременности и лактации, она не проводится у детей и подростков, у пациентов с хроническими патологиями системы дыхания.

Если осмотр у стоматолога выявит кариес или плохое состояние зубной эмали, то перед проведением чистки Air Flow рекомендуется провести соответствующее терапевтическое лечение.

Бесплатная консультация по стоимости лечения в нашей стоматологии

Оставьте заявку и администратор клиники свяжется с вами в течении 15 минут!

Этапы проведения профессиональной чистки зубов по технологии Air Flow

Чистка зубов по технологии Air Flow проходит по нижеописанной схеме:

1. Вы приходите в клинику, в кабинет стоматолога, вас удобно усаживают в кресло и затем обрабатывают губы специальным кремом на основе вазелина. Эта обработка перед Air Flow нудна для того, чтобы защитить чувствительную кожу губ от пересыхания.

2. Далее в рот устанавливается слюноотсос — специальное устройство, отводящее из ротовой полости излишние слюну и влагу.

3. Перед началом работы с аппаратом Air Flow вам предложат надеть очки и шапочку — они защитят ваши глаза и предотвратят загрязнение волос пылью от абразивного порошка.

4. Обработка зубов будет происходить так: стоматолог будет наводить на каждый зуб наконечник аппарата Air Flow и совершать им круговые движения таким образом, чтобы качественно очистить зуб со всех сторон от налета и зубного камня.

От стоматолога в процессе работы с аппаратом Air Flow требуется максимальная внимательность, потому что струя водно-воздушного раствора не должна попасть на десны.

В процессе работы стоматолог может регулировать и настраивать мощность напора струи, создаваемой аппаратом Air Flow.

В процедуре чистки Air Flow могут применяться разные виды абразивов. Чаще всего это соль, сода, глицин. Для пациентов с повышенной чувствительностью зубов применяется смесь с лидокаином. Однако стоит знать — это вещество способно провоцировать аллергические реакции и потому важно их исключить еще на этапе подготовки к чистке зубов Air Flow.

Технология Air Flow – не только эффективна, но и не вызывает болезненных ощущений во время чистки. Поэтому перед процедурой нет необходимости в использовании анестезии. После того, как врач обработает каждый зуб аппаратом Air Flow — он покроет зубную эмаль специальным лаком, в котором в высокой концентрации содержатся фосфаты и фтор. Такая обработка укрепит эмаль и защитит ее от действия негативных внешних факторов и кариозных бактерий.

После чистки Air Flow рекомендуется в течение нескольких часов воздержаться от курения, употребления кофе, черного чая и других красящих продуктов и напитков.

Еще один момент, который будет полезно узнать. Air Flow – технология, которая безупречно справляется с мягким и твердым налетом, однако если осмотр выявляет наличие на зубах застарелого твердого камня или большое количество отложений в пародонтальных карманах, то рекомендуется сначала провести ультразвуковую чистку, а затем уже отполировать зубы аппаратом Air Flow.

Бесплатная консультация по стоимости лечения в нашей стоматологии

Оставьте заявку и администратор клиники свяжется с вами в течении 15 минут!

Как часто проводить чистку Air Flow и какого результата от нее можно ожидать?

Специалисты рекомендуют проводить гигиену ротовой полости не реже чем один раз в полгода. Если вы курите, часто и много пьете кофе – чистку можно проводить и чаще – раз в три месяца.

Какой эффект дает Air Flow? Во-первых, зубы белеют, с их поверхности качественно удаляется весь налет, поэтому во рту будет ощущение легкости и свежести. Эйр Флоу – процедура с направленным профилактическим эффектом. При регулярном проведении она существенно снижает риски кариеса и пародонтита, иных воспалительных процессов в ротовой полости. Узнать точную стоимость услуги и выяснить — возможно, ли проведение чистки Air Flow в вашем случае, вы можете, обратившись в нашу стоматологическую клинику в Москве — «Вэнстом». Для записи на консультацию к стоматологам нашей клиники вам достаточно набрать номер нашего телефона или оставить заявку на обратный звонок прямо на нашем сайте. Мы будем рады ответить на все ваши вопросы и предложить вам самые современные технологии для здоровья ваших зубов!

venstom.ru

Аир Флоу чистка зубов — что это такое, рекомендации после отбеливания

Зубной налет – это не только некрасиво с эстетической точки зрения, но еще и опасно, ведь из-за него может развиться кариес, а дальше – воспаление десен и другие неприятные заболевания. В наши дни избавиться от налета не составит труда, существует масса суперсовременных методик отбеливания зубов, среди которых выделяется техника Air Flow (Аир Флоу). Она относительно безопасная и обещает хороший результат в кратчайшие сроки.

Принцип работы и эффект после процедуры

Для очищения зубного ряда в аппарате Эир Флоу используется струя из воды, бикарбоната натрия и воздуха. Отсюда и название (air – воздух, flow – поток). Сода выступает здесь в роли абразива, кроме того, она обладает антимикробными свойствами. Чтобы процедура была еще приятнее, могут использоваться смеси с вкусовыми добавками.

Мощная, но контролируемая струя не только удаляет налет, мягкие отложения и полирует все поверхности, но также проникает в пародонтальные карманы на глубину до 5 мм, очищая их от бактерий и снижая в разы риск развития заболеваний десен.

Перед началом очищения пациенту надевают на глаза защитные очки, а губы покрывают увлажняющим кремом. Воду отсасывают слюноотсосом.

Улыбка становится ярче, однако, абразивная смесь не влияет на исходный цвет эмали, а лишь помогает вернуть былую белизну. Аир Флоу также может способствовать повторной минерализации поврежденных зубов, за счет чего они становятся крепче.

Преимущества технологии

Эир Флоу обладает рядом достоинств:

  • Высокая эффективность. Струя попадает в укромные уголки и микротрещины зубов, что дает действительно хороший результат, которого нельзя достичь в домашних условиях.
  • Безопасность. Смесь не содержит химикатов, а значит можно не бояться химически ожогов, повреждения эмали и раздражения десен.
  • Скорость. Процесс занимает всего 30 минут. Это в 3 раза быстрее, чем при других методах.
  • Отсутствие боли. Чистка зубов Эир Флоу – это 100% безболезненно. По обещанию производителей, пациент даже не испытает какой-либо дискомфорт. Анестезия не требуется.

Этот метод намного превосходит традиционные методы чистки, которые могут быть трудоемкими и неудобными.

Аир Флоу или ультразвуковая чистка зубов: в чем разница? Ультразвуковая методика предназначена для устранения зубного камня. Ее часто сочетают с Аир Флоу.

Показания и противопоказания

Процедура Аир Флоу показана:

  • При наличии темного налета. Часто с такой проблемой сталкиваются курильщики. Также такие продукты, как чай, кофе, красное вино могут с течением времени окрасить эмаль.
  • Для очищения зубных имплантатов (мосты, коронки, скобы и т.д.). В этих конструкциях собираются отложения, которые трудно убрать щеткой. В последствие возможно образование на этом месте зубного камня. Поэтому желательно периодически посещать стоматолога для проведения очистки.
  • Перед ортодонтическим лечением. Специалисты рекомендуют делать отбеливание перед стоматологическими операциями, требующими склеивания и использования герметиков. Air Flow идеально подходит для этой цели, поскольку он удаляет почти 100% бактерий и эндотоксинов.
  • При повышенной чувствительности. Профессиональная чистка зубов air flow идеально подходит людям с повышенной чувствительностью. Это связано не только с отсутствием прямого контакта и вибраций, а с регенерирующими свойствами порошка: его крошечные микрочастицы заполняют открытые канавки дентина, улучшая его свойства.
  • В качестве терапии периодонтита. Карманы десен очищаются от бактерий, и воспаление проходит.

Важно: Аир Флоу позволяет обнаружить кариес на самых ранних стадиях.

В некоторых случаях процедуру проводить нельзя. К таким относятся:

  • астма;
  • стоматит и другие воспалительные заболевания полости рта;
  • беременность;
  • инфекционные недуги.

В течение дня после чистки зубов Air Flow рекомендовано воздерживаться от приема пищи с красителями, а также от курения.

Отзывы врачей

Панин Евгений Николаевич, врач-стоматолог

«Air Flow – это популярная во всех клиниках процедура. Я рекомендую своим пациентам включить ее список средств по уходу за ротовой полостью. Во время процедуры с зубов снимается невидимая биопленка, которая в долгосрочной перспективе провоцирует возникновение кариеса. Также бикарбонат натрия положительно сказывается на состоянии десен. То есть, Air Flow используется в большей степени с лечебной целью, хотя внешний вид зубов однозначно становиться лучше. Если вы хотите иметь голливудскую улыбку, то можно сочетать чистку с химическим или ультразвуковым отбеливанием.»

Отзывы пациентов

Алина Литвиненко, Москва

«Сходить на очистку Аир Флоу я решилась, когда на моих зубах появился черный налет, который невозможно было отскрести щеткой. Стоматологию я выбрала хорошую, дорогую. Сразу скажу, что эффектом довольна: налета не осталось вообще. Но сама процедура была очень болезненная, хотя они и обещают отсутствие боли. Было такое ощущение, что песчинки мне расцарапали все десна. Во рту все жгло. Я посмотрела в зеркало и ужаснулась: ротовая полость была в крови. Это все неприятно, но не хуже, чем стоматологическое лечение. Поэтому, мое мнение – луче прийти на чистку, потерпеть, но остаться с красивой улыбкой.»

Ольга Павлова, Екатеринбург

«Я пошла на читку по примеру своей сестры. У нее после процедуры долгое время были чистые красивые зубы, что я и себе захотела такие. Чистка прошла у меня довольно спокойно. Я все ждала, что начнут делать что-то больно, но напор был едва ощутимым, и не вызывал дискомфорта. За 30 минут мне почистили все зубы. Результат хороший – налета нет. Но отбеливающего эффекта не ждите, Аир Флоу предназначен только для гигиенической очистки. Скажу еще вот что: ходила я после этого в другую клинику, и там меня здорово помучили. Струя по большей мере состояла из соды, так что было больно, мне поранили десна и небо. Вывод такой: процедура хорошая и стоящая, но проводить ее нужно у проверенных врачей.»

Юлия Ковтунова, Пермь

«У меня опыт чистки зубов довольно печальный. Хотя сама процедура прошла безболезненно, а ее результат сразу меня обрадовал, позже я была разочарована. Новый налет налипал с небывалой скоростью. Уже через пару недель мои зубы почти наполовину покрылись темными пятнами. Я думаю, что все-таки абразивный порошок повреждает эмаль, и в них потом накапливаются грязь и микробы. К сожалению, деньги были потрачены зря. Поэтому другим Аир Флоу не советую.»

Читайте также:

zuby-desny.ru

Airflow — инструмент, чтобы удобно и быстро разрабатывать и поддерживать batch-процессы обработки данных

Привет, Хабр! В этой статье я хочу рассказать об одном замечательном инструменте для разработки batch-процессов обработки данных, например, в инфраструктуре корпоративного DWH или вашего DataLake. Речь пойдет об Apache Airflow (далее Airflow). Он несправедливо обделен вниманием на Хабре, и в основной части я попытаюсь убедить вас в том, что как минимум на Airflow стоит смотреть при выборе планировщика для ваших ETL/ELT-процессов.

Ранее я писал серию статей на тему DWH, когда работал в Тинькофф Банке. Теперь я стал частью команды Mail.Ru Group и занимаюсь развитием платформы для анализа данных на игровом направлении. Собственно, по мере появления новостей и интересных решений мы с командой будем рассказывать тут о нашей платформе для аналитики данных.

Пролог

Итак, начнем. Что такое Airflow? Это библиотека (ну или набор библиотек) для разработки, планирования и мониторинга рабочих процессов. Основная особенность Airflow: для описания (разработки) процессов используется код на языке Python. Отсюда вытекает масса преимуществ для организации вашего проекта и разработки: по сути, ваш (например) ETL-проект — это просто Python-проект, и вы можете его организовывать как вам удобно, учитывая особенности инфраструктуры, размер команды и другие требования. Инструментально всё просто. Используйте, например, PyCharm + Git. Это прекрасно и очень удобно!

Теперь рассмотрим основные сущности Airflow. Поняв их суть и назначение, вы оптимально организуете архитектуру процессов. Пожалуй, основная сущность — это Directed Acyclic Graph (далее DAG).

DAG

DAG — это некоторое смысловое объединение ваших задач, которые вы хотите выполнить в строго определенной последовательности по определенному расписанию. Airflow представляет удобный web-интерфейс для работы с DAG’ами и другими сущностями:

DAG может выглядеть таким образом:

Разработчик, проектируя DAG, закладывает набор операторов, на которых будут построены задачи внутри DAG’а. Тут мы приходим еще к одной важной сущности: Airflow Operator.

Операторы

Оператор — это сущность, на основании которой создаются экземпляры заданий, где описывается, что будет происходить во время исполнения экземпляра задания. Релизы Airflow с GitHub уже содержат набор операторов, готовых к использованию. Примеры:

  • BashOperator — оператор для выполнения bash-команды.
  • PythonOperator — оператор для вызова Python-кода.
  • EmailOperator — оператор для отправки email’а.
  • HTTPOperator — оператор для работы с http-запросами.
  • SqlOperator — оператор для выполнения SQL-кода.
  • Sensor — оператор ожидания события (наступления нужного времени, появления требуемого файла, строки в базе БД, ответа из API — и т. д., и т. п.).

Есть более специфические операторы: DockerOperator, HiveOperator, S3FileTransferOperator, PrestoToMysqlOperator, SlackOperator.

Вы также можете разрабатывать операторы, ориентируясь на свои особенности, и использовать их в проекте. Например, мы создали MongoDBToHiveViaHdfsTransfer, оператор экспорта документов из MongoDB в Hive, и несколько операторов для работы с ClickHouse: CHLoadFromHiveOperator и CHTableLoaderOperator. По сути, как только в проекте возникает часто используемый код, построенный на базовых операторах, можно задуматься о том, чтобы собрать его в новый оператор. Это упростит дальнейшую разработку, и вы пополните свою библиотеку операторов в проекте.

Далее все эти экземпляры задачек нужно выполнять, и теперь речь пойдет о планировщике.

Планировщик

Планировщик задач в Airflow построен на Celery. Celery — это Python-библиотека, позволяющая организовать очередь плюс асинхронное и распределенное исполнение задач. Со стороны Airflow все задачи делятся на пулы. Пулы создаются вручную. Как правило, их цель — ограничить нагрузку на работу с источником или типизировать задачи внутри DWH. Пулами можно управлять через web-интерфейс:

Каждый пул имеет ограничение по количеству слотов. При создании DAG’а ему задается пул:

ALERT_MAILS =  Variable.get("gv_mail_admin_dwh")
DAG_NAME = 'dma_load'
OWNER = 'Vasya Pupkin'
DEPENDS_ON_PAST = True
EMAIL_ON_FAILURE = True
EMAIL_ON_RETRY = True
RETRIES = int(Variable.get('gv_dag_retries'))
POOL = 'dma_pool'
PRIORITY_WEIGHT = 10

start_dt = datetime.today() - timedelta(1)
start_dt = datetime(start_dt.year, start_dt.month, start_dt.day)

default_args = {
    'owner': OWNER,
    'depends_on_past': DEPENDS_ON_PAST,
    'start_date': start_dt,
    'email': ALERT_MAILS,
    'email_on_failure': EMAIL_ON_FAILURE,
    'email_on_retry': EMAIL_ON_RETRY,
    'retries': RETRIES,
    'pool': POOL,
    'priority_weight': PRIORITY_WEIGHT
}
dag = DAG(DAG_NAME, default_args=default_args)
dag.doc_md = __doc__

Пул, заданный на уровне DAG’а, можно переопределить на уровне задачи.

За планировку всех задач в Airflow отвечает отдельный процесс — Scheduler. Собственно, Scheduler занимается всей механикой постановки задачек на исполнение. Задача, прежде чем попасть на исполнение, проходит несколько этапов:

  1. В DAG’е выполнены предыдущие задачи, новую можно поставить в очередь.
  2. Очередь сортируется в зависимости от приоритета задач (приоритетами тоже можно управлять), и, если в пуле есть свободный слот, задачу можно взять в работу.
  3. Если есть свободный worker celery, задача направляется в него; начинается работа, которую вы запрограммировали в задачке, используя тот или иной оператор.

Достаточно просто.

Scheduler работает на множестве всех DAG’ов и всех задач внутри DAG’ов.

Чтобы Scheduler начал работу с DAG’ом, DAG’у нужно задать расписание:

dag = DAG(DAG_NAME, default_args=default_args, schedule_interval='@hourly')

Есть набор готовых preset’ов: @once, @hourly, @daily, @weekly, @monthly, @yearly.

Также можно использовать cron-выражения:

dag = DAG(DAG_NAME, default_args=default_args, schedule_interval='*/10 * * * *')

Execution Date

Чтобы разобраться в том, как работает Airflow, важно понимать, что такое Execution Date для DAG’а. В Airflow DAG имеет измерение Execution Date, т. е. в зависимости от расписания работы DAG’а создаются экземпляры задачек на каждую Execution Date. И за каждую Execution Date задачи можно выполнить повторно — или, например, DAG может работать одновременно в нескольких Execution Date. Это наглядно отображено здесь:

К сожалению (а может быть, и к счастью: зависит от ситуации), если правится реализация задачки в DAG’е, то выполнение в предыдущих Execution Date пойдет уже с учетом корректировок. Это хорошо, если нужно пересчитать данные в прошлых периодах новым алгоритмом, но плохо, потому что теряется воспроизводимость результата (конечно, никто не мешает вернуть из Git’а нужную версию исходника и разово посчитать то, что нужно, так, как нужно).

Генерация задач

Реализация DAG’а — код на Python, поэтому у нас есть очень удобный способ сократить объем кода при работе, например, с шардированными источниками. Пускай у вас в качестве источника три шарда MySQL, вам нужно слазить в каждый и забрать какие-то данные. Причем независимо и параллельно. Код на Python в DAG’е может выглядеть так:

connection_list = lv.get('connection_list')

export_profiles_sql = '''
SELECT
  id,
  user_id,
  nickname,
  gender,
  {{params.shard_id}} as shard_id
FROM profiles
'''

for conn_id in connection_list:
    export_profiles = SqlToHiveViaHdfsTransfer(
        task_id='export_profiles_from_' + conn_id,
        sql=export_profiles_sql,
        hive_table='stg.profiles',
        overwrite=False,
        tmpdir='/data/tmp',
        conn_id=conn_id,
        params={'shard_id': conn_id[-1:], },
        compress=None,
        dag=dag
    )
    export_profiles.set_upstream(exec_truncate_stg)
    export_profiles.set_downstream(load_profiles)

DAG получается таким:

При этом можно добавить или убрать шард, просто скорректировав настройку и обновив DAG. Удобно!

Можно использовать и более сложную генерацию кода, например работать с источниками в виде БД или описывать табличную структуру, алгоритм работы с таблицей и с учетом особенностей инфраструктуры DWH генерировать процесс загрузки N таблиц к вам в хранилище. Или же, например, работу с API, которое не поддерживает работу с параметром в виде списка, вы можете сгенерировать по этому списку N задач в DAG’е, ограничить параллельность запросов в API пулом и выгрести из API необходимые данные. Гибко!

Репозиторий

В Airflow есть свой бекенд-репозиторий, БД (может быть MySQL или Postgres, у нас Postgres), в которой хранятся состояния задач, DAG’ов, настройки соединений, глобальные переменные и т. д., и т. п. Здесь хотелось бы сказать, что репозиторий в Airflow очень простой (около 20 таблиц) и удобный, если вы хотите построить какой-либо свой процесс над ним. Вспоминается 100500 таблиц в репозитории Informatica, которые нужно было долго вкуривать, прежде чем понять, как построить запрос.

Мониторинг

Учитывая простоту репозитория, вы можете сами построить удобный для вас процесс мониторинга задачек. Мы используем блокнот в Zeppelin, где смотрим состояние задач:

Это может быть и web-интерфейс самого Airflow:

Код Airflow открыт, поэтому мы у себя добавили алертинг в Telegram. Каждый работающий инстанс задачи, если происходит ошибка, спамит в группу в Telegram, где состоит вся команда разработки и поддержки.

Получаем через Telegram оперативное реагирование (если такое требуется), через Zeppelin — общую картину по задачам в Airflow.

Итого

Airflow в первую очередь open source, и не нужно ждать от него чудес. Будьте готовы потратить время и силы на то, чтобы выстроить работающее решение. Цель из разряда достижимых, поверьте, оно того стоит. Скорость разработки, гибкость, простота добавления новых процессов — вам понравится. Конечно, нужно уделять много внимания организации проекта, стабильности работы самого Airflow: чудес не бывает.

Сейчас у нас Airflow ежедневно отрабатывает около 6,5 тысячи задач. По характеру они достаточно разные. Есть задачи загрузки данных в основное DWH из множества разных и очень специфических источников, есть задачи расчета витрин внутри основного DWH, есть задачи публикации данных в быстрое DWH, есть много-много разных задач — и Airflow все их пережевывает день за днем. Если же говорить цифрами, то это 2,3 тысячи ELT задач различной сложности внутри DWH (Hadoop), около 2,5 сотен баз данных источников, это команда из 4-ёх ETL разработчиков, которые делятся на ETL процессинг данных в DWH и на ELT процессинг данных внутри DWH и конечно ещё одного админа, который занимается инфраструктурой сервиса.

Планы на будущее

Количество процессов неизбежно растет, и основное, чем мы будем заниматься в части инфраструктуры Airflow, — это масштабирование. Мы хотим построить кластер Airflow, выделить пару ног для worker’ов Celery и сделать дублирующую себя голову с процессами планировки заданий и репозиторием.

Эпилог

Это, конечно, далеко не всё, что хотелось бы рассказать об Airflow, но основные моменты я постарался осветить. Аппетит приходит во время еды, попробуйте — и вам понравится 🙂

habr.com