Asgard: gerenciamento e implementação disponíveis na nuvem

Publicado em 25/06/2012 às 17:17 | 16935 leituras

Equipe de desenvolvedores da Netflix lançam ferramenta em código aberto para usar na nuvem da Amazon.


Versão para impressão Enviar por email


Nos últimos anos vários desenvolvedores Netflix têm utilizado ferramentas self-service para criar e implementar centenas de aplicativos e serviços para a nuvem da Amazon. Uma dessas ferramentas é o Asgard, uma interface web para implementações de aplicativos e gerenciamento de nuvem.O nome Asgard vem do Deus nórdico do trovão e do relâmpago, um trocadilho de onde os desenvolvedores Netflix precisam chegar para controlar as nuvens. O Asgard acaba de ser lançado em código aberto no Github e está disponível para download e uso por qualquer pessoa. Tudo o que o interessado precisa para usuá-lo é de uma conta na Amazon Web Services. Assim como outros projetos de código aberto da Netflix, o Asgard é liberado sob a Licença Apache, versão 2.0. Note que Asgard foi originalmente chamado de Application Console Netflix, ou NAC.


Linguagem visual para a nuvem


Para ajudar as pessoas a identificar diversos tipos de entidades na nuvem, o Asgard usa o conjunto de ícones de código aberto Tango, com algumas adições. Estes ícones ajudam a estabelecer uma linguagem visual para auxiliar as pessoas a entender o que estão olhando enquanto navegam. Ícones Tango parecem familiar porque eles também são usados ​​por Jenkins, Ubuntu, Mediawiki, Filezilla e Gimp. Abaixo uma amostra de ícones Asgard na nuvem:


Modelo de nuvem


O modelo de nuvem da Netflix inclui conceitos que a Amazon Web Services (AWS) não suporta diretamente: Aplicativos e Clusters.

Aplicativos

Observe abaixo um diagrama de alguns dos objetos da Amazon necessários para executar um aplicativo front-end único, como o serviço de preenchimento automático da Netflix:



Segue um rápido resumo das relações entre esses objetos no ambiente de nuvem:

- Um Grupo de Dimensionamento Automático (ASG) pode anexar zero ou mais Balanceadores de Carga Elástica (ELBs) para novas instâncias;
- Um ELB pode enviar tráfego de usuários para instâncias;
- Um ASG pode iniciar e encerrar instâncias;
- Para cada lançamento de instância, um ASG usa uma configuração de lançamento;
- A configuração de lançamento especifica quais Amazon Machine Image (AMI) e quais grupos de segurança serão usados ao iniciar uma instância;
- O AMI contém todos os bits que entrarão em cada instância, incluindo o sistema operacional, infraestrutura comum, como o Apache e o Tomcat, e uma versão específica de um aplicativo específico;
- Grupos de segurança podem restringir as fontes de tráfego e as portas para as instâncias.

Trata-se de diversos recursos para manter o controle de para um aplicativo. Quando há um grande número desses objetos de nuvem em uma arquitetura orientada a serviços (como a Netflix tem), é importante para um usuário ser capaz de encontrar todos os objetos relevantes para seu aplicativo em particular. O Asgard usa um registro de aplicativo em SimpleDB e convenções de nomenclatura para associar múltiplos objetos de nuvem com um único aplicativo. Cada aplicativo tem um dono e um endereço de e-mail para estabelecer quem é o responsável pela existência e estado de objetos do aplicativo associados em ambiente de nuvem.O Asgard limita o conjunto de caracteres permitidos no nome do aplicativo para que os nomes dos outros objetos da nuvem possam ser analisados ​​para determinar sua associação com um aplicativo.

Abaixo uma imagem do Asgard mostrando um subconjunto filtrado dos aplicativos em execução em uma conta de produção na nuvem da Amazon na região US-East-1:



Captura de tela com detalhes para um único aplicativo, com links para os objetos nuvem relacionados:



Cluster

No topo do Auto Scaling Group (ASG) construído e suportado pela Amazon, o Asgard infere um objeto chamado de cluster que contém um ou mais ASGs. Os ASGs são associados pela convenção de nomenclatura. Quando um ASG é criado dentro de um cluster, um número de versão incrementada é anexado ao "nome de base" do cluster para formar o nome do novo ASG. O cluster oferece aos usuários Asgard a capacidade de executar uma implementação que pode ser revertida rapidamente. Exemplo: durante a implementação, o cluster obiwan contém o ASGs obiwan-v063 e o obiwan-v064. Abaixo uma imagem de um cluster em meio à implementação:



O ASG antigo é "disabled", o que significa que não está tendo tráfego, mas continua disponível em caso de algum problema com o ASG novo. O tráfego vem de ELBs e/ou do Discovery, um serviço interno da Netflix que ainda não é open source.


Métodos de implementação




Rollback rápido

Uma das principais características do Asgard é a capacidade de usar a tela de cluster mostrada acima para implementar uma nova versão de um aplicativo de forma que possa ser revertido ao primeiro sinal de problemas. Este método requer mais instâncias para estar em uso durante a implementação, mas pode reduzir a duração das interrupções de serviço causadas por implementações ruins. O diagrama animado abaixo mostra um processo simplificado de usar a interface de cluster para tentar uma implementação e revertê-lo rapidamente quando há um problema:



A animação ilustra o seguinte caso de uso para implementação:

1. Cria o novo ASG obiwan-v064
2. Habilita o tráfego para obiwan-v064
3. Desativa o tráfego em obiwan-v063
4. Monitora os resultados e percebe que as coisas estão indo mal
5. Reativa o tráfego em obiwan-v063
6. Desativa o tráfego em obiwan-v064
7. Analisa os logs em servidores ruins para diagnosticar problemas
8. Deleta o obiwan-v064

Impulso evolutivo

O Asgard também fornece um sistema de distribuição alternativo chamado de impulso evolutivo. Isso é semelhante a uma implementação convencional de centro de dados de um cluster em servidores de aplicativos. Apenas um ASG é necessário. Ocorrências antigas são graciosamente eliminadas e substituídas por novas instâncias de uma a duas de cada vez até que todas as instâncias da ASG sejam substituídas. Os impulsos evolutivos são úteis:

1. Se as instâncias de um ASG são fragmentadas, de modo que cada instância tem um propósito distinto, que não deve ser repetido por outra instância;
2. Se os mecanismos de agrupamento do aplicativo (como Cassandra) não podem suportar aumentos repentinos na contagem de instâncias para o cluster.

Desvantagens dos impulsos evolutivos:

1. Substituir as instâncias em pequenos lotes pode levar muito tempo;
2. Inverter uma implementação ruim pode levar um longo tempo.

Automação de tarefas

Várias tarefas comuns são construídas no Asgard para automatizar o processo de implementação. Abaixo uma animação que mostra uma visão em tempo comprimido de um impulso evolutivo automático de 14 minutos em ação:



Escala automática

A Netflix volta-se para o ASG como a unidade primária de implementação, assim como o Asgard também fornece uma variedade de controles gráficos para modificar um ASG e criar métricas direcionadas para escala automática quando desejado.


E por que não o AWS Management Console?


O AWS Management Console tem seus usos para alguém com a senha da conta da Amazon em mãos e que precisa configurar algo que o Asgard não fornece. No entanto, para as operações de grande escala de todos os dias, o AWS Management Console ainda não atende às necessidades do modelo de uso na nuvem da Netflix, razão pela qual foi construído o Asgard. Aqui estão algumas das razões para isso:

Ocultar chaves da Amazon

A Netflix concede a seus funcionários uma série de liberdades e responsabilidades, incluindo direitos e deveres de reforço e reparação de sistemas de produção. A maioria desses sistemas são executados na nuvem da Amazon. Embora a equipe da Netflix queira permitir que centenas de engenheiros gerenciem seus próprios aplicativos em nuvem, foi decidido não fornecer todas as chaves secretas para acessar as contas da empresa diretamente na Amazon. Fornecer um console interno, contudo, permite conceder aos usuários do Asgard o acesso ao às contas na Amazon sem contar a muitos funcionários as senhas das nuvens compartilhadas. Essa estratégia também salva à equipe da Netflix a necessidade de atribuir e revogar centenas de identidades e acessos de gerenciamento de contas (IAM) de nuvem para os funcionários.

Auto Scaling Groups (ASG)

A AWS Management Console não tem suporte para Auto Scaling Groups (ASG). A Netflix depende dos ASGs como unidade básica de implementação e gerenciamento para instâncias de aplicativos. Um dos objetivos de tornar aberto o código do Asgard é ajudar outros clientes da Amazon a fazerem o melhor uso dos sofisticados recursos de auto scaling da Amazon. Os ASGs compõem grande parte da fórmula da Netflix para ofertar confiabilidade, redundância, redução de custos, clustering, descoberta, facilidade de implementação, e a capacidade de reverter uma má implementação rapidamente.

Aplicar convenções

Como qualquer coleção de coisas que os usuários têm permissão para criar e fazer crescer, a nuvem pode facilmente tornar-se um lugar confuso e bagunçado. Parte da arquitetura de nuvem da Netflix é a usada para serviços registrados associados a objetos da nuvem por convenção de nomenclatura. O Asgard aplica essas convenções de nomenclatura, a fim de manter a nuvem organizada e tornar possível auditar e limpar regularmente, na medida em que as coisas vão se tornando obsoletas, confusas ou esquecidas.

Registro de log

Até o presente momento, o console da AWS não expõe um registro de log das ações recentes do usuário em uma conta. Isso torna difícil determinar quem chamar quando um problema começa, bem como determinar que mudanças recentes podem estar relacionadas ao problema. A falta de registro também evita o início de quaisquer subsistemas sensíveis que requeiram auditabilidade legal.

Integrar sistemas

Ter um console próprio concede o poder para que a Netflix decida quando querer adicionar pontos de integração com seus sistemas de engenharia, tais como o Jenkins e o serviço interno Discovery.

Automatizar fluxo de trabalho

Várias etapas entram em um processo de implementação segura e inteligente. Ao conhecer casos de uso previamente, o Asgard pode executar todas as medidas necessárias para uma implementação com base em uma submissão de formulário.

Simplifique a REST API

Para operações mais comuns que outros sistemas precisem realizar, a Netflix pode expor e publicar sua REST API própria e fazer exatamente o que deseja, porém de forma a esconder algumas das etapas complexas para o usuário.


Conclusão


O Asgard tem sido uma das principais ferramentas para a implementação de aplicativos e gerenciamento de nuvem da Netflix durante anos. Ao lança-lo para a comunidade open source, é esperado que mais pessoas descubram as facilidades de se trabalhar com a nuvem da Amazon e com o Auto Scaling, mesmo em larga escala como a Netflix. Mais recursos do Asgard serão lançados regularmente, e usuários no GitHub são encorajados a participar também do projeto propondo sugestões e melhorias.


Fonte: The Netflix Tech Blog

Comentários


Outras notícias

Livro sobre Métodos Ágeis disponibilizado livremente

Publicado em: 14/02/2019 às 15:20 | leituras |

"Scrum - Projetos Ágeis e Pessoas Felizes", de autoria de Cesar Brod, disponibilizado de forma livre (Creative Commons) para download e consulta.

Papo de SysAdmin vai lançar Club DevOps

Publicado em: 19/01/2019 às 17:53 | leituras |

Plataforma deverá ser ambiente para reciclagem e capacitação em tecnologias DevOps.

Assespro-PR é o mais novo parceiro de canal do LPI no Brasil

Publicado em: 18/12/2018 às 11:10 | leituras |

A Assespro-PR — Associação das Empresas Brasileiras de Tecnologia da Informação —, e o Linux Professional Institute – LPI, firmaram uma parceria que deverá beneficiar as empresas associadas à Assespro-PR, bem como contribuir para a profissionalização do mercado de Software Livre e de Código Aberto no Paraná.

Linux Developer Conference Brazil: faltam poucos dias!

Publicado em: 14/08/2018 às 11:57 | leituras |

Evento será realizado nas dependências da UNICAMP, em Campinas, nos dias 25 e 26 de agosto.

Leitor da Linux Magazine paga meia para entrar no FISL18

Publicado em: 06/07/2018 às 21:05 | leituras |

Parceria entre a ASL.org e a Linux Magazine disponibiliza código promocional que fornece 50% de desconto na inscrição para o FISL18.

DevOpsDays chega a Maringá pela primeira vez

Publicado em: 20/03/2018 às 18:25 | leituras |

O DevOpsDays terá sua sétima edição no Brasil sendo sediada na cidade de Maringá, no Paraná, dias 23 e 24 de março, no Sebrae. O evento acontece em mais de 40 países e nele foi criado o termo "DevOps" (em 2009, na cidade de Gante - Bélgica).

SENAI/Fatesg promove segundo Meeting Hacker Senai

Publicado em: 18/02/2018 às 12:47 | leituras |

No dia 24/02/2018 a partir das 8:00h, o SENAI/Fatesg realizará o segundo Meeting Hacker Senai, com a participação do LPI, da Infomach e da Barketilly.

Certificações LPI: o caminho para turbinar a sua carreira

Publicado em: 13/10/2017 às 15:50 | leituras |

O Linux Professional Institute (LPI) oferecerá provas de certificação na Latinoware, em Foz do Iguaçu, em outubro, na Poticon, em Natal e no FGSL em novembro. Fique antenado! Este artigo elenca as últimas novidades sobre o LPI.

Blog do maddog: Ambientes de nuvem privada virtual

Publicado em: 06/10/2017 às 14:09 | leituras |

O Subutai é uma solução de nuvem de código aberto, ponto a ponto (P2P), segura e estável, que cria ambientes de nuvem privada virtual (VPC) para usuários finais usando um modelo de nuvem de contêineres como serviço (CaaS). O usuário final pode instalar qualquer tipo de serviço, aplicativo ou software de infraestrutura que desejar nas máquinas em execução nessa nuvem.

Ambientes de nuvem privada virtual

Publicado em: 06/10/2017 às 13:23 | leituras |

O Subutai é uma solução de nuvem de código aberto, ponto a ponto (P2P), segura e estável, que cria ambientes de nuvem privada virtual (VPC) para usuários finais usando um modelo de nuvem de contêineres como serviço (CaaS). O usuário final pode instalar qualquer tipo de serviço, aplicativo ou software de infraestrutura que desejar nas máquinas em execução nessa nuvem.

4Linux abre vagas para Líder Técnico em São Paulo e Brasília

Publicado em: 25/07/2017 às 14:12 | leituras |

A 4Linux — uma empresa líder em soluções Open Source e em práticas DevOps — está procurando profissionais para trabalhar como gerente técnico, que tenha bons conhecimentos em Linux e Softwares Livres. São duas vagas: uma para trabalhar em Brasília e outra para São Paulo.

Seminário sobre gestão de privilégios do Linux dá direito a certificado CPE

Publicado em: 23/05/2017 às 10:35 | leituras |

O evento irá abordar a forte disseminação de sistemas Linux em toda a estrutura de informação e mostrará a importância de técnicos da área serem capazes de identificar rotas, especificar controles de acesso para usuários Linux e monitorar a atividade privilegiada do usuário ao longo da rede de informação e, especialmente, na complexidade da nuvem. Participantes poderão requerer gratuitamente os créditos de CPE (Continuing Professional Education).

Novas vagas para os minicursos do WikiLab

Publicado em: 16/05/2017 às 11:59 | leituras |

Novas vagas abertas para os minicursos do WikiLab. Todos que já apoiaram ou apoiarem o projeto WikiLab no Catarse (com qualquer valor) podem participar.

Novo evento "Universidade Livre" será realizado em Belém/PA em 06/05/2017

Publicado em: 28/04/2017 às 11:19 | leituras |

Novo evento sobre Software Livre será realizado no Instituto de Estudos Superiores da Amazônia (IESAM).

Soluti Certificação Digital em busca de especialista Linux

Publicado em: 19/04/2017 às 17:18 | leituras |

A Soluti Certificação Digital está em busca de um profissional para atuar como especialista Linux em Goiânia.

Vaga para analista de TI com experiência em ECM/GED, BPM e BI

Publicado em: 16/12/2016 às 11:12 | leituras |

Renomada empresa de serviços de consultoria em TI, está em busca de um analista de TI para trabalhar em projetos de implementação de soluções ECM/GED, BPM e BI usando os sistemas Alfresco, Activiti, Bonita, Camunda e SpagoBI.

Nova versão do Scalix Groupware oferece suporte completo a IBM Power & IBM Mainframes

Publicado em: 14/12/2016 às 12:59 | leituras |

A nova versão dá liberdade de escolha às empresas para usar as tecnologias mais modernas oferecidas pelo mercado como base para sua solução de e-mail e colaboração

Software Livre e de Código Aberto: uma questão de economia, não de política

Publicado em: 12/11/2016 às 12:36 | leituras |

Os argumentos apresentados neste artigo são todos aspectos econômicos, e não aspectos políticos. Decisões baseadas em política (e não em economia) devem ser lembradas pelos eleitores nas próximas eleições.

Lançamento: E-book E-mail e Colaboração no Século XXI (grátis)

Publicado em: 29/09/2016 às 9:15 | leituras |

A Linux Magazine, em parceria com a Scalix Brasil e a Linux Solutions, acaba de lançar o novo ebook da série "Technology Report": E-mail e Colaboração no Século XXI. Baixe gratuitamente!

Oportunidade na 4Linux - Vaga para Brasília

Publicado em: 25/08/2016 às 9:58 | leituras |

A 4Linux, empresa de consultoria e treinamento especializada em tecnologia Open Source, está em busca de um profissional com o perfil de analista de infraestrutura Linux pleno, para atuar em Brasília.

Lançamento: E-book 101 dicas para usar o Linux como um Profissional (grátis)

Publicado em: 01/08/2016 às 8:19 | leituras |

Baixe gratuitamente o e-book "101 dicas para usar o Linux como um Profissional", contendo os principais conselhos para não se apertar no seu trabalho ao usar e configurar o sistema do pinguim.

Sicoob adota soluções de código aberto e triplica rede de associados

Publicado em: 19/07/2016 às 12:22 | leituras |

A partir do projeto, a empresa pôde substituir mais de 500 servidores físicos de pequeno porte, consolidando todas as transações em três mainframes e 15 máquinas Intel de alto desempenho (high end).

BrodTec é a nova revenda Scalix na Região Sul

Publicado em: 30/03/2016 às 11:20 | leituras |

No mês de março, a Scalix firmou parceria com a BrodTec para que a empresa seja o seu represente oficial no Rio Grande do Sul e em Santa Catarina.

Linux Professional Institute anuncia seu novo Diretor de Desenvolvimento Regional para o Brasil

Publicado em: 21/03/2016 às 18:51 | leituras |

Há muito tempo incentivando softwares livres e de código aberto, Cesar Brod é, agora, o responsável do instituto para ampliar a formação e certificação em Linux no Brasil.

ASL.Org lança campanha de doação para realizar o FISL17

Publicado em: 05/02/2016 às 21:20 | leituras |

A Associação Software Livre (ASL.Org) iniciou nesta quinta-feira (4) uma campanha de arrecadação de fundos para a continuidade de seus trabalhos, entre eles a organização da 17ª edição do Fórum Internacional Software Livre (FISL17), que acontece de 13 a 16 de julho em Porto Alegre.


Mais notícias


lançamento!

LM 119 | Backup e Restauração




Impressa esgotada
Comprar Digital  R$ 10,90 Digital

  1. Soluti Certificação Digital em busca de especialista Linux

    Publicado em 19/04/2017 às 17:18 | 591873 leituras

  1. Seminário sobre gestão de privilégios do Linux dá direito a certificado CPE

    Publicado em 23/05/2017 às 10:35 | 509370 leituras

  1. Baixe o curso de shell script do Julio Cezar Neves

    Publicado em 07/04/2008 às 19:41 | 484546 leituras

  1. 4Linux abre vagas para Líder Técnico em São Paulo e Brasília

    Publicado em 25/07/2017 às 14:12 | 354221 leituras

  1. Novo evento "Universidade Livre" será realizado em Belém/PA em 06/05/2017

    Publicado em 28/04/2017 às 11:19 | 301324 leituras

  1. Novos cursos de graduação de TI no Senac

    Publicado em 21/10/2011 às 9:32 | 13972 leituras

  1. O novo Fedora 16 "Verne"

    Publicado em 09/11/2011 às 16:13 | 14251 leituras

  1. Estudo comprova crescimento exponencial do Código Aberto

    Publicado em 15/04/2008 às 17:10 | 10925 leituras

  1. Xandros adquire Scalix

    Publicado em 04/10/2007 às 17:03 | 11759 leituras

  1. Samsung Galaxy SIII destrona iPhone em vendas mundiais

    Publicado em 09/11/2012 às 12:34 | 15405 leituras

whitepapers

mais whitepapers