BI/Big Data

Temos um conjunto de modelos de BigData & Analytics capaz de manipular alto volume de dados agregados e não agregados.

Classes de Modelos

Dentre os modelos analíticos desenvolvidos ao longo dos anos - incluindo tanto modelos desagregados (p.ex.: SKU/Dia/Loja) como agregados (p.ex.: SKU/Mes/região de vendas), destacamos:

• Previsão de demanda , inclusive envolvendo elasticidades diretas e cruzadas de preços, e elasticidade renda;
• Modelagem de variáveis climáticas como preditoras de demanda;
• Modelos de resposta promocional;
• Modelos de resposta de campanhas de mídia;
• Modelos de propensão à compra e de sugestão de compra;
• Modelos de Churn;
• Market Basket Analysis – tickets identificados (clientes fidelizados) ou não;
• Análises de clusterização e segmentação de lojas, canais e mercados.

Altos volumes de dados

Frequentemente os volumes de dados envolvidos atingem escala comparável a Big Data, como é o caso de análises de tickets de redes de super e hiper mercados, com centenas de milhões de linhas de dados, cada uma possivelmente com diversas variáveis causais e além da variável de resposta.

Incorporação de informações obtidas de fontes de dados semi- e não estruturados

Em situações nas quais o cliente disponha de dados como troca de mensagens em redes sociais, textos de blogs, emails e semelhantes, podemos incorporar aos modelos estatísticos , como variáveis causais, as características fundamentais (features) extraídas destas fontes através de técnicas analíticas apropriadas de análise de textos, de imagens, de identificação de influenciadores, de pertencimento a grupos e tribos, etc.

Parceria ECR

Em longa parceria com a ECR Brasil desenvolvemos extensa modelagem com dados de varejos e fabricantes. Os resultados destes projetos foram apresentados em Congressos da ECR Brasil.

Em particular a parceria resultou na publicação do Livro 2 da série Gerencianento por Categorias – Promoções Eficientes, contendo detalhada descrição das análises efetuadas - dos resultados obtidos e da metodologia empregada -, utilizando tanto dados de fabricantes como de varejistas, incluindo:

• Previsão de Demanda;
• Modelagem Promocional;
• Modelos de elasticidade de preço;
• Market Basket Analysis, ou seja, análises com tickets – tanto com bases identificadas (clientes fidelizados) como não identificadas.

O livro poder ser obtido junto a ECR Brasil.

Nossas soluções

Oferecemos para nossos clientes soluções específicas para as necessidades de cada caso, ao invés de soluções padronizadas.

Podemos desenvolver e entregar soluções pontuais, isto é, que envolvem apenas análises realizadas uma única vez (Projetos de Consultoria), ou análises que serão periodicamente atualizadas (BI Saas). Em qualquer caso, podemos facilitar a integração dos resultados aos sistemas gerenciais do cliente.

Para modelos de previsão de demanda, elasticidade, impacto climático, resposta promocional e resposta de campanhas de mídia os resultados apresentados frequentemente incluem o desenvolvimento de Simuladores e Otimizadores.

Caso o projeto envolva soluções Big Data, tipo Hadoop ou semelhante, podemos operar em conjunto com a equipe de infraestutura (Hadoop), cabendo à Hyper a responsabilidade das atividades de Analytics.

Utilizamos tecnologias state-of-the-art, tais como Bayesian Modeling, MCMC, Dynamic Models (transfer functions, Support Vector Machines Regression), SVM Clasification e outros.

Fazemos uso intensivo da linguagem aberta R e de inúmeros packages desenvolvidos por data scientists que lideram a fronteira do conhecimento em suas áreas.

Adicionalmente utilizamos bibliotecas especializadas em Big Data Analysis em linguagens como Pyton (NumPy, SciPy, Pandas), FORTRAN (LAPACK, MINPACK, SLATEC). Quando necessário desenvolvemos ou modificamos progamas especializados em Pyton, R, C, C++, C#, Java ou FORTRAN Os Simuladores e Otimizadores que desenvolvemos podem fazer uso destas bibliotecas especializadas (open software).

Nosso front end proprietário usa a plataforma Maestro.

Maestro é uma ferramenta da Hyper para desenvolvimento rápido de aplicações robustas de apoio à decisão como front-end de Data Warehouses e Data Marts, Business Intelligence Systems e EISs.

O Maestro tem mecanismos fáceis, amigáveis, flexíveis e bastante rápidos, permitindo a executivos e analistas navegarem nos dados interativamente, visualizando-os em várias dimensões, de forma gráfica ou como planilhas. Usar o Maestro é mais fácil do que usar o Excel ou o Word for Windows.

A tecnologia Maestro é a mais avançada do mercado e o processo interativo de consultas, transformações nos dados e de visualização, é intuitivo e simples. Adicionalmente, o Maestro é certamente compatível com o ambiente de sistemas de sua empresa.

Módulos

• Manutenção de Metadados: para definição dos elementos básicos dos modelos, como dimensões, hierarquias, variáveis, fórmulas, critérios para agregação dimensional e para comparações, etc. Existe um dicionário central onde ficam todas as regras comuns para todos os Data Marts que compõem o Data Warehouse, e um dicionário local para cada Data Mart. A manutenção pode ser feita interativamente ou em batch.
• Editor de Menus e Sinalizadores: para definição de telas de navegação (Menus) compostos de hot-spots ou links parametrizáveis para outras telas, visões ou outras aplicações, e para composição de Sinalizadores. Sinalizadores são telas com facilidades adicionais para mostrar dados e sinalizar comparações através de bandeiras e outros objetos coloridos, e dotadas de mecanismos para seleção dimensional de dados - combo-boxes e radio-buttons. Estas telas podem usar imagens gráficas como mapas, desenho de produtos e ícones.
• Visualizador Multidimensional: ferramenta OLAP poderosa e intuitiva, com todas as facilidades de dice & slicing, diversos modos de drill-down, drill-up, drill-across, drill-through, etc. Dados são mostrados em janelas sincronizadas, em planilhas e/ou gráficos de vários tipos 2D e 3D. As planilhas podem usar fórmulas e formatação Excel. Pode ser usado em modo ad-hoc ou para mostrar visões pré-definidas.
• Agregador Multidimensional: para alimentação das bases de dados e agregação multidimensional prévia dos dados. Integrado aos dicionários de dados, utiliza algorítimos muito eficientes. Para bases de dados cliente-servidor faz uso dos utilitários rápidos de carga em batch oferecidos por estes softwares.
• Sisus: módulo de controle de acesso pelos usuários aos dados e às funções. Utiliza sofisticados mecanismos para mapear os direitos dos usuários de acessar os dados através da estrutura multidimensional e hierárquica dos dados.

A integração de dados de venda com soluções de geomarketing abre uma nova gama de possibilidades de análise.

Olhar os indicadores de mercado associados à posição geoespacial dos clientes permite analisar falhas de distribuição ou execução no mercado sob uma nova ótica e direcionar as ações para uma região específica.

Os profissionais de vendas e execução de mercado têm acesso rápido e dinâmico aos dados de sua área de atuação diretamente nos seus celulares e podem mais rapidamente disparar as ações corretivas.

Temos mecanismos que percorrem todas as redes sociais (Facebook, Twitter, etc.) e capturam informações de forma sistematizada sobre uma determinada marca, produto, serviço, etc.

Essa informação, devidamente estruturada, auxilia os profissionais da área de marketing, comunicação e relacionamento com clientes na tomada de decisão tática e/ou estratégica a respeito da percepção dos clientes e consumidores sobre seus produtos e serviços.

Para Twitter e Facebook:

• Ouvir a Rede
• Captura sistematiza das mensagens através da aplicação de filtros
• Identificação dos “Alpha”

Temos expertise para integrar fontes de dados às bases de vendas e dados internos dos clientes:

• AcNielsen®
• Shopping Brasil ®
• BIS®
• Indicator®

As análises de churn são especialmente relevantes no mercado de Telecom, bem como prospecção de novos clientes.

Nossos modelos de propensão e geração de mailing objetivam a redução de tentativas de contato (Custo), a otimização das vendas (Receita) e a satisfação do cliente (Qualidade).

• Compatibilização dos dados do SAC com a Pesquisa de Satisfação;
• Publicação periódica da Pesquisa de Satisfação (Portal);
• Disponibilização das principais análises por área/segmento.

No mercado de Seguros, é importante acompanhar e medir o risco de cada cliente sob diversas óticas.

Além da recomendação da infra-estrutura de TI para o projeto, modelagem e construção do DW e DataMart, reunir as interfaces que permitam a integração com os painéis de gestão do Marketing e Produtos Financeiros é de essencial importância para o uso direto pelas áreas de negócio para a condução das ações.

A Hyper desenvolveu o MediaMax, um Otimizador de Mídia para o mercado Spot de TV, que combina dados de audiência minuto a minuto por classe etária e de renda, com dados detalhados de custo de inserção, de forma a obter uma programação de melhor custo benefício.

Um área onde a Hyper detem grande expertise é mídia digital: somos especializados em integrar a inserção de banners e estímulos semelhantes aos sistemas de mensuração de audiência, como DoubleClick e OAS. Nesta área, além de atender clientes de grande porte (Sistema Globo de Radio), a Hyper é sócia e reponsável pelo desenvolvimento de TI e integração com sistemas de medição de audiência do CalculoExato, site com cerca de 8 milhões de page views por mês.

A tecnologia estatística utilizada pela Hyper é bastante flexível, permitindo considerar fatores bastante detalhados, caso estejam disponíveis.

Em termos específicos são empregados dois tipos gerais de ferramentas:

• Modelos causais abertos, nos quais a estrutura do modelo é definida pelo modelista. A maioria dos modelos utilizados no passado pertence a esta classe. São implementados através dos chamados modelos de função de transferência, originalmente criados por Box e Jenkins, e desde então substancialmente desenvolvidos.
• Modelos causais “caixa-preta”, que se tornaram populares mais recentemente. Exemplos destes incluem redes neurais e SVM - Support Vector Machines.

Com qualquer deles é possível considerar dados de intensidade de diversos meios – TV, radio, revista, Internet, etc -, com o grau de detalhe disponível, como, por exemplo, abertos por faixa etária, escolaridade ou renda. Ambos podem considerar indicadores de mídia de massa e direta. Evidentemente para cada tipo de mídia as métricas de intensidade variam: GRP/TRP ou as medidas correspondentes em outros meios: impressões, exposições, clicks, etc.

Preferencialmente os modelos devem tratar com dados semanais, embora dados mensais possam ser considerados em algumas situações.

Estrutura básica de um projeto

Um projeto de modelagem de retorno de mídia deve ser iniciado com uma fase de entendimento da situação atual. Isto envolve conhecer as práticas utilizadas em mídia, tipos de campanha, estratégia de scheduling, etc. E envolve uma avaliação criteriosa dos dados disponíveis, tanto em termos de fatores quanto de reposta.

O foco desta fase deve ser a qualidade dos dados disponíveis, de como estão armazenados, e do grau de detalhamento. Uma definição clara dos objetivos e requisitos da modelagem posterior também são elementos importantíssimos gerados nessa fase.

Ao final desta fase de entendimento da situação, podem surgir dois cenários base:

• Os dados necessários estão disponíveis com a qualidade e a abrangência requeridas, sendo possível passar para uma fase de modelagem inicial;

ou

• Os dados necessários não estão disponíveis, e será necessário executar uma fase preparatória de obtenção e de acúmulo de dados, antes de se iniciar a modelagem.

A modelagem propriamente dita ocorrerá em fases, inicialmente com objetivos mais limitados, até atingir um patamar no qual os modelos serão bastante abrangentes e desenvolvidos.

Periodicamente os modelos são atualizados, para medir o desempenho de novas campanhas, e reavaliar as antigas. Com isto são gerados os elementos necessários para o planejamento, além de permitir o tracking das ações em andamento, medindo apropriadamente seu impacto e retorno.