Workshop avaliaçÃo de impacto de políticas públicas 06 Avaliação de impacto na área de desenvolvimento Caio Piza (bird) Antonio Cargnin



Baixar 49,78 Kb.
Encontro22.08.2018
Tamanho49,78 Kb.
SECRETARIA DE PLANEJAMENTO, GOVERNANÇA E GESTÃO

WORKSHOP

AVALIAÇÃO DE IMPACTO DE POLÍTICAS PÚBLICAS

06 - Avaliação de impacto na área de desenvolvimento - Caio Piza (BIRD)

Antonio Cargnin – Boa tarde a todos. Vamos retomar então nosso seminário. Lembrando a todos que a gente está transmitindo também pela internet pra todos os públicos interessados. Agora a gente vai dar continuidade ao trabalho bom que a gente fez na manhã com uma mesa tratando de “avaliação de impacto na área de desenvolvimento”. Antes de a gente montar propriamente dito a mesa, acho que vamos chamando palestrante a palestrante, depois a gente chama todo mundo, no final, e faz o debate. Então nós começamos agora de novo com o Caio Piza, que vai fazer a sua primeira exposição. Fique a vontade Caio. Acho que agora o microfone está ok.

Caio Piza – Obrigado Antonio. Pessoal, boa tarde. Eu sei que é duro depois do almoço. Se puder deixar a luz acesa. Eu prefiro sacrificar a luminosidade aqui a colocar todo mundo pra dormir. Então vamos lá. Quem já tomou café? Todo mundo tomou café? Sim?

Pessoal, vou falar um pouco aqui da agenda nossa de trabalho na área de desenvolvimento do setor privado. Dá pra ouvir bem ai? Sim? Não necessariamente de uma avaliação de impacto mas do que nós estamos fazendo nessa área de avaliação de impacto. Nós, Banco. E aí eu termino pontuando os trabalhos que estão em andamento no Brasil. Por enquanto a gente não tem evidência, em breve teremos alguma evidência, mas só pra vocês terem uma noção das questões que a gente tá perguntando, como era nossa agenda no passado, como ela é hoje, um pouco desse histórico e o que importa pra nós, Banco, hoje nessa área de desenvolvimento do setor privado.

Então eu vou começar com os objetivos comuns na área de desenvolvimento do setor privado, e aqui, no caso, estou incluindo inclusão financeira também. É melhorar funcionamento dos mercados, por exemplo, reforma regulatória, quer que os mercados funcionem melhor, quer integrar os pequenos na economia, ou quer integrar os pequenos negócios na cadeia de valor, etc. Você pode querer aumentar acesso de pequenos negócios a empresas de porte um pouco maior, pra que eles passem a ser fornecedores. Você pode, por exemplo, imaginar integrar alguns pequenos negócios em plataformas eletrônicas para que eles ganhem escala ou ganhem um mercado consumidor muito mais amplo, ou possam ter capacidade de exportação, etc. O outro objetivo clássico é, obviamente, a criação de emprego, muitas intervenções nessa área pretendem, ou intencionam gerar emprego no final. Ajudar pequenos negócios a crescerem, então isso aqui é bem comum, é um dos objetivos listados com frequência nessa agenda. Incluir pequenos produtores na cadeia global e aumentar a produtividade.

Então, são alguns pontos que, independentemente de onde você trabalha. A agência com quem você trabalha, pelo menos um desses aqui vão estar lá listados. Então isso aqui é padrão.

A nossa população alvo, nessa apresentação aqui. São empresas de pequeno e médio porte, eu vou deixar de lado por enquanto micro negócio, o conta própria. Tem muita evidência já pra micro empresário, pra conta própria. Já tem evidência experimental, muita coisa feita, inclusive pelo Banco. O que não tem muita evidência, ou grupo de empresas para o qual não tem muita evidência é esse aí, de médio porte, de pequeno porte. Empresas com 5 empregados, 10 empregados, 20 empregados, mais do que isso, não tem muita evidência. Pra países de renda média ou baixa. Pra países de renda alta já tem mais evidência.

Como o Rafael disse, avaliação de impacto tem que lidar com problema de validade interna, ou seja, você quer dizer que o efeito que você tá estimando lá é o efeito causal da sua intervenção, é o efeito que você identifica no final, que você mede, é o efeito causal exclusivo da intervenção. Mas você também gostaria, em alguns casos, de generalizar aquele resultado. “Olha, o que serviu aqui pra esse grupo de empresas vai servir para um grupo maior se a gente quiser expandir isso.” Nem sempre dá pra fazer isso. A evidência que existe para países desenvolvidos não dá, simplesmente, pra gente adotar pra países em desenvolvimento. O contexto é diferente, a qualidade de implementação dos programas é diferente, etc. Então, tem evidência, mas, infelizmente, não dá pra gente dizer simplesmente que a mesma coisa funcionaria em contextos diferentes.

A gente sabe que a maior parte das firmas em países em desenvolvimento são micro e pequenas. Essas empresas geram grande parte do emprego na economia. Então, por exemplo, se as pequenas empresas geram muitos empregos na economia eu tenho que fazer um esforço grande pra que elas permaneçam na economia. Se não eu vou destruir emprego. Se elas morrem eu destruo emprego. Então essa é a política, politica de pequenos negócios. “Olha, como pequeno negócio emprega e eu tenho que manter o emprego, eu tenho que apoiar o pequeno negócio. Essa é a ideia básica de quem trabalha com isso. Pode discutir se faz sentido pensar dessa forma ou não, mas é um argumento bastante comum.

Só pra vocês terem uma noção de número, o Xavier falou que só no Brasil é 4,5% do PIB alocado para programas de apoio ao setor privado. Só o Banco Mundial, entre 2006 e 2012, alocou praticamente 10 bi. Mais o IFC, que é o braço de setor privado do Banco, mais 25. Então são quase 35 bi de dólares, é muito dinheiro, em programas de apoio a pequenos negócios, nesse período. Se vocês olharem a agenda da Europa, olha o valor, 450 bi de Euros, dos estados membros, para programas de pequenos e médios negócios, pro período de 2014 a 2020. Uma fábula de dinheiro. Aí a pergunta obvia né: O quê que a gente sabe do impacto desses programas que eles apoiam? Será que eles realmente funcionam? Será que essa politicas são boas politicas? Geram os resultados que os formuladores das politicas esperavam, ou o que eles esperam? A gente fez uma revisão sistemática da literatura focando em países de renda média e baixa, então a gente pegou 40 estudos publicados entre 2000 e 2014 que utilizaram ou método experimental ou quase experimental, pra acessar ou medir impacto de um programa específico de apoio a pequeno negócio.

De novo, o público alvo são empresas de pequeno e médio porte, micro estão fora. O que a gente descobriu? Bom, disseminei isso no Banco teve bastante barulho, etc. O que a gente descobriu? Agente gastou 3 anos pra fazer isso, dá muito trabalho. Você me perguntou se demora? Demora. Não precisa ser 3 anos, isso vai demorar 1 ano e meio, praticando “full time” pra isso, 1 ano... Como a gente estava, todo mundo trabalhando, etc. a gente levou 3. E a conclusão depois de 3 anos foi: “Puxa, a gente descobriu que não sabe quase nada.” Não tem evidência e , além disso, as pessoas que vieram pra minha apresentação no Banco, os formuladores, ou quem tá na frente desses projetos, conduzindo, queriam saber: “Ok, o que eu tenho que desenhar, qual operação eu devo fazer, etc. se eu quiser trabalhar com pequeno negócio? Saíram de lá tristes porque a resposta foi: “Infelizmente a gente sabe muito pouco sobre o que de fato funciona, então vocês podem fazer o que vocês quiserem, desde que avaliem.”

As principais conclusões, obviamente que têm outras, eu estou resumindo um estudo bastante longo. A gente sabe muito pouco sobre impacto de diferentes intervenções, então, na média, o programa de apoio para pequenos negócios funciona. Na média eles funcionam, agora, se eu começo a dissociar intervenção baseada em crédito, crédito subsidiado, ou treinamento para trabalhador, ou salário subsidiado, não se se já ouviram falar, um programa tipo uma aprendizagem, coloca um funcionário lá e o estado paga metade do salário dele por um tempo. Então, esses programas têm efeito? Olha, pra cada um, individualmente, eu não consigo dizer porque eu tenho dois estudos só que olharam o efeito de uma intervenção específica... três... três estudos não me permitem dizer se uma intervenção funciona ou não. Eu vou ter que ter 10, 20 estudos examinando impacto de uma determinada intervenção para eu concluir , no final, se aquela intervenção é boa ou ruim.

Então, a evidência, além de tudo, não é de boa qualidade. Tem muito estudo que utilizou ferramental de avaliação de impacto mas não da melhor maneira possível. Então, quando você faz uma análise da qualidade do resultado ou quão confiável é aquele resultado que está sendo reportado alí, você descobre que não dá pra abraçar cegamente aquele número que está ali.

Conclusão: Precisamos fazer mais e fazer melhor. Utilizar melhores dados, pensar melhor no problema, eventualmente, fazer coleta de dados para responder perguntas que os dados administrativos, infelizmente, não vão poder nos dar. Enfim, fazer algo que contribua para o nosso aprendizado. Identificação de mecanismos através dos quais uma determinada intervenção afeta os resultados de interesse.

Aí, uma vez que você aprende, “Ah, o programa funciona assim pra esse grupo, etc.”, aí eu consigo, eventualmente, replicar essa experiência em outros lugares.

Uma coisa que a gente sabe, por exemplo, na literatura, é que as empresas, independentemente do tamanho, isso foi uma surpresa pra nós, elas são relutantes em adotar tecnologia que tem impacto privado. Ou seja, teria impacto positivo sobre o lucro delas. Puxa vida, se você... gestão é um caso clássico. Os estudos experimentais mostram que empresas que adotam melhores praticas de gestão têm um crescimento, uma lucratividade em 15 a 20%. Uau. Aí você faz um diagnóstico com pequenos negócios, médios negócios, grandes negócios e descobre o seguinte. Entre as empresas de diferentes portes tem um número grande que não adota boas praticas de negócios. O que que pode estar acontecendo aí? Aí a gente começa a identificar os gargalos. Pode ser falta de informação, pode ser falta de competitividade, pode ser falta de crédito, a empresa tem restrição a crédito, e aquele programa de melhora das práticas de gestão é muito caro, etc. Então a gente tem que identificar porque elas não adotam. Não é tão simples.

Os exemplos são os mais variados e a questão é: o quê que a gente faz? Na prática a estratégia mais padrão, não necessariamente a melhor, é focar no que a gente chama de “lado da oferta”, são fatores de produção, insumos. Ah, a empresa não vai bem então ela precisa de mais capital, crédito subsidiado. Bom, o Xavier já deu a entender que essa não é, necessariamente, a melhor política. A avaliação do cartão BNDES mostra também que a ideia não é muito boa. Acho que se você apagar quem vai dormir sou eu, vocês não sei...

Uma outra política bem comum é a de treinamento de funcionários. Então o sujeito se forma, se gradua, tem um diploma universitário, quando ele chega na empresa eles falam: “Puxa, você não tem as qualificações que eu esperaria. Então tenho que treinar você.” Só que, quando a empresa treina o funcionário, ela não consegue, necessariamente, garantir que os benefícios daquele treinamento vão ser totalmente internalizados por ela, ou apropriados por ela. Porque o funcionário pode mudar de empresa. Então ela arca com um custo mas não, necessariamente, arca com todo o benefício.

Isso faz com que as empresas acabem sub investindo em funcionários. É um caso clássico de externalidade positiva. Os economistas chamam de externalidade positiva. O nome é horrível. A intuição é simples. Se a empresa não puder extrair todo o benefício de um investimento ela não vai investir a quantidade ótima para a sociedade. Essa é a ideia.

Então a questão aqui pra nós é... Bom, esses programas focados no lado da oferta não são os melhores em termos de geração de resultados. A gente tem algumas avaliações de impacto, olhando basicamente para essas intervenções, não são as melhores. O que que a gente pode fazer pra melhorar isso?

Então eu quero saber como eu desenho operações ou programas baseados em evidências de alta qualidade. Bom, eu já sei o que que não funciona, vou evitar aquilo. Então por favor, mesmo que não façam avaliação de impacto, tentem levantar o que já existe de evidências sobre a sua política ou algo parecido com a sua política. Pra vocês não incorrerem no mesmo erro. Pelo menos reduzam a margem de erro. Já é um ganho. No modelo do Banco, o que que a gente faz? Aqui eu respondo uma das perguntas que foram feitas de manhã.

A gente tem um trabalho bem próximo e bastante colaborativo, com o lado operacional do Banco e com os formuladores de política. O modelo é baseado numa abordagem que a gente chama de interativa, de repetição. Então a gente tem muita conversa antes de partir pra ação. Muita conversa pra compreensão da intervenção, dos passos, do “timing”, do cronograma, das atividades, das restrições, do orçamento. E uma vez que isso é compreendido, nem sempre a gente compreende tudo o que a gente gostaria, a gente traça o nosso plano de ação. Desenha a avaliação de impacto, como vai implementar, quais são os protocolos que vão ser utilizados pra verificação, por exemplo, de qualidade dos dados coletados ou pra qualidade da implementação sendo feita na prática.

E a gente utiliza evidência pra informar a operação. A operação nos dá possibilidade de gerar mais evidência, uma vez que a gente trabalha próximo a eles. Então, a gente dá evidência, fala: “Olha, você vai começar um projeto. A gente não tem uma avaliação nessa área. Tem algo parecido, vai dar alguma informação pra você, infelizmente não vai dar a informação que você queria. Isso abre possibilidade de a gente fazer uma avaliação, a gente avalia. Então assim, pesquisa alimenta operação, operação alimenta pesquisa. E esse é o modelinho que a gente tem no Banco hoje, pelo menos nessa área do setor privado.

Obviamente, isso não começou da noite pro dia, a gente tem uma parceria muito grande. O Banco está dividido em áreas, uma das áreas é essa do setor privado, então a nossa parceria Daime, setor privado é muito forte, é muito bem sucedida. O Daime, que é a nossa unidade do Banco tem parcerias com o lado do banco, operacional, em agricultura, em transportem, etc. A melhor parceria em termos de resultados gerados até o momento, do lado nosso, da nossa unidade de trabalho, não necessariamente o Banco, no sentido mais amplo, é com o setor privado.

A gente começou com eles por exemplo, um Workshop parecido com esse mas com uma semana de duração, internacional, a gente trouxe times de vários países, pessoas trabalhando em diferentes projetos, etc. Mas focados basicamente em políticas de apoio a pequenos negócios, basicamente por meio de crédito subsidiado. Então é uma pratica comum, o Banco faz muito isso, ate hoje. E a gente aprendeu, por exemplo, que as firmas não demandam crédito subsidiado. Então, você oferece e ela não aplica pra obter aquele credito subsidiado. Você fala, puxa vida, é quase dinheiro gratuito, é uma doação, não é nem um empréstimo. Mesmo assim as empresas não adotam, não aplicam pra esse recurso. Essa foi uma grande surpresa pra nós. E a gente pelo menos aprendeu porque elas não fazem isso.

Depois de sete tentativas mal sucedidas de avaliação de impacto experimental, de programas de crédito subsidiado, desse tipo que eu acabei de apresentar pra vocês, a gente descobriu que o que o Banco considerava dinheiro gratuito, na verdade não era gratuito. Porque só a papelada que as empresas tinham que preencher era custosa suficiente para inibir que várias delas fizessem isso. Puxa, mas a papelada é o que? É a elaboração de uma proposta de negócio. Não sabem fazer. Porque não tem objetivo claro odo que quer fazer, ou posterga, fala: “vou fazer em algum momento”, não faz, aí estoura o prazo, e por aí vai...

Então a gente descobriu que fazer, elaborar bem uma proposta, é um grande impedimento e dificulta muito uma adesão alta a esse tipo de intervenção. As firmas também não, não necessariamente, sabem que elas não sabem. Elas não sabem, por exemplo, de antemão, o que ela tem que colocar numa proposta, num plano de negócio. Não sabem, Puxa nunca pensei, qual o objetivo do meu programa mesmo, quais são as metas, como chego lá? Isso não está escrito em lugar nenhum. Ninguém nunca pensou nisso, não tem isso produzido dentro da secretaria, ou da instituição. Então é difícil.

Os mercados, por exemplo, os mercados locais podem ser subdesenvolvidos, por exemplo, você quer contratar um consultor pra te ajudar a elaborar uma proposta. Ah, minha equipe não é capacitada pra isso, mas eu posso contratar um consultor. Às vezes esse consultor não tá disponível no mercado, também não sabe fazer. Então isso nos ajudou muito a entender quais são os gargalos, o Banco faz isso há 30, 40 anos e a gente conseguiu avaliar isso nos últimos anos só. Quais são os gargalos que impediam uma alta adesão a esse tipo de intervenção que o banco executava.

Então teve muito aprendizado, e hoje o Baco já está desenhando de forma diferente. Houve uma internalização desse conhecimento. Em 2011 teve um evento também de uma semana, internacional, no Rio de Janeiro. Aí focou em educação financeira, e focou de novo no lado da oferta das empresas. Então é treinamento pra funcionário e crédito subsidiado, básico. Também aprendemos varias coisas, uma delas é que educação financeira, até então, a literatura mostrava que programa de educação financeira não funcionava. E a gente conseguiu mostrar que, se forem bem desenhado, forem bem intensivos e dependendo da agência que implementa, podem ser muito efetivos, muito efetivos. Então não dá pra excluir e dizer que qualquer programa não funciona. Aqueles testados não funcionaram mas se você desenhar um pouco diferente a intervenção ela pode funcionar.

Treinamentos para funcionários, isso é extremamente difícil de ser feito, em alguns casos os autores, a equipe de trabalho, encontram efeitos, mas, no geral, esses programas de treinamento não dão efeito. E quando dão efeito é de curto prazo. Então o sujeito, ele recebe treinamento, a produtividade dele no trabalho aumenta um pouquinho mas depois volta par o nível que era antes. Aí pode ser uma questão organizacional, ele pode não ter incentivo pra continuar produtivo porque não tem nenhum reconhecimento por aquilo. Então é meio racional a resposta dele.

Aí teve um outro evento, pra vocês terem uma ideia: como era a agência do Banco? O Banco organizava esse evento e focava num tema específico. Então o primeiro foi o lado da oferta das empresas. Depois ampliou para incluir educação financeira, aí teve um outro evento que olhou ambiente de negócio, que é uma agenda cara para o Banco.

Então, as empresas não crescem porque o ambiente de negócios não é favorável, etc. já devem ter ouvido falar nisso. O fatoo é que varias políticas foram implementadas para aumentar a formalização de pequenos negócios ou de, obviamente, negócios informais. Ah, envia consultor lá pra ajudar com a papelada pra formalização, reduz custo de formalização, simplifica imposto, etc. impacto em formalização, zero. Puxa vida, nem se reduzir custo de formalização aumenta a formalização? Com exceção de pouquíssimos casos, não.

Aí o Banco falou, puxa, e agora? A gente já tentou A, B e C, as evidências são assim, pouco... não são muito encorajadoras, o que a gente faz? O Banco fazia eventos como esse quase que anualmente, decidiu dar um intervalo de 3 anos e olhar o que foi produzido de conhecimento nesse período. Ok, a gente tá com essa agenda desde 2009, o que que a gente enxergou de conhecimento? A gente aprendeu que crédito subsidiado, se quiser que funcione, tem que ser desenhado dessa forma. Treinamento não adianta insistir, se for dessa forma tradicional tem que mudar. Por aí vai.

Aí em 2015 começou uma agenda diferente. A gente falou: “Puxa, será que a gente tá focalizando bem as nossas intervenções? Será que o público alvo desses programas, de fato, é o melhor público, é o público adequado? A gente começou a questionar esses pontos, que precedem a implementação do programa. Então são perguntas óbvias.

Aqui eu vou retomar uma preocupação do Xavier. Se a gente foca, por exemplo... Vamos supor que você tenha esse gráfico a sua disposição. Então você tem, por exemplo aqui, empresas como essa firma A, que tem uma trajetória de crescimento, aqui é o faturamento dela, vendas, aqui é o tempo, então você olha o faturamento crescendo no tempo, e ela já tem o nível maior que a outra, aqui no ponto de partida ela já está acima da laranja. Você diz, ah puxa, esse cara aqui é o cara que eu devo apoiar... Talvez não né? Ele já está crescendo bastante, já é o cara mais rico de saída, talvez não. Mas a gente tende a olhar pra esse cara e falar, puxa, esse cara é o campeão nacional. Já ouviram falar de política do campeão nacional? Já? De “picking the winners”, de pegar os melhores.

Aí você fala assim, vou focar nesse cara aqui porque a chance dele se beneficiar da minha intervenção deve ser bem alta. Uma outra abordagem bastante comum também é a seguinte: Vou dar ao que mais precisa. Então em vez de ajudar o cara que tem o nível maior, eu vou ajudar o cara que tem o nível menor, independentemente da trajetória. Eu não observo a trajetória, observo o nível, o nível inicial, mais pobre, menos pobre, vou focar nesse aqui meu programa, essa é uma outra política, uma política mais de proteção social, vamos dizer assim.

Suponha que você faça intervenção com os dois grupos, só pra saber qual que responde melhor à sua intervenção, e você descubra que é o seguinte. Se eu tivesse tido o programa com a firma A e comparar com o cenário contrafactual, em que ela não tivesse tido acesso ao programa, sem o programa seria essa linha pontilhada aqui. Com o programa seria a linha sólida. Ah, teve um efeito, mas é pequeninha a distância. O programa contribuiu para deslocar só um pouquinho a reta, certo?

Se eu tivesse trabalhado com o cara diferente, no nível menor, o que teria acontecido com ele sem o programa? Teria ficado estacionado. Com o programa o crescimento foi enorme. Então, só conseguiu esse crescimento aqui por causa do programa. Então, se eu conseguir estratificar a minha amostra e testar a minha intervenção com diferentes sub grupos, eu vou conseguir responder pra qual grupo minha intervenção funciona melhor. E aí, antes de expandir, eu encontro o grupo para o qual ela é mais eficiente e expando só para esse grupo, obviamente. Certo?

Então, ao invés de focar nível e focar trajetória, eu vou focar impacto previsto da minha intervenção, pra qual grupo o impacto vai ser maior. É difícil fazer, então você faz piloto e testa pra diferentes sub grupos, idealmente, nem sempre dá pra fazer isso. Com dados administrativos dá pra brincar bastante. Então, aqui vocês tem acesso à RAIS que é o censo do setor privado, dá pra quebrar a amostra em vários pedaços e brincar com isso.

Qual o problema com as abordagens tradicionais? Questão do diagnóstico, identificar quais são de fato. A gente precisa melhorar isso, a gente tem que identificar quais são as restrições que a gente precisa relaxar com as intervenções. Precisa atacar aquelas restrições.

Como que eu maximizo meu impacto e como eu aumento a adesão ao meu programa? Eu preciso melhorar isso. Eu não sei de antemão. Se me perguntar hoje, eu não sei., a gente vai ter que testar várias ideias.

E eu tenho também que aprender através de quais mecanismos eu afeto os indicadores finais de resultados. Se eu preciso aumentar, por exemplo, na área de educação. Medida de qualidade de educação é teste padronizado, como os alunos se saem em exames padronizados de matemática, português, etc.

Então você fala, bom, vou fazer uma intervenção, quero melhorar a gestão da escola. Eu vou melhorar a gestão da escola, então um programa pra diretor, por exemplo. O Leandro vai saber falar bastante disso, se vocês quiserem saber mais. Eu quero saber se um programa de gestão voltado em treinamento pra diretor vai afetar o aprendizado do aluno, e o aprendizado eu vou medir por meio de exames padronizados de matemática e português.

Aí a pergunta 1, porque você acha que um treinamento para diretor vai afetar o aprendizado do aluno em matemática e português? Ah, porque se o diretor for melhor gestor ele vai ter uma interlocução maior com os professores, os professores vão se engajar mais, vão faltar menos, faltando menos os alunos vão ficar mais motivados...

Puxa, olha o tanto de coisas que tem que acontecer no caminho pra você conseguir afetar aquela variável final lá que você quer, que é melhorar a nota dele em matemática e português. Tem um caminho grande a ser percorrido pra chegar lá. Você tem que mapear isso. Quais são essa etapas? Idealmente medir. Ah, o diretor foi treinado? Foi. Teve mais engajamento com o professor? Teve, eu consigo medir, ele se reuniu tantas vezes mais por mês, tal e tal... Os professores estão montando aula de forma diferente? Você conversou com eles? Aí a questão qualitativa pode importar. Vai e conversa com eles pra saber o que está acontecendo. Ah sim, mudou. Eles estão faltando menos? Tem dados administrativos, você pode olhar a falta dos professores pra saber o que está acontecendo. E por aí vai.

Então dá pra mapear alguns indicadores. Se a resposta for SIM pra tudo é muito provável que os indicadores finais mudem. Caso contrário vai ser difícil estabelecer esse link. Sair da intervenção até o resultado final tem muita coisa pra acontecer. Então é importante vocês terem conhecimento de quais são os elos causais e medir isso.

O que que a gente está fazendo hoje no Banco. A gente tá olhando basicamente três áreas. A gente tá querendo entender basicamente, como aumentar acesso a mercado para os pequenos negócios. É algo não fácil de fazer. Todo mundo tem interesse mas ninguém sabe muito bem como fazer. Então eu quero aumentar acesso a mercado e promover profusão de conhecimento. O que o pessoal chama de difusão de tecnologia de conhecimento. Eu quero difundir. Aumentar a possibilidade de difundir conhecimento e tecnologia. Externalidade de rede. Como é que eu faço isso? Não é fácil. Mas é uma agenda nossa e a gente tá testando alguns experimentos nessa área.

Eu quero aumentar a focalização e gostaria de identificar a priori as empresas que são mais prováveis de se beneficiarem da minha intervenção. Então, não sei se vocês já ouviram falar de Big Data? Tá na moda hoje em dia, o pessoal fala, usar bases de dados administrativas, grandes bases de dados combinando diferentes fontes, etc. então tem alguns estatísticos utilizando Big Data pra previsão. Então, o nome é feio, “machine learning”, mas a ideia básica é a seguinte, usar Big Data pra prever, pra fazer análise de previsão, e, a partir daí, estabelecer, com dados administrativos, sub grupos que podem se beneficiar mais da minha intervenção. Então eu não rodo experimentos, eu uso dados administrativos, Big Data, pra fazer isso. Então David Machenzie do Banco acabou de soltar um artigo usando “machine lerning”, não sei se estão cientes disso.

E obviamente que a terceira agenda é melhorar o ambiente de negócio, ou o ambiente regulatório. Obviamente que experimentar aqui é muito mais difícil porque quando você muda a regra, muda pra todo mundo. Mas tem formas não experimentais de mensuração de impacto, isso vocês vão ver amanhã.

Eu trouxe alguns casos recentes de avaliação, bons exemplos de avaliação de impacto, que foram feitos por exemplo, aqui rápido, e aí eu já encerro minha fala.

Tem um caso extremamente bem sucedido na Nigéria, de firmas que receberam recurso, um aporte financeiro, mas como que elas foram selecionadas? Elas participaram de uma competição. Então elas submeteram uma proposta, mostrando ali, explicitando o que elas queriam fazer caso recebessem o dinheiro, e alguns especialistas deram nota pra essas propostas. Então tem melhores propostas porque são mais promissoras de darem retorno, etc. Praticamente aquele programa da TV dos tubarões, eu não sei se tem aqui na TV brasileira, tem 3 caras sentados assim, você vai lá na frente deles e fala, gostaria de ter um recurso pra financiar essa minha ideia, aí você expõe a sua ideia e o cara fala, vou financiar, não vou financiar... Não sei se já viram esse programa.

A ideia é muito parecida só que eles não deram dinheiro diretamente. Eles disseram: você tem uma proposta promissora, você tem uma proposta menos promissora, e por aí vai. Eles identificaram aproximadamente 750 propostas promissoras de 2500 que tentaram. Dentre essas 750 eles sortearam, porque não tinha dinheiro pra todo mundo, sortearam 500 pra receberem o dinheiro. Só tinha dinheiro pra 500. Todas elas são promissoras, sorteio. E aí o que que eles descobriram? Eles descobriram que esses caras que colocam dinheiro em empresa. Que colocariam. Eles deram a nota, não colocaram diretamente do bolso, mas eles colocariam se tivessem dinheiro, eles conseguem prever, por exemplo, quem vai abrir um negócio, quem vai permanecer no mercado, então, a taxa de sobrevivência, eles tem algum sucesso com isso. Mas eles não têm nenhum sucesso para prever, por exemplo, impacto e emprego, A empresa até pode sobreviver, mas não necessariamente cresce. Então eles tiveram muito sucesso em prever quem sobrevive, não em prever que cresce. Então você fala, puxa, se esse cara coloca dinheiro do bolso em um projeto que ele acredita que possa crescer e não consegue prever quem vai crescer. Esse cara é especialista, ele está no mercado há anos, o cara é um capitalista padrão, esse cara não consegue ter sucesso na sua previsão, imagina a gente. Por isso que é importante experimentar, testar, testar, testar essa ideia.



O outro caso clássico que despertou meu interesse por essa literatura de gestão, e é o que a gente está tentando fazer no Sebrae Rio, Sebrae Paraná, quem sabe um dia no Sebrae nacional também. Tem um experimento feito na Índia com empresas de grande porte, que mostram, ou que mostra, o impacto extremamente auto na produtividade total dos fatores, ou seja, mais que lucro. Então a empresa é muito mais eficiente se ela adotar a gestão, boas práticas de gestão. Ela se torna muito mais eficiente e cresce mais, etc. E o impacto é considerável, o custo da intervenção é caro, mas o retorno é muito maior. E a pergunta é: “Puxa, mesmo uma empresa grande na Índia não adotava, você teve que subsidiar 100% do treinamento para ela querer fazer isso, por que será?” Aí os potenciais mecanismos que eles exploram no artigo, falta de informação, então, a empresa não sabe que gestão de fato é importante para a performance dela. O nível de competição, ou seja, ela se depara com baixo nível de competição, auto nível de competição e isso pode explicar a adoção de práticas de gestão. Propriedade da empresa, se for empresa familiar ou não familiar. Então, obviamente, o capital humano ou nível de conhecimento do gestor. Eles não testaram isso explicitamente, mas eles meio que colocaram na rua os potenciais mecanismos. E hoje o que os economistas estão fazendo, tanto quem trabalha no banco quanto fora, nessa área, é testar esses mecanismos. Então a gente vai ver se a informação de fato é importante. Falta de informação. Se a gente der informação será que muda. É o que a gente está fazendo no Paraná e tá fazendo no Rio. Se a gente explorar a questão da competição será que esse é um canal. A gente está fazendo isso no Rio agora usando dados já referenciados e a nossa observação preliminar é que empresas que se deparam com mais competição aparentemente tem maior probabilidade de adotar a prática de gestão, então está na direção correta. A empresa familiar tende a ser menos eficiente, e por ai vai. Tem um outro estudo feito pelo México que encontrou resultados parecidos, eu vou pular isso, mas enfim, basicamente tem um efeito gigantesco em emprego, o nível de emprego sai aqui de 6 à 8 e passa para casa do 16. O grupo de tratamento aqui antes era 8 em 2006, com treinamento e programa de consultoria passa para 16. Ampliou 50% no emprego. Tem outros programas que eu não vou, se não vai ficar muito maçante, mas eu tenho maior disponibilidade e interesse em falar com vocês a respeito.

O fato é o seguinte, para encerrar. O que funciona? O que não funciona? A gente já sabe bastante o que não funciona, está aumentando nosso conhecimento, ou estoque de conhecimento do que funciona, mas a gente está longe de ter um conhecimento suficiente para chegar aqui e falar assim: “Você tem que fazer isso, tem que fazer isso, tem que fazer aquilo”. O escopo para experimentação ainda é enorme e vocês tem que abraçar isso, não como uma agenda de pesquisa diletante, para você chegar em casa, agora eu sou pesquisador, não. É para gerar conhecimento mesmo que pode afetar a tomada de decisão de parceiros. O Sebrae Rio pode contribuir com o Sebrae Paraná, que pode contribuir com a agenda do nacional, e por ai vai. O Banco do Nordeste quer fazer algo parecido, vai aprender com esses caras. O Banco Central vai aprender com a educação financeira, por aí vai. Então o conhecimento, ele começa a alimentar um grupo grande de pessoas que demandam esse conhecimento. Quem quiser saber um pouco mais, tem ainda tempo hoje, eu vou estar aqui amanhã e se tiverem qualquer dúvida o e-mail é esse. Fiquem a vontade para mandar e-mail, entrar em contato, que eu vou responder com o maior interesse. Obrigado!


©bemvin.org 2016
enviar mensagem

    Página principal