Neste artigo, tem-se como propósito discutir os significados, fluxos e movimentos de mudanças da política de avaliação da pós-graduação no período 2017-2020, a partir das recomendações de aprimoramento do modelo pela Comissão de Acompanhamento do Plano Nacional de Pós-Graduação 2011-2020. Este texto resulta de pesquisa mais ampla sobre o tema e pauta-se em estudo de natureza documental, que analisa textos produzidos pela Comissão/Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) e pela Comissão da Área de Educação, em resposta às recomendações. Como orientação teórico-metodológica, adotou-se a Teoria da Atuação Política, proposta por Ball, Maguire e Braun (2016), a qual compreende a política como espaço de negociação, criação de significados, contestação e lutas entre diferentes atores. Os resultados revelam um movimento complexo de negociações e renegociações em torno da política de avaliação, com diferentes fluxos de atores e forças em debate nas comissões das áreas, nas sociedades científicas e nas coordenações de programas.

O tema em debate neste artigo insere-se no âmbito de estudos sobre desenvolvimentos contemporâneos da política educacional e interfaces com a política de avaliação da pós-graduação. Desenvolvimentos contemporâneos significam a atenção a uma “sociologia das políticas mais cosmopolita” (Ball, 2014, p. 15), a qual se insere em um amplo conjunto de mudanças epistemológicas e ontológicas nas Ciências Sociais e Humanas, nas últimas décadas. Trata-se da adoção de premissas e métodos capazes de apreender a dinâmica de uma realidade complexa, com ênfase sobre os fluxos, as relações e os movimentos “de pessoas, de capital e de ideias” na política (Ball, 2014, p. 28).

Com base nesse pressuposto, assume-se, neste estudo, a compreensão da política de avaliação da pós-graduação como um movimento complexo de traduções, negociações e renegociações. Ela deixa de ser vista como uma “política de governo” (Ball, 2014), induzida pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) e implementada pelos Programas de Pós-Graduação (PPGs), para considerar as forças em debate e as formas de resistência e de articulação de diferentes atores nas negociações, de dentro e de fora dos processos de (re)definição da política.

A escolha pelo estudo do tema e período (2017-2020) não é aleatória. Nesse intervalo de tempo, consolidou-se o processo de avaliação continuada da pós-graduação no Brasil, com ampliação da periodicidade de três para quatro anos e o aprimoramento dos processos e instrumentos de avaliação, decorrente do relatório da Comissão Especial de Acompanhamento do Plano Nacional de Pós-Graduação (PNPG) 2011-2020, publicado em 2018 (Brasil, 2018).

É reconhecida a trajetória de implantação e consolidação do Sistema Nacional de Pós-Graduação (SNPG) no Brasil, desde as décadas de 1950 e 1960, assim como o amplo e sistemático processo de aperfeiçoamento da política de avaliação desse sistema, desde 1976. Esse processo testemunha, desde então, o envolvimento de diferentes atores e instituições. De formas diferenciadas, com maior ou menor envolvimento, registra-se, nessa trajetória, a participação de comissões de consultores acadêmicos nacionais e internacionais e da comunidade científica nas diferentes áreas, todos capitaneados pela Capes.

Nessa trajetória de mais de cinco décadas de implantação da política de avaliação da pós-graduação, evidencia-se a década de 1990, marcada pela égide neoliberal da reforma de Estado e da reforma da educação para a América Latina, que imprimiu contornos mais complexos e multifacetados à compreensão crítica das políticas. De lá para cá, vivenciou-se, em todos os níveis de ensino, principalmente no nível superior - nesse caso, na pós-graduação -, a diversificação da oferta, as alianças estratégicas entre agências internacionais, governos e corporações, as pressões por relações mais estreitas com o setor produtivo, a ênfase nos indicadores de produtividade e a exigência de eficiência controlada por meio de sistemas avaliativos (Hostins, 2006).1

A Capes, a partir de 1998, inaugurou o novo paradigma de avaliação na pós-graduação brasileira, introduzindo aspectos como: mudança da periodicidade, da escala de notas e da unidade de avaliação - de cursos para programas -, inclusão de critérios de comparabilidade entre áreas e adoção dos padrões internacionais de qualidade (Moraes, 2002). Todavia, o modelo de avaliação que supervaloriza a produção científica e a homogeneização dos programas foi submetido a duras críticas da intelectualidade. A maioria dessas críticas veio de docentes e coordenadores de PPGs, representantes em instâncias da Capes, do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) e das Associações Científicas de Pesquisadores, que foram protagonistas críticos desse complexo processo denominado produtivista e quantitativista.

Nesse movimento, expressa-se o que Ball, Maguire e Braun (2016) chamam de efeitos cumulativos das políticas e seus processos de interação não previstos no momento de sua formulação. Para os autores, é imprescindível acompanhar os processos de interações e acomodações entre políticas e práticas nos diferentes contextos, bem como os efeitos imprevistos decorrentes dessas múltiplas acomodações. Trata-se, aqui, da questão de “[...] como a política cria significado ao invés de o que a política significa” (Lendvai; Stubbs, 2012, p. 12).

Na década de 2010, em especial a partir de 2016, o país vivenciou um período de instabilidade política, com o impeachment da presidenta Dilma Rousseff e o governo transitório de Michel Temer, o que resultou em mudança de rumos na condução das políticas públicas, com repercussões na educação e, por consequência, na pós-graduação. Faria Filho (2016) destaca as sucessivas trocas de ministros, que impactaram sobremaneira o conjunto das políticas educacionais; as indefinições quanto à direção da Capes; a alteração do período de avaliação de três para quatro anos, no meio do caminho; os cortes de verbas; e o recolhimento, pela Capes, dos recursos de bolsas consideradas “ociosas” pela agência. Para Faria Filho (2016, p. 175), ao final do quarto ano do quadriênio, era “[...] sensível na área certa apreensão quanto ao processo de avaliação e, consequentemente, aos rumos que tomara a pós-graduação em Educação no país”.

Dois anos depois, Carlos Alexandre Netto (2018), conselheiro da Sociedade Brasileira para o Progresso da Ciência (SBPC), em documento propositivo da organização para a pós-graduação no Brasil, evidenciou a necessidade de mudanças na sistemática de avaliação da Capes. Algumas das principais críticas identificadas foram: visão demasiadamente quantitativa devido à importância assumida pelo Qualis; hegemonia de indicadores provindos das áreas de ciências “duras”, não contemplando adequadamente os distintos perfis disciplinares; heterogeneidade de critérios utilizados por comissões de uma mesma grande área; falta de mecanismos de avaliação e de apoio à interdisciplinaridade; e dificuldade em avaliar a relevância social dos programas (Alexandre Netto, 2018).

Em face do debate instaurado e das mudanças governamentais ocorridas, as quais implicaram seriamente a mudança das políticas educacionais de maneira geral e, particularmente, da política de avaliação da pós-graduação, a Diretoria de Avaliação da Capes iniciou, em 2018, ações para o aprimoramento dos instrumentos de avaliação. Para o novo formato de avaliação, foram consideradas as recomendações apontadas pelos relatórios da Comissão Especial de Acompanhamento do PNPG 2011-2020 (Brasil, 2017, 2018), centradas em contribuições de entidades consultadas. As novas medidas foram objeto de debate com membros da comunidade acadêmico-científica, por meio de Grupos de Trabalho2 e reuniões das áreas.

A Comissão Especial de Acompanhamento do PNPG 2011-2020 foi instituída por meio da Portaria Capes nº 106, de 17 de julho de 2012 (Brasil, 2012), assinada pelo então presidente da Capes, Jorge Almeida Guimarães. De lá para cá, mediante novas portarias - Portaria nº 203/2016, assinada pelo então presidente da Capes, Abílio Baeta Neves; Portaria nº 224/2019, assinada pelo então presidente da Capes, Anderson Ribeiro Correia (Brasil, 2021a) -, foram mantidos e/ou substituídos muitos de seus membros. Contudo, a Comissão não se distanciou de seu propósito inicial de acompanhar a implantação do PNPG 2011-2020 e realizar estudos e análises de temas de interesse da Diretoria de Avaliação (DAV) da Capes.

De acordo com o documento Evolução do SNPG no Decênio do PNPG 2011-2020 (Brasil, 2021a), ao longo dos trabalhos da Comissão foram realizadas sistemáticas reuniões com os Conselhos da Capes e “[...] outros interlocutores da comunidade acadêmica” (Brasil, 2021a, p. 11), além de terem sido elaborados cinco relatórios oficiais: três de acompanhamento do PNPG e dois relatórios sob demanda direta do Conselho Superior. Esses últimos estavam “[...] relacionados com a proposta de aprimoramento do sistema de avaliação da pós-graduação brasileira [...] nos anos de 2018 e 2019” (Brasil, 2021a, p. 12).

Tendo em conta o processo histórico de modelações e remodelações da política, as mudanças explicitadas pela Capes a partir de 2018 e o complexo movimento de atuação dos diferentes atores nesse processo, considerou-se relevante discutir, neste artigo, os significados, fluxos e movimentos da política de avaliação da pós-graduação, no período 2017-2020, notadamente a partir da proposta de aprimoramento do modelo de avaliação recomendada pela Comissão Especial referida (Brasil, 2018, 2020a, 2021a) e sua tradução nos documentos da Comissão da Área de Educação (CA-ED) de 2019 e 2020 (Brasil, 2019a, 2019b, 2021b).

A pergunta que orienta a discussão é: Quais são os discursos predominantes, os movimentos de negociações e as mudanças incorporadas nos documentos produzidos pela Comissão PNPG/Capes e pela CA-ED no encaminhamento da Política de Avaliação da Pós-Graduação, no período 2017-2020? Com base no pressuposto defendido por Ball, Maguire e Braun (2016), buscam-se as variações de contexto, concepções, recursos e traduções dessa política, de modo a observar as lacunas e os espaços de manobra nos quais a política é formulada, representada, reapresentada e traduzida.

Este artigo adota como referencial analítico a Teoria da Atuação Política (Policy Enactment) de Ball, Maguire e Braun (2016), os quais propõem um conjunto de pressupostos, ferramentas analíticas e conceitos acerca da formulação, interpretação e tradução de políticas. Nessa perspectiva, a política é tomada “[...] como processos discursivos que são complexamente configurados, contextualmente mediados e institucionalmente prestados” (Ball; Maguire; Braun, 2016, p. 13). Por essa razão, assume-se que a análise da atuação de políticas requer um olhar sobre o “[...] aspecto dinâmico e não-linear de todo o complexo que compõe o processo de política” (Ball; Maguire; Braun, 2016, p. 18), pois esta é incorporada, transformada e traduzida de diferentes maneiras e por diferentes atores em uma dinâmica ativa. É a partir desse referencial que são analisadas, portanto, as propostas de mudanças na política de avaliação da pós-graduação nos últimos anos.

Trata-se de uma pesquisa documental que tomou como fonte de dados: 1) o PNPG 2011-2020, publicado em dezembro de 2010 (Brasil, 2010); 2) os relatórios publicados nos anos de 2018, 2020 e 2021 pela Comissão Especial de Acompanhamento do PNPG 2011-2020, com a proposta de aprimoramento do sistema de avaliação da pós-graduação brasileira (Brasil, 2018, 2020a, 2021a); 3) os relatórios publicados em 2019 e 2020 com orientações e análise dos resultados do processo de avaliação pela CA-ED (Brasil, 2019a, 2019b, 2021b).3

Os procedimentos de aproximação e análise da empiria foram sistematizados mediante leitura prévia, marcação dos indícios reveladores das semelhanças e diferenças entre um texto e outro, dos atores envolvidos e das relações entre eles, das regularidades e diferenças nos discursos, no sentido de rastrear a conexão dos dados. A sistematização e o aprofundamento das análises ocorreram em um movimento metodológico de interação constante entre teoria e dados, buscando apreender a complexa teia de “leituras ativas”, de modo a apreender os “fluxos da política” e do “trabalho de escrita” ao redor da política para apreender os “fluxos do discurso”, como propõem Ball, Maguire e Braun (2016, p. 17) e Ball e Mainardes (2011).

Por tratar-se de pesquisa em fontes documentais abertas, institucionais e disponíveis ao acesso público, ela não foi submetida ao Comitê de Ética em Pesquisa (CEP). Entretanto, a pesquisadora não se absteve de manter a rígida vigilância aos princípios e procedimentos éticos requeridos em todo o processo de pesquisa e sua divulgação. Levou-se em conta as orientações sobre a autodeclaração de princípios e procedimentos éticos na pesquisa, recomendados por Mainardes e Carvalho (2019), apoiados em Creswell (2007), e sobre integridade na pesquisa, conforme estudo de Mainardes (2023), publicado pela Associação Nacional de Pós-Graduação e Pesquisa em Educação (ANPEd).

Entre as principais recomendações apresentadas, destacam-se alguns princípios de integridade na pesquisa enfatizados por Mainardes (2023, p. 237), levando em conta o documento The European Code of Conduct for Research Integrity, de 2017 (All European Academies [ALLEA], 2017): a confiabilidade em garantir a qualidade da pesquisa, refletida no design, na metodologia, na análise e na utilização de recursos; a honestidade no desenvolvimento, na realização, na revisão, nos relatórios e na comunicação da pesquisa; o respeito pelos colegas, participantes da pesquisa, sociedade; e a responsabilidade pela pesquisa, desde a ideia inicial até a publicação.

Nesse aspecto, pode-se considerar que tanto os referenciais teóricos adotados como o design da pesquisa se apoiam em paradigmas que levam em conta projetos políticos, processos sociais e práticas em movimento, nos quais a política de avaliação da pós-graduação e seus atores estão inseridos. Significa assumir, com Ball (2011, p. 33), que o “[...] desenvolvimento epistemológico nas Ciências Humanas, como a educação, funciona politicamente e é intimamente imbricado no gerenciamento prático dos problemas sociais e políticos”, o que confere ao pesquisador responsabilidade ética e política, evidenciada no respeito e na honestidade no trato com a empiria, na importância e na abrangência do seu problema de pesquisa e na relação íntegra com os atores envolvidos no processo. Desse modo, ao assumir um referencial teórico nessa perspectiva, assume-se um posicionamento ético-político em torno de uma “[...] teoria que busca manter a fronteira entre pesquisa crítica sobre políticas e pesquisa para políticas” (Ball, 2011, p. 44). Dito de outro modo: “[...] uma ontologia da política que busca indagar-se sobre as formas como nos tornamos as políticas encarnadas” (Ball, 2011, p. 46).

Considera-se que o rigor e a integridade na descrição dos dados estão em relação direta com o rigor na sua análise e na sua valoração crítica. Uma descrição incompleta e descontextualizada dos dados, assim como uma interpretação simplista e acrítica deles, tem implicações éticas potencialmente danosas para a confiabilidade, qualidade e integridade da pesquisa, do pesquisador e da área de estudo.

Para garantir a fidedignidade e confiabilidade dos dados coletados, buscou-se dar crédito a todas as fontes que constituem a base empírica deste estudo. Nesse sentido, optou-se por apresentar os recortes da empiria em itálico para distingui-los das citações dos autores que fundamentam diretamente o trabalho e que ajudaram a manter o diálogo entre teoria e empiria. Mesmo se tratando de fontes de acesso aberto ao público, observou-se também o cuidado na identificação das instituições e siglas, das datas dos documentos e suas referências, como forma de garantir a fidedignidade das informações disponíveis nos documentos. Considera-se que tais procedimentos asseguram ética e integridade na prática científica (Mainardes, 2023), tanto pelo cuidado no trato das fontes como pelo rigor ou pela “reflexividade ética” (Gewirtz, 2007) nas análises.

O PNPG 2011-2020, publicado em dezembro de 2010 (Brasil, 2010), dá continuidade aos princípios assumidos nos planos anteriores, porém introduz “[...] as inflexões e as novas ênfases [...]” (Brasil, 2010, p. 16), com um movimento de acompanhamento e estudos para aperfeiçoamento da avaliação qualitativa da pós-graduação. Trata-se de uma visão sistêmica em seus diagnósticos, diretrizes e propostas, entendida como “[...] a articulação e o emaranhamento de temas e processos, em vez de seu desmembramento e inserção em caixas de conteúdo definidos” (Brasil, 2010, p. 18).

De acordo com a Capes (Brasil, 2010), os cinco planos que o antecederam, com início em 1975, foram protagonistas de importantes mudanças na história da pós-graduação brasileira, com destaque para: a formação do primeiro contingente de especialistas - docentes, pesquisadores e quadros técnicos - para o sistema universitário, o setor público e o segmento industrial (1º PNPG 1975-1979); a inserção de indicadores de desempenho e qualidade nas atividades da pós-graduação (2º PNPG 1982-1985); a integração da pesquisa desenvolvida na universidade com o setor produtivo, visando ao desenvolvimento nacional (3º PNPG 1986-1989); a expansão do sistema, o aperfeiçoamento da avaliação e a inserção internacional (4º PNPG - não promulgado, porém adotado pela Capes); e a introdução do princípio de indução estratégica nas atividades de pós-graduação, o aprimoramento do processo de avaliação qualitativa e o impacto das atividades de pós-graduação no setor produtivo e na sociedade (5º PNPG 2005-2010) (Brasil, 2010).

Como afirmam Leite et al. (2020, p. 341), “[...] ao longo do tempo, a política privilegiou a avaliação post-facto, incluiu a avaliação por pares, vinculou a avaliação à classificação e à distribuição de recursos e favoreceu os rankings”. A avaliação tornou-se, nessas cinco décadas, uma diretriz que conferiu identidade e legitimidade à política de pós-graduação no país. Nesse processo, a análise do movimento de mudança da política de pós-graduação e, consequentemente da política de avaliação, tornou-se mais complexa e requer a compreensão “[...] das mediações, dos diálogos, das traduções, dos compromissos, das resistências” (Lendvai; Stubbs, 2012, p. 12) tecidas por redes complexas de atores sociais que dela participam. Nessas negociações, está em jogo, nas palavras de Stone (2002, p. 60 apudLendvai; Stubbs, 2012, p. 12), “[...] uma luta discursiva constante sobre as definições dos problemas, dos limites de categorias usados para descrevê-los, os critérios para sua classificação e avaliação e os significados de ideias que guiam determinadas ações”.

A elaboração dos cinco PNPGs anteriores e, também, do PNPG 2011-2020 pautou-se na participação de diferentes segmentos da comunidade acadêmica e da própria sociedade, com destaque para as sociedades científicas, associações de pesquisa e coordenadores de pós-graduação, universidades e pró-reitorias, além de eminentes especialistas. Na construção do PNPG 2011-2020 (Brasil, 2010), por exemplo, foram criadas três Comissões, com funções diferentes, porém com ações articuladas e complementares: uma Comissão Nacional, com funções deliberativas, constituída por autoridades e especialistas provenientes de órgãos de governo, universidades e da sociedade; uma Comissão Coordenadora, com funções de consultoria e apoio acadêmico; e uma Comissão Técnica, com funções de suporte operacional4. “O padrão CAPES foi estabelecido em comum acordo com a comunidade acadêmica das diferentes áreas de conhecimento e foi sofrendo modificações ao longo dos tempos por sugestão das áreas, hoje colégios” (Leite et al., 2020, p. 341).

Reafirmando o lugar da avaliação na política de pós-graduação brasileira, o documento do PNPG 2011-2020 destina um capítulo à discussão das distorções e das necessidades de ajustes, assim como apresenta recomendações em relação ao Sistema de Avaliação da Pós-Graduação Brasileira (Brasil, 2010). No documento, reconhece-se a experiência exitosa da avaliação e a necessidade de introduzir corretores de rota no conjunto, em atenção à sua complexidade, à sua maturidade e à sua dinâmica interna (Brasil, 2010, p. 126). Entre as históricas distorções, o documento destaca: a hegemonia de critérios das ciências exatas e naturais, que funcionaram como uma “camisa de força” em relação às demais áreas; a invasão do “taylorismo intelectual e o imperativo do publish ou perish” em todas as áreas, com o predomínio da quantidade sobre a qualidade na produção científica; a incorporação de parâmetros de áreas acadêmicas para avaliação de áreas aplicadas; e a curta periodicidade da avaliação contínua, comprometendo a avaliação dos efeitos das mudanças implementadas e o adensamento das propostas e dos resultados delas decorrentes (Brasil, 2010, p. 127).

Um olhar atento às distorções apontadas no documento da política (Brasil, 2010) permite identificar a incorporação, ainda que indiciária, do discurso crítico muito discutido entre a intelectualidade no início dos anos 2000, notadamente na educação, sobre as consequências da avaliação pautada no quantitativismo e na hegemonia de indicadores de áreas exatas. Entre os autores críticos ao modelo de avaliação no período, destacam-se: Bianchetti e Sguissardi (2009); Catani e Hey (2010); Horta (2009); Hostins (2006, 2014, 2017); Kuenzer e Moraes (2009); Oliveira, Catani e Ferreira (2010); e Sguissardi (2009). Muitos desses intelectuais participaram do processo de avaliação desde diferentes lugares e posições, como docentes e/ou como avaliadores, coordenadores e representantes de área nas comissões de avaliação, e faziam a crítica à avaliação do interior do processo, como sujeitos e objetos da política. Seus discursos, de certa forma, voltam, ainda que de maneira recontextualizada, para o texto da política, evidenciando o que Ball, Maguire e Braun (2016) denominam “atuação da política”. Ela envolve processos discursivos e criativos de interpretação e recontextualização, “[...] complexamente configurados, contextualmente mediados, e institucionalmente prestados [...]” (Ball; Maguire; Braun, 2016, p. 13).

O que se quer enfatizar nesta discussão é que o PNPG em debate e os demais documentos dele decorrentes, propondo as mudanças na política de avaliação da pós-graduação, resultaram do trabalho de uma rede de atores, de diferentes grupos e lugares, com diferentes posições, permeadas por relações de poder e com distintos níveis de envolvimento. Esses atores construíram espaços de negociação e lutas discursivas em torno da política de avaliação. A política deixa de ser vista, então, como um paradigma de “política-como-governo” (Ball, 2014), a ser implementada pelos PPGs em suas universidades, para ser entendida como um dispositivo complexamente dinâmico, não linear, codificado e decodificado de forma igualmente complexa, de fora para dentro e de dentro para fora. “As políticas são permeadas por relações de poder [...]”, afirmam Ball, Maguire e Braun (2016, p. 21). Trata-se, portanto, de entendê-las de forma relacional e situada. Citando Usher e Edwards (1994, p. 89), Ball, Maguire e Braun (2016) entendem o poder como relações em uma rede social. “Poder, por meio do conhecimento, produz ‘sujeitos’ ativos que ‘entendem’ melhor sua própria subjetividade, ainda que nesse mesmo processo eles se sujeitam a formas de poder” (Ball; Maguire; Braun, 2016, p. 21).

A Comissão Nacional de Acompanhamento do PNPG 2011-2020 realizou reuniões periódicas com os conselhos da Capes e outros interlocutores da comunidade acadêmica, diversos estudos e análises, tendo sido gerados cinco relatórios apresentados ao Conselho Superior da Capes. Entre eles, destacam-se os trazidos para discussão neste item: Proposta de Aprimoramento do Modelo de Avaliação da PG [Pós-graduação]: Documento Final da Comissão Nacional de Acompanhamento do PNPG 2011-2020 (Brasil, 2018); Relatório 2019: Proposta de Aprimoramento da Avaliação da Pós-Graduação Brasileira para o Quadriênio 2021-2024 - Modelo Multidimensional (Brasil, 2020a); e Evolução do SNPG no Decênio do PNPG 2011-2020 (Brasil, 2021a).

Ao iniciar seus trabalhos, a Comissão convidou outros atores para a apresentação de propostas de melhorias do Sistema de Avaliação. No relatório de 2018, afirma-se que participaram desse processo as seguintes instituições: Academia Brasileira de Ciências (ABC), Associação Nacional dos Dirigentes das Instituições Federais de Ensino Superior (Andifes), Associação Brasileira dos Reitores das Universidades Estaduais e Municipais (Abruem), Associação Brasileira das Instituições Comunitárias de Educação Superior (Abruc), Conselho Nacional de Educação (CNE), Conselho Nacional das Fundações Estaduais de Amparo à Pesquisa (Confap), Conselho Nacional de Secretários Estaduais para Assuntos de Ciência, Tecnologia e Inovação (Consecti), CNPq, Conselho Técnico-Científico da Educação Superior (CTC-ES), Financiadora de Estudos e Projetos (Finep), Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep), Fórum Nacional de Pró-Reitores de Pesquisa e Pós-Graduação (FOPROP), Ministério da Ciência, Tecnologia e Inovação (MCTIC), Ministério do Desenvolvimento, Indústria, Comércio e Serviços (MDIC), Sociedade Brasileira para o Progresso da Ciência (SBPC) e, eventualmente, outras associações de áreas de conhecimento específicas. Desse movimento, emergiu, conforme explicita o Documento Final da Comissão Nacional de Acompanhamento do PNPG 2011-2020 (Brasil, 2018), “[...] uma visão compartilhada pelos membros da Comissão [...] e por todos os atores que, apesar dos excelentes resultados obtidos até o presente, o atual sistema avaliativo atingiu um ponto de esgotamento e deve ser conceitual e objetivamente repensado e aprimorado” (Brasil, 2018, p. 3, grifo próprio) ou, ainda, conforme o Relatório 2019, merece “aperfeiçoamentos conceituais e operacionais” (Brasil, 2020a, p. 3, grifo próprio).

Tal cenário revela a rede de atores envolvidos nesse processo de mudanças da política de avaliação5: entidades representativas de universidades públicas e comunitárias (federais, estaduais e municipais), associações, conselhos, sociedades e fóruns de pesquisa, ciência e tecnologia. Isso demonstra o que afirmam Ball e Mainardes (2011): a política flui/circula por meio de incalculáveis capilaridades e está sempre envolvida em algum tipo de fluxo (declarações, demandas e expectativas), tornando-se difícil delimitar suas fronteiras.

Entre as novas demandas apresentadas estava a atualização dos procedimentos e critérios do modelo de avaliação, buscando atender “[...] consolidação, à internacionalização e à interação orgânica dos programas com setores não acadêmicos, em especial os que são conectados com o processo de transferência direta de conhecimento para a sociedade e maior protagonismo no processo de desenvolvimento socioeconômico, bem como a redução das assimetrias regionais e áreas de conhecimento” (Brasil, 2018, p. 3, grifo próprio). O Documento Final da Comissão enfatiza, ainda, que, apesar de, nas últimas décadas, o foco da pós-graduação brasileira estar mais direcionado para a formação de docentes e pesquisadores para as universidades, é necessário mudar para dois novos focos em função das mudanças nas demandas da sociedade: o avanço do conhecimento e “[...] a atuação e o impacto no desenvolvimento econômico e social (incluindo a interação com segmento empresarial e a atuação na área pública e na formulação de políticas públicas” (Brasil, 2018, p. 8, grifo próprio).

Trata-se, neste caso, da entrada de padrões de governança na discussão da política. A governança é um terreno complexo, afirma Ball (2009). Ela envolve quatro tipos de mudanças: nas formas de governo (estruturas e agências); na forma e na natureza dos participantes; nos discursos predominantes; e na produção de novos tipos de sujeitos envolvidos. Nas proposições para a pós-graduação brasileira, evidencia-se um chamado para a presença de novas vozes e novos nós de poder e influência dentro do campo da produção do conhecimento, construídos ou revigorados no campo político. “As divisões já difusas entre o público/estatal, o privado e o terceiro setor são ainda mais drasticamente borradas pela entrada de novos atores no campo da governança e pela hibridização dos atores existentes” (Ball, 2009, p. 537).

Nas proposições de caráter geral, ocasionadas a partir da análise dos pontos de consenso entre os atores envolvidos, o Documento Final da Comissão destaca: “[...] convergência no entendimento que as Universidades devem ser mais protagonistas de seu próprio planejamento e avaliação da PG, [...] promovendo e valorizando parcerias estratégicas e arranjos institucionais para aumentar a qualidade, eficiência e eficácia do SNPG [...]”; a valorização do impacto social e econômico “[...] do conhecimento gerado no SNPG, focado em desafios estratégicos regionais e nacionais [...]” (Brasil, 2018, p. 9, grifos próprios).

Nos posicionamentos, há evidências de uma ampliação da abrangência da atuação da pós-graduação, para além do campo da produção do conhecimento científico e tecnológico. Esta passa a incorporar princípios e linguagens de governança voltados à autoavaliação da sua performance, ao aumento da eficiência e eficácia por meio de parcerias estratégicas e arranjos institucionais e à conexão com os desafios estratégicos do desenvolvimento regional. Nesses desafios, revela-se uma busca de “[...] respostas gerenciais, inter-organizacionais e empresariais compartilhadas” (Ball, 2014, p. 31) para os problemas da política de pós-graduação e de produção da ciência, tecnologia e inovação no país.

A “autorregulação regulada” (Ball, 2009, p. 357), traduzida na forma de autoavaliação, pautada em critérios de eficiência e eficácia, é um dos principais ingredientes desse processo de desconcentração ou de governança policêntrica e estratégica. Conforme enfatiza o Documento Final da Comissão Nacional de Acompanhamento do PNPG 2011-2020, “[...] as Universidades devem ser mais protagonistas de seu próprio planejamento e avaliação da PG” (Brasil, 2018, p. 9, grifo próprio). O uso de medição, comparação e estabelecimento de metas passa a ser complementado pela produção de novos tipos de sujeitos ativos - a Universidade excelente, o Programa eficiente e eficaz, o pesquisador produtivo e engajado, o coordenador empreendedor. Todos esses são aspectos definidores da governança, em que o estado mais policêntrico, embora não impotente, catalisa uma vasta gama de atores políticos estatais e não estatais na produção da política. Pode-se pensar em “[...] um deslocamento do centro de gravidade em torno do qual os ciclos da política se movem” (Jessop, 1998, p. 32).

As proposições específicas da comissão para o aprimoramento do modelo de avaliação foram sistematizadas com base na análise das contribuições recebidas. “Foram consideradas somente como propostas finais os temas abordados ao menos por 75% das entidades que enviaram sugestões” (Brasil, 2018, p. 10, grifo próprio). Entre os principais temas e as propostas de mudança, destacam-se: 1. A redefinição do QUALIS; 2. Produções qualificadas indicadas pelos PPGs; 3. Internacionalização; 4. Acompanhamento de egressos; 5. Impacto no desenvolvimento econômico e social nacional e redução de assimetrias; 6. Equilíbrio entre as dimensões quantitativas e qualitativas; 7. Inovação; 8. Relevância social, nacional e regional; 9. Autoavaliação; 10. Modelo de Avaliação Multidimensional evidenciando desempenhos diferentes para cada dimensão, com espaço para reconhecer a diversidade e a qualidade dos PPGs e instituições em cada eixo (dimensão) da avaliação (Brasil, 2018).

Entender a política como um processo de criação de significados, como já destacado anteriormente por Stone (2002apudLendvai; Stubbs, 2012), implica reconhecê-la como um campo em constante disputa discursiva, no qual se debatem as formas de definir os problemas, os critérios para categorizá-los e os limites dessas categorias. Observa-se nas propostas apresentadas a luta discursiva em torno de indicadores com significados que se movem dos critérios quantitativos e homogêneos para significados qualitativos e que ampliam os limites das categorias para incorporar: a qualidade da produção científica; os impactos da atividade dos egressos; a inovação tecnológica e social; os projetos estratégicos; o protagonismo na autoavaliação; a multidimensionalidade de desempenhos; os processos e os impactos regionais.

Para Oliveira, Stecanela e Boufleuer (2023, p. 1), as mudanças propostas representam uma “[...] guinada histórica do processo de avaliação, antes centrado em dados quantitativos e [...] no viés produtivista”. Para eles, o novo modelo de avaliação dá lugar aos indicadores qualitativos, “[...] sem descurar os dados quantitativos[...]” (Oliveira; Stecanela; Boufleuer, 2023, p. 1). Com essa mudança conceitual e operacional, certamente ampliam-se os raios de percepção da atuação da universidade e da pós-graduação na sociedade, com inserção expressiva de indicadores extra-acadêmicos e suas redes de conexão com diferentes segmentos, o que é esperado da função da universidade. Todavia, essa ampliação do olhar aumenta significativamente a complexidade dos processos de avaliação, tanto na dinâmica de funcionamento quanto no registro, na produção e na comprovação dos dados empíricos pelos PPGs, levando em conta a diversidade das fontes a serem consideradas no radar da política de avaliação. Ademais, como afirma Ball (2014, p. 33), as relações de rede e as “[...] formas de governança em rede não são fixas e podem conter componentes fugazes, frágeis e experimentais”, as quais, por essas características, podem gerar problemas conceituais e empíricos que comprometem sua comprovação e avaliação.

Em fevereiro de 2020, a Comissão publicou o Relatório 2019: Proposta de Aprimoramento da Avaliação da Pós-Graduação Brasileira para o Quadriênio 2021-2024 - Modelo Multidimensional (Brasil, 2020a). Nesse documento, a Comissão apresenta algumas proposições sobre o SNPG e o modelo multidimensional, tendo no horizonte os próximos quadriênios. Esse modelo fundamenta-se na crítica bastante discutida de que a sistemática vigente se baseava em um modelo único, com uma escala nacional e com padrões uniformes e quantitativamente dominantes. Sua operacionalização “[...] de forma rígida, nem sempre considerava diferenças de contexto e, por via de consequência, limitava a diversidade da oferta e acentuava assimetrias geográficas e sociais existentes” (Brasil, 2020a, p. 8, grifo próprio). Para ampliar o escopo da avaliação (em mais de uma dimensão) e abrir espaços para as diferenças regionais e qualitativas dos PPGs, a Comissão propôs um modelo multidimensional que permitisse “[...] avaliar os respectivos e diferentes desempenhos em cada uma [...]” das dimensões e “[...] reconhecer a diversidade e a qualidade dos PPGs [...]” (Brasil, 2020a, p. 8, grifo próprio).

Nesse sentido, o modelo multidimensional estrutura-se com base em cinco dimensões: Formação de pessoal; Pesquisa; Inovação e transferência de conhecimento; Impacto na sociedade; Internacionalização. As duas primeiras dimensões, “Formação” e “Pesquisa”, constituem a base do processo avaliativo e já estão consolidadas no sistema de avaliação. As demais, “Inovação e transferência de conhecimento”, “Impacto na sociedade e “Internacionalização”, atuam como representantes das mudanças mais significativas introduzidas nesse novo modelo apresentado, com proposta para aplicação nos próximos quadriênios.

Apesar de reconhecer a trajetória respeitável da pós-graduação no Brasil, a Comissão considera que as transformações na sociedade contemporânea requerem novas ações, conexões de pessoas e investimentos envolvendo as comunidades acadêmica, científica, tecnológica e de inovação (Brasil, 2020a). O Relatório 2019 afirma:

Nesse novo paradigma da política como “criadora de significados” (Lendvai; Stubbs, 2012), está envolvido um novo perfil de pesquisador e uma complexa função da pós-graduação, cuja atividade, espera-se, vincule-se à criação de produtos e processos de produção de riquezas e desenvolvimento socioeconômico, à interação estruturada de novas formas de relacionamento com setores extra-acadêmicos, marcada por negociações e compromissos e “[...] relações complexas de interdependência recíproca” (Jessop, 2002, p. 52 apudBall, 2014, p. 34). A política, como afirmam Lendvai e Stubbs (2012, p. 14), “[...] é sempre múltipla e modificadora. Transformando tanto o conteúdo, como o contexto da política [...]”.

“Há novas vozes nas conversas sobre políticas e novos canais por meio dos quais os discursos sobre políticas introduzem o pensamento sobre políticas”, afirma Ball (2014, p. 34). Nesse caso, o modelo de avaliação multidimensional se define pela subscrição de “um conjunto discursivo” (Ball, 2014, p. 34), a saber: visibilidade e atratividade nacional e internacional; alto desempenho dos egressos no mercado de trabalho; taxa de sucesso na formação; geração de startups; cooperação na pesquisa científica e tecnológica com empresas; pesquisa aplicada à sociedade que gere melhoria da qualidade de vida e impacto em segmentos da sociedade, mercados ou organizações (Brasil, 2020a). Pode-se pensar esse conjunto discursivo como definidor de linhas gerencialistas e empreendedoras, uma “desestatização, mais ou menos radical” (Jessop, 2002 apudBall, 2014, p. 37), que induz organizações públicas de pós-graduação (universidades públicas e/ou sem fins lucrativos, em sua maioria), com corpo docente qualificado e expertise em pesquisa, à concorrência, à performatividade e à entrega de capital intelectual para o setor privado, ainda que sob o discurso de parcerias.

Mesmo que esse modelo não tenha vigorado em sua íntegra na avaliação do quadriênio (2017-2020), muitos dos indicadores recomendados foram incorporados na avaliação desse período. No informativo publicado em setembro de 2020, a Diretoria de Avaliação (DAV) da Capes apresentou as Orientações sobre o processo avaliativo CAPES Ciclo 2017-2020 (Brasil, 2020b). Os aprimoramentos recomendados pela Comissão Especial foram discutidos no âmbito dos Colégios e do CTC-ES e, após aprovados, foram divulgados para toda a comunidade (Brasil, 2020b).

Em face da concepção que passou a orientar o processo de avaliação, o novo Modelo de Avaliação da pós-graduação (aprovado pelo Conselho Superior da Capes em 2018) assumiu como pressupostos: foco na formação (e não tanto na produtividade); equilíbrio entre as dimensões quantitativas e qualitativas; qualificação das produções (cinco mais relevantes); redefinição do Qualis/Periódicos; inserção da autoavaliação articulada ao planejamento estratégico do PPG/Instituição; internacionalização; acompanhamento de egressos (produção científica e atuação); redução de assimetrias (entre/dentro das regiões); inovação; relevância social, nacional e regional; protagonismo das áreas na construção dos indicadores (Brasil, 2020b). Oliveira, Stecanela e Boufleuer (2023, p. 1) reconhecem que o novo modelo, “[...] ao tornar equitativos todos os aspectos que compõem a organização, o funcionamento, os objetivos e os resultados do programa, nesse caso os quesitos ‘programa’, ‘formação’ e ‘impacto na sociedade’, tornou a avaliação mais global”.

No relatório publicado em 2021, denominado Evolução do SNPG no Decênio do PNPG 2011-2020 (Brasil, 2021a), a Comissão descreve o cenário da pós-graduação brasileira após os dez anos de vigência do PNPG 2011-2020, apresenta recomendações para o próximo PNPG e analisa o que foi incorporado ao sistema de avaliação no quadriênio em vigor. Desse documento, participaram, entre março de 2020 e agosto de 2021, nas palavras da Comissão, “[...] pesquisadores e gestores experientes representantes de diversas instituições componentes do SNPG, [...] convidados e representantes de setores econômicos, da educação e da pesquisa” (Brasil, 2021a, p. 13, grifo próprio).

Na avaliação da Comissão, suas recomendações foram parcialmente implantadas, considerando que algumas mudanças foram incorporadas desde 2017 e outras a partir de 2018, quando, então, passaram a vigorar no ciclo avaliativo 2017-2021. “Embora a antecipação de muitas das recomendações tenha favorecido o aprimoramento do modelo de avaliação vigente, esta Comissão sempre sugeriu que essas deveriam ser implementadas somente no próximo ciclo avaliativo, visando não alterar as regras durante o ciclo de avaliação” em curso (Brasil, 2021a, p. 23, grifo próprio). A Capes, no entanto, trabalhou com a ideia de que os aprimoramentos poderiam atuar como uma transição para a avaliação multidimensional, a ser implementada na próxima avaliação quadrienal.

Ao final do decênio, no documento sobre a Evolução do SNPG no Decênio do PNPG 2011-2020, a Comissão (Brasil, 2021a) identificou quatro aspectos em relação ao processo de avaliação no quadriênio em curso:

Em face dos aspectos identificados pela Comissão, há de indagar-se sobre a complexidade e o significado dessa mudança, tanto para as comissões de área como para os PPGs, estando o processo de avaliação em curso. Esses indicadores em si, parecem simples, mas sua construção pelos PPGs, tradução em produtos a serem comprovados e sua avaliação pelas Comissões de área são complexas e requerem um processo coletivo de construção e capacidade crítica para compreendê-los e desenhá-los. Lendvai e Stubbs (2012, p. 20), ao discutirem o conceito de tradução das políticas, afirmam que a

Essa é uma questão importante a ser considerada na análise dos documentos de área da Educação no processo de avaliação do quadriênio. Essas recomendações tiveram forte impacto e repercussão na pós-graduação em geral, notadamente na avaliação da área da Educação, conforme se discute no próximo item.

Como já referido, a concepção de tradução que se toma como fundamento apoia-se nos estudos de Ball (2014), Ball, Maguire e Braun (2016) e Lendvai e Stubbs (2012), que desenvolvem um aparato conceitual para a compreensão da natureza fluida e dinâmica da política e suas redes de atores, de relações e de produção de significados. Para esses últimos, a noção de tradução “problematiza a política”, para analisá-la como um processo contínuo de transformação e negociação. Os autores consideram que a “[...] tradução ocorre em teias complexas de atores sociais, [...] membros ativos e mediadores que dão forma e transformam as afirmações, os artefatos, os discursos e as interpretações, de acordo com seus diferentes projetos” (Lendvai; Stubbs, 2012, p. 15).

Nesse caso, considerando o expressivo número de atores ativos e mediadores que atuaram e vêm atuando no processo de criação, recriação e tradução da política de avaliação da pós-graduação, o exercício analítico agora dirige-se à compreensão das linguagens, dos significados e das negociações que foram tomando forma nos documentos produzidos pela CA-ED e demais membros ativos envolvidos nesse processo. Indaga-se: Quais são os discursos predominantes, os significados, as negociações e as mudanças incorporadas nos documentos produzidos pela CA-ED no encaminhamento da Política de Avaliação da Pós-Graduação nessa área, no período 2017-2020?

Entre os documentos analisados, foram priorizados: 1. Documento de Área - Área 38: Educação (Brasil, 2019a); 2. Relatório do Seminário de Meio Termo - Área 38: Educação (Brasil, 2019b) - seminário ocorrido de 2 a 4 de setembro de 2019, envolvendo coordenadores e/ou representantes dos Programas de Pós-Graduação em Educação (PPGEs) - acadêmico e profissional -, do Fórum Nacional de Coordenadores de Programas de Pós-Graduação em Educação (Forpred) da ANPEd; 3. Relatório de Avaliação - Educação (Brasil, 2021b).

Outros documentos foram relevantes nesse processo. No entanto, para os propósitos deste estudo, considerou-se importante evidenciar os documentos que revelassem análises de cenário, posicionamentos e orientações do CA-ED no início do processo, logo após a aprovação das mudanças da política de avaliação pelo CTC-ES/Capes (Brasil, 2019a), o movimento de discussão da CA-ED com a área (Brasil, 2019b) e, ao final do processo, o balanço da jornada com a avaliação dos resultados alcançados (Brasil, 2021b).

No Documento de Área (Brasil, 2019a), a Comissão apresenta um diagnóstico da trajetória dos Programas da Área de Educação nos últimos anos, discute as tendências e os desafios a serem enfrentados no decorrer do Quadriênio de 2017 a 2020 e evidencia as mudanças paradigmáticas do modelo de avaliação da política. O documento destaca: ênfase na formação discente, notadamente o acompanhamento do egresso e a adoção de processos de autoavaliação; atribuição de peso para o quesito “Programa”, que induz a uma reflexão mais consistente sobre os perfis, missões, objetivos e metas; inserção do quesito “Impacto na Sociedade”, com foco em desafios estratégicos, regionais, nacionais e internacionais; e a possibilidade de cada área estabelecer os indicadores e critérios referentes a cada item, como forma de diferenciação entre áreas. Nesse último aspecto, a CA-ED enfatiza que “[...] a Área de Educação deverá aproveitar alguns itens construídos historicamente, reformular outros e, em alguns poucos casos, introduzir novos, principalmente de cunho qualitativo” (Brasil, 2019a, p. 8, grifo próprio).

Robert Evan Verhine, coordenador da CA-ED no quadriênio, em publicação recente, reflete sobre o que representou essa mudança para ele e para a Comissão, auxiliados por consultores com conhecimentos aprofundados sobre avaliação: “Mudei minha visão por acreditar na possibilidade de ‘objetivar’ o qualitativo, através do uso de critérios claramente definidos, capazes de distinguir, de forma transparente, entre os diferentes graus da escala avaliativa”, mediante critérios “[...] compreensíveis, replicáveis, comparáveis, sem ambiguidade, facilmente monitorados e registrados e capazes de produzir dados contextualizados de alta qualidade” (Verhine, 2023, p. 17).

Nesse movimento, observa-se, como afirmam Ball, Maguire e Braun (2016, p. 17), uma “leitura ativa” da política, com estilos e preocupações posicionadas tomando forma nos documentos da CA-ED. Vale destacar as mudanças específicas de procedimentos e entendimentos da avaliação que foram adotados independentemente das mudanças da política geral de avaliação por parte do CTC-ES. Nesse aspecto, a comissão destaca a dinâmica metodológica utilizada para a construção do modelo avaliativo, que demandou a análise de relatórios anteriores, o diálogo intenso com os PPGs da área, a coleta de contribuições para a elaboração dos indicadores e a publicização prévia dos critérios avaliativos (Brasil, 2021b).

A Comissão dedica-se ainda a discutir com mais detalhes outros itens expressivos nas mudanças do modelo de avaliação. Todavia, considerando os limites do artigo, buscou-se cotejar alguns aspectos, considerados centrais nas discussões do processo de mudança. Nesse caso, destacam-se aqueles aspectos que foram recorrentes nos três documentos analisados: a) planejamento estratégico e autoavaliação; b) impacto dos PPGEs na sociedade; c) internacionalização e inserção social dos programas.

O planejamento estratégico e a autoavaliação ocuparam lugar importante na avaliação do quadriênio; por essa razão, foram discutidos nos três documentos da CA-ED analisados. No Documento de Área (Brasil, 2019a), a Comissão considerou que os PPGs têm constituído ações de planejamento articuladas, tanto com os objetivos do SNPG quanto dos Planos Nacionais de Pós-Graduação e de Educação. Entretanto, em geral, os PPGs não têm avançado “[...] na construção de um planejamento macro que considere o desenvolvimento futuro do ambiente no qual os próprios programas estão inseridos, inclusive sua instituição e seu PDI [Plano de Desenvolvimento Institucional]” (Brasil, 2019a, p. 9, grifo próprio). Tem havido, na concepção da Comissão, uma abordagem mais pragmática e imediatista ao planejamento em detrimento de uma abordagem articulada que considere os objetivos locais ou regionais, que dialogue com o desenho institucional do programa dentro das instituições e das realidades às quais pertencem. Os processos de autoavaliação podem assumir um paradigma formativo, alimentar e retroalimentar o planejamento na perspectiva apontada.

Diferentemente da avaliação externa, a autoavaliação favorece a construção da identidade, heterogeneidade e envolvimento dos programas avaliados, para além dos padrões da avaliação externa; permite aprofundamentos de natureza qualitativa e contextualizada; possibilita uma reflexão sobre o contexto e as políticas adotadas, além da sistematização dos dados que levam à tomada de decisão e definição de metas (Brasil, 2019a). Na concepção de Silva, Luft e Olave (2024, p. 5), “[...] a operacionalização de um processo autoavaliativo viabiliza a construção de um conhecimento aprofundado sobre os programas, que pode viabilizar ações mais assertivas” e propulsoras de mudanças.

Também no Relatório do Seminário de Meio Termo - Área 38: Educação (Brasil, 2019b, p. 20), a CA-ED defende que a autoavaliação é necessária porque seria uma resposta qualitativa à precariedade crescente da avaliação externa. Entre as recomendações aos PPGs, a coordenação da Área sugere a geração de políticas institucionais de autoavaliação, planejamento, internacionalização e inserção social, as quais significam “[...] uma ampliação e um salto de qualidade em termos de institucionalidade diante desses aspectos importantes e denunciadores da qualidade de um PPG” (Brasil, 2019b, p. 15, grifo próprio). Nessa perspectiva, a autoavaliação passa a “[...] ser compreendida como um artifício estratégico para promover uma relação efetiva entre a instituição educacional e a realidade social” (Silva; Luft; Olave, 2024, p. 5).

No Relatório de Avaliação - Educação (Brasil, 2021b), emitido no final do quadriênio, quando encerrado o processo de avaliação, a CA-ED retomou seu posicionamento em relação à autoavaliação e afirmou: “O Quesito [proposta] foi marcado por dois itens nunca antes avaliados no contexto da avaliação de permanência da CAPES: Planejamento Estratégico e Autoavaliação. A inclusão desses dois novos elementos é considerada algo positivo, pois é através de planejamento e autoavaliação que o programa busca sua melhoria no decorrer do tempo” (Brasil, 2021b, p. 29, grifo próprio).

Ao discutir sobre esse tema, Leite et al. (2020, p. 345) afirmam que a nova agenda para a Avaliação Capes “[...] significa a continuidade e o aprimoramento de procedimentos avaliativos utilizados pela CAPES”. A continuidade expressa-se nos procedimentos; e o aprimoramento, na resposta à comunidade acadêmica. “A CAPES reconheceu a necessidade e o papel da autoavaliação, a ser planejada e implementada pelos programas”. Em uma perspectiva mais ampliada, Silva et al. (2024, p. 9) analisam que “[...] a avaliação da Capes, [...], não solicita apenas que o PPG edifique uma política de autoavaliação, mas também as apreciações produzidas pela autoavaliação como dados para compor sua avaliação externa, que passa a ter caráter mais qualitativo do que quantitativo”.

Na busca de compreensão dos significados e das negociações de sentido sobre a política de avaliação, que foram tomando forma nos documentos e nas discussões sobre ela, indaga-se sobre o paradoxo ou as múltiplas facetas da autoavaliação. Estará ela servindo a uma compreensão formativa, democrática e processual “[...] como um processo autogerido de reflexão interna que deve resultar na construção de conhecimentos sobre o programa e suas diferentes interlocuções” (Silva; Luft; Olave, 2024, p. 11)? Ou impulsionará os programas a uma “autorregulação regulada” (Ball, 2009, p. 357), forjada em critérios de eficiência e eficácia, performatividade e formação de novas subjetividades próprias da cultura do novo gerencialismo (Ball, 2011)? Poderá ela constituir-se em importante oportunidade para uma mudança cultural, um processo de amadurecimento de pesquisadores e discentes no sentido da corresponsabilização, do bem-comum, da colaboração e do engajamento na melhoria do stricto sensu e da prática democrática na pós-graduação brasileira, como defendem Leite et al. (2020, p. 339)? Ou ela desliza para outros significados de formação de novas subjetividades e do “espírito empreendedor” de pesquisadores, programas e universidades, alimentando um “[...] compromisso coletivo da corporação em ‘ser a melhor’” (Ball, 2011, p. 24)? Esse último significado traz um alerta e requer uma reflexão crítica sobre esses “novos significados” que, criticamente analisados, podem expressar “[...] formas de agir e pensar dominantes nas novas economias institucionais” (Dale; Ozga, 1993, p. 27 apudBall, 2011, p. 25). Seria esse um paradoxo ou uma composição interrelacionada e multifacetada da natureza da política?

No Documento de Área - Área 38: Educação (Brasil, 2019a), o CA-ED articula o impacto econômico, social e cultural dos PPGs não à relação pragmática e instrumental da área com a sociedade, mas à função social da Educação, vinculada aos “[...] amplos aspectos dos processos de formação humana, desde suas concepções e fundamentos, bases epistemológicas, estruturas organizacionais e políticas para a educação escolar e não-escolar, condições de qualidade, experiências e práticas, dimensões e diversidade, interfaces com outras áreas, etc.” (Brasil, 2019a, p. 11, grifo próprio). Do ponto de vista do impacto, a formação predominante dos PPGs em Educação repercute na formação dos educadores que atuam nas escolas de Educação Básica no país. Por isso, ela merece ser mais bem compreendida e dimensionada nos processos de avaliação, pois, em alguma proporção, as ações têm sido pontuais, descontinuadas e dependem, em boa medida, da articulação entre a coordenação dos PPGs e os gestores públicos da Educação Básica, o que compromete, em alguma escala, os frutos deste trabalho (Brasil, 2019a).

Os posicionamentos da Comissão ampliam a compreensão dos significados do impacto para muito além de uma resposta pragmática à política. Ela demonstra um posicionamento político e ético da área em face de processos de formação humana que levem em conta condições de qualidade, experiências e práticas, dimensões e diversidade, interfaces com outras áreas. Todavia, há de aprofundar-se a discussão na área sobre os significados e as formas de demonstração e transformação em resultados positivos dessa categoria no processo de avaliação. No Relatório de Avaliação - Educação (Brasil, 2021b), a Comissão alerta para essa dificuldade, notadamente para a validação dos PPGs 6 e 7 (considerados de excelência). Nessa perspectiva, pode-se pensar nos movimentos e nas múltiplas traduções que se podem produzir na área, no contexto da prática dos PPGEs, quando se trata de buscar definições, indicadores e produtos que expressem o complexo e intersubjetivo significado do impacto.

Na compreensão da Comissão, a Área de Educação, ainda que tradicionalmente assuma seu compromisso com o social, não escapou da tendência geral de vincular as atividades de impacto cultural, social e econômico aos “[...] impactos mais facilmente contabilizáveis e diretamente ligados à pesquisa - produção bibliográfica e produtos (livros, materiais e propostas didáticas) - e à formação (destinação profissional dos egressos). Com isso, impactos menos tangíveis e de difícil identificação e mensuração têm ficado de fora da avaliação e precisam ser recuperados” (Brasil, 2021b, p. 63, grifo próprio). Desse modo, para a avaliação de impacto socioeconômico, com potencial de inovação, dada sua natureza complexa e de difícil mensuração, a CA-ED afirma que sistematizou um conjunto de indicadores sob os quais se procedeu exaustiva discussão para relacioná-los à: formação profissional inicial; definição e acompanhamento de políticas públicas nos diferentes níveis; Educação Básica; circulação do conhecimento; divulgação científica na formação continuada; melhoria da pós-graduação.

Oliveira, Stecanela e Boufleuer (2023) evidenciam a função pedagógica e formativa da avaliação quadrienal, dada sua preocupação em imprimir evidências do impacto da pós-graduação na sociedade e na educação nacional. Todavia, os autores alertam para a importância de manter um olhar político para esse movimento de mudança paradigmática, de modo a evitar “[...] os riscos de objetificação do processo” (Oliveira; Stecanela; Boufleuer, 2023, p. 4). A despeito desses perigos, os autores consideram que o novo modelo representa “[...] um grande avanço em relação às edições passadas, pois traz ao plano da descrição e da reflexão dos programas a dimensão qualitativa”, imputando um “[...] revés ao chamado produtivismo, que tão fortemente marcou a avaliação da pós-graduação brasileira nos últimos tempos [...]” (Oliveira; Stecanela; Boufleuer, 2023, p. 4).

Nesses posicionamentos que buscam distinguir os significados ou tornar mais vivo e dinâmico o território e o “complexo discursivo” que define a natureza da área da Educação, revela-se o que Ball, Maguire e Braun (2016, p. 19) definem como o “[...] aspecto dinâmico e não linear de todo o complexo que compõe o processo da política”. O significado da política é sempre plural, no qual os atores “[...] são tanto intérpretes como criadores de ‘novos’ significados” (Lendvai; Stubbs, 2012, p. 14). Mesmo assumindo as orientações expressas da política da Capes, a Comissão não se priva de pensar, de fazer uma leitura ativa e um outro “trabalho de escrita” da política, considerando as linguagens, as subjetividades, os jogos de poder e os conjuntos discursivos que constituem o campo da Educação.

O quesito de inserção social, dada sua natureza ampla e complexa, tem gerado muitas interpretações e discussões na área. Ferraço e Farias (2021) discutem essa problemática à luz do debate efetuado, em 2017 e 2018, no I e II Seminários promovidos pela ANPEd sobre “O Sistema de Avaliação da Pós-Graduação brasileira”. De acordo com os autores, por diversas vias, a inserção social é parte constitutiva do fazer da pós-graduação e “[...] implica a existência de uma responsabilidade pública e de uma finalidade social por parte das instituições de Educação, entre elas, a universidade. Sob essa ótica, a inserção social não é uma ação estanque e pontual, mas uma ação orgânica à função da pós-graduação” (Ferraço; Farias, 2021, p. 426).

Na avaliação do quadriênio 2017-2020, a inserção social ganhou novo significado porque sua proposição passou a ser conectada com a internacionalização. Considerada uma inovação em relação às avaliações anteriores, essa correlação das dimensões - internacionalização e inserção - possibilita, na concepção da Comissão da Área de Educação (Brasil, 2021b), levar em conta os diferentes perfis dos Programas. Na avaliação desse quesito, foram adotadas três distribuições: “a) 100% internacionalização; b) 100% inserção; c) 50% para cada uma das duas possibilidades” (Brasil, 2021b, p. 30, grifo próprio). Nos PPGs Profissionais, por exemplo, “[...] percebeu-se forte tendência de indicação da avaliação de 100% para a política de inserção social, enquanto para os PPG Acadêmicos predominou a distribuição 50% internacionalização/50% inserção social” (Brasil, 2021b, p. 30, grifo próprio).

Esse posicionamento da Área já havia sido discutido no Seminário de Meio Termo, em 2019, sobre a ampliação do potencial de inserção social para os PPGs que não têm vocação/perfil para a internacionalização, mas apresentam forte compromisso com a inserção local e regional. “Assim, arguiu-se por colocar uma equivalência em internacionalização e inserção local e regional” (Brasil, 2019b, p. 14, grifo próprio).

Nas recomendações resultantes do Seminário (Brasil, 2019b), a Comissão considerou que, para os PPGs da área, a despeito de terem uma vocação mais forte em termos de inserção regional, é indicado: “[...] buscarem formas, ainda que iniciais, de internacionalização, como a publicação de artigos em revistas estrangeiras e a participação de docentes em eventos no exterior, o que pode oportunizar a constituição de contatos e redes de pesquisa no futuro” (Brasil, 2019b, p. 15, grifo próprio). Essa recomendação aplica-se também aos PPGs de excelência da área para quem a internacionalização é uma das dimensões mais qualificadas.

A discussão dos novos indicadores incorporados na política de avaliação - planejamento estratégico e autoavaliação, impacto dos PPGs na sociedade, internacionalização e inserção social -, evidenciados nos três documentos da área de Educação, apresenta importantes possibilidades de reflexão, não somente sobre os modos como a CA-ED traduziu essas mudanças, como também sobre como os PPGs traduziram, posteriormente, e traduzirão em suas ações no contexto da prática e na elaboração de seus relatórios à Capes.

Em todas essas instâncias e nesses movimentos, o que se destaca são as forças em debate, o conjunto de discursos tecidos nas comissões das áreas e das grandes áreas, nas associações de pesquisa e pós-graduação, na intelectualidade da área, e no interior dos programas (docentes, acadêmicos, gestores). Nesse fluxo de significados, estão expressas formas de resistência e de articulação de diferentes atores e lugares nas negociações da política. Nos limites consentidos, a atuação desses diferentes atores demarca a histórica luta pelo reconhecimento da área e do conhecimento por ela produzido e pela conquista de espaços que delineiem os contornos qualitativos da pós-graduação brasileira no processo de significação e ressignificação da política de avaliação.

Com o objetivo geral de discutir os significados, fluxos e movimentos de mudanças da política de avaliação da pós-graduação no período 2017-2020, a partir das recomendações de aprimoramento do modelo pela Comissão de Acompanhamento do Plano Nacional de Pós-Graduação (PNPG) 2011-2020, este artigo tomou como objeto de análise os relatórios publicados pela Comissão, pela Capes e pela Comissão da Área da Educação (CA-ED).

Com base no referencial teórico-metodológico utilizado, entendeu-se a política como criadora de significados e, por isso, sua tradução requereu atenção às formas nas quais seus esquemas, conteúdos, tecnologias e fluxos de negociações foram acontecendo, reordenados e processados por meio de várias práticas materiais e discursivas. Na busca do alcance desse propósito, pode-se afirmar que:

Pode-se concluir que, na compreensão crítica das políticas, em especial da política de avaliação, não é possível negligenciar a governança policêntrica e estratégica que perpassa a educação e o setor público na contemporaneidade.