método / benchmark vivo

Comparar sem
fingir precisão.

O atlas combina avaliação absoluta e preferência cega. Uma mede a qualidade observada de cada versão; a outra mede qual execução vence sob condições controladas.

Testar comparação cega Escolher um scorecard

01 / SCORECARD

Qualidade absoluta

Cada versão recebe seis notas ancoradas, N/A explícito e uma decisão independente: “eu publicaria”. A série histórica nunca sobrescreve versões anteriores.

Escala ordinal de 1 a 5
Âncoras comportamentais em 1, 3 e 5
N/A excluído da média, nunca convertido em zero

02 / ARENA

Preferência relativa

Duas variantes do mesmo brief aparecem em ordem aleatória e sem identidade. Empate, ambas ruins, problema técnico e pular são respostas de primeira classe — forçar uma vitória distorce o sinal.

Identidade revelada só depois da coleta
Ordem A/B randomizada; efeito de posição auditado
Resultado estimado por coorte, não por contagem crua

protocolo mínimo

O que precisa permanecer igual

Brief

Mesma tarefa, conteúdo, idioma, restrições e materiais de referência.

Viewport

Captura no mesmo tamanho, DPR, tema e estado de dados.

Exposição

Sem marca do modelo; posição A/B randomizada e efeito de posição auditado.

Amostra

Um voto por par e participante; coortes separadas por perfil.

Análise

Intervalos de incerteza, N/A e skips reportados junto do placar.

rubrica ui-quality-v1

Seis critérios, com significado estável

2 e 4 são intermediários.

Task success

A pessoa consegue realizar a tarefa que a tela promete?

1: Bloqueou ou levou a um resultado incorreto.
3: Concluiu, com fricção recuperável.
5: Concluiu corretamente, sem fricção relevante.

Clareza & IA

Hierarquia, arquitetura da informação e próxima ação.

1: Estado ou caminho ambíguo.
3: Encontrável com esforço.
5: Hierarquia e próxima ação imediatas.

Controle, feedback & recuperação

A interface responde, antecipa consequências e permite se recuperar?

1: Sem feedback ou erro sem saída.
3: Feedback e recuperação suficientes.
5: Imediato, previsível e com recuperação explícita.

Copy & confiança

O texto orienta com honestidade e reduz incerteza?

1: Confusa ou enganosa.
3: Clara e suficiente.
5: Concisa, humana, preditiva e reduz incerteza.

Acessibilidade & inclusão percebida

O fluxo principal permanece utilizável por diferentes corpos, tecnologias e preferências?

1: Há um bloqueador.
3: Fluxo principal operável.
5: Robusto em teclado, zoom, AT e preferências.

Coerência visual & responsiva

A expressão visual reforça a hierarquia em diferentes dimensões?

1: Uma quebra interfere na tarefa.
3: Coerente e funcional.
5: Reforça a hierarquia e permanece íntegra.

coortes & leitura

Não misture sinais que respondem perguntas diferentes.

Especialistas

Designers e pessoas técnicas avaliam detalhes de craft, acessibilidade e recuperação.

Público-alvo

Pessoas próximas ao usuário real medem clareza, task success e confiança.

Exploratório

Visitantes anônimos ajudam a descobrir hipóteses; não viram conclusão causal.

Placar recomendado: Bradley–Terry ou Elo com intervalos de confiança para pares; mediana e distribuição por critério no scorecard. Sempre exibir tamanho da amostra, cobertura de N/A e versão do protocolo.

versionamento imutável

Modelo novo entra como versão nova.

brief_id+prompt_version+model_version+artifact_version=generation_id

Atualizar uma tela não apaga a anterior. Cada voto aponta para uma geração imutável, permitindo comparar 5.5 → 5.6 sem contaminar a série.

integridade

Aberto para participar.
Caro para abusar.

01Turnstile gerenciado antes de mutações; token verificado no servidor e nunca confiado pelo cliente.

02Rate limits em camadas por sessão, par e sinais de rede, com rejeição idempotente.

03Google opcional para uma coorte verificada; votos anônimos permanecem separados.

04Detecção pós-coleta de bursts, padrões impossíveis e concordância artificial. Suspeitas são marcadas, não apagadas silenciosamente.