CALIDAD CON EVIDENCIA · V0.3.1

Un método que
se pone a prueba.

Prompt Crafter distribuye instrucciones por especialidad para que tu asistente cree y revise prompts. No existe un prompt que garantice buenos resultados para cualquier tarea.

Qué se ha medido

22 de 24 casos sintéticos aprobados en esta ejecución. 2 no aprobados, 0 abstenciones y 0 fallos críticos detectados. El umbral previsto para este prototipo es al menos 90 % de casos aprobados, ningún fallo crítico y evidencia aprobada en cada ámbito. No supera todavía el criterio más estricto de aprobar todos los casos. El método se congeló antes de las pruebas. 12 tareas de desarrollo/regresión y 12 tareas nuevas reservadas cubren los tres modos y doce ámbitos.

Una sesión nueva crea cada respuesta; otra la juzga con criterios específicos, referencias exactas al texto y resultados «cumple», «no cumple» o «no evaluable». Las comprobaciones automáticas también detectan pérdida de datos exigidos y uso de herramientas no autorizado en la prueba.

Casos pendientes

• producto · guiado (D09R): La pregunta explora la motivación, pero deja sin resolver la incertidumbre decisiva sobre quién depende de la función. Pregunta por el objetivo de retirar la función, no por dependencia, impacto o usuarios afectados.
• diseno_web · revision (U03): Elimina la dependencia de hover y exige foco visible, pero «contraste suficiente» no proporciona un criterio verificable.

Comparación y controles de publicación

Cuatro tareas comparan la versión anterior y esta versión en ambos órdenes A/B. En esta ejecución, 4 de cuatro terminaron en empate en ambos órdenes. Los desacuerdos no se convierten en victorias; una revisión operativa del asistente queda registrada cuando aparecen, sin sustituir calibración humana ni afirmar superioridad. El proceso de publicación comprueba huellas de los métodos y los registros originales: cambiar las instrucciones invalida las pruebas anteriores. Un fallo crítico bloquea la aprobación automática.

El control ya detectó un defecto real en la candidata 0.3.0: una pregunta guiada pedía dos respuestas distintas. Esa versión se bloqueó. La revisión actual conserva ese caso como regresión y añade casos nuevos reservados.

Ver resultados y huellas verificables (JSON)

Lo que estas pruebas no demuestran

Son tareas ficticias, una ejecución por caso y evaluación de modelos de un mismo proveedor. El identificador exacto del modelo no fue expuesto por los registros del entorno usado (codex-cli 0.163.0); se utilizó su configuración predeterminada. La calibración con etiquetas humanas está pendiente. Esto no mide satisfacción real, rendimiento comercial ni cobertura de todos los ámbitos.

Las pruebas principales miden la calidad del prompt redactado. Estado de pruebas posteriores del resultado: 4 de 4 tareas ficticias aprobadas, en texto y sin herramientas. No equivalen a ejecutar una web real ni a observar una campaña. La interfaz dentro del chat depende de que el cliente soporte MCP Apps.

Cómo usamos las fuentes

Combinamos instrucciones claras, contexto pertinente, criterios de terminado, adaptación a la tarea y pruebas. Matt Pocock y Poteto aportan ideas de orientación y selección de métodos; las guías de proveedores aportan técnicas que deben comprobarse en cada entorno. Es una adaptación independiente, no una certificación «SOTA».

• OpenAI — Prompt engineering — Separación entre instrucciones y contexto; versiones de prompts en código; comprobaciones representativas al cambiar el método.
• OpenAI — Evaluation best practices — Evaluaciones específicas de la tarea, casos representativos, comparación de versiones y calibración del juicio automático con revisión humana.
• OpenAI — Reasoning best practices — Instrucciones directas; no exigir cadenas de pensamiento; ejemplos solo cuando aportan valor y según el modelo.
• Anthropic — Prompt engineering overview — Definir éxito y cómo medirlo antes de optimizar; reconocer problemas que no se resuelven únicamente mejorando el prompt.
• Anthropic — Prompting best practices — Contexto del propósito, formato explícito, ejemplos pertinentes y separación de material de referencia; cautela al extrapolar entre modelos.
• Google — Prompt design strategies — Diseño iterativo, restricciones y salidas claras, coherencia multimodal y adaptación al modelo y sus capacidades.
• Matt Pocock — The /wayfinder Skill — En trabajos amplios: destino, decisiones confirmadas, incertidumbre siguiente y exclusiones; no imponer planificación extensa a peticiones pequeñas.
• Cursor pstack — Route work through /poteto-mode — Enrutamiento por tarea, resultado observable, evidencia y restricciones reales; reutilizar contexto y evitar ceremonia innecesaria.

Ayuda a mejorar un caso

Si un prompt no te sirve, puedes escribir a contact@berrocal.xyz con un ejemplo ficticio o anonimizado, el modo, la especialidad, qué esperabas y qué falló. No enviamos tus conversaciones automáticamente ni recogemos el texto del taller.

Evaluado: 2026-10-19T21:04:05.517150+00:00. Instalar · Abrir el taller · Privacidad