¿Qué galería estás usando? No puedo replicar ese comportamiento usando el bloque de galería incorporado. Si bien WP a veces redirige las solicitudes de un elemento a otro cuando no se puede encontrar el elemento solicitado, nunca debe hacerlo al cargar medios. Si encuentra un archivo existente con el mismo nombre, normalmente cambiará el nombre del nuevo archivo adjunto, nunca lo reemplazará. Incluso si en realidad es exactamente el mismo archivo, normalmente deberías obtener dos versiones del mismo archivo, excepto que el nuevo archivo adjunto tendrá -1 o similar añadido al nombre. Para reemplazar realmente un archivo, primero debe eliminar permanentemente el original.
Sospecho que el problema está en el complemento de la galería que estás usando. Sugiero buscar ayuda a través de su canal de soporte exclusivo, donde sus desarrolladores están en la mejor posición para ayudarlo.
Si por casualidad estás utilizando el bloque de galería incorporado, es probable que tu tema o algún complemento esté alterando el comportamiento normal. Determine cuál desactivando selectivamente los complementos hasta que el problema desaparezca.
Eliminé algunos complementos y el problema desapareció. Gracias por tu ayuda y perdón por molestar.