Para intentar recuperar esa grabación que da error (por ejemplo, porque no hay forma de guardarla) lo mejor es intentarlo desde el archivo temporal de la grabación.
La ubicación de ese archivo temporal está en:
~/Library/Containers/com.apple.QuickTimePlayerX/Data/Library/Autosave Information/
Donde te podrás encontrar un archivo del tipo
Unsaved QuickTime Player Document.qtpxcomposition Screen Recording.mov
o algo similar como:
Documento de QuickTime Player no guardado.qtpxcomposition
Este archivo no es una película o archivo de QuickTime regular, sino un contenedor que incluye el archivo real que queremos recuperar, junto con información y metadatos. Haz clic en el archivo, invoca el menú contextual, muestra el contenido del paquete y allí tendrás el archivo que puedes recuperar, ya sea un archivo .mov, un archivo .aifc. Haz copia de seguridad de ese archivo (o un par de copias, por si acaso), y ya puedes forzar la salida de QuickTime Player si está atascado con ese archivo.
