Para activarla abre el Terminal en Aplicaciones > Utilidades e introduce la siguiente línea de comando:
defaults write com.apple.dock single-app -bool true
Después solo tienes que reiniciar el Dock usando KillAll Dock
Ahora, cada vez que pulses una aplicación en el Dock, esta pasará a primer plano escondiendo todas las demás. Si no quieres activar por defecto este comportamiento, pero si quieres usarlo ocasionalmente, siempre puedes usar el atajo de teclado Comando + Opción + CLick en la aplicación para llevarla a primer plano y ocultar todas las demás.
Para desactivar esta opción, si has usado el Terminal, solo necesitas cambiar true
por false
y volver a reiniciar el Dock usando KillAll Dock