Para habilitar este comportamiento, abre la Terminal y escribe estos comandos:
$ defaults write com.apple.dock single-app -bool TRUE
$ killall Dock
De ahora en adelante, al hacer click en una aplicación el el Dock esconderá todas las otras aplicaciones que no estás usando. No verás este comportamiento si usas Comando+tabulador para cambiar de aplicación, o haces click directamente en las ventanas de otras aplicaciones. Para deshabilitar esta característica, repite los comandos de arriba, pero reemplaza TRUE con FALSE. Recuerda que debes reiniciar Dock también.
Para utilizar un método más fácil para implementar esta característica, puedes echar un vistazo a este truco.
Fuente: Mac OS X Hints