Generalmente antes de llegar a este paso deberías comprobar que no has hecho algún ajuste en la pantalla como utilizar una resolución exótica o similar y que el cable está conectado y bien conectado tanto en el monitor como en el Mac.
Ahora, ves a Preferencias del sistema > Pantallas y utiliza cualquiera de los cuadros de diálogo al respecto de las pantallas que tengas conectadas (y detectadas) y pulsa la tecla ⌥. Verás como en la esquina inferior derecha el botón Reunir ventanas cambia a Detectar pantallas.
Al pulsar el botón, el Mac intentará detectar todas las pantallas disponibles conectadas a través de los diferentes puertos y negociará con la misma la resolución.
Si una vez detectada necesitas configurarla con alguna resolución especial (como por ejemplo, proyector o televisor), este artículo te explica cómo hacerlo.
Lo que yo hago —no sé si desde Lion o Mavericks, el primero en poner AirPlay en la barra de menús— es usar Display Menu https://itunes.apple.com/es/app/display-menu/id549083868?mt=12