No tienes un problema de optimización, lo que tienes es un problema de razones afines, un problema de optimización es cuando te plantean un problema con un conjunto de posibles soluciones y te piden hallar la mejor, es decir te piden optimizar una función, por ejemplo calcular un área máxima, un volumen mínimo y semejantes.
En tu caso tienes que tener claro primero los datos que te dan y lo que te piden. Si llamamos x a la distancia que hay desde la pared hasta el pie de la escalera, e y a la distancia desde el alto de la escalera al suelo, lo que nos dicen que la variación de x con respecto al tiempo es 3 m/s, es decir:
dx/dt = 3 m/s.
Y nos piden hallar la variación de y con respecto al tiempo es decir, dy/dt, pero nos la piden cuando y valga 20.
Como la figura que se forma es un triángulo rectángulo planteamos el teorema de Pitagoras.
x² + y² = 25²
Y ahora derivamos con respecto a t.
2x (dx/dt) + 2y (dy/dt) = 0
Vamos a despejar dy/dt que es lo que nos piden.
2y (dy/dt)  =  -2x (dx/dt)
dy/dt =  (-x/y) (dx/dt)
Ahora como nos piden hallar dy/dy en y = 20, vamos a ver lo que vale x  para y = 20.
x² + y² = 625 => x² + 400 = 625 => x² = 225
Luego: x = 15 (lógicamente nos quedamos con el valor positivo, x es una distancia)
Luego el punto donde nos piden calcular dy/dt es el (15, 20)
Ahora sustituimos:
dy/dt  =  (-x/y) (dx/dt) = (-15/20)*3 = (-9/4) m/s.
Espero esté claro.