Llamemos x a los lados del cuadrado.
(x+2)(x+5) < 130cm^2
x^2 + 7x + 10 < 130 cm^2
x^2 + 7x -120 < 0; es una parábola de vértice inverior, por lo que la región del vértice será la que permanezca por debajo del eje x (<0). Resuelvo los extremos por Baskara:
[-7+- √(49+480)]/2
(-7+- 23) / 2; x=-15; x=8
Como no podemos tomar valores negativos para resolver tu problema, tu cuadrado original tiene el lado: x<8cm.
Espero que te sea de utilidad.