Conceptos Esenciales de Convexidad, Matrices y Cálculo Diferencial para Optimización

Conceptos Fundamentales de Convexidad y Cálculo Diferencial

Conjuntos Convexos

• Un conjunto definido por una restricción lineal de igualdad (=) es convexo (hiperplano).
  Ejemplo: S = {(X,Y) | 2X - 3Y = 4}
• Un conjunto definido por una restricción lineal de desigualdad (< o >) es convexo (semiespacio).
• El conjunto de puntos donde una función estrictamente convexa es mayor que una constante ({x | f(x) > c}) es convexo.
• El conjunto de puntos donde una función estrictamente cóncava es menor que una constante ({x | f(x) < c}) es convexo.
• La intersección de conjuntos convexos es convexa.

Funciones y Convexidad

• Una función f(x) es convexa si su matriz Hessiana (Hf) es semidefinida positiva (SDP).
• Una función f(x) es cóncava si su matriz Hessiana (Hf) es semidefinida negativa (SDN).
• Si Hf es definida positiva (DP), entonces f es estrictamente convexa.
• Si Hf es definida negativa (DN), entonces f es estrictamente cóncava.

Clasificación de Matrices por Definición

Teoremas para Matrices Diagonales

• Definida Positiva (DP): Si todos los coeficientes de la diagonal son > 0.
• Definida Negativa (DN): Si todos los coeficientes de la diagonal son < 0.
• Semidefinida Positiva (SDP): Si todos los coeficientes de la diagonal son ≥ 0.
• Semidefinida Negativa (SDN): Si todos los coeficientes de la diagonal son ≤ 0.
• Indefinida: Si tiene coeficientes > 0 y < 0 en la diagonal.

Criterios para Matrices No Diagonales

Para una matriz simétrica A:

• Si |A| ≠ 0 (Matriz Regular):
  1. Si todos los menores principales líderes (o conducentes) son > 0, entonces A es Definida Positiva (DP).
  2. Si los menores principales líderes tienen signos alternos, comenzando en negativo (M₁ < 0, M₂ > 0, M₃ < 0, ...), entonces A es Definida Negativa (DN).
  3. En cualquier otro caso, A es Indefinida.
• Si |A| = 0 (Matriz Singular):
  1. Si todos los menores principales (no solo los líderes) son ≥ 0, entonces A es Semidefinida Positiva (SDP).
  2. Si los menores principales de orden impar son ≤ 0 y los de orden par son ≥ 0, entonces A es Semidefinida Negativa (SDN).
  3. En cualquier otro caso, A es Indefinida.

Álgebra Lineal Fundamental

Rango de una Matriz

El Rango de una matriz es el orden de la submatriz cuadrada de mayor tamaño con determinante no nulo.

Teorema de Rouché-Frobenius

Para un sistema de ecuaciones lineales Ax = b:

1. Si rg(A) = rg(A|b), el sistema es compatible (tiene solución).
   1. Si rg(A) = número de incógnitas (n), el sistema es compatible determinado (solución única).
   2. Si rg(A) < número de incógnitas (n), el sistema es compatible indeterminado (infinitas soluciones).
2. Si rg(A) ≠ rg(A|b), el sistema es incompatible (no tiene solución).

Propiedades de Matrices

• Matriz Simétrica: A = A^T
• Multiplicación de Matrices: Una matriz de dimensiones (m x n) multiplicada por una de (n x r) resulta en una matriz de (m x r).
• Matriz Inversa (A^-1):
  • A^-1 = (adj(A))^T / |A|
  • Si A es regular (|A| ≠ 0), su inversa es única.
  • La inversa de la inversa es la matriz original: (A^-1)^-1 = A.

Cálculo Diferencial Multivariable

Dominio de una Función

Una función f se define como: f: D ⊆ R^N → R^m

Continuidad de una Función en un Punto p

Una función f es continua en un punto p si se cumplen las siguientes tres condiciones:

1. f(p) existe.
2. El límite de f(x) cuando x tiende a p (lim_x→p f(x)) existe.
3. El límite es igual al valor de la función en el punto: lim_x→p f(x) = f(p).

Derivadas y Vectores Asociados

• Derivada en un Punto a: Si existe, f'(a) = lim_h→0 [f(a+h) - f(a)] / h
• Vector Gradiente (∇f(p)): Representa las derivadas parciales de una función escalar en un punto p.
  ∇f(p) = (∂f/∂x₁ (p), ∂f/∂x₂ (p), ..., ∂f/∂xₙ (p))
• Matriz Jacobiana (J): Para una función vectorial, la matriz Jacobiana tiene como filas los vectores gradientes de cada función componente.
  J =

  ∇f₁(p)

  ∇f₂(p)

  ...

• Matriz Hessiana (Hf(p)): Matriz de segundas derivadas parciales de una función escalar.
  Hf(p) =

  ∂²f/∂x₁²(p)	∂²f/∂x₁∂x₂(p)	...	∂²f/∂x₁∂xₙ(p)
  ∂²f/∂x₂∂x₁(p)	∂²f/∂x₂²(p)	...	∂²f/∂x₂∂xₙ(p)
  ...	...	...	...
  ∂²f/∂xₙ∂x₁(p)	∂²f/∂xₙ∂x₂(p)	...	∂²f/∂xₙ²(p)

Propiedades de Potencias y Fracciones

• √x³ = x^(3/2)
• 1/x = x^-1
• -3/x⁴ = -3x^-4
• (1/5)x^-4 = 1/(5x⁴)

Interpretación de Derivadas Parciales y Diferencial Total

• ∂f/∂x(p₁,p₂): Representa la variación aproximada de f por cada unidad marginal que aumentamos el valor de la componente x, estando en el punto (p₁, p₂).
• df(p₁,p₂)(h₁,h₂): Representa la variación aproximada de f cuando el valor de la primera variable (p₁) se modifica en h₁ y el de la segunda (p₂) en h₂.

Homogeneidad de Funciones

Una función f(x₁, x₂, ..., xₙ) es homogénea de grado r si para cualquier escalar λ > 0, se cumple:

f(λx₁, λx₂, ..., λxₙ) = λ^r f(x₁, x₂, ..., xₙ)

Regla de la Cadena

Si f es diferenciable en el punto p y g es diferenciable en f(p), entonces la composición g∘f es diferenciable en el punto p. En ese caso:

• d(g∘f)(p)(h) = J(g∘f)(p)h
• Donde J(g∘f)(p) = Jg(f(p))Jf(p)
• Ejemplos:
  • Para una variable: dy/dt = (dy/dx) * (dx/dt) o dy/dt = f'(g(t))g'(t)
  • Para múltiples variables: Si z = f(x(t), y(t)), entonces dz/dt = (∂z/∂x)(dx/dt) + (∂z/∂y)(dy/dt)

Teorema de Euler para Funciones Homogéneas

Si una función f(x₁, x₂, ..., xₙ) es homogénea de grado r, entonces se cumple:

x₁(∂f/∂x₁) + x₂(∂f/∂x₂) + ... + xₙ(∂f/∂xₙ) = r f(x₁, x₂, ..., xₙ)

Polinomio de Taylor

• Polinomio de Taylor de Primer Orden (Linealización):
  P₁f(p)(x) = f(p) + ∇f(p) ⋅ (x - p)
• Polinomio de Taylor de Segundo Orden:
  P₂f(p)(x) = f(p) + ∇f(p) ⋅ (x - p) + (1/2)(x - p)^T Hf(p)(x - p)

Reglas de Derivación Comunes

• (^k√u)' = u' / (k ⋅ ^k√u^k-1)
• (√u)' = u' / (2√u)
• (u/v)' = (u'v - uv') / v²
• (a^u)' = u' ⋅ a^u ⋅ ln(a)
• (e^u)' = u' ⋅ e^u
• (log_au)' = u' / (u ⋅ ln(a))
• (ln u)' = u' / u
• (sen u)' = u' ⋅ cos u
• (cos u)' = -u' ⋅ sen u
• (tg u)' = u' / cos²u
• (cotg u)' = -u' ⋅ (1 + cotg²u)
• (cosec u)' = -u' ⋅ cos u / sen²u
• (arc sen u)' = u' / √(1 - u²)
• (arc cos u)' = -u' / √(1 - u²)