Su imagen promedio probablemente vale significativamente menos que mil palabras: solo hay mucho que puede aprender de las selfies. Pero a veces solo necesitas saber de dónde proviene una imagen, independientemente de cuántas palabras valga.
Para eso, existen motores de búsqueda de imágenes inversas proporcionados por Google, TinEye, Bing, Yandex, Pixsy y muchos más. Sin embargo, dado que no está proporcionando ninguna palabra en su consulta, ¿cómo saben qué buscar? Y, lo más importante, ¿cómo lo encuentran? La forma en que funciona la búsqueda inversa de imágenes de cada motor de búsqueda varía, y mantienen sus algoritmos exactos en secreto, pero las ideas básicas están disponibles y no son tan difíciles de entender.
Huellas dactilares
Las imágenes en realidad pueden ser más únicas que las huellas dactilares humanas, ya que las probabilidades de que dos imágenes contengan exactamente la misma disposición de píxeles son inimaginablemente infinitesimales, mientras que la posibilidad de una colisión de huellas dactilares es de alrededor de 64 mil millones, probabilidades comparativamente buenas. Pero, ¿cómo se toma la huella digital de una imagen? Los pasos varían según el algoritmo, pero la mayoría de ellos siguen la misma fórmula básica.
Primero, debe medir las características de la imagen, que pueden incluir color, texturas, degradados, formas, relaciones entre diferentes partes de la imagen e incluso cosas como las transformadas de Fourier (un método para dividir las imágenes en seno y coseno).
Digamos que estamos buscando la siguiente imagen y necesitamos una huella digital de ella.
Para hacer eso, podríamos, entre otras cosas, usar el histograma de color de la imagen, la transformada de Fourier y el mapa de textura, cada uno de los cuales puede ver a continuación.
Si una imagen fuera redimensionada, borrosa, girada o manipulada de otra manera, habría una serie de algoritmos que usarían las características anteriores y otras para tratar de encontrar aciertos.
Codificación, almacenamiento y búsqueda.
Cada característica de la imagen en la huella dactilar se puede codificar como cadenas de letras y números, que son fáciles de almacenar e indexar en una base de datos. Cualquier combinación de características que se extraiga y almacene se convertirá en la entrada del motor de búsqueda de imágenes inversas para esa imagen. La base de datos de TinEye, por ejemplo, contiene alrededor de 39.600 millones de imágenes indexadas a partir de febrero de 2020, lo que significa que ejecutaron su algoritmo sobre esa cantidad de imágenes y están almacenando todas esas huellas digitales para comparar las imágenes buscadas.
La segunda parte importante del algoritmo es averiguar qué imágenes son similares. Cuando cargue una imagen, pasará por el algoritmo de huellas dactilares del motor de búsqueda de imágenes inversas. Luego, el motor de búsqueda intentará encontrar las entradas con las huellas dactilares más cercanas, lo que se conoce como «distancia de imagen». Decidir qué factores comparar y cómo ponderarlos también depende de cada motor de búsqueda, pero en su mayoría tienen como objetivo encontrar una distancia total de la imagen lo más cercana posible a cero.
¿Qué pasa con el aprendizaje automático/IA?
Gracias a las técnicas de indexación/toma de huellas dactilares descritas anteriormente, la búsqueda inversa de imágenes era bastante buena incluso antes de que fuera práctico aplicarle IA. Sin embargo, dado que la IA es excelente para procesar imágenes, es muy probable que muchos de los principales motores de búsqueda utilicen elementos como las redes neuronales convolucionales (CNN) para ayudar a extraer y etiquetar funciones. Google, por ejemplo, podría estar usando una CNN en su búsqueda inversa de imágenes, lo que le permitiría encontrar palabras clave probables para la imagen y producir resultados web e imágenes relevantes, como lo han estado haciendo en Google Photos durante bastante tiempo.
Esto lleva la búsqueda inversa de imágenes un paso por encima de la simple extracción de características y la distancia de la imagen. Las redes neuronales convolucionales esencialmente ejecutan imágenes a través de múltiples filtros que mapean varios tipos diferentes de características, luego intentan clasificarlas según el entrenamiento previo. Eso es una simplificación excesiva, por supuesto, pero baste decir que las CNN hacen que la búsqueda de imágenes sea mucho más precisa y útil y probablemente se implementen junto con los métodos más antiguos de toma de huellas dactilares de visión por computadora.
¿Cuál es el mejor motor de búsqueda de imágenes inversas?
Diferentes algoritmos significan que diferentes motores de búsqueda de imágenes son buenos en diferentes cosas, aunque en última instancia, todos apuntan al mismo objetivo: encontrar una coincidencia para la imagen que cargó. Imágenes de Google tiene una tasa de aciertos bastante buena, por ejemplo, pero hace muchas «mejores suposiciones», lo que te da muchas fotos que son similares pero no idénticas. Eso es genial si buscas un estado de ánimo o una categoría general, pero un motor como Ojo de estaño está mucho más enfocado en encontrar imágenes idénticas, incluso si están muy editadas, e incluso puede identificar imágenes dentro de las fotos, lo que lo hace un poco mejor si necesita una coincidencia exacta.
El motor de búsqueda ruso Yandex también tiene fama de tener una excelente herramienta de búsqueda de imágenes, aunque tal vez previsiblemente tiende a funcionar mejor en temas rusos. Herramientas como Pixsy e ImageRaider se enfocan en identificar instancias de uso no autorizado, por lo que tienden a incluir más funciones como alertas y se enfocan en monitorear las bibliotecas de fotos de los usuarios.
Debido a que los algoritmos cambian todo el tiempo y generalmente se mantienen bloqueados, vale la pena revisar varios motores diferentes si uno no devuelve los resultados que busca.
Créditos de la imagen: Vapor de una calle de la ciudad de Nueva YorkDB-base de datos-icono