initial commit
Este commit está contenido en:
38
src/main/java/com/manalejandro/arjion2/Arjion2Application.java
Archivo normal
38
src/main/java/com/manalejandro/arjion2/Arjion2Application.java
Archivo normal
@@ -0,0 +1,38 @@
|
||||
package com.manalejandro.arjion2;
|
||||
|
||||
import java.util.concurrent.Executor;
|
||||
|
||||
import org.springframework.aop.interceptor.AsyncUncaughtExceptionHandler;
|
||||
import org.springframework.aop.interceptor.SimpleAsyncUncaughtExceptionHandler;
|
||||
import org.springframework.boot.SpringApplication;
|
||||
import org.springframework.boot.autoconfigure.SpringBootApplication;
|
||||
import org.springframework.data.elasticsearch.repository.config.EnableReactiveElasticsearchRepositories;
|
||||
import org.springframework.scheduling.annotation.AsyncConfigurer;
|
||||
import org.springframework.scheduling.annotation.EnableAsync;
|
||||
import org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor;
|
||||
|
||||
@SpringBootApplication
|
||||
@EnableAsync
|
||||
@EnableReactiveElasticsearchRepositories
|
||||
public class Arjion2Application implements AsyncConfigurer {
|
||||
|
||||
public static void main(String[] args) {
|
||||
SpringApplication.run(Arjion2Application.class, args);
|
||||
}
|
||||
|
||||
@Override
|
||||
public Executor getAsyncExecutor() {
|
||||
ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
|
||||
executor.setCorePoolSize(7);
|
||||
executor.setMaxPoolSize(42);
|
||||
executor.setQueueCapacity(11);
|
||||
executor.setThreadNamePrefix("Executor-");
|
||||
executor.initialize();
|
||||
return executor;
|
||||
}
|
||||
|
||||
@Override
|
||||
public AsyncUncaughtExceptionHandler getAsyncUncaughtExceptionHandler() {
|
||||
return new SimpleAsyncUncaughtExceptionHandler();
|
||||
}
|
||||
}
|
||||
43
src/main/java/com/manalejandro/arjion2/ESConfig.java
Archivo normal
43
src/main/java/com/manalejandro/arjion2/ESConfig.java
Archivo normal
@@ -0,0 +1,43 @@
|
||||
package com.manalejandro.arjion2;
|
||||
|
||||
import org.springframework.beans.factory.annotation.Value;
|
||||
import org.springframework.context.annotation.Bean;
|
||||
import org.springframework.context.annotation.Configuration;
|
||||
import org.springframework.data.elasticsearch.client.ClientConfiguration;
|
||||
import org.springframework.data.elasticsearch.client.reactive.ReactiveElasticsearchClient;
|
||||
import org.springframework.data.elasticsearch.client.reactive.ReactiveRestClients;
|
||||
import org.springframework.data.elasticsearch.config.AbstractReactiveElasticsearchConfiguration;
|
||||
|
||||
@Configuration
|
||||
public class ESConfig extends AbstractReactiveElasticsearchConfiguration {
|
||||
|
||||
@Value("${elasticsearch.host}")
|
||||
private String EsHost;
|
||||
|
||||
@Value("${elasticsearch.port}")
|
||||
private int EsPort;
|
||||
|
||||
@Value("${arjion.indexName}")
|
||||
private String indexName;
|
||||
|
||||
@Value("${arjion.documentType}")
|
||||
private String documentType;
|
||||
|
||||
@Override
|
||||
@Bean
|
||||
public ReactiveElasticsearchClient reactiveElasticsearchClient() {
|
||||
final ClientConfiguration clientConfiguration = ClientConfiguration.builder().connectedTo(EsHost + ":" + EsPort)
|
||||
.build();
|
||||
return ReactiveRestClients.create(clientConfiguration);
|
||||
}
|
||||
|
||||
@Bean
|
||||
public String indexName() {
|
||||
return indexName;
|
||||
}
|
||||
|
||||
@Bean
|
||||
public String documentType() {
|
||||
return documentType;
|
||||
}
|
||||
}
|
||||
12
src/main/java/com/manalejandro/arjion2/ServletInitializer.java
Archivo normal
12
src/main/java/com/manalejandro/arjion2/ServletInitializer.java
Archivo normal
@@ -0,0 +1,12 @@
|
||||
package com.manalejandro.arjion2;
|
||||
|
||||
import org.springframework.boot.builder.SpringApplicationBuilder;
|
||||
import org.springframework.boot.web.servlet.support.SpringBootServletInitializer;
|
||||
|
||||
public class ServletInitializer extends SpringBootServletInitializer {
|
||||
|
||||
@Override
|
||||
protected SpringApplicationBuilder configure(SpringApplicationBuilder application) {
|
||||
return application.sources(Arjion2Application.class);
|
||||
}
|
||||
}
|
||||
20
src/main/java/com/manalejandro/arjion2/WebConfig.java
Archivo normal
20
src/main/java/com/manalejandro/arjion2/WebConfig.java
Archivo normal
@@ -0,0 +1,20 @@
|
||||
package com.manalejandro.arjion2;
|
||||
|
||||
import org.springframework.context.annotation.Configuration;
|
||||
import org.springframework.web.servlet.config.annotation.EnableWebMvc;
|
||||
import org.springframework.web.servlet.config.annotation.ResourceHandlerRegistry;
|
||||
import org.springframework.web.servlet.config.annotation.WebMvcConfigurer;
|
||||
|
||||
@Configuration
|
||||
@EnableWebMvc
|
||||
public class WebConfig implements WebMvcConfigurer {
|
||||
|
||||
private static final String[] CLASSPATH_RESOURCE_LOCATIONS = { "classpath:/META-INF/resources/",
|
||||
"classpath:/resources/", "classpath:/static/", "classpath:/public/" };
|
||||
|
||||
@Override
|
||||
public void addResourceHandlers(ResourceHandlerRegistry registry) {
|
||||
registry.addResourceHandler("/webjars/**").addResourceLocations("/webjars/");
|
||||
registry.addResourceHandler("/**").addResourceLocations(CLASSPATH_RESOURCE_LOCATIONS);
|
||||
}
|
||||
}
|
||||
179
src/main/java/com/manalejandro/arjion2/controllers/MainController.java
Archivo normal
179
src/main/java/com/manalejandro/arjion2/controllers/MainController.java
Archivo normal
@@ -0,0 +1,179 @@
|
||||
package com.manalejandro.arjion2.controllers;
|
||||
|
||||
import java.io.File;
|
||||
import java.io.IOException;
|
||||
import java.net.MalformedURLException;
|
||||
import java.net.URLConnection;
|
||||
import java.net.URLEncoder;
|
||||
import java.nio.file.Files;
|
||||
import java.nio.file.Path;
|
||||
import java.nio.file.Paths;
|
||||
import java.text.Normalizer;
|
||||
import java.util.HashMap;
|
||||
import java.util.List;
|
||||
import java.util.Map;
|
||||
|
||||
import com.manalejandro.arjion2.model.Archivo;
|
||||
import com.manalejandro.arjion2.model.Documento;
|
||||
import com.manalejandro.arjion2.services.MainService;
|
||||
import com.manalejandro.arjion2.vo.DetailVO;
|
||||
import com.manalejandro.arjion2.vo.DocumentoVO;
|
||||
import com.optimaize.langdetect.LanguageDetector;
|
||||
import com.optimaize.langdetect.LanguageDetectorBuilder;
|
||||
import com.optimaize.langdetect.ngram.NgramExtractors;
|
||||
import com.optimaize.langdetect.profiles.LanguageProfile;
|
||||
import com.optimaize.langdetect.profiles.LanguageProfileReader;
|
||||
import com.optimaize.langdetect.text.CommonTextObjectFactories;
|
||||
import com.optimaize.langdetect.text.TextObjectFactory;
|
||||
|
||||
import org.apache.tika.config.TikaConfig;
|
||||
import org.apache.tika.exception.TikaException;
|
||||
import org.apache.tika.io.TikaInputStream;
|
||||
import org.apache.tika.metadata.Metadata;
|
||||
import org.apache.tika.parser.AutoDetectParser;
|
||||
import org.apache.tika.parser.ParseContext;
|
||||
import org.apache.tika.parser.Parser;
|
||||
import org.apache.tika.parser.ocr.TesseractOCRConfig;
|
||||
import org.apache.tika.parser.pdf.PDFParserConfig;
|
||||
import org.apache.tika.sax.BodyContentHandler;
|
||||
import org.springframework.beans.factory.annotation.Autowired;
|
||||
import org.springframework.beans.factory.annotation.Value;
|
||||
import org.springframework.core.io.ByteArrayResource;
|
||||
import org.springframework.http.HttpHeaders;
|
||||
import org.springframework.http.MediaType;
|
||||
import org.springframework.http.ResponseEntity;
|
||||
import org.springframework.stereotype.Controller;
|
||||
import org.springframework.ui.Model;
|
||||
import org.springframework.web.bind.annotation.GetMapping;
|
||||
import org.springframework.web.bind.annotation.PostMapping;
|
||||
import org.springframework.web.bind.annotation.RequestMapping;
|
||||
import org.springframework.web.bind.annotation.RequestParam;
|
||||
import org.springframework.web.multipart.MultipartFile;
|
||||
import org.xml.sax.ContentHandler;
|
||||
import org.xml.sax.SAXException;
|
||||
|
||||
@Controller
|
||||
public class MainController {
|
||||
|
||||
private final MainService mainService;
|
||||
|
||||
@Value("${arjion.uploadpath}")
|
||||
private String uploadpath;
|
||||
|
||||
@Value("${arjion.tesseractpath}")
|
||||
private String tesseractpath;
|
||||
|
||||
@Value("${arjion.tesseractdatapath}")
|
||||
private String tesseractdatapath;
|
||||
|
||||
@Autowired
|
||||
public MainController(MainService mainService) {
|
||||
this.mainService = mainService;
|
||||
}
|
||||
|
||||
@RequestMapping(path = "/")
|
||||
public String indexPage(final Model model) {
|
||||
DocumentoVO documentoVO = new DocumentoVO();
|
||||
documentoVO.setCount(mainService.count());
|
||||
documentoVO.setDocumentos(mainService.findAllDocumentos());
|
||||
model.addAttribute("documentoVO", documentoVO);
|
||||
return "index";
|
||||
}
|
||||
|
||||
@GetMapping(path = "/upload")
|
||||
public String upload() {
|
||||
return "redirect:/";
|
||||
}
|
||||
|
||||
@PostMapping(path = "/upload")
|
||||
public String uploadPage(@RequestParam(value = "archivos", required = true) MultipartFile[] archivos,
|
||||
final Model model) throws IOException, TikaException, SAXException {
|
||||
DocumentoVO documentoVO = new DocumentoVO();
|
||||
documentoVO.setCount(mainService.count());
|
||||
documentoVO.setDocumentos(mainService.findAllDocumentos());
|
||||
if (archivos.length > 0) {
|
||||
// Recupera la configuración de Tika
|
||||
TikaConfig tikaConfig = TikaConfig.getDefaultConfig();
|
||||
// Itera los archivos recibidos
|
||||
for (int i = 0; i < archivos.length; i++) {
|
||||
byte[] bytes = archivos[i].getBytes();
|
||||
// Normaliza el título de los archivos
|
||||
String normalized = Normalizer.normalize(archivos[i].getOriginalFilename(), Normalizer.Form.NFD),
|
||||
filename = normalized.replaceAll("\\p{InCombiningDiacriticalMarks}+", "");
|
||||
Path path = Paths.get(uploadpath + filename);
|
||||
// Instancias necesarias
|
||||
Metadata metadata = new Metadata();
|
||||
Parser parser = new AutoDetectParser(tikaConfig);
|
||||
PDFParserConfig pdfConfig = new PDFParserConfig();
|
||||
TesseractOCRConfig tesseractConfig = new TesseractOCRConfig();
|
||||
tesseractConfig.addOtherTesseractConfig("tesseractPath", tesseractpath);
|
||||
tesseractConfig.addOtherTesseractConfig("tessdataPath", tesseractdatapath);
|
||||
tesseractConfig.setLanguage("spa+eng");
|
||||
pdfConfig.setExtractInlineImages(true);
|
||||
ParseContext parseContext = new ParseContext();
|
||||
parseContext.set(TesseractOCRConfig.class, tesseractConfig);
|
||||
parseContext.set(PDFParserConfig.class, pdfConfig);
|
||||
// Usa -1 para no tener límite de 100000 chars
|
||||
ContentHandler handler = new BodyContentHandler(-1);
|
||||
// Castea los bytes al Stream de Tika
|
||||
TikaInputStream stream = TikaInputStream.get(bytes);
|
||||
// Parsea el contenido
|
||||
parser.parse(stream, handler, metadata, parseContext);
|
||||
// Identifica el idioma del archivo
|
||||
List<LanguageProfile> languageProfiles = new LanguageProfileReader().readAllBuiltIn();
|
||||
LanguageDetector detector = LanguageDetectorBuilder.create(NgramExtractors.standard())
|
||||
.withProfiles(languageProfiles).build();
|
||||
TextObjectFactory textObjectFactory = CommonTextObjectFactories.forDetectingOnLargeText();
|
||||
String language = detector.detect(textObjectFactory.forText(handler.toString())).isPresent()
|
||||
? detector.detect(textObjectFactory.forText(handler.toString())).get().getLanguage()
|
||||
: "";
|
||||
// Almacena en elasticsearch
|
||||
String[] names = metadata.names();
|
||||
Map<String, String> meta = new HashMap<String, String>();
|
||||
for (int j = 0; j < names.length; j++) {
|
||||
for (int k = 0; k < metadata.getValues(names[j]).length; k++) {
|
||||
meta.put(names[j], metadata.getValues(names[j])[k]);
|
||||
}
|
||||
}
|
||||
if (!mainService.save(new Documento(filename, Long.valueOf(archivos[i].getSize()).intValue(), meta,
|
||||
handler.toString(), language))) {
|
||||
return "exists";
|
||||
} else {
|
||||
// Guarda el archivo en el directorio configurado en las properties
|
||||
Files.write(path, bytes);
|
||||
}
|
||||
// Añade los parámetros al VO para mostrar en la vista
|
||||
documentoVO.getArchivos().add(new Archivo(filename, Long.valueOf(archivos[i].getSize()).intValue(),
|
||||
meta, handler.toString(), language));
|
||||
}
|
||||
}
|
||||
model.addAttribute("documentoVO", documentoVO);
|
||||
return "index";
|
||||
}
|
||||
|
||||
@GetMapping(path = "/detail")
|
||||
public String detail(final Model model, @RequestParam(value = "nombre", required = true) String nombre)
|
||||
throws IOException {
|
||||
DetailVO detailVO = new DetailVO();
|
||||
Documento doc = mainService.findOne(nombre);
|
||||
detailVO.setArchivo(new Archivo(doc.getNombre(), doc.getTamano(), doc.getMetadata(), doc.getContenido(),
|
||||
doc.getLenguaje()));
|
||||
model.addAttribute("detailVO", detailVO);
|
||||
return "detail";
|
||||
}
|
||||
|
||||
@GetMapping(path = "/download")
|
||||
public ResponseEntity<ByteArrayResource> download(
|
||||
@RequestParam(value = "filename", required = true) String filename)
|
||||
throws IOException, MalformedURLException {
|
||||
File file = new File(uploadpath + filename);
|
||||
Path path = Paths.get(file.getAbsolutePath());
|
||||
ByteArrayResource resource = new ByteArrayResource(Files.readAllBytes(path));
|
||||
file.toURI().toURL().openConnection();
|
||||
String type = URLConnection.guessContentTypeFromName(filename);
|
||||
HttpHeaders responseHeaders = new HttpHeaders();
|
||||
responseHeaders.add("Content-Disposition", "attachment; filename=" + URLEncoder.encode(filename, "UTF-8"));
|
||||
return ResponseEntity.ok().contentType(MediaType.parseMediaType(type)).contentLength(file.length())
|
||||
.headers(responseHeaders).body(resource);
|
||||
}
|
||||
}
|
||||
5
src/main/java/com/manalejandro/arjion2/forms/DocumentoForm.java
Archivo normal
5
src/main/java/com/manalejandro/arjion2/forms/DocumentoForm.java
Archivo normal
@@ -0,0 +1,5 @@
|
||||
package com.manalejandro.arjion2.forms;
|
||||
|
||||
public class DocumentoForm {
|
||||
|
||||
}
|
||||
90
src/main/java/com/manalejandro/arjion2/model/Archivo.java
Archivo normal
90
src/main/java/com/manalejandro/arjion2/model/Archivo.java
Archivo normal
@@ -0,0 +1,90 @@
|
||||
package com.manalejandro.arjion2.model;
|
||||
|
||||
import java.util.Map;
|
||||
|
||||
public class Archivo {
|
||||
|
||||
private String nombre;
|
||||
private Integer tamano;
|
||||
private Map<String, String> metadata;
|
||||
private String contenido;
|
||||
private String lenguaje;
|
||||
|
||||
public Archivo(String nombre, Integer tamano, Map<String, String> meta, String contenido, String lenguaje) {
|
||||
this.nombre = nombre;
|
||||
this.tamano = tamano;
|
||||
this.metadata = meta;
|
||||
this.contenido = contenido;
|
||||
this.lenguaje = lenguaje;
|
||||
}
|
||||
|
||||
/**
|
||||
* @return the nombre
|
||||
*/
|
||||
public String getNombre() {
|
||||
return nombre;
|
||||
}
|
||||
|
||||
/**
|
||||
* @return the tamano
|
||||
*/
|
||||
public Integer getTamano() {
|
||||
return tamano;
|
||||
}
|
||||
|
||||
/**
|
||||
* @return the metadata
|
||||
*/
|
||||
public Map<String, String> getMetadata() {
|
||||
return metadata;
|
||||
}
|
||||
|
||||
/**
|
||||
* @return the contenido
|
||||
*/
|
||||
public String getContenido() {
|
||||
return contenido;
|
||||
}
|
||||
|
||||
/**
|
||||
* @param nombre the nombre to set
|
||||
*/
|
||||
public void setNombre(String nombre) {
|
||||
this.nombre = nombre;
|
||||
}
|
||||
|
||||
/**
|
||||
* @param tamano the tamano to set
|
||||
*/
|
||||
public void setTamano(Integer tamano) {
|
||||
this.tamano = tamano;
|
||||
}
|
||||
|
||||
/**
|
||||
* @param metadata the metadata to set
|
||||
*/
|
||||
public void setMetadata(Map<String, String> metadata) {
|
||||
this.metadata = metadata;
|
||||
}
|
||||
|
||||
/**
|
||||
* @param contenido the contenido to set
|
||||
*/
|
||||
public void setContenido(String contenido) {
|
||||
this.contenido = contenido;
|
||||
}
|
||||
|
||||
/**
|
||||
* @return the lenguaje
|
||||
*/
|
||||
public String getLenguaje() {
|
||||
return lenguaje;
|
||||
}
|
||||
|
||||
/**
|
||||
* @param lenguaje the lenguaje to set
|
||||
*/
|
||||
public void setLenguaje(String lenguaje) {
|
||||
this.lenguaje = lenguaje;
|
||||
}
|
||||
}
|
||||
52
src/main/java/com/manalejandro/arjion2/model/Consulta.java
Archivo normal
52
src/main/java/com/manalejandro/arjion2/model/Consulta.java
Archivo normal
@@ -0,0 +1,52 @@
|
||||
package com.manalejandro.arjion2.model;
|
||||
|
||||
import java.util.ArrayList;
|
||||
import java.util.List;
|
||||
|
||||
public class Consulta {
|
||||
private List<Documento> documentos = new ArrayList<Documento>();
|
||||
private String suggest;
|
||||
private List<String> autocomplete = new ArrayList<String>();
|
||||
|
||||
/**
|
||||
* @return the documentos
|
||||
*/
|
||||
public List<Documento> getDocumentos() {
|
||||
return documentos;
|
||||
}
|
||||
|
||||
/**
|
||||
* @return the suggest
|
||||
*/
|
||||
public String getSuggest() {
|
||||
return suggest;
|
||||
}
|
||||
|
||||
/**
|
||||
* @return the autocomplete
|
||||
*/
|
||||
public List<String> getAutocomplete() {
|
||||
return autocomplete;
|
||||
}
|
||||
|
||||
/**
|
||||
* @param documentos the documentos to set
|
||||
*/
|
||||
public void setDocumentos(List<Documento> documentos) {
|
||||
this.documentos = documentos;
|
||||
}
|
||||
|
||||
/**
|
||||
* @param suggest the suggest to set
|
||||
*/
|
||||
public void setSuggest(String suggest) {
|
||||
this.suggest = suggest;
|
||||
}
|
||||
|
||||
/**
|
||||
* @param autocomplete the autocomplete to set
|
||||
*/
|
||||
public void setAutocomplete(List<String> autocomplete) {
|
||||
this.autocomplete = autocomplete;
|
||||
}
|
||||
}
|
||||
110
src/main/java/com/manalejandro/arjion2/model/Documento.java
Archivo normal
110
src/main/java/com/manalejandro/arjion2/model/Documento.java
Archivo normal
@@ -0,0 +1,110 @@
|
||||
package com.manalejandro.arjion2.model;
|
||||
|
||||
import com.fasterxml.jackson.annotation.JsonCreator;
|
||||
import com.fasterxml.jackson.annotation.JsonProperty;
|
||||
|
||||
import java.util.Map;
|
||||
|
||||
import org.springframework.data.annotation.Id;
|
||||
import org.springframework.data.elasticsearch.annotations.Document;
|
||||
import org.springframework.data.elasticsearch.annotations.Mapping;
|
||||
import org.springframework.data.elasticsearch.annotations.Setting;
|
||||
import org.springframework.data.elasticsearch.annotations.WriteTypeHint;
|
||||
|
||||
@Document(indexName = "#{@indexName}", writeTypeHint = WriteTypeHint.FALSE)
|
||||
@Setting(settingPath = "/elasticsearch/settings.json", indexStoreType = "#{@documentType}")
|
||||
@Mapping(mappingPath = "/elasticsearch/mapping.json")
|
||||
public class Documento {
|
||||
@Id
|
||||
public String nombre;
|
||||
public Integer tamano;
|
||||
public Map<String, String> metadata;
|
||||
public String contenido;
|
||||
public String lenguaje;
|
||||
|
||||
@JsonCreator
|
||||
public Documento(@JsonProperty("nombre") String nombre, @JsonProperty("tamano") Integer tamano,
|
||||
@JsonProperty("metadata") Map<String, String> metadata, @JsonProperty("contenido") String contenido,
|
||||
@JsonProperty("lenguaje") String lenguaje) {
|
||||
this.nombre = nombre;
|
||||
this.tamano = tamano;
|
||||
this.metadata = metadata;
|
||||
this.contenido = contenido;
|
||||
this.lenguaje = lenguaje;
|
||||
}
|
||||
|
||||
/**
|
||||
* @return the nombre
|
||||
*/
|
||||
@JsonProperty("nombre")
|
||||
public String getNombre() {
|
||||
return nombre;
|
||||
}
|
||||
|
||||
/**
|
||||
* @param nombre the nombre to set
|
||||
*/
|
||||
public void setNombre(String nombre) {
|
||||
this.nombre = nombre;
|
||||
}
|
||||
|
||||
/**
|
||||
* @return the tamano
|
||||
*/
|
||||
@JsonProperty("tamano")
|
||||
public Integer getTamano() {
|
||||
return tamano;
|
||||
}
|
||||
|
||||
/**
|
||||
* @param tamano the tamano to set
|
||||
*/
|
||||
public void setTamano(Integer tamano) {
|
||||
this.tamano = tamano;
|
||||
}
|
||||
|
||||
/**
|
||||
* @return the metadata
|
||||
*/
|
||||
@JsonProperty("metadata")
|
||||
public Map<String, String> getMetadata() {
|
||||
return metadata;
|
||||
}
|
||||
|
||||
/**
|
||||
* @param metadata the metadata to set
|
||||
*/
|
||||
public void setMetadata(Map<String, String> metadata) {
|
||||
this.metadata = metadata;
|
||||
}
|
||||
|
||||
/**
|
||||
* @return the contenido
|
||||
*/
|
||||
@JsonProperty("contenido")
|
||||
public String getContenido() {
|
||||
return contenido;
|
||||
}
|
||||
|
||||
/**
|
||||
* @param contenido the contenido to set
|
||||
*/
|
||||
public void setContenido(String contenido) {
|
||||
this.contenido = contenido;
|
||||
}
|
||||
|
||||
/**
|
||||
* @return the lenguaje
|
||||
*/
|
||||
@JsonProperty("lenguaje")
|
||||
public String getLenguaje() {
|
||||
return lenguaje;
|
||||
}
|
||||
|
||||
/**
|
||||
* @param lenguaje the lenguaje to set
|
||||
*/
|
||||
public void setLenguaje(String lenguaje) {
|
||||
this.lenguaje = lenguaje;
|
||||
}
|
||||
}
|
||||
11
src/main/java/com/manalejandro/arjion2/repositories/MainRepository.java
Archivo normal
11
src/main/java/com/manalejandro/arjion2/repositories/MainRepository.java
Archivo normal
@@ -0,0 +1,11 @@
|
||||
package com.manalejandro.arjion2.repositories;
|
||||
|
||||
import org.springframework.data.elasticsearch.repository.ReactiveElasticsearchRepository;
|
||||
import org.springframework.stereotype.Repository;
|
||||
|
||||
import com.manalejandro.arjion2.model.Documento;
|
||||
|
||||
@Repository
|
||||
public interface MainRepository extends ReactiveElasticsearchRepository<Documento, String> {
|
||||
|
||||
}
|
||||
23
src/main/java/com/manalejandro/arjion2/services/MainService.java
Archivo normal
23
src/main/java/com/manalejandro/arjion2/services/MainService.java
Archivo normal
@@ -0,0 +1,23 @@
|
||||
package com.manalejandro.arjion2.services;
|
||||
|
||||
import java.util.List;
|
||||
|
||||
import org.springframework.data.domain.Pageable;
|
||||
|
||||
import com.manalejandro.arjion2.model.Consulta;
|
||||
import com.manalejandro.arjion2.model.Documento;
|
||||
|
||||
public interface MainService {
|
||||
|
||||
public boolean save(Documento doc);
|
||||
|
||||
public long count();
|
||||
|
||||
public List<Documento> findAllDocumentos();
|
||||
|
||||
public Documento findOne(String nombre);
|
||||
|
||||
public Integer maxTamano();
|
||||
|
||||
public Consulta search(String busqueda, String[] tipo, Integer tamano, Pageable pageable);
|
||||
}
|
||||
127
src/main/java/com/manalejandro/arjion2/services/MainServiceImpl.java
Archivo normal
127
src/main/java/com/manalejandro/arjion2/services/MainServiceImpl.java
Archivo normal
@@ -0,0 +1,127 @@
|
||||
package com.manalejandro.arjion2.services;
|
||||
|
||||
import java.util.ArrayList;
|
||||
import java.util.List;
|
||||
|
||||
import com.fasterxml.jackson.core.JsonProcessingException;
|
||||
import com.fasterxml.jackson.databind.ObjectMapper;
|
||||
import com.manalejandro.arjion2.model.Consulta;
|
||||
import com.manalejandro.arjion2.model.Documento;
|
||||
import com.manalejandro.arjion2.repositories.MainRepository;
|
||||
|
||||
import org.elasticsearch.action.search.SearchResponse;
|
||||
import org.elasticsearch.client.Client;
|
||||
import org.elasticsearch.index.query.BoolQueryBuilder;
|
||||
import org.elasticsearch.index.query.QueryBuilders;
|
||||
import org.elasticsearch.search.aggregations.AggregationBuilder;
|
||||
import org.elasticsearch.search.aggregations.AggregationBuilders;
|
||||
import org.elasticsearch.search.suggest.Suggest.Suggestion.Entry;
|
||||
import org.elasticsearch.search.suggest.Suggest.Suggestion.Entry.Option;
|
||||
import org.elasticsearch.search.suggest.SuggestBuilder;
|
||||
import org.elasticsearch.search.suggest.SuggestBuilders;
|
||||
import org.springframework.beans.factory.annotation.Autowired;
|
||||
import org.springframework.beans.factory.annotation.Value;
|
||||
import org.springframework.context.ApplicationContext;
|
||||
import org.springframework.data.domain.Pageable;
|
||||
import org.springframework.data.domain.Sort;
|
||||
import org.springframework.stereotype.Service;
|
||||
|
||||
@Service
|
||||
public class MainServiceImpl implements MainService {
|
||||
|
||||
private final ApplicationContext appContext;
|
||||
private final MainRepository mainRepository;
|
||||
|
||||
@Value("#{@indexName}")
|
||||
private String index;
|
||||
@Value("#{@documentType}")
|
||||
private String document;
|
||||
|
||||
@Autowired
|
||||
public MainServiceImpl(MainRepository mainRepository, ApplicationContext appContext) {
|
||||
this.mainRepository = mainRepository;
|
||||
this.appContext = appContext;
|
||||
}
|
||||
|
||||
@Override
|
||||
public boolean save(Documento doc) {
|
||||
if (!mainRepository.existsById(doc.nombre).block()) {
|
||||
if (mainRepository.save(doc).block() != null)
|
||||
return true;
|
||||
else
|
||||
return false;
|
||||
} else
|
||||
return false;
|
||||
}
|
||||
|
||||
@Override
|
||||
public long count() {
|
||||
return mainRepository.count().block();
|
||||
}
|
||||
|
||||
@Override
|
||||
public List<Documento> findAllDocumentos() {
|
||||
return mainRepository.findAll().collectList().block();
|
||||
}
|
||||
|
||||
@Override
|
||||
public Documento findOne(String nombre) {
|
||||
return mainRepository.findById(nombre).block();
|
||||
}
|
||||
|
||||
@Override
|
||||
public Integer maxTamano() {
|
||||
return mainRepository.findAll(Sort.by(Sort.Direction.DESC, "tamano")).blockFirst().getTamano();
|
||||
}
|
||||
|
||||
@Override
|
||||
public Consulta search(String busqueda, String[] tipo, Integer tamano, Pageable pageable) {
|
||||
Client client = (Client) appContext.getBean("client");
|
||||
BoolQueryBuilder boolQueryBuilder = QueryBuilders.boolQuery();
|
||||
if (busqueda != null && !"null".equals(busqueda) && !busqueda.isEmpty()) {
|
||||
boolQueryBuilder.must(QueryBuilders.matchQuery("nombre", busqueda));
|
||||
boolQueryBuilder.should(QueryBuilders.matchQuery("contenido", busqueda));
|
||||
}
|
||||
if (tipo != null && tipo.length > 0)
|
||||
boolQueryBuilder.filter(QueryBuilders.termsQuery("tipo", tipo));
|
||||
if (tamano != null && tamano >= 0)
|
||||
boolQueryBuilder.must(QueryBuilders.rangeQuery("tamano").to(tamano).includeUpper(true));
|
||||
AggregationBuilder aggregation = AggregationBuilders.terms("by_xarchivo").field("x_archivo").size(10000);
|
||||
SuggestBuilder suggest = new SuggestBuilder()
|
||||
.addSuggestion("suggest", SuggestBuilders.completionSuggestion("nombre").text(busqueda).size(10))
|
||||
.addSuggestion("phrase", SuggestBuilders.phraseSuggestion("nombre").text(busqueda).size(1)
|
||||
.realWordErrorLikelihood((float) 0.95).maxErrors((float) 0.5).gramSize(2));
|
||||
System.out.println(boolQueryBuilder);
|
||||
SearchResponse response = client.prepareSearch(index).setQuery(boolQueryBuilder).addAggregation(aggregation)
|
||||
.suggest(suggest).setSize(pageable.getPageSize()).setFrom(pageable.getPageNumber()).execute()
|
||||
.actionGet();
|
||||
Consulta consulta = new Consulta();
|
||||
consulta.setSuggest(response.getSuggest().getSuggestion("phrase").getEntries().get(0).getOptions().size() > 0
|
||||
? response.getSuggest().getSuggestion("phrase").getEntries().get(0).getOptions().get(0).getText()
|
||||
.string()
|
||||
: "");
|
||||
for (Entry<? extends Option> entry : response.getSuggest().getSuggestion("suggest").getEntries()) {
|
||||
entry.getOptions().forEach(option -> {
|
||||
String suggestText = option.getText().string().trim(),
|
||||
autocompleteClean = busqueda.replaceAll("[^\\p{Alnum}\\p{IsAlphabetic} ]", "");
|
||||
for (String item : autocompleteClean.split(" ")) {
|
||||
if (item.length() > 0) {
|
||||
consulta.getAutocomplete().add(
|
||||
suggestText.replaceAll("(?i)((?!<)" + item + "(?![^<>]*>))", "<strong>$1</strong>"));
|
||||
}
|
||||
}
|
||||
});
|
||||
}
|
||||
ObjectMapper mapper = new ObjectMapper();
|
||||
List<Documento> documentos = new ArrayList<Documento>();
|
||||
if (response.getHits().getHits().length > 0) {
|
||||
try {
|
||||
documentos = mapper.reader().readValue(response.getHits().getHits().toString());
|
||||
} catch (JsonProcessingException e) {
|
||||
e.printStackTrace();
|
||||
}
|
||||
}
|
||||
consulta.setDocumentos(documentos);
|
||||
return consulta;
|
||||
}
|
||||
}
|
||||
22
src/main/java/com/manalejandro/arjion2/vo/DetailVO.java
Archivo normal
22
src/main/java/com/manalejandro/arjion2/vo/DetailVO.java
Archivo normal
@@ -0,0 +1,22 @@
|
||||
package com.manalejandro.arjion2.vo;
|
||||
|
||||
import com.manalejandro.arjion2.model.Archivo;
|
||||
|
||||
public class DetailVO {
|
||||
|
||||
private Archivo archivo;
|
||||
|
||||
/**
|
||||
* @return the archivo
|
||||
*/
|
||||
public Archivo getArchivo() {
|
||||
return archivo;
|
||||
}
|
||||
|
||||
/**
|
||||
* @param archivo the archivo to set
|
||||
*/
|
||||
public void setArchivo(Archivo archivo) {
|
||||
this.archivo = archivo;
|
||||
}
|
||||
}
|
||||
50
src/main/java/com/manalejandro/arjion2/vo/DocumentoVO.java
Archivo normal
50
src/main/java/com/manalejandro/arjion2/vo/DocumentoVO.java
Archivo normal
@@ -0,0 +1,50 @@
|
||||
package com.manalejandro.arjion2.vo;
|
||||
|
||||
import java.util.ArrayList;
|
||||
import java.util.List;
|
||||
|
||||
import com.manalejandro.arjion2.model.Archivo;
|
||||
import com.manalejandro.arjion2.model.Documento;
|
||||
|
||||
public class DocumentoVO {
|
||||
|
||||
private List<Archivo> archivos = new ArrayList<Archivo>();
|
||||
private long count;
|
||||
private List<Documento> documentos = new ArrayList<Documento>();
|
||||
|
||||
/**
|
||||
* @return the archivos
|
||||
*/
|
||||
public List<Archivo> getArchivos() {
|
||||
return archivos;
|
||||
}
|
||||
|
||||
/**
|
||||
* @param archivos the archivos to set
|
||||
*/
|
||||
public void setArchivos(List<Archivo> archivos) {
|
||||
this.archivos = archivos;
|
||||
}
|
||||
|
||||
public long getCount() {
|
||||
return count;
|
||||
}
|
||||
|
||||
public void setCount(long count) {
|
||||
this.count = count;
|
||||
}
|
||||
|
||||
/**
|
||||
* @return the documentos
|
||||
*/
|
||||
public List<Documento> getDocumentos() {
|
||||
return documentos;
|
||||
}
|
||||
|
||||
/**
|
||||
* @param documentos the documentos to set
|
||||
*/
|
||||
public void setDocumentos(List<Documento> documentos) {
|
||||
this.documentos = documentos;
|
||||
}
|
||||
}
|
||||
19
src/main/resources/application.properties
Archivo normal
19
src/main/resources/application.properties
Archivo normal
@@ -0,0 +1,19 @@
|
||||
server.servlet.context-path=/arjion2
|
||||
server.port=8080
|
||||
elasticsearch.clustername=elasticsearch
|
||||
elasticsearch.host=elasticsearch
|
||||
elasticsearch.port=9200
|
||||
elasticsearch.nodename=arjion2
|
||||
arjion.indexName=documentos
|
||||
arjion.documentType=documento
|
||||
arjion.uploadpath=/upload/
|
||||
arjion.tesseractpath=/usr/bin
|
||||
arjion.tesseractdatapath=/usr/share/tesseract-ocr
|
||||
spring.main.allow-bean-definition-overriding=true
|
||||
spring.thymeleaf.enabled=true
|
||||
spring.thymeleaf.prefix=classpath:/templates/
|
||||
spring.thymeleaf.suffix=.html
|
||||
spring.thymeleaf.cache=false
|
||||
spring.servlet.multipart.max-file-size=20MB
|
||||
spring.servlet.multipart.max-request-size=100MB
|
||||
spring.codec.max-in-memory-size=20MB
|
||||
30
src/main/resources/elasticsearch/mapping.json
Archivo normal
30
src/main/resources/elasticsearch/mapping.json
Archivo normal
@@ -0,0 +1,30 @@
|
||||
{
|
||||
"properties": {
|
||||
"documento": {
|
||||
"properties": {
|
||||
"@timestamp": {
|
||||
"type": "date",
|
||||
"format": "strict_date_optional_time||epoch_millis"
|
||||
},
|
||||
"@version": {
|
||||
"type": "keyword"
|
||||
},
|
||||
"nombre": {
|
||||
"type": "text"
|
||||
},
|
||||
"tamano": {
|
||||
"type": "long"
|
||||
},
|
||||
"metadata": {
|
||||
"type": "object"
|
||||
},
|
||||
"contenido": {
|
||||
"type": "text"
|
||||
},
|
||||
"lenguaje": {
|
||||
"type": "keyword"
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
6
src/main/resources/elasticsearch/settings.json
Archivo normal
6
src/main/resources/elasticsearch/settings.json
Archivo normal
@@ -0,0 +1,6 @@
|
||||
{
|
||||
"index": {
|
||||
"number_of_shards": "1",
|
||||
"number_of_replicas": "1"
|
||||
}
|
||||
}
|
||||
4
src/main/resources/static/css/main.css
Archivo normal
4
src/main/resources/static/css/main.css
Archivo normal
@@ -0,0 +1,4 @@
|
||||
hr {
|
||||
width: 100%;
|
||||
text-align: center;
|
||||
}
|
||||
0
src/main/resources/static/js/main.js
Archivo normal
0
src/main/resources/static/js/main.js
Archivo normal
37
src/main/resources/templates/detail.html
Archivo normal
37
src/main/resources/templates/detail.html
Archivo normal
@@ -0,0 +1,37 @@
|
||||
<!DOCTYPE html>
|
||||
<html>
|
||||
<header th:insert="fragments/header.html :: header"> </header>
|
||||
<body>
|
||||
<header class="text-center">
|
||||
<a th:href="@{/}" class="text-decoration-none">
|
||||
<h1 class="text-primary">Arjion2</h1>
|
||||
</a>
|
||||
<h3 class="text-warning">[[${detailVO.archivo.nombre}]]</h3>
|
||||
</header>
|
||||
<section class="col-md-12">
|
||||
<hr>
|
||||
</section>
|
||||
<section
|
||||
class="col-md-6 offset-md-3 justify-content-center text-center">
|
||||
<span class="col-md-1 text-muted">Tamaño</span> <span
|
||||
class="col-md-11 text-muted">[[${detailVO.archivo.tamano}]]
|
||||
bytes</span> <span class="col-md-1 text-muted"
|
||||
th:if="${!#strings.isEmpty(detailVO.archivo.lenguaje)}">-
|
||||
Lenguaje</span> <span class="col-md-11 text-muted"
|
||||
th:if="${!#strings.isEmpty(detailVO.archivo.lenguaje)}">[[${detailVO.archivo.lenguaje}]]</span>
|
||||
<br /> <span class="col-md-12 text-success">Metadatos</span>
|
||||
<ul class="col-md-6 offset-md-3 text-success text-start">
|
||||
<li th:each="meta : ${detailVO.archivo.metadata}"><span
|
||||
th:text="${meta.key}"></span>: <span th:text="${meta.value}"></span></li>
|
||||
</ul>
|
||||
<span class="col-md-12 text-warning">Contenido</span>
|
||||
<pre class="col-md-12 text-warning">[[${detailVO.archivo.contenido}]]</pre>
|
||||
</div>
|
||||
</section>
|
||||
<section class="col-md-12">
|
||||
<hr>
|
||||
</section>
|
||||
<footer th:insert="fragments/footer.html :: footer"> </footer>
|
||||
</body>
|
||||
|
||||
</html>
|
||||
9
src/main/resources/templates/error.html
Archivo normal
9
src/main/resources/templates/error.html
Archivo normal
@@ -0,0 +1,9 @@
|
||||
<!DOCTYPE html>
|
||||
<html>
|
||||
<header th:insert="fragments/header.html :: header"> </header>
|
||||
<body class="text-center">
|
||||
<h2 class="h2 text-danger">Error</h2>
|
||||
<footer th:insert="fragments/footer.html :: footer"> </footer>
|
||||
</body>
|
||||
|
||||
</html>
|
||||
10
src/main/resources/templates/exists.html
Archivo normal
10
src/main/resources/templates/exists.html
Archivo normal
@@ -0,0 +1,10 @@
|
||||
<!DOCTYPE html>
|
||||
<html>
|
||||
<header th:insert="fragments/header.html :: header"> </header>
|
||||
<body class="text-center">
|
||||
<h2 class="h2 text-danger">Error</h2>
|
||||
<h4 class="h4 text-danger">El archivo ya existe o hubo un error</h4>
|
||||
<footer th:insert="fragments/footer.html :: footer"> </footer>
|
||||
</body>
|
||||
|
||||
</html>
|
||||
6
src/main/resources/templates/fragments/footer.html
Archivo normal
6
src/main/resources/templates/fragments/footer.html
Archivo normal
@@ -0,0 +1,6 @@
|
||||
<footer th:fragment="footer" class="col-md-12 text-center">
|
||||
<span class="col-md-12"> <a class="btn btn-primary"
|
||||
th:href="@{/}">Volver</a>
|
||||
</span><br />
|
||||
<span>©2021</span>
|
||||
</footer>
|
||||
10
src/main/resources/templates/fragments/header.html
Archivo normal
10
src/main/resources/templates/fragments/header.html
Archivo normal
@@ -0,0 +1,10 @@
|
||||
<head th:fragment="header">
|
||||
<meta charset="UTF-8">
|
||||
<title>Arjion2</title>
|
||||
<link rel="stylesheet"
|
||||
th:href="@{/webjars/bootstrap/5.1.3/css/bootstrap.min.css}">
|
||||
<link rel="stylesheet" th:href="@{/css/main.css}">
|
||||
<script th:src="@{/webjars/jquery/3.6.0/jquery.min.js}"></script>
|
||||
<script th:src="@{/webjars/bootstrap/5.1.3/js/bootstrap.min.js}"></script>
|
||||
<script th:src="@{/js/main.js}"></script>
|
||||
</head>
|
||||
65
src/main/resources/templates/index.html
Archivo normal
65
src/main/resources/templates/index.html
Archivo normal
@@ -0,0 +1,65 @@
|
||||
<!DOCTYPE html>
|
||||
<html>
|
||||
<header th:insert="fragments/header.html :: header"> </header>
|
||||
<body class="container-fluid">
|
||||
<header class="row justify-content-center text-center">
|
||||
<a th:href="@{/}" class="text-decoration-none">
|
||||
<h1 class="text-primary">Arjion2</h1>
|
||||
</a>
|
||||
<h3 class="text-warning">[[${documentoVO.count}]] archivos</h3>
|
||||
</header>
|
||||
<form method="post" enctype="multipart/form-data"
|
||||
class="row justify-content-center text-center" th:action="@{/upload}"
|
||||
th:object="${documentForm}">
|
||||
<div class="col-md-4">
|
||||
<label class="input-group-text"> <input type="file"
|
||||
name="archivos" class="form-control" multiple="multiple" required />
|
||||
|
||||
<button class="btn btn-primary" type="submit" value="Enviar">Enviar</button>
|
||||
</label>
|
||||
</div>
|
||||
</form>
|
||||
<hr class="col-md-12">
|
||||
<section class="row">
|
||||
<div th:each="arc : ${documentoVO.archivos}"
|
||||
class="col-md-6 offset-md-3">
|
||||
<span class="col-md-1 text-primary lead">Nombre</span> <span
|
||||
class="col-md-11 text-primary lead">[[${arc.nombre}]]</span><br />
|
||||
<span class="col-md-1 text-muted">Tamaño</span> <span
|
||||
class="col-md-11 text-muted">[[${arc.tamano}]] bytes</span><br /> <span
|
||||
class="col-md-1 text-muted"
|
||||
th:if="${!#strings.isEmpty(arc.lenguaje)}">Lenguaje</span> <span
|
||||
class="col-md-11 text-muted"
|
||||
th:if="${!#strings.isEmpty(arc.lenguaje)}">[[${arc.lenguaje}]]</span><br />
|
||||
<span class="col-md-1 text-success">Metadatos</span> <span
|
||||
class="col-md-11 text-success"><ul>
|
||||
<li th:each="meta : ${arc.metadata}"><span
|
||||
th:text="${meta.key}"></span>: <span th:text="${meta.value}"></span></li>
|
||||
</ul></span> <span class="col-md-1 text-warning">Contenido</span>
|
||||
<pre class="col-md-11 text-warning">[[${arc.contenido}]]</pre>
|
||||
<hr class="col-md-12">
|
||||
</div>
|
||||
</section>
|
||||
<hr class="col-md-12">
|
||||
<section class="row">
|
||||
<div th:each="doc : ${documentoVO.documentos}">
|
||||
<div class="col-md-6 offset-md-3 text-center">
|
||||
<span class="col-md-12 text-primary"> <a
|
||||
th:href="@{'/detail'(nombre=${doc.nombre})}"
|
||||
class="lead text-decoration-none">[[${doc.nombre}]]</a> - <a
|
||||
th:href="@{'/download'(filename=${doc.nombre})}"
|
||||
class="text-decoration-none">download</a> <br />[[${doc.tamano}]]
|
||||
bytes <span th:if="${!#strings.isEmpty(doc.lenguaje)}">-
|
||||
[[${doc.lenguaje}]]</span>
|
||||
</span> <br /> <span class="col-md-12 text-success">[[${#strings.abbreviate(doc.metadata,200)}]]</span>
|
||||
<span class="col-md-12 text-warning">[[${#strings.abbreviate(doc.contenido,200)}]]</span>
|
||||
</div>
|
||||
<span class="col-md-12">
|
||||
<hr>
|
||||
</span>
|
||||
</div>
|
||||
</section>
|
||||
<footer th:insert="fragments/footer.html :: footer"> </footer>
|
||||
</body>
|
||||
|
||||
</html>
|
||||
Referencia en una nueva incidencia
Block a user