field limit

[Elasticsearch] "Limit of total fields has been exceeded" 해결

API를 수정하고나서부터 Elasticsearch에 Document가 쌓이지 않는 문제가 발생했다. Logstash 로그 내역을 까보니 다음과 같은 이유로 데이터가 들어오지 않고 있었다. ES에서 field 개수를 기본적으로 1000개로 설정해두고 있어서 error가 떨어지고 있었다. API를 수정하면서 field개수가 1000개를 넘어가서 위와 같이 발생하고 있었다. 내가 생각해본 해결 방법은 3가지였다. 1. API의 데이터를 수정 2. ES의 field 최대 개수를 늘려주는 것 3. Logstash에서 remove field를 통해 불필요한 정보 제거 먼저 1번의 경우, API 데이터는 나만 사용하는 데이터가 아니기 때문에 건들기가 어렵다고 판단하였다. 나는 필요없는 정보일지라도 다른 부서에서는 해..