[우리FISA 클라우드 엔지니어링] 2주차 회고

2주차는 정말 눈 깜짝할 새에 지나간 거 같다🙀

새롭게 배운 주제들도 많았는데 심지어 양까지 많아서 그날그날 최대한 배운 내용들을 TIL 마크다운 파일로 기록해놓고자 노력했다.

2주차 TIL 보러가기👆🏻

TIL/Woori-FISA/week2 at main · 2oo1s/TIL

그러면 2주차 회고 시작🔥

 

월요일

배운 내용들 중 Stream API 활용방법이 가장 인상깊었다.

사실 이제까지 코테를 보거나 프로젝트를 진행할 때 익숙하지 않아 활용해본 적이 없었는데, 사용해서 코드를 작성하니 훨씬 코드가 간결하고 가독성이 높아보였다.

 

코드를 보면서 직접 비교해보자✅

List<String> datas2 = Arrays.asList("1", "2", "3", "4", "5");

// Stream API 사용
System.out.println(datas2.stream().mapToDouble(Double::parseDouble).sum());      // 15.0

// Stream API 사용 X
double sum = 0.0;
for (String str : datas2)
    sum += Double.parseDouble(str);
System.out.println(sum);

위 코드는 List에 담긴 문자열을 숫자로 변환 후 합계를 구하는 2가지 방식이다.

두 방식을 비교하면, 같은 결과를 반환하지만 Stream API를 사용한 코드가 훨씬 더 간결한 것을 확인할 수 있다.

 

사용해보면서 느낀 점은 알고리즘 문제를 풀 때 바로 적용해봐야겠다는 것이었다.

 긴 코드보다 짧게 코드를 작성하는게 더 편하기도 하지만, 실제로 코테에 작성한 코드가 면접에서까지 언급되기도 하므로

조금 더 효율적으로 코드를 작성할 줄 안다는 보여주기 위해 적극적으로 사용하면서 익숙해져야겠다!!!🔥

 

화요일

Elasticsearch에서 데이터를 다루는 방법과 Kibana를 사용하여 데이터를 시각화하는 방법에 대해 학습했다.

 

DB 다루는 것을 재밌어하는 나로서 새로운 툴을 활용해서 데이터를 다루는 작업이라 사실 조금 설레기도 했다. 심지어 그동안은 RDBMS만 다뤘는데 Nosql의 데이터를 저장하는 프로그램이라고 하니,,, 더 흥미롭게 느껴졌다🙊

...

그런데 수업을 듣다보니, 의문점이 생겼다.

 

'DB랑 차이가 없어보이는데, Elasticsearch를 써야 돼,,,?'

 

뭔가 검색엔진이라는 Elasticsearch의 차별점을 느끼지 못하여,,, 왜 사용을 해야하는지에 대해 찾아보았다.

찾아보며 내가 정리한 이유는 크게 2가지로,

1) RDBMS에선 불가능한 비정형 데이터의 색인과 검색이 가능

2) 역색인 지원으로 매우 빠른 검색이 가능

이었다.

 

수업 중에는 적은 양의 데이터를 활용해서 직접적으로 느껴지진 않았지만 해당 이유들을 바탕으로 생각해봤을 때,

기업과 같이 대용량 데이터를 활용해야 할 때 2)에서의 역색인 지원이 굉장히 강력한 기능으로 작용할 거 같았다.

 

'역색인' 개념은 아래 사진과 함께 이해해보자🤓

예시 문장 생각해는게 왤케 어렵ㅈi,,,😂

만약, DB에서 'iPhone'이란 단어를 가진 데이터를 추출한다면 왼쪽 표에서 모든 데이터를 조회하며 1, 4, 5번에 해당 데이터가 존재한다는 것을 찾아야한다.

하지만, 역색인 개념을 사용하면 오른쪽 표에서 'iPhone'만 찾으면 1,4,5번에 해당 데이터가 존재한다는 것을 알 수 있다.

 

그러면 자연스럽게 역색인 기능을 사용하면 탐색 속도가 매우 빠르다는 장점까지 있다는 것을 알 수 있다!

수요일

DBeaver 프로그램 환경세팅과 우리카드 데이터를 활용해서 시각화하는 작업을 진행했다.

DBeaver 프로그램은 들어봤지만, 실제로 사용해본 적은 없는 툴이었다.

DBeaver란?
간단하게 말하자면, 무료 멀티 플랫폼 DB 관리도구이다.

좀 더 자세히 얘기해 보자! 우리가 개발을 할 때 하나의 DB만 사용하기보단 2개 이상(MySQL, Oracle, MongoDB, etc ...)의 DB를 사용하는 경우가 많을 텐데 그럴 때마다 MySQL은 workbench로, Oracle은 Oracle 프로그램으로 관리하기엔 번거로움이 있을 것이다.

DBeaver는 다양한 DB(거의 모든 DB 같긴 하다,,,)를 지원하여 사용 중인 DB를 연결하고 쿼리문을 실행할 수 있어서 이런 번거로움을 해소해줄 수 있는 툴이다.

...

수업시간에는 Ubuntu에 설치한 MySQL을 DBeaver에 연결해서 사용하기로 했다.

그런데, 커넥션을 생성하는 과정 중에 위 사진에 보이는 Main탭과 SSH 탭이 비슷한 설정 같은데 각각 어떤 걸 담당하는지 궁금했는데

마침 강사님께서 설명해주셨다!

좌측 이미지는 Main탭으로 리눅스 내에 설치한 MySQL에 접근하기 위한 설정이고,

우측 이미지는 SSH탭으로 리눅스와 연결하는 데에 필요한 설정이었다.

좌) Ubuntu 화면, 우) DBeaver 화면

설정을 완료하면 위 사진처럼 성공적으로 연결이 된 것을 확인할 수 있다!

 

1주차 때와 마찬가지로, 터미널로만 mysql을 활용하기엔 불편함이 있는데 이렇게 툴을 활용해서 접근하니 엄청 편했다😮

(지금까지 사용해보지 못한 툴들을 사용해보니 다양한 툴을 알고 활용하는것이 중요하다는 것도 알게됐다 =D)

 

다음으로, 우리카드 데이터를 사용하여 팀별로 대시보드를 만들었다.

우리팀은 여행/레저/문화 카테고리에 평균적으로 많은 소비를 하는 고객층은 누구인지, 해당 고객층이 거주한 지역 분포 등등을 시각화했다.

 

개인적으로, 위 작업을 진행하면서 굉장히 뜻깊었다. 왜냐면, 금융권에서는 신규 서비스나 신규 상품을 어떻게 기획하는지와 데이터에 어떤 항목들이 어떻게 포함되는지가 항상 늘 궁금했기 때문이다🧐!

물론 지금도 정확하게 서비스가 기획되는 방식에 대해서는 모르지만,,,! 최소한 이러한 데이터를 활용하면 어떤 서비스를 제공했을 때 어떤 고객층의 니즈를 충족시킬 수 있을지에 대한 약간의 인사이트를 도출해낼 수 있겠다라는 생각이 들엇다👏🏻👍🏻 또한, 실제로 방대한 데이터의 양으로부터 새로운 사실에 대해 알게되는 과정도 너무 재밌고 짜릿했다,,, 진짜,,,

목요일

SQL 연습 및 Elasticsearch에서 사용되는 개념에 대해 배웠다.

 

가장 최근에 한 프로젝트에서도 Oracle을 사용했고, 코테에서도 계속 Oracle 문법을 사용했던 터라 오랜만에 MySQL을 사용해서 헷갈리는 문법들이 꽤 있었다.

-- Oracle
SELECT ename, NVL(comm, 0), hiredate
FROM emp
WHERE TO_CHAR(hiredate, 'YYYY-MM-DD') = '2022-10-05'

-- MySQL
SELECT ename, IFNULL(comm, 0), hiredate
FROM emp
WHERE DATE_FORMAT(hiredate,'%Y-%m-%d') = '2022-10-05'

위 코드를 보며 예시를 들자면, Oracle과 MySQL에서 1) NULL값을 치환하는 함수, 2) 날짜 형식을 바꾸는 함수가 다르다.

예시는 아주 일부분이고 다른 문법들이 더 있어 조금 헷갈리지만, 가끔 코테에서 SQL 문제를 풀 때 MySQL로 제한하는 경우도 간혹 있으므로 이번 기회에 MySQL 문법도 다시 정리할 수 있는 좋은 계기가 될 거 같다 =D

 

다음으로, Elasticsearch에서 사용되는 'Text, Keyword' 개념을 배웠는데 수업을 들으면서도 헷갈렸던 부분이라 이번 회고를 쓰면서 다시 한번 더 정리해보고자 한다!🤓

 

Elasticsearch에는 문자열 필드 중 Text와 Keyword가 존재하는데, 두 타입의 검색 & 색인 방식은 다음과 같다.

두 타입의 차이를 예시로 비교하면, Keyword 타입으로 "Hello World"라는 데이터가 들어오면 데이터 그대로 색인되어 검색할 때 "Hello World" 그대로 검색해야 되지만, Text 타입인 경우에는 "Hello", "World"로 데이터가 색인되어 Keyword와 달리 "Hello"라고 검색해도 검색이 된다는 것이다!

금요일

Filebeat와 Logstash를 Elasticsearch와 연결하는 작업을 진행한 후,

window에 설치한 Elasticsearch, Logstash, Filebeat를 우분투에 똑같이 설치하고 환경세팅하는 시간을 가졌다.

자세한 과정은 여기에서 확인할 수 있다!

우분투 내 Elasticsearch 설치하기

월요일에 설치한 ELK 스택의 프로그램을 활용하여 파이프라인을 구축해봤으니 아래 사진을 참고해서 각 프로그램의 역할을 정리해보자📝

• Filebeat
  • 특정 폴더(위치)에 적재되는 데이터를 인지한 후, Logstash로 데이터 전송
• Logstash
  • Filebeat로부터 받은 데이터를 가공하여 Elasticsearch로 전송
  • Logstash를 사용하지 않고 Filebeat에서 Elasticsearch로 바로 데이터를 보낼 수 있지만, 그럴 경우 데이터가 정제되고 않고 불필요한 데이터까지 다수 포함되어 있음
• Elasticsearch
  • DB(데이터 저장), 검색엔진
• Kibana
  • Elasticsearch에 저장된 데이터를 시각화