μΉ΄ν…Œκ³ λ¦¬ 보관물: CLOUD

Cloud와 Data의 혁λͺ…: 2021 6가지 예츑 (From Google)

μ§€λ‚œ ν•΄ 10μ›”λΆ€ν„° ‘OK! Google Cloud Newletter’λ₯Ό κ΅¬λ…ν•˜κ³  μžˆμ—ˆλ‹€. μ˜€λŠ˜μ€ 인프라와 ν΄λΌμš°λ“œ ν”Œλž«νΌμ— 관심이 λ§Žμ€ λ‚˜μ—κ²Œ 식견을 λ„“νž 수 μžˆμ„ λ§Œν•œ 글이 μžˆμ–΄ κΈ°λ‘ν•˜κ³ μž ν•œλ‹€.

이 κΈ€μ˜ 원문은
A revolution is coming for data and the cloud: 6 predictions for 2021이며, μƒκΈ°μ˜ 글이 λ²ˆμ—­λœ ‘OK! Google Cloud Newletter’μ—μ„œ μ°Έκ³ ν•˜μ˜€λ‹€.


1. ν΄λΌμš°λ“œ μ»΄ν“¨νŒ…μ˜ λ‹€μŒ λ‹¨κ³„λŠ” ‘λΉ„μš©+ν˜μ‹ μ˜ 이점’에 κ΄€ν•œ 것이닀.

쑰직 전체에 걸쳐 뢄석 및 AI의 채택이 가속화될 κ²ƒμ΄λž€ 전망이닀.
ν΄λΌμš°λ“œ λ§ˆμ΄κ·Έλ ˆμ΄μ…˜ 1μ„ΈλŒ€λŠ” μ„œλΉ„μŠ€ν˜• μ• ν”Œλ¦¬μΌ€μ΄μ…˜(Application as a Service)에 μ˜ν•΄ μ£Όλ„λ˜μ—ˆλ‹€. νŠΉμ • μ• ν”Œλ¦¬μΌ€μ΄μ…˜μ„ λΉ λ₯΄κ³  μ•ˆμ „ν•˜κ²Œ κ°œλ°œν•  수 μžˆλŠ” 도ꡬλ₯Ό 확보할 수 μžˆμ—ˆλ‹€.
ν΄λΌμš°λ“œ λ§ˆμ΄κ·Έλ ˆμ΄μ…˜ 2μ„ΈλŒ€λŠ” 물리적 데이터 μ„Όν„° λ©”μΈν…Œλ„ŒμŠ€μ—μ„œ λ²—μ–΄λ‚˜κΈ° μœ„ν•΄ 인프라λ₯Ό ν˜„λŒ€ν™”ν–ˆλ‹€. (μ•„λ§ˆ.. 물리 데이터센터λ₯Ό ν΄λΌμš°λ“œ ν™˜κ²½μœΌλ‘œ λ§ˆμ΄κ·Έλ ˆμ΄μ…˜ν–ˆλ‹€λŠ” μ˜λ―ΈμΈκ²ƒ κ°™λ‹€.)
이제 3μ„ΈλŒ€λŠ” 데이터 뢄석 및 AI/ML을 일상적인 λΉ„μ¦ˆλ‹ˆμŠ€ ν”„λ‘œμ„ΈμŠ€μ— λ„μž…ν•˜μ—¬ μ „λ°˜μ μΈ 산업에 영ν–₯을 끼치게 될 것이닀.

2. κ·œμ • μ€€μˆ˜λŠ” λ‹¨μˆœνžˆ μΆ”κ°€ κΈ°λŠ₯ ν•­λͺ©μΌ 수 μ—†λ‹€.

μ΅œμ‹  ν΄λΌμš°λ“œ λͺ¨λΈμ€ 데이터 주ꢌ과 μ ‘κ·Όμ„± λ¬Έμ œμ— λŒ€ν•œ μ •λ°€ 쑰사λ₯Ό κ²¬λ”œ 수 μžˆμ–΄μ•Ό ν•œλ‹€.
ν˜„ μ‹œλŒ€ 기업이 λ³΄μ•ˆ 및 개인 μ •λ³΄λ³΄ν˜Έμ˜ μ€‘μš”ν•œ κ΅¬μ„±μš”μ†Œλ₯Ό λ¬΄μ‹œν•˜κΈ°μ—” μœ„ν—˜μ΄ λ†’λ‹€. μ΄λŸ¬ν•œ κΈ°λ³Έ μš”κ΅¬ 사항을 기반으둜 κ΅¬μΆ•λœ ν΄λΌμš°λ“œ ν”Œλž«νΌμ΄κΈ° λ•Œλ¬Έμ— 기업은 데이터 보호λ₯Ό 보μž₯λ°›μœΌλ©° ν΄λΌμš°λ“œλ‘œ μ „ν™˜ν•  수 μžˆλ‹€.

3. κ°œλ°©ν˜• 인프라가 졜고의 자리λ₯Ό 차지할 것이닀.

2021λ…„κΉŒμ§€ 80% μ΄μƒμ˜ 기업이 λ©€ν‹° ν΄λΌμš°λ“œ λ˜λŠ” ν•˜μ΄λΈŒλ¦¬λ“œ IT μ „λž΅μ„ ꡬ성할 것이닀. κ°œλ°©ν˜• 인프라와 κ°œλ°©ν˜• APIλŠ” μ•žμœΌλ‘œ λ‚˜μ•„κ°ˆ 길이닀.
사싀 λ©€ν‹°ν΄λΌμš°λ“œλ‚˜ ν•˜μ΄λΈŒλ¦¬λ“œ κ΅¬μ‘°λŠ” μ˜ˆμ „λΆ€ν„° 점점 μ¦κ°€ν•˜λŠ” μΆ”μ„Έμ˜€λ‹€. λ‚˜ μ—­μ‹œλ„ 이런 μƒν™©μœΌλ‘œ 인해 AWS, GCPλ₯Ό μˆ˜λ°• 겉ν•₯κΈ°μ‹μœΌλ‘œ κ²½ν—˜ν•΄λ³΄μ•˜λŠ”λ°, 더 관심갖고 κ°œμΈμ μœΌλ‘œλΌλ„ Lab ꡬ성을 ν•΄μ„œ usecaseλ₯Ό κ²½ν—˜ν•΄λ³΄μ•„μ•Όν•  λ“― μ‹Άλ‹€.

4. AI/ML의 νž˜μ„ ν™œμš©ν•˜λŠ”λ° 더 이상 데이터 μ‚¬μ΄μ–ΈμŠ€ ν•™μœ„κ°€ ν•„μš”ν•˜μ§€ μ•Šλ‹€.

일반적으둜 κ΄€λ ¨λœ λͺ¨λ“  μ „λ¬Έ 지식과 μ „λ¬Έ 도ꡬλ₯Ό κ°–μΆ˜ 데이터 μ‚¬μ΄μ–ΈμŠ€λŠ” μ§„μž…μž₯벽이 λ†’μ•˜λ‹€. 높은 μˆ˜μ€€μ˜ μˆ˜ν•™, 컴퓨터 μ‚¬μ΄μ–ΈμŠ€μ˜ 지식을 μš”κ΅¬ν•˜κΈ° λ•Œλ¬Έμ΄λ‹€. ν•˜μ§€λ§Œ 이제 μ™„μ „νžˆ μƒˆλ‘œμš΄ λΆ„μ•Όλ₯Ό 배울 ν•„μš”μ—†μ΄ MLλͺ¨λΈλ§, AI κΈ°λŠ₯을 톡해 데이터 μ‚¬μ΄μ–ΈμŠ€μ— μ ‘κ·Όν•  수 μžˆλ‹€. μ΄λ ‡κ²Œ λœλ‹€λ©΄ κΈ°μ‘΄ λΆ„λ¦¬λœ 데이터 μ‚¬μ΄μ–ΈμŠ€ λͺ¨λΈμ„ μ‚¬μš©ν•˜λŠ” 기업보닀 λΉ λ₯΄κ²Œ 데이터λ₯Ό μˆ˜μ§‘/뢄석/μ²˜λ¦¬ν•  수 μžˆλ‹€.

5. 점점 더 λ§Žμ€ μ „ 세계 κΈ°μ—… 데이터λ₯Ό μ‹€μ‹œκ°„μœΌλ‘œ μ²˜λ¦¬ν•΄μ•Ό ν•œλ‹€.

ν΄λΌμš°λ“œμ— μ €μž₯된 데이터가 데이터 센터에 μ €μž₯된 데이터λ₯Ό λŠ₯κ°€ν•˜λŠ” μ§€μ μœΌλ‘œ λΉ λ₯΄κ²Œ λ„λ‹¬ν•˜κ³  μžˆλ‹€. 2025λ…„κΉŒμ§€ 세계 데이터가 175ZB둜 61% 증가할 κ²ƒμœΌλ‘œ μ˜ˆμƒν•œλ‹€κ³  ν•œλ‹€.

6. 데이터 레이크의 50% 이상이 μ—¬λŸ¬ ν΄λΌμš°λ“œμ™€ μ˜¨ν”„λ ˆλ―ΈμŠ€μ— 걸쳐 μžˆλ‹€.

Β λŒ€κ·œλͺ¨μ˜ λ‹€μ–‘ν•œ μ›μ‹œ 데이터 μ„ΈνŠΈλ₯Ό κΈ°λ³Έ ν˜•μ‹μœΌλ‘œ μ €μž₯ν•˜λŠ” 데이터 리포지토리 μœ ν˜•μ„ 데이터 레이크라 ν•˜λŠ”λ° μ΄λŸ¬ν•œ λ°μ΄ν„°μ—κ²Œ μœ μ—°μ„±μ„ λ”ν•˜κΈ° μœ„ν•΄ κΈ°μ—…μ—μ„œ λ©€ν‹° ν΄λΌμš°λ“œλ₯Ό μ„ νƒν•˜κ³  μžˆλ‹€. 특히, 4λ²ˆμ— μ–ΈκΈ‰λœ AI/ML μ†”λ£¨μ…˜μ„ μ‚¬μš©ν•΄ 데이터 레이크λ₯Ό λ”μš± μ‰½κ²Œ 탐

[AWS] Eventbridge둜 EC2 νŠΉμ • μ‹œκ°„λŒ€λ§ˆλ‹€ μž¬λΆ€νŒ… ν•˜κΈ°

ν…ŒμŠ€νŠΈ 쀑인 AWS EC2κ°€ 자꾸 λ»—λŠ”λ‹€..

μ €λ²ˆμ— ec2 λ©”λͺ¨λ¦¬ μ‚¬μš©λŸ‰ λͺ¨λ‹ˆν„°λ§μ„ μ„€μ •ν•˜κ³  λ³΄λ‹ˆ λ©”λͺ¨λ¦¬κ°€ 점점 μ˜¬λΌκ°„λ‹€. μ½”λ“œ κ΅¬ν˜„ 단계에 λ¬Έμ œκ°€ μžˆμ„ 것 κ°™μœΌλ‚˜, 아직 μ •ν™•ν•œ 원인을 찾지 λͺ»ν–ˆλ‹€.. κ·Έλž˜μ„œ 일단 νŠΉμ • μ‹œκ°„λŒ€λ§ˆλ‹€ EC2κ°€ μ•Œμ•„μ„œ μž¬λΆ€νŒ…λ˜λ„λ‘ ν•˜λŠ”κ²Œ μž„μ‹œλ°©νŽΈμ΄λΌ 방법을 μ°Ύμ•„λ³΄κΈ°λ‘œ ν–ˆλ‹€.

κ·Έλƒ₯ Ubuntu Cron으둜 μž¬λΆ€νŒ… μ‹œν‚¬ 수 μžˆμ„ 것 같은데 κΈ°μ™• AWS μ„œλΉ„μŠ€λ₯Ό μ‚¬μš©ν•΄λ³΄μžν•΄μ„œ 찾게된 μ„œλΉ„μŠ€κ°€ λ°”λ‘œ

EVENTBRIDGE !

μ›λž˜ CloudWatch μ„œλΉ„μŠ€μ— μ†ν•΄μžˆλ˜ μ΄λ²€νŠΈ κΈ°λŠ₯인데, 2019 7μ›” Amazon EventBridge둜 μΆœμ‹œλ˜μ—ˆλ‹€.

2020.12.15 ν˜„μž¬κΉŒμ§€ CloudWatch μ„œλΉ„μŠ€ ν•˜μœ„ μ΄λ²€νŠΈμ™€ EventBridgeκ°€ 연동이 λ˜λ‹ˆ μ°Έκ³ ν•˜μž.

AWS EventBridgeλŠ” 이벀트 μˆ˜μ§‘, 전솑, κΆŒν•œ λΆ€μ—¬, 였λ₯˜ 처리, λ³΄μ•ˆμ„ μžλ™ν™”ν•˜μ—¬ 이벀트 기반 μ• ν”Œλ¦¬μΌ€μ΄μ…˜μ˜ ꡬ좕과 관리더 μžμ„Έν•œ λ‚΄μš©μ€ AWSλ¬Έμ„œλ‘œ!

ㅁ EventBridge μ„€μ •ν•˜κΈ°

1. Amazon EventBridge > 이벀트 > κ·œμΉ™

 2. κ·œμΉ™ 생성

3. μ„€μ •

– 이름과 μ„€λͺ…μ—λŠ” μ›ν•˜λŠ”값을 λ„£μœΌλ©΄ λœλ‹€.

– λ‚˜λŠ” 이 κ·œμΉ™μ΄ 10μ‹œκ°„λ§ˆλ‹€ μžλ™μœΌλ‘œ μž¬λΆ€νŒ… λ˜κΈΈ μ›ν–ˆλ‹€. λ˜ν•œ, μ–΄λŠ μ‹œκ°„λŒ€κ°€ 됐든간 XX:30에 μ§„ν–‰λ˜κΈΈ μ›ν–ˆλ‹€.

κ³ μ • λΉ„μœ¨λ‘œ ν–ˆμ„ λ•Œ, 뢄을 지정할 수 μ—†μ–΄ Cron μ‹μœΌλ‘œ μ„€μ •ν–ˆλ‹€. AWSμ—μ„œμ˜ Cron ν‘œν˜„μ‹μœΌλ‘œ μ•„λž˜μ™€ κ°™λ‹€.

Cron ν‘œν˜„μ‹ (Amazon EventBridge μ‚¬μš© μ„€λͺ…μ„œ , P39)

“30 /10 * * ? *”

λͺ¨λ“  연도 / μ£Ό / μ›” / 일에 ν•  κ±°λ‹€.
맀 10μ‹œκ°„λ§ˆλ‹€, μ‹œκ°„μ€ 항상 “XXμ‹œ 30λΆ„”에 μ§„ν–‰λœλ‹€.

λΌλŠ” λœ»μ„ κ°–κ³  μžˆλŠ” 식이닀.

이 κ·œμΉ™μ˜ λͺ©μ μ€ EC2 μž¬λΆ€νŒ…μ΄λ‹ˆ “EC2 RebootInstances API 호좜”을 μ„ νƒν•˜κ³ , ν•΄λ‹Ήν•˜λŠ” EC2의 μΈμŠ€ν„΄μŠ€ IDλ₯Ό μž…λ ₯ν•œλ‹€. κΈ°μ‘΄ 역할이 μ—†κΈ° λ•Œλ¬Έμ— μƒˆ μ—­ν•  생성에 μ²΄ν¬ν•œλ‹€.

잘 ν–ˆλŠ”μ§€ 마무리 ν™•μΈν•˜κ³  생성을 λˆ„λ₯΄λ©΄ 끝!

κ·œμΉ™ λͺ©λ‘μ— 1개 μΆ”κ°€λœ 것을 λ³Ό 수 μžˆλ‹€.

[AWS] EC2에 Cloudwatch μ—°κ²°ν•΄μ„œ λ©”λͺ¨λ¦¬ μ‚¬μš©λŸ‰ 보기

λ‚œ κ·Έλ™μ•ˆ CloudWatchμ—μ„œ λͺ¨λ“  μ§€ν‘œλ₯Ό λ‹€ λ³Ό 수 μžˆμ„ 쀄 μ•Œμ•˜λ‹€..

EC2 λ©”λͺ¨λ¦¬ μ‚¬μš©λŸ‰μ΄λ˜μ§€.. μ•„λ‹ˆλ©΄ EC2 λ©”λͺ¨λ¦¬ μ‚¬μš©λŸ‰μ΄λ˜μ§€.. μ•„λ‹ˆλ©΄ EC2 λ©”λͺ¨λ¦¬ μ‚¬μš©λŸ‰..μ΄λ˜μ§€…

ν•˜μ§€λ§Œ μ•„λ‹ˆμ˜€λ‹€.. λ©”λͺ¨λ¦¬ μ‚¬μš©λŸ‰ λ΄μ•Όν•˜λŠ”λ°… μ•„……. CPUλž‘ λ„€νŠΈμ›Œν¬ κ΄€λ ¨λœ μ§€ν‘œλ§Œ 보여주넀…

κ·Έλž˜μ„œ 였늘의 λΈ”λ‘œκΉ… μ‹œμž‘!

μ‹œμž‘ μˆœμ„œλŠ” 이렇닀.
EC2 μ—­ν•  μ„€μ • > EC2에 μ—μ΄μ „νŠΈ μ„€μΉ˜ > μ—μ΄μ „νŠΈ μ„€μ •

1. EC2에 IAM μ—­ν•  λΆ€μ—¬ν•˜κΈ°

μ°Έκ³ : https://docs.aws.amazon.com/ko_kr/AmazonCloudWatch/latest/monitoring/download-cloudwatch-agent-commandline.html

  • IAM > μ—­ν•  > μ—­ν•  λ§Œλ“€κΈ°
  • AWS μ„œλΉ„μŠ€ – EC2 선택 및 λ‹€μŒ.
  • μ •μ±… 필터에 “CloudWatchAgentServerPolicy” 검색 ν›„ 선택.
  • μ—­ν•  이름 μž…λ ₯. ( ex. “CloudWatchAgent”)
  • EC2 > μž‘μ—… > λ³΄μ•ˆ > IAM μ—­ν•  μˆ˜μ •
  • IAM μ—­ν•  – 방금 λ§Œλ“  μ—­ν•  선택 및 μ €μž₯.

2. EC2에 μ—μ΄μ „νŠΈ μ„€μΉ˜

https://docs.aws.amazon.com/ko_kr/AmazonCloudWatch/latest/monitoring/download-cloudwatch-agent-commandline.html

λ‚˜μ˜ EC2 μ„œλ²„λŠ” Ubuntu 18.04 / AMD64이닀.
μ„œλ²„ νƒ€μž…κ³Ό μ•„ν‚€ν…μ²˜μ— λ§žλŠ” 버전을 λ‹€μš΄ν•˜μž.

  • μ—μ΄μ „νŠΈ 파일 λ‹€μš΄λ‘œλ“œ
wget https://s3.amazonaws.com/amazoncloudwatch-agent/ubuntu/amd64/latest/amazon-cloudwatch-agent.deb
  • λ‹€μš΄λ‘œλ“œν•œ μ—μ΄μ „νŠΈ 파일 μ„€μΉ˜
dpkg -i amazone-cloudwatch-agent.deb

3. μ—μ΄μ „νŠΈ κ΅¬μ„±νŒŒμΌ 생성 및 μˆ˜μ •

μ—μ΄μ „νŠΈ νŒŒμΌμ€ λ§ˆλ²•μ‚¬λ‘œ κ΅¬μ„±ν•˜κ±°λ‚˜ μˆ˜λ™μœΌλ‘œ ꡬ성할 수 μžˆλ‹€.

  • λ§ˆλ²•μ‚¬λ‘œ μ—μ΄μ „νŠΈ κ΅¬μ„±νŒŒμΌ μƒμ„±ν•˜κΈ°
sudo /opt/aws/amazon-cloudwatch-agent/bin/amazon-cloudwatch-agent-config-wizard

λŒ€λΆ€λΆ„ κΈ°λ³Έκ°’μœΌλ‘œ λ„˜κ²Όλ‹€. 근데 λ§ˆμ§€λ§‰ λΆ€λΆ„μ—μ„œ μ•‘μ„ΈμŠ€ ν‚€λ₯Ό λ“±λ‘ν•˜λΌκ³ .. ν•˜ν•„ λ‚œ.. μ•‘μ„ΈμŠ€ 킀도 μ—†μ—ˆκ³ …. 지식도 μ—†μ—ˆκ³ …..
λ°”λ‘œ AWS λ¬Έμ„œμ— κ°€μ„œ μ•‘μ„ΈμŠ€ ν‚€ 등둝 방법을 ν™•μΈν–ˆλ‹€.

** μ•‘μ„ΈμŠ€ν‚€ λ“±λ‘ν•˜κΈ°
– μ‚¬μš©μž 아이디 > λ‚΄ λ³΄μ•ˆ 자격 증λͺ…

– μ•‘μ„ΈμŠ€ ν‚€ > μƒˆ μ•‘μ„ΈμŠ€ ν‚€ λ§Œλ“€κΈ°

λ§ˆλ²•μ‚¬μ—μ„œ μ•‘μ„ΈμŠ€ν‚€ 물어보면 μ•‘μ„ΈμŠ€ ν‚€λž‘ μ‹œν¬λ¦Ώ λΉ„λ°€λ²ˆν˜Έλ₯Ό κ³ λŒ€λ‘œ λ„£μ–΄μ£Όλ©΄ λœλ‹€.

Successfully put config to parameter store UbuntuCW.
Program exits now.

라고 λ‚˜μ˜€λ©΄ κ΅¬μ„±νŒŒμΌ μ„€μ • λ„μœΌμœΌμ•!

이제 싀행을 μ‹œμΌœλ³΄μž.

sudo /opt/aws/amazon-cloudwatch-agent/bin/amazon-cloudwatch-agent-ctl -a fetch-config -m ec2 -c file:/opt/aws/amazon-cloudwatch-agent/bin/config.json -s

그럼 이제 또 λ‹€λ₯Έ μ—λŸ¬κ°€ 짜쟌!

그래.. types.dbκ°€ μ—†λ‹€κ³ .. λ§Œλ“€μ–΄μ€„κ²Œ..

mkdir /usr/share/collectd
touch /usr/share/collectd/types.db

μ΄λ ‡κ²Œ λ§Œλ“€μ–΄μ£Όκ³  λ‹€μ‹œ μ‹€ν–‰ μ‹œν‚€λ©΄ Successκ°€ λ‚˜μ˜¨λ‹€!

마무리! AWS CloudWatchμ—μ„œ ν™•μΈν•˜κΈ°!

  • CloudWatch > μ§€ν‘œ > CWAgent
CWAgentκ°€ 보인닀.
λ©”λͺ¨λ¦¬ μ‚¬μš©λŸ‰ 확인 성곡!