Lambda Async failure

Send error event of an Lambda function to SNS Topic

yazar

Lambda Async failure

1. Bài toán

Giả sử chúng ta có một Lambda function tên là ProcessMessages.

SNS InputTopic -> Lambda ProcessMessages

Lambda được invoke async khi có messege publish vào trong SNS topic InputTopic.

Bài toán đặt ra là:

Khi function Lambda “ProcessMessages” xử lý message fail thì hệ thống phải gửi sang một notifi tới SNS Topic “ErroTopic”

Lambda Failure Destination

Với Lambda asynchronous invocation, Lambda không trả lỗi trực tiếp về caller theo kiểu đồng bộ. Thay vào đó, Lambda đưa event vào hàng đợi nội bộ rồi xử lý sau. AWS Lambda có cơ chế retry cho async invocation; mặc định nếu function lỗi, Lambda retry thêm 2 lần. Nếu vẫn lỗi sau các lần retry, Lambda có thể gửi record lỗi đến destination như SNS topic hoặc SQS queue.

SNS InputTopic
↓
Lambda ProcessMessages
↓ nếu xử lý thất bại
SNS ErrorTopic
↓
Email notification

Kiến trúc lab

Ta sẽ thực hiên các task chính:

  1. Tạo SNS topic InputTopic
  2. Tạo SNS topic ErrorTopic
  3. Tạo Lambda function ProcessMessages
  4. Subscribe Lambda vào InputTopic
  5. Subscribe email vào ErrorTopic
  6. Cấu hình Lambda async failure destination trỏ về ErrorTopic
  7. Publish message vào InputTopic
  8. Lambda cố tình throw error
  9. Nhận email alert từ ErrorTopic

Hands on Lab bằng AWS Console

*Bước 1: Tạo SNS topic InputTopic
*
Vào AWS Console:

Amazon SNS → Topics → Create topic

Chọn:

Type: Standard
Name: InputTopic

Bấm:

Create topic. Lưu lại ARN của topic này, ví dụ:
arn:aws:sns:ap-southeast-1:123456789012:InputTopic

Create Topic

Created the Topic

Bước 2: Tạo SNS topic ErrorTopic

Tạo topic thứ hai:

Amazon SNS → Topics → Create topic

Chọn:

Type: Standard
Name: ErrorTopic

Bấm:

Create topic

Topic này sẽ nhận failure notification từ Lambda.

Bước 3: Subscribe email vào ErrorTopic

Vào topic ErrorTopic:

Subscriptions → Create subscription

Chọn:

Protocol: Email
Endpoint: email của bạn

Ví dụ:

[email protected]

Bấm:

Create subscription

Subcription

Sau đó mở email và bấm Confirm subscription. (Có thể vẫn bị nằm trong thư mục Spam)

Nếu chưa confirm email subscription, SNS sẽ không gửi notification đến email của bạn.

  1. Tạo Lambda function ProcessMessages

Vào:

AWS Lambda → Functions → Create function

Chọn:

Author from scratch
Function name: ProcessMessages
Runtime: Python 3.12 hoặc Node.js 20.x
Architecture: x86_64

Bấm:

Create function

  1. Code Lambda cố tình fail

Dùng Python cho dễ test.

Trong Lambda code editor, thay code bằng:

import json

def lambda_handler(event, context):
print(“Received event:”)
print(json.dumps(event))

# Giả lập xử lý message thất bại
raise Exception("Simulated processing failure from ProcessMessages")

Bấm:

Deploy

Ý nghĩa code này:

Mỗi khi Lambda nhận message từ InputTopic, nó sẽ cố tình throw exception.
Sau retry async thất bại, Lambda sẽ gửi failure record sang ErrorTopic.

  1. Gắn InputTopic làm trigger cho Lambda

Trong Lambda ProcessMessages, vào tab:

Configuration → Triggers → Add trigger

Chọn:

Source: SNS
SNS topic: InputTopic

Bấm:

Add

Lúc này flow đã có:

InputTopic → ProcessMessages

Theo AWS, Lambda có thể được invoke bởi SNS notification và Lambda xử lý SNS message theo cơ chế asynchronous.

  1. Cấu hình Failure Destination cho Lambda

Đây là phần quan trọng nhất.

Trong Lambda ProcessMessages, vào:

Configuration → Asynchronous invocation

Bấm:

Edit

Tìm phần:

Destination on failure

Chọn:

SNS topic

Sau đó chọn topic:

ErrorTopic

Hoặc nhập ARN của ErrorTopic.

Bấm:

Save

AWS Console cũng hướng dẫn cấu hình async invocation tại Lambda function bằng đường dẫn Configuration → Asynchronous invocation → Edit.

  1. Kiểm tra IAM permission

Thông thường khi bạn cấu hình qua Console, AWS có thể tự thêm permission cần thiết hoặc yêu cầu bạn cấp quyền.

Lambda execution role cần quyền publish message vào SNS ErrorTopic.

Policy tối thiểu có dạng:

{
“Effect”: “Allow”,
“Action”: “sns:Publish”,
“Resource”: “arn:aws:sns:REGION:ACCOUNT_ID:ErrorTopic”
}

Ví dụ:

{
“Effect”: “Allow”,
“Action”: “sns:Publish”,
“Resource”: “arn:aws:sns:ap-southeast-1:123456789012:ErrorTopic”
}

Nếu thiếu quyền, Lambda có thể fail khi gửi record sang destination. AWS có metric DestinationDeliveryFailures để theo dõi trường hợp Lambda không gửi được event đến destination do lỗi permission, cấu hình sai hoặc giới hạn kích thước.

  1. Test bằng cách publish message vào InputTopic

Vào:

Amazon SNS → Topics → InputTopic → Publish message

Nhập:

Subject: Test Lambda Failure
Message body:
{
“orderId”: “12345”,
“action”: “process”
}

Bấm:

Publish message

Sau đó flow sẽ chạy:

InputTopic nhận message
→ SNS invoke Lambda ProcessMessages
→ Lambda throw exception
→ Lambda retry async
→ Sau khi fail hết retry
→ Lambda gửi failure record sang ErrorTopic
→ ErrorTopic gửi email cho bạn

  1. Kiểm tra CloudWatch Logs

Vào:

CloudWatch → Log groups

Tìm log group:

/aws/lambda/ProcessMessages

Bạn sẽ thấy log kiểu:

Received event:
…
Exception: Simulated processing failure from ProcessMessages

Điều này chứng minh Lambda đã nhận event từ SNS nhưng xử lý thất bại.

13. Kiểm tra email từ ErrorTopic
Sau một lúc, bạn sẽ nhận được email từ SNS ErrorTopic.

Nội dung email thường không chỉ có message gốc, mà còn có thông tin failure record từ Lambda, bao gồm các thông tin như:

  • requestContext
  • responseContext
  • functionError
  • approximateInvokeCount
  • requestPayload
  • responsePayload

Đây là lý do Lambda destination hữu ích hơn việc chỉ gửi message lỗi thủ công. Nó cho ta context về invocation thất bại.

*Dọn dẹp tài nguyên sau lab
*
Để tránh phát sinh chi phí hoặc rác tài nguyên, xóa các resource sau:

Lambda function: ProcessMessages
SNS topic: InputTopic
SNS topic: ErrorTopic
CloudWatch log group: /aws/lambda/ProcessMessages

Vào CloudWatch xóa log group nếu không cần giữ log.