Hướng Dẫn Logging Custom Handler Trong TorchServe: DEBUG, ERROR, INFO

Bài viết này sẽ hướng dẫn bạn cách tùy chỉnh logging trong custom handler của TorchServe. Chúng ta sẽ khám phá cách ghi các thông điệp log ở các level khác nhau như DEBUG, ERROR và INFO, giúp bạn dễ dàng theo dõi và gỡ lỗi cho các model server của mình. Việc nắm vững kỹ thuật này sẽ giúp bạn xây dựng các ứng dụng machine learning mạnh mẽ và dễ bảo trì hơn.

Vấn Đề: Ghi Log Tùy Chỉnh Trong TorchServe

Khi sử dụng TorchServe, việc ghi log là rất quan trọng để theo dõi hoạt động của model và gỡ lỗi khi cần thiết. Tuy nhiên, mặc định, các thông điệp được in ra bằng `print` sẽ chỉ được ghi ở level INFO. Vậy làm thế nào để ghi các thông điệp ở level DEBUG hoặc ERROR?

Giải Pháp 1: Sử Dụng Logger Mặc Định và base_handler.py

Một cách tiếp cận là sử dụng logger mặc định được khởi tạo trong `base_handler.py`. Bạn có thể import logger này và sử dụng các phương thức như `logger.debug()` hoặc `logger.warning()` để ghi log ở các level khác nhau.

Ví dụ:

  
  import logging

  logger = logging.getLogger(__name__)

  def handle(self, data, context):
      logger.debug("Thông điệp debug từ custom handler")
      logger.warning("Cảnh báo từ custom handler")
  
  

Các thông điệp này sẽ được ghi vào các file log tương ứng trong thư mục `logs/` của TorchServe.

Giải Pháp 2: Sử Dụng StreamHandler và stderr

Một giải pháp khác là sử dụng `StreamHandler` để ghi các thông điệp lỗi ra `stderr`. TorchServe sẽ tự động tạo các thông điệp log ở level WARN cho các thông điệp được ghi ra `stderr`.

Ví dụ:

  
  import logging
  import sys

  stderr_handler = logging.StreamHandler(sys.stderr)
  stderr_handler.setLevel(logging.ERROR)
  stderr_handler.setFormatter(logging.Formatter("%(name)s - %(message)s"))

  logger = logging.getLogger("HandlerName")
  logger.addHandler(stderr_handler)

  def handle(self, data, context):
      try:
          # Thực hiện một số thao tác có thể gây ra lỗi
          result = 10 / 0
      except Exception as e:
          logger.error(f"Đã xảy ra lỗi: {e}") # Ghi log ra stderr, TorchServe sẽ nhận là WARN
  
  

Trong ví dụ trên, mọi thông điệp được ghi bằng `logger.error` sẽ được TorchServe coi là một cảnh báo (WARN).

Những Lưu Ý Quan Trọng Khi Ghi Log Trong Custom Handler

• Kiểm tra kỹ version của TorchServe: Một số lỗi có thể đã được vá trong các phiên bản mới hơn.
• Đảm bảo model dependency: Các dependency của model phải được cài đặt đầy đủ. Việc thiếu dependency có thể dẫn đến các lỗi không mong muốn và ảnh hưởng đến việc ghi log.
• Kiểm tra dung lượng ổ cứng: Việc server hết dung lượng ổ cứng có thể ảnh hưởng đến khả năng ghi log của TorchServe.

Lời Kết

Việc tùy chỉnh logging trong custom handler của TorchServe là một kỹ năng quan trọng giúp bạn quản lý và gỡ lỗi các model server một cách hiệu quả. Hy vọng với hướng dẫn này, bạn có thể dễ dàng cấu hình logging cho phù hợp với nhu cầu của mình và xây dựng các ứng dụng machine learning mạnh mẽ hơn.

Hãy nhớ rằng, việc theo dõi log một cách cẩn thận sẽ giúp bạn nhanh chóng phát hiện và khắc phục các vấn đề tiềm ẩn trong quá trình triển khai model.