SageMaker Autopilot에서 S3 데이터 위치 설정 시 발생하는 “Specified Method is Not Allowed” 오류 해결하기

 

SageMaker Autopilot에서 S3 데이터 위치 설정 시 발생하는 “Specified Method is Not Allowed” 오류 해결하기

 

Amazon SageMaker Autopilot을 사용할 때 S3 버킷의 특정 데이터 위치를 지정하는 과정에서 “Specified method is not allowed against the source” 오류가 발생하는 경우가 있습니다. 이 오류는 주로 CSV, Parquet 또는 Manifest 파일을 사용하여 실험 데이터를 구성하고자 할 때 나타납니다. 이번 글에서는 이 오류의 원인과 해결 방법을 안내해 드립니다.

 

오류 상황 설명

 

1. S3 데이터 위치 지정: 첫 번째 단계에서 S3 위치를 입력합니다. SageMaker Autopilot은 이 위치를 기반으로 두 개의 파일을 생성합니다. 하나는 Manifest 파일이고, 다른 하나는 CSV 형식의 데이터 파일입니다.

 

2. 입력 데이터 파일 오류: 그러나 Experiment Data Flow 섹션에 생성된 S3 위치를 지정해 데이터를 입력하려고 할 때 “Invalid CSV, Parquet or Manifest file. The specified method is not allowed against this resource.”라는 오류 메시지가 발생합니다.

 

이 오류는 지정한 CSV 또는 Manifest 파일의 권한 또는 파일 포맷과 관련이 있을 가능성이 큽니다.

 

오류 원인 분석 및 해결 방법

1. S3 버킷의 권한 문제

 

• SageMaker Autopilot이 생성한 IAM 역할에 필요한 읽기/쓰기 권한이 없는 경우입니다. 버킷 정책 또는 IAM 역할에 아래와 같은 권한이 추가되어 있는지 확인하세요.

• 필요 권한: s3:GetObject, s3:PutObject, s3:ListBucket

• 버킷 정책 예제:

 

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "s3:GetObject",
        "s3:PutObject",
        "s3:ListBucket"
      ],
      "Resource": [
        "arn:aws:s3:::your-bucket-name",
        "arn:aws:s3:::your-bucket-name/*"
      ]
    }
  ]
}

 

2. S3 파일 경로 확인

 

• CSV 또는 Manifest 파일의 경로가 정확한지 확인하세요. S3 경로가 올바르지 않으면 Autopilot이 해당 파일을 찾지 못해 오류가 발생할 수 있습니다.

 

• 권장 형식: s3://your-bucket-name/path/to/your-file.csv

• 폴더 이름 또는 파일 이름에 공백이나 특수 문자가 없는지 확인하세요. S3 경로의 잘못된 형식은 접근 문제를 일으킬 수 있습니다.

 

3. 파일 포맷 오류

 

• 파일의 형식이 올바른지 확인하세요.

• CSV 파일: 첫 번째 줄에 헤더 행이 있어야 하며, 모든 열의 데이터 형식이 일관되어야 합니다.

• Manifest 파일: JSON Lines 형식으로 작성되어야 합니다.

 

예:

{"source": "s3://your-bucket-name/path/to/image1.jpg", "label": "cat"}
{"source": "s3://your-bucket-name/path/to/image2.jpg", "label": "dog"}

 

 

4. S3 Object Lock 또는 API 제한

 

• S3 버킷에 Object Lock 또는 버전 관리가 활성화되어 있다면, 특정 API 호출을 제한하여 오류가 발생할 수 있습니다. 필요에 따라 Object Lock 설정을 비활성화하여 필요한 API 호출이 원활히 이루어지도록 조정하세요.

 

• 참고로 더 자세한 오류 코드는 AWS S3 API 오류 응답 문서를 참조하세요.

 

추가 팁: 오류 원인 진단

 

• AWS CloudTrail 로그 확인: S3 API 요청에 실패한 경우 CloudTrail을 통해 자세한 실패 원인을 확인할 수 있습니다.

• SageMaker Autopilot 로그 검토: SageMaker Autopilot의 실행 로그를 검토하여 구체적인 오류 메시지를 파악하고 문제 해결에 도움이 되는 추가 정보를 얻으세요.

 

위 해결 방법을 시도하여 SageMaker Autopilot에서 S3 데이터를 사용하는 데 발생하는 오류를 해결해보세요.

문제 해결에 이 글이 도움이 되셨길 바라고, 이 과정에서 문제가 해결되지 않는다면 AWS 지원팀에 문의해 보시기 바랍니다. 

 

감사합니다.