最新的Databricks Certified Professional Data Engineer Exam (Databricks-Certified-Professional-Data-Engineer Korean Version) - Databricks-Certified-Professional-Data-Engineer Korean免費考試真題

A. 각 DLT 노트북 파일마다 별도의 Databricks 노트북에 데이터 품질 규칙을 유지 관리합니다.

B. 동일한 파이프라인에 포함된 DLT 노트북 전체에서 기대치를 확인할 수 있도록 전역 Python 변수를 사용합니다.

C. 파이프라인의 대상 스키마 외부에 있는 델타 테이블에서 데이터 품질 규칙을 유지하고, 스키마 이름을 파이프라인 매개변수로 제공합니다.

D. 파이프라인 구성 파일에 접근할 수 있는 외부 작업을 사용하여 이 파이프라인의 테이블에 데이터 품질 제약 조건을 추가합니다.

A. 구조화된 스트리밍은 GPU의 병렬 처리를 활용하여 높은 병렬 데이터 처리량을 달성합니다.

B. 구조화된 스트리밍 모델은 데이터 스트림에 도착하는 새로운 데이터를 무한한 테이블에 추가되는 새로운 행으로 모델링합니다.

C. Structured Streaming은 메시징 버스로 구현되며 Apache Kafka에서 파생되었습니다.

D. 구조화된 스트리밍은 특수 하드웨어와 I/O 스트림을 사용하여 데이터 전송 지연 시간을 1초 미만으로 줄입니다.

E. 구조화된 스트리밍은 캐시된 단계에 대한 증분 상태 값을 저장하는 분산 노드 네트워크에 의존합니다.

A. 쓰기 작업이 완료된 후 비동기 작업이 실행되어 파일을 추가로 압축할 수 있는지 확인합니다. 압축할 수 있는 경우 기본값인 128MB를 목표로 최적화 작업이 실행됩니다.

B. 쓰기 작업이 완료된 후 비동기 작업이 실행되어 파일을 추가로 압축할 수 있는지 확인합니다. 압축할 수 있는 경우 기본값인 1GB를 목표로 최적화 작업이 실행됩니다.

C. 최적화된 쓰기는 디렉터리 파티션 대신 논리 파티션을 사용합니다. 파티션 경계는 메타데이터에만 표현되므로 더 적은 수의 작은 파일이 기록됩니다.

D. 데이터는 메모리에 직접 커밋하는 대신 메시징 버스에 대기열에 저장됩니다. 작업이 완료되면 메시징 버스에 있는 모든 데이터가 한 번에 커밋됩니다.

E. 작업 클러스터가 종료되기 전에 가장 최근 작업 중에 수정된 모든 테이블에 대해 최적화가 실행됩니다.

A. 수신 바이트는 초당 8천만 바이트를 초과하지 않습니다.

B. 5분 평균 부하량이 일정하게 유지됩니다/평탄하게 유지됩니다

C. 전체 클러스터 CPU 사용률은 약 25%입니다.

D. 총 디스크 공간은 일정하게 유지됩니다.

E. 네트워크 I/O는 절대 급증하지 않습니다.

A. * Total VMs: 4
* 100 GB per Executor
* 40 Cores/Executor

B. * Total VMs: 8
* 50 GB per Executor
* 20 Cores / Executor

C. * Total VMs; 1
* 400 GB per Executor
* 160 Cores / Executor

D. * Total VMs:2
* 200 GB per Executor
* 80 Cores / Executor

A. @dlt.table
def silver_orders():
return dlt.read_stream( " bronze_orders " ) \
.expect( " valid_customer " , " customer_id IS NOT NULL " ) \
.expect( " valid_amount " , " amount > 0 " )

B. @dlt.table
@dlt.expect_or_drop( " valid_customer " , " customer_id IS NOT NULL " )
@dlt.expect_or_drop( " valid_amount " , " amount > 0 " )
def silver_orders():
return dlt.read_stream( " bronze_orders " )

C. @dlt.table
def silver_orders():
return dlt.read_stream( " bronze_orders " ) \
.expect_or_drop( " valid_customer " , " customer_id IS NOT NULL " ) \
.expect_or_drop( " valid_amount " , " amount > 0 " )

D. @dlt.table
@dlt.expect( " valid_customer " , " customer_id IS NOT NULL " )
@dlt.expect( " valid_amount " , " amount > 0 " )
def silver_orders():
return dlt.read_stream( " bronze_orders " )

A. products_per_order 테이블에 대한 뷰를 정의하고, 이 뷰에 대한 대시보드를 정의합니다.

B. 대시보드를 채우기 위해 매일 밤 배치 작업을 구성하여 필요한 데이터를 저장하고 각 쿼리로 대시보드를 신속하게 업데이트합니다.

C. Databricks 노트북 내의 products_per_order 테이블에 대한 실시간 대시보드를 구성하려면 Structure Streaming을 사용하십시오.

D. Delta Cache를 사용하여 products_per_order 테이블을 메모리에 저장함으로써 각 쿼리 시 대시보드를 빠르게 표시할 수 있습니다.

A. -- Databricks 노트북 소스

B. //Databricks 노트북 소스

C. %파이썬

D. % Databricks 노트북 소스

A. 병합을 중단하고 모든 로컬 변경 사항을 폐기한 다음 충돌하는 코드를 검토하지 않고 병합 작업을 다시 시도합니다.

B. Git 폴더 UI를 사용하여 노트북 파일을 수동으로 편집하고, 두 버전에서 원하는 줄을 선택하여 충돌 표시를 제거한 다음 충돌을 해결됨으로 표시합니다.

C. 클러스터의 웹 터미널에서 Git CLI를 사용하여 충돌이 발생한 병합을 강제로 푸시(git push -force)하여 원격 브랜치를 로컬 버전으로 덮어쓰고 변경 사항을 폐기합니다.

D. Databricks 작업 공간 UI를 통해 충돌하는 노트북 파일을 삭제하고, 삭제를 커밋한 다음, 새 커밋에서 노트북을 처음부터 다시 생성하여 충돌을 완전히 해결합니다.

A. def transform_data(input_df):
# transformation logic here
return output_df
test_input = spark.createDataFrame([(1, " a " )], [ " id " , " value " ]) assertDataFrameEqual(transform_data(test_input), expected)

B. def upper_transform(df):
return df.withColumn( " value_upper " , upper(col( " value " )))
actual = test_input.transform(upper_transform)
assertDataFrameEqual(actual, expected)

C. def upper_value(df):
return df.withColumn( " value_upper " , upper(col( " value " )))
def filter_positive(df):
return df.filter(df[ " id " ] > 0)
pipeline_df = df.transform(upper_value).transform(filter_positive)

D. class Pipeline:
def transform(self, df):
return df.withColumn( " value_upper " , upper(col( " value " )))
pipeline = Pipeline()
assertDataFrameEqual(pipeline.transform(test_input), expected)

A. Parquet은 데이터를 행 단위로 압축하기 때문에, 문자열은 동일한 문자가 여러 번 반복될 때만 압축됩니다.

B. 레이크하우스의 뷰는 소스 테이블의 최신 버전에 대한 유효한 캐시를 항상 유지합니다.

C. 기본 키 및 외래 키 제약 조건을 활용하여 차원 테이블에 중복 값이 ​​입력되지 않도록 할 수 있습니다.

D. Delta Lake는 각 테이블의 처음 32개 열에 대한 통계를 자동으로 수집하며, 이는 쿼리 필터에 따라 데이터 건너뛰기에 활용됩니다.

E. Z-순서는 Delta Lake 테이블에 저장된 숫자 값에만 적용할 수 있습니다.