정보처리기사 실기) 7장 애플리케이션 테스트 관리

* 이 글은 블로그 별랑님의 글을 참고로 작성했습니다.

blog.naver.com/srang_/222063651039

1.  애플리케이션 테스트 관리

1) 애플리케이션 테스트

* 소프트웨어 테스트

- 개발된 응용프로그램이나 시스템이 사용자가 요구하는 성능이나 사용성, 안정성 등을 만족하는지 확인하고 소프트웨어 결함을 찾아내는 과정

- 오류 발견의 관점, 오류 예방의 관점, 품질 향상 관점

* 테스트 프로세스 : 테스트 계획 -> 분석/설계 -> 수행 -> 관리

 

* 소프트웨어 테스트 원리

- 테스팅은 결함이 존재하는 것을 밝혀내는 행동

- 완벽한 테스팅은 없다.

- 개발 초기에 테스팅을 시작 ( 개발 완료 후 테스팅을 시작하면 비용 및 시간 증가 )

- 결함의 집중 ( 결함은 한 모듈에 집중되어 있다 )

- 살충제 패러독스 ( 2020 실기 1회 기출문제 )

: 동일한 테스트 케이스로 테스트를 진행하면 더이상 새로운 결함을 찾을 수 없으므로 주기적으로 테스트 케이스를 점검하고 관리하여야 한다.

- 테스팅은 정황에 의존적

- 오류-부재의 궤변(서술형)

: 요구사항을 충족시켜주지 못한다면, 결함이 없다고 해도 품질이 높다고 볼 수 없는 소프트웨어 테스트 원리

 

* 소프트웨어 테스트 산출물

- 테스트 계획서(테스트 수행 계획), 테스트 케이스(테스트 항목 명세서, 설계 산출물), 테스트 시나리오(테스트 절차 명세), 테스트 결과서(테스트 리프팅)

- 정적 테스트 : 프로그램 실행 없이 구조를 분석하여 논리성을 검증 ( 동료검토, 인스펙션, 워크스루 )

- 동적 테스트 : 프로그램 실행을 요구하는 테스트 ( 화이트박스, 블랙박스 테스트 )

 

* 요구사항 검토(Requirements Review)

요구사항 명세서의 오류 확인 및 표준 준수 여부 등의 결함 여부를 검토 담당자들이 수작업으로 분석하는 방법

​

* 종류

- 동료 검토(Peer Review) : 요구사항 명세서 작성자가 내용을 직접 설명, 동료들이 이를 들으면서 결함 발견

- 워크 스루(Walk Trough) : 검토 회의 전 요구사항 명세서를 미리 배포하여 사전 검토 회의를 통해 결함 발견

- 인스펙션(Inspection) : 요구사항 명세서 작성자를 제외한 다른 검토 전문가들이 결함 발견

- 프로토타이핑 : 실제 개발될 소프트웨어에 대한 ​견본품을 만들어 최종 결과물 예측

- 테스트 설계 : 테스트 케이스를 생성해 이후에 요구사항이 현실적으로 테스트 가능한지 검토

- CASE 도구 활용 : 일관성 분석을 통해 요구사항 변경사항의 추적 및 분석, 관리, 표준 준수 여부 확인

 

- 화이트 박스 테스트 : 내부 로직을 보면서 수행하는 구조 기반 테스트 (제어 구조/루프 테스트)

- 블랙박스 테스트 : 프로그램 외부의 사용자 요구사항 명세를 보면서 수행하는 기능 테스트 (경계값 분석/동등분할/결정테이블/상태전이/유스케이스)

 

- 검증 : 소프트웨어 과정을 테스트 ( 개발자 관점 )

- 확인 : 소프트웨어 결과를 테스트 ( 사용자 관점 )

 

2) 소프트웨어 테스트 유형 (단답형/서술형)

- 회귀 테스트 : 오류를 제거하거나 수정 후 새롭게 유입된 오류가 있는지 테스트

- 회복 테스트 : 고의로 실패 유도 후 정상 복귀 여부 확인하는 테스트

- 안전 테스트 : 소스 내의 보안적인 결함을 확인

- 강도 테스트 : 과부하 시 정상적인 동작을 하는지 테스트

- 성능 테스트 : 응답시간, 특정 시간, 처리량 등 시스템 반응 속도 테스트 (처응경쟈)

- 구조 테스트 : 시스템 내부의 경로나 소스코드 복잡도 테스트

- 병행 테스트 : 변경된 시스템과 기존의 시스템에 동일한 데이터 입력 후 결과 비교

 

3) 소프트웨어 테스트 종류

** 구조 기반 테스트 ( 화이트박스 테스트)

* 구문 커버리지

- 프로그램 내 모든 명령문을 적어도 한 번 수행

 

* 결정 커버리지

- 프로그램 내 전체 결정문이 적어도 한 번은 참과 거짓의 결과를 수행

- 프로그램 내의 전체조건식이 적어도 한 번은 참과 거짓의 결과를 수행하는 테스트 케이스

 

* 조건 커버리지

- 결정 명령문 내 각 조건이 적어도 한 번은 참과 거짓의 결과가 출력되도록 수행

- 전체 조건식과 결과와 관계없이 각 개별 조건식이 참/거짓 한 번만 모두 갖도록 개별 조건식을 조합하는 테스트 커버리지

 

* 조건-결정 커버리지

- 전체 조건 식 뿐 아니라 개별 조건식도 참, 거짓이 한 번 씩 결과가 되도록 수행

- 결정 명령문 내의 각 조건(개별조건)과 전체조건식이 적어도 한 번은 참과 거짓의 결과를 수행하는 테스트 케이스

 

* 변경 조건/결정 커버리지

- 각 개별 조건식이 다른 개별 조건식에 영향을 받지 않고 전체 조건식의 독립적 영향을 주도록 수행

 

* 다중 조건 커버리지

- 결정 포인트 내에 있는 모든 개별 식 조건의 모든 조합을 고려한 커버리지 

 

* 명세 기반 테스트 : 동등 분할, 경계값 분석, 결정 테이블, 유스케이스, 상태 전이 ( 블랙박스 테스트 )

* 경험 기반 테스트 : 블랙박스 테스트

* 테스트 케이스 : 특정 요구사항을 준수하는지 확인하기 위해 입력값, 실행조건, 예상 결과의 집합 

 

4) 테스트 오라클

테스트의 결과값이 참인지 거짓인지 판단하기 위해서 사전에 정의한 참 값을 입력하여 비교

* 종류

- 참 오라클 : 모든 입력값에 대해 기대하는 결과 생성, 모든 오류 검사

- 샘플링 오라클 : 특정 몇 개의 입력값에 대해 결과값을 제공

- 휴라스틱 오라클 : 샘플 오라클을 개선한 것으로 특정 몇 개의 입력값에 대한 결과를 제공하고 나머지는 추정

- 일관성 검사 오라클 : 애플리케이션 변경이 있을 대 수행 전 후의 결과값이 동일한지 확인

 

* 테스트 레벨 : 테스트 활동의 그룹

단위 테스트	통합 테스트	시스템 테스트	인수 테스트
단위 모듈, 서브루틴	모듈 간 상호작용	시스템 기능	사용자 입장 테스트 베타/알파 테스트

 

* 테스트 시나리오 : 테스트를 수행하기 위한 테스트 케이스의 집합으로 테스트 케이스의 실행 순서와 절차를 작성한 문서

 

5) 통합 테스트

소프트웨어의 각 모듈 간의 인터페이스 관련 오류와 결함을 찾아내는 테스트

- 하향식 통합 : 깊이-너비, 스텁

- 상향식 통합 : 드라이버

- 빅뱅 통합 : 실제 모듈 테스트 진행

 

6) 테스트 자동화 도구(단답형)

테스트 도구를 활용하여 반복적인 테스트를 스크립트 형태로 구현하여 시간 단축과 비용 최소화

 

* 정적 분석 도구(2020 실기 2회 기출문제) : 애플리케이션을 실행하지 않고 테스트 수행

- 애플리케이션을 실행하지 않고 소스코드에 대한 표준 코딩, 코딩 스타일, 코드 복잡도 및 결함을 발견하기 위해 사용

 

* 성능 테스트 도구

- 애플리케이션 처리량, 응답시간, 경과시간에 대해 가상 사용자를 생성하여 테스트 실행

 

* 테스트 통제 도구

- 테스트 계획 및 관리를 위한 테스트 관리 도구

 

* 테스트 하네스 

- 테스트를 지원하기 위한 코드와 데이터를 말하며 단위 테스트에 사용하기 위해 개발자가 작성

 

* 테스트 슈트

- 테스트 대상 컴포넌트나 시스템에 사용되는 테스트 케이스 집합

 

* 테스트 케이스

- 입력값, 실행 조건, 기대 결과 등의 집합

 

* 테스트 스크립트

- 자동화된 테스트 케이스의 절차와 실행 순서 명시

 

* 목 오브젝트

- 사용자의 행위를 조건부로 사전에 입력해두면 예정된 행위를 수행하는 객체

 

7) 소프트웨어 결함

- 에러/오류 : 결함의 원인이 되는 것으로 인간의 실수에서 생성

- 결함/버그 : 에러나 오류가 원인이 되어 소프트웨어에 포함되어 있는 것

- 실패/문제 : 소프트웨어 결함이 시스템 실행 시 발생되어 시각적으로 문제를 확인

 

* 결함 추이 분석

- 분포 분석 : 결함의 수

- 추세 분석 : 시간의 흐름에 따른 결함의 수

- 에이징 분석 : 결함 상태의 지속시간 측정

 

* 테스트 커버리지 : 테스트 범위를 측정하는데 테스트 품질 측정 기술

* 구문 커버리지 - 결정 커버리지 - 조건/결정 커버리지 - 변경 조건 커버리지 - 다중 조건 커버리지

 

* 결함 심각도

- 치명적 - 주요 - 보통 - 경미 - 단순

* 결함 우선순위

- 치명적 - 높음 - 중간 - 낮음

 

8) 애플리케이션 성능 측정 지표( 2020 실기 1회 기출문제 )

* 처리량(Throughput)

- 일정 시간 내 애플리케이션이 처리하는 작업의 양

- 애플리케이션이 주어닌 시간에 처리할 수 있는 트랜잭션 수

* 응답시간(Response Time)

- 애플리케이션에 작업을 요청해서 응답 도착까지 걸린 시간

- 응답 후 입력에 대한 응답 출력(완료된 상태)

* 경과시간(Turn Around Time)

- 애플리케이션에 작업을 의뢰한 시간부터 처리가 완료될 때까지 걸린 시간

- 요구를 입력하여 트랜잭션 처리 후 출력(완료가 되지 않은 상태)

* 자원사용률(단답형)

- 애플리케이션이 작업을 처리할 동안의 CPU, MEM, DISK 등의 사용량

 

* 성능 테스트 도구 : JMeter, Load UI

* 시스템 모니터링 도구

- 스카우터 : 애플리케이션 및 OS 자원에 대한 모니터링 기능을 제공하는 소프트웨어

 

* 애플리케이션 성능 개선

- 나쁜 코드 : 다른 개발자가 로직을 이해하기 어렵게 작성된 코드, 동일한 처리 로직이 중복되게 작성된 코드 등

- 클린 코드 : 의미있는 이름, 간결하고 명확한 주석, 보기좋은 배치 ( 가독성, 유지보수, 프로그래밍 속도 증가 )

 

* 소스코드 품질 분석

- 정적 분석 도구 : 작성된 코드를 실행시키지 않고 분석

- 동적 분석 도구 : 애플리케이션을 실행하여 코드에 존재하는 메모리 누수 현황 파악 및 스레드의 결함 분석

 

* 애플리케이션 성능 개선 방안

- 소스코드 최적화

- 아키텍처 조정을 통한 성능 개선

- 프로그램 호출 순서 조정 적용

- 소스코드 품질 분석 도구 활용

- 메모리 사용 최적화 적용

- 입출력 발생의 최소화

- System.out.println() 사용 제외

 

2020/09/23 - [정보처리기사 실기/실기 정리] - 정보처리기사 실기) 1장 요구사항 확인

2020/10/12 - [정보처리기사 실기/실기 정리] - 정보처리기사 실기) 2장 데이터 입출력 구현

2020/10/12 - [정보처리기사 실기/실기 정리] - 정보처리기사 실기) 3장 통합구현

2020/10/12 - [정보처리기사 실기/실기 정리] - 정보처리기사 실기) 4장 서버 프로그램 구현

2020/10/12 - [정보처리기사 실기/실기 정리] - 정보처리기사 실기) 5장 인터페이스 구현

2020/10/12 - [정보처리기사 실기/실기 정리] - 정보처리기사 실기) 6장 화면 설계

2020/10/12 - [정보처리기사 실기/실기 정리] - 정보처리기사 실기) 7장 애플리케이션 테스트 관리

2020/10/12 - [정보처리기사 실기/실기 정리] - 정보처리기사 실기) 8장 SQL 응용

2020/10/13 - [정보처리기사 실기/실기 정리] - 정보처리기사 실기) 9장 소프트웨어 개발 보안 구축

2020/10/13 - [정보처리기사 실기/실기 정리] - 정보처리기사 실기) 11장 응용 SW 기초 활용

2020/10/13 - [정보처리기사 실기/실기 정리] - 정보처리기사 실기) 12장 제품 소프트웨어 패키징