13장 동시성 - 1

동시성과 깔끔한 코드는 양립하기 아주 어렵다.

깨끗한 동시성은 책 하나를 할당할 정도로 복잡한 주제다.

 

동시성이 필요한 이유?

동시성은 결합을 없애는 전략이다. 무엇과 언제를 분리하는 전략이다. 쓰레드가 하나인 프로그램은 무엇과 언제가 서로 밀접하다. 호출 스택을 살펴보면 곧바로 알수 있다.

 

무엇과 언제를 분리하면 애플리케이션 구조와 효율이 극적으로 나아진다. 구조적 관점에서 거대한 루프 하나가 아니라 작은 협력 프로그램 여럿으로 보인다. 따라서 시스템을 이해하기 쉽고 문제를 분리하기도 쉽다.

 

예를 들어, 웹 어플리케이션 표준인 서블릿 모델을 보면 서블릿은 웹 혹은 EJB컨테이너라는 우산 아래서 동작한다. 컨테이너는 동시성을 부분적으로 관리한다. 웹 요청이 들어올 때마다 웹 서버는 비동기식으로 서블릿을 실행한다. 서블릿 프로그래머는 들어오는 모든 웹 요청을 관리할 필요가 없다. 원칙적으로 각 서블릿 스레드는 다른 서블릿 스레드와 무관하게 자신만의 세상에서 돌아간다.

실제로 웹 컨테이너가 제공하는 결합분리(decoupling)전략은 완벽과 거리가 아주 멀다. 따라서 서블릿 프로그래머는 동시성을 정확히 구현하도록 각별한 주의와 노력을 기울여야 한다. 그럼에도 서블릿 모델이 제공하는 구조적 이점은 아주 크다.

 

구조적 개선만을 위해 동시성을 채택하는 건 아니다. 응답 속도와 작업 처리량 이점이 존재한다. 예를 들어 CPU는 보통 I/O단계에서 병목이 발생한다. 충분한CPU 속도를 I/O는 절대 따라올 수가 없다. 이럴 때 다중 쓰레드는 I/O 병목을 다소다소 완화할 수 있다.

 

미신과 오해

• 동시성은 항상 성능을 높여준다

동시성은 때로 성능을 높여준다.

대기 시간이 아주 길어 여러 스레드가 프로세서를 공유할 수 있거나, 여러 프로세서가 동시에 처리할 독립적인 계산이 충분히 많은 경우에만 성능이 높아진다.

• 동시성을 구현대로 설계는 변하지 않는다

단일 스레드 시스템과 다중 스레드 시스템은 설계가 판이하게 다르다. 일반적으로 무언과 언제를 분리하면 시스템 구조가 크게 달라진다

• 웹 또는 EJB 컨테이너를 사용하면 동시성을 이해할 필요가 없다.

실제로는 컨테이너가 어떻게 동작하는지, 어떻게 동시 수정, 데드락 등과 같은 문제를 피할 수 있는지를 알아야만 한다.

 

반대로 동시성과 관련된 타당한 생각 몇 가지

 

동시성은 다소 부하를 유발한다. 성능 측면에서 부하가 걸리며, 코드도 더 짜야한다

동시성은 복잡하다. 간단한 문제라도 동시성은 복잡하다

일반적으로 동시성 버그는 재현하기 어렵다. 그래서 진짜 결함으로 간주되지 않고 일회성 문제로 여겨 무시하기 쉽다

동시성을 구현하려면 흔히 근본적인 설계 전략을 재고해야 한다.

동시성 방어 원칙

• 단일 책임 원칙(Single Responsibility Principle)

SRP는 주어진 메서드/클래스/컴포넌트를 변경할 이유가 하나여야 한다는 원칙

동시성은 복잡성 하나만으로도 따로 분리할 이유가 충분하다.

즉, 동시성 관련 코드는 다른 코드와 분리해야 한다는 뜻이다.

• 고려사항

동시성 코드는 독자적인 개발, 변경, 조율 주기가 있다.

동시성 코드에는 독자적인 난관이 있다. 다른 코드에서 겪는 난관과 다르며 훨씬 어렵다.

잘못 구현한 동시성 코드는 별의별 방식으로 실패한다. 주변에 있는 다른 코드가 발목을 잡지 않더라도 동시성 하나만으로도 충분히 어렵다.

따름 정리 : 자료 범위를 제한하라

객체 하나를 공유한 후 동일 필드를 수정하면 두 스레드 간 간섭이 발생한다.

해결 방법으로 객체를 사용하는 코드 내내 임계 영역 임계 영역(critical section)을 synchronized 키워드로 보호한다.

다만 이런 임계 영역의 수를 줄이는 기술이 중요하다. 수가 많을수록 다음 가능성이 커진다.

보호할 임계 영역을 빼먹는다.

모든 임계영역을 올바로 보호했는지 확인하느라 노력과 수고를 반복한다

버그 찾기가 더욱 어려워진다.

 

따름 정리: 자료 사본을 사용하라

공유하지 않는 방법으로 객체를 복사해 읽기 전용으로 사용하는 방법이다.

데이터의 변경이 없는 읽기는 동시성에서 자유롭다.

 

따름 정리: 스레드는 가능한 독립적으로 구현하라

다른 스레드와 자료를 공유하지 않는다. 각 스레드는 클라이언트 요청 하나를 처리한다. 모든 정보는 비공유 출처에서 가져오며 로컬 변수에 저장한다.

예를 들어, HttpServlet클래스에서 파생한 클래스는 모든 정보를 doGet과 doPost매개변수로 받는다. 그래서 각 서블릿은 마치 자신이 독자적인 시스템에서 동작하는 양 요청을 처리한다. 서블릿 코드가 로컬 변수만 사용한다면 서블릿이 동기화 문제를 일으킬 가능성은 전무하다. 물론 DB 연결과 같은 자원을 공유하는 상황은 처한다.

 

권장사항: 독자적인 스레드로, 가능하면 다른 프로세서에서, 돌려도 괜찮도록 자료를 독립적인 단위로 분할하라

라이브러리를 이해하라

• 자바 5는 동시성 측면에서 이전 버전보다 많이 나아졌다.

스레드 환경에 안전한 컬렉션을 사용한다. 자바 5부터 제공한다.

서로 무관한 작업을 수행할 때는 executor 프레임워크를 사용한다.

가능하다면 스레드가 차단(blocking) 되지 않는 방법을 사용한다.

일부 클래스 라이브러리는 스레드에 안전하지 못한다.

 

추가로 자바 8부터 지원하는 Stream API는 동시성 구현이 쉽고 안전하다.

스레드 환경에 안전한 컬렉션

java.util.concurrent 패키지가 제공하는 클래스는 다중 스레드 환경에서 사용해도 안전하며, 성능도 좋다.

실제로 ConcurrentHashMap은 거의 모든 상황에서 HashMap보다 빠르다. 동시 읽기/쓰기를 지원하며, 다중 스레드 환경에서 문제가 생시는 자주 사용하는 복합 연산을 다중 스레드 상에서 안전하게 만든 메서드로 제공한다.

좀 더 복잡한 동시성설계를 지원하고자 자바 5에는 다른 클래스도 추가되었다.

 

권장사항 : 언어가 제공하는 클래스를 검토하라.

자바에서는 java.util.concurrent, java.util.concurrent.atomic, java.util.concurrent.locks를 익혀라

실행 모델을 이해하라

한정된 자원(Bound Resource)	다중 스레드 환경에서 사용하는 지원으로, 크기나 숫자가 제한적이다. 데이터베이스 연결, 길이가 일정한 읽기/쓰기 버퍼 등이 예다.
상호 배제(Mutual Exclusion)	한 번에 한 스레드만 공유 자료나 공유 자원을 사용할 수 있는 경우를 가리킨다.
기아(Strarvation)	한 스레드나 여러 스레드가 굉장히 오랫동안 혹은 영원히 자원을 기다린다. 예를 들어, 항상 짧은 스레드에게 우선순위를 준다면, 짧은 스레드가 지속적으로 이어질 경우, 긴 스레드가 기아 상태에 빠진다.
데드락(Deadlock)	여러 스레드가 서로가 끝나기를 기다린다. 모든 스레드가 각기 필요한 자원을 다른 스레드가 점유하는 바람에 어느 쪽도 더 이상 진행하지 못한다.
라이브락(Livelock)	락을 거는 단계에서 각 스레드가 서로를 방해한다. 스레드는 계속해서 진행하려 하지만, 공명(resonance)으로 인해, 굉장히 오랫동안 혹은 영원히 진행하지 못한다.

생산자-소비자

하나 이상 생산자 스레드가 정보를 생성해 버퍼나 대기열(queue)에 넣는다

하나 이상 소비자 스레드가 대기열에서 정보를 가져와 사용한다.

생산자 스레드와 소비자 스레드가 사용하는 대기열은 한정된 자원이다.  생산자 스레드는 대기열에 빈 공간이 있어야 정보를 채운다. 즉, 빈 공간이공간이 생길 때까지 기다린다.

소비자 스레드는 대기열에 정보가 있어야 가져온다. 즉, 정보가 채워질 때까지 기다린다.

대기열을 올바로 사용하고자 생산자 스레드와 소비자 스레드는 서로에게 시그널을 보낸다.

생산자 스레드는 대기열에 정보를 채운 다음 소비자 스레드에게 "대기열에 정보가 있다"는 시그널을 보낸다.

소비자 스레드는 대기열에서 정보를 읽어 들인 후 "대기열에 빈 공간이 있다"는 시그널을 보낸다.

 

읽기-쓰기

읽기 스레드를 위한 주된 정보원으로 공유 자원을 사용하지만, 쓰기 스레드가 이 공유 자원을 이따금 갱신한다고 하자.

처리율이 문제의 핵심이다. 처리율을 강조하면 기아 현상이 생기거나 오래된 정보가 쌓인다.

갱신을 허용하면 처리율에 영향을 미친다.

쓰기 스레드가 버퍼를 갱신하는 동안 읽기 스레드가 버퍼를 읽으면 안 되고

읽기 스레드가 버퍼를 읽는 동안 쓰기 스레드가 버퍼를 갱신하면 안 된다.

대개 쓰기 스레드가 버퍼를 오랫동안 점유하는 바람에 여러 읽기 스레드가 버퍼를 기다리느라 처리율이 떨어진다.

 

읽기 스레드의 요구와 쓰기 스레드의 요구를 적절히 만족시켜 처리율도 적당히 높이고 기아도 방지하는 해법이 필요하다.

간단한 전략은 읽기 스레드가 없을 때까지 갱신을 원하는 쓰기 스레드가 버퍼를 기다리는 방법

읽기 스레드가 계속 이어지면 쓰기 스레드가 기아 상태가 된다.

쓰기 스레드에게 우선권을 준 상태에서 쓰기 스레드가 계속 이어진다면 처리율이 떨어진다.

양쪽 균형을 잡으면서 동시 갱신 문제를 피하는 해법이 필요하다

 

생각하는 철학자들

둥근 식탁에 철학자 한 무리가 둘러앉았다.

철학자들 사이 마다 포크가 한 개 있다.

식탁 가운데에 거대한 스파게티 한 접시가 있다

철학자들은 배고프면 양손에 포크를 집어 스파게티를 먹는다.

따라서 왼쪽, 오른쪽 철학자는 그 철학자가 포크를 내려놓을 때까지 기다려야 한다.

 

여기서 철학자를 쓰레드, 포크를 자원으로 치환하면 된다.

주의해서 설계하지 않으면 데드락, 라이브락, 처리율 저하, 효율성 저하 등을 겪는다.

 

대부분의 쓰레드 문제는 위 세가지 생산자-소비자, 읽기-쓰기, 생각하는 철학자들 범주에 속한다. 각 알고리즘을 공부하고 해법을 직접 구현해보자. 나중에 문제 시 해결이 쉬워진다.